JP6322086B2 - Display control device, display device, program, recording medium - Google Patents
Display control device, display device, program, recording medium Download PDFInfo
- Publication number
- JP6322086B2 JP6322086B2 JP2014172035A JP2014172035A JP6322086B2 JP 6322086 B2 JP6322086 B2 JP 6322086B2 JP 2014172035 A JP2014172035 A JP 2014172035A JP 2014172035 A JP2014172035 A JP 2014172035A JP 6322086 B2 JP6322086 B2 JP 6322086B2
- Authority
- JP
- Japan
- Prior art keywords
- line
- display
- document image
- document
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Digital Computer Display Output (AREA)
Description
本発明は、文書画像を表示部に表示させる表示制御装置に関する。 The present invention relates to a display control apparatus that displays a document image on a display unit.
スキャナ等の撮像手段に文書を読み取らせて生成される文書画像として、ＰＤＦ（Portable Document Format）ファイルの画像やＴＩＦＦ（Tagged Image File Format）ファイルの画像が知られている。撮像手段を用いて生成される文書画像は、通常、フィックス型と呼ばれる形式になっている。フィックス型とは、文書のレイアウト（１行当たりの文字数や１頁当たりの行数等）が固定の形式である。それゆえ、フィックス型の文書画像を、スマートフォンやタブレット等の小型表示装置で表示すると、表示装置の垂直方向および水平方向共に文書画像が表示領域（コンテンツ表示領域）に収まりきらないことが多く、垂直方向のみならず水平方向にも文書画像をスクロールさせる必要があり、操作が煩雑になる。 2. Description of the Related Art Known document images generated by causing an imaging unit such as a scanner to read a document include PDF (Portable Document Format) file images and TIFF (Tagged Image File Format) file images. The document image generated using the image pickup means is usually in a format called a fixed type. The fixed type is a format in which the document layout (number of characters per line, number of lines per page, etc.) is fixed. Therefore, when a fixed document image is displayed on a small display device such as a smartphone or a tablet, the document image often cannot fit in the display area (content display area) in both the vertical and horizontal directions of the display device. It is necessary to scroll the document image not only in the direction but also in the horizontal direction, and the operation becomes complicated.
また、フィックス型の文書画像の表示倍率を表示領域の広さに応じて調整すれば（縮小表示すれば）、スクロールを行わずに１頁分の文書全体を表示させることが可能になる。しかし、この場合、表示される文字のサイズが小さくなり、文字の可読性が低下してしまう問題がある。 Further, if the display magnification of the fixed document image is adjusted according to the size of the display area (if reduced display), the entire document for one page can be displayed without scrolling. However, in this case, there is a problem that the size of the displayed character is reduced and the readability of the character is lowered.
そこで、撮像手段にて生成される文書画像についても、フィックス型ではなく、テキストデータから構成される画像ファイルのようにリフロー型として表示させることが望ましい。リフロー型とは、文書のレイアウトが固定ではなく、表示領域の広さに応じてレイアウトが再構成される形式であり（各文字を再配置する）、例えばＨＴＭＬ（Hyper Text Markup Language）ファイルが挙げられる。また、最近では、小型表示装置（スマートフォンやタブレット）向けに提供される電子書籍もリフロー型として作成されていることが多い。 Therefore, it is desirable to display the document image generated by the imaging unit as a reflow type like an image file composed of text data instead of a fixed type. The reflow type is a format in which the layout of the document is not fixed and the layout is reconfigured according to the size of the display area (rearranged each character), for example, an HTML (Hyper Text Markup Language) file. It is done. In recent years, electronic books provided for small display devices (smartphones and tablets) are often created as a reflow type.
リフロー型の画像ファイルでは、例えば文書が横書きの場合、可読性が保たれる程度に文字サイズが維持されつつ、文書の１行の長さが表示領域の水平方向の長さ以下になるように、１行当たりの文字数を調整するようになっている。これにより、適切な文字サイズを維持しつつ、水平方向のスクロールを行なわずに垂直方向のスクロールだけで文書全体が表示されるようになる。それゆえ、リフロー型によれば、フィックス型よりも、操作の煩雑度が低いという利点を有する。 In the reflow type image file, for example, when the document is horizontally written, the character size is maintained to the extent that readability is maintained, and the length of one line of the document is equal to or less than the horizontal length of the display area. The number of characters per line is adjusted. As a result, while maintaining an appropriate character size, the entire document is displayed only by scrolling in the vertical direction without scrolling in the horizontal direction. Therefore, the reflow type has an advantage that the operation is less complicated than the fixed type.
そこで、近年、撮像手段にて生成される文書画像をリフロー型として表示させるための技術が提案されている。例えば、特許文献１には、文書画像から文字を抽出して、文字の並び順に従って各文字を配列し直す事により、表示領域の横幅と同じ横幅を持つ文書画像を生成して表示させる文字画像表示装置が提案されている。
Therefore, in recent years, a technique for displaying a document image generated by an imaging unit as a reflow type has been proposed. For example,
特許文献１の技術では、文書画像を生成するとともに、文書画像の文字の並び順を座標値で表した位置座標リストを生成する。続いて、位置座標リストに基づいて、文書画像から各文字を切り出し、各文字を配列し直すことで再配列文書画像を生成し、この再配列文書画像を表示装置に表示させるようになっている。
In the technique of
ここで、前記の位置座標リストは、スキャンされた際の文書画像上での各文字の座標（各文字の並び順）を示したものであるが、表示領域に対する位置関係を示した表示用座標ではない。したがって、特許文献１の技術によれば、最初にファイルを開いた際に各文字について表示用座標を求めるだけではなく、スクロールの度に各文字について表示用座標を求めなければならず、演算手段等のハードウェアにかかる処理負荷が多いという問題が生じていた。
Here, the position coordinate list indicates the coordinates of each character (arrangement order of each character) on the document image when scanned, but the display coordinates indicating the positional relationship with respect to the display area. is not. Therefore, according to the technique of
本発明は、以上の問題に鑑みてなされたものであり、撮像手段にて生成される文書画像をリフロー型として表示部に表示させる装置において、処理負荷を抑制することを目的とする。 The present invention has been made in view of the above problems, and an object of the present invention is to suppress a processing load in an apparatus that displays a document image generated by an imaging unit on a display unit as a reflow type.
上記の課題を解決するために、本発明の一態様の表示制御装置は、文書を撮像して得られる文書画像をリフロー形式で表示領域に表示させるために前記文書画像のレイアウトを変更する変更部と、レイアウト変更後の文書画像をリフロー形式で前記表示領域に表示させる表示処理を行う表示制御部とを備え、前記変更部は、前記文書画像を構成する要素毎に、レイアウト変更後の文書画像全体のなかでの位置を示す座標値を求め、前記表示制御部は、前記座標値のうち、画像のスクロールの方向と平行な座標軸の座標値に、前記スクロールの量に応じたオフセット値を加算する加算処理を行い、前記加算処理後の座標値を、前記表示領域と前記要素との位置関係を示す表示用座標として前記表示処理を行うことを特徴とする。 In order to solve the above problems, a display control apparatus according to an aspect of the present invention includes a changing unit that changes a layout of the document image so that a document image obtained by imaging the document is displayed in a display area in a reflow format. And a display control unit that performs display processing for displaying the document image after the layout change in the reflow format in the display area, and the change unit includes a document image after the layout change for each element constituting the document image. A coordinate value indicating a position in the whole is obtained, and the display control unit adds an offset value corresponding to the scroll amount to the coordinate value of the coordinate axis parallel to the scroll direction of the image among the coordinate values. And performing the display process using the coordinate value after the addition process as display coordinates indicating the positional relationship between the display area and the element.
本発明の一態様によれば、従来構成よりも処理負荷を抑制できる効果を奏する。 According to one aspect of the present invention, the processing load can be suppressed more than in the conventional configuration.
〔実施の形態１〕
本発明の一実施形態について以下説明する。図１は、本実施形態に係る携帯端末１０の構成を示す機能ブロック図である。図２は、本実施形態に係る携帯端末１０の外観構成を示す模式図である。
[Embodiment 1]
An embodiment of the present invention will be described below. FIG. 1 is a functional block diagram showing the configuration of the
（携帯端末１０の全体構成）
携帯端末（表示制御装置、表示装置）１０は、図２に示すように、小型の表示部を備えたスマートフォンである。携帯端末１０は、図１に示すように、制御部１１、記憶部１２、通信部１３、タッチパネル１４、アクセス部１５を備えている。
(Overall configuration of mobile terminal 10)
As shown in FIG. 2, the mobile terminal (display control device, display device) 10 is a smartphone including a small display unit. As illustrated in FIG. 1, the
制御部１１は、携帯端末１０の各ハードウェアの動作を制御するブロックであり、例えば、ＣＰＵ（Central Processing Unit）を備えるマイクロコンピュータやマイクロプロセッサによって実現される。制御部１１は、記憶部１２に記憶されている各種情報および各種制御を実施するためのプログラムを取り出して演算処理や判定処理を行い、これらの処理結果に基づいて携帯端末１０の各ハードウェアに信号や情報を送って、各ハードウェアの動作を制御する。制御部１１の詳細については後に述べる。
The
記憶部１２は、制御部１１が実行する各種アプリケーションプログラム、ＯＳ（Operating System）プログラム、制御プログラム、これらプログラムを実行するときに読み出す各種データ（設定値、テーブル等）を記憶する記憶領域である。記憶部１２としては、従来から公知の種々の記憶手段、例えば、リードオンリーメモリ、ランダムアクセスメモリ、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（登録商標）（Electrically EPROM）などを用いることができる。また、制御部１１に取り扱われている各種データや処理中のデータは、記憶部１２のワーキングメモリに一時的に記憶される。
The
通信部１３は、外部装置との間でデータ通信を行う通信インターフェイスである。本実施形態の通信部１３は、ＵＳＢ（Universal Serial Bus）１．１またはＵＳＢ２．０の規格に基づいて、シリアル転送／パラレル転送、無線データ通信を行うようになっている。通信部１３は、ユーザからの入力指示に従って、複合機、画像入力装置（スキャナ専用機）、またはサーバ装置との間で画像データの送受信を行う。
The
タッチパネル１４は、画像を表示する表示部１４ａと、ユーザのタッチ操作に応じた入力信号を生成する入力部１４ｂとが一体化されている装置である。タッチパネル１４としては、周知のタッチパネルを用いることができる。つまり、表示部１４ａはＬＣＤ（Liquid Crystal Display）などで構成され、入力部１４ｂは表示部１４ａと一体化された静電容量センサなどで構成される。
The
ユーザがタッチパネル１４に対してタッチ操作を行うと、タッチ操作に応じた入力指示が表示画像に反映されることになる。例えば、タップ操作が行われるとタップされたアイコンやファイルに応じた画像が表示されるようになっている。タッチ操作に応じた入力指示の具体例については後で詳述する。
When the user performs a touch operation on the
また、本実施形態では、図２に示すようにタッチパネル１４（表示部１４ａ）に文書画像が表示されるようになっている。ここで、表示部１４ａの表示領域全体のうち、文書画像を表示させるために確保されている表示領域をコンテンツ表示領域と称す（図２を参照）。コンテンツ表示領域は、表示領域全体を占めていてもよいし、表示領域全体のうちの一部であってもよい。図２は、コンテンツ表示領域が表示領域全体のうちの一部である形態を示したものであり、コンテンツ表示領域以外の領域が余白になっている。なお、表示部１４ａには、ツールバー等が表示されていてもよいし、スクロールバーが表示されていてもよい。或いは、図９に示すように、ユーザに選択させる機能が列挙されているメニュー領域が表示されてもよい。
In this embodiment, as shown in FIG. 2, the document image is displayed on the touch panel 14 (
なお、ユーザの視認性からすれば、通常、コンテンツ表示領域と、それ以外の領域（メニュー領域など）とは、互いに重複しないように設定されることが望ましい。但し、メニュー領域については、必ずしも常時表示されている必要がないことから、ユーザにとってメニューが必要な場合のみ（ユーザのタッチ操作に応じてメニューを呼び出す信号が入力された場合）、図２１に示す例のようにコンテンツ表示領域上にメニュー領域をオーバレイ表示するようになっていてもよい。つまり、図２１の例では、メニュー領域を半透明表示とすることにより、コンテンツ表示領域のうちメニュー領域に重畳されている部分も視認可能とし、メニュー表示前のコンテンツも表示され続けるようにしている。あるいは、前述のようにメニューを呼び出す信号が入力された場合にのみ、図９に示す例のように、コンテンツ表示領域を変形して余白を拡大し、拡大された余白の一部にメニュー領域を一時的に設けるようにしても良い。また、図９の例において、メニュー領域の表示を終了する指示信号を入力した場合、メニュー領域を表示領域から除外し、コンテンツ表示領域を、メニュー領域を呼び出す前の形状（大きさ）になるように再度変形するように設定されていてもよい。 From the viewpoint of the user's visibility, it is usually desirable that the content display area and other areas (such as the menu area) are set so as not to overlap each other. However, since the menu area does not necessarily need to be displayed at all times, it is shown in FIG. 21 only when the user needs the menu (when a signal for calling the menu is input in response to the user's touch operation). As shown in the example, the menu area may be displayed in an overlay on the content display area. That is, in the example of FIG. 21, by making the menu area semi-transparent display, the portion of the content display area superimposed on the menu area can be visually recognized, and the content before the menu display is continuously displayed. . Alternatively, only when a signal for calling a menu is input as described above, as shown in the example of FIG. 9, the content display area is deformed to enlarge the margin, and the menu area is set to a part of the enlarged margin. You may make it provide temporarily. In the example of FIG. 9, when an instruction signal for terminating the display of the menu area is input, the menu area is excluded from the display area, and the content display area has a shape (size) before calling the menu area. It may be set to be deformed again.
アクセス部１５は、携帯端末１０に挿入されるリムーバブルメディアにアクセスし、当該リムーバブルメディアに対する情報の読み書きを行う装置である。
The
つぎに、制御部１１について詳細に説明する。制御部１１は、図１に示すように、少なくとも、レイアウト変更部１１１および表示制御部１１２を含む。
Next, the
レイアウト変更部１１１は、ユーザに指定（選択）された文書ファイルの文書画像をリフロー形式で表示させるためにレイアウト変更処理を行うブロックである。つまり、レイアウト変更部１１１は、入力部１４ｂからユーザのタッチ操作に応じた入力信号を受け付け、この入力信号に示される入力指示が文書ファイルを開く指示である場合（文書ファイルのアイコンをタップ操作したような場合）、当該文書ファイルを記憶部１２から読み出してレイアウト変更処理を行うのである。
The
レイアウト変更処理（再配置処理）は、本来はフィックス型である文書画像を、表示部１４ａのコンテンツ表示領域においてはリフロー形式で表示可能になるように、当該文書画像の各要素の配置を変更する処理を指す。具体的には、レイアウト変更処理は、コンテンツ表示領域においてリフロー形式で表示可能になるように当該文書画像の各要素の配置座標を求める処理を指す。
The layout change process (rearrangement process) changes the arrangement of each element of the document image so that the originally fixed document image can be displayed in the reflow format in the content display area of the
配置座標とは、文書画像全体（表示部にて表示されている最中の部分のみならず表示部からはみ出している部分も含む）のなかでの各要素（文字、図表）の位置を示した座標である。つまり、配置座標とは、文書画像全体のなかの所定位置を原点とした場合の各要素の座標を示したものである。 The arrangement coordinates indicate the position of each element (character, chart) in the entire document image (including not only the middle part displayed on the display part but also the part protruding from the display part). Coordinates. That is, the arrangement coordinates indicate the coordinates of each element when the origin is a predetermined position in the entire document image.
リフロー形式とは、表示部１４ａの水平方向および垂直方向のうちのいずれかの方向のみのスクロールで文書画像を表示させる形式である。すなわち、図８に示すように、水平方向および垂直方向のうち、スクロール可能な方向と異なる方向（図８では水平方向）については、文書画像の長さがコンテンツ表示領域の長さ以下になるように（文書画像の画素数がコンテンツ表示領域の画素数以下になるように）、レイアウト変更処理が行われるのである。
The reflow format is a format in which the document image is displayed by scrolling only in one of the horizontal direction and the vertical direction of the
また、レイアウト変更部１１１は、文書画像の各要素（文字、表等）の並び順を示した参照リスト（図４）に基づいて、レイアウト変更処理を行うようになっている。この参照リストの内容、および、レイアウト変更処理の内容は、後に詳述する。
Further, the
表示制御部１１２は、タッチパネル１４の表示制御を行う。つまり、表示制御部１１２は、記憶部１２に記憶されている各種アプリケーションまたはＯＳ（Operating System）に基づいて各種画像をタッチパネル１４に表示させる。
The
また、表示制御部１１２は、タッチパネル１４の入力部１４ｂから、ユーザのタッチ操作に応じた入力信号を受け付け、入力指示に応じた表示制御を行う。すなわち、表示制御部１１２は、文書ファイルを表示させる指示を示す入力信号を入力部１４ｂから受け付けると（文書ファイルのアイコンをタップ操作したような場合）、当該文書ファイルの文書画像をタッチパネル１４に表示させる。
Further, the
また、本実施形態の表示制御部１１２は、レイアウト変更部１１１にて求められた配置座標に基づいて、文書画像の各要素（文字等）の描画座標（表示用座標）を求め、この描画座標に基づいて文書画像を表示部１４ａに表示させるようになっている。ここで、描画座標とは、文書画像の各要素と表示部１４ａのコンテンツ表示領域との位置関係を示す座標である（つまり、描画座標とは、図１０の（ｂ）に示すようにコンテンツ表示領域上の基準位置（左上隅部）を原点（０，０）とした平面座標上での各要素の座標値を示したものである）。表示制御部１１２における処理の詳細については後に詳述する。
In addition, the
なお、本実施形態は、図２に示すように、略長方形の表示部１４ａの長辺方向を表示部１４ａの垂直方向とし、表示部１４ａの短辺方向を表示部１４ａの水平方向として、左横書きの文書画像を表示部１４ａに表示する例を説明するものである（左横書の文書とは、各行の左側が先頭側になって右側が末尾側となる横書き文書を指す）。すなわち、本実施形態では、図２に示すように、表示中の左横書の文書画像における横方向（左右方向）と表示部１４ａの水平方向とが一致し、表示中の左横書の文書画像における縦方向（上下方向）と表示部１４ａの垂直方向とが一致する。そこで、本実施形態では、図２に示すように、短辺方向を水平方向として長辺方向を垂直方向とした略長方形の表示部１４ａに左横書の文書画像を表示させる場合において、当該左横書の文書画像の右側から左側に向けた方向を左方向とし、その逆方向を右方向とし、当該左横書きの文書画像の上側から下側に向けた方向を下方向とし、その逆方向を上方向とする（なお、図２に示す上下左右の各方向は、短辺方向を水平方向として長辺方向を垂直方向とした略長方形の表示部１４ａに縦書きの文書画像を表示させる場合において、当該縦書きの文書画像における上下左右の各方向とも一致することになる）。
In the present embodiment, as shown in FIG. 2, the long side direction of the substantially
また、本実施形態において、図４等に示される横幅は水平方向の長さを意味し、高さは垂直方向の長さを意味する。また、本実施形態において、前述した配置座標の原点（０，０）は、図１０の（ａ）に示すように、横書文書画像全体のなかの左上隅部に設定され、前述した描画座標の原点（０，０）は、図１０の（ｂ）に示すように、表示部１４ａにおけるコンテンツ表示領域の左上隅部（基準位置）に設定される。
In the present embodiment, the horizontal width shown in FIG. 4 or the like means the length in the horizontal direction, and the height means the length in the vertical direction. In the present embodiment, the origin (0, 0) of the arrangement coordinates described above is set at the upper left corner of the entire horizontal document image as shown in FIG. The origin (0, 0) is set at the upper left corner (reference position) of the content display area in the
（入力指示の具体例）
つぎに、タッチ操作に応じた入力指示の具体例を説明する。タッチパネル１４に対して利用者がタッチ操作を行うと、タッチ操作に応じた入力信号が入力部１４ｂから制御部１１に伝達される。そして、制御部１１の各部は、この入力信号から、タッチ点数（タッチ箇所の数）、タッチ座標等を導き、タッチ操作に応じた入力指示の内容を識別する。具体的には、以下の通りである。
(Specific examples of input instructions)
Next, a specific example of an input instruction according to a touch operation will be described. When the user performs a touch operation on the
例えば、制御部１１は、コンテンツ表示領域上にて１点のタッチを検出した場合、画像のスクロール指示（スクロール操作）の開始であると識別する。また、制御部１１は、スクロール指示が開始されてから１点のタッチがコンテンツ表示領域上で検出され続けている間はスクロール指示が継続されていると識別し、コンテンツ表示領域上で検出されるタッチ点数が１点以外に変化した場合はスクロール指示が終了したと識別する。
For example, when detecting one touch on the content display area, the
また、制御部１１は、コンテンツ表示領域上にて２点以上の同時タッチを検出した場合、画像のズーム指示（ズーム操作）の開始であると識別する。また、制御部１１は、ズーム指示が開始されてから、ズーム指示開始時に検出したタッチ点数と同じ点数のタッチがコンテンツ表示領域上で検出され続けている間はズーム指示が継続されていると識別し、コンテンツ表示領域上で検出されるタッチ点数が異なる点数に変化した場合はズーム指示が終了したと識別する。なお、２点タッチの場合、２点の間隔を広げる動きで画像拡大となり、２点の間隔を狭める動きで画像縮小となる。３点タッチの場合、３点を頂点とした三角形を広げる動きで画像拡大となり、三角形を狭める動きで画像縮小となる。
Further, when two or more simultaneous touches are detected on the content display area, the
また、スクロール指示が行われている最中にタッチの検出点数が２点以上に変わった場合、制御部１１は、スクロール指示の終了とズーム指示の開始とを同時に識別するようになっていてもよい。同様に、ズーム指示が行われている最中にタッチの検出点数が１点に変わった場合、制御部１１は、ズーム指示の終了とスクロール指示の開始とを同時に識別するようになっていてもよい。或いは、ズーム指示が行われている最中に、タッチ点数がズーム指示開始時のタッチの点数とは異なる２点以上の点数に変化した場合、制御部１１は、新たに検出された点数を基準としたズーム操作を開始するようになっていてもよい。
In addition, when the number of touch detection points changes to 2 or more while the scroll instruction is being performed, the
（文書ファイルについて）
続いて、携帯端末１０にて扱われる文書ファイル（文書画像のデータ）について説明する。文書ファイルは、ＣＣＤ（Charge Coupled Device）センサ、またはＣＭＯＳ（Complementary Metal-Oxide Semiconductor）センサ等の撮像手段が文書原稿を撮影して得られるデジタル画像をファイル化したものである。文書ファイルは、テキストデータを有しない撮影画像であり、例えばＰＤＦファイルやＴＩＦＦファイルが挙げられる。
(About document files)
Next, a document file (document image data) handled by the
携帯端末１０は、アクセス部１５を介してリムーバブルメディアから文書ファイルを取得して記憶部１２に保存してもよいし、通信部１３を介して複合機や画像入力装置から文書ファイルを受信し、記憶部１２に保存してもよい。
The
なお、携帯端末１０にて扱われる文書ファイルは、カラー画像データであってもよいし、白黒の画像データであってもよい。
Note that the document file handled by the
（参照リストについて）
つぎに、レイアウト変更部１１１によるレイアウト変更処理にて使用される参照リストについて図３Ａおよび図４を参照して説明する。図３Ａは、文字および図表から構成される文書画像（横書き文書）の一例を示したものであり、図４は、図３Ａの文書画像に対応する参照リストの一例を示したものである。
(About reference list)
Next, a reference list used in layout change processing by the
参照リストは、文書画像を構成する要素（文字および図表）ごとに、夫々の要素の情報を示したリストである。 The reference list is a list showing information on each element (characters and charts) constituting the document image.
個々の要素に関する情報には、文書中における要素の並び順を示したリスト番号と、文書中における要素の範囲を示す範囲情報と、要素の種類（文字、図表）を示す要素種別と、要素が属する段落を特定する情報とが含まれる。 The information about each element includes a list number indicating the arrangement order of elements in the document, range information indicating the range of elements in the document, an element type indicating the element type (character, chart), and elements. Information specifying the paragraph to which it belongs.
図４の参照リストでは、リスト番号の小さい順（つまり要素の並び順）に各要素に関する情報が示されている。また、図４の参照リストでは、範囲情報として、各要素のみを含む矩形の左上位置のＸ座標およびＹ座標と、矩形の横幅および高さとを含む。矩形の幅および高さの代わりに、矩形の右下位置のＸ座標およびＹ座標であってもよい。 In the reference list of FIG. 4, information about each element is shown in ascending order of the list number (that is, the element arrangement order). In the reference list of FIG. 4, the range information includes the X and Y coordinates of the upper left position of the rectangle including only each element, and the horizontal width and height of the rectangle. Instead of the width and height of the rectangle, the X coordinate and Y coordinate of the lower right position of the rectangle may be used.
また、図４の参照リストでは、要素種別として、文字、図表（図または表）に加えて改行を持つ。この「改行」は、要素種別であるだけではなく、要素が属する段落を特定する情報としても機能することになる。つまり、リスト番号の順に各要素の情報を参照していく場合、改行が参照されてから次に改行が参照するまで（まだ一度も改行が参照されていない場合は参照リストの先頭から最初に改行が参照されるまで）の間に参照された文字ないし図表を同一の段落に属していると判定できる。たとえば、リスト番号７において最初に改行が参照されるため、リスト番号１から６が１つの段落（図３Ａにおける段落Ｒ１）となり、次にリスト番号４１において改行が参照されるため、リスト番号８から４０が１つの段落（図３Ａにおける段落Ｒ２）となる。同様にして、全ての文字および図表の属する段落を判別できる。
In addition, the reference list of FIG. 4 has line breaks as element types in addition to characters and charts (figure or table). This “new line” functions not only as an element type but also as information for specifying the paragraph to which the element belongs. In other words, when referring to the information of each element in the order of the list number, the line break is referenced until the next line break is referenced (if a line break has not been referenced yet, the line break starts from the beginning of the reference list. Can be determined to belong to the same paragraph. For example, since a new line is first referred to in
さらに、図３Ａに示す文書画像のように同一段落内において文字列と文字列とに挟まれる図表が存在する場合、レイアウト変更を行うと、文字と図表との位置関係が変わり、可読性が低下するおそれがある。そこで、レイアウト変更前の文書画像において同一段落内において文字列と文字列とに挟まれる図表が存在する場合、この段落内において、レイアウト変更前の文字と図表との並び順に関係なく、レイアウト変更後には文字と図表とが別々に配置されるように、各文字および図表にリスト番号を割り振る。例えば、図４のリスト番号３９８の図表は、図３Ａに示すように、段落Ｒ７に含まれており、リスト番号３９８の図表の後の４行にわたる文字列までが同一段落（段落Ｒ７）となるが、図４の参照リストでは、まず段落Ｒ７の先頭の文字から段落Ｒ７に含まれる文字列の末尾にあたるリスト番号３９７の文字までの順にリスト番号が割り振られ、図表には、リスト番号３９７の次のリスト番号３９８が割り振られる。
Further, when there is a chart sandwiched between character strings and character strings in the same paragraph as in the document image shown in FIG. 3A, if the layout is changed, the positional relationship between the characters and the chart changes, and the readability decreases. There is a fear. Therefore, when there is a diagram that is sandwiched between character strings and character strings in the same paragraph in the document image before layout change, in this paragraph, regardless of the arrangement order of characters and diagrams before layout change, after layout change Assigns a list number to each character and chart so that the letters and charts are arranged separately. For example, the chart of the
但し、リスト番号の割り振り手法は、以上の図４の参照リストのような形態に限定されるものではない。例えば、同一段落内に文字列と図表とが共に含まれている場合、図２２に示す参照リストのように、図表と文字との境界となる位置に「改行」の要素を挿入することにより、同一段落内での図表と文字との位置関係（順序）をレイアウト変更の前後で固定させるようになっていてもよい。なお、同一段落内に複数の図表が存在する場合、図表と図表との境界の位置にも「改行」の要素を挿入することで、複数の要素がスクロールの方向と直交した方向に並ぶことなく表示することができる。 However, the list number allocation method is not limited to the form of the reference list of FIG. For example, when both a character string and a chart are included in the same paragraph, by inserting a “new line” element at a position that becomes the boundary between the chart and the character, as in the reference list shown in FIG. The positional relationship (order) between the chart and characters in the same paragraph may be fixed before and after the layout change. If there are multiple charts in the same paragraph, insert a line break element at the boundary between the charts and charts so that the multiple elements do not line up in the direction perpendicular to the scrolling direction. Can be displayed.
また、図５に示す参照リストのように、要素ごとに、属する段落を識別する段落ＩＤを記述してもよい。図５は、図４とは異なる参照リストの例を模式的に示した図である。この参照リストにおいては、リスト番号の順に各要素の情報を参照していく場合、段落ＩＤが変化した際にその前後の要素間で段落が変更されたと判定できる。なお、同一段落内において文字列と文字列とに挟まれる図表が存在する場合、図５においては、この段落内において図表からなる小段落が含まれるように扱う。つまり、図３Ｂおよび図５に示すように、文字列および図表からなる段落は段落７になり、このうち、図表については段落７に属する小段落７−２として扱われる。なお、同一段落内に複数の図表が存在する場合、個々の図表をそれぞれ異なる小段落としても良い。
Further, as in the reference list shown in FIG. 5, a paragraph ID for identifying a paragraph to which the element belongs may be described for each element. FIG. 5 is a diagram schematically showing an example of a reference list different from FIG. In this reference list, when the information of each element is referred to in the order of the list number, when the paragraph ID changes, it can be determined that the paragraph has been changed between the preceding and subsequent elements. When there is a chart sandwiched between character strings in the same paragraph, in FIG. 5, the paragraph is handled so as to include a small paragraph composed of charts. That is, as shown in FIG. 3B and FIG. 5, a paragraph composed of a character string and a chart becomes
また、本実施の形態では、記憶部１２においては、単に文書ファイルが保存されているだけではなく、保存されている文書ファイルの文書画像に対応する参照リストも当該文書ファイルに紐付けされて保存されているものとする。
In the present embodiment, the
参照リストは、文書ファイルが生成される複合機やスキャナにおいて、当該文書ファイルから作成され、当該文書ファイルに紐付けされることになる。そして、互いに紐付けされた文書ファイルと参照リストとの組み合わせは、通信部１３を介して携帯端末１０に送信されたり、リムーバブルメディアを介して携帯端末１０に入力される。
The reference list is created from the document file and linked to the document file in a multifunction peripheral or scanner that generates the document file. The combination of the document file and the reference list associated with each other is transmitted to the
但し、携帯端末１０が参照リスト作成部を備えてもよく、この場合、携帯端末１０は複合機やスキャナから文書ファイルのみを受信し、参照リスト作成部は、この文書ファイルを参照して参照リストを作成するようになっていてもよい。なお、参照リスト作成部については実施形態８にて説明する。
However, the
（レイアウト変更部１１１について）
以下、レイアウト変更部１１１の処理について詳細に説明する。なお、本実施形態では、文字列の文字の配列方向が表示画面の水平方向と一致する横書き（左横書き）の文書画像に対して処理を行う場合を説明する。なお、横書き（左横書き）の文書画像では、一つの文字列に属する文字の並び順は左から右へ向かう順であり、複数の文字列の並び順は原則として上から下へ向かう順である。
(About the layout changing unit 111)
Hereinafter, the processing of the
すなわち、図８に示すように、水平方向および垂直方向のうち、スクロール可能な方向と直交する方向（図８では水平方向）については、文書画像の長さがコンテンツ表示領域の長さ以下になるように、レイアウト変更処理が行われるのである。 That is, as shown in FIG. 8, in the horizontal direction and the vertical direction, the length of the document image is equal to or less than the length of the content display area in the direction orthogonal to the scrollable direction (the horizontal direction in FIG. 8). In this way, layout change processing is performed.
図６は、図４の参照リストを用いる場合のレイアウト変更部１１１の処理手順を示すフローチャートである。レイアウト変更部１１１は、図４の参照リストを参照し、Ｎ個の各要素のうち並び順の小さい要素から順に注目要素として扱っていく。
FIG. 6 is a flowchart illustrating a processing procedure of the
レイアウト変更部１１１は、図４の参照リストに基づいて、注目要素の要素種別を判定する（Ｓ１０１）。そして、図６に示すように、レイアウト変更部１１１は、注目要素が文字または図表であると判断する場合（Ｓ１０１）、注目要素の１つ前の要素の要素種別を示す履歴要素種別と、注目要素の要素種別との比較を行う（Ｓ１０２）。なお、履歴要素種別は記憶部１２に記憶されている。ここで、レイアウト変更部１１１は、履歴要素種別が文字または図表であり、かつ、注目要素の要素種別が履歴要素種別と異なる場合（Ｓ１０２にてＮＯ）、段落変更処理（Ｓ１０３）、要素切り出し処理（Ｓ１０４）、要素変倍処理（Ｓ１０５）、配置処理（Ｓ１０６）、履歴要素種別更新処理（Ｓ１０７）を順に実行する。これに対し、レイアウト変更部１１１は、履歴要素種別が「改行」である場合、もしくは、履歴要素種別と注目要素の要素種別とが同一である場合（Ｓ１０２にてＮＯ）、段落変更処理（Ｓ１０３）を実行せずに、要素切り出し処理（Ｓ１０４）、要素変倍処理（Ｓ１０５）、配置処理（Ｓ１０６）、履歴要素種別更新処理（Ｓ１０７）を順に実行する。また、レイアウト変更部１１１は、Ｓ１０１において注目要素が改行であると判断する場合、段落変更処理（Ｓ１０８）、履歴要素種別更新処理（Ｓ１０７）を順に実行する。レイアウト変更部１１１は、Ｎ個の全ての要素を順に注目要素として扱い、各注目要素に対して図６の処理を行う。なお、履歴要素種別は、参照リストの先頭（すなわちｒ＝１）が参照される前に、「改行」に初期化されており、図６の履歴要素種別更新処理（Ｓ１０７）において、注目要素の要素種別を新たな値として更新する。
The
以下、図６の要素切り出し処理、要素変倍処理、配置処理、段落変更処理の各々の処理内容を順に説明する。前述したレイアウト変更処理とは、要素切り出し処理、要素変倍処理、配置処理、段落変更処理からなるのである。 In the following, the process contents of the element cutout process, element scaling process, arrangement process, and paragraph change process of FIG. 6 will be described in order. The layout change process described above includes an element cutout process, an element scaling process, an arrangement process, and a paragraph change process.
図６の要素切り出し処理（Ｓ１０４）は、参照リストに示される注目要素の範囲に基づいて、文書画像のデータから注目要素の切り出し（抽出）を行う処理である。 The element cutout process (S104) in FIG. 6 is a process of cutting out (extracting) an element of interest from document image data based on the range of the element of interest indicated in the reference list.
図６の要素変倍処理（Ｓ１０５）は、切り出した注目要素を、現在指定されている表示倍率に応じて拡大もしくは縮小を行う処理である。たとえば、表示倍率が２００％である場合、切り出された各要素の水平および垂直方向のサイズが２倍になるように拡大処理が実行される。表示倍率が５０％となっている場合、切り出された各要素の水平および垂直方向のサイズが１／２倍になるように縮小処理が実行される。 The element scaling process (S105) in FIG. 6 is a process for enlarging or reducing the extracted element of interest according to the currently specified display magnification. For example, when the display magnification is 200%, the enlargement process is executed so that the horizontal and vertical sizes of each cut out element are doubled. When the display magnification is 50%, the reduction process is executed so that the horizontal and vertical sizes of each extracted element are halved.
但し、図表は、文字に比べてサイズが大きいため、携帯端末１０（スマートフォン）のように表示部１４ａの画素数が少ない場合（高さおよび幅が小さい場合）、リフロー表示する際のスクロールの方向と直交する方向の長さがコンテンツ表示領域よりも長くなりがちである。このような場合、図表の長さ（スクロールの方向と直交する方向の長さ）をコンテンツ表示領域に収めるようにするための方法として、指定されている表示倍率と関係なく、図表の長さ（スクロールの方向と直交する方向の長さ）をコンテンツ表示領域の長さ（スクロールの方向と直交する方向の長さ）以下になるように縮小する。また、図表の長さがコンテンツ表示領域の長さよりも短い場合、指定されている表示倍率と関係なく、図表の長さがコンテンツ領域の長さを超えない程度に図表を拡大してもよい（表示倍率を指定値から変更する）。なお、以上の手法は、たとえば各要素の要素種別を参照リストから参照して「図表」である場合に表示倍率を変更することで実行できる。或いは、注目要素の切り取り時の横幅（スクロールの方向と直交する方向の長さ）がコンテンツ表示領域のスクロールの方向と直交する方向の長さに所定係数（たとえば０．５）を乗じたものよりも大きい場合に倍率を変更するようにすれば、図表のみならず非常に大きな文字などにも対応できる。
However, since the size of the chart is larger than that of characters, the scroll direction when reflow display is performed when the number of pixels of the
つぎに、図６に示されている配置処理（Ｓ１０６）を説明する。変倍処理された注目要素の横幅をＳＷ、縦の長さをＳＨとするとき、配置座標（Ｐｘ，Ｐｙ）を左上として要素の配置を行う場合、その右下座標は（Ｐｘ＋ＳＷ−１，Ｐｙ＋ＳＨ−１）となる。配置座標は、最初にＰｘ＝ＩｎｄｅｎｔＸ１，Ｐｙ＝０として初期化されている。 Next, the arrangement process (S106) shown in FIG. 6 will be described. When the element width is SW and the vertical length is SH and the element is arranged with the arrangement coordinate (Px, Py) as the upper left, the lower right coordinate is (Px + SW-1, Py + SH). -1). The arrangement coordinates are initially initialized as Px = IndentX1, Py = 0.
注目要素が下記の式（１）を満たす場合、スクロール方向と直交する方向においてコンテンツ領域をはみ出さずに注目要素を配置することができ、注目要素に対する配置座標を（Ｐｘ，Ｐｙ）として確定する。
Ｐｘ＋ＳＷ≦ＤＷ・・・・・・ 式（１）
ただし、ＤＷは、コンテンツ表示領域におけるスクロールの方向と直交する方向の長さ（横書きの場合は横幅）の大きさを示す。
When the target element satisfies the following expression (1), the target element can be arranged without protruding the content area in the direction orthogonal to the scroll direction, and the arrangement coordinates for the target element are determined as (Px, Py). .
Px + SW ≤ DW ··· Equation (1)
However, DW indicates the size of the length (horizontal width in horizontal writing) in the direction orthogonal to the scroll direction in the content display area.
注目要素が式（１）を満たさないとき、コンテンツ表示領域をはみ出すとして、以下に説明する方法により行の折り返し処理を実行する（注目要素の属する行を、注目要素の直前の要素（並び順が注目要素の直前の要素）の属する行の下の行にする）。 When the element of interest does not satisfy Expression (1), the content display area is projected, and line wrapping processing is executed by the method described below (the line to which the element of interest belongs is the element immediately before the element of interest (the arrangement order is (The element immediately before the element of interest) is the line below the line to which the element belongs).
注目要素の直前の要素を含む行の下端座標をＹ＝ＬｉｎｅＭａｘＹとするとき、注目要素の配置座標をＰｘ＝ＩｎｄｅｎｔＸ２、Ｐｙ＝ＬｉｎｅＭａｘＹ＋ＬｉｎｅＳｐａｃｅＹ２と更新した上で、式（１）を満たすか否か判定し、満たす場合は配置座標を（Ｐｘ，Ｐｙ）として確定する。 When the bottom coordinate of the line including the element immediately before the element of interest is Y = LineMaxY, the arrangement coordinates of the element of interest are updated as Px = IndentX2 and Py = LineMaxY + LineSpaceY2, and then it is determined whether or not Expression (1) is satisfied. If it is satisfied, the arrangement coordinates are determined as (Px, Py).
ただし、ＩｎｄｅｎｔＸ１、ＩｎｄｅｎｔＸ２は、インデントの大きさを示すゼロ以上の係数であり、正の値をとるとき、行の先頭文字が右側にシフトされた形で要素が配置される。ＩｎｄｅｎｔＸ１、ＩｎｄｅｎｔＸ２の値は、特に限定されるものではないが、ＩｎｄｅｎｔＸ１が段落の先頭位置を示す値に設定されるのに対し、ＩｎｄｅｎｔＸ２は段落の２行目以降の各行の先頭位置に適用される点で異なる。それゆえ、ＩｎｄｅｎｔＸ２は、ＩｎｄｅｎｔＸ１よりも小さい値が好ましく、ゼロであることが望ましいが、特にそれに限定するのでなく、たとえば双方ともゼロとして行頭のインデントを持たないレイアウトとしても構わない。ＬｉｎｅＳｐａｃｅＹ２は、行間距離の大きさを示す係数であり、値が大きくなるほど行間距離が大きくなる。ＬｉｎｅＳｐａｃｅＹ２の値は、特に限定されるものではないが、コンテンツ領域の縦の長さの５％というように表示部１４ａのサイズに応じて設定されてもよいし、ＳＨに所定係数α（たとえばα＝１．５）を乗じた値とすることで、注目要素を基準として行の高さのα倍を行間距離とすることができる。以上のようにすることにより、注目要素とその直前の要素とが水平方向に並ばないように配置座標を変更することができ、行を折り返すことができる。
However, IndentX1 and IndentX2 are zero or more coefficients indicating the size of the indent, and when taking a positive value, the elements are arranged in such a manner that the first character of the line is shifted to the right. The values of IndentX1 and IndentX2 are not particularly limited. IndentX1 is set to a value indicating the start position of the paragraph, whereas IndentX2 is applied to the start position of each line after the second line of the paragraph. It is different in point. Therefore, the value of IndentX2 is preferably smaller than that of IndentX1, and is desirably zero. However, the present invention is not particularly limited to this, and for example, both of them may be zero and do not have a head indent. LineSpaceY2 is a coefficient indicating the size of the inter-line distance, and the inter-line distance increases as the value increases. The value of LineSpaceY2 is not particularly limited, but may be set according to the size of the
注目要素の配置座標（Ｐｘ，Ｐｙ）が確定すると、注目要素の配置座標（Ｐｘ，Ｐｙ）、ＳＷおよびＳＨを記憶部１２に記憶させる。なお、変倍後の横幅および縦の長さの代わりに変倍率Ｒを記憶させても良い。
When the arrangement coordinates (Px, Py) of the element of interest are fixed, the arrangement coordinates (Px, Py) of the element of interest, SW and SH are stored in the
注目要素の配置座標を記憶すると、次の注目要素の配置座標の初期値を（Ｐｘ＋ＳＷ＋ＣｈａｒａＳｐａｃｅＸ−１，Ｐｙ）として更新する。但し、ＣｈａｒａＳｐａｃｅＸは文字同士の字間距離を示す所定係数である。ＣｈａｒａＳｐａｃｅＸの値は、特に限定されるものではなく、たとえばコンテンツ表示領域の横幅の１％というように表示部１４ａのサイズに応じて設定されてもよい。或いは、ＣｈａｒａＳｐａｃｅＸの値は、直前に参照された注目要素の横幅ＳＷに所定係数β（たとえばβ＝０．１）を乗じた値としてもよい。この場合、直前の注目要素の大きさに応じた字間距離を設定することができる。
When the arrangement coordinates of the element of interest are stored, the initial value of the arrangement coordinates of the next element of interest is updated as (Px + SW + CharaSpaceX-1, Py). However, CharaSpaceX is a predetermined coefficient indicating the distance between characters. The value of CharaSpaceX is not particularly limited, and may be set according to the size of the
つぎに、図６の段落変更処理（Ｓ１０３、Ｓ１０８）について説明する。段落変更処理では、注目要素の直前の要素が含まれる行の下端座標をＹ＝ＬｉｎｅＭａｘＹとすると、注目要素の配置座標をＰｘ＝ＩｎｄｅｎｔＸ１，Ｐｙ＝ＬｉｎｅＭａｘＹ＋ＬｉｎｅＳｐａｃｅＹ１として確定する。 Next, the paragraph changing process (S103, S108) of FIG. 6 will be described. In the paragraph changing process, if the lower end coordinates of the line including the element immediately before the target element is Y = LineMaxY, the arrangement coordinates of the target element are determined as Px = IndentX1, Py = LineMaxY + LineSpaceY1.
なお、ＬｉｎｅＳｐａｃｅＹ１は、行間距離の大きさを示す係数であり、値が大きくなるほど行間距離が大きくなる。ＬｉｎｅＳｐａｃｅＹ１の値は、特に限定されず、ＬｉｎｅＳｐａｃｅＹ２と同様の方法で設定できる。但し、ＬｉｎｅＳｐａｃｅＹ１は、異なる段落間の行間距離を示すのに対し、ＬｉｎｅＳｐａｃｅＹ２は、同一の段落内における行間の距離を示す点で異なる。それゆえ、ＬｉｎｅＳｐａｃｅＹ１の値としては、ＬｉｎｅＳｐａｃｅＹ２より大きな値が設定される方が望ましい。 LineSpaceY1 is a coefficient indicating the size of the inter-line distance, and the inter-line distance increases as the value increases. The value of LineSpaceY1 is not particularly limited, and can be set in the same manner as LineSpaceY2. However, LineSpaceY1 indicates the distance between lines in different paragraphs, whereas LineSpaceY2 differs in that it indicates the distance between lines in the same paragraph. Therefore, it is desirable to set a larger value than LineSpaceY2 as the value of LineSpaceY1.
レイアウト変更部１１１は、注目要素に対して以上の処理を行って注目要素の配置座標を確定すると、履歴要素種別更新処理（Ｓ１０７）を行った上で、次の注目要素に対して以上の処理を繰り返す。
When the
なお、図４の参照リストではなく、図２２に示す参照リスト（同一段落内であっても文字要素と図表要素との境界に改行要素を挿入した参照リスト）を使用する場合、レイアウト変更部１１１は、図２３のフローに示す手順で処理を実行する。ここで、図２３の要素切り出し処理（Ｓ１０４）、要素変倍処理（Ｓ１０５）、配置処理（Ｓ１０６）、段落変更処理（Ｓ１０８）は、図６の素切り出し処理（Ｓ１０４）、要素変倍処理（Ｓ１０５）、配置処理（Ｓ１０６）、段落変更処理（Ｓ１０８）と同一であるため、その説明を省略する。すなわち、図２２に示す参照リストを使用する場合の図２３の処理フローにおいては、要素が変更される場合は必ず改行されるようになっているため、図６のＳ１０２，Ｓ１０３，Ｓ１０７が省略されることになる。 If the reference list shown in FIG. 22 (a reference list in which a line feed element is inserted at the boundary between a character element and a chart element) is used instead of the reference list shown in FIG. The process is executed according to the procedure shown in the flow of FIG. Here, the element cutout process (S104), the element scaling process (S105), the arrangement process (S106), and the paragraph change process (S108) in FIG. Since this is the same as S105), the placement process (S106), and the paragraph change process (S108), description thereof is omitted. That is, in the processing flow of FIG. 23 when the reference list shown in FIG. 22 is used, line breaks are always made when elements are changed, so S102, S103, and S107 of FIG. 6 are omitted. Will be.
つぎに、図４の参照リストではなく、図５の参照リストを用いる場合のレイアウト変更部１１１の処理について以下説明する。図７は、図５の参照リストを用いる場合のレイアウト変更部１１１の処理手順を示すフローチャートである。
Next, processing of the
レイアウト変更部１１１は、図５の参照リストを参照し、Ｎ個の各要素のうち並び順の小さい要素から順に注目要素として扱っていく。そして、図７に示すように、レイアウト変更部１１１は、注目要素について、要素切り出し処理（Ｓ１０４）、要素変倍処理（Ｓ１０５）を順に実行する。図７の要素切り出し処理（Ｓ１０４）、要素変倍処理（Ｓ１０５）の内容は、図６の要素切り出し処理（Ｓ１０４）、要素変倍処理（Ｓ１０５）と同一であるため、その説明を省略する。続いて、レイアウト変更部１１１は、図５に示す参照リストに示されている段落ＩＤを参照して、注目要素が、注目要素の直前の要素と同じ段落であるかどうかを判定する（Ｓ１１０）。
The
注目要素が直前の要素と異なる段落である場合、すなわち判定処理が偽である場合（Ｓ１１０にてＮＯ）、図７に示すように、段落変更処理（Ｓ１０８）、配置処理（Ｓ１０６）を順に実行する。なお、図７の段落変更処理（Ｓ１０８）、配置処理（Ｓ１０６）の内容は、図６の段落変更処理（Ｓ１０８）、配置処理（Ｓ１０６）と同一であるため、その説明を省略する。なお、注目要素が、直前の要素を含む段落内の、図表を含む小段落である場合は、直前の要素と異なる段落であるとみなすことで、文字列と図表との間、もしくは図表と図表との間を改行することができる。また、図示しないが、上記小段落が、複数の図表を含んでいる場合、上記小段落内の図表を参照するごとに段落変更処理を実行するようにしても良い（すなわち小段落内の図表を参照するときは、Ｓ１１０は常にＮＯに固定されるようにしても良い）。 If the element of interest is a paragraph different from the immediately preceding element, that is, if the determination process is false (NO in S110), as shown in FIG. 7, the paragraph change process (S108) and the arrangement process (S106) are executed in order. To do. The contents of the paragraph changing process (S108) and the arranging process (S106) in FIG. 7 are the same as the paragraph changing process (S108) and the arranging process (S106) in FIG. If the element of interest is a sub-paragraph including a chart within a paragraph including the immediately preceding element, it is assumed that it is a paragraph different from the immediately preceding element, so that it is between the character string and the chart or between the chart and the chart. Line breaks can be made between Although not shown, when the small paragraph includes a plurality of charts, the paragraph change process may be executed every time the chart in the small paragraph is referred to (that is, the chart in the small paragraph is displayed). When referencing, S110 may always be fixed to NO).
これに対し、注目要素が直前の要素と同じ段落である場合、すなわち判定処理が真である場合（Ｓ１１０にてＹＥＳ）、段落変更処理（Ｓ１０８）をスキップして配置処理（Ｓ１０６）を行う。また、図示されていないが、注目要素のリスト番号が１の場合も（つまり最初の注目要素の場合）、段落変更処理（Ｓ１０８）をスキップして配置処理（Ｓ１０６）を行う。 On the other hand, when the element of interest is the same paragraph as the immediately preceding element, that is, when the determination process is true (YES in S110), the paragraph change process (S108) is skipped and the arrangement process (S106) is performed. Although not shown, when the list number of the element of interest is 1 (that is, in the case of the first element of interest), the paragraph changing process (S108) is skipped and the arrangement process (S106) is performed.
（表示制御部１１２について）
つぎに、表示制御部１１２の処理内容を説明する。表示制御部１１２は、文書画像を構成する要素ごとに、レイアウト変更部１１１にて求められた配置座標から、コンテンツ表示領域に対する位置関係を示した描画座標を算出する。具体的には、各要素の配置座標を（Ｐｘ，Ｐｙ）とするとき、描画座標（Ｏｘ，Ｏｙ）は以下の式（２）および式（３）から求めることができる。
Ｏｘ ＝ Ｐｘ ＋ ＯｆｆｓｅｔＸ ・・・・・・式（２）
Ｏｙ ＝ Ｐｙ ＋ ＯｆｆｓｅｔＹ ・・・・・・式（３）
ＯｆｆｓｅｔＸ，ＯｆｆｓｅｔＹはオフセット値であり、全ての要素について同一の値を用いる。
(About the display control unit 112)
Next, processing contents of the
Ox = Px + OffsetX Expression (2)
Oy = Py + OffsetY (Equation 3)
OffsetX and OffsetY are offset values, and the same value is used for all elements.
ここで、文書画像が横書きの場合（文書の行方向と表示画面の水平方向とが一致する場合）、全ての要素において、ＯｆｆｓｅｔＸを０で固定し、ＯｆｆｓｅｔＹをスクロールの度に変更する。文書画像が縦書きの場合（文書の行方向と表示画面の垂直方向とが一致する場合）、ＯｆｆｓｅｔＹを０で固定し、ＯｆｆｓｅｔＸをスクロールの度に変更する。 Here, when the document image is horizontally written (when the line direction of the document coincides with the horizontal direction of the display screen), OffsetX is fixed to 0 and OffsetY is changed every time the scroll is performed. When the document image is vertically written (when the line direction of the document coincides with the vertical direction of the display screen), OffsetY is fixed at 0, and OffsetX is changed every time the scroll is performed.
図８は、描画座標に基づいて文書画像を表示する場合の表示例を示す。文書画像の先頭の要素について、配置座標のＹ座標値は０であるが（図１０の（ａ））、描画座標のＹ座標値はＯｆｆｓｅｔＹに変更される（図８）。また、配置座標が（０，−ＯｆｆｓｅｔＹ）であった位置が描画座標では（０，０）になり、この位置がコンテンツ表示領域の原点となる。 FIG. 8 shows a display example when a document image is displayed based on the drawing coordinates. For the first element of the document image, the Y coordinate value of the arrangement coordinate is 0 ((a) in FIG. 10), but the Y coordinate value of the drawing coordinate is changed to OffsetY (FIG. 8). Further, the position where the arrangement coordinates are (0, −OffsetY) becomes (0, 0) in the drawing coordinates, and this position becomes the origin of the content display area.
図８に示すように、コンテンツ表示領域の横幅をＤＷ、縦の長さをＤＨとし、コンテンツ表示領域の左上を原点（０，０）、右下を（ＤＷ−１，ＤＨ−１）とする。そして、各要素について、式（２）および式（３）で得られた描画座標（Ｏｘ，Ｏｙ）を左上とし、横幅ＳＷ、縦の長さＳＨで描画したときの矩形範囲の一部ないし全部がコンテンツ領域に重複する場合、当該要素に対する描画処理を行う（当該要素を表示させる）。 As shown in FIG. 8, the horizontal width of the content display area is DW, the vertical length is DH, the upper left of the content display area is the origin (0, 0), and the lower right is (DW-1, DH-1). . For each element, the rendering coordinates (Ox, Oy) obtained by Expression (2) and Expression (3) are set to the upper left, and part or all of the rectangular range when rendered with the horizontal width SW and the vertical length SH. Is overlapped in the content area, the drawing process for the element is performed (the element is displayed).
図９は、図８のように描画座標が求められた場合の携帯端末１０のコンテンツ表示領域の様子を示した図である。図８の要素１（「こ」）や要素５（「で」）は、コンテンツ表示領域に重複しないため表示されない。これに対し、図８の要素２（「の」）や要素４（「落」）は、一部がコンテンツ表示領域と重複しており、重複箇所が表示される。また、図８の要素３（「第」）は、全体がコンテンツ領域と重複しているため表示される。
FIG. 9 is a diagram showing a state of the content display area of the
また、表示制御部１１２は、入力部１４ｂからの信号によってスクロール指示（スクロール操作）を検出すると、スクロール指示に応じてオフセット値を変更することにより、文書画像をスクロールさせるようになっている。以下では、この点を説明する。
Further, when the
図１０は、オフセット値を変化させるとコンテンツ表示領域に描画される範囲が変化する様子を説明するための図である。図１０では、ＤＷ＝１０００，ＤＨ＝１５００としている。 FIG. 10 is a diagram for explaining how the range drawn in the content display area changes when the offset value is changed. In FIG. 10, DW = 1000 and DH = 1500.
図１０の（ａ）は、レイアウト変更部１１１にて求められた配置座標に基づいて各要素が配置される文書画像を示す。図１０の（ｂ）は、図１０の（ａ）に示す文書画像のうち、ＯｆｆｓｅｔＹ＝−２００とした場合にコンテンツ表示領域に描画される範囲を示す。図１０の（ｃ）は、図１０の（ａ）に示す文書画像のうち、ＯｆｆｓｅｔＹ＝−４００とした場合にコンテンツ表示領域に描画される範囲を示す。なお、図１０の（ｂ）および（ｃ）において、網掛けされている範囲がコンテンツ表示領域（画像が表示される領域）である。すなわち、ＯｆｆｓｅｔＹを０以下の値とする場合、ＯｆｆｓｅｔＹの値が減少するほど（絶対値が大きくなるほど）、文書画像のうちの表示範囲が下側にシフトし、ＯｆｆｓｅｔＹの値が増加するほど（絶対値が小さくなるほど）、文書画像のうちの表示範囲が上側にシフトする。それゆえ、スクロール指示（タッチ操作）に応じてオフセット値を調整すれば、スクロール指示に追随させて文書画像をスクロールさせることができる。
FIG. 10A shows a document image in which each element is arranged based on the arrangement coordinates obtained by the
つぎに、スクロール指示（スクロール操作）に応じてオフセット値を変更して画像をスクロールさせる処理を詳細に説明する。図１１は、タッチ操作によるスクロール指示を説明するための図である。スクロール指示開始時（時刻ｔ＝０）におけるタッチ検出位置を点Ａ０、時刻ｔ＝Ｔ１におけるタッチ検出位置を点Ａとするとき、表示制御部１１２は、点Ａ０から点Ａへの変位量（距離）に応じてオフセット値を変更する。
Next, a process for scrolling an image by changing an offset value according to a scroll instruction (scroll operation) will be described in detail. FIG. 11 is a diagram for explaining a scroll instruction by a touch operation. When the touch detection position at the start of the scroll instruction (time t = 0) is the point A0 and the touch detection position at the time t = T1 is the point A, the
例えば、横書きの文書画像の場合において、点Ａ０のＹ座標をａｙ０、点ＡのＹ座標をａｙとし、時刻ｔにおけるオフセット値をＯｆｆｓｅｔＹ（ｔ）としたとき、表示制御部１１２は、時刻ｔ＝Ｔのオフセット値ＯｆｆｓｅｔＹ（Ｔ）を、式（４）によって求める。
ＯｆｆｓｅｔＹ（Ｔ）＝ＯｆｆｓｅｔＹ（０）−ｆ（ａｙ−ａｙ０）・・・式（４）
関数ｆ（ｘ）は、ｘに正の相関を持ち、ｆ（０）＝０となる奇関数である。たとえばｆ（ｘ）＝ｘを挙げることができる。
For example, in the case of a horizontally written document image, when the Y coordinate of the point A0 is ay0, the Y coordinate of the point A is ay, and the offset value at time t is OffsetY (t), the
OffsetY (T) = OffsetY (0) −f (ay−ay0) (4)
The function f (x) is an odd function having a positive correlation with x and f (0) = 0. For example, f (x) = x can be mentioned.
図１１の場合、ａｙ＜ａｙ０であるため、ＯｆｆｓｅｔＹ（Ｔ）＞ＯｆｆｓｅｔＹ（０）となり、上方向に文書画像がスクロールされる。 In the case of FIG. 11, since ay <ay0, OffsetY (T)> OffsetY (0), and the document image is scrolled upward.
同様にして、時刻ｔ＝Ｔ２におけるタッチ検出位置Ａ’のＹ座標をａｙ’とすると、ａｙ’＜ａｙであるため、点Ａ’の方が、点Ａよりも、点Ａ０との間の垂直方向距離（Ｙ座標の差）が大きく、ＯｆｆｓｅｔＹ（Ｔ２）＞ＯｆｆｓｅｔＹ（Ｔ１）となり、より上方向にスクロールされることになる。なお、ＯｆｆｓｅｔＹの算出は、タッチ操作におけるＹ方向の変位量を用いて行われるが、タッチ操作におけるＸ方向の変位量や符号は無関係である。 Similarly, when the Y coordinate of the touch detection position A ′ at time t = T2 is ay ′, since ay ′ <ay, the point A ′ is more perpendicular to the point A0 than the point A. The directional distance (difference in the Y coordinate) is large, and OffsetY (T2)> OffsetY (T1) is satisfied, and scrolling is further upward. OffsetY is calculated using the amount of displacement in the Y direction in the touch operation, but the amount of displacement and the sign in the X direction in the touch operation are irrelevant.
さらに、時刻ｔ＝Ｔ３におけるタッチ検出位置Ａ’’のＹ座標をａｙ’’とすると、ａｙ’’＞ａｙ０であることから、ＯｆｆｓｅｔＹ（０）＞ＯｆｆｓｅｔＹ（Ｔ３）となり、タッチ開始位置から下側へ向けた方向に画像がスクロールされることになる。 Furthermore, if the Y coordinate of the touch detection position A ″ at time t = T3 is ay ″, since ay ″> ay0, OffsetY (0)> OffsetY (T3), and the lower side from the touch start position. The image is scrolled in the direction toward.
つまり、本実施形態によれば、各要素の配置座標（Ｐｘ，Ｐｙ）のうち、画像のスクロールの方向と平行な座標軸の座標値（横書きの場合はＰｙ）に対してスクロールの量に応じたオフセット値（各要素に共通の値）を加算する加算処理を行うことによって各要素の描画座標（Ｏｘ，Ｏｙ）を求める形態である。この形態では、文書画像がスクロールされる場合、各要素において、スクロール方向と平行な座標軸の座標値に加算されるオフセット値（各要素に共通値）を変更するだけで描画座標（Ｏｘ，Ｏｙ）を更新できる。それゆえ、スクロールの度に、各要素のｘ座標値およびｙ座標値の両方を再演算していた従来構成よりも処理負荷を抑制できる効果を奏する。 That is, according to the present embodiment, among the arrangement coordinates (Px, Py) of each element, the coordinate value of the coordinate axis parallel to the scroll direction of the image (Py in the case of horizontal writing) corresponds to the scroll amount. This is a form in which drawing coordinates (Ox, Oy) of each element are obtained by performing an addition process of adding an offset value (a value common to each element). In this form, when the document image is scrolled, the drawing coordinates (Ox, Oy) are simply changed for each element by changing the offset value (common value for each element) added to the coordinate value of the coordinate axis parallel to the scroll direction. Can be updated. Therefore, there is an effect that the processing load can be suppressed as compared with the conventional configuration in which both the x-coordinate value and the y-coordinate value of each element are recalculated each time the scroll is performed.
〔実施形態２〕
実施形態２では、ユーザに文書ファイルが指定されてレイアウト変更部１１１および表示制御部１１２の処理によって文書画像がタッチパネル１４に表示された後、ユーザがズーム指示（ズーム操作）を行った場合の表示倍率の変更処理について説明する。
[Embodiment 2]
In the second embodiment, after the document file is designated by the user and the document image is displayed on the
なお、実施形態１で説明したように、制御部１１は、コンテンツ表示領域上にて２点以上の同時タッチを検出した場合、画像のズーム指示（ズーム操作）の開始であると識別するようになっている。また、制御部１１は、ズーム指示が開始されてから、ズーム指示開始時に検出したタッチ点数と同じ点数のタッチがコンテンツ表示領域上で検出され続けている間はズーム指示が継続されていると識別し、コンテンツ表示領域上で検出されるタッチ点数が異なる点数に変化した場合はズーム指示が終了したと識別するようになっている。また、２点タッチの場合、２点の間隔を広げる動きで画像拡大となり、２点の間隔を狭める動きで画像縮小となる（３点タッチの場合、３点を頂点とした三角形を広げる動きで画像拡大となり、三角形を狭める動きで画像縮小となる）。
As described in the first embodiment, when detecting two or more simultaneous touches on the content display area, the
ズーム指示開始時（時刻ｔ＝０）におけるタッチ検出点数をＮとし、第ｉ番目（ｉ＝１，２，…，Ｎ）のタッチ検出位置を点Ａｉ０とし、最終検出時（ｔ＝Ｔ）における第ｉ番目のタッチ検出位置を点Ａｉとするとき（タッチ検出点数がＮ以外になるとズーム指示が終了する）、Ｎ個のタッチ検出位置の変位を用いたよく知られた方法により表示倍率を変更することができる。 The number of touch detection points at the start of zoom instruction (time t = 0) is N, the i-th (i = 1, 2,..., N) touch detection position is point Ai0, and the last detection time (t = T). When the i-th touch detection position is a point Ai (the zoom instruction ends when the number of touch detection points is other than N), the display magnification is changed by a well-known method using the displacement of the N touch detection positions. can do.
たとえば、Ｎ個のタッチ検出位置から得られる評価値を各時刻で算出し、時刻ｔ＝０における評価値と、時刻ｔ＝Ｔにおける評価値との差異により表示倍率を変更する方法が挙げられる。より具体的に説明すると、表示制御部１１２は、Ｎ個のタッチ位置の平均座標値に相当する点Ｍを求め、点Ｍと各点Ａとの距離の総和を評価値Ｅとして、下記の式（５Ａ）を用いて表示倍率を求めることができる。
For example, an evaluation value obtained from N touch detection positions is calculated at each time, and the display magnification is changed depending on the difference between the evaluation value at time t = 0 and the evaluation value at time t = T. More specifically, the
Ｚｏｏｍ（Ｔ）＝Ｚｏｏｍ（０）＋ｇ（Ｅ（Ｔ）−Ｅ（０））・・・式（５Ａ）
Ｚｏｏｍ（ｔ）は時刻ｔにおける表示倍率を示し（Ｚｏｏｍ（ｔ）＝１．０のとき表示倍率１００％とする）、Ｅ（ｔ）は時刻ｔにおける評価値を示すものとする。
関数ｇ（ｘ）は、ｘに正の相関を持ち、ｇ（０）＝０となる奇関数である。たとえば、ｇ（ｘ）＝ｃ・ｘが挙げられる。
ｃは、所定係数である。たとえば、ｃは、コンテンツ表示領域の水平方向の画素数と垂直方向の画素数のうち小さい方の逆数に１６を乗じた数とすることができる。このようにｃを設定する場合、評価値Ｅ（Ｔ）が、評価値Ｅ（０）よりも、コンテンツ表示領域の短辺の長さ（水平方向の長さ）の１／１６だけ大きくなると表示倍率を１００％増加させることができる。
Zoom (T) = Zoom (0) + g (E (T) −E (0)) (5A)
Zoom (t) indicates the display magnification at time t (when Zoom (t) = 1.0, the display magnification is 100%), and E (t) indicates the evaluation value at time t.
The function g (x) is an odd function having a positive correlation with x and g (0) = 0. An example is g (x) = c · x.
c is a predetermined coefficient. For example, c may be a number obtained by multiplying the reciprocal of the smaller one of the number of pixels in the horizontal direction and the number of pixels in the vertical direction by 16 in the content display area. When c is set in this way, the display is performed when the evaluation value E (T) is larger than the evaluation value E (0) by 1/16 of the length of the short side (the length in the horizontal direction) of the content display area. The magnification can be increased by 100%.
図１２、図１３および図１４は、表示倍率の変更方法を説明するための図である。図１２は、ズーム操作開始時（時刻ｔ＝０、タッチ検出点数Ｎ＝２）のタッチ位置を示したものである。図１３は、ズーム操作開始時よりタッチ位置を互いに遠ざけた場合（時刻ｔ＝Ｔ）の様子を示したものである。図１３の状態の場合、時刻ｔ＝０の場合に比べて各タッチ位置と点Ｍとの距離が大きくなり、評価値が大きくなるために表示倍率が大きくなる。これに対し、図１４は、ズーム操作開始時よりタッチ位置を互いに近づけた場合（時刻ｔ＝Ｔ’）の様子を示したものである。図１４の状態の場合、時刻ｔ＝０の場合に比べて各タッチ位置と点Ｍとの距離が小さくなり、評価値が小さくなるために表示倍率が小さくなる。 12, 13 and 14 are diagrams for explaining a method of changing the display magnification. FIG. 12 shows the touch position at the start of the zoom operation (time t = 0, number of touch detection points N = 2). FIG. 13 shows a state when the touch positions are moved away from each other from the start of the zoom operation (time t = T). In the case of the state of FIG. 13, the distance between each touch position and the point M is larger than in the case of time t = 0, and the evaluation value is large, so that the display magnification is large. On the other hand, FIG. 14 shows a state where the touch positions are close to each other from the start of the zoom operation (time t = T ′). In the case of the state of FIG. 14, the distance between each touch position and the point M is smaller than in the case of time t = 0, and the evaluation value is small, so the display magnification is small.
以上のようにタッチパネル１４に対するタッチ操作がズーム指示である場合、制御部１１は、入力部１４ｂからの入力信号に基づいて検出したタッチ点数、タッチ位置を参照して、式（５Ａ）により表示倍率を求める。
As described above, when the touch operation on the
このようにして表示倍率が求められると、レイアウト変更部１１１は、算出された表示倍率を用いてレイアウト変更処理を再度行って配置座標を求める。これは、表示倍率の変化に応じて各要素の配置座標も変える必要があるからである。すなわち、レイアウト変更部１１１は、図６、図７、または図２３の処理を実行することになるが、算出された表示倍率は要素変倍処理（Ｓ１０５）において用いられる。続いて、表示制御部１１２は、レイアウト変更部１１１にて求められた配置座標から描画座標を求め、描画座標に基づいて文書画像を表示部１４ａに表示させる。このようにして、更新された表示倍率で文書画像が表示されるのである。
When the display magnification is obtained in this way, the
以上示した本実施形態によれば、表示倍率を変更する場合（変倍処理を行う場合）、各要素の表示位置（描画座標）を決定する前に、文書画像全体のうちの各要素の座標（配置座標）を求めるようになっているため、インデントの位置がずれるといった事態（例えば図４７の符号５００）が起こり難いというメリットがある。
According to the present embodiment described above, when the display magnification is changed (when scaling processing is performed), before determining the display position (drawing coordinates) of each element, the coordinates of each element in the entire document image are determined. Since (placement coordinates) are obtained, there is an advantage that a situation (for example,
これに対し、先行技術によれば、表示倍率を変更する場合（変倍処理を行う場合）、先ず文書画像の中で表示される文字の位置を設定するようになっているため、図４７の符号５００に示すようにインデントの位置がずれるといった事態が発生し易い。例えば、表示倍率変更前において、図４６に示す文書画像全体のうち、最上段を含まない範囲が表示されており、表示範囲の先頭位置（最上段の左隅）に符号６５０の「文」という文字が配されている場合を想定する。先行技術によれば、この場合に表示倍率を変更すると、先ず、表示倍率変更前に表示範囲の先頭位置に配されていた文字（符号６５０）の表示位置を決定するようになっている。具体的には、表示倍率変更前に表示範囲の先頭位置に配されていた文字を、表示倍率変更後も表示範囲の先頭位置に配置する。そして、符号６５０の文字の位置を基準として、符号６５０の文字の前後の各文字の配置が順次決定されていく。それゆえ、本来は各段落のインデントの位置が図４８のようになるべきところ、先行技術によれば図４７の符号５００のようにインデントの位置がずれるといった事態が起こり得る。
On the other hand, according to the prior art, when the display magnification is changed (when scaling processing is performed), first, the position of the character displayed in the document image is set. As shown by the
〔実施形態３〕
ズーム指示により表示倍率を変更した場合、この変更に応じてオフセット値を調整しなければ、表示倍率変更前に表示されていた要素が表示倍率変更後には表示部１４ａからはみ出してしまい、表示倍率変更前に表示部１４ａからはみ出していた要素が表示倍率変更後には表示部１４ａに表示される場合がある。この場合、ユーザからすれば、文書画像全体のうち、意図せぬ範囲が突然表示されることになるという問題が生じる。
[Embodiment 3]
When the display magnification is changed according to the zoom instruction, if the offset value is not adjusted in accordance with this change, the elements displayed before the display magnification change will protrude from the
この問題を、図１５を用いてより詳細に説明する。図１５は、ズーム指示により拡大表示させる場合（表示倍率を高くする場合）、表示倍率の変更の前後でオフセット値を一定とした場合の描画座標と、コンテンツ表示領域に描画されている範囲とを示した図である。図１５の（ａ）は、拡大前（表示倍率変更前）の描画座標および描画範囲であり、図１５の（ｂ）は、拡大後（表示倍率変更後）の描画座標および描画範囲である。コンテンツ領域の横幅はＤＷ＝１０００，コンテンツ領域の縦の長さはＤＨ＝１５００であり、拡大前および拡大後のいずれもＯｆｆｓｅｔＹ＝−１５００である。なお、図１５において網掛け部分がコンテンツ表示領域である。図１５に示す例では、拡大前では、図１５の（ａ）に示すように、第２章の第３段落の先頭がコンテンツ表示領域の左上に位置している。オフセット値をそのままにして拡大処理を行うと、図１５の（ｂ）に示すように、拡大前にコンテンツ表示領域に含まれていた範囲が全く含まれない状態になる。
This problem will be described in more detail with reference to FIG. FIG. 15 shows the drawing coordinates when the offset value is constant before and after the change of the display magnification and the range drawn in the content display area when the display is enlarged according to the zoom instruction (when the display magnification is increased). FIG. FIG. 15A shows the drawing coordinates and drawing range before enlargement (before changing the display magnification), and FIG. 15B shows the drawing coordinates and drawing range after enlargement (after changing the display magnification). The horizontal width of the content area is DW = 1000, the vertical length of the content area is DH = 1500, and OffsetY = −1500 for both before and after enlargement. In FIG. 15, the shaded portion is the content display area. In the example shown in FIG. 15, before the enlargement, as shown in (a) of FIG. 15, the top of the third paragraph of
そこで、本実施形態では、表示制御部１１２は、ズーム指示が入力された場合、ユーザに注目されている要素をコンテンツ表示領域に残しつつ拡大または縮小できるようにオフセット値を調整する。以下では、ズーム指示がなされたときのオフセット値の調整手法を述べる。
Therefore, in the present embodiment, when a zoom instruction is input, the
タッチパネル１４を用いてズーム指示を入力する場合、ユーザは、自身が注目している部分を中心としてタッチ操作を行う傾向にある。そのため、ズーム操作時における複数のタッチ位置の平均座標値に対応する地点から最も近い位置にある要素を、ユーザが注目している要素とみなすことができる。それゆえ、前記の平均座標値の位置からの距離が最も近い要素を選択し、この要素が拡大縮小後も表示されるようにオフセット値を調整すればよいと考えることができる。
When inputting a zoom instruction using the
しかし、単純な距離を算出する場合、次に示す不具合が生じることもある。段落最終行は前後の行よりも短くなることが多いが、ユーザが段落最終行に注目していて前記の平均座標値の位置が段落最終行の余白箇所に位置することになる場合、その行末の要素よりも前後の行に含まれる要素の方が前記の平均座標値の位置から近くなることがあり、ユーザが実際に注目している要素が選択されにくくなる。 However, when calculating a simple distance, the following problems may occur. The last line of a paragraph is often shorter than the preceding and following lines, but if the user is paying attention to the last line of the paragraph and the position of the average coordinate value is located at the margin of the last line of the paragraph, the end of the line The elements included in the preceding and following lines may be closer to the position of the average coordinate value than the element of, so that it is difficult to select the element that the user is actually paying attention to.
これに対し、ズーム指示開始時にコンテンツ表示領域に表示されている各要素について、式（５Ｂ）に示す重み付きユークリッド距離を算出することで、行の方向（縦書き、横書き）に適した距離を得ることができるようになり、前記の不具合が抑制される。 On the other hand, by calculating the weighted Euclidean distance shown in Expression (5B) for each element displayed in the content display area at the start of the zoom instruction, a distance suitable for the row direction (vertical writing, horizontal writing) is obtained. It becomes possible to obtain the above-mentioned problems.
Ｄｉｓｔ（ｉ）＝ｋｘ×{ｇｘ−ｍｘ（ｉ）}２＋ｋｙ×｛ｇｙ−ｍｙ（ｉ）｝２
・・・・・・式（５Ｂ）
式（５Ｂ）において、（ｇｘ，ｇｙ）は、時刻ｔ＝０（ズーム指示開始時）に検出された複数点のタッチ位置の平均座標値である（例えば、図１２の点Ｍの座標値である）。式（５Ｂ）において、（ｍｘ（ｉ），ｍｙ（ｉ））は、図１６に示すように、参照リストにおけるｉ番目の要素が時刻ｔ＝０においてコンテンツ表示領域上に描画された際の当該要素の外接矩形の中心座標である。
式（５Ｂ）において、ｋｘおよびｋｙは正の所定係数である。たとえば、図１８のように、円の中心点Ｐ０と、円周上の各点Ｐｉ（ｉ＝１，２，…，８）とを設定し、点Ｐｉ毎に、中心点Ｐ０とのユークリッド距離（Ｄｉｓｔ（ｉ））を算出する場合を想定する。この場合においてｋｘ＝ｋｙとすると、Ｄｉｓｔ（ｉ）は単純なユークリッド距離（もしくはそれに定数を乗じた値）となり、いずれの点Ｐｉについても、Ｄｉｓｔ（ｉ）は同じ値となる。また、ｋｘ＞ｋｙとすると、垂直方向よりも水平方向の距離（中心点Ｐ０との座標値の差分の２乗値）に対する重みが大きくなるため、水平方向の距離がゼロとなる点Ｐ１および点Ｐ５は最もＤｉｓｔ（ｉ）が小さく、水平方向の距離が大きい点ＰｉほどＤｉｓｔ（ｉ）が大きくなり、垂直方向の距離がゼロとなる点Ｐ３および点Ｐ７でＤｉｓｔ（ｉ）が最大となる。一方、ｋｘ＜ｋｙのとき、垂直方向よりも水平方向の距離に対する重みが小さくなるため、点Ｐ３および点Ｐ７は最もＤｉｓｔ（ｉ）が小さく、垂直方向の距離が大きい点ＰｉほどＤｉｓｔ（ｉ）が大きくなり、点Ｐ１および点Ｐ５でＤｉｓｔ（ｉ）が最大となる。
Dist (i) = kx × {gx−mx (i)} 2 + ky × {gy−my (i)} 2
・ ・ ・ ・ ・ ・ Formula (5B)
In Expression (5B), (gx, gy) is an average coordinate value of a plurality of touch positions detected at time t = 0 (at the start of zoom instruction) (for example, the coordinate value of the point M in FIG. 12). is there). In the equation (5B), (mx (i), my (i)) is obtained when the i-th element in the reference list is drawn on the content display area at time t = 0 as shown in FIG. The center coordinates of the bounding rectangle of the element.
In Expression (5B), kx and ky are positive predetermined coefficients. For example, as shown in FIG. 18, the center point P0 of the circle and the points Pi (i = 1, 2,..., 8) on the circumference are set, and the Euclidean distance from the center point P0 for each point Pi. Assume that (Dist (i)) is calculated. In this case, when kx = ky, Dist (i) is a simple Euclidean distance (or a value obtained by multiplying it by a constant), and Dist (i) has the same value for any point Pi. Further, when kx> ky, the weight for the horizontal distance (the square value of the difference in coordinate value with respect to the center point P0) is larger than that in the vertical direction. P5 has the smallest Dist (i), and the point Pi having the largest horizontal distance has a larger Dist (i), and Dist (i) is the largest at the points P3 and P7 where the vertical distance is zero. On the other hand, when kx <ky, the weight for the distance in the horizontal direction is smaller than that in the vertical direction. Therefore, the point P3 and the point P7 have the smallest Dist (i) and the point Pi having the largest distance in the vertical direction Dist (i). Increases, and Dist (i) is maximized at points P1 and P5.
式（５Ｂ）を用いて各要素のＤｉｓｔ（ｉ）を求める際、表示制御部１１２は、文書画像が横書きである場合はｋｘ≦ｋｙ（たとえばｋｘ＝１，ｋｙ＝４）とし、文書画像が縦書きである場合ｋｘ≧ｋｙ（たとえばｋｘ＝４，ｋｙ＝１）と設定する。
When obtaining Dist (i) of each element using Expression (5B), the
これにより、横書きの場合においては、タッチ位置の左または右に行が存在すれば、前記行に含まれる要素は、前記行と垂直方向に並ぶ異なる行に含まれる要素よりも、Ｄｉｓｔ（ｉ）が小さくなりやすくなる。また、縦書きの場合においては、タッチ位置の上または下に行が存在すれば、前記行に含まれる要素は、前記行と水平方向に並ぶ異なる行に含まれる要素よりも、Ｄｉｓｔ（ｉ）が小さくなりやすくなる。 Accordingly, in the case of horizontal writing, if there is a line to the left or right of the touch position, the element included in the line is more distant than the elements included in different lines arranged in a direction perpendicular to the line. Tends to be smaller. Also, in the case of vertical writing, if there is a line above or below the touch position, the element included in the line is more distant than the elements included in different lines aligned with the line in the horizontal direction. Tends to be smaller.
なお、Ｄｉｓｔ（ｉ）が最小値をとるような要素が複数存在する場合、所定のルールに従って、最も近い要素を１つに決定しても良い。最も近い要素を選択するための所定のルールとして、たとえば当該複数の要素のうち、対応する参照リストのリスト番号が最も近い要素、すなわち最も早く参照される要素としても良いし、対応するリスト番号の順に並べた場合に中央に位置する要素としても良い。 When there are a plurality of elements such that Dist (i) has a minimum value, the closest element may be determined as one according to a predetermined rule. As a predetermined rule for selecting the closest element, for example, among the plurality of elements, the element with the closest reference list number, that is, the element referred to earliest may be used. It is good also as an element located in the center when arranging in order.
したがって、段落最終行の余白のような箇所が複数点のタッチ位置の平均座標値の位置になった場合、平均座標値に対応する位置が最終行の末尾の要素から多少離れた位置であれば末尾の要素が選択され、平均座標値に対応する位置が最終行の末尾の要素から大きく離れた位置であれば前後の行の要素が選択されるようになる。それゆえ、段落最終行の余白のような箇所が複数点のタッチ位置の平均座標値になった場合であっても、ユーザが実際に注目している要素が選択されにくくなるという不具合を抑制できる。 Therefore, if a location such as the margin of the last line of a paragraph is the position of the average coordinate value of multiple touch positions, if the position corresponding to the average coordinate value is slightly away from the last element of the last line The last element is selected, and if the position corresponding to the average coordinate value is far away from the last element of the last line, the elements on the previous and next lines are selected. Therefore, even when a part such as a margin in the last line of the paragraph becomes an average coordinate value of a plurality of touch positions, it is possible to suppress a problem that it is difficult to select an element that the user is actually paying attention to. .
以上のようにして、表示制御部１１２は、複数点のタッチ位置の平均座標値の位置から最も近い第ｊ番目の要素を選択した後、第ｊ番目の要素の時刻ｔにおける配置座標を（Ｐｘｊ（ｔ），Ｐｙｊ（ｔ））とすると、時刻ｔ＝Ｔにおけるオフセット値を、式（６）を用いて求める。
As described above, the
ＯｆｆｓｅｔＸ（Ｔ）＝ＯｆｆｓｅｔＸ（０）
ＯｆｆｓｅｔＹ（Ｔ）＝ＯｆｆｓｅｔＹ（０）＋Ｐｙｊ（０）−Ｐｙｊ（Ｔ）
・・・・・・式（６）
ＯｆｆｓｅｔＸ（ｔ）は、時刻ｔにおけるＸ成分のオフセット値を示し、ＯｆｆｓｅｔＹ（ｔ）は、時刻ｔにおけるＹ成分のオフセット値を示す。なお、式（６）は、横書きの文書画像用のものであり、Ｘ成分のオフセット値は調整されず（０で一定）、Ｙ成分のオフセット値が調整される。
OffsetX (T) = OffsetX (0)
OffsetY (T) = OffsetY (0) + Pyj (0) −Pyj (T)
・ ・ ・ ・ ・ ・ Formula (6)
OffsetX (t) indicates the offset value of the X component at time t, and OffsetY (t) indicates the offset value of the Y component at time t. Expression (6) is for a horizontally written document image, and the offset value of the X component is not adjusted (constant at 0), and the offset value of the Y component is adjusted.
以上の通り、表示制御部１１２は、ズーム指示を入力した場合、式（５Ｂ）を用いて各要素のＤｉｓｔ（ｉ）を求めて、最もＤｉｓｔ（ｉ）の小さい要素を選択し、この要素の配置座標を用いて式（６）からオフセット値を求めるようになっている。
As described above, when the zoom instruction is input, the
これにより、ズーム後の第ｊ番目の要素のＹ座標値（Ｐｙｊ（Ｔ）+ＯｆｆｓｅｔＹ（Ｔ））を、ズーム前の第ｊ番目の要素のＹ座標値（Ｐｙｊ（０）+ＯｆｆｓｅｔＹ（０））と等しくすることができるため、ズーム指示により表示倍率が変更されても、変更の前後で同じＹ座標値で第ｊ番目の要素をタッチパネル１４に表示させることができる。
Thereby, the Y coordinate value (Pyj (T) + OffsetY (T)) of the jth element after zooming is changed to the Y coordinate value (Pyj (0) + OffsetY (0)) of the jth element before zooming. ), The jth element can be displayed on the
〔実施形態４〕
実施形態３の式（６）によれば、選択された第ｊ番目の要素（以下要素ｊと称す）のズーム前の描画座標のＹ座標値とズーム後の描画座標のＹ座標値との差をΔＹとすると、ΔＹ＝０になる。しかし、ΔＹ＝０になるようにオフセット値を調整する必要はなく、ΔＹが所定範囲に収まっていればよい。
[Embodiment 4]
According to Expression (6) of
ここで、所定範囲は、要素ｊの表示倍率変更前の高さをＳＨ１、要素ｊの表示倍率変更後の高さをＳＨ２とするとき、−｜ＳＨ１−ＳＨ２｜以上かつ｜ＳＨ１−ＳＨ２｜以下に設定される。所定範囲をこのように設定することにより、表示倍率を変更する前後で要素ｊの下端を揃えるようにオフセット値を調整したり（図２０参照）、表示倍率を変更する前後で要素ｊの上端を揃えるようにオフセット値を調整し（図１９参照）、或いは表示倍率を変更する前後でスクロールの方向において要素ｊの中心を揃えるようにオフセット値を調整できる（このとき、表示倍率を変更する前後で、スクロールの方向と直交する方向における要素ｊの位置の違いは考慮しないものとする。）。 Here, when the height of the element j before the change of the display magnification is SH1 and the height of the element j after the change of the display magnification is SH2, the predetermined range is − | SH1−SH2 | or more and | SH1−SH2 | Set to By setting the predetermined range in this way, the offset value is adjusted so as to align the lower end of the element j before and after changing the display magnification (see FIG. 20), or the upper end of the element j is changed before and after changing the display magnification. The offset value can be adjusted so as to be aligned (see FIG. 19), or the offset value can be adjusted so that the center of the element j is aligned in the scroll direction before and after changing the display magnification (at this time, before and after changing the display magnification. The difference in the position of the element j in the direction orthogonal to the scroll direction is not considered.)
なお、要素ｊの上端を揃えるためには式（６）を用いてオフセット値を調整すればよく、要素ｊの下端を揃えるためには以下に示す式（７）を用いてオフセット値を調整すればよい。 In order to align the upper end of element j, the offset value may be adjusted using equation (6). To align the lower end of element j, the offset value should be adjusted using equation (7) shown below. That's fine.
ＯｆｆｓｅｔＸ（Ｔ）＝ＯｆｆｓｅｔＸ（０）
ＯｆｆｓｅｔＹ（Ｔ）＝ＯｆｆｓｅｔＹ（０）＋（Ｐｙｊ（０）＋ＳＨ１）−（Ｐｙｊ（Ｔ）＋ＳＨ２）・・・・・・式（７）
もちろん、表示倍率変更前後で要素ｊの上端、下端、またはスクロールの方向の中心を揃えるようにオフセット値を調整する必要はなく、所定範囲内に収まるようになっていればよい。
OffsetX (T) = OffsetX (0)
OffsetY (T) = OffsetY (0) + (Pyj (0) + SH1) − (Pyj (T) + SH2) (7)
Of course, it is not necessary to adjust the offset value so as to align the upper end, the lower end, or the center of the scroll direction of the element j before and after the display magnification change, and it is sufficient that the offset value falls within a predetermined range.
〔実施形態５〕
また、実施形態３では、表示制御部１１２は、式（５Ｂ）によって求めたＤｉｓｔ（ｉ）に基づいて、複数点のタッチ位置の平均座標から最も近い要素を選択するようになっているが、常にＤｉｓｔ（ｉ）に基づいて要素を選択するとなると、複数のタッチ位置の平均座標が文字を囲む最小矩形内に入っているにも拘わらず、隣接する文字の方が近いとみなされることもまれにある。
[Embodiment 5]
In the third embodiment, the
図１７は、英単語「Ｗｉｌｌ」を構成する各アルファベットがそれぞれ要素として認識されており、レイアウト変更部１１１によるレイアウト変更処理によって各要素が順に再配置された後の様子を示している。図１７において、平均座標は、要素９１（Ｗの文字）を囲む最小矩形内に含まれている一方で、要素９１の中心座標よりも、要素９２（ｉの文字）の中心座標の方が近くなっている。それゆえ、表示制御部１１２は、複数のタッチ位置の平均座標から最も近い要素を要素９２と判定する可能性がある。
FIG. 17 shows a state after each alphabet constituting the English word “Will” is recognized as an element and each element is rearranged in order by the layout changing process by the
このことを抑制するために、表示制御部１１２は、文字を囲む最小矩形内に平均座標（ｇｘ，ｇｙ）が位置している場合、ユークリッド距離（Ｄｉｓｔ（ｉ））は関係なく、その文字を平均座標から最も近い要素として選択するようになっていてもよい。
In order to suppress this, when the average coordinates (gx, gy) are located within the minimum rectangle surrounding the character, the
〔実施形態６〕
また、携帯端末１０は、文書を撮影して文書画像を生成する撮影装置を備えていてもよい。この場合、携帯端末１０は、画像を入力する画像入力装置としても機能することになる。
[Embodiment 6]
Further, the
そして、携帯端末１０において、撮影装置から得られた文書画像に基づいて参照リストを生成し、この参照リストおよび文書画像を用いて配置座標および描画座標を求め、これら座標を用いてリフロー表示を行う。
Then, in the
ここで、表示制御部１１２は、リフロー表示される文書画像を閲覧したユーザに対して、可読性の適否を示す適否判定結果を入力することを促すガイド画像を表示部１４ａに表示させてもよい。ここで、表示制御部１１２は、「適」を示す判定結果をユーザが入力部１４ｂを介して入力した場合、文書画像データや参照リストを記憶部１２に保存し、「不適」を示す判定結果をユーザが入力部１４ｂを介して入力した場合、表示処理を中断して文書画像データや参照リストを消去して、処理を再実行してもよい（撮影、参照リスト生成、リフロー表示を再実行する）。これにより、撮像に失敗した場合の手間を減らすことができる。
Here, the
また、同じ文書画像データに対してリフロー表示を再度行いたい場合は、一度取得した文書画像データおよび参照リストを記憶部１２に保存しておくことで参照リストの生成処理を省略することができる。
When reflow display is desired to be performed again on the same document image data, the reference list generation process can be omitted by storing the document image data and the reference list once acquired in the
〔実施形態７〕
以上にて述べた各実施形態では、横書きの文書画像を例にして説明しているが、縦書きの文書画像に対しても勿論本発明の実施形態を適用可能である。
[Embodiment 7]
In each of the embodiments described above, a horizontally written document image has been described as an example. However, the embodiment of the present invention is naturally applicable to a vertically written document image.
但し、本実施形態において、横書き文書画像では、左上を原点とし、左から右方向をｘ軸（表示部の水平方向）の正方向、上から下方向をｙ軸（表示部の垂直方向）の正方向として配置座標や描画座標を設定しているが、縦書き文書画像では、右上を原点とし、右から左方向をｘ軸（表示部の水平方向）の正方向、上から下方向をｙ軸（表示部の垂直方向）の正方向として配置座標や描画座標を設定することになる。 However, in this embodiment, in a horizontally written document image, the upper left is the origin, the left to right direction is the positive direction of the x axis (horizontal direction of the display unit), and the upper direction is the y axis (vertical direction of the display unit). Placement coordinates and drawing coordinates are set as the positive direction, but in vertically written document images, the upper right is the origin, the right to left direction is the positive direction of the x axis (horizontal direction of the display unit), and the upper to lower direction is y The arrangement coordinates and drawing coordinates are set as the positive direction of the axis (vertical direction of the display unit).
それゆえ、縦書きの場合、以上にて述べた式（１）を下記の式（１）’に置き換えて使用することになる。具体的には、Ｓ１０６の配置処理において、配置座標（Ｐｘ，Ｐｙ）を右上として要素の配置を行う場合、その左下座標は（Ｐｘ＋ＳＷ−１，Ｐｙ＋ＳＨ−１）となる。配置座標は、最初にＰｘ＝０、Ｐｙ＝ＩｎｄｅｎｔＹ１として初期化される。そして、注目要素が下記の式（１）’を満たす場合、スクロール方向（水平方向）と直交する方向においてコンテンツ領域をはみ出さずに注目要素を配置することができ、注目要素に対する配置座標を（Ｐｘ，Ｐｙ）として確定する。
Ｐｙ＋ＳＨ≦ＤＨ ・・・・・・ 式（１）’
また、縦書きの場合、以上にて述べた式（４）を下記の式（４）’に置き換えて使用することになる。具体的には、スクロール指示開始時（時刻ｔ＝０）のタッチ検出位置を点Ａ０、時刻ｔ＝Ｔ１におけるタッチ検出位置を点Ａとし、点Ａ０のＸ座標をａｘ０、点ＡのＸ座標をａｘとし、時刻ｔにおけるオフセット値をＯｆｆｓｅｔＸ（ｔ）とするとき、表示制御部１１２は、時刻ｔ＝Ｔのオフセット値ＯｆｆｓｅｔＸ（Ｔ）を、式（４）’によって求める。
ＯｆｆｓｅｔＸ（Ｔ）＝ＯｆｆｓｅｔＸ（０）−ｆ（ａｘ−ａｘ０）・・・式（４）’
また、縦書きの場合、以上にて述べた式（６）を下記の式（６）’に置き換えて使用する。
ＯｆｆｓｅｔＸ（Ｔ）＝ＯｆｆｓｅｔＸ（０）＋Ｐｘｊ（０）−Ｐｘｊ（Ｔ）
ＯｆｆｓｅｔＹ（Ｔ）＝ＯｆｆｓｅｔＹ（０）・・・・・・式（６）’
さらに、縦書きの場合、以上にて述べた式（７）を下記の式（７）’に置き換えて使用する。
ＯｆｆｓｅｔＸ（Ｔ）＝ＯｆｆｓｅｔＸ（０）＋（Ｐｘｊ（０）＋ＳＷ１）−（Ｐｘｊ（Ｔ）＋ＳＷ２）
ＯｆｆｓｅｔＹ（Ｔ）＝ＯｆｆｓｅｔＹ（０）
・・・・・・式（７）’
但し、要素ｊの表示倍率変更前の横幅をＳＷ１、要素ｊの表示倍率変更後の横幅をＳＷ２としている。
Therefore, in the case of vertical writing, the expression (1) described above is replaced with the following expression (1) ′ and used. Specifically, in the arrangement process of S106, when the elements are arranged with the arrangement coordinates (Px, Py) as the upper right, the lower left coordinates are (Px + SW-1, Py + SH-1). The arrangement coordinates are first initialized as Px = 0 and Py = IndentY1. When the target element satisfies the following formula (1) ′, the target element can be arranged without protruding the content area in the direction orthogonal to the scroll direction (horizontal direction), and the arrangement coordinates for the target element are ( Px, Py).
Py + SH ≦ DH Expression (1) ′
In the case of vertical writing, equation (4) described above is used by replacing it with the following equation (4) ′. Specifically, the touch detection position at the start of the scroll instruction (time t = 0) is point A0, the touch detection position at time t = T1 is point A, the X coordinate of point A0 is ax0, and the X coordinate of point A is When ax is set and the offset value at time t is OffsetX (t), the
OffsetX (T) = OffsetX (0) −f (ax−ax0) Equation (4) ′
In the case of vertical writing, equation (6) described above is used by replacing it with the following equation (6) ′.
OffsetX (T) = OffsetX (0) + Pxj (0) −Pxj (T)
OffsetY (T) = OffsetY (0)... Equation (6) ′
Further, in the case of vertical writing, equation (7) described above is used by replacing it with the following equation (7) ′.
OffsetX (T) = OffsetX (0) + (Pxj (0) + SW1) − (Pxj (T) + SW2)
OffsetY (T) = OffsetY (0)
・ ・ ・ ・ ・ ・ Formula (7) '
However, the horizontal width of the element j before changing the display magnification is SW1, and the horizontal width of the element j after changing the display magnification is SW2.
〔実施形態８〕
実施形態８は、携帯端末１０の制御部１１が参照リスト作成部を備える形態である。参照リスト作成部は、複合機やスキャナから受信した文書ファイルの文書画像に基づいて、当該文書画像に対応する参照リスト（例えば図４）を作成するブロックである。
[Embodiment 8]
In the eighth embodiment, the
なお、参照リスト作成部による参照リストの作成方法であるが、文書画像に基づいて図４、図５または図２２のリストを作成できる手法であれば、いかなる手法でも構わないが、本実施形態では、本願出願人による先行出願である特願２０１４−０１８７５１号の実施の形態１にて述べられている手法を利用する。以下、特願２０１４−０１８７５１号の実施の形態１にて述べられている手法を詳細に説明する。
Although the reference list creation unit uses the reference list creation method, any method may be used as long as it can create the list of FIG. 4, FIG. 5, or FIG. 22 based on the document image. The technique described in the first embodiment of Japanese Patent Application No. 2014-018751 which is a prior application by the present applicant is used. Hereinafter, the technique described in
図２４は、参照リスト作成部２２の構成を示すブロック図である。参照リスト作成部２２は、携帯端末１０の制御部１１に設けられている（図１では図示せず）。参照リスト作成部２２は、複合機、スキャナ等から携帯端末１０が複合機、スキャナ等の外部装置から受信した文書画像を入力し、この文書画像に基づいて、この文書画像に対応する参照リストを作成するブロックである。
FIG. 24 is a block diagram illustrating a configuration of the reference
参照リスト作成部２２は、行解析処理部３１と、行ブロック解析処理部３４と、レイアウト解析処理部３５と、リスト生成部３６とを備える。以下では、文書を構成する個々の文字、図表等を纏めて要素と呼ぶ。
The reference
行解析処理部３１は、入力された文書画像から各要素を抽出して、文字から構成される文字列の行と、図表から成る図表行とに分類する。更に、文書の横書き、縦書きといった記述方向を示す文書第１方向を解析する。
The line
行ブロック解析処理部３４は、行解析処理部３１で抽出された行を、少なくとも１つ以上有する行ブロックに統合する処理を行う。
The row block analysis processing unit 34 performs processing for integrating the rows extracted by the row
レイアウト解析処理部３５は、行ブロック解析処理部３４で分類された行ブロック同士の位置関係から、段組構成を解析して文書全体の行の順序付けを行い、行の前後関係から改行位置を検出することで、文書を１つ以上の段落に分類し、段落毎に行の情報を格納した文書構造ツリーを生成する。詳細は後述する。文書構造ツリーの各段落は、文字列の行の順序の情報と、図表の順序の情報をそれぞれ分けて格納することで、図表の配置を段落内で修正できるようにする。
The layout
リスト生成部３６は、レイアウト解析処理部３５で生成された文書構造ツリーに従って、入力文書画像の文字、図、表の各要素を順序通り参照するための命令と、段落の開始及び終了を宣言するための命令とを示した参照リストを生成する。参照リストのフォーマットは特に固定されておらず、例えばＣＳＶ（Comma-Separated Values）形式のテキストデータとして生成したものをファイル出力してもよい。
The
以下、参照リスト作成部２２の各処理部について詳述する。
Hereinafter, each processing unit of the reference
[１．行解析処理部］
＜１−１．行解析処理部の構成＞
行解析処理部３１は、入力された文書画像データ（入力文書画像）から各要素画像を抽出し、文字（文字画像）から成る行（文字列行）と、図（図画像）又は表（表画像）から成る行（図表行）とに分類する。行解析処理部３１は、文字列抽出処理部３２及び図表抽出処理部３３を備えて構成される。行解析処理部３１は、更に、文書の横書き又は縦書きといった記述方向を示す文書第１方向を解析する。
[1. Line analysis processing section]
<1-1. Configuration of line analysis processing section>
The line
＜１−２．文字列抽出処理部＞
文字列抽出処理部３２は、入力画像データから個々の文字を検出し切り出し処理を行うと共に、文字が複数並べられて構成される文字列を抽出する処理を行う。個々の文字の検出手段は多数提案されており、例えば、特許文献２（特許第５１５３８５７号）では、文書画像中の文字構成要素の領域、及び文字からなる文字列領域を検出する方法が提案されている。
<1-2. Character string extraction processing section>
The character string
特許文献２に記載の方法では、文書画像から前景画素を検出し、前景画素から特に文字を構成していると思われる画素の集合を囲む最小外接矩形を文字構成要素として抽出する。更に、上下左右の各方向における近隣の各文字構成要素の矩形同士の距離から文字列として連続する文字構成要素の関係にあるかを判定し、その連続する矩形の連続数から、文字列領域を特定する。このとき、左右方向における連続数が上下方向における連続数を上回る場合は横書きの文字列領域として、上下方向における連続数が左右方向における連続数を上回る場合は縦書きの文字列領域として、文字列の持つ方向（文字列の方向、記述方向）を同時に取得する。
In the method described in
本実施の形態では、一例として、特許文献２に記載の方法を利用して文字及び文字列を抽出するものとする。なお、文字及び文字列の抽出方法は、特許文献２に記載の方法に限らずほかの方法を用いることができる。例えば、光学式文字読取装置（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ；以下ＯＣＲ）で個々の文字や、文字列を検出してもよい。
In the present embodiment, as an example, characters and character strings are extracted using the method described in
＜１−３．図表抽出処理部＞
図表抽出処理部３３は、入力画像データから図（図領域）及び表（表領域）を検出し、切り出し処理を行うものである。図領域の検出手段は多数提案されており、例えば、特許文献３（特開２００９−１９４７４０号）で挙げられる方法により図領域を特定することができる。特許文献３に記載の方法では、入力された画像の所定領域毎に画素値の出現頻度（即ち、ヒストグラム）を求めた場合に、図領域の一つである写真領域上の各画素では濃度変化が広範囲に及ぶヒストグラムが得られることを利用して、ヒストグラムのエントロピー（平均情報量）を算出し、エントロピーが高い領域を抽出することで精度よく写真領域を抽出することが可能となる。
<1-3. Chart Extraction Processing Unit>
The chart
また、表領域の検出手段も多数提案されており、本実施の形態では既知の方法により表領域を検出する。例えば、特許文献２では、文書画像データからラインとなる可能性のある候補画素を抽出し、前記候補画素が水平方向もしくは垂直方向に所定画素数以上連続する場合に前記連続する候補画素の集合をラインとして抽出し、前記抽出された水平方向及び垂直方向のラインの位置関係から、各ラインが表を構成する罫線であるか単一のラインであるかを判定し、同一の表を構成するラインの集合について、それら全てを囲む最小外接矩形を表領域として抽出する方法を挙げている。この方法を用いることができる。
Many table area detection means have been proposed. In the present embodiment, a table area is detected by a known method. For example, in
なお、文字列抽出処理部３２で抽出した文字が、図表抽出処理部３３で抽出した図又は表として抽出した範囲と重複する場合、該抽出した文字をキャンセルする。特に、抽出された表には文字が含まれる可能性が高いが、表のサイズを表示領域の幅に合わせるためには表を構成する各列の幅を調整する必要がある。結果として、調整後の列幅に合わせて、表内の文字列は折り返し表示されて、かえって可読性を低下させる原因となるため、本実施の形態では、表として抽出された領域については、文字も含めたまま図表として切り取って表示することとする。
If the character extracted by the character string
＜１−４．行ＩＤの設定＞
行解析処理部３１は、さらに、以上のようにして抽出された文字列行、もしくは図表行に対して、その行であることを識別する重複しない番号として行ＩＤ（Identification）を設定する。１つの行ＩＤについて、その行ＩＤを有する行が２つ以上存在しなければ、必ずしも文書の順序に従って行ＩＤを割り振る必要は無い。行ＩＤの設定方法として、行ＩＤが「０」の場合を存在しない行であるとして無効行とし、例えば、各ページの文書画像において、読み取った原稿の左上を原点（０，０）とし、原点に対して、右方向をＸ座標、下方向をＹ座標となる座標系を採用し、行の範囲を表わす最も左上のＹ座標が小さい順に行ＩＤを１から連番で割り振る方法が挙げられる。なお、Ｙ座標が同じ行同士はＸ座標が小さい方の行を優先する。この方法を用いる場合、段組構成により必ずしも文書の読み順序通りに行ＩＤが割り振られる訳ではないが、横書き文書であれば行が上にあるほど順序が先である可能性が高いため、比較的文書の順序を反映した行ＩＤの割り振り方になると言える。行ＩＤの設定方法はこれに限らず、自由に選択することができる。
<1-4. Setting of row ID>
The row
＜１−５．文書第１方向及び文書第２方向の決定＞
行解析処理部３１は、１ページの文書画像における全ての行について、文字列行か図表行かの分類が終わると、文字列の方向から、文書全体の方向を示す文書第１方向を決定する。文書第１方向は、横書きのとき水平となり、縦書きのとき垂直となる。文書第１方向は、取得した全ての文字列の持つ方向を分類し、その比率により決定する。文書第１方向を決定するための比率の算出方法の簡単な例として、単純に横書きもしくは縦書きの文字列の数をカウントして、その数の比率を算出する方法が挙げられる。この方法の場合、例えば横書きの行数と縦書きの行数を比較して、多い方の方向を文書第１方向として決定（設定）する。文書第１方向の決定は上記の方法に限らず様々な方法を採用することができる。
<1-5. Determination of document first direction and document second direction>
The line
なお、算出した比率が所定閾値（例えば、０．７）以下である場合、文書には縦書きの行と横書きの行とが無視できない比率で混在しており文書全体の方向を一意に判別できないとして、以降の処理を中断することができる。 When the calculated ratio is equal to or less than a predetermined threshold (for example, 0.7), the vertical writing line and the horizontal writing line are mixed in a ratio that cannot be ignored in the document, and the direction of the entire document cannot be uniquely determined. As a result, the subsequent processing can be interrupted.
さらに、上記の方法によって文書第１方向を決定すると、文書第１方向に直交する方向として文書第２方向を決定（設定）する。すなわち、文書第１方向が水平（横書き）の場合、文書第２方向は垂直、文書第１方向が垂直（縦書き）の場合、文書第２方向は水平となる。 Further, when the document first direction is determined by the above method, the document second direction is determined (set) as a direction orthogonal to the document first direction. That is, when the document first direction is horizontal (horizontal writing), the document second direction is vertical, and when the document first direction is vertical (vertical writing), the document second direction is horizontal.
また、複数のページを入力とする場合、先に全てのページにおいて行の抽出を行い、一部のページ又は全部のページの行の情報から、全てのページで同一の文書第１方向を決定してもよい。前記一部のページの選択方法として、例えば、表紙や扉、挿絵や写真、付録、後付け等、本文とは異なるレイアウトが含まれている可能性が高いとして、事前に先頭ページと最終ページを除いてもよい。 Also, when multiple pages are input, lines are extracted in all pages first, and the same first document direction is determined for all pages from the information of some pages or all pages. May be. As the selection method of the part of the page, for example, the first page and the last page are excluded in advance because there is a high possibility that a layout different from the main body such as a cover or door, an illustration or a photo, an appendix, or a retrofit is included. May be.
＜１−６．記号（約物）の統合処理＞
なお、個々の文字の切り出しにおいて、以下に示すような記号（約物）の統合処理を追加することができる。記号には、例えば行頭に来ることが禁止とされる（行頭禁則）ものや、行末に来ることが禁止とされる（行末禁則）ものがあり、図２５に示すような文字がその一部として挙げられる。切り出した個々の文字を表示した際、行の折り返しによりこれらのルールが守られず可読性が低下する場合がある。そこで、行頭禁則の記号については、１つ前の文字と統合し、行末禁則の記号については、１つ後の文字と統合することで、単独で行頭もしくは行末に来ることがなくなる。
<1-6. Integrated processing of symbols (about items)>
It should be noted that in the extraction of individual characters, a symbol (about object) integration process as shown below can be added. For example, there are symbols that are prohibited from coming to the beginning of a line (prohibition at the beginning of a line) and those that are prohibited from coming to the end of a line (prohibition at the end of line), and characters such as those shown in FIG. Can be mentioned. When individual cut out characters are displayed, these rules may not be observed due to line wrapping, and readability may deteriorate. Therefore, by combining the preceding character with the preceding character for the prohibition symbol and integrating with the succeeding character for the prohibition symbol, the character at the beginning or the end of the line can be prevented.
各文字が、前記したルールを持つ記号であるかの判定方法は公知の方法を使用することができる。例えば、ＯＣＲ処理を利用して文字種を照合してもよいし、文字の大きさや、文字を構成する画素の特徴から判別してもよい。例えば句読点の場合、図２６のように横書きなら行の下半分のみで構成され、また行の高さ（矢印で示された範囲）に比べて半分程度の幅を持つ場合、その文字が句読点である可能性が高いとして、１つ前の文字と統合してもよい。図２６では横書きの例を示したが、縦書きの場合も同様に統合を行うことができる。半角英小文字と区別するため、行を構成する他の文字の高さや幅の傾向から和文、英文の判定を加え、和文の場合のみ句読点と判定するようにする等の処理を追加してもよい。例えば、和文ではひらがな、カタカナ及び漢字等の全角文字が文章の大半を占めており、行の上半分もしくは下半分のみで構成される文字が少なくなる傾向がある。また、半角文字に比べて、全角文字では行の高さに対して文字の横幅が半分より大きい文字の種類が多い。従って、（１）行を上下に分割する水平方向の直線をまたぎ、（２）文字の横幅が行の高さに所定係数（例えば０．６）を乗算した値以上である、文字数をカウントし、行を構成する文字数に対して前記（１）及び（２）を満たす文字数の割合が所定閾値（例えば０．５）以上である場合に、その行が和文であるとして判定する処理を適用することができる。和文、英文の判定方法はこの方法に限らず、他の方法により判定してもよい。また、縦書きの文書である場合は自動的に和文とみなしてもよい。ここで、句読点と、「ァ」等小さい和字との区別がつかない可能性もあるが、これらの小さい和字も行頭禁則であるため句読点と同様に統合しても問題無い。そのため、厳密に句読点専用の処理とする必要はない。また、全角文字でも、「Ｉ」や「１」等、余白を除けば横幅が小さな文字があり、さらに「＿」（アンダーライン）や、上付き文字、下付き文字等、上半分もしくは下半分のみで構成される文字が含まれる場合もある。逆に、半角英字でも、「Ｍ」や「Ｗ」等はフォントによって横幅が大きくなることもあるので、厳密に、和文と英文との判定を行うのが難しい場合がある。 A known method can be used as a method of determining whether each character is a symbol having the above-described rule. For example, the character type may be collated using OCR processing, or may be determined from the size of the character and the characteristics of the pixels constituting the character. For example, in the case of a punctuation mark, if it is written horizontally as shown in FIG. 26, it is composed of only the lower half of the line, and if the width is about half the height of the line (the range indicated by the arrow), the character is a punctuation mark. As there is a high possibility, it may be integrated with the previous character. In FIG. 26, an example of horizontal writing is shown, but integration can be similarly performed in vertical writing. In order to distinguish it from single-byte lower-case letters, processing such as adding Japanese and English sentences based on the tendency of the height and width of other characters that make up the line, and determining punctuation marks only for Japanese sentences may be added. . For example, in Japanese, full-width characters such as hiragana, katakana, and kanji occupy most of the sentence, and there is a tendency that characters composed of only the upper half or the lower half of a line are reduced. In addition, compared to half-width characters, there are many types of characters with full-width characters whose width is greater than half of the line height. Therefore, (1) straddling a horizontal straight line that divides the line up and down, and (2) counting the number of characters whose horizontal width is equal to or greater than the value obtained by multiplying the line height by a predetermined coefficient (for example, 0.6). When the ratio of the number of characters satisfying the above (1) and (2) with respect to the number of characters constituting the line is equal to or greater than a predetermined threshold (for example, 0.5), a process for determining that the line is a Japanese sentence is applied. be able to. The determination method of Japanese and English is not limited to this method, and may be determined by other methods. If the document is vertically written, it may be automatically regarded as a Japanese sentence. Here, there is a possibility that punctuation marks cannot be distinguished from small Japanese characters such as “a”. However, since these small Japanese characters are also prohibited from beginning of line, there is no problem even if they are integrated in the same manner as punctuation marks. Therefore, it is not necessary to strictly process punctuation. In addition, even full-width characters such as “I” and “1” have a small width except for white space, and “_” (underline), superscripts, subscripts, etc. In some cases, a character consisting only of Conversely, even for half-width English letters, the width of “M”, “W”, etc. may increase depending on the font, so it may be difficult to strictly determine the Japanese text and the English text.
＜１−７．処理例＞
行解析処理部３１が実行する処理の具体例として、図２７に示す構造の文書画像（１ページ）に対して行解析処理を適用する場合について説明する。行解析処理部３１は、図２８に示すように、その行の要素を全て含んだ最小サイズの外接矩形の範囲を各行の領域として分離し、それぞれの行に、行ＩＤを、外接矩形の左上の垂直座標（Ｙ座標）位置の順で割り当てる。図２８に示す文書画像では、行ＩＤが１０５の行が図表の行であることを除いては、残りの行はいずれも横書きの文字列の行であり、縦書きの文字列の行は１つも含まれていない。そのため、行解析処理部３１は、この文書画像における文書第１方向は水平方向であると決定する。
<1-7. Processing example>
As a specific example of the process executed by the line
［２．行ブロック解析処理部］
＜２−１．行ブロック解析処理部の処理＞
行ブロック解析処理部３４は、行解析処理部３１で分類された行を、行を少なくとも１つ以上有する行ブロックに統合する処理を行う。行ブロック解析処理部３４は、行解析処理部３１で分類された文字列行を、少なくとも１つ以上の文字列行から成る文字列の行ブロックに統合し、重複しない行ブロックＩＤを持つ新規行ブロックとして記憶部１２に記憶（登録）する。図表行については、単一行で１つの行ブロックを構成するものとし、それぞれ重複しない行ブロックＩＤを持つ新規行ブロックとして登録する。
[2. Row block analysis processing unit]
<2-1. Processing of line block analysis processing section>
The row block analysis processing unit 34 performs processing for integrating the rows classified by the row
文字列の行ブロック統合処理について以下で詳細に説明する。初めに、行解析処理部３１で分類された行のうち文字列行のグループから、注目行Ｌ１を選択する。続いて、注目行Ｌ１に関して、前方及び後方（定義は、後述の（２−５）章を参照）に連続する文字列行を探索する。具体的には、文字列行のグループの、注目行Ｌ１とは異なる文字列行から、注目行Ｌ１の前方もしくは後方に連続する文字列行を最大１つずつ選択する。注目行Ｌ１の連続行の候補となる文字列行は注目行Ｌ１を除く全ての文字列行であり、連続行の候補となる条件については後述する。全ての文字列行について、前方及び後方に連続する文字列行を選択すると、連続する文字列行同士の繋がりから、前方及び後方の両方において連続する文字列行がなくなるまで１つの行ブロックとして分類、統合し、未割り当ての行ブロックＩＤを持つ新規行ブロックとして記憶部１２に登録する。全ての文字列行がいずれかの行ブロックに登録されるまで処理を繰り返し、全ての文字列行についての登録が完了すると、行ブロック解析処理部３４は処理を終了する。
The character string row block integration processing will be described in detail below. First, the target line L1 is selected from the group of character string lines among the lines classified by the line
＜２−２．連続行の候補の判定＞
注目行Ｌ１とは別に選択された文字列行Ｌ２が、注目行Ｌ１の連続行の候補であるか否かを判定する方法について説明する。行Ｌ２が行Ｌ１の連続行の候補である条件として、少なくとも下記２つの条件を満たすものとする。
条件１：一方の行の先頭から末尾までの範囲において、もう一方の行の先頭もしくは末尾のうち少なくとも一方が存在する。
条件２：２つの行の行間変位量ｌｉｎｅｓｐａｃｅ（Ｌ１，Ｌ２）が下記の式（８）を満たす。
ＴＨ＿ＭＩＮ＿ＬＳ≦ｌｉｎｅｓｐａｃｅ（Ｌ１，Ｌ２）≦ＴＨ＿ＭＡＸ＿ＬＳ ・・・式（８）
（ＴＨ＿ＭＩＮ＿ＬＳ、ＴＨ＿ＭＡＸ＿ＬＳは、予め設定される閾値）
なお、条件１は、異なる段に属する行を連続行の候補として判定しないために用いる。条件２は、行間が広過ぎる又は狭過ぎる行を連続行の候補として判定しないために用いる。
<2-2. Judgment of candidates for continuous lines>
A method for determining whether or not the character string row L2 selected separately from the attention row L1 is a candidate for a continuous row of the attention row L1 will be described. It is assumed that at least the following two conditions are satisfied as a condition that the row L2 is a candidate for a continuous row of the row L1.
Condition 1: In the range from the beginning to the end of one line, at least one of the beginning or the end of the other line exists.
Condition 2: The inter-line displacement amount linespace (L1, L2) of the two rows satisfies the following equation (8).
TH_MIN_LS ≦ linespace (L1, L2) ≦ TH_MAX_LS (8)
(TH_MIN_LS and TH_MAX_LS are preset threshold values)
図２９の（ａ）は、２段組の横書きの文書の例、図２９の（ｂ）は、２段組の縦書きの文書の例である。条件１を満たすために、行Ｌ１と行Ｌ２とは、文書第１方向で一部もしくは全部が重複している必要がある。例えば、図２９の例の場合、行ａと行ｂ、行ｃと行ｄ、行ｅと行ｆ、行ｇと行ｈは、条件１を満たすため、これらの組合せは互いに連続行の候補となる。しかし、行ａと行ｄ、行ｅと行ｈ等の組合せでは条件１を満たさないため、これらの組合せは互いに連続行の候補とならない。
FIG. 29A shows an example of a horizontally written document with two columns, and FIG. 29B shows an example of a vertically written document with two columns. In order to satisfy the
条件２で示す行Ｌ１と行Ｌ２との行間変位量ｌｉｎｅｓｐａｃｅ（Ｌ１，Ｌ２）は、図３０に示すように、横書きであれば行Ｌ１と行Ｌ２とのうち下側にある方の行の上端座標と、もう一方の行の下端座標との差分値（図３０の（ａ）〜（ｃ）参照）、縦書きであれば行Ｌ１と行Ｌ２とのうち左にある方の行の右端座標ともう一方の行の左端座標との差分値（図３０の（ｄ）〜（ｆ）参照）である。行Ｌ１と行Ｌ２とが重複しないとき、行間変位量ｌｉｎｅｓｐａｃｅ（Ｌ１，Ｌ２）は２つの行の行間距離を示す。また、ＴＨ＿ＭＩＮ＿ＬＳ及びＴＨ＿ＭＡＸ＿ＬＳは、連続行同士の行間変位量として許容される差分値の最小値及び最大値を示す所定係数である。例えば、行Ｌ１の文字サイズに所定係数ｒ１（例えばｒ１＝０．１）を乗算したものを閾値ＴＨ＿ＭＩＮ＿ＬＳと設定し、所定係数ｒ２（ｒ２は正の数とする、例えばｒ２＝１．５等）を乗算したものを閾値ＴＨ＿ＭＡＸ＿ＬＳとして設定する。閾値ＴＨ＿ＭＩＮ＿ＬＳ及び閾値ＴＨ＿ＭＡＸ＿ＬＳは、他の方法により設定されてもよく、例えば行Ｌ１と行Ｌ２の文字サイズの平均値に所定係数を乗算したものとしてもよい。また閾値ＴＨ＿ＭＩＮ＿ＬＳを正値に設定することで、重複のある２つの行同士を連続行として認めないようにすることができる。逆に閾値ＴＨ＿ＭＩＮ＿ＬＳを負値に設定することで、図３０の（ｃ）及び（ｆ）のように、行Ｌ１と行Ｌ２とが多少重複する場合も許容することができる。なお、行間変位量ｌｉｎｅｓｐａｃｅ（Ｌ１，Ｌ２）は、行Ｌ１と行Ｌ２とが重複する場合は０を与えるように定義することもできる。これは、次のような事前処理の性能不足を補う場合に用いられる。原稿の読み取りを行う際、原稿の傾きを十分補正しきれずに、ごくわずかな傾きが残っている場合、最小外接矩形で文字列を囲むと、文字自体は重複していなくても矩形同士が重複する場合が存在する。
As shown in FIG. 30, the interline displacement amount spacespace (L1, L2) between the rows L1 and L2 indicated by the
＜２−３．条件の強化：インデントの範囲指定＞
また、連続行の候補を判定する条件を強化するために、上記条件１，２に加えて、別の条件を設定してもよい。例えば、次式（９）を満たすことを条件として追加することができる。
ｉｎｄｅｎｔ（Ｌ１,Ｌ２）≦ＴＨ＿ＩＮＤＥＮＴ ・・・式（９）
ここで、ｉｎｄｅｎｔ（Ｌ１，Ｌ２）は行Ｌ１の開始位置の文書第１方向成分と行Ｌ２の開始位置の文書第１方向成分の差の大きさであり、すなわちインデントの大きさを意味する。また、閾値ＴＨ＿ＩＮＤＥＮＴは行の先頭のインデントとして許容される距離を示す所定係数である。閾値ＴＨ＿ＩＮＤＥＮＴは、例えば行Ｌ１の文字サイズに所定係数α（αは正の数とする、例えばα＝１．５等）を乗算した値を与え、α文字以内のインデントを許容することができる。閾値ＴＨ＿ＩＮＤＥＮＴは他の方法により設定してもよく、例えば行Ｌ１と行Ｌ２の文字サイズの平均値に所定係数αを乗算したものとしてもよい。
<2-3. Strengthening of conditions: Specifying the indent range>
In addition to the
indent (L1, L2) ≦ TH_INDENT (9)
Here, indent (L1, L2) is the magnitude of the difference between the document first direction component at the start position of line L1 and the document first direction component at the start position of line L2, that is, the magnitude of indentation. Further, the threshold value TH_INDENT is a predetermined coefficient indicating a distance allowed as an indent at the beginning of a line. The threshold value TH_INDENT gives, for example, a value obtained by multiplying the character size of the line L1 by a predetermined coefficient α (α is a positive number, for example α = 1.5), and allows indentation within α characters. The threshold value TH_INDEX may be set by other methods, for example, an average value of the character sizes of the lines L1 and L2 may be multiplied by a predetermined coefficient α.
＜２−４．条件の強化：行終了位置の差異の許容範囲指定＞
連続行の候補を判定する条件を強化する他の条件として、例えば次式（１０）を満たすことを条件として追加することで、行の終了位置がある程度近い行同士を連続行の候補とすることができる。
｜Ｌ１ＭＡＸ１−Ｌ２ＭＡＸ１｜≦ＴＨ＿ＤＩＦＦ＿ＥＮＤＰＯＳ ・・・式（１０）
ここで、Ｌ１ＭＡＸ１は行Ｌ１の文書第１方向成分の最大値、Ｌ２ＭＡＸ１は行Ｌ２の文書第１方向成分の最大値である。例えば、文書第１方向が水平方向（横書き）である場合、Ｌ１ＭＡＸ１及びＬ２ＭＡＸ１は、行Ｌ１及び行Ｌ２の右端のＸ座標を指す。また、閾値ＴＨ＿ＤＩＦＦ＿ＥＮＤＰＯＳは行の終了位置の差として許容される距離を示す所定係数である。例えば行Ｌ１の文字サイズの平均値に所定係数β（βは正の数とする、例えばβ＝０．５等）を乗算したものを閾値ＴＨ＿ＤＩＦＦ＿ＥＮＤＰＯＳとすることで、β文字以内のインデントを許容することになる。
<2-4. Strengthening of conditions: Specifying tolerance range for line end position differences>
As another condition for strengthening the condition for determining the candidate for the continuous line, for example, by adding the condition that the following equation (10) is satisfied as a condition, the lines whose close end positions are close to each other are made candidates for the continuous line. Can do.
| L1MAX1-L2MAX1 | ≦ TH_DIFF_ENDPOS (10)
Here, L1MAX1 is the maximum value of the document first direction component of the row L1, and L2MAX1 is the maximum value of the document first direction component of the row L2. For example, when the first direction of the document is the horizontal direction (horizontal writing), L1MAX1 and L2MAX1 indicate the X coordinates of the right ends of the rows L1 and L2. The threshold value TH_DIFF_ENDPOS is a predetermined coefficient indicating a distance allowed as a difference between the end positions of rows. For example, by multiplying the average value of the character size of the line L1 by a predetermined coefficient β (β is a positive number, for example, β = 0.5, etc.) as a threshold value TH_DIFF_ENDPOS, indentation within β characters is allowed. It will be.
＜２−５．前方又は後方の連続行の選択＞
行Ｌ１の連続行の候補として抽出された行から、行Ｌ１の前方で最も近い位置にある行、及び、後方で最も近い位置にある行を、それぞれ最大１つずつ選択する。なお、文書第１方向が水平方向（横書き）である場合、行Ｌ１より上にある行を前方の行、行Ｌ１より下にある行を後方の行とし、文書第１方向が垂直方向（縦書き）である場合、行Ｌ１より右にある行を前方の行、行Ｌ１より左にある行を後方の行とする。また、行の近さを表わす値として、例えば、前述の行間変位量ｌｉｎｅｓｐａｃｅ（Ｌ１，Ｌ２）を使用し、ｌｉｎｅｓｐａｃｅ（Ｌ１，Ｌ２）が小さい程、行が近いとみなすことができる。なお前方、後方とも、連続行は最大で１つずつであり、必ずしも連続行が存在する必要はない。
<2-5. Select forward or backward continuous lines>
From the rows extracted as candidates for the continuous row of the row L1, the row closest to the front of the row L1 and the row closest to the rear are selected one at a time. When the document first direction is the horizontal direction (horizontal writing), the line above the line L1 is the front line, the line below the line L1 is the back line, and the document first direction is the vertical direction (vertical). In the case of writing), a line on the right side of the line L1 is a front line and a line on the left side of the line L1 is a rear line. Further, for example, the above-described interline displacement amount linespace (L1, L2) is used as a value representing the closeness of the rows, and the smaller the linespace (L1, L2), the closer the rows can be considered. Note that there is a maximum of one continuous line for both the front and rear, and it is not always necessary to have a continuous line.
＜２−６．行ブロックへの分類及び統合＞
以上のようにして、全ての文字列行について前方及び後方の連続行を選択すると、行ブロックへの分類、統合を行う。但し、複数の行から連続行として選択されるケースもあり得るため、相互に連続行であるとされていない行のペアについては、その間の連続関係を事前に解消しておく。例えば、文書画像が図３１の（ａ）である場合、前方の連続行として行Ｌ３を選択する行は、行Ｌ４と行Ｌ５との２つ存在するが、行Ｌ５は行Ｌ３の後方の連続行として選択されていない。そのため、行Ｌ３と行Ｌ５との間の連続関係は解消される。同様にして行Ｌ４と行Ｌ６との間の連続関係も解消される。このことにより、図３１の（ａ）に示すような例では、行Ｌ３及び行Ｌ４において注目行Ｌ１からの連続関係が断たれるため、注目行Ｌ１と同一の行ブロックとして分類できなくなるケースも起こり得る。しかし、図３１の（ｂ）に示すように複数の行ブロックとして分類することができ、後段のレイアウト解析処理部３５における段組解析処理部３７で、同一の段組、及びその段組を構成する同一の段（カラム）として統合できるため、この時点でブロックが分かれてしまっても、問題とはならない。
<2-6. Classification and integration into row blocks>
As described above, when front and rear continuous lines are selected for all character string lines, classification and integration into line blocks are performed. However, since there may be a case where a plurality of rows are selected as continuous rows, the continuous relationship between the pairs of rows that are not considered to be continuous rows is canceled in advance. For example, when the document image is (a) in FIG. 31, there are two lines L4 and L5 for selecting the line L3 as the front continuous lines, but the line L5 is a continuous line behind the line L3. Not selected as a row. Therefore, the continuous relationship between row L3 and row L5 is canceled. Similarly, the continuous relationship between the rows L4 and L6 is also eliminated. As a result, in the example shown in FIG. 31A, the continuous relationship from the target row L1 is broken in the rows L3 and L4, so that it may not be classified as the same row block as the target row L1. Can happen. However, as shown in FIG. 31 (b), it can be classified as a plurality of row blocks, and the same column set and its column set are constituted by the column set
行ブロックへの分類及び統合処理は、次のように行う。まず。行ブロックとして分類されていない文字列行のうち任意の行Ｌ１（注目行Ｌ１）について、まず、行Ｌ１を新規の行ブロックとして設定する。続いて、行Ｌ１から前後の連続行をたどり、行ブロックの範囲を拡大する。前方及び後方とも、連続行が無くなると、行ブロックの拡大を終了し、その行ブロックに含まれる先頭の行から順に行ＩＤを取得する。また、行ブロックの情報として、行ブロックに含まれる全ての行に外接する最小矩形の左上座標、幅及び高さ、並びに含まれる行数を取得する。以上のようにして得られた行の順序と各種情報とを持つ行ブロックを、既に登録済みの行ブロックと重複しないＩＤを持つ新規の行ブロックとして登録を行い、またその行ブロックに含まれる各行の所属行ブロックＩＤを更新する。このようにして行われる行ブロックへの分類及び統合処理を、全ての文字列行がいずれかの行ブロックに分類されるまで繰り返す。 The classification and integration processing into row blocks is performed as follows. First. Regarding an arbitrary line L1 (target line L1) among character string lines not classified as a line block, first, the line L1 is set as a new line block. Subsequently, the continuous line before and after the line L1 is traced to expand the range of the line block. When there are no consecutive rows in both the front and rear, the expansion of the row block is terminated, and row IDs are acquired in order from the first row included in the row block. Further, as the row block information, the upper left coordinates, the width and the height of the smallest rectangle circumscribing all the rows included in the row block, and the number of included rows are acquired. The row block having the row order and various information obtained as described above is registered as a new row block having an ID that does not overlap with an already registered row block, and each row included in the row block is registered. Update the belonging row block ID. The classification and integration processing into the row blocks performed in this way is repeated until all the character string rows are classified into any row block.
＜２−７．同一の行ブロックに分類できる（連続行の候補とできる）行の条件＞
なお、文書第１方向の文字列行は文書第１方向の文字列行とのみ、文書第２方向の文字列行は文書第２方向の文字列行とのみ、行ブロックを構成する。すなわち、１つの行ブロックに、文書第１方向の文字列行と文書第２方向の文字列行とが混在することは無い。従って、注目行Ｌ１の連続行の候補を探索する際、注目行Ｌ１の文字列方向と異なる方向の文字列行は連続行の候補としない。
<2-7. Conditions for rows that can be classified into the same row block (can be candidates for continuous rows)>
A character string line in the first direction of the document constitutes a line block only with a character string line in the first direction of the document, and a character string line in the second direction of the document constitutes a character string line in the second direction of the document. That is, the character string line in the document first direction and the character string line in the document second direction are not mixed in one line block. Therefore, when searching for a candidate for a continuous line of the target line L1, a character string line in a direction different from the character string direction of the target line L1 is not a candidate for a continuous line.
＜２−８．処理例＞
行ブロック解析処理部３４が実行する行ブロック解析処理を、具体例を用いて説明する。既に示した図２８のように文書画像から検出された複数の行に対して行ブロック解析処理を適用すると、文書画像は、図３２のように行ブロックとして分類される。図３２に示す例では、行ブロックＢ３は、章の見出しの行であり、行ブロックＢ４に比べて文字が大きい。このように文字のサイズが大きく異なる２つの行同士を連続行の候補として選択しないような、連続行の候補の判定の条件を追加することも有効な手段である。
<2-8. Processing example>
The row block analysis process executed by the row block analysis processing unit 34 will be described using a specific example. When the row block analysis process is applied to a plurality of lines detected from the document image as shown in FIG. 28, the document image is classified as a row block as shown in FIG. In the example shown in FIG. 32, the row block B3 is a chapter heading row, and has larger characters than the row block B4. It is also an effective means to add a condition for determining candidates for continuous lines so that two lines having greatly different character sizes are not selected as candidates for continuous lines.
［３．レイアウト解析処理部］
＜３−１．レイアウト解析処理部の構成＞
図３３は、レイアウト解析処理部３５の詳細構成を示すブロック図である。レイアウト解析処理部３５は、前段の行ブロック解析処理部３４で分類された行ブロック同士の上下左右の位置関係から、行ブロック構成を解析し、文書画像中の文章（本文）の読み順を推定する処理を行うものであり、段組解析処理部３７、行順序付け処理部３８、段落解析処理部３９を備えて構成される。
[3. Layout analysis processing unit]
<3-1. Configuration of layout analysis processing unit>
FIG. 33 is a block diagram illustrating a detailed configuration of the layout
＜３−２．段組解析処理部＞
段組解析処理部３７は、複数の行ブロックの上下及び左右の位置関係から、段組及び段組を構成する各段（カラム）を分類する段組解析処理を実行する。文書は文書第２方向に段組が配置され、各段組構成内で文書第１方向にカラムが配置されているものとして、ページ内の行ブロックの集合を、適切に境界線を設定して行ブロックをまたぐことなく分割して初期段組とする。そして、同一の初期段組に含まれる行ブロックの集合を、適切に境界線を設定して行ブロックをまたぐことなく分割して、該初期段組を構成する初期カラムとする。
<3-2. Multi-column analysis processing section>
The column
境界線の設定方法は特に指定はなく、最も簡単な例として、初期段組の分類には文書第２方向と平行な直線を使用し、初期カラムの分類には文書第１方向と平行な直線を使用することが挙げられる。例えば、図３４の（ａ）のように横書きの文書画像から行ブロックの構造が解析された場合、図３４の（ｂ）のように行ブロックを初期段組に分類され、さらに初期段組は図３４の（ｃ）のようにそれぞれ初期カラムとして分類される。なお、図３４の（ｂ）及び（ｃ）では、段組間の境界線は実線で、カラム間の境界線は一点鎖線で示されている。 The method of setting the boundary line is not particularly specified. As the simplest example, a straight line parallel to the second direction of the document is used for classification of the initial column, and a straight line parallel to the first direction of the document is used for classification of the initial column. Can be used. For example, when the structure of a row block is analyzed from a horizontally written document image as shown in FIG. 34 (a), the row block is classified into an initial column as shown in FIG. 34 (b). Each is classified as an initial column as shown in FIG. In FIGS. 34B and 34C, the boundary lines between the columns are indicated by solid lines, and the boundary lines between the columns are indicated by alternate long and short dash lines.
＜３−３．段組の分割禁止（同一段組として許容される行ブロック間距離の算出）＞
本来は同一段組であるが、偶然、行ブロックを分割することができるために複数の段組に分かれてしまうようなケースもまれに存在する。こうしたケースに対応するため、例えば連続する２つの行ブロック間の距離を算出し、その距離が所定値（例えば行ブロックの平均行間距離の２倍）以下の２つのブロック間には境界線を引くことを禁止する条件を追加することができる。図３５は、行ブロックＢ１０，Ｂ１１，Ｂ１２を左側のカラム、行ブロックＢ２０，Ｂ２１を右側のカラムとした２段組構成の例を示す。行ブロックＢ１０と行ブロックＢ１１との間、行ブロックＢ２０と行ブロックＢ２１との間が空いているため、行ブロックＢ１０と行ブロックＢ２０から成る２段組構成、及び、行ブロックＢ１１とＢ１２と行ブロックＢ２１とから成る２段組構成として分割してしまう恐れもある。しかし、行ブロックＢ２０の平均行間距離（２０）に対して、行ブロックＢ２０と行ブロックＢ２１とのブロック間距離（３０）が所定値（２０×２＝４０）以下であるとして、行ブロックＢ２０と行ブロックＢ２１との間に境界線を引くことを禁止することで、これらの行ブロックが２つの異なる段組に分かれることを防ぐことができる。
<3-3. Prohibition of column division (calculation of distance between row blocks allowed for the same column)>
Although it is originally the same column, there is a rare case where a row block can be divided by chance and thus divided into a plurality of columns. In order to cope with such a case, for example, a distance between two consecutive row blocks is calculated, and a boundary line is drawn between two blocks whose distance is equal to or less than a predetermined value (for example, twice the average inter-row distance of the row blocks). You can add a condition that prohibits this. FIG. 35 shows an example of a two-column configuration in which the row blocks B10, B11, and B12 are on the left column, and the row blocks B20 and B21 are on the right column. Since the space between the row block B10 and the row block B11 and the space between the row block B20 and the row block B21 are vacant, the two-stage configuration including the row block B10 and the row block B20, and the row blocks B11 and B12 and the row block There is also a possibility that it is divided as a two-stage configuration composed of the block B21. However, assuming that the inter-block distance (30) between the row block B20 and the row block B21 is equal to or less than a predetermined value (20 × 2 = 40) with respect to the average inter-row distance (20) of the row block B20, By prohibiting the boundary line from being drawn with the row block B21, it is possible to prevent these row blocks from being divided into two different columns.
また、見出しによる広い行間に境界線が引かれてしまう場合に、以下のように行ブロックの分割を防ぐようにしてもよい。行ブロックが見出しであるかどうかの判定を行い、見出しである場合には、その行ブロックと、その直後の行ブロックとを分割禁止とする距離の所定値を変更する（例えば、所定係数１．５を乗算する）等の方法により、分割を防ぐことも可能である。行ブロックが見出しか否かの判定は、例えば、横書きの文書であれば、上又は下の行ブロックと比較して左右に所定値以上（第１閾値、例えば、各文字のサイズ（行の高さ）など）の余白が存在し、左の余白と右の余白の大きさの差が所定値以下（例えば、第１閾値×０．１など）である、つまり左詰めでなくセンタリングされており、また他の行ブロックより各文字のサイズ（行の高さ）が大きい場合に、その行ブロックが見出し行であるとして判定する方法が挙げられる。なお、他の条件と組み合わせて判定しても構わない。 In addition, when a boundary line is drawn between wide lines due to a heading, division of a row block may be prevented as follows. It is determined whether or not the row block is a headline. If the row block is a headline, a predetermined value of a distance that prohibits division of the row block and the immediately following row block is changed (for example, a predetermined coefficient of 1. It is also possible to prevent division by a method such as 5). For example, in the case of a horizontally written document, whether or not the line block is a headline is equal to or larger than a predetermined value (first threshold, for example, the size of each character (line height Etc.) and the difference between the size of the left margin and the right margin is not more than a predetermined value (for example, the first threshold value × 0.1, etc.), that is, centered instead of left-justified. In addition, when the size of each character (line height) is larger than other line blocks, there is a method of determining that the line block is a heading line. The determination may be made in combination with other conditions.
なお、上記のような平均行間距離を基準とした所定値でも適切に分割できないような場合、タッチパネル１４のタッチ操作（手動）でレイアウトを修正できるようになっていてもよい。
In addition, when it cannot divide | segment appropriately even with the predetermined value on the basis of the above average line distance, a layout may be able to be corrected by the touch operation (manual) of the
＜３−４．位置関係以外の情報の活用＞
また、行ブロックの位置関係に加えて、行ブロックが持つ各種情報を利用して、段組及びカラムの分類（すなわち境界線の設定）を行うことができる。行ブロックが持つ各種情報の例として、行の長さや主要な文字のサイズ等が挙げられる。隣り合う行ブロック同士でこれらの情報が大きく異なる場合は同一の段組に分類することを避けるようにすることができるし、逆に位置が大きく離れた行ブロック同士でも、例えば同じカラム境界線を共有することができ、かつ類似する情報を持つ場合、同一段組として分類してもよい。
<3-4. Utilization of information other than positional relationships>
Further, in addition to the positional relationship of the row blocks, it is possible to classify columns and columns (that is, set boundary lines) by using various information held by the row blocks. Examples of various information held by the line block include the length of the line and the size of main characters. If these pieces of information differ greatly between adjacent row blocks, it can be avoided to classify them into the same column set. Conversely, even in row blocks that are far apart, for example, the same column boundary line is used. If they can be shared and have similar information, they may be classified as the same column.
＜３−５．行ブロックが０個もしくは１個しかない場合＞
なお、段組解析処理部３７に入力されたページ画像が、ただ１つの行ブロックを持つ場合、そのページ画像は１段構成の文書であるとして、境界線の設定は行わない。また、該ページ画像が、１つも行ブロックを持たない場合（すなわち白紙ページの場合）も境界線の設定は行わない。
<3-5. When there are only 0 or 1 row block>
If the page image input to the column
また、文書画像に文書第１方向の文字列行と文書第２方向の文字列行とが混在する場合は、文書第２方向の文字列行の行ブロックを図表行の行ブロックに置き換える。このことにより、文書第１方向に記述された文章の最中に、文書第２方向に記述された文章が混じることを防ぐことができる。 Further, when the document image includes character string rows in the first direction of the document and character string rows in the second direction of the document, the row block of the character string rows in the second direction of the document is replaced with the row block of the chart row. Thus, it is possible to prevent a sentence described in the second direction of the document from being mixed with a sentence described in the first direction of the document.
＜３−６．処理例＞
段組解析処理部３７が実行する処理の具体例として、例えば既に示した図３２に示す文書画像から検出された複数の行ブロックに対して段組解析処理を適用する場合について説明する。段組解析処理部３７は、図３２に示す文書画像を、図３６に示す段組及びカラムに分類する。カラムＣ１及びカラムＣ２は、それぞれ１段構成の段組Ｇ１及び段組Ｇ２を成し、カラムＣ３及びカラムＣ４は２段組構成の段組Ｇ３における左右のカラムを成している。なお、図３６では、行（文字列行及び図表行）を直線、行ブロックを点線、カラムを一点鎖線で囲んでいる。
<3-6. Processing example>
As a specific example of the processing executed by the column
＜３−７．行順序付け処理部＞
図３３に示される行順序付け処理部３８は、段組、カラム、行ブロック、及び行の位置関係から文書全体における行の順序を解析し、行順序リストを生成する処理を、以下の（１）〜（９）に従って行う。
（１）同じ行ブロックに属する行同士については、横書き文書であれば上から下、縦書き文書であれば右から左の順に優先順位を設定する。ここでは、上記のように既に、行ブロックに分類する際に、その行ブロックに含まれる行についての順序の情報も取得しているため、この情報を利用する。
（２）同じカラムに属する行ブロック同士については、横書き文書であれば上から下、縦書き文書であれば右から左の順に優先順位を設定する。
（３）連続する２つの行ブロック間では、優先順位の高い方の行ブロックの末尾の行の次に、優先順位の低い方の行ブロックの先頭の行が優先されるように設定する。
（４）同じ段組に属するカラム同士については、横書き文書であれば左から右、縦書き文書であれば上から下の順に優先順位を設定する。
（５）連続する２つのカラム間では、優先順位の高い方のカラムの末尾の行ブロックの次に、優先順位の低い方のカラムの先頭の行ブロックが優先されるように設定する。
（６）同じページに属する段組については、横書き文書であれば上から下、縦書き文書であれば右から左の順に優先順位を設定する。
（７）連続する２つの段組間では、優先順位の高い方の段組の末尾のカラムの次に、優先順位の低い方の段組の先頭のカラムが優先されるように設定する。
（８）同じ文書画像ファイルに属するページ同士については、ページ番号の小さい順に優先順位が高くなるよう設定する。
（９）連続する２つのページ間では、優先順位の高いページの末尾の段組の次に、優先順位の低い方のページの先頭の段組が優先されるように設定する。
<3-7. Line ordering processing section>
The line
(1) For the rows belonging to the same row block, priorities are set in the order from top to bottom for horizontal writing documents and from right to left for vertical writing documents. Here, as described above, since the information on the order of the rows included in the row block is already acquired when the data is classified into the row blocks, this information is used.
(2) For row blocks belonging to the same column, priorities are set in order from top to bottom for horizontal writing documents and from right to left for vertical writing documents.
(3) Between two consecutive row blocks, the first row of the row block with the lower priority is set to be given priority after the last row of the row block with the higher priority.
(4) For columns belonging to the same column, priorities are set in order from left to right for horizontally written documents and from top to bottom for vertically written documents.
(5) Between two consecutive columns, the first row block of the lower priority column is set to be given priority after the last row block of the higher priority column.
(6) For columns belonging to the same page, priorities are set in order from top to bottom for horizontal writing documents and from right to left for vertical writing documents.
(7) Between two consecutive columns, setting is performed so that the first column in the column with the lower priority is given priority after the column at the end of the column with the higher priority.
(8) For pages belonging to the same document image file, settings are made so that the priorities are higher in order of increasing page numbers.
(9) Between two consecutive pages, setting is made so that the top column of the page with the lower priority is given priority after the last column of the page with the higher priority.
行順序付け処理部３８は、上記のルール（１）〜（９）に従って、ページの順序、段組の順序、カラムの順序、行ブロックの順序を決定し、それらにより行の順序付けを行う。順序付けされた行は、各行が属する行ブロック、カラム、段組及びページの順序を示す番号を保有すると共に、先頭から順に各行の行ＩＤを行順序リストに格納する。
行順序リストは、下記の規定（ａ）〜（ｃ）に従う形式であれば特に構造は問わない。
（ａ）上記順序付けルールに従って決定された順序通りに行を呼び出すことができる。
（ｂ）呼び出した行について、その座標情報や種類（文字列行か図表行か）等の各種情報を参照することができる。
（ｃ）呼び出した行について、段落情報（後述）を格納することができる。
The row ordering
The structure of the line order list is not particularly limited as long as it conforms to the following rules (a) to (c).
(A) Rows can be called in the order determined according to the ordering rules.
(B) With respect to the called line, various information such as coordinate information and type (whether it is a character string line or a chart line) can be referred to.
(C) Paragraph information (described later) can be stored for the called line.
＜３−８．処理例＞
行順序付け処理部３８が、上記の規定に従って、図３６の構成の文書画像について行順序リストを生成した例を、図３７に示す。行順序リストは、決定された順序の先頭から順に、行のＩＤと、行の情報として、所属する行ブロックＩＤ、行の種別（文字列行であるか図表行であるか）、及び行の範囲を示す外接矩形の左上座標及び右下座標、の情報とを格納し、さらに行毎に段落情報を格納している。なお、図３７の例では、改行が発生するときに、その行から新たな段落が始まるとして、段落情報を改行の有無を有る（Ｙｅｓ）か無し（Ｎｏ）かの２通りで示しており、事前に「Ｎｏ」で初期化している。図３８のように行ブロックの情報やカラムの情報、段組の情報を別途作成し、相互参照により各行及び各行ブロックが所属するカラム、段組、ページを参照できるようにしておくことで、冗長の少ない行順序リストを構成することができる。もちろん、行順序リスト単独で各行に関する情報を全て抽出できるようにしてもよい。
<3-8. Processing example>
FIG. 37 shows an example in which the line
＜３−９．段落解析処理部＞
図３３に示される段落解析処理部３９は、各行の前後の位置関係等の情報から、その行の位置で改行が発生しているかどうかを判定し、文書画像中の各行を１つ以上の段落に分類する処理を行う。具体的には、行順序リストから複数の行を参照して段落の切れ目、すなわち改行位置を判定し（改行判定処理）、段落毎に行の順序を記述した文書構造ツリーを生成する（文書構造ツリー生成処理）。
<3-9. Paragraph analysis processing section>
The paragraph
ところで、文書中の図表は、必ずしも段落の切れ目に配置されるとは限らず、例えばページの端に挿入される場合が多く、それにより文章が図表を挟んで前後に分かれることがある。この順序のまま行を呼び出し、行を構成する要素（文字、図表）を挿入していくと、図表の挿入によって不自然に途切れた文章が出力されてしまう。そこで、本実施の形態では、段落毎に、文字列行と図表行とが混在した順序ではなく、文字列行の順序と図表行の順序をそれぞれ別に保有する文書構造ツリーを生成する。図３９は、文書構造ツリーの構造を示す図である。それにより、文書画像を構成する文字列のみの順序を把握しながら、その段落に係る図表を、段落の先頭や末尾等にまとめて配置できるようにする。 By the way, charts in a document are not necessarily arranged at paragraph breaks, and are often inserted, for example, at the end of a page, so that a sentence may be divided before and after the chart. If the lines are called in this order and the elements (characters, charts) constituting the lines are inserted, sentences that are unnaturally interrupted by the insertion of the charts are output. Therefore, in the present embodiment, for each paragraph, a document structure tree is generated in which the order of character string lines and the order of chart lines are held separately, not the order in which character string lines and chart lines are mixed. FIG. 39 is a diagram showing the structure of a document structure tree. Thereby, while grasping the order of only the character strings constituting the document image, the chart relating to the paragraph can be arranged collectively at the beginning or end of the paragraph.
＜３−１０．改行判定処理＞
図４０は、段落解析処理部３９における、改行判定処理の概要を示すイメージ図である。改行判定処理は、判定の対象となる注目行と、注目行より前に順序づけられるＭ個の行と、注目行より後に順序づけられるＮ個の行と、のＭ＋Ｎ＋１個の行によって判定される。なお、図４０に示す例では、Ｍ＝Ｎ＝２としている。なお、改行判定の対象となる行、及びその前後の行は、いずれも文字列行である。本実施の形態では、Ｍ＋Ｎ＋１個の行ＩＤバッファＬ［０］，Ｌ［１］・・・，Ｌ［Ｍ＋Ｎ］を記憶部１２に備え、行順序リストで参照されるＭ＋Ｎ＋１個の行ＩＤをそれぞれ格納することで、注目行と、注目行の前後の行との比較を行う。
<3-10. Line feed judgment processing>
FIG. 40 is an image diagram showing an outline of a line feed determination process in the paragraph
以下、段落解析処理部３９の処理内容について詳細に説明する。図４１は、段落解析処理部３９の処理手順を示すフローチャートである。段落解析処理の開始にあたり、事前に初期化を済ませておく。具体的には、リスト参照番号をＬＮＯＷ＝１とし、行ＩＤバッファには全て無効行（０）を格納しておく。初期化が終わると、注目行にあたる行ＩＤバッファＬ［Ｍ］に、行ＩＤを選択して格納する（Ｓ１）。任意の行ＩＤバッファＬ［ｋ］（ｋ＝０，１，・・・，Ｍ＋Ｎ）の選択方法は以下の（１Ａ）〜（１Ｃ）の通り行われる。
（１Ａ）行順序リストにおいて、第ＬＮＯＷ番目から順に、文字列行を探索する。
（１Ｂ）最初に見つかった文字列行の行ＩＤを行ＩＤバッファＬ［ｋ］に格納し、そのときの行順序リストの位置（リスト番号）に１を加えた番号を新たなリスト参照番号ＬＮＯＷとして更新する。
（１Ｃ）文字列行が見つからないまま行順序リストの末尾まで探索が終了した場合、行ＩＤバッファＬ［ｋ］には無効行（０）を格納する。
Hereinafter, the processing content of the paragraph
(1A) In the line order list, the character string lines are searched in order from the LNOWth.
(1B) The row ID of the first found character string row is stored in the row ID buffer L [k], and a number obtained by adding 1 to the position (list number) of the row order list at that time is a new list reference number LNOW. Update as.
(1C) When the search is completed up to the end of the line order list without finding a character string line, an invalid line (0) is stored in the line ID buffer L [k].
行Ｌ［Ｍ］の更新後、行Ｌ［Ｍ］が有効行（ゼロでない行ＩＤを持つ行）であるかどうかを判定し（Ｓ２）、有効行である場合（Ｓ２の判定がＹＥＳ）、Ｓ３に移る。一方、Ｌ［Ｍ］が無効行である場合（Ｓ２の判定がＮＯ）、入力した文書画像には文字列行が存在しない図表行のみの文書画像であるとして、文書構造ツリーの生成処理（後述）を実行する（Ｓ７）。 After updating the row L [M], it is determined whether or not the row L [M] is a valid row (a row having a non-zero row ID) (S2). If the row L [M] is a valid row (YES in S2), Move on to S3. On the other hand, when L [M] is an invalid line (NO in S2), the document structure tree generation process (described later) is performed assuming that the input document image is a document image of only a chart row in which no character string row exists. ) Is executed (S7).
次に、注目行より後の行に当たる行ＩＤバッファＬ［Ｍ＋１］，・・・，Ｌ［Ｍ＋Ｎ］に、行ＩＤを選択して格納する（Ｓ３）。各バッファにおける行ＩＤの選択方法は上記と同様であるため省略する。続いて、注目行Ｌ［Ｍ］の改行判定を実行する（Ｓ４）。改行判定は、改行判定対象となる注目行Ｌ［Ｍ］と、注目行より前に位置する行Ｌ［０］，・・・，Ｌ［Ｍ−１］及び注目行より後に位置する行Ｌ［Ｍ＋１］，・・・，Ｌ［Ｍ＋Ｎ］からなる複数の行を用いた公知の方法で行うことができる。簡単な例として、改行判定対象のインデントの有無を確認する方法がある。行Ｌ［Ｍ］の開始位置が、他の行に比べて文書第１方向に正値のずれが生じている場合に、行Ｌ［Ｍ］はインデントを持ち、行Ｌ［Ｍ］の位置で改行がなされているとみなすことができる。また、改行判定対象行Ｌ［Ｍ］の１つ前の行Ｌ［Ｍ−１］が、他の行に比べて短い場合、行Ｌ［Ｍ］の位置で改行がなされているとみなすことができる。例えば、図４０（Ｍ＝Ｎ＝２）のような横書きの文字列行が存在している場合、注目行Ｌ［２］の開始位置が、他の行に比べて右側（横書きの場合の正方向）にずれており、また１行前の行Ｌ［１］が他の行に比べて短いという特徴を持っており、これらの結果から、注目行Ｌ［２］は総合的に改行位置であるとして判定され易くなる。なお、文書編集者の好み等により段落の先頭行でインデントが付加されない場合もあり、また１つ前の段落の最終行が必ずしも短くなるとは限らないため注意する。 Next, the row ID is selected and stored in the row ID buffers L [M + 1],..., L [M + N] corresponding to the row after the target row (S3). Since the selection method of the row ID in each buffer is the same as described above, the description is omitted. Subsequently, line feed determination for the target line L [M] is executed (S4). Line break determination is performed by the attention line L [M] to be the line break determination target, the lines L [0],..., L [M−1] positioned before the target line, and the line L [ M + 1],..., L [M + N] can be performed by a known method using a plurality of rows. As a simple example, there is a method of confirming whether or not there is an indent to be detected as a line feed. When the start position of the line L [M] has a positive shift in the first direction of the document compared to the other lines, the line L [M] has an indent, and the position of the line L [M] It can be considered that a line feed has been made. In addition, when the line L [M−1] immediately before the line feed determination target line L [M] is shorter than the other lines, it may be considered that a line break is made at the position of the line L [M]. it can. For example, when there is a horizontally written character string line as shown in FIG. 40 (M = N = 2), the start position of the target line L [2] is on the right side (the correct line in the case of horizontal writing) as compared to the other lines. And the previous line L [1] is shorter than the other lines. From these results, the target line L [2] It becomes easy to determine that there is. Note that indentation may not be added to the first line of a paragraph depending on the preference of the document editor, and the last line of the previous paragraph is not necessarily shortened.
他に改行位置であるかどうかの判定の例として、注目行の文字サイズが周辺の行に比べて大きく異なるかどうかを判定することで、見出し行のように文字サイズが大きくなっている行、また補足コメント等のように逆に文字サイズが小さくなっている行等で改行位置と判定することができる。また、周辺の連続する２つの行の行間距離に比べて、注目行とその１つ前の行との行間距離が大きくなっている場合に、１つ前の行で段落が終了している可能性が高くなる。上記挙げられた条件を例として、様々な条件を複合的に判定して、注目行における改行の有無を設定するのが好ましい。 Another example of determining whether or not it is a line feed position is a line that has a large character size, such as a heading line, by determining whether the character size of the target line is significantly different from the surrounding lines, On the contrary, a line break position can be determined by a line having a smaller character size such as a supplementary comment. In addition, when the distance between the target line and the previous line is larger than the distance between two adjacent consecutive lines, the paragraph may end at the previous line. Increases nature. Taking the above-mentioned conditions as an example, it is preferable to determine whether or not there is a line break in the line of interest by determining various conditions in combination.
行Ｌ［Ｍ］の改行判定の結果は、行順序リストのＬ［Ｍ］に該当する行情報に段落情報として反映させる。段落情報は段落の切れ目が判るものであれば何でもよく、最も簡単な例として、改行の有無をＹｅｓあるいはＮｏの２通りで示すだけでもよい。 The result of line feed determination for line L [M] is reflected as paragraph information in the line information corresponding to L [M] in the line order list. The paragraph information may be anything as long as the break of the paragraph is known. As the simplest example, the presence / absence of a line feed may be indicated in two ways, Yes or No.
改行判定対象行Ｌ［Ｍ］の改行判定が終了すると、注目行の次の行Ｌ［Ｍ＋１］が有効行であるかどうかを判定し（Ｓ５）、Ｌ［Ｍ＋１］が有効行である場合（Ｓ５の判定がＹＥＳ）、行ＩＤバッファの更新を行い、次の行についての改行判定を行う準備をする（Ｓ６）。行ＩＤバッファの更新は、具体的には、図４２に示すように、Ｌ［０］＝Ｌ［１］，・・・，Ｌ［Ｍ＋Ｎ−１］＝Ｌ［Ｍ＋Ｎ］としてバッファを１つずつずらすとともに、バッファＬ［Ｍ＋Ｎ］を新たに行順序リストから選択する。バッファＬ［Ｍ＋Ｎ］の選択方法は前述の方法と同様であるため省略する。バッファの更新後、Ｓ４に戻り、更新された注目行Ｌ［Ｍ］について、改行判定を行う。これを、Ｓ５で判定がＮＯとなるまで反復する。Ｓ５の判定がＮＯとなると、全ての文字列行について改行判定が終了したことになり、文書構造ツリーの生成処理を実行する（Ｓ７）。 When the line feed determination of the line feed determination target line L [M] is completed, it is determined whether or not the line L [M + 1] next to the target line is a valid line (S5), and if L [M + 1] is a valid line ( If the determination in S5 is YES), the line ID buffer is updated, and preparations are made for line feed determination for the next line (S6). Specifically, as shown in FIG. 42, the row ID buffer is updated by setting L [0] = L [1],..., L [M + N−1] = L [M + N] one by one. At the same time, the buffer L [M + N] is newly selected from the row order list. Since the method for selecting the buffer L [M + N] is the same as that described above, a description thereof will be omitted. After updating the buffer, the process returns to S4, and a line feed is determined for the updated attention line L [M]. This is repeated until the determination is NO in S5. If the determination in S5 is NO, the line feed determination has been completed for all the character string rows, and the document structure tree generation process is executed (S7).
＜３−１１．文書構造ツリー生成処理＞
段落解析処理部３９による文書構造ツリー生成処理は、段落情報を考慮した行順序リストに格納された段落情報に従って実行される。但し、文書構造ツリーは事前に、図４３に示すような１つの空の段落（第０段落）を持つ状態に初期化されているものとする。初期段落番号をＰＮＯＷ＝０として、行順序リストの先頭から順に行の情報を参照し、段落情報から該行が段落開始行と判定された場合（段落情報がＹＥＳ）のみ、ＰＮＯＷ＝ＰＮＯＷ＋１として段落番号の更新を行い、また文書構造ツリーに空の段落（第ＰＮＯＷ段落）を新たに追加する。そして、該行が文字列行である場合、文書構造ツリーの第ＰＮＯＷ段落が持つ文字列ツリーの末尾に該行の行ＩＤを追加する。一方、該行が図表行である場合、文書構造ツリーの第ＰＮＯＷ段落が持つ図表ツリーの末尾に該行の行ＩＤを追加する。これを行順序リストの各行について反復し、末尾まで探索が終了すると、文書構造ツリーの生成処理を終了する。なお、文字列行の改行位置から次の改行位置までが１つの段落となるので、図表行が段落の分類から漏れるということはない。そのため、ひと固まりの文字列行の後に図表行があり、その後新しい段落が始まる（改行が発生する）場合は、その図表行は１つ前の段落に含まれることになる。
<3-11. Document structure tree generation processing>
The document structure tree generation process by the paragraph
＜３−１２．処理例＞
段落解析処理部３９が実行する処理の具体例として、図２８の構成の文書画像（図３７に示す初期の行順序リストを持つ）に段落解析処理部３９での処理を適用する場合について説明する。見出しに当たる行ＩＤ：１０１、行ＩＤ１０４、行ＩＤ：１２９の各行は、行の文字サイズや１つ前の行間距離等の条件から、改行位置と判定される。また行ＩＤ：１０６、行ＩＤ：１１２、行ＩＤ：１１９及び行ＩＤ：１３１の各行は、前後の複数の行に比べ、行の開始位置が文書第１方向において正方向にシフトしている。よってインデントが存在するとして、改行位置と判定される。行ＩＤ：１０２の行も、見出し行の行ＩＤ：１０１の次の行であることから、改行位置と判定することができる。従って、行ＩＤ：１０１、１０２、１０４、１０６、１１２、１２９、１３１、１１９の各行が改行位置として設定され、行順序リストの段落情報は、図４４のように更新される。
<3-12. Processing example>
As a specific example of the processing executed by the paragraph
例えば、行順序リストが図４４のように、段落情報として改行の有無（ＹｅｓもしくはＮｏ）が表されている場合、改行がある行から新しい段落が開始するとみなせるため、改行がある（Ｙｅｓ）場合に該行が段落開始行として判定することができる。また、段落が開始してから、次の改行位置が見つかるまでの行を同一の段落の範囲とみなす。更新された行順序リストの段落情報に従い、図２８の文書画像を段落毎に分類すると、図３Ａに示すように分類することができる。図３Ａにおいて、段落Ｒ７は、左下の３行の文字列行（行ＩＤ：１３１，１３３，１３５）から、右上の図表行（行ＩＤ：１０５）及び４行の文字列行（行ＩＤ：１１１，１１３，１１５，１１７）までを同一の段落の範囲としており、行ＩＤ：１３５と行ＩＤ：１１１との文字列行の間に改行位置は存在しないため、一続きの文章を構成することが可能となる。更に、この行順序リストに従って文書構造ツリーを生成すると、図４５に示すような文書構造ツリーを得ることができる。 For example, as shown in FIG. 44, when the line order list indicates whether or not there is a line break (Yes or No) as paragraph information, it can be considered that a new paragraph starts from a line with a line break, and therefore there is a line break (Yes). The line can be determined as the paragraph start line. Also, the line from the start of the paragraph until the next line feed position is found is regarded as the same paragraph range. If the document image of FIG. 28 is classified for each paragraph according to the updated paragraph information of the line order list, it can be classified as shown in FIG. 3A. In FIG. 3A, the paragraph R7 starts from the lower left three character string lines (line ID: 131, 133, 135), the upper right chart line (line ID: 105), and the four character string lines (line ID: 111). , 113, 115, 117) are the same paragraph range, and there is no line break position between the character string lines of line ID: 135 and line ID: 111, so that a series of sentences can be formed. It becomes possible. Furthermore, when a document structure tree is generated according to this line order list, a document structure tree as shown in FIG. 45 can be obtained.
［４．リスト生成部］
リスト生成部３６は、図４４の行順序リストおよび図４５の文書構造ツリーに従って、各行を呼び出し、呼び出した行が文字列行である場合は対応する文字列行の先頭から順に文字を呼び出し、呼び出した行が図表行である場合は対応する図又は表を呼び出して、各要素の参照情報（要素を呼び出すための情報）を順に記述した参照リストを生成する。更に、要素が、改行位置が含まれる行の末尾の要素である場合、改行命令を挿入して参照リストを生成する。
[4. List generator]
The
具体的には、リスト生成部３６は、図４５に示される文書構造ツリーに示される段落番号（Ｒ１〜Ｒ８）の順に各段落を注目段落としていく。リスト生成部３６は、注目段落において、各文字列行を行ＩＤ（図４４）の順に参照していき、参照している文字列行の先頭から順に要素の参照情報を参照リストに記述していく（つまり、参照している文字列行について全ての要素の記述を終えると、次の文字列行を参照する）。リスト生成部３６は、注目段落において、文字列行を全て参照した後、図表行の要素の参照情報を参照リストに記述していく。そして、全ての段落を注目段落として扱って処理し終えると、参照リストが完成することになる。作成される参照リストにおいては、各要素に対してリスト番号（図４参照）を対応付けることになるが、このリスト番号は参照リストに対して記述された順序を示した番号である。また、参照リストに記述される要素の参照情報は、図４に示すように、要素種別、左上座標、横幅および高さとなる。横幅および高さではなく、右下座標が記述されてもよい。なお、リスト生成部３６は、参照リストに対して参照情報を記述している要素が、段落を有する（段落情報がＹｅｓである）文字列行の末尾である場合、若しくは、図表である場合、次に記述する要素を「改行」とする。これにより、リスト生成部３６は、図４に示す参照リストを作成できるようになっている。
Specifically, the
また、リスト生成部３６は、図５に示す参照リストを作成するようになっていてもよい。この場合、リスト生成部３６は、各要素の参照情報として記述する段落ＩＤを、直前に参照情報を記述した要素の段落ＩＤと同じとする（初期値は１）。但し、リスト生成部３６は、段落を有する（段落情報がＹｅｓである）文字列行の末尾の要素の次の要素については、前の要素の段落ＩＤに１を加算した段落ＩＤを記述する。また、リスト生成部３６は、文字の次の図表については、当該文字の段落（図５の段落ＩＤ７）に属する小段落のＩＤ（図５の段落７−２）を記述し、図表の次の文字については、当該図表の小段落の属する段落の段落ＩＤに１を加算した段落ＩＤを記述することとなる。
Further, the
リスト生成部３６は、以上のようにして作成した参照リスト（図４または図５）を、当該参照リストに対応する文書ファイル（文書画像のデータ）と対応付けて記憶部１２に保存する。これにより、レイアウト変更部１１１は、参照リストを用いてレイアウト変更処理を行うことが可能になる。なお、参照リストは、例えばＣＳＶ形式のデータとして出力されるようになっている。
The
以上のようにして作成された参照リストを用いてレイアウト変更処理を行うことにより、図３Ａに示すように段組構成を持つ文書画像についても適切な順序で各要素を再配置できることになる。これに対し、特許文献１等の先行技術によれば、横書きの場合、左から右へ順序付け且つ上から下へ順序づけられた位置座標リストを用いて再配置しているだけであるため、段組構成を持つ文書については適用が困難である。
By performing the layout changing process using the reference list created as described above, each element can be rearranged in an appropriate order even for a document image having a column structure as shown in FIG. 3A. On the other hand, according to the prior art such as
〔変形例〕
図１のレイアウト変更部１１１は、レイアウト変更処理前の文書画像に図表が示されている場合、レイアウト変更処理によって、文書画像には、図表の代わりに、前記図表のサムネイルを配置させるようになっていてもよい。この場合、表示制御部１１２は、表示部１４ａにリフロー形式で文書画像を表示させている際に前記サムネイルがユーザにタッチ（選択）されたことを入力信号から検出した場合、前記サムネイルに対応する前記図表を表示部１４ａに表示させるようになっている。
[Modification]
The
これにより、図表のサイズが大きい場合、図表を無理に文書内に挿入せずに、サムネイルが選択された場合にのみ該当する図表をリンク表示させることにより、文書および図表の視認性を向上させることができる。なお、図１の表示制御部１１２は、前記サムネイルがユーザに選択された場合、スクロール無しで図表の全体を表示部１４ａに表示させることができる程度に前記図表を拡大または縮小した上で表示部１４ａに表示させるようになっていてもよいし、垂直および/または水平方向のスクロールが必要なサイズで図表を表示部１４ａに表示させるようになっていてもよい。
As a result, when the size of a diagram is large, it is possible to improve the visibility of the document and the diagram by linking the corresponding diagram only when a thumbnail is selected without forcibly inserting the diagram into the document. Can do. The
また、タッチパネル以外のユーザインターフェイスが用いられてもよい。例えば、マウスやキーボード等の入力手段を用いてもよい。この場合、図１の表示部１４ａにスクロールバーを表示することによってユーザにスクロール指示を行わせることができる。また、表示倍率を入力するためのボックスおよび変倍処理ボタンを示したＧＵＩを表示させ、このＧＵＩによって変倍の指示を入力可能である。
A user interface other than the touch panel may be used. For example, input means such as a mouse or a keyboard may be used. In this case, a scroll instruction can be given to the user by displaying a scroll bar on the
また、以上の各実施形態では、携帯端末１０は、図２に示すように、略長方形の表示部１４ａの長辺方向を表示部１４ａの垂直方向（スクロール方向）とし、表示部１４ａの短辺方向を表示部１４ａの水平方向として、文書画像を表示させているが、勿論、表示部１４ａの短辺方向を表示部１４ａの垂直方向（スクロール方向）とし、表示部１４ａの長辺方向を表示部１４ａの水平方向として、文書画像を表示させることも可能である。但し、この場合においても、図４９に示されるように、表示部１４ａに表示される左横書の文書画像の右側から左側に向けた方向を左方向とし、その逆方向を右方向とし、当該左横書きの文書画像の上側から下側に向けた方向を下方向とし、その逆方向を上方向とする（なお、図４９に示す上下左右の各方向は、短辺方向を垂直方向として長辺方向を水平方向とした略長方形の表示部１４ａに縦書きの文書画像を表示させる場合の当該縦書きの文書画像における上下左右の各方向とも一致することになる）。
Further, in each of the above embodiments, as shown in FIG. 2, the
つまり、図２に示すように、表示部１４ａの長辺方向を表示部１４ａの垂直方向とし、表示部１４ａの短辺方向を表示部１４ａの水平方向とするケースでは、長辺方向と上下方向（垂直方向）とが一致し、短辺方向と左右方向（水平方向）とが一致することになるが、図４９に示すように、表示部１４ａの長辺方向を表示部１４ａの水平方向とし、表示部１４ａの短辺方向を表示部１４ａの垂直方向とするケースでは、長辺方向と左右方向（水平方向）とが一致し、短辺方向と上下方向（垂直方向）とが一致することになる。
That is, as shown in FIG. 2, in the case where the long side direction of the
また、図１の制御部１１は、上述の通り、ＣＰＵを用いてソフトウェアにて実現してもよいし、集積回路等に形成された論理回路によって実現してもよい。なお、ソフトウェアによる場合、携帯端末１０は、前記ソフトウェアであるプログラムがコンピュータ（またはＣＰＵ）で読み取り可能に記録されたＲＯＭまたは記憶装置等の記録媒体を備えている。上記記録媒体としては、例えば、カード、ディスク、半導体メモリ、プログラマブルな論理回路などの「一時的でない有形の媒体」であってもよい。また、上記プログラムは、任意の伝送媒体（通信ネットワークや放送波等）を介して上記コンピュータに伝送されてもよい。なお、本発明の一態様は、上記プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。
1 may be realized by software using a CPU as described above, or may be realized by a logic circuit formed in an integrated circuit or the like. In the case of software, the
〔まとめ〕
本発明の態様１の携帯端末（表示制御装置）１０によれば、文書を撮像して得られる文書画像をリフロー形式でコンテンツ表示領域に表示させるために前記文書画像のレイアウトを変更するレイアウト変更部１１１と、レイアウト変更後の文書画像をリフロー形式で前記コンテンツ表示領域に表示させる表示処理を行う表示制御部１１２とを備え、レイアウト変更部（変更部）１１１は、前記文書画像を構成する要素毎に、レイアウト変更後の文書画像全体のなかでの位置を示す配置座標（座標値）を求め、表示制御部１１２は、前記配置座標のうち、画像のスクロールの方向と平行な座標軸の座標値に、前記スクロールの量に応じたオフセット値を加算する加算処理を行い、前記加算処理後の配置座標を、前記コンテンツ表示領域と前記要素との位置関係を示す描画座標（表示用座標）として前記表示処理を行うことを特徴とする。
[Summary]
According to the mobile terminal (display control apparatus) 10 of the
本発明の一態様によれば、文書画像がスクロールされる場合、画像のスクロールの方向と平行な座標軸の座標値に加算されるオフセット値（各要素において共通）をスクロール量に応じて変更するだけで前記描画座標を更新できる。これに対し、従来構成では、スクロールがされる場合、各要素のｘ座標値およびｙ座標値を再演算することで表示用座標を更新するようになっている。それゆえ、本発明の一態様によれば、従来構成よりも処理負荷を抑制できる効果を奏する。 According to one aspect of the present invention, when a document image is scrolled, an offset value (common to each element) added to the coordinate value of the coordinate axis parallel to the scroll direction of the image is only changed according to the scroll amount. The drawing coordinates can be updated. On the other hand, in the conventional configuration, when scrolling is performed, the display coordinates are updated by recalculating the x-coordinate value and the y-coordinate value of each element. Therefore, according to one aspect of the present invention, the processing load can be suppressed more than in the conventional configuration.
また、本発明の態様２の携帯端末１０においては、態様１に加え、レイアウト変更部１１１が、前記文書画像に対する変倍処理の指示が入力されると、前記変倍処理の表示倍率に応じて前記文書画像のレイアウトを変更するようになっており、表示制御部１１２は、前記変倍処理の前に前記コンテンツ表示領域に表示させている要素のなかからいずれか一つの要素を選択する選択処理を行い、前記選択処理にて選択した要素について、前記変倍処理の前の前記描画座標のうちの前記スクロールの方向と平行な座標軸の座標値と、前記変倍処理の後の前記描画座標のうちの前記スクロールの方向と平行な座標軸の座標値との差が所定範囲に収まるように、前記変倍処理の後の配置座標に加算されるオフセット値を調整するようになっていることを特徴とする。
In addition, in the
本発明の態様２によれば、変倍処理前にユーザが注目していた要素が変倍処理によってコンテンツ表示領域外にはみ出してしまうことを抑制できるという効果を奏する。
According to the
また、本発明の態様３の携帯端末１０においては、態様２に加え、前記コンテンツ表示領域はタッチパネル１４における表示領域であり、タッチパネル１４において互いに離れた２箇所以上の領域がタッチされることで前記変倍処理の指示が入力されるようになっており、前記選択処理は、前記文書画像の各要素のうち、前記変倍処理の指示におけるタッチパネル１４のタッチ箇所の平均座標値に対応する位置からのユークリッド距離が最も小さい要素を選択する処理であることを特徴とする。
In addition, in the
本発明の態様３によれば、変倍処理前においてユーザが注目していた可能性の高い要素を高精度に選択できるという効果を奏する。
According to the
本発明の態様４の携帯端末１０においては、態様３に加え、表示制御部１１２は、前記平均座標値に対応する位置が前記文書画像のなかのいずれかの要素を囲う外接矩形の内側である場合、前記平均座標値に対応する位置からのユークリッド距離の最も小さい要素が前記外接矩形に囲われる要素でなくても、前記外接矩形に囲われる文字を前記選択処理において選択するようになっていることを特徴とする。
In the
本発明の態様４によれば、変倍処理前においてユーザが注目していた可能性の高い要素をより高精度に選択できるという効果を奏する。
According to the
本発明の態様５の携帯端末１０においては、態様１〜４に加えて、前記要素には少なくとも図表が含まれており、レイアウト変更部１１１は、前記図表に関しては、設定されている表示倍率とは関係なく、前記図表が前記スクロールの方向と直交する方向において前記表示領域に収まるように変倍し、当該変倍した前記図表について前記配置座標を求めることを特徴とする。
In the
本発明の態様５によれば、小型の表示装置の表示領域にリフロー形式で前記文書画像を表示させる場合であっても、前記スクロールの方向と直交する方向において前記図表を前記表示領域に収まるように表示させることが可能になるという効果を奏する。 According to the fifth aspect of the present invention, even when the document image is displayed in a reflow format on a display area of a small display device, the chart can be accommodated in the display area in a direction orthogonal to the scroll direction. It is possible to display on the screen.
本発明の態様６の携帯端末１０においては、レイアウト変更部１１１は、レイアウト変更前の文書画像に図表が示されている場合、前記レイアウト変更後の文書画像には前記図または表の代わりに前記図表のサムネイルを配置させ、表示制御部１１２は、前記コンテンツ表示領域に表示させているサムネイルがユーザに選択されると、前記サムネイルに対応する前記図表を前記コンテンツ表示領域に表示させることを特徴とする。
In the
本発明の態様６によれば、図表のサイズが大きい場合、図表を無理に文書内に挿入せずに、サムネイルが選択された場合にのみ該当する図表をリンク表示させることにより、文書、図表の視認性を向上させることができる。また、表示制御部１１２は、前記サムネイルがユーザに選択された場合、スクロール無しで図表の全体を前記コンテンツ表示領域に表示させることができる程度に前記図表を拡大または縮小した上でコンテンツ表示領域に表示させるようになっていてもよいし、垂直および/または水平方向のスクロールが必要なサイズで図表をコンテンツ表示領域に表示させるようになっていてもよい。
According to
本発明の態様７の携帯端末１０においては、態様１〜６に加え、前記文書画像と、前記文書画像を構成する要素の並び順を示す並び順情報とを対応付けて記憶する記憶部を備え、レイアウト変更部１１１は、前記並び順情報に示される並び順に従って前記文書画像のレイアウトを変更することを特徴とする。
The
本発明の態様７によれば、文書を構成する各要素（文字等）の並び順を崩すことなく、適切に文書画像のレイアウトを変更できるという効果を奏する。
According to the
本発明の態様８の携帯端末１０においては、態様１〜７に加えて、前記文書を撮像することによって前記文書画像を生成する画像入力部を備えたことを特徴とする。
The
本発明の態様８によれば、撮影による文書画像の生成とリフロー表示とを実現する一体型ツールを提供できるため、データの取捨選択や撮り直しの作業を効率よく行うことができるという効果を奏する。
According to the
本発明の態様９の携帯端末（表示制御装置）１０によれば、表示部１４ａと、文書を撮像して得られる文書画像をリフロー形式でコンテンツ表示領域に表示させるために前記文書画像のレイアウトを変更するレイアウト変更部１１１と、レイアウト変更後の文書画像をリフロー形式で表示部１４ａのコンテンツ表示領域に表示させる表示処理を行う表示制御部１１２とを備え、レイアウト変更部（変更部）１１１は、前記文書画像を構成する要素毎に、レイアウト変更後の文書画像全体のなかでの位置を示す配置座標（ｘｙ座標値）を求め、表示制御部１１２は、前記配置座標のうち、画像のスクロールの方向と平行な座標軸の座標値に、前記スクロールの量に応じたオフセット値を加算する加算処理を行い、前記加算処理後の配置座標を、前記コンテンツ表示領域と前記要素との位置関係を示す描画座標（表示用座標）として前記表示処理を行うことを特徴とする。
According to the mobile terminal (display control device) 10 of the
本発明の態様１〜９に係る携帯端末１０は、コンピュータによって実現してもよく、この場合には、コンピュータを携帯端末１０が備える各部として動作させることにより上記表示制御装置をコンピュータにて実現させるプログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。
The
本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。 The present invention is not limited to the above-described embodiments, and various modifications can be made within the scope shown in the claims. That is, embodiments obtained by combining technical means appropriately modified within the scope of the claims are also included in the technical scope of the present invention.
本発明は、文書画像を表示部に表示させる表示制御装置に適用可能である。例えば、スマートフォン、携帯電話、タブレット、電子書籍用端末、ノート型パソコン等の携帯端末に好適である。汎用のパソコン、テレビ、電子黒板にも勿論適用可能であるし、文書画像を表示させる表示部を備えた複合機やスキャナ等にも勿論適用可能である。 The present invention is applicable to a display control apparatus that displays a document image on a display unit. For example, it is suitable for a mobile terminal such as a smartphone, a mobile phone, a tablet, an electronic book terminal, or a notebook computer. Needless to say, the present invention can be applied to general-purpose personal computers, televisions, and electronic blackboards, and can also be applied to multi-function machines, scanners, and the like having a display unit for displaying document images.
１０ 携帯端末（表示制御装置，表示装置）
１１ 制御部
１２ 記憶部
１４ タッチパネル
１４ａ 表示部
１４ｂ 入力部
２２ 参照リスト作成部
１１１ レイアウト変更部（変更部）
１１２ 表示制御部
10 Mobile terminal (display control device, display device)
DESCRIPTION OF
112 Display control unit
Claims (10)
前記変更部は、前記文書画像を構成する要素毎に、レイアウト変更後の文書画像全体のなかでの位置を示す座標値を求め、
前記表示制御部は、
前記座標値のうち、画像のスクロールの方向と平行な座標軸の座標値に、前記スクロールの量に応じたオフセット値を加算する加算処理を行い、
前記加算処理後の座標値を、前記表示領域と前記要素との位置関係を示す表示用座標として前記表示処理を行い、
前記変更部は、さらに、前記文書画像に対する変倍処理の指示が入力されると、前記変倍処理の表示倍率に応じて前記文書画像のレイアウトを変更するようになっており、
前記表示制御部は、さらに、
前記変倍処理の前に前記表示領域に表示させている要素のなかからいずれか一つの要素を選択する選択処理を行い、
前記選択処理にて選択した要素について、前記変倍処理の前の前記表示用座標のうちの前記スクロールの方向と平行な座標軸の座標値と、前記変倍処理の後の前記表示用座標のうちの前記スクロールの方向と平行な座標軸の座標値との差が所定範囲に収まるように、前記変倍処理の後の前記座標値に加算される前記オフセット値を調整するようになっている表示制御装置。 A change unit that changes the layout of the document image to display the document image obtained by imaging the document in the reflow format in the display area, and a display process that displays the document image after the layout change in the display area in the reflow format A display control unit for performing
The change unit obtains a coordinate value indicating a position in the entire document image after layout change for each element constituting the document image,
The display control unit
Among the coordinate values, an addition process for adding an offset value corresponding to the scroll amount to the coordinate value of the coordinate axis parallel to the scroll direction of the image,
The coordinate values after the addition process, have rows the display processing as display coordinates indicating the positional relationship between the and the display area element,
The changing unit is configured to change the layout of the document image according to the display magnification of the scaling process when an instruction for the scaling process is input to the document image.
The display control unit further includes:
Performing a selection process for selecting any one element from the elements displayed in the display area before the scaling process;
Of the elements selected in the selection process, the coordinate value of the coordinate axis parallel to the scroll direction of the display coordinates before the scaling process, and the display coordinates after the scaling process Display control adapted to adjust the offset value added to the coordinate value after the scaling process so that the difference between the coordinate value of the coordinate axis parallel to the scroll direction is within a predetermined range apparatus.
前記タッチパネルにおいて互いに離れた２箇所以上の領域がタッチされることで前記変倍処理の指示が入力されるようになっており、
前記選択処理は、前記文書画像の各要素のうち、前記変倍処理の指示における前記タッチパネルのタッチ箇所の平均座標値に対応する位置からのユークリッド距離が最も小さい要素を選択する処理である請求項１に記載の表示制御装置。 The display area is a display area on the touch panel,
The zoom process instruction is input by touching two or more areas separated from each other on the touch panel,
The selection process is a process of selecting an element having the smallest Euclidean distance from a position corresponding to an average coordinate value of a touch location of the touch panel in the scaling process instruction among elements of the document image. the display control device according to 1.
前記変更部は、前記図または表に関しては、設定されている表示倍率とは関係なく、前記図または表が前記スクロールの方向と直交する方向において前記表示領域に収まるように変倍し、当該変倍した前記図または表について前記座標値を求めるようになっている請求項１から３のいずれか１項に記載の表示制御装置。 The element includes at least a figure or a table,
The changing unit scales the figure or table so that the figure or table fits in the display area in a direction orthogonal to the scroll direction regardless of the set display magnification. multiplied by the view or display control device according to any one of claims 1-3 adapted to determine said coordinate values for the table.
前記表示制御部は、前記表示領域に表示させているサムネイルがユーザに選択されると、前記サムネイルに対応する前記図または表を前記表示領域に表示させるようになっている請求項１から４のいずれか１項に記載の表示制御装置。 When the diagram or table is shown in the document image before the layout change, the change unit arranges a thumbnail of the diagram or table in the document image after the layout change instead of the diagram or table,
The display controller, the thumbnail being displayed on the display area is selected by the user, the view or table from claim 1 adapted to be displayed on the display region 4 corresponding to the thumbnail The display control apparatus according to any one of the above.
前記変更部は、前記並び順情報に示される並び順に従って前記文書画像のレイアウトを変更する請求項１から５のいずれか１項に記載の表示制御装置。 A storage unit that associates and stores the document image and arrangement order information indicating an arrangement order of elements constituting the document image;
The changing unit, the display control device according to any one of claims 1 5 for changing the layout of the document image in accordance with a sequential order shown in the arrangement order information.
前記変更部は、前記文書画像を構成する要素毎に、レイアウト変更後の文書画像全体のなかでの位置を示す座標値を求め、
前記表示制御部は、
前記座標値のうち、画像のスクロールの方向と平行な座標軸の座標値に、前記スクロールの量に応じたオフセット値を加算する加算処理を行い、
前記加算処理後の座標値を、前記表示領域と前記要素との位置関係を示す表示用座標として前記表示処理を行い、
前記変更部は、さらに、前記文書画像に対する変倍処理の指示が入力されると、前記変倍処理の表示倍率に応じて前記文書画像のレイアウトを変更するようになっており、
前記表示制御部は、さらに、
前記変倍処理の前に前記表示領域に表示させている要素のなかからいずれか一つの要素を選択する選択処理を行い、
前記選択処理にて選択した要素について、前記変倍処理の前の前記表示用座標のうちの前記スクロールの方向と平行な座標軸の座標値と、前記変倍処理の後の前記表示用座標のうちの前記スクロールの方向と平行な座標軸の座標値との差が所定範囲に収まるように、前記変倍処理の後の前記座標値に加算される前記オフセット値を調整するようになっている表示装置。 A display unit, a change unit for changing the layout of the document image in order to display a document image obtained by imaging the document in a display area of the display unit in a reflow format, and a document image after the layout change in a reflow format A display control unit that performs display processing to be displayed in the display area,
The change unit obtains a coordinate value indicating a position in the entire document image after layout change for each element constituting the document image,
The display control unit
Among the coordinate values, an addition process for adding an offset value corresponding to the scroll amount to the coordinate value of the coordinate axis parallel to the scroll direction of the image,
The coordinate values after the addition process, have rows the display processing as display coordinates indicating the positional relationship between the and the display area element,
The changing unit is configured to change the layout of the document image according to the display magnification of the scaling process when an instruction for the scaling process is input to the document image.
The display control unit further includes:
Performing a selection process for selecting any one element from the elements displayed in the display area before the scaling process;
Of the elements selected in the selection process, the coordinate value of the coordinate axis parallel to the scroll direction of the display coordinates before the scaling process, and the display coordinates after the scaling process The offset value added to the coordinate value after the scaling process is adjusted so that the difference between the coordinate value of the coordinate axis parallel to the scroll direction is within a predetermined range. .
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014172035A JP6322086B2 (en) | 2014-08-26 | 2014-08-26 | Display control device, display device, program, recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2014172035A JP6322086B2 (en) | 2014-08-26 | 2014-08-26 | Display control device, display device, program, recording medium |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2016045896A JP2016045896A (en) | 2016-04-04 |
| JP6322086B2 true JP6322086B2 (en) | 2018-05-09 |
Family
ID=55636346
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2014172035A Active JP6322086B2 (en) | 2014-08-26 | 2014-08-26 | Display control device, display device, program, recording medium |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6322086B2 (en) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019016236A (en) * | 2017-07-07 | 2019-01-31 | インターマン株式会社 | Character string image display method |
| CN111695257B (en) * | 2020-06-11 | 2023-04-11 | 业成科技（成都）有限公司 | LED layout generation method and device, computer equipment and readable storage medium |
| CN114428578B (en) * | 2022-01-14 | 2024-04-05 | 广州朗国电子科技股份有限公司 | Method and device for dynamically selecting page elements in frame mode |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2003150296A (en) * | 2001-11-14 | 2003-05-23 | Nec Corp | Terminal and information display method and program therefor |
| JP4573817B2 (en) * | 2006-08-23 | 2010-11-04 | 富士通株式会社 | Scroll synchronization system and scroll synchronization method |
| JP5017687B2 (en) * | 2007-10-05 | 2012-09-05 | カシオ計算機株式会社 | Client device and program |
| JP5654851B2 (en) * | 2010-11-18 | 2015-01-14 | 富士フイルム株式会社 | Document image display device, operation control method thereof, and control program thereof |
| JP5978708B2 (en) * | 2012-03-29 | 2016-08-24 | 富士通株式会社 | External display program and external display device |
| JP5772802B2 (en) * | 2012-11-29 | 2015-09-02 | コニカミノルタ株式会社 | Information processing apparatus, information processing apparatus control method, and information processing apparatus control program |
-
2014
- 2014-08-26 JP JP2014172035A patent/JP6322086B2/en active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2016045896A (en) | 2016-04-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9922400B2 (en) | Image display apparatus and image display method | |
| US9007405B1 (en) | Column zoom | |
| JP5376795B2 (en) | Image processing apparatus, image processing method, program thereof, and storage medium | |
| US20090021530A1 (en) | Display control apparatus and display control method | |
| CN107133615B (en) | Information processing apparatus, information processing method, and computer program | |
| KR20110091296A (en) | Apparatus and method for generating document | |
| US11475688B2 (en) | Information processing apparatus and information processing method for extracting information from document image | |
| JP2004295863A (en) | Layout system and layout program, as well as layout method | |
| US10684772B2 (en) | Document viewing apparatus and program | |
| US11409427B2 (en) | Display control device, image forming apparatus, and non-transitory computer readable medium storing program | |
| JP6020191B2 (en) | Display control apparatus and program | |
| JP5629509B2 (en) | Information processing apparatus, information browsing apparatus, information processing method, and program | |
| JP6322086B2 (en) | Display control device, display device, program, recording medium | |
| JP2011070558A (en) | Document image processor, document image processing method and document image processing program | |
| JP2008234147A (en) | Document image display device, document image display method, and document image display program | |
| JP2003308310A (en) | Display method, display, display program, and recording medium recorded with display program | |
| JP5551986B2 (en) | Information processing apparatus, information processing method, and program | |
| US8824806B1 (en) | Sequential digital image panning | |
| JP5412916B2 (en) | Document image processing apparatus, document image processing method, and document image processing program | |
| JP6128898B2 (en) | Information processing apparatus, control method for information processing apparatus, and program | |
| JP5881937B2 (en) | Information processing apparatus, information processing method, and program | |
| KR101903617B1 (en) | Method for editing static digital combined images comprising images of multiple objects | |
| US10789715B2 (en) | Image processing device, image processing method, and information storage medium | |
| EP2924684B1 (en) | Score displaying method and computer program | |
| JP6152633B2 (en) | Display control apparatus and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170323 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180109 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180206 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180403 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180406 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6322086 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |