JP2017102696A - Head mounted display device and computer program - Google Patents
Head mounted display device and computer program Download PDFInfo
- Publication number
- JP2017102696A JP2017102696A JP2015235307A JP2015235307A JP2017102696A JP 2017102696 A JP2017102696 A JP 2017102696A JP 2015235307 A JP2015235307 A JP 2015235307A JP 2015235307 A JP2015235307 A JP 2015235307A JP 2017102696 A JP2017102696 A JP 2017102696A
- Authority
- JP
- Japan
- Prior art keywords
- image
- unit
- marker
- image display
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Studio Devices (AREA)
Abstract
Description
本発明は、頭部装着型表示装置の技術に関する。 The present invention relates to a head-mounted display device.
従来から、使用者の頭部に装着される頭部装着型表示装置（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ：ＨＭＤ）が知られている。例えば、特許文献１には、支持手段を介して外景を撮像可能な撮像手段がＨＭＤに対して上下にスライドするビデオシースルー型ＨＭＤが記載されている。 2. Description of the Related Art Conventionally, a head mounted display (HMD) that is mounted on a user's head is known. For example, Patent Document 1 describes a video see-through HMD in which an imaging unit capable of imaging an outside scene through a support unit slides up and down with respect to the HMD.
光学シースルー型の頭部装着型表示装置を含む画像表示装置が、カメラによって撮像された特定の対象物の位置に画像を精度良く重畳させて表示させる技術を備えれば、ＡＲ（拡張現実）機能に関して、向上した利便性を提供することができる。ただし、カメラで撮像した特定の対象物に表示画像を正しく重畳させる際には、カメラと画像表示部との間の空間関係を正しく求めることが望まれる。 If an image display device including an optical see-through head-mounted display device has a technique for accurately superimposing and displaying an image on the position of a specific object imaged by a camera, an AR (augmented reality) function Can provide improved convenience. However, when the display image is correctly superimposed on a specific object captured by the camera, it is desirable to correctly obtain the spatial relationship between the camera and the image display unit.
本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。 SUMMARY An advantage of some aspects of the invention is to solve at least a part of the problems described above, and the invention can be implemented as the following forms.
（１）本発明の一形態によれば、頭部装着型表示装置が提供される。この頭部装着型表示装置は；外景からの光を透過可能であって、画像を表示可能な画像表示部と；前記外景を撮像可能な撮像部と；前記画像表示部に表示させる画像を設定する画像設定部と；撮像された外景の中から予め設定された特定オブジェクトを特定するオブジェクト特定部と；パラメーター設定部と、を備え；前記画像設定部は、使用者によって前記特定オブジェクトに少なくとも部分的にほぼ一致させて視認されることが可能なマーカー画像を前記画像表示部に表示させ；前記オブジェクト特定部が撮像された外景の中から前記特定オブジェクトを特定した後、前記パラメーター設定部が使用者の頭部が実質的に静止状態にあると判定する場合に、前記画像設定部は前記外景を撮像するまでの時間を表す情報を使用者に報知し；前記パラメーター設定部は、前記外景を撮像するまでの時間が経過した場合に、前記撮像部に外景を撮像させる。この形態の頭部装着型表示装置によれば、キャリブレーションの実行に必要な特定オブジェクトの撮像データを取得するときに、特定のボタンを押したり、音声認識を実行する必要がなく、自動的に撮像部による撮像が実行される。よって、使用者の操作および音声発生などによる特定オブジェクトとの重なり（アライメント）のずれを低減できる。これにより、精度の良いアライメントの撮像データを取得でき、キャリブレーションの精度を向上させることができる。 (1) According to one aspect of the present invention, a head-mounted display device is provided. The head-mounted display device is configured to: an image display unit capable of transmitting light from an outside scene and displaying an image; an imaging unit capable of imaging the outside scene; and an image to be displayed on the image display unit An image setting unit; an object specifying unit that specifies a specific object set in advance from the captured outside scene; and a parameter setting unit; the image setting unit being at least partially on the specific object by a user A marker image that can be visually recognized in a substantially matched manner is displayed on the image display unit; after the specific object is specified from the outside scene captured by the object specifying unit, the parameter setting unit uses the marker image When determining that the person's head is substantially stationary, the image setting unit informs the user of information indicating the time until the outside scene is imaged; Parameter setting unit, when the time until imaging the outer scene has elapsed, thereby imaging the outside scene on the imaging unit. According to this form of the head-mounted display device, it is not necessary to press a specific button or perform voice recognition when acquiring imaging data of a specific object necessary for executing calibration, and automatically Imaging by the imaging unit is executed. Therefore, it is possible to reduce the deviation of the overlap (alignment) with the specific object due to the user's operation and sound generation. As a result, it is possible to acquire image data of alignment with high accuracy and improve the accuracy of calibration.
（２）上記形態の頭部装着型表示装置において、前記オブジェクト特定部が撮像された外景の中から前記特定オブジェクトを特定した後、前記オブジェクト特定部が前記特定オブジェクトの暫定的な位置および姿勢を導出し；前記パラメーター設定部が、前記導出された暫定的な位置および姿勢と、既定の位置および姿勢と、の差が閾値を下回ると判定する場合に場合であって、前記使用者の前記頭部が実質的に静止状態にあると判定する場合に、前記画像設定部は前記外景を撮像するまでの時間を表す情報を使用者に報知してもよい。 (2) In the head-mounted display device according to the above aspect, after the specific object is specified from an outside scene in which the object specifying unit is imaged, the object specifying unit indicates a provisional position and posture of the specific object. A case where the parameter setting unit determines that a difference between the derived provisional position and posture and a predetermined position and posture is less than a threshold value, the head of the user When it is determined that the part is substantially stationary, the image setting unit may notify the user of information indicating the time until the outside scene is imaged.
（３）上記形態の頭部装着型表示装置において、前記パラメーター設定部は、前記静止状態の場合に、前記撮像部に対する前記特定オブジェクトの位置および姿勢を算出し、前記画像表示部と前記撮像部との予め設定された空間関係と前記算出した位置および姿勢とを用いて、前記画像表示部に対する前記特定オブジェクトの前記暫定的な位置および姿勢を算出し、前記画像表示部に表示されているマーカー画像の仮想的な位置および姿勢と前記暫定的な位置および姿勢とのずれが予め設定された所定の差以下の場合に、前記撮像部が外景を撮像するまでの時間を表す情報を使用者に報知してもよい。 (3) In the head-mounted display device of the above aspect, the parameter setting unit calculates the position and orientation of the specific object with respect to the imaging unit in the stationary state, and the image display unit and the imaging unit The temporary position and orientation of the specific object with respect to the image display unit is calculated using the preset spatial relationship with the calculated position and orientation, and the marker displayed on the image display unit When the difference between the virtual position and orientation of the image and the provisional position and orientation is equal to or less than a predetermined difference set in advance, information indicating the time until the imaging unit captures the outside scene is given to the user. You may notify.
（４）上記形態の頭部装着型表示装置において、前記マーカー画像の仮想的な位置および姿勢と前記暫定的な位置および姿勢とのずれは、３次元座標系における回転のずれと、並進のずれと、を含み；前記回転のずれが予め設定された所定の差よりも大きい場合であって、前記並進のずれが予め設定された所定の差よりも大きい場合と、前記場合以外の場合とで、前記画像表示部が表示を変えてもよい。 (4) In the head-mounted display device of the above aspect, the deviation between the virtual position and posture of the marker image and the provisional position and posture is a rotation deviation and a translation deviation in a three-dimensional coordinate system. The rotation deviation is larger than a predetermined difference, and the translation deviation is larger than a predetermined difference, and in other cases. The image display unit may change the display.
（５）上記形態の頭部装着型表示装置において、前記画像設定部は、使用者に情報を報知する手段として、前記画像表示部に表示される表示画像を設定してもよい。 (5) In the head-mounted display device according to the above aspect, the image setting unit may set a display image displayed on the image display unit as means for notifying a user of information.
（６）上記形態の頭部装着型表示装置において、前記撮像部が外景を撮像するまでの時間を表す情報は、前記表示画像の色を変化させた画像であってもよい。 (6) In the head-mounted display device of the above aspect, the information indicating the time until the imaging unit captures an outside scene may be an image in which the color of the display image is changed.
（７）上記形態の頭部装着型表示装置において、前記外景を撮像するまでの前記時間が経過した場合に前記撮像部が撮像した前記外景の撮像画像に基づいて、前記パラメーター設定部は、前記撮像部と前記画像表示部との間の空間関係を導出してもよい。 (7) In the head-mounted display device according to the above aspect, the parameter setting unit is configured based on a captured image of the outside scene captured by the imaging unit when the time until the outside scene is captured has elapsed. A spatial relationship between the imaging unit and the image display unit may be derived.
（８）上記形態の頭部装着型表示装置において、前記外景を撮像するまでの前記時間が経過した場合に前記撮像部が撮像した前記外景の撮像画像に基づいて、前記パラメーター設定部は、前記撮像部のカメラパラメーターを導出してもよい。 (8) In the head-mounted display device according to the above aspect, the parameter setting unit is configured based on a captured image of the outside scene captured by the imaging unit when the time until the outside scene is captured has elapsed. The camera parameters of the imaging unit may be derived.
本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、画像表示装置、これらの装置を有するシステム、これらの装置の制御方法およびシステムを実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、および、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。 The present invention can also be realized in various forms other than the head-mounted display device. For example, an image display device, a system having these devices, a computer program for realizing these devices, a computer program for realizing the system, a recording medium recording the computer program, and a carrier including the computer program embodied in a carrier wave It can be realized in the form of a data signal or the like.
本明細書では、以下の項目に沿って順番に説明する。
Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
Ａ−２．キャリブレーション実行処理：
Ａ−２−１．第１設定モード：
Ａ−２−２．パラメーターの設定：
Ａ−２−２−１．カメラパラメーターについて：
Ａ−２−２−２．変換パラメーターについて：
Ａ−２−２−３．パラメーター導出処理：
Ａ−２−２−４．キャリブレーションデータの自動収集：
Ａ−２−３.第２設定モード：
Ｂ．第２実施形態：
Ｃ．第３実施形態：
Ｄ．変形例：
In this specification, it demonstrates in order along the following items.
A. First embodiment:
A-1. Configuration of head mounted display device:
A-2. Calibration execution process:
A-2-1. First setting mode:
A-2-2. Parameter settings:
A-2-2-1. About camera parameters:
A-2-2-2. About conversion parameters:
A-2-2-3. Parameter derivation processing:
A-2-2-4. Automatic collection of calibration data:
A-2-3. Second setting mode:
B. Second embodiment:
C. Third embodiment:
D. Variations:
Ａ．第１実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１ないし図３は、キャリブレーションを行なう頭部装着型表示装置１００（ＨＭＤ１００）の外観構成を示す説明図である。ＨＭＤ１００は、画像表示部２０が表示する表示画像を使用者に視認させ、画像表示部２０（図１）を透過する外景からの光によって当該外景も使用者に視認させることができる。詳細な構成については後述するが、本実施形態のＨＭＤ１００は、画像表示部２０を装着した使用者の右眼と左眼とのそれぞれに対応する画像表示部を有しており、使用者の右眼と左眼とに別々の画像を視認させることができる。
A. First embodiment:
A-1. Configuration of head mounted display device:
1 to 3 are explanatory diagrams showing an external configuration of a head-mounted display device 100 (HMD 100) that performs calibration. The
図２に示すように、ＨＭＤ１００は、使用者ＵＳの頭部装着型表示装置に装着される装着帯９０と、装着帯９０に接続されている画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、制御部１０と装着帯９０とを接続する接続部４０と、を備えている。図１に示すように、装着帯９０は、樹脂製の装着基部９１と、装着基部９１に連結される布製のベルト部９２と、カメラ６０と、を備える。装着基部９１は、人の前頭部の形に合った湾曲した形状を有する。ベルト部９２は、使用者の頭部の周りに装着されるためのベルトである。なお、接続部４０は、装着帯９０と制御部１０側とを有線で接続しているが、図２では、接続している部分については、図示を省略している。
As shown in FIG. 2, the
カメラ６０は、外景を撮像可能で、装着基部９１の中心部分に配置されている。換言すると、カメラ６０は、装着帯９０が使用者の頭部に装着された状態で、使用者の額の中央に対応する位置に配置されている。そのため、カメラ６０は、使用者が装着帯９０を頭部に装着した状態において、使用者の視線方向の外部の景色である外景を撮像し、撮像された画像である撮像画像を取得する。図２に示すように、カメラ６０は、装着基部９１に対して、円弧ＲＣに沿って所定の範囲で可動する。換言すると、カメラ６０は、撮像範囲を所定の範囲で変更できる。
The
図２に示すように、画像表示部２０は、連結部９３を介して装着基部９１に接続され、眼鏡形状を有している。連結部９３は、装着基部９１および画像表示部２０の両側に対象的に配置され、連結部９３を中心として、装着基部９１に対する画像表示部２０の位置を円弧ＲＡに沿って回動可能に支持する。図２において二点鎖線で示す位置Ｐ１１は、画像表示部２０が円弧ＲＡに沿った最も下端である。また、図２において実線で示す位置Ｐ１２は、画像表示部２０が円弧ＲＡに沿った最も上端である。
As shown in FIG. 2, the
また、図１および図３に示すように、画像を表示可能な表示パネルを有する光学像表示部２６，２８は、保持部２１，２３に対して、直線ＴＡに沿って所定の範囲で平行移動して位置を変更する。図３において二点鎖線で示す位置Ｐ１３は、光学像表示部２６，２８が直線ＴＡに沿った最も下端である。図３において実線で示す位置Ｐ１１は、光学像表示部２６，２８が直線ＴＡに沿った最も上端である。なお、図２における位置Ｐ１１と、図３における位置Ｐ１１とは、同じ位置を示している。
As shown in FIGS. 1 and 3, the optical
図１に示すように、画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。
As shown in FIG. 1, the
右保持部２１は、右光学像表示部２６の他端から装着基部９１と接続されている連結部９３に延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端から連結部９３に延伸して設けられた部材である。右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。
The
表示駆動部２２，２４は、図２で後述する液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む。表示駆動部２２，２４の構成の詳細な説明は後述する。光学像表示部２６，２８は、後述する導光板２６１，２６２（図４参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。
The
制御部１０は、ＨＭＤ１００を制御するための装置である。制御部１０は、静電式のトラックパッドや押下可能な複数のボタンなどを含む操作部１３５を有する。
The
図４は、ＨＭＤ１００の構成を機能的に示すブロック図である。図４に示すように、制御部１０は、ＲＯＭ１２１と、ＲＡＭ１２２と、電源１３０と、操作部１３５と、マーカー画像記憶部１３８と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。
FIG. 4 is a block diagram functionally showing the configuration of the
電源１３０は、ＨＭＤ１００の各部に電力を供給する。ＲＯＭ１２１には、種々のコンピュータープログラムが格納されている。後述するＣＰＵ１４０は、ＲＯＭ１２１に格納された各種コンピュータープログラムを、ＲＡＭ１２２に展開することで、各種コンピュータープログラムを実行する。
The
マーカー画像記憶部１３８は、キャリブレーションに用いられるモデルマーカー（マーカーモデルとも呼ぶ）のデータおよび／または右光学像表示部２６または左光学像表示部２８に表示されるキャリブレーション用画像としてのマーカー画像ＩＭＧを記憶している。マーカー画像記憶部１３８は、右光学像表示部２６に表示されるマーカー画像と左光学像表示部２８に表示されるマーカー画像とを同じマーカー画像ＩＭＧとして記憶している。マーカー画像ＩＭＧとしては、２次元のモデルマーカーの画像であったり、３次元モデル空間（３Ｄコンピューターグラフィックス空間）で表現された上記モデルマーカー（２Ｄ）のデータ、またはそのモデルマーカーを、右光学像表示部２６または左光学像表示部２８のそれぞれの写像パラメーターに基づいて写像したものなどが用いられる。換言すると、マーカー画像ＩＭＧは、実物として存在する２次元または３次元の実物マーカーＭＫ１の形状を、２次元として表した画像である。なお、実物マーカーＭＫ１は、請求項における識別マーカーに相当する。
The marker
図５ないし図８は、紙面ＰＰに印刷された２次元の実物マーカーを示す説明図である。図５には、本実施形態のキャリブレーションに用いられる２つのマーカーとしての実物マーカーＭＫ１，ＭＫ２が示されている。図５に示すように、実物マーカーＭＫ１は、４つの頂点Ｐ０，Ｐ１，Ｐ２，Ｐ３を直線で結んだ正方形の中に、１０個の正円を含むマーカーである。１０個の円の内の５個の円は、頂点Ｐ０と頂点Ｐ２とを結んだ対角線ＣＬ１上に円の中心が存在する。当該５個の円は、対角線ＣＬ１に沿って、頂点Ｐ０に近い円から、円Ｃ１，Ｃ２，Ｃ３，Ｃ４，Ｃ５である。同じように、１０個の円の内の５個の円は、頂点Ｐ１と頂点Ｐ３とを結んだ対角線ＣＬ２上に円の中心が存在する。当該５個の円は、対角線ＣＬ２に沿って、頂点Ｐ１に近い円から、円Ｃ６，Ｃ７，Ｃ３，Ｃ８，Ｃ９である。円Ｃ３は、対角線ＣＬ１と対角線ＣＬ２との交点であると共に、正方形の重心である点を中心とする円である。１０個の円の内の１個の円である円Ｃ１０は、正方形の重心を通り、かつ、Ｐ１とＰ２とを結ぶ直線に平行なＹ軸上に中心を有する。円Ｃ１０は、正方形の重心を通り、Ｙ軸に直交するＸ軸に沿って、円Ｃ５および円Ｃ９と同じ位置に中心を有する。換言すると、円Ｃ１０は、円Ｃ５の中心と円Ｃ９の中心との中間に中心を有する円である。 5 to 8 are explanatory diagrams showing a two-dimensional real marker printed on the paper surface PP. FIG. 5 shows real markers MK1 and MK2 as two markers used in the calibration of the present embodiment. As shown in FIG. 5, the real marker MK1 is a marker that includes ten perfect circles in a square connecting four vertices P0, P1, P2, and P3 with straight lines. Five of the ten circles have the center of the circle on the diagonal line CL1 connecting the vertex P0 and the vertex P2. The five circles are circles C1, C2, C3, C4, and C5 from the circle close to the vertex P0 along the diagonal line CL1. Similarly, five of the ten circles have the center of the circle on the diagonal line CL2 connecting the vertex P1 and the vertex P3. The five circles are circles C6, C7, C3, C8, and C9 from the circle close to the vertex P1 along the diagonal line CL2. The circle C3 is a circle centered on a point that is the intersection of the diagonal line CL1 and the diagonal line CL2 and the center of gravity of the square. A circle C10, which is one of the ten circles, has a center on the Y axis that passes through the center of gravity of the square and is parallel to a straight line connecting P1 and P2. The circle C10 passes through the center of gravity of the square and has a center at the same position as the circles C5 and C9 along the X axis orthogonal to the Y axis. In other words, the circle C10 is a circle having a center between the center of the circle C5 and the center of the circle C9.
本実施形態では、対角線ＣＬ１上に中心を有する５個の円における隣接する円の中心間の距離は、同じ距離になるように設定されている。同じように、対角線ＣＬ２上に中心を有する５個の円における隣接する円の中心間の距離は、同じ距離になるように設定されている。また、対角線ＣＬ１に中心を有する隣接する円の中心間の距離と、対角線ＣＬ２に中心を有する隣接する円の中心間の距離とは、同じ距離である。なお、１０個の内の円Ｃ１０のみ、他の円との中心間との距離が異なる。１０個の円の大きさは、同じ大きさである。なお、対角線ＣＬ１、対角線ＣＬ２、Ｘ軸、およびＹ軸は、実物マーカーＭＫ１を説明するために、便宜上、図５に示しているのであり、実際の実物マーカーＭＫ１には含まれない直線である。 In the present embodiment, the distance between the centers of adjacent circles in the five circles having the center on the diagonal line CL1 is set to be the same distance. Similarly, the distance between the centers of adjacent circles in the five circles having the center on the diagonal line CL2 is set to be the same distance. The distance between the centers of adjacent circles having the center on the diagonal line CL1 and the distance between the centers of adjacent circles having the center on the diagonal line CL2 are the same distance. Note that only the circle C10 out of 10 has a different distance from the center with respect to other circles. The ten circles have the same size. Note that the diagonal line CL1, the diagonal line CL2, the X axis, and the Y axis are shown in FIG. 5 for the sake of convenience in order to describe the real marker MK1, and are straight lines not included in the actual real marker MK1.
図５では、色の違いを、ハッチングを変えることで表している。具体的には、図５におけるハッチングが施された部分は、黒色であり、その他の部分は、白色である。そのため、図５に示すように、実物マーカーＭＫ１は、白色の紙面ＰＰに、白色によって周囲が囲まれた黒色の正方形によって形成され、その正方形の中に１０個の円が白色で形成されている。 In FIG. 5, the difference in color is represented by changing the hatching. Specifically, the hatched portion in FIG. 5 is black, and the other portions are white. Therefore, as shown in FIG. 5, the real marker MK1 is formed on the white paper PP by a black square surrounded by white, and 10 circles are formed in white in the square. .
図５に示す実物マーカーＭＫ２は、実物マーカーＭＫ１を元に作成されたマーカーである。実物マーカーＭＫ２は、実物マーカーＭＫ１の大きさを縮小させ、かつ、黒色と白色との反転させたマーカーである。そのため、図５に示すように、実物マーカーＭＫ２は、黒色によって周囲が囲まれた白色の正方形によって形成され、その正方形の中に１０個の円が黒色で形成されている。本実施形態では、マーカー画像記憶部１３８は、実物マーカーＭＫ１の２次元の画像であるマーカー画像ＩＭＧを記憶している。なお、実物マーカーＭＫ２は、図６に示すように、実物マーカーＭＫ１から分離されていてもよい。また、図７に示すように、実物マーカーＭＫ２（ＭＫ１）に代えて、対角線上にない円を省略された実物マーカーＭＫ１Ａが採用されてもよい。なお、図８に示すように、実物マーカーＭＫ１，ＭＫ２，ＭＫ１Ａの裏面には、形状、模様、または色彩の特徴は必要ない。
A real marker MK2 shown in FIG. 5 is a marker created based on the real marker MK1. The real marker MK2 is a marker in which the size of the real marker MK1 is reduced and black and white are inverted. Therefore, as shown in FIG. 5, the real marker MK2 is formed by a white square surrounded by black, and ten circles are formed in black in the square. In the present embodiment, the marker
図４に示すＣＰＵ１４０は、ＲＯＭ１２１に格納されているコンピュータープログラムを、ＲＡＭ１２２に展開することにより、オペレーティングシステム１５０（ＯＳ１５０）、表示制御部１９０、音声処理部１７０、画像処理部１６０、表示設定部１６５、マーカー特定部１６６、およびパラメーター設定部１６７として機能する。
The
表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。
The
画像処理部１６０は、コンテンツに含まれる画像信号を取得し、送信部５１，５２を介して、取得した画像信号を画像表示部２０の受信部５３，５４へと送信する。音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。
The
表示設定部１６５は、マーカー画像記憶部１３８に記憶されたマーカー画像ＩＭＧを右光学像表示部２６または左光学像表示部２８に表示させる。表示設定部１６５は、キャリブレーションが実行されているとき（キャリブレーション実行時）に、操作部１３５が受け付けた操作に基づいて、マーカー画像ＩＭＧを右光学像表示部２６に表示する場合と、マーカー画像ＩＭＧを左光学像表示部２８に表示する場合とを制御する。表示設定部１６５は、カメラ６０が実物マーカーＭＫ１を撮像してキャリブレーションを実行するときと、カメラ６０が実物マーカーＭＫ２を撮像してキャリブレーションを実行するときとで異なる大きさのマーカー画像ＩＭＧを右光学像表示部２６または左光学像表示部２８に表示させる。また、表示設定部１６５は、キャリブレーション実行時に、後述する文字画像等を光学像表示部２６，２８に表示させる。
The
マーカー特定部１６６は、カメラ６０によって撮像された撮像画像の中に実物マーカーＭＫ１，ＭＫ２が印刷された紙面ＰＰが含まれる場合に、撮像された紙面ＰＰから、実物マーカーＭＫ１，ＭＫ２を特定する。実物マーカーＭＫ１，ＭＫ２を特定するための具体的な処理については、後述するが、マーカー特定部１６６は、実物マーカーＭＫ１，ＭＫ２の４つの頂点、１０個の円の中心の座標値を抽出することで、撮像画像の中から実物マーカーＭＫ１，ＭＫ２を特定する。マーカー特定部１６６は、例えば、撮像画像の色の階調値を２値化することで、実物マーカーＭＫ１，ＭＫ２における白色と黒色との部分を区別して、円の中心の座標を抽出する。
The
パラメーター設定部１６７は、カメラ６０によって撮像された特定のオブジェクト（以下、「特定オブジェクト」とも言う）に対応付けられた状態で光学像表示部２６，２８に表示されるＡＲ（Augmented Reality）画像の表示領域内での位置などを設定するために必要なパラメーター群を設定する。具体的には、パラメーター設定部１６７は、光学像表示部２６，２８に表示されるＡＲ画像の位置と大きさと向きとの少なくとも１つと、特定オブジェクトの位置と大きさと向きとの１つと、が対応した状態のＡＲ画像を使用者ＵＳに視認させるパラメーター群を設定する。換言すると、パラメーター設定部１６７は、カメラ６０に原点が固定された３次元座標系（３Ｄ）と、光学像表示部２６，２８の表示領域（２Ｄ）とを対応付けるためのパラメーター群の少なくとも１つを、キャリブレーションによって算出する。なお、以降では、カメラ６０に原点が固定された３次元座標系をカメラ座標系と呼ぶ。本実施形態では、カメラ座標系以外の座標系として、実物マーカーＭＫ１または実物マーカーＭＫ２の原点を基準とする実物マーカー座標系、カメラ６０によって撮像された特定オブジェクトを基準とするオブジェクト座標系、右光学像表示部２６の原点または左光学像表示部２８の原点を基準とする表示部座標系などを定義する。
The
ここで、パラメーター群は、「検出系パラメーターセット」と、「表示系パラメーターセット」と、を含む。「検出系パラメーターセット」は、カメラ６０に関するカメラパラメーターＣＰを含む。「表示系パラメーターセット」は、カメラ６０と光学像表示部２６，２８との間の空間関係を表す３Ｄから３Ｄへの「変換パラメーター」と、任意の３Ｄモデル（３次元座標で表わされたＣＧモデル）を画像（つまり２Ｄ）として表示するための３Ｄから２Ｄへの「写像パラメーター」と、を含む。これらのパラメーターは、必要に応じて行列またはベクトルの態様で表わされる。「一つのパラメーター」との表記は、一つの行列または一つのベクトルを示すこともあるし、一つの行列またはベクトルに含まれる複数の要素の一つを示すこともある。パラメーター設定部１６７は、パラメーター群のうち、必要なパラメーターを導出し、ＡＲ画像の表示の際に用いる。この結果、ＨＭＤ１００は、使用者ＵＳに、画像表示部２０を介して、ＡＲ画像（ＡＲモデル）の位置、大きさ、向き、奥行感の少なくとも一つと、特定オブジェクトのそれらにと、がほぼ一致する状態で当該ＡＲ画像を視認させることができる。もちろん、これらに加えて、ＨＭＤ１００は、色やテクスチャーなどの見えが互いに一致するようにしてもよい。
Here, the parameter group includes a “detection system parameter set” and a “display system parameter set”. The “detection system parameter set” includes camera parameters CP related to the
表示設定部１６５は、キャリブレーションが実行されているときに、ＡＲ画像または設定画像ＳＩＭ（後述）を右光学像表示部２６または左光学像表示部２８に表示させる。設定画像ＳＩＭを用いた詳細な処理については後述する。
The
インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、ＡＲシナリオを記憶している記憶装置、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。
The
図４に示すように、画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、を備えている。
As shown in FIG. 4, the
右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。
The right
受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、画像処理部１６０および表示制御部１９０から送信された制御信号に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。
The receiving
右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、左表示駆動部２４は、右表示駆動部２２と同様の構成を有し、使用者の左眼ＬＥに対応するため、説明を省略する。
The right projection
Ａ−２．キャリブレーション実行処理：
図９は、本実施形態におけるキャリブレーション実行処理のフローチャートである。本実施形態のキャリブレーション実行処理は、２つのモード、すなわち、第１設定モードと第２設定モードとを含む。第１設定モードでは、ＨＭＤ１００は、使用者ＵＳに片眼ずつキャリブレーションを実施させる。第２設定モードでは、ＨＭＤ１００は、使用者ＵＳに両眼で調整を実施させる。
A-2. Calibration execution process:
FIG. 9 is a flowchart of the calibration execution process in the present embodiment. The calibration execution process of the present embodiment includes two modes, that is, a first setting mode and a second setting mode. In the first setting mode, the
キャリブレーション実行処理では、初めに、操作部１３５が所定の操作を受け付けると、パラメーター設定部１６７は、今から実行するキャリブレーションが最初のキャリブレーションの設定であるか否かを判定する（ステップＳ１１）。マーカー画像記憶部１３８には、実行されるキャリブレーションが最初であるか否かのデータも記憶されている。本実施形態では、使用者ＵＳ毎にキャリブレーションが最初であるか否かが判別されてもよい。具体的には、カメラ６０が使用者ＵＳの掌の形状・模様を撮像し、ＣＰＵ１４０が使用者ＵＳを特定し、キャリブレーションがその使用者ＵＳにとって最初に実行されるのか否かを判定してもよい。使用者ＵＳの特定は、近距離無線通信を用いたＩＤカードによる特定でもよい。パラメーター設定部１６７は、最初のキャリブレーションの設定であると判定した場合には（ステップＳ１１：ＹＥＳ）、第１設定モードに移行する（ステップＳ２０）。第１設定モードの詳細については後述するが、第１設定モードでは、パラメーター設定部１６７が右光学像表示部２６と左光学像表示部２８とに、別々にマーカー画像ＩＭＧを表示させる。その後、パラメーター設定部１６７は、マーカー画像ＩＭＧと実物マーカーＭＫ１，ＭＫ２とが一致するように使用者ＵＳに視認された状態でカメラ６０に撮像された実物マーカーＭＫ１，ＭＫ２の撮像画像を用いて、変換パラメーターおよびカメラパラメーターＣＰを設定する。
In the calibration execution process, first, when the
ステップＳ２０の処理として、パラメーター設定部１６７が第１設定モードにおいてキャリブレーションを実行すると、表示設定部１６５は、設定された変換パラメーターおよびカメラパラメーターＣＰを用いて、特定オブジェクトに対応付けられた設定画像ＳＩＭを光学像表示部２６，２８に表示させる（ステップＳ１５）。本実施形態では、特定オブジェクトは実物マーカーＭＫ１，ＭＫ２であるが、特定オブジェクトはこれらに限定されない。光学像表示部２６，２８に設定画像ＳＩＭが表示されると、パラメーター設定部１６７は、操作部１３５が受け付けた操作に応じて、変換パラメーターおよびカメラパラメーターＣＰの値がうまく調整されたか否かを決定する（ステップＳ１７）。具体的には、特定オブジェクトの位置および向き（姿勢）に、設定画像ＳＩＭが対応付けられているように使用者ＵＳが視認しているか否かの判断を使用者ＵＳが行ない、当該判断に応じて、使用者ＵＳが操作部１３５を操作すればよい。パラメーター設定部１６７は、設定された変換パラメーターおよびカメラパラメーターＣＰでよいとの入力を受けた場合には（ステップＳ１７：ＹＥＳ）、キャリブレーション実行処理を終了する。
When the
ステップＳ１７の処理において、操作部１３５が所定の操作を受け付けることで、パラメーター設定部１６７が、設定された変換パラメーターおよびカメラパラメーターＣＰではよくないとの入力を受けた場合、または大きさと奥行感の調整がさらに必要であるとの入力を受けた場合には（ステップＳ１７：ＮＯ）、ステップＳ１１以降の処理を繰り返す。パラメーター設定部１６７は、ステップＳ１１の処理において、今から実行しようとするキャリブレーションが最初のキャリブレーションの設定ではないと判定した場合には（ステップＳ１１：ＮＯ）、操作部１３５が所定の操作を受け付けることで、第２設定モードに移行するか否かを判定する（ステップＳ１３）。パラメーター設定部１６７は、第２設定モードに移行しないと判定した場合には（ステップＳ１３：ＮＯ）、以上で説明した第１設定モードに移行する（ステップＳ２０）。
In the process of step S17, when the
ステップＳ１３の処理において、パラメーター設定部１６７は、第２設定モードに移行すると判定した場合には（ステップＳ１３：ＹＥＳ）、第２設定モードに移行する（ステップＳ３０）。第２設定モードの詳細については後述するが、第２設定モードでは、カメラ６０が特定オブジェクトを撮像することで得られるカメラ６０に対する特定オブジェクトの位置および姿勢を、表示設定部１６５は、既に実行された第１設定モードまたは第２設定モードにおいて設定されたパラメーター群を用いて特定オブジェクトの右光学像表示部２６に対する位置および向き（姿勢）に変換する。そして、表示設定部１６５は、当該変換された位置および姿勢と同じ位置と姿勢で設定画像ＳＩＭを右光学像表示部２６および左光学像表示部２８に表示させる。その後、操作部１３５が受け付けた所定の操作に応じて、パラメーター設定部１６７は、特定オブジェクトに対応付けられた設定画像ＳＩＭを変更するように、パラメーター群のうちのいくつかをさらに調整させる。パラメーター設定部１６７は、第２設定モードにおいてキャリブレーションを実行すると、表示設定部１６５がステップＳ１５の処理を実行して、その後の処理が繰り返される。
In the process of step S13, when the
Ａ−２−１．第１設定モード：
第１設定モードで実行される処理は、以下のような処理である。ＨＭＤ１００は、大きさの異なる２つの実物マーカーＭＫ１，ＭＫ２を用いて、使用者ＵＳに、１つの眼について１度に１回のアライメントを２回実施させることで、合計４回のアライメントを実施させる。具体的には、まず、ＨＭＤ１００は、右光学像表示部２６または左光学像表示部２８に、マーカー画像ＩＭＧを表示させる。マーカー画像ＩＭＧは、右光学像表示部２６または左光学像表示部２８のそれぞれに対して、仮想的な位置と姿勢（３Ｄ）とを有するモデルマーカーを、光学像表示部２６，２８の表示領域（２Ｄ）へ写像、すなわちレンダリング、したものである。本実施形態では、当該仮想的な位置と姿勢とは、光学像表示部２６，２８に対して固定されているが、後述するように、可変であってもよい。使用者ＵＳは、右光学像表示部２６または左光学像表示部２８に表示されたマーカー画像ＩＭＧと、実物マーカーＭＫ１または実物マーカーＭＫ２とが、重複または一致して視認することが可能な位置および向き（姿勢）に移動する。使用者ＵＳがマーカーＩＭＧと実物マーカーＭＫ１，ＭＫ２とが一致するように視認する場合には、実物マーカーＭＫ１，ＭＫ２は右光学像表示部２６または左光学像表示部２８に対して、実物マーカーＭＫ１，ＭＫ２の大きさに応じた既定の距離となる位置と上記仮想的な姿勢とを取っていることとなる。マーカー画像ＩＭＧと、実物マーカーＭＫ１または実物マーカーＭＫ２とが一致している状態で、パラメーター設定部１６７が、カメラ６０を用いて実物マーカーＭＫ１または実物マーカーＭＫ２を撮像する。パラメーター設定部１６７は、撮像画像に含まれる実物マーカーＭＫ１または実物マーカーＭＫ２を用いて、変換パラメーターおよびカメラパラメーターＣＰを設定することとなる。
A-2-1. First setting mode:
The process executed in the first setting mode is the following process. The
図１０は、第１設定モードのフローチャートである。第１設定モードでは、パラメーター設定部１６７が、右光学像表示部２６に関するアライメントを成立させた状態でキャリブレーションデータを収集し、左光学像表示部２８に関するアライメントを成立させた状態でキャリブレーションデータを収集し、その後、変換パラメーターおよびカメラパラメーターＣＰを設定する。
FIG. 10 is a flowchart of the first setting mode. In the first setting mode, the
第１設定モードでは、初めに、表示設定部１６５が右光学像表示部２６にマーカー画像ＩＭＧを表示させる（ステップＳ２０１）。図１１は、マーカー画像ＩＭＧが表示された場合の光学像表示部２６のイメージ図である。図１１に示すように、表示設定部１６５は、マーカーの正方形の外枠と、正方形の中に含まれる１０個の円の外枠と、を右光学像表示部２６に表示させる。表示設定部１６５は、マーカー画像ＩＭＧを、赤色の線として右光学像表示部２６に表示させる。なお、図１１では、画像表示部２０の内の右光学像表示部２６以外の部分の図示を省略し、以降の図面でも省略する。
In the first setting mode, first, the
右光学像表示部２６にマーカー画像ＩＭＧが表示されると、パラメーター設定部１６７は、マーカー画像ＩＭＧと実物マーカーＭＫ２とが一致して視認されるように、ＨＭＤ１００を装着したまま使用者ＵＳに位置と姿勢を合わせることを促す（図１０のステップＳ２１０）。
When the marker image IMG is displayed on the right optical
右画像表示部２６にはさらにメッセージが表示されてもよい。ＨＭＤ１００は、使用者ＵＳがマーカー画像ＩＭＧと実物マーカーＭＫ２とが一致するように視認した場合に、使用者ＵＳは、タッチパッドの操作、ボタンの押下、または音声コマンドの発声をするように、指示する。パラメーター設定部１６７がこれら操作または音声コマンドを受け付けた場合に、カメラ６０がマーカーＭＫ２を撮像、すなわちキャリブレーションデータの収集をする（ステップＳ２０２）。音声コマンドに基づいて、パラメーター設定部１６７がキャリブレーションデータを収集する場合には、使用者ＵＳの頭部の動きが少ないことが期待される。そのため、音声コマンドに基づく操作では、タッチ操作やボタンの押下の場合に比べて、使用者ＵＳが成立させたアライメントからのずれが少ない状態でのキャリブレーションデータの収集が可能となり、結果として、ＡＲ画像の重畳精度のよいＨＭＤ１００が得られる。
A message may be further displayed on the right
図１０のステップＳ２１０のマーカー画像ＩＭＧと実物マーカーＭＫ２との位置と姿勢を合わせる処理（目視によるアライメント処理）およびキャリブレーションデータの収集が実行されると、表示設定部１６５は、ステップＳ２０１の処理と同じく図１１に示すように、右光学像表示部２６にマーカー画像ＩＭＧを表示させる（ステップＳ２０３）。その後、パラメーター設定部１６７は、マーカー画像ＩＭＧと実物マーカーＭＫ１とが一致して視認されるように、ＨＭＤ１００を装着したまま使用者ＵＳに位置と姿勢を合わせることを促す（ステップＳ２２０）。この状態で実物マーカーＭＫ１が撮像されることで、パラメーター設定部１６７は、キャリブレーションデータを収集する（ステップＳ２０４）。ここで、実物マーカーＭＫ１は、実物マーカーＭＫ２よりも大きい。そのため、ステップＳ２２０の処理では、使用者ＵＳがマーカー画像ＩＭＧと実物マーカーＭＫ１とが一致するように視認する場合には、右光学像表示部２６と実物マーカーＭＫ１との距離は、実物マーカーＭＫ２の場合と比べて大きくなる。
When the process of aligning the position and orientation of the marker image IMG and the actual marker MK2 (visual alignment process) and the collection of calibration data in step S210 of FIG. 10 are performed, the
パラメーター設定部１６７は、左光学像表示部２８に関して、右光学像表示部２６におけるステップＳ２０１からステップＳ２０４までの処理と同じ処理として、図１０のステップＳ２０５からステップＳ２０８までの処理を実行する。左右の光学像表示部２６、２８に関して第１設定モードにおける各処理（ステップＳ２０１からステップＳ２０８までの処理）が実行されると、パラメーター設定部１６７は、後述する式（１５）を最小化するような、右光学像表示部２６に関するパラメーター群と、左光学像表示部２８に関するパラメーター群とを設定できる（ステップＳ２０９）。
The
Ａ−２−２．パラメーターの設定：
ここでは、第１設定モードにおいて、パラメーター設定部１６７が、カメラ６０から得られた実物マーカーＭＫ２の撮像データおよび実物マーカーＭＫ１の撮像データを用いて、変換パラメーターおよびカメラパラメーターＣＰのパラメーターの設定する手順を説明する。なお、本実施形態の第１設定モードでは、カメラパラメーターＣＰは、必ずしも最適化される必要がなく、設計値に固定されていてよい。ただし、以下に示す本実施形態では、使用者ＵＳが必要に応じてカメラパラメーターＣＰを最適化することができるように、カメラパラメーターＣＰを最適化変数として含んだアルゴリズムを提示している。他の実施形態において、カメラパラメーターＣＰを最適化する必要がない場合には、これらを定数（固定値）として以下の式を扱えばよい。
A-2-2. Parameter settings:
Here, in the first setting mode, the
Ａ−２−２−１．カメラパラメーターについて：
カメラ６０に関するカメラパラメーターＣＰとして、本実施形態では、４個のカメラパラメーターＣＰ（ｆｘ、ｆｙ、Ｃｘ、Ｃｙ）が利用される。（ｆｘ、ｆｙ）は撮像部であるカメラ６０の焦点距離であり、画素密度に基づいて画素数に換算されている。（Ｃｘ、Ｃｙ）は、カメラ主点位置と呼ばれ、撮像画像の中心位置を意味し、たとえばカメラ６０のイメージセンサーに固定された２Ｄ座標系で表わされ得る。
A-2-2-1. About camera parameters:
In this embodiment, four camera parameters CP (fx, fy, Cx, Cy) are used as camera parameters CP related to the
カメラパラメーターＣＰは、撮像部の主要部分を構成するカメラ６０の製品仕様から知ることができる（以下ではこれをデフォルトカメラパラメーターとも表記する）。ただし、実際のカメラのカメラパラメーターＣＰがデフォルトカメラパラメーターから大きくずれていることが多い。しかも、同じ仕様のカメラであっても、製品が異なれば、製品ごとのカメラ間で、カメラパラメーターＣＰがばらついている（揃っていない）ことがある。
The camera parameter CP can be known from the product specifications of the
ＡＲ画像として光学像表示部２６，２８に表示されるＡＲモデルにおける位置、大きさ、姿勢の少なくとも一つが実物体にアライン（重畳）するように使用者に視認させる場合、カメラ６０は、当該実物体の位置および姿勢を検出する検出機として機能する。このとき、パラメーター設定部１６７は、カメラパラメーターＣＰを用いて、カメラ６０に撮像された実物体のカメラ６０に対する位置および姿勢を推定する。さらに、パラメーター設定部１６７は、当該位置および姿勢を、カメラ６０と左光学像表示部２８（右光学像表示部２６）との間の相対位置関係を用いて、左光学像表示部２８に対する実物体の位置および姿勢に変換する。さらに、パラメーター設定部１６７は、当該変換された位置および姿勢に基づいて、ＡＲモデルの位置および姿勢を決定する。そして、画像処理部１６０は、当該位置および姿勢を有するＡＲモデルを、写像パラメーターを用いて表示領域に写像（変換）し、表示バッファ（例えばＲＡＭ１２２）に書き込む。そして、表示制御部１９０は、表示バッファに書き込まれたＡＲモデルを左光学像表示部２８に表示する。このため、カメラパラメーターＣＰがデフォルトカメラパラメーターである場合には、推定される実物体の位置および姿勢に誤差が含まれることとなる。そうすると、推定された位置および姿勢の誤差に由来して、表示されたＡＲモデルと実物体との重畳に誤差があるように使用者に視認される。
When the user visually recognizes that at least one of the position, size, and orientation in the AR model displayed on the optical
そこで、本実施形態では、ＡＲモデルが対象物に重畳して使用者ＵＳに視認されるようにするためのキャリブレーションの際に、パラメーター設定部１６７は、カメラパラメーターＣＰを、実物マーカーＭＫ２および実物マーカーＭＫ１の撮像データを用いて、最適化して設定する。そして、設定されたカメラパラメーターＣＰが用いられて、対象物の位置および姿勢が検出（推定）されるようにする。そうすれば、ＡＲモデルの表示において、表示されるＡＲモデルと実物体との間に発生するずれが使用者ＵＳに視認される度合いが低くなる。後述するように、同じＨＭＤ１００の使用者ＵＳが同一人であっても、カメラパラメーターＣＰの設定は、キャリブレーションが行なわれるごとに行なわれ、当該キャリブレーションに引き続いて行なわれる対象物とＡＲモデルとの間での位置、大きさ、向きの少なくとも一つが一致した表示のために使用されることが好ましい。これは、キャリブレーションの際に、必ずしも使用者は、実物マーカーＭＫ２または実物マーカーＭＫ１と、実物マーカーＭＫ２または実物マーカーＭＫ１に対応したマーカー画像ＩＭＧとを、同じ精度で位置および姿勢を合わせるとは限らないことによる。たとえ使用者ＵＳが違う精度で位置および姿勢を合わせたとしても、それに応じたカメラパラメーターＣＰが設定されることから、実物体に対するＡＲモデルの重畳表示がされる場合に重畳表示のずれの増大が抑制される。
Therefore, in the present embodiment, the
Ａ−２−２−２．変換パラメーターについて：
また、本実施形態のＨＭＤ１００は、カメラ６０と光学像表示部２６，２８との間の相対位置関係が変化する構造を有する。デフォルトカメラパラメーターについての説明からも理解されるように、ＡＲモデルにおける位置、大きさ、姿勢の少なくとも一つが実物体にアライン（重畳）するように使用者に視認させる場合、実際のカメラ６０と光学像表示部２６，２８との間の相対位置関係とは異なる相対位置関係に基づいてＡＲモデルを表示すると、表示されたＡＲモデルと実物体との重畳に誤差が視認される。
A-2-2-2. About conversion parameters:
Further, the
そこで、本実施形態では、ＡＲモデルが対象物に重畳して使用者に視認されるようにするためのキャリブレーションの際に、カメラ６０の座標系と、右光学像表示部２６の座標系および左光学像表示部２８の座標系と、の間の相対位置関係（回転および並進の少なくとも一つ）を表す変換パラメーターを調整または設定する。そして、設定された当該変換パラメーターが表す空間関係（相対位置関係）を用いてＡＲモデルの表示をすると、使用者ＵＳにずれが視認される度合いが低くなる。
Therefore, in the present embodiment, during calibration for the AR model to be superimposed on the object and visually recognized by the user, the coordinate system of the
本実施形態では、パラメーター設定部１６７は、右光学像表示部２６と左光学像表示部２８とのそれぞれに対応する左変換パラメーターＰＭＬ［Rcam2left, tcam2left］と、右変換パラメーターＰＭＲ［Rcam2lright, tcam2right］とを設定する。回転行列Rcam2rightは、直交する３軸の回転によって決定される３つのパラメーターであり、並進行列Tcam2rightは、３軸に沿った並進のそれぞれに対応する３つのパラメーターである。すなわち、右光学像表示部２６に対応する右変換パラメーターＰＭＲは、計６つのパラメーターを含んでいる。同じように、左光学像表示部２８に対応する変換パラメーターは、回転行列Rcam2leftと並進行列Tcam2leftとであり、計６つのパラメーターを含んでいる。以上の通り、本実施形態では、カメラパラメーターＣＰに含まる４個のパラメーターと、空間関係を表す１２個の変換パラメーターとの１６個のパラメーターが算出される。
In the present embodiment, the
Ａ−２−２−３．パラメーター導出処理：
以下における説明では、使用者ＵＳが実物マーカーＭＫ２（または実物マーカーＭＫ１）とマーカー画像ＩＭＧとが互いに一致するように視認する状態でカメラ６０が実物マーカーＭＫ２（または実物マーカーＭＫ１）を撮像し、パラメーター設定部１６７がその撮像画像を取得する。パラメーター設定部１６７は、取得した当該撮像画像に基づいて、後述の式（１５）を用いて、カメラパラメーターおよび変換パラメーターを算出する。本実施形態では、設定パラメーターを設定する場合の初期値（ｉ=０）として、ＨＭＤ１００が製造される工場から出荷される前の計測値や検査値を用いる。一方で、他の実施形態では、カメラ６０または光学像表示部２６，２８の最大可動した場合の一方の姿勢における値、または、可動域の中間の姿勢における値を初期値として用いてもよい。
A-2-2-3. Parameter derivation processing:
In the following description, the
図１２は、右光学像表示部２６のみにマーカー画像ＩＭＧが表示された状態での空間的な位置関係を示す概略図である。図１２には、使用者ＵＳが、予め画像表示部２０を装着した使用者ＵＳの仮想の右眼の位置として設定された右眼位置ＲＰから、右光学像表示部２６に表示されたマーカー画像ＩＭＧを視認した場合の概略が示されている。なお、図１２には、ＨＭＤ１００の内の画像表示部２０のみを図示し、装着帯９０や制御部１０などについては図示を省略している。つまり、図１２に示す画像表示部２０は、図１ないし図３に示す画像表示部２０と同じ画像表示部である。また、図１２には、撮像される三次元空間である外景の座標軸を表す座標軸ＣＤ２と、座標軸ＣＤ２を投影した二次元画像の座標軸を表す座標軸ＣＤ１と、が示されている。使用者ＵＳは、右光学像表示部２６に表示されたマーカー画像ＩＭＧを、画像表示部２０から距離Ｌ１離れた位置に存在するマーカーＭＫ１として視認する。
FIG. 12 is a schematic diagram showing a spatial positional relationship in a state where the marker image IMG is displayed only on the right optical
図１２に示すように、右光学像表示部２６に表示されたマーカー画像ＩＭＧと、外景に含まれ前方に位置する実物マーカーＭＫ１と、が位置、大きさ、向きが一致するように使用者が視認するとき（以下、使用者ＵＳが左眼ＬＥ（右眼ＲＥ）でアライメントを成立させるときともいう）、座標系の間には、次の式（１）の関係が成り立つ。なお、以降では、右光学像表示部２６ではなく、左光学像表示部２８にマーカー画像ＩＭＧが表示された場合について説明する。
ここで、左辺および右辺のＣＰは、カメラ６０のカメラパラメーターＣＰである。［Ro2dl, to2dl］は、実オブジェクト（この場合、実物マーカーＭＫ２または実物マーカーＭＫ１）に固定された座標系から左光学像表示部２８に固定された座標系への変換行列であり、このうち、［Ro2dl］が回転を表す３×３の行列であり、［to2dl］が並進を表す３×１の行列である。［Ro2dl, to2dl］は、左光学像表示部２８に対する実オブジェクトの位置および姿勢を表している。ModelMatrixは、モデルマーカー上の任意の１点を表す３×１の行列である。モデルマーカーは、マーカー画像ＩＭＧが光学像表示部２８に表示される場合の基礎となる３次元データ（３次元モデル：ただし本実施形態では平面）である。［Ro2dl, to2dl］×ModelMatrixの表記は、下記の式（２）の規則に従っている。
式（１）の右辺における［Rcam2left, tcam2left］は、カメラ６０の座標系から左光学像表示部２８の座標系への変換行列である。当該変換行列は、パラメーター設定部１６７によって設定される複数の変換パラメーターで構成される。式（１）の右辺における［Robj2cam, tobj2cam］は、実オブジェクト（実物マーカーＭＫ２または実物マーカーＭＫ１）の座標系からカメラ６０の座標系への変換行列である。［Robj2cam, tobj2cam］は、カメラ６０に対する実オブジェクトの位置および姿勢を表している。
[R cam2left , t cam2left ] on the right side of Expression (1) is a transformation matrix from the coordinate system of the
式（１）の関係から、左光学像表示部２８について、マーカー画像ＩＭＧと実物マーカーＭＫ２または実物マーカーＭＫ１とのアライメントが成立しているとき、以下の式（３）、（４）が成り立つ。
左眼ＬＥのアライメントが成立すると仮定したとき、実物マーカーＭＫ２または実物マーカーＭＫ１のカメラ６０に対する姿勢をモデルマーカーに適用すると、カメラ６０の座標系に変換されたモデルマーカー上の任意の点Pcl（Xcl, Ycl, Zcl）は次の式（５）のようになる。
式（３）および式（４）により、Robj2cam,tobj2camを消去すると式（５）は以下の式（６）のようになる。
Ro2dlおよびto2dlは、実物マーカーＭＫ２または実物マーカーＭＫ１の座標系から左光学像表示部２８の座標系への回転および並進である。本実施形態では、使用者ＵＳが左光学像表示部２８に表示されたマーカー画像ＩＭＧを実物マーカーＭＫ２または実物マーカーＭＫ１に位置合わせしたときに、Ro2dlおよびto2dlが所定の回転および並進となるように、マーカー画像ＩＭＧが左光学像表示部２８上の所定位置（例えば中央）に所定の配向かつ所定の大きさで、固定されて表示される。Tcam2leftは、カメラの座標系から左光学像表示部２８の座標系への並進である。
式（５）で表されるモデルマーカーをカメラ６０の撮像画像上に写像するとき、撮像画像上のモデルマーカーの座標は、次のようになる。
カメラ６０が実際に実物マーカーＭＫ２または実物マーカーＭＫ１を撮像した場合の撮像画像におけるマーカーの特徴要素の座標を（ul, vl）と表記すると、（ul, vl）と（ximl, yiml）との差は以下のようになる。
使用者が、右眼ＲＥで右光学像表示部２６に表示されたマーカーと、実物マーカーＭＫ２または実物マーカーＭＫ１と、のアライメントを成立させた場合についても、同様に式（１４）で表される二乗和を導出する。
ERとELとの和により、式（１５）で表すコスト関数Ｅを定義する。
本実施形態では、カメラ６０のカメラパラメーターＣＰと、カメラ６０の座標系から左光学像表示部２８の座標系への回転（Rcam2left）および並進（Tcam2left）を表す変換パラメーターと、カメラ６０の座標系から右光学像表示部２６の座標系への回転（Rcam2right）および並進（Tcam2right）を表す変換パラメーターと、が最適化により設定される。
In the present embodiment, the camera parameter CP of the
式（１５）で表わされるコスト関数Ｅを最小化する繰り返し計算に用いられるヤコビ行列は、式（１６）のようになる。
カメラパラメーターＣＰおよび変換パラメーターが設定されると、図９に示すキャリブレーション実行処理におけるステップＳ１５の処理として、設定された変換パラメーターおよびカメラパラメーターＣＰを、使用者ＵＳに画像を用いて確認させる目的で、表示設定部１６５は設定画像ＳＩＭを光学像表示部２６，２８に表示させる。カメラ６０の撮像範囲に特定オブジェクト（この例では実物マーカーＭＫ１）が含まれる場合に、ＣＰＵ１４０は、設定されたカメラパラメーターＣＰを用いてカメラ６０に対する特定オブジェクトの位置および姿勢を導出する。また、ＣＰＵ１４０は、設定された変換パラメーターを用いて、カメラ６０に対する特定オブジェクトの位置および姿勢を、光学像表示部２６、２８に対する特定オブジェクトの位置および姿勢に変換する。そして、表示設定部１６５は、当該変換された位置および姿勢をＡＲモデルに与えてから、当該ＡＲモデルを写像し、そして、ＡＲモデルを設定画像ＳＩＭとして光学像表示部２６，２８に表示させる。この例では、使用者ＵＳに、設定画像ＳＩＭの位置および姿勢が特定オブジェクトの位置および姿勢に一致し、かつ特定オブジェクトの動きに追跡するように設定画像ＳＩＭを視認させることができれば、変換パラメーターとカメラパラメーターＣＰの設定は十分である。実物マーカー、またはそれに対応したＡＲモデルの内部座標をＸと定義すると、変換パラメーターが用いられ、左光学像表示部２８における表示画像の位置（u,v）は、式（１７）のように表される。
ここで、特定オブジェクトまたはＡＲモデルXがカメラ６０で撮像されたとすると、特定オブジェクトまたはＡＲモデルX上の点と撮像画像上の対応点との間には、式（１９）が成り立つ。
３次元におけるＡＲモデルの同じ座標点は、画像処理部１６０におけるディスプレイバッファにレンダリングされるため、その規格化デバイス座標（ＮＤＣ）は、式（１８）を用いて、式（２０）のように表される。
本実施形態では、キャリブレーションがうまく実施されていれば、ＨＭＤ１００を装着している使用者ＵＳは、光学像表示部２６、２８に表示された設定画像ＳＩＭの位置、大きさ、向き、奥行感が、撮像された特定オブジェクト（この例では実物マーカーＭＫ１）の位置、大きさ、向き、奥行感に一致するように、視認する。
In the present embodiment, if the calibration is successfully performed, the user US wearing the
図１３は、特定オブジェクトに対応付けられて設定画像ＳＩＭが表示された場合に使用者ＵＳが視認する使用者ＵＳの視野の一例の説明図である。図１３に示す例では、特定オブジェクトとして実物マーカーＭＫ１が採用されている。キャリブレーションが実行された後に、表示設定部１６５は、パラメーター設定部１６７によって設定された変換パラメーターおよびカメラパラメーターＣＰを用いて、撮像された実物マーカーＭＫ１の位置および配向（姿勢）に合わせて、設定画像ＳＩＭを右左の光学像表示部２６，２８に表示させる。設定画像ＳＩＭは、立方体の各辺を形成する画像である。図１３に示すように、設定画像ＳＩＭの立方体の底面は、実物マーカーＭＫ１と合わさるように表示される。使用者ＵＳは、特定オブジェクトとしての実物マーカーＭＫ１と設定画像ＳＩＭとの空間関係を視認することで、キャリブレーションの精度を認識できる。使用者ＵＳが実物マーカーＭＫ１と設定画像ＳＩＭとが互いに一致するように視認しないときに、再度、キャリブレーションを第１設定モードまたは第２設定モードにおいてやり直すことができる。図１３に示すように、光学像表示部２６、２８または音声処理部１７０は、キャリブレーションが成功しＡＲ表示機能を続行すること（重畳して見えるか）、およびキャリブレーションをやり直すことのいずれかを促す文字画像または音声を使用者に提示してもよい。
FIG. 13 is an explanatory diagram illustrating an example of the visual field of the user US visually recognized by the user US when the setting image SIM is displayed in association with the specific object. In the example shown in FIG. 13, a real marker MK1 is employed as the specific object. After the calibration is executed, the
Ａ−２−２−４．キャリブレーションデータの自動収集：
まず、キャリブレーションデータの自動収集処理の説明に備えて、光学像表示部２６，２８に固定された座標系の座標軸を、右光学像表示部２６の場合を例にとって説明する。本実施形態では、右光学像表示部２６の座標系のＺ軸は、使用者ＵＳがＨＭＤ１００を適切に装着した場合に使用者ＵＳが視認する表示領域の法線方向に一致する。このため、Ｚ軸は使用者ＵＳの顔面が向いている方向を示し得る。Ｘ軸は、Ｚ軸に直交し、かつ右光学像表示部２６と左光学像表示部２８とが並ぶ方向にほぼ平行である。このため、Ｘ軸は使用者ＵＳの左右方向を示し得る。また、Ｙ軸は、Ｚ軸およびＸ軸の双方に直交する。このため、Ｙ軸は、使用者ＵＳの上下方向を示し得る。
A-2-2-4. Automatic collection of calibration data:
First, in preparation for the description of the calibration data automatic collection process, the coordinate axes of the coordinate system fixed to the optical
上記で説明した第１設定モードにおいて、使用者ＵＳは、マーカー画像ＩＭＧと実物マーカーＭＫ１，ＭＫ２との目視によるアライメントを成立させたことを、タッチパッドの操作、ボタンの押下、または音声コマンドの発声により、パラメーター設定部１６７に伝えている。そして、パラメーター設定部１６７がこれら操作または音声コマンドを受け付けた場合に、カメラ６０がマーカーＭＫ１，ＭＫ２を撮像し、すなわちキャリブレーションデータの収集をする。すなわち、ＨＭＤ１００は、キャリブレーションデータの収集のトリガーとして、使用者ＵＳによる操作または発声を利用している。しかしながら、以下で説明するように、ＨＭＤ１００は、このような構成に代えて、自動的にキャリブレーションデータを収集する構成を備えてもよい。
In the first setting mode described above, the user US confirms that visual alignment between the marker image IMG and the real markers MK1 and MK2 has been established, by operating the touch pad, pressing a button, or uttering a voice command. Is transmitted to the
図１４は、実施形態に係るキャリブレーションデータの自動収集処理のフローである。この処理では、初めに、マーカー特定部１６６が撮像を開始し、そして、光学像表示部２６，２８の一つ（以下では、右光学像表示部２６）がマーカー画像ＩＭＧを表示し始める（ステップＳ２１１）。マーカー特定部１６６は、カメラ６０が撮像した各撮像フレームに対して、２値化を実行して、実物マーカーＭＫ２を抽出する。マーカー特定部１６６は、撮像範囲の中に、実物マーカーＭＫ２があるか否かを判定する（ステップＳ２１２）。マーカー特定部１６６は、撮像範囲の中に実物マーカーＭＫ２がないと判定した場合には（ステップＳ２１２：ＮＯ）、引き続き、撮像範囲の中から実物マーカーＭＫ２の検出を監視する。
FIG. 14 is a flow of calibration data automatic collection processing according to the embodiment. In this process, first, the
ステップＳ２１２の処理において、マーカー特定部１６６は、撮像範囲の中に、実物マーカーＭＫ２があると判定した場合には（ステップＳ２１２：ＹＥＳ）、カメラ６０に対する実物マーカーＭＫ２の位置と姿勢を導出し、それらの追跡を開始する（ステップＳ２１２Ａ）。
In the process of step S212, when the
導出された実物マーカーＭＫ２の位置および姿勢は、カメラ座標系で表わされている。つまり、その位置および姿勢は、カメラ６０に対する位置および姿勢である。そこで、カメラ６０と右光学像表示部２６との間のデフォルトの空間関係を利用して、カメラ６０に対する実物マーカーＭＫ２の位置および姿勢を、右光学像表示部２６の座標系で表わされた近似的、すなわち暫定的な位置および姿勢に変換する。「デフォルトの空間関係」とは、例えば、カメラ６０と右光学像表示部２６との間の相対可動範囲の両端間に存在する一つの空間関係である。位置および姿勢、すなわち回転および並進、を表す４×４の変換行列Ｔは、式（２１Ａ）のように表される。
モデルマーカーと実物マーカーＭＫ２との間で、光学像表示部２６の座標系におけるＸ軸およびＹ軸の回りの回転差が所定値未満か否かは、以下の式（２１Ｂ）および式（２１Ｃ）のように判定され得る。
次に、右光学像表示部２６の座標系において、実物マーカーＭＫ２のＸ軸、Ｙ軸に沿った近似的な並進（Ｔｘ’, Ｔｙ’）が、モデルマーカーの並進（ｔｘ、ｔｙ）に近いか否かが、以下の式（２１Ｄ）および式（２１Ｅ）の関係式を用いて判定され得る。
図１４のフローの説明に戻ると、マーカー特定部１６６は、回転差Ａがその閾値（threshold）以上で、かつ並進差Ｄがその閾値以上か否かを判定する（ステップＳ２１３Ａ）。回転差Ａも並進差Ｄもそれぞれの閾値以上であると判定された場合には（ステップＳ２１３Ａ：Ｙｅｓ）、表示設定部１６５は、マーカー画像の色を赤色に変え、右光学像表示部２６に位置合わせ（アライメント）を促す文字画像を表示させる（ステップＳ２１４Ａ）。ステップＳ２１３Ａの判定が「否」の場合には（ステップＳ２１３Ａ：Ｎｏ）、マーカー特定部１６６は、回転差Ａが閾値未満で、かつ並進差Ｄが閾値以上であるか否かを判定する（ステップＳ２１３Ｂ）。回転差Ａが閾値未満で、かつ並進差Ｄが閾値以上であると判定された場合には（ステップＳ２１３Ｂ：Ｙｅｓ）、表示設定部１６５は、マーカー画像の色を黄色に変え、右光学像表示部２６に位置合わせ（アライメント）を促す文字画像を表示させる（ステップＳ２１４Ｂ）。ステップＳ２１３Ｂの判定が「否」の場合には（ステップＳ２１３Ｂ：Ｎｏ）、マーカー特定部１６６は、回転差Ａが閾値未満で、かつ並進差Ｄが閾値未満であるか否かを判定する（ステップＳ２１３Ｃ）。回転差Ａも並進差Ｄもそれぞれの閾値未満であると判定された場合には（ステップＳ２１３Ｃ：Ｙｅｓ）、表示設定部１６５は、マーカー画像の色を緑色に変える（ステップ２１４Ｃ）。ステップＳ２１３Ｃの判定が「否」の場合には（ステップＳ２１３Ｃ：Ｎｏ）、次に実行される処理はステップＳ２１３Ａの判定に戻る。ステップＳ２１４Ｃの後で、マーカー特定部１６６は、回転差Ａも並進差Ｄもそれぞれの閾値未満の状態と、使用者ＵＳの頭部が安定した状態とが、例えば２秒以上継続したか否かを判定する（ステップＳ２１５Ａ）。ステップＳ２１５Ａの判定が肯定的であると判定された場合には、パラメーター設定部１６７は、所定時間期間の計時または逆算計時を開始する。パラメーター設定部１６７が開始する逆算計時を、これをカウントダウン処理と呼ぶ。本実施形態の所定時間期間は１秒である。表示設定部１６５は、この１秒間を３分割し、時間の経過にしたがって表示または音声出力される「３」、「２」、「１」、「０」のカウントダウン情報を提示する。パラメーター設定部１６７は、「０」が提示されるタイミングで、カメラ６０による実物マーカーＭＫ２の撮像画像を、キャリブレーションデータとして取得する。
Returning to the description of the flow in FIG. 14, the
カウントダウン処理における所定時間期間は１秒に限らない。所定時間期間は、使用者ＵＳがマーカー画像ＩＭＧと実物マーカーＭＫ２との間の目視によるアライメントを精度の点でより向上させることができる程度に長く、同時に、既に精度よく成立している目視によるアライメントを使用者ＵＳが維持することができる程度に短いことが好ましい。この点で「１秒」は経験的に好適な長さである。 The predetermined time period in the countdown process is not limited to 1 second. The predetermined time period is long enough to allow the user US to improve the visual alignment between the marker image IMG and the real marker MK2 in terms of accuracy, and at the same time, the visual alignment already established with high accuracy. Is preferably short enough that the user US can maintain it. In this respect, “1 second” is an empirically preferred length.
頭部が安定な状態にあるか否か、または実質的に静止しているか否かは、パラメーター設定部１６７が、カメラ６０の撮像画像における実物マーカーＭＫ２の特徴点の位置、ＨＭＤ１００に搭載されたＩＭＵの出力、およびこれらの組み合わせから、判定することができる。
Whether the head is in a stable state or substantially stationary is determined by whether the
図１５は、他の実施形態に係るキャリブレーションデータの自動収集処理を説明するフローである。 FIG. 15 is a flowchart illustrating an automatic collection process of calibration data according to another embodiment.
図１５のフローは、ステップＳ２１２とステップＳ２１６との間の部分が、図１４のフローのそれとは異なっていて、その他の部分は図１４のフローと実質的に同じである。したがって、以下では、異なっている部分のみ説明する。 In the flow of FIG. 15, the part between step S212 and step S216 is different from that of the flow of FIG. 14, and the other part is substantially the same as the flow of FIG. 14. Therefore, only different parts will be described below.
図１５に示すフローでは、ステップＳ２１２Ａの後で、パラメーター設定部１６７は、カメラ６０の撮像範囲に実物マーカーＭＫ２が存在している状態であり、かつ、使用者ＵＳの頭部が所定期間、例えば２秒、に亘って安定的な状態か否かを判定する（ステップＳ２１５Ｂ）。パラメーター設定部１６７がカメラ６０の撮像範囲に実物マーカーが存在する状態であり、かつ、使用者ＵＳの頭部が２秒間に亘って安定的な状態であると判定した場合には（ステップＳ２１５Ｂ：Ｙｅｓ）、処理はステップＳ２１６へ移行する。ステップＳ２１５Ｂの判定が「否」である場合には、この判定が満足されるまで、パラメーター設定部１６７は、撮像画像と使用者ＵＳの頭部の動きとを継続的に監視する。
In the flow shown in FIG. 15, after step S212A, the
図１６は、他の実施形態に係るキャリブレーションデータの自動収集処理を説明するフローである。 FIG. 16 is a flow for explaining calibration data automatic collection processing according to another embodiment.
図１６のフローは、図１４のフローと比較して、ステップＳ２１６とステップＳ２１７との間に、判定ステップＳ２１８とＳ２１９が加えられている点で、図１４のフローとは異なっていて、その他の部分は図１４のフローと実質的に同じである。したがって、以下では、異なっている部分のみ説明する。 The flow of FIG. 16 differs from the flow of FIG. 14 in that determination steps S218 and S219 are added between steps S216 and S217, compared to the flow of FIG. The part is substantially the same as the flow of FIG. Therefore, only different parts will be described below.
図１４の処理では、カウントダウン処理が開始されると（ステップＳ２１６）、使用者ＵＳが姿勢を大きく変えた結果、もはや目視によるアライメントが成立していない場合であっても、所定時間期間の経過時にキャリブレーションデータが収集される。この場合、正確なキャリブレーションデータを収集することができない。本実施形態では、カウントダウン処理における所定時間期間内に使用者ＵＳの頭部が閾値以上の動きを示した場合に、カウントダウン処理を中止して、キャリブレーションデータの収集処理を再度やり直すことができる。具体的には、パラメーター設定部１６７は、ステップＳ２１６のカウントダウン処理を開始された後に、所定時間期間（カウントダウン期間）が経過したか否かを判定する（ステップＳ２１８）。パラメーター設定部１６７がステップＳ２１８の判定が「否」と判定した場合には（ステップＳ２１８：Ｎｏ）、ＩＭＵが出力する角速度または加速度に基づいて、使用者ＵＳの頭部が閾値以上の大きさの動きをしたか否かを判定する（ステップＳ２１９）。パラメーター設定部１６７は、ステップＳ２１９の判定が「否」と判定した場合には、ステップＳ２１８の処理において、所定時間期間が経過した時点で（ステップＳ２８１：Ｙｅｓ）、キャリブレーションデータを収集する（ステップＳ２１７）。ステップＳ２１９において、パラメーター設定部１６７が使用者ＵＳの頭部が閾値以上の大きさの動きがあったと判定した場合には、ステップＳ２１３Ａ以降の処理が実行される。
In the process of FIG. 14, when the countdown process is started (step S216), even when the alignment by visual observation is no longer established as a result of the user US having greatly changed the posture, Calibration data is collected. In this case, accurate calibration data cannot be collected. In the present embodiment, when the head of the user US shows a movement of a threshold value or more within a predetermined time period in the countdown process, the countdown process can be stopped and the calibration data collection process can be performed again. Specifically, the
上述したように、パラメーター群を調整する際には、ＨＭＤ１００に表示されたマーカー画像ＩＭＧと実物マーカーＭＫ２とが一致するように使用者ＵＳに視認させた（アライメントを成立させた）状態で、キャリブレーションデータを収集することが好ましい。使用者ＵＳがマーカー画像ＩＭＧと実物マーカーＭＫ２とを精度よく一致して視認しているか否かは、パラメーター群を導出するキャリブレーションの精度に影響を与える。
As described above, when the parameter group is adjusted, calibration is performed in a state where the user US visually recognizes (alignment is established) so that the marker image IMG displayed on the
ただし、せっかくユーザーが、マーカー画像と実物マーカーとが精度よく一致するよう視認していても、データ収集の指示またはトリガーのためにコントローラー１０にタッチすると、その動作でアライメントがずれ、ずれたアライメントの状態でキャリブレーションデータが収集（実物マーカーが撮像）されることとなる。音声コマンドの場合にも、発声動作または発音動作により、アライメントがずれる可能性は皆無でない。このようなずれたアライメントの状態で得られたパラメーター群を使うと、ＡＲ画像の重畳表示が精度よく行われない。
However, even if the user visually recognizes that the marker image and the real marker are accurately matched, if the
図１４、図１５、図１６を参照して説明したキャリブレーションデータの自動収集処理は、ユーザーがタッチや音声コマンドを必ずしも与えなくても、使用者がマーカー画像と実物マーカーとを一致して視認していることをＨＭＤ１００が判定できる仕組みを提供することができる。そして、その判定をトリガーとしてキャリブレーションデータを収集できることから、精度のよいパラメーター群が得られ、結果として、ＡＲ画像の重畳表示の精度のよいＨＭＤ１００が得られる。なお、本実施形態では、２つの回転角の差に基づいて、「回転差Ａ」が閾値未満か否かが判定されるが、１つの軸の回りの回転角の差、または３つの軸の回りの回転角の差に基づいて、「回転差Ａ」が閾値未満か否かが判定されてもよい。「並進差Ｄ」についても同様である。
The automatic calibration data collection process described with reference to FIGS. 14, 15, and 16 allows the user to visually recognize the marker image and the actual marker even if the user does not necessarily give a touch or voice command. It is possible to provide a mechanism by which the
Ａ−２−３．第２設定モード：
第２設定モードでは、パラメーター設定部１６７が、第１設定モードにおいて実行したキャリブレーションの結果に対して、使用者ＵＳの操作を受け付けることで、さらに、キャリブレーションの結果を補正する。換言すると、パラメーター設定部１６７は、受け付けた操作に基づいて、特定オブジェクトに対応付けられて表示されるＡＲ画像（ＡＲモデル）の位置、大きさ、奥行感を補正する。
A-2-3. Second setting mode:
In the second setting mode, the
図１７は、第２設定モードに移行したときに使用者ＵＳが視認する視野ＶＲの一例の説明図である。図１７では、使用者ＵＳが、透過した外景に含まれる特定オブジェクトとしての実物マーカーＭＫ１と、実物マーカーＭＫ１に対応付けられて光学像表示部２６，２８に表示される設定画像ＳＩＭと、第２設定モードのときに光学像表示部２６，２８に表示される８個のアイコンおよびカーソル画像ＣＳと、が示されている。８個のアイコンは、制御部１０の操作部１３５が受け付けた操作によって、第２設定モードにおける設定モードを変更するためのアイコンである。図１７に示す例では、使用者から見て、外景の実物マーカーＭＫ１の位置と、表示された設定画像ＳＩＭの立方体の底面の位置と、が重なっていない。換言すると、キャリブレーションの精度がよくない。このような場合に、本実施形態では、第２設定モードにおいて、使用者ＵＳは、操作部１３５を操作することで、実物マーカーＭＫ１と設定画像ＳＩＭとのキャリブレーションの結果を補正できる。
FIG. 17 is an explanatory diagram illustrating an example of the visual field VR visually recognized by the user US when the mode is shifted to the second setting mode. In FIG. 17, the user US has a real marker MK1 as a specific object included in the transparent outside scene, a setting image SIM displayed on the optical
操作部１３５のトラックパッドが所定の操作を受け付けると、パラメーター設定部１６７は、光学像表示部２６，２８に表示させたカーソル画像ＣＳの位置を移動させる。カーソル画像ＣＳが８個のアイコンの内のいずれかに重なっている状態で、操作部１３５の決定ボタンが押下されると、パラメーター設定部１６７は、カーソル画像ＣＳが重なっていたアイコンと対応付けられている設定モードへと移行する。
When the track pad of the
アイコンＩＣ１は、選択されると、設定画像ＳＩＭの画像を拡大または縮小を実行するモードへと移行するためのアイコンである。アイコンＩＣ１のモードでは、操作部１３５が所定の操作を受け付けることで、パラメーター設定部１６７は、上述したカメラパラメーターＣＰおよび変換パラメーターの一方または双方を補正して、光学像表示部２６，２８に表示された設定画像ＳＩＭの大きさを変更する。本実施形態では、パラメーター設定部１６７は、カメラパラメーターＣＰにおける焦点距離Ｆｘ，Ｆｙ，および写像パラメーターにおける焦点距離Ｆｘ，Ｆｙの一方または両方を補正して、設定画像ＳＩＭの大きさを調整する。使用者ＵＳは、アイコンＩＣ１を選択することで、実物マーカーＭＫ１の大きさに合わせるように設定画像ＳＩＭの大きさを変更できる。
When the icon IC1 is selected, the icon IC1 is an icon for shifting to a mode in which the image of the setting image SIM is enlarged or reduced. In the mode of the icon IC1, when the
アイコンＩＣ２は、選択されると、設定画像ＳＩＭの表示位置を上下に移動させるモードへと移行するためのアイコンである。アイコンＩＣ２のモードでは、操作部１３５が所定の操作を受け付けることで、パラメーター設定部１６７は、光学像表示部２６，２８のそれぞれの変換パラメーターを補正して、光学像表示部２６，２８が設定画像ＳＩＭを表示可能な範囲で上下に移動させる。本実施形態では、パラメーター設定部が変換パラメーターのうち、X軸回りの回転を表すパラメーターRxを調整して、設定画像ＳＩＭを上下（すなわちY軸方向）に移動させる。なお、変換パラメーターの表示において、XおよびYは光学像表示部２６，２８に固定された座標系のX軸およびY軸をそれぞれ表し、さらに上述の通り、X軸はＨＭＤ１００を装着した場合に使用者ＵＳの左右方向を表し、Y軸はその上下方向を表し得る。
When the icon IC2 is selected, the icon IC2 is an icon for shifting to a mode in which the display position of the setting image SIM is moved up and down. In the mode of the icon IC2, when the
アイコンＩＣ３は、選択されると、設定画像ＳＩＭの表示位置を左右に移動させるモードへと移行するためのアイコンである。アイコンＩＣ３のモードでは、操作部１３５が所定の操作を受け付けることで、パラメーター設定部１６７が光学像表示部２６、２８のそれぞれの変換パラメーターを補正して、光学像表示部２６，２８が設定画像ＳＩＭを表示可能な範囲で左右に移動させる。本実施形態では、パラメーター設定部１６７が変換パラメーターのうち、Ｙ軸回りの回転を表すパラメーターＲｙを調整して、設定画像ＳＩＭを左右（すなわちX軸方向）に移動させる。使用者ＵＳは、アイコンＩＣ２およびアイコンＩＣ３を選択することで、実物マーカーＭＫ１に対して、設定画像ＳＩＭの位置を合わせるように設定画像ＳＩＭの表示位置を変更できる。
The icon IC3 is an icon for shifting to a mode in which the display position of the setting image SIM is moved to the left and right when selected. In the mode of the icon IC3, when the
アイコンＩＣ４は、選択されると、使用者ＵＳに視認させる設定画像ＳＩＭの奥行感を調整するためのアイコンである。アイコンＩＣ４のモードでは、操作部１３５が所定の操作を受け付けることで、パラメーター設定部１６７は、光学像表示部２６、２８のそれぞれの写像パラメーターおける表示主点のＸ成分であるＣｘを調整して、設定画像ＳＩＭの奥行感を変える。奥行感の調整量をΔＣxとし、右光学像表示部２６の表示主点をＣｘ＿ｒｉｔｇｈとし、左光学像表示部２８の表示主点をＣｙ＿ｌｅｆｔとすると、奥行感の調整後の表示主点は、以下の式（２１Ｆ）および式（２１Ｇ）のように表される。
アイコンＩＣ５は、選択されると、今まで実行してきたパラメーター群の補正を、実行前のパラメーター群の値に戻すためのアイコンである。アイコンＩＣ６は、選択されると、今まで実行してきたパラメーター群の補正を、新たなパラメーター群（カメラパラメーターＣＰ、変換パラメーターおよび写像パラメーター）として更新して記憶するためのアイコンである。 The icon IC5 is an icon for returning the parameter group correction executed so far to the value of the parameter group before execution when selected. The icon IC6 is an icon for updating and storing the correction of the parameter group executed so far as a new parameter group (camera parameter CP, conversion parameter, and mapping parameter) when selected.
アイコンＩＣ７は、選択されると、第２設定モードへと移行する１つ前のモードへと戻るためのアイコンである。換言すると、アイコンＩＣ７が選択されると、表示設定部１６５は、図９のステップＳＳ１３に示す第２設定モードと第１設定モードとのどちらの設定モードへと移行するかの選択画面を光学像表示部２６，２８に表示させる。
The icon IC7 is an icon for returning to the previous mode for shifting to the second setting mode when selected. In other words, when the icon IC7 is selected, the
アイコンＩＣ８は、選択されると、表示設定部１６５が光学像表示部２６，２８に説明文である「ヘルプ」を表示させるためのアイコンである。「ヘルプ」が表示されると、第２設定モードおよびキャリブレーション実行処理におけるキャリブレーションを実行するための操作についての説明文が光学像表示部２６，２８に表示される。アイコンＩＣ９は、選択されると、第２設定モードを含むキャリブレーション実行処理を終了するためのアイコンである。
When the icon IC8 is selected, the
図１８は、第２設定モードにおいて設定画像ＳＩＭの表示位置が変更されたときに使用者ＵＳが視認する視野ＶＲの一例を示す説明図である。この例では、設定画像ＳＩＭの向き、大きさ、および奥行感は実物マーカーＭＫ１のそれらに既に合っており、上下左右の表示位置だけを調整することでＡＲ画像の重畳精度を向上させる場合を示している。図１８では、第２設定モードにおいて、アイコンＩＣ２およびアイコンＩＣ３が選択された後に操作部１３５が所定の操作を受け付けて、設定画像ＳＩＭの立方体の底面と、実物マーカーＭＫ１との位置が合わさるように設定画像ＳＩＭの表示位置が設定された状態が示されている。具体的な操作としては、初めに、アイコンＩＣ２が選択されて、実物マーカーＭＫ１に対して、設定画像ＳＩＭの上下方向の表示位置が合わされた後、アイコンＩＣ３が選択されて、実物マーカーＭＫ１に対して、設定画像ＳＩＭの水平方向の表示位置が合わされている。この後、アイコンＩＣ５が選択されると、変換パラメーターが更新されて記憶される。
FIG. 18 is an explanatory diagram illustrating an example of the visual field VR visually recognized by the user US when the display position of the setting image SIM is changed in the second setting mode. In this example, the orientation, size, and depth of the setting image SIM already match those of the real marker MK1, and the AR image superimposition accuracy is improved by adjusting only the vertical, horizontal, and horizontal display positions. ing. In FIG. 18, in the second setting mode, the
以上説明したように、第１実施形態のＨＭＤ１００では、カメラ６０が特定オブジェクトを含む外景を撮像する。そして、パラメーター設定部１６７はカメラ６０から、光学像表示部２６（２８）にマーカー画像ＩＭＧとして表示されたモデルマーカーの位置および姿勢と、実物マーカーＭＫ１（ＭＫ２）のそれらとがほぼ一致するように使用者ＵＳに視認させた状態での特定オブジェクトの撮像画像を取得する。パラメーター設定部１６７は、取得された撮像画像に少なくとも基づいて、パラメーター群を設定する。パラメーター群は、カメラ６０のカメラパラメーターＣＰ，カメラ６０と右光学像表示部２６，左光学像表示部２８との間の空間関係を表す３Ｄ−３Ｄのそれぞれの変換パラメーター、および光学像表示部２６，２８上に任意の３Ｄモデルを画像として表示するための３Ｄ−２Ｄの写像パラメーターを含む。ＨＭＤ１００は、カメラパラメーターＣＰを用いて、特定オブジェクトの位置と姿勢を推定する。また、ＨＭＤ１００は、変換パラメーターと写像パラメーターとを用いて、特定オブジェクトに関連付けられたＡＲモデルの位置および姿勢と、特定オブジェクトの位置および姿勢とが、互いに対応、好ましくはほぼ一致する状態で当該ＡＲモデルをＡＲ画像として使用者ＵＳに視認させるように、光学像表示部２６，２８にそれぞれＡＲ画像を表示する。したがって、第１設定モードによるキャリブレーションによって、特定オブジェクトと、当該特定オブジェクトに関連付けられたＡＲモデル（ＡＲ画像）とが互いに対応、好適にはほぼ一致するように使用者ＵＳに視認させることが可能なＨＭＤ１００を提供することができる。
As described above, in the
また、第１実施形態のＨＭＤ１００では、パラメーター設定部１６７は、第２設定モードにおいて、操作部１３５が受け付けた操作に応じて、光学像表示部２６，２８に表示される設定画像ＳＩＭの位置、大きさ、および奥行感と、実物マーカーＭＫ１（ＭＫ２）の位置、大きさ、および奥行感が互いに対応、好適には一致する状態で当該設定画像ＳＩＭを使用者ＵＳに視認させるように、カメラパラメーターＣＰと変換パラメーターと写像パラメーターとの少なくとも１つのパラメーターを設定する。そのため、第１実施形態のＨＭＤ１００では、操作部１３５が所定の操作を受け付けることで、特定オブジェクトとＡＲモデル（ＡＲ画像）との位置関係を、使用者ＵＳが手動でさらに補正できる。これにより、使用者ＵＳは、キャリブレーションを容易に行なうことができ、また、より精度の高いキャリブレーションを実行できる。
In the
また、第１実施形態のＨＭＤ１００では、パラメーター設定部１６７は、第１設定モードにおいて、カメラ６０の撮像画像を用いて、カメラパラメーターＣＰおよび変換パラメーターの少なくとも１つに関するパラメーターを設定する。また、パラメーター設定部１６７は、第２設定モードにおいて、操作部１３５が受け付けた所定の操作に応じて、カメラパラメーターＣＰ、変換パラメーターと、写像パラメーターとの少なくとも１つに関するパラメーターを設定する。そのため、第１実施形態のＨＭＤ１００では、第１設定モードで設定されたカメラパラメーターＣＰおよび変換パラメーターに対して、第２設定モードで個別に設定できる。これにより、第１設定モードで調整しきれなかったパラメーターを個別に調整することができ、結果として、特定オブジェクトに、その関連付けられたＡＲ画像を重畳するように表示する際の精度を高めることができる。
In the
また、第１実施形態のＨＭＤ１００では、カメラ６０が装着帯９０に対して向きを変更可能に配置されている。設定画像ＳＩＭを表示可能な光学像表示部２６，２８は、装着帯９０に対して、相対位置を変更可能に配置されている。そのため、カメラ６０は、光学像表示部２６，２８に対して、位置および向きが変更可能に配置されており（ＨＭＤ１００を「カメラ可動型ＨＭＤ」とも呼ぶ）、カメラ６０と光学像表示部２６，２８との位置関係の変化に応じて、キャリブレーションの設定が必要になる。第１実施形態のＨＭＤ１００では、使用者ＵＳは、位置関係の変化に応じて必要とされるキャリブレーションを、第１設定モードと第２設定モードとを実行することで、容易に実行できる。もちろん、カメラと光学像表示部２６，２８との間の空間関係が固定されたＨＭＤ（「カメラ固定型ＨＭＤ」とも呼ぶ）において、使用者ＵＳによるキャリブレーション（第１設定モード）の際に毎回、カメラと光学像表示部との間の空間関係を表す回転と並進をキャリブレーションパラメーターとして可変にし、当該空間関係の最適化を行ってもよい。このようなキャリブレーションは、カメラ固定型ＨＭＤにおいても、製造誤差により、各個体に亘る上記空間関係の分散が大きいときに、有益である。
Moreover, in HMD100 of 1st Embodiment, the
また、第１実施形態のＨＭＤ１００では、パラメーター設定部１６７が設定したカメラパラメーターＣＰおよび変換パラメーターに基づいて、表示設定部１６５は、撮像された特定オブジェクトである実物マーカーＭＫ２または実物マーカーＭＫ１に対応付けて設定画像ＳＩＭを表示させる。そのため、第１実施形態のＨＭＤでは、使用者ＵＳが、実行されたキャリブレーションの結果を視認でき、追加調整を実行する必要があるかを判定できるので、使用者の利便性が向上する。
In the
また、第１実施形態のＨＭＤ１００では、位置合わせ処理において、マーカー特定部１６６が、マーカー画像ＩＭＧと実物マーカーＭＫ２とが所定の位置関係であり、マーカー画像ＩＭＧが表示された右光学像表示部２６と実物マーカーＭＫ２との距離が所定値以下であり、使用者ＵＳの頭部が静止している場合に、表示設定部１６５は、カウントダウンを表す文字画像を右光学像表示部２６に表示させる。カウントダウンが経過した後に、パラメーター設定部１６７は、カメラ６０に実物マーカーＭＫ２を撮像させて、カメラパラメーターＣＰおよび変換パラメーターを設定する。そのため、第１実施形態のＨＭＤ１００では、キャリブレーションの実行に必要な実物マーカーＭＫ２の撮像データを取得するときに、特定のボタンを押したり、音声認識を実行する必要がなく、自動的にカメラ６０による撮像が実行される。よって、使用者の操作および音声発生などによる実物マーカーＭＫ２とマーカー画像ＩＭＧとの重なり（アライメント）のずれを低減できる。これにより、精度の良いアライメントの撮像データを取得でき、キャリブレーションの精度を向上する。
In the
また、第１実施形態のＨＭＤ１００では、パラメーター設定部１６７は、所定の位置関係および距離の所定値として、算出したカメラ６０に対する特定オブジェクトの空間関係と、カメラと光学像表示部２６、２８との間のデフォルトの空間関係と、を用いて、右光学像表示部２６または左光学像表示部２８に対する特定オブジェクトの仮想の位置と姿勢を算出する。パラメーター設定部１６７は、特定オブジェクトの上記仮想の位置と姿勢と、マーカー画像ＩＭＧとして表示（写像）されているモデルマーカーの光学像表示部２６、２８に対する仮想の位置と姿勢と、を比較することで両位置・姿勢の回転に関するパラメーターのずれおよび並進に関するパラメーターのずれを算出する。これらのずれとしての差に基づいて、表示設定部１６５は、カメラ６０が外景を撮像するまでのカウントダウンの情報を右光学像表示部２６または左光学像表示部２８に表示させる。また、表示設定部１６５は、回転に関するパラメーターの差や並進に関するパラメーターの差に応じて、使用者ＵＳに、マーカー画像ＩＭＧと特定オブジェクトである実物マーカーＭＫ２との位置合わせの処理を促す文字画像を右光学像表示部２６に表示させる。そのため、第１実施形態のＨＭＤ１００では、使用者ＵＳは、マーカー画像ＩＭＧと実物マーカーＭＫ２とのずれを視覚情報として認識でき、容易に精度の高いキャリブレーションを実行できる。
In the
また、第１実施形態のＨＭＤ１００では、表示設定部１６５は、カメラ６０が撮像するまでのカウントダウンを表す情報として、特定オブジェクトとしての実物マーカーＭＫ２に対応付けられたマーカー画像ＩＭＧの色を変化させた画像を右光学像表示部２６に表示させる。そのため、第１実施形態のＨＭＤ１００では、使用者ＵＳにカメラ６０が実物マーカーＭＫ２を撮像するタイミングを視覚情報として認識させることができ、使用者ＵＳは感覚的にキャリブレーションを実行できる。
Further, in the
Ｂ．第２実施形態：
第２実施形態では、第１実施形態と比較して、キャリブレーションが実行されるときにカメラ６０が撮像する実物マーカーと、実物マーカーを撮像する第１設定モードの一部とが異なる。そのため、第２実施形態では、第１実施形態と比較してことなる処理について説明し、その他の第１実施形態と同じ処理の説明については省略する。
B. Second embodiment:
In the second embodiment, compared to the first embodiment, the real marker captured by the
図１９は、第２実施形態における制御部１０ａの裏面を示す正面図である。図１９には、制御部１０ａにおける操作部１３５が形成された面を表面と定義した場合の裏面が示されている。図１９に示すように、制御部１０ａの裏面には、実物マーカーＭＫ１を小さくした実物マーカーＭＫ３が配置されている。
FIG. 19 is a front view showing the back surface of the
第２実施形態の第１設定モードでは、第１実施形態の第１モードと同じように、初めに、表示設定部１６５が右光学像表示部２６にマーカー画像ＩＭＧを表示させる（図１０のステップＳ２０１）。パラメーター設定部１６７は、マーカー画像ＩＭＧと制御部１０の裏面に配置された実物マーカーＭＫ３との位置合わせを使用者ＵＳに促す（ステップＳ２１０）。実物マーカーＭＫ３とマーカー画像ＩＭＧとの位置合わせが実行されると、第１実施形態と異なり、表示設定部１６５は、ステップＳ２０１で右光学像表示部２６に表示されたマーカー画像ＩＭＧと大きさが異なるマーカー画像ＩＭＧを右光学像表示部２６に表示させる（ステップＳ２０２）。パラメーター設定部１６７は、ステップＳ２０１の処理時とは大きさが異なるマーカー画像ＩＭＧと実物マーカーＭＫ３との位置合わせを使用者ＵＳに促す（ステップＳ２２０）。ここで、大きさが異なる２つのマーカー画像ＩＭＧは、本実施形態では光学像表示部２６，２８に対する仮想的な位置（Ｚ軸に沿った距離）が異なる同一のモデルマーカーを写像パラメーターにより２次元に写像することで生成される。第２実施形態のステップＳ２２０の処理では、使用する実物マーカーが一つであっても、大きさが異なる２つのマーカー画像ＩＭＧに対してアライメントを成立させようとするから、第１実施形態と同様に、使用者ＵＳは、マーカー画像ＩＭＧが表示された右光学像表示部２６と実物マーカーＭＫ３とを、距離を変えてアラインさせる。第１設定モードのステップＳ２０３以降の処理については、右光学像表示部２６に対する処理と同じであるため、説明を省略する。
In the first setting mode of the second embodiment, as in the first mode of the first embodiment, the
第２実施形態のＨＭＤ１００ａでは、１つの実物マーカーＭＫ３であっても、第１設定モードにおいて右光学像表示部２６または左光学像表示部２８に表示されるマーカー画像ＩＭＧを変化させることで、精度の高いキャリブレーションを実行できる。
In the HMD 100a of the second embodiment, the accuracy can be improved by changing the marker image IMG displayed on the right optical
Ｃ．第３実施形態：
第３実施形態では、第１実施形態と比較して、キャリブレーションが実行されるときにカメラ６０が撮像する実物マーカーの形状と、実物マーカーに対応するマーカー画像ＩＭＧの形状と、が異なる。そのため、第３実施形態では、第１実施形態に対して異なる実物マーカーの形状および実物マーカーの特定について説明し、その他の構成については説明を省略する。
C. Third embodiment:
In the third embodiment, compared to the first embodiment, the shape of the real marker captured by the
図２０および図２１は、第３実施形態の実物マーカーの一例を示す概略図である。図２０には、実物マーカーＭＫ４として、階段状に形成された３次元のブロックが示されている。同様に、図２１には、実物マーカーＭＫ５として、三角錐を基準として半円筒などのブロックが付加された３次元のブロックが示されている。第３実施形態のマーカー画像記憶部１３８ｂは、実物マーカーＭＫ４および実物マーカーＭＫ５に対応する３次元モデルのデータを、その特徴点とともに記憶している。そのため、マーカー特定部１６６は、マーカー画像記憶部１３８ｂに記憶された特徴点と撮像画像における特徴点との対応関係を推定することで、カメラ６０に対する実物マーカーＭＫ４または実物マーカーＭＫ５の位置と姿勢を推定できる。特徴点の特定方法としては、ステレオカメラによって特定の位置までの距離を特定して、特定した距離を用いたエッジ検出などであってもよく、公知の技術を適用できる。
20 and 21 are schematic views illustrating an example of a real marker according to the third embodiment. FIG. 20 shows a three-dimensional block formed in a staircase pattern as the real marker MK4. Similarly, FIG. 21 shows a three-dimensional block to which a block such as a semi-cylinder is added with reference to a triangular pyramid as the real marker MK5. The marker image storage unit 138b of the third embodiment stores the data of the three-dimensional model corresponding to the real marker MK4 and the real marker MK5 together with their feature points. Therefore, the
記憶部には、実物マーカーＭＫ４または実物マーカーＭＫ５の形状と相似な形状を有する３Ｄモデルマーカーが記憶されている。なお、実施形態１と同様に、モデルマーカーは、仮想の３次元空間内で定義されている。ＨＭＤ１００は、光学像表示部２６、２８に対して所定の位置と姿勢を有するように設定された当該モデルマーカーを上述の写像パラメーターにより写像し、光学像表示部２６、２８にマーカー画像ＩＭＧとして表示する。以下は、実施形態１と同様に、使用者ＵＳにマーカー画像ＩＭＧと実物マーカーＭＫ４，ＭＫ５とのアライメントを成立させる。
The storage unit stores a 3D model marker having a shape similar to the shape of the real marker MK4 or the real marker MK5. As in the first embodiment, the model marker is defined in a virtual three-dimensional space. The
以上説明したように、第３実施形態のＨＭＤ１００ｂでは、２次元モデルよりも特徴点の多い３次元モデルを用いてキャリブレーションが実行されるため、精度の高いキャリブレーションを実行できる。 As described above, in the HMD 100b according to the third embodiment, calibration is performed using a three-dimensional model having more feature points than the two-dimensional model, so that calibration with high accuracy can be performed.
Ｄ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。
D. Variations:
In addition, this invention is not limited to the said embodiment, It can implement in a various aspect in the range which does not deviate from the summary, For example, the following deformation | transformation is also possible.
Ｄ−１.変形例１：
第１実施形態ないし第３実施形態では、図１ないし図３に示すように、光学像表示部２６，２８に対するカメラ６０の位置や向きが変化するＨＭＤ１００について説明した。光学像表示部２６，２８に対するカメラ６０の位置が変化しないＨＭＤ１０１についても、第１実施形態ないし第３実施形態で説明したキャリブレーションが有効である。なお、以降では、第１実施形態ないし第３実施形態で説明したＨＭＤ１００を、「カメラ可動型ＨＭＤ」とも呼び、カメラ６０の位置が固定であるＨＭＤ１０１を「カメラ固定型ＨＭＤ」とも呼ぶ。たとえば、カメラ固定型ＨＭＤの場合であっても、カメラ６０と光学像表示部２６、２８との間の空間関係を表す回転と並進に存在する誤差の分散が、同一仕様のＨＭＤの間で大きい場合には、使用者ＵＳがＡＲ画像を表示する前に毎回、上記回転と並進を含む相対関係を調整するようにキャリブレーション処理をしてもよい。
D-1. Modification Example 1:
In the first to third embodiments, the
図２２は、第１設定モードで設定するパラメーターに関連する要素を示す表である。第１設定モードで変換パラメーターが設定される場合に、光学像表示部２６，２８から特定オブジェクトまでの距離の選択、いずれのパラメーターを優先的に最適化するかの選択などを設定できる。
FIG. 22 is a table showing elements related to parameters set in the first setting mode. When the conversion parameter is set in the first setting mode, the selection of the distance from the optical
図２２に示すように、「マーカー画像ＩＭＧの表示」として、両眼表示と単眼表示との２つの表示が挙げられる。両眼表示は、右光学像表示部２６および左光学像表示部２８に同時にマーカー画像ＩＭＧを表示させて、使用者ＵＳにアライメントを実行させる場合を表す。単眼表示は、右光学像表示部２６または左光学像表示部２８にマーカー画像ＩＭＧを表示させて、使用者ＵＳに右光学像表示部２６と左光学像表示部２８とを別々にアライメントを実行させる場合を表す。ＨＭＤ１００であるカメラ可動型ＨＭＤおよびＨＭＤ１０１であるカメラ固定型ＨＭＤでは、単眼表示を採用している。
As shown in FIG. 22, “display of marker image IMG” includes two displays, a binocular display and a monocular display. The binocular display represents a case in which the marker image IMG is simultaneously displayed on the right optical
「実物マーカー、モデルマーカーの構造」とは、マーカー画像ＩＭＧの基となるモデルマーカーおよび実物マーカーＭＫ１，ＭＫ２，ＭＫ３，ＭＫ４として、２次元のオブジェクト（図形など）を用いる「２Ｄ」と、３次元のオブジェクトを用いる「３Ｄ」とが挙げられる。ＨＭＤ１００であるカメラ可動型ＨＭＤおよびＨＭＤ１０１であるカメラ固定型ＨＭＤでは、第１実施形態に示すように、２次元の実物マーカーＭＫ１，ＭＫ２、および２次元のモデルマーカーを写像したマーカー画像ＩＭＧを採用している。 “Real marker and structure of model marker” means “2D” using a two-dimensional object (such as a figure) as a model marker and real markers MK1, MK2, MK3, and MK4 as a basis of the marker image IMG, and three-dimensional “3D” using the above object. As shown in the first embodiment, the camera movable HMD that is the HMD100 and the camera fixed HMD that is the HMD101 employ the marker image IMG that maps the two-dimensional real markers MK1 and MK2 and the two-dimensional model marker. ing.
「モデルマーカー（マーカー画像ＩＭＧ）の位置と姿勢」は、使用者ＵＳがアライメントを実施する際に、光学像表示部２６、２８に表示されるマーカー画像ＩＭＧが光学像表示部２６、２８に対して固定で表示されるか、カスタマイズされるかを示している。以下、詳細に説明する。
“The position and orientation of the model marker (marker image IMG)” indicates that when the user US performs alignment, the marker image IMG displayed on the optical
本実施形態では、３次元で表わされたモデルマーカーを使用し、そして、光学像表示部２６、２８から所定距離だけ離れたところにまっすぐに固定されているかのように当該モデルマーカーをマーカー画像ＩＭＧとしてレンダリング（描画）する。光学像表示部２６、２８に対するモデルマーカーの仮想的な位置と姿勢は、既定（固定）である。それは、通常、特定のＨＭＤに対して、以下の条件に基づいて、選択される。
（１）実物マーカーＭＫ１，ＭＫ２が、使用者ＵＳとカメラ６０とによって同時に見られる。たとえば、あるＨＭＤに搭載されたカメラは、眼鏡型の構造体の右脚に位置するかもしれない。したがって、アライメントの距離は、近すぎると、撮像画像に含まれないことがある。
（２）多くのＡＲシナリオが生じる位置と姿勢（特に距離）の場所に、上記既定の位置と姿勢を選択する。なぜなら、ＡＲ画像の重畳精度（またはキャリブレーション精度）は、アライメントが実施されたところを含む近傍領域で高く、その領域から外れると低下するからである。
In the present embodiment, a model marker represented in three dimensions is used, and the model marker is displayed as a marker image as if it is fixed straight away from the optical
(1) The real markers MK1 and MK2 are simultaneously viewed by the user US and the
(2) The predetermined position and posture are selected at positions and postures (particularly distances) where many AR scenarios occur. This is because the superimposition accuracy (or calibration accuracy) of the AR image is high in the vicinity area including the place where the alignment is performed, and decreases when the alignment area deviates from that area.
しかしながら、上述の既定の位置と姿勢、すなわち既定のアライメント姿勢は、他の実施形態においては必ずしも必須ではない。他の実施形態によれば、カメラ６０に撮像された実物マーカーＭＫ１，ＭＫ２（ＭＫ４，ＭＫ５）の位置と姿勢をトラッキングし続け、トラッキングされた位置・姿勢と、既存またはデフォルトのパラメーター群と、を用いてモデルマーカーを光学像表示部２６、２８にマーカー画像ＩＭＧとして表示する。そして、トラッキングされた位置・姿勢に応じてモデルマーカー（マーカー画像ＩＭＧ）のレンダリング（描画）を更新し、アライメントに最良であると使用者ＵＳが認めるマーカー画像ＩＭＧの位置・姿勢を使用者ＵＳに決定させる。たとえば、使用者ＵＳは、実物マーカーＭＫ１，ＭＫ２がユニークに見え、かつ既存のパラメーター群（既存のキャリブレーション結果）が明白なエラーを呈する位置と姿勢（視野）を見つけるまで、実物マーカーＭＫ１，ＭＫ２の回りを動くことができる。そして、使用者ＵＳが指定したその時点で、パラメーター設定部１６７が、新しいトラッキング姿勢を用いた位置・姿勢の更新を停止する。そうすると、モデルマーカー（マーカー画像ＩＭＧ）は静止して描かれ、そして、使用者ＵＳは、マーカー画像ＩＭＧと実物マーカーＭＫ１，ＭＫ２とが互いに一致して視認することができるように、自らの位置と姿勢へ、変える。このような方法によっても、使用者ＵＳは、アライメントを成立させることができる。
However, the above-described predetermined position and posture, that is, the predetermined alignment posture is not necessarily essential in other embodiments. According to another embodiment, the position and orientation of the real markers MK1 and MK2 (MK4 and MK5) imaged by the
画像処理部１６０は、モデルマーカーの表示に用いられるレンダリングエンジンを有し、そのレンダリングエンジンにおけるＯｐｅｎＧＬは、「ＰＶＭ」の行列積を利用しＣＧを生成する。ここで、Ｐは写像パラメーターであり、Ｖは、光学像表示部２６、２８に対するモデルマーカーの位置と姿勢であり、Ｍはモデルマーカー（３Ｄモデル）の内部座標である。使用者ＵＳの目視によるアライメントのためにモデルマーカーを写像したマーカー画像をレンダリング（描画）したい場合には、Ｖは、例えば、第１実施形態のように、[I:0,0,d1]のように既定にし得る。なお、ここで、Iは単位行列であり、光学像表示部２６、２８の座標系で表わされた回転であり、(0,0,d)のdはアライメントの距離であり、光学像表示部２６、２８の座標系で表わされた並進である。
The
カスタマイズアライメントは、固定されたＶの使用に代えて、Ｖとして既存またはデフォルトのパラメーター群を使用することと、使用者ＵＳが実物マーカーＭＫ１，ＭＫ２の位置・姿勢のトラッキングを固定した時点での当該トラッキングされた位置・姿勢（以下、トラッキングポーズ）を利用することを意味する。
カスタマイズアライメントの利点は、以下のように現れる。
（１）ユーザーの装着具合とＡＲシナリオの距離範囲に依存して、カメラ６０と光学像表示部２６、２８との間の空間関係が大きく変化するカメラ可動型ＨＭＤの場合：あるケースでは、本実施形態のキャリブレーション処理が、対応する既定の距離にある大きさの異なる実物マーカーＭＫ１およびＭＫ２のいずれを用いてもうまく実施し得ない可能性がある。なぜなら、カメラ６０が実物マーカーＭＫ１，ＭＫ２を見ること（補足すること）ができない場合があるからである。実物マーカーＭＫ１，ＭＫ２は、上部または下部において、カメラ６０の撮像画像から外れ得る。このようなケースでは、使用者ＵＳにアライメントの距離を選択するよう促すことが解決策となる。
（２）使用者ＵＳが、特定のＡＲシナリオの距離のために、よりよいＡＲ画像の重畳精度を達成することを望む場合、特に、使用者ＵＳの関心のある距離が、キャリブレーション範囲内にない場合: 使用者ＵＳが大きい距離範囲において精度を求める場合には、ユーザーは、その範囲内においてむしろ複数の距離を選択し、複数回のアライメントを実施することができる。
（３）使用者ＵＳが使用者ＵＳ自身で創作した３Ｄオブジェクトを実物マーカーとして用いる場合には、使用者ＵＳは、アライメント距離を定義（決定）する必要がある。
The advantages of customized alignment appear as follows.
(1) In the case of a camera-movable HMD in which the spatial relationship between the
(2) If the user US wants to achieve better AR image overlay accuracy for the distance of a particular AR scenario, in particular the distance of interest of the user US is within the calibration range. If not: If the user US seeks accuracy over a large distance range, the user can select multiple distances within that range and perform multiple alignments.
(3) When the user US uses a 3D object created by the user US as a real marker, the user US needs to define (determine) the alignment distance.
図２２に戻り、「調整するパラメーター」は、キャリブレーション処理において調整されるパラメーターを示している。後述するように、ＨＭＤ１００に含まれるカメラ６０のカメラパラメーターＣＰは、必ずしも調整される必要はない。また、カメラ固定型ＨＭＤであっても、カメラ６０と右光学像表示部２６，２８との間の空間関係（回転と並進）を表す変換パラメーターを調整することが好ましい場合がある。
Returning to FIG. 22, “parameter to be adjusted” indicates a parameter to be adjusted in the calibration process. As will be described later, the camera parameter CP of the
Ｄ−２．変形例２：
光学像表示部２６、２８、およびカメラ６０のファクトリーキャリブレーション（初期キャリブレーション）：
例えば、サービスステーションにおいて、カメラ６０のカメラパラメーターＣＰ、カメラ６０と光学像表示部２６、２８との間の空間関係（変換パラメーター）、光学像表示部２６、２８の写像パラメーターの初期値（デフォルト値）が、以下のステップを有するプロセスにより、導出され得る。
１．別途、高解像度な測定用カメラのキャリブレーションをする。
２．別途、ＨＭＤ１００に含まれるカメラ６０のキャリブレーションをし、カメラパラメーターＣＰを導出する。
３．ＨＭＤ１００と測定用カメラとを特別なジグ上にセットアップする。ワールド座標系として平面パターンを設置する。
４．測定用カメラについてジグ上で数か所の位置を定義する。そして、それぞれの位置で、平面パターンに対する測定用カメラの位置と姿勢を推定する。
５．光学像表示部２６に、光学像表示部２６に対して仮想的な位置と姿勢を有する仮想パターンを写像する。なお、光学像表示部２６に対する仮想的な位置と姿勢は、光学像表示部２６に対する平面パターンの位置と姿勢と同じである。
６．測定用カメラを定義された複数の位置へ移動させ、それぞれの位置で、光学像表示部２６に表示された仮想パターンの画像を撮像する。
７．撮像された画像を用いて写像されている３Ｄ位置を再構築する。
８．２Ｄ-３Ｄの対応関係を用いて光学像表示部２６の内部パラメーター（写像パラメーター）を推定する。
９．平面パターンに対する２つのカメラ（カメラ６０および測定用カメラ）の姿勢を計算し、そしてカメラ６０と、光学像表示部２６との間の変換パラメーターを解く。
１０．４〜９のステップを、光学像表示部２８について繰り返す。
D-2. Modification 2:
Factory calibration (initial calibration) of the optical
For example, in the service station, the camera parameter CP of the
1. Separately, a high-resolution measurement camera is calibrated.
2. Separately, the
3. Set up the
4). Define several positions on the jig for the measuring camera. Then, at each position, the position and orientation of the measurement camera with respect to the planar pattern are estimated.
5). A virtual pattern having a virtual position and orientation with respect to the optical
6). The measurement camera is moved to a plurality of defined positions, and an image of a virtual pattern displayed on the optical
7). Reconstruct the mapped 3D position using the imaged image.
The internal parameter (mapping parameter) of the optical
9. The attitudes of the two cameras (
Steps 10.4 to 9 are repeated for the optical
Ｄ−３．変形例３：
ＨＭＤ１００のカメラ可動型ＨＭＤと、ＨＭＤ１０１のカメラ固定型ＨＭＤとでは、光学像表示部２６，２８に対するカメラ６０の位置および向きの変化の有無が異なる。そのため、カメラ固定型ＨＭＤとカメラ可動型ＨＭＤとでは、第１設定モードにおいて、優先的に最適化が実行されるパラメーターを、異なるパラメーターとして変更してもよい。例えば、カメラ可動型ＨＭＤに対して、カメラ固定型ＨＭＤでは、キャリブレーションによってカメラパラメーターＣＰを最適化してもよい。
D-3. Modification 3:
The camera movable HMD of the
最適化されるパラメーターとして、カメラパラメーターＣＰと、変換パラメーターとが挙げられる。カメラ固定型ＨＭＤでは、カメラパラメーターＣＰについて、ＨＭＤ１０１の製造時の設計値を固定値として用いた上で、キャリブレーションによって最適化が実行される。最適化されるカメラパラメーターＣＰとしては、カメラ６０の焦点距離およびカメラ６０の主点位置（撮像画像の中心位置）である。カメラ固定型ＨＭＤでは、最適化される変換パラメーターとして、右光学像表示部２６および左光学像表示部２８のそれぞれのＸ，Ｙ，Ｚ軸のそれぞれの回転パラメーターおよび並進パラメーターを最適化する。
The parameters to be optimized include camera parameters CP and conversion parameters. In the camera-fixed HMD, the camera parameter CP is optimized by calibration after using a design value at the time of manufacturing the HMD 101 as a fixed value. The optimized camera parameters CP are the focal length of the
カメラ可動型ＨＭＤでは、カメラパラメーターＣＰについては、必ずしも最適化を行なう必要はない。カメラ可動型ＨＭＤでは、光学像表示部２６、２８に対してカメラ６０が可動であるため、カメラパラメーターのずれよりも変換パラメーターのずれがＡＲ画像の表示に大きく影響し得ることから、変換パラメーターを優先的に最適化するためである。
In the camera movable HMD, it is not always necessary to optimize the camera parameter CP. In the camera movable HMD, since the
Ｄ−４．変形例４：
第１実施形態では、表示設定部１６５は、位置合わせを促す文字画像を右光学像表示部２６に表示させたが、使用者に位置合わせを促す方法としては、種々変形可能である。例えば、表示設定部１６５は、「位置がずれています」の音声を、イヤホン３２，３４を介して出力することで、使用者に位置合わせを促してもよい。また、文字画像についても種々変形可能であり、表示設定部１６５は、文字画像に代えて、位置ずれを補正する方向を表す矢印の画像を、右光学像表示部２６に表示させてもよい。
D-4. Modification 4:
In the first embodiment, the
他の実施形態では、使用者に撮像までの時間を報知する方法として、種々変形可能である。例えば、表示設定部１６５は、撮像までの時間を表す数字を音声として、イヤホン３２，３４を介して出力することで、使用者に撮像までの時間を報知してもよい。また、表示設定部１６５は、例えば、カウントダウンの際に、「３」という数字のみを右光学像表示部２６に表示させることで、使用者の撮像までの時間を報知してもよい。また、表示設定部１６５は、棒線を右光学像表示部２６に表示させて、撮像までの時間の長さを表現するように、時間の経過と共に棒線の長さを減少させてもよい。
In other embodiments, various modifications can be made as a method of notifying the user of the time until imaging. For example, the
Ｄ−５．変形例５：
第１実施形態では、右光学像表示部２６および左光学像表示部２８のそれぞれについて、第１設定モードでは、２回のアライメントを実行することで、キャリブレーションが実行されたが、アライメントの回数については、種々変形可能である。アライメントの回数を増やすことで、ヤコビ行列を用いた各パラメーターの最適化において、より精度の高いキャリブレーションを実行するためのパラメーターが設定される。以下では、パラメーターの最適化の一例について説明する。
D-5. Modification 5:
In the first embodiment, each of the right optical
アライメントの回数をＡとし、実物マーカーＭＫ１，ＭＫ２の特徴要素（例えば、円の中心）の数をｎとする。カメラ６０と画像表示部とのペア（第１実施形態ではカメラ６０と右と左のいずれかの光学像表示部２６、２８とのペア）について調整されるべきパラメーターの数をｍとすると、最適化されるべきパラメーターの数はＭであり、下記の式（２２）を満たす。
それぞれの繰り返しについて、最適化の疑似コードは、以下の通りになる。まず、それぞれのアライメントについて、カメラ６０と右光学像表示部２６とのペアおよびカメラ６０と左光学像表示部２８とのペアについて、ヤコビ行列Ｊｓを計算する。このヤコビ行列Ｊｓは、２ｎ×Ｍ行列として表すことができる。次に、２ｎ×１の残差行列ｅｓを計算する。以上をＡ個のアライメントのそれぞれについて実施する。
For each iteration, the pseudo code for optimization is as follows: First, for each alignment, the Jacobian matrix Js is calculated for the pair of the
次に、ヤコビ行列Ｊｓを、４ｎ×Ｍの大きさの行列Ｊへとマージする。残差行列ｅｓを連結して、４ｎ×１の行列ｅを生成する。行列ｅの要素は式（１２）で表わされ得る。そして、選択されたパラメーターの増加値ｄｐを計算する。
Ｄ−６．変形例６：
上記実施形態では、パラメーター設定部１６７は、カメラパラメーターＣＰも最適化により導出したが、製造時の設計値からのばらつきが少ない場合には、カメラパラメーターＣＰについては設計値を設定し、カメラ６０と光学像表示部２６，２８との間の空間関係だけを導出してもよい。この変形例のＨＭＤ１００では、最適化するパラメーターの数が少なくなる。また、製造上、ばらつきの少ないパラメーターに対して、設計値を代入することで、コスト関数Ｅをより小さくするパラメーターの最適化を行ないつつ、パラメーターを最適化するための時間を短くできる。
D-6. Modification 6:
In the above embodiment, the
上記実施形態では、右光学像表示部２６に表示されるマーカーと左光学像表示部２８に表示されるマーカーとは、同じマーカー画像ＩＭＧであったが、マーカー画像ＩＭＧおよび実物マーカーＭＫ１，ＭＫ２については、種々変形可能である。例えば、右光学像表示部２６と左光学像表示部２８とのそれぞれに表示されるマーカーの画像は、異なるマーカーの画像であってもよい。また、マーカー画像ＩＭＧおよび実物マーカーＭＫ１，ＭＫ２は、導出されるパラメーターの精度に応じて、種々変形可能である。例えば、実物マーカーＭＫ１に含まれる円の数は、１０個に限られず、１０個よりも多くてよいし、１０個よりも少なくてもよい。また、実物マーカーＭＫ１に含まれる複数の特徴点は、円の中心でなくてもよく、単に三角形の重心であってもよい。また、実物マーカーＭＫ１の内部に並行でない複数の直線が形成されて、直線の交点が複数の特徴点として特定されてもよい。また、マーカー画像ＩＭＧと実物マーカーＭＫ１，ＭＫ２とは、異なるマーカーであってもよい。マーカー画像と実物マーカーとを重ねる場合に、どの部分を重ね合わせるのかが使用者に認識される範囲で、マーカー画像と実物マーカーとについては、種々変形可能である。例えば、矩形状のマーカー画像に対して、正円の実物マーカーの中心をマーカー画像の中心に合わせるような位置合わせであってもよい。
In the above embodiment, the marker displayed on the right optical
上記実施形態では、カメラ６０のカメラパラメーターＣＰが最適化される場合に、焦点距離(Fx,Fy)と、カメラ主点位置（撮像画像の中心位置）(Cx,Cy)と、が最適化されたが、これらに代えて、またはこれらとともに、カメラ６０のカメラパラメーターＣＰとして歪係数を最適化してもよい。
In the above embodiment, when the camera parameter CP of the
Ｄ−７． 変形例７：
第１実施形態において定義された式（１５）のコスト関数に、以下の付加的な制約条件を加えてもよい。使用者ＵＳの目視によるアライメントは、それぞれの光学像表示部２６，２７に対して別々に行われることから、そのアライメントエラーは、必ずしも同じではない。このため、左および右の光学像表示部２６、２８に対するカメラ６０の２つの並進のうち、Ｔｙ成分の推定が光学像表示部２６，２８の間で大きく異なることがあり得る。２つのＴｙ成分が大きく異なる場合には、ユーザーが立体視の融合問題を経験する。カメラ６０と光学像表示部２６、２８との間の並進Ｔｙの最大の差が所定有限値であることから、左右のＴｙ差の絶対値の関数として下記式（２５）のように定義する関数を式（１５）に加えてもよい。式（２５）を式（１５）に加えた場合には、式（１５）は、下記の式（２６）のように表される。
式（１５）は以下のようになる。
You may add the following additional restrictions to the cost function of Formula (15) defined in 1st Embodiment. Since the visual alignment of the user US is performed separately for each of the optical
Equation (15) is as follows.
本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。 The present invention is not limited to the above-described embodiments and modifications, and can be realized with various configurations without departing from the spirit of the present invention. For example, the technical features in the embodiments and the modifications corresponding to the technical features in each form described in the summary section of the invention are to solve some or all of the above-described problems, or In order to achieve part or all of the effects, replacement or combination can be performed as appropriate. Further, if the technical feature is not described as essential in the present specification, it can be deleted as appropriate.
ＣＤ１，ＣＤ２…座標軸、ＣＬ１，ＣＬ２…対角線、ＣＰ…カメラパラメーター、ＣＳ…カーソル画像、ＩＭＧ…マーカー画像、ＲＥ…右眼、ＬＥ…左眼、ＭＫ１，ＭＫ１Ａ，ＭＫ２，ＭＫ３，ＭＫ４，ＭＫ５…実物マーカー、ＯＡ…外部機器、ＰＭＬ…左変換パラメーター、ＰＭＲ…右変換パラメーター、ＲＰ…右眼位置、ＳＩＭ…設定画像、ＶＲ…視野、ＩＣ１，ＩＣ２，ＩＣ３，ＩＣ４，ＩＣ５，ＩＣ６，ＩＣ７，ＩＣ８，ＩＣ９…アイコン、１０…制御部、２０…画像表示部、２１…右保持部、２２…右表示駆動部、２３…左保持部、２４…左表示駆動部、２６…右光学像表示部、２８…左光学像表示部、３２…右イヤホン、３４…左イヤホン、４０…接続部、４６…連結部材、５１，５２…送信部、５３，５４…受信部、６０…カメラ、９０…装着帯、９１…装着基部、９２…ベルト部、９３…連結部、１００，１０１…ＨＭＤ（頭部装着型表示装置）、１２１…ＲＯＭ、１２２…ＲＡＭ、１３０…電源、１３５…操作部、１３８…マーカー画像記憶部、１４０…ＣＰＵ、１５０…オペレーティングシステム、１６０…画像処理部、１６５…表示設定部、１６６…マーカー特定部、１６７…パラメーター設定部、１７０…音声処理部、１８０…インターフェイス、１９０…表示制御部、２０１…右バックライト制御部、２０２…左バックライト制御部、２１１…右ＬＣＤ制御部、２１２…左ＬＣＤ制御部、２２１…右バックライト、２２２…左バックライト、２４１…右ＬＣＤ、２４２…左ＬＣＤ、２５１…右投写光学系、２５２…左投写光学系、２６１…右導光板、２６２…左導光板
CD1, CD2 ... coordinate axis, CL1, CL2 ... diagonal, CP ... camera parameter, CS ... cursor image, IMG ... marker image, RE ... right eye, LE ... left eye, MK1, MK1A, MK2, MK3, MK4, MK5 ... actual Marker, OA ... external device, PML ... left conversion parameter, PMR ... right conversion parameter, RP ... right eye position, SIM ... setting image, VR ... field of view, IC1, IC2, IC3, IC4, IC5, IC6, IC7, IC8, IC9 ... icon, 10 ... control unit, 20 ... image display unit, 21 ... right holding unit, 22 ... right display driving unit, 23 ... left holding unit, 24 ... left display driving unit, 26 ... right optical image display unit, 28 ... left optical image display unit, 32 ... right earphone, 34 ... left earphone, 40 ... connection unit, 46 ... coupling member, 51, 52 ... transmission unit, 53, 54 ... reception unit, 60 ... La, 90 ... wearing band, 91 ... wearing base, 92 ... belt part, 93 ... coupling part, 100, 101 ... HMD (head-mounted display device), 121 ... ROM, 122 ... RAM, 130 ... power supply, 135 ... Operation unit, 138 ... marker image storage unit, 140 ... CPU, 150 ... operating system, 160 ... image processing unit, 165 ... display setting unit, 166 ... marker specifying unit, 167 ... parameter setting unit, 170 ... audio processing unit, 180 DESCRIPTION OF SYMBOLS ... Interface, 190 ... Display control part, 201 ... Right backlight control part, 202 ... Left backlight control part, 211 ... Right LCD control part, 212 ... Left LCD control part, 221 ... Right backlight, 222 ...
Claims (9)
外景からの光を透過可能であって、画像を表示可能な画像表示部と、
前記外景を撮像可能な撮像部と、
前記画像表示部に表示させる画像を設定する画像設定部と、
撮像された外景の中から予め設定された特定オブジェクトを特定するオブジェクト特定部と、
パラメーター設定部と、を備え、
前記画像設定部は、使用者によって前記特定オブジェクトに少なくとも部分的にほぼ一致させて視認されることが可能なマーカー画像を前記画像表示部に表示させ、
前記オブジェクト特定部が撮像された外景の中から前記特定オブジェクトを特定した後、前記パラメーター設定部が使用者の頭部が実質的に静止状態にあると判定する場合に、前記画像設定部は前記外景を撮像するまでの時間を表す情報を使用者に報知し、
前記パラメーター設定部は、前記外景を撮像するまでの時間が経過した場合に、前記撮像部に外景を撮像させる、頭部装着型表示装置。 A head-mounted display device,
An image display unit capable of transmitting light from an outside scene and displaying an image;
An imaging unit capable of imaging the outside scene;
An image setting unit for setting an image to be displayed on the image display unit;
An object specifying unit for specifying a specific object set in advance from the captured outside scene;
A parameter setting unit,
The image setting unit causes the image display unit to display a marker image that can be visually recognized by the user so as to at least partially substantially match the specific object,
When the parameter setting unit determines that the user's head is substantially stationary after specifying the specific object from the outside scene captured by the object specifying unit, the image setting unit Inform the user of information representing the time until the outside scene is imaged,
The parameter setting unit is a head-mounted display device that causes the imaging unit to image an outside scene when a time until imaging the outside scene has elapsed.
前記オブジェクト特定部が撮像された外景の中から前記特定オブジェクトを特定した後、前記オブジェクト特定部が前記特定オブジェクトの暫定的な位置および姿勢を導出し、
前記パラメーター設定部が、前記導出された暫定的な位置および姿勢と、既定の位置および姿勢と、の差が閾値を下回ると判定する場合に場合であって、前記使用者の前記頭部が実質的に静止状態にあると判定する場合に、前記画像設定部は前記外景を撮像するまでの時間を表す情報を使用者に報知する、頭部装着型表示装置。 The head-mounted display device according to claim 1,
After specifying the specific object from the outside scene captured by the object specifying unit, the object specifying unit derives a provisional position and orientation of the specific object,
In the case where the parameter setting unit determines that a difference between the derived provisional position and posture and a predetermined position and posture is below a threshold value, the user's head is substantially A head-mounted display device in which the image setting unit notifies the user of information indicating a time until the outside scene is imaged when it is determined that the camera is in a stationary state.
前記パラメーター設定部は、前記静止状態の場合に、前記撮像部に対する前記特定オブジェクトの位置および姿勢を算出し、前記画像表示部と前記撮像部との予め設定された空間関係と前記算出した位置および姿勢とを用いて、前記画像表示部に対する前記特定オブジェクトの前記暫定的な位置および姿勢を算出し、前記画像表示部に表示されているマーカー画像の仮想的な位置および姿勢と前記暫定的な位置および姿勢とのずれが予め設定された所定の差以下の場合に、前記撮像部が外景を撮像するまでの時間を表す情報を使用者に報知する、頭部装着型表示装置。 The head-mounted display device according to claim 2,
The parameter setting unit calculates the position and orientation of the specific object with respect to the imaging unit in the stationary state, and sets a predetermined spatial relationship between the image display unit and the imaging unit and the calculated position and The temporary position and posture of the specific object with respect to the image display unit are calculated using the posture, and the virtual position and posture of the marker image displayed on the image display unit and the temporary position And a head-mounted display device that informs a user of information indicating a time until the imaging unit captures an outside scene when the deviation from the posture is equal to or less than a predetermined difference.
前記マーカー画像の仮想的な位置および姿勢と前記暫定的な位置および姿勢とのずれは、３次元座標系における回転のずれと、並進のずれと、を含み、
前記回転のずれが予め設定された所定の差よりも大きい場合であって、前記並進のずれが予め設定された所定の差よりも大きい場合と、前記場合以外の場合とで、前記画像表示部が表示を変える、頭部装着型表示装置。 The head-mounted display device according to claim 3,
Deviations between the virtual position and orientation of the marker image and the provisional position and orientation include a rotational deviation and a translational deviation in a three-dimensional coordinate system,
In the case where the rotational deviation is larger than a predetermined difference set in advance, and in the case where the translational deviation is larger than the predetermined difference set in advance and in the case other than the case, the image display unit Is a head-mounted display that changes the display.
前記画像設定部は、使用者に情報を報知する手段として、前記画像表示部に表示される表示画像を設定する、頭部装着型表示装置。 The head-mounted display device according to claim 4,
The image setting unit is a head-mounted display device that sets a display image displayed on the image display unit as means for notifying a user of information.
前記撮像部が外景を撮像するまでの時間を表す情報は、前記表示画像の色を変化させた画像である、頭部装着型表示装置。 The head-mounted display device according to any one of claims 5 to 5,
The head-mounted display device, wherein the information representing the time until the imaging unit images an outside scene is an image obtained by changing the color of the display image.
前記外景を撮像するまでの前記時間が経過した場合に前記撮像部が撮像した前記外景の撮像画像に基づいて、前記パラメーター設定部は、前記撮像部と前記画像表示部との間の空間関係を導出する、頭部装着表示装置。 The head-mounted display device according to claim 1,
Based on the captured image of the outside scene captured by the imaging unit when the time until the outside scene is captured, the parameter setting unit determines the spatial relationship between the imaging unit and the image display unit. Derived head mounted display device.
前記外景を撮像するまでの前記時間が経過した場合に前記撮像部が撮像した前記外景の撮像画像に基づいて、前記パラメーター設定部は、前記撮像部のカメラパラメーターを導出する、頭部装着表示装置。 The head-mounted display device according to claim 1,
The head-mounted display device, wherein the parameter setting unit derives camera parameters of the imaging unit based on a captured image of the outside scene captured by the imaging unit when the time until the outside scene is captured has elapsed. .
前記画像表示部に表示させる画像を設定する画像設定機能と、
撮像された外景の中から予め設定された特定オブジェクトを特定するオブジェクト特定機能と、
パラメーター設定機能と、を頭部装着型表示装置に実現させ、
前記画像設定機能は、使用者によって前記特定オブジェクトに少なくとも部分的にほぼ一致させて視認されることが可能なマーカー画像を前記画像表示部に表示させ、
前記オブジェクト特定機能が撮像された外景の中から前記特定オブジェクトを特定した後、前記パラメーター設定機能が使用者の頭部が実質的に静止状態にあると判定する場合に、前記画像設定機能は前記外景を撮像するまでの時間を表す情報を使用者に報知し、
前記パラメーター設定機能は、前記外景を撮像するまでの時間が経過した場合に、前記撮像部に外景を撮像させる、コンピュータープログラム。 A computer program for a head-mounted display device comprising an image display unit capable of transmitting light from an outside scene and capable of displaying an image, and an imaging unit capable of imaging the outside scene,
An image setting function for setting an image to be displayed on the image display unit;
An object specifying function for specifying a preset specific object from the captured outside scene;
Realize the parameter setting function on the head-mounted display device,
The image setting function causes the image display unit to display a marker image that can be visually recognized by the user so as to at least partially substantially match the specific object,
When the parameter setting function determines that the user's head is substantially in a stationary state after the specific object is specified from the outside scene captured by the object specifying function, the image setting function is Inform the user of information representing the time until the outside scene is imaged,
The parameter setting function is a computer program that causes the imaging unit to image an outside scene when a time until the outside scene is captured has elapsed.
Priority Applications (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015235307A JP6701694B2 (en) | 2015-12-02 | 2015-12-02 | Head-mounted display and computer program |
| US15/187,257 US10192361B2 (en) | 2015-07-06 | 2016-06-20 | Head-mounted display device and computer program |
| EP16178033.3A EP3115873B1 (en) | 2015-07-06 | 2016-07-05 | Head-mounted display device and computer program |
| US15/346,261 US10347048B2 (en) | 2015-12-02 | 2016-11-08 | Controlling a display of a head-mounted display device |
| US15/346,112 US10424117B2 (en) | 2015-12-02 | 2016-11-08 | Controlling a display of a head-mounted display device |
| US16/123,904 US10242504B2 (en) | 2015-07-06 | 2018-09-06 | Head-mounted display device and computer program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015235307A JP6701694B2 (en) | 2015-12-02 | 2015-12-02 | Head-mounted display and computer program |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2017102696A true JP2017102696A (en) | 2017-06-08 |
| JP2017102696A5 JP2017102696A5 (en) | 2019-01-10 |
| JP6701694B2 JP6701694B2 (en) | 2020-05-27 |
Family
ID=59017353
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015235307A Active JP6701694B2 (en) | 2015-07-06 | 2015-12-02 | Head-mounted display and computer program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6701694B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101900475B1 (en) * | 2017-06-29 | 2018-11-08 | 주식회사 맥스트 | Calibration method for matching of augmented reality object and head mounted display for executing the method |
| WO2019130900A1 (en) * | 2017-12-26 | 2019-07-04 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2020113950A (en) * | 2019-01-16 | 2020-07-27 | 住友重機械工業株式会社 | Information processing device, program, and image recognition marker set |
| CN113448432A (en) * | 2020-03-24 | 2021-09-28 | 宏达国际电子股份有限公司 | Method for managing virtual conference, head-mounted display, and computer-readable storage medium |
| JP2023511066A (en) * | 2020-01-15 | 2023-03-16 | マジック リープ， インコーポレイテッド | Deformation Compensation in Head-Mounted Display Systems |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011133650A (en) * | 2009-12-24 | 2011-07-07 | Nikon Corp | Imaging apparatus |
| JP2013127783A (en) * | 2011-12-12 | 2013-06-27 | Canon Inc | Key frame selection for parallel tracking and mapping |
| WO2013145147A1 (en) * | 2012-03-28 | 2013-10-03 | パイオニア株式会社 | Head mounted display and display method |
| JP2015159383A (en) * | 2014-02-21 | 2015-09-03 | ソニー株式会社 | Wearable equipment, control device, imaging control method and automatic imaging apparatus |
-
2015
- 2015-12-02 JP JP2015235307A patent/JP6701694B2/en active Active
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011133650A (en) * | 2009-12-24 | 2011-07-07 | Nikon Corp | Imaging apparatus |
| JP2013127783A (en) * | 2011-12-12 | 2013-06-27 | Canon Inc | Key frame selection for parallel tracking and mapping |
| WO2013145147A1 (en) * | 2012-03-28 | 2013-10-03 | パイオニア株式会社 | Head mounted display and display method |
| JP2015159383A (en) * | 2014-02-21 | 2015-09-03 | ソニー株式会社 | Wearable equipment, control device, imaging control method and automatic imaging apparatus |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101900475B1 (en) * | 2017-06-29 | 2018-11-08 | 주식회사 맥스트 | Calibration method for matching of augmented reality object and head mounted display for executing the method |
| WO2019004565A1 (en) * | 2017-06-29 | 2019-01-03 | 주식회사 맥스트 | Calibration method for adjusting augmented reality object and head-mounted display for performing same |
| WO2019130900A1 (en) * | 2017-12-26 | 2019-07-04 | ソニー株式会社 | Information processing device, information processing method, and program |
| JP2020113950A (en) * | 2019-01-16 | 2020-07-27 | 住友重機械工業株式会社 | Information processing device, program, and image recognition marker set |
| JP7292883B2 (en) | 2019-01-16 | 2023-06-19 | 住友重機械工業株式会社 | Information processing device, program, marker set for image recognition |
| JP2023511066A (en) * | 2020-01-15 | 2023-03-16 | マジック リープ， インコーポレイテッド | Deformation Compensation in Head-Mounted Display Systems |
| US11854171B2 (en) | 2020-01-15 | 2023-12-26 | Magic Leap, Inc. | Compensation for deformation in head mounted display systems |
| CN113448432A (en) * | 2020-03-24 | 2021-09-28 | 宏达国际电子股份有限公司 | Method for managing virtual conference, head-mounted display, and computer-readable storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6701694B2 (en) | 2020-05-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10242504B2 (en) | Head-mounted display device and computer program | |
| JP6852355B2 (en) | Program, head-mounted display device | |
| US10424117B2 (en) | Controlling a display of a head-mounted display device | |
| US10469836B2 (en) | Head-mounted display device and computer program | |
| US10269139B2 (en) | Computer program, head-mounted display device, and calibration method | |
| TWI591378B (en) | Calibration method of ost hmd of ar system and non-transient computer readable media | |
| US9846968B2 (en) | Holographic bird's eye view camera | |
| JP5923603B2 (en) | Display device, head mounted display, calibration method, calibration program, and recording medium | |
| JP2017108370A (en) | Head-mounted display device and computer program | |
| JP6701694B2 (en) | Head-mounted display and computer program | |
| CN112926428A (en) | Method and system for training object detection algorithm using composite image and storage medium | |
| WO2019155916A1 (en) | Image display device using retinal scan display unit and method therefor | |
| JP2017182274A (en) | Information processing device and computer program | |
| WO2021146035A1 (en) | Compensation for deformation in head mounted display systems | |
| JP6349660B2 (en) | Image display device, image display method, and image display program | |
| JP6509101B2 (en) | Image display apparatus, program and method for displaying an object on a spectacle-like optical see-through type binocular display | |
| US10296098B2 (en) | Input/output device, input/output program, and input/output method | |
| JP6701693B2 (en) | Head-mounted display and computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181121 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181121 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20191219 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200107 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200204 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200407 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200420 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6701694 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |