JP4985531B2

JP4985531B2 - Mirror system

Info

Publication number: JP4985531B2
Application number: JP2008109490A
Authority: JP
Inventors: 信吾湯浅; 百合子上垣; 逸人松田; 秀育穐原; 晶子播磨
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2008-04-18
Filing date: 2008-04-18
Publication date: 2012-07-25
Anticipated expiration: 2028-04-18
Also published as: JP2009259117A

Description

本発明は、ミラーシステムに関する。 The present invention relates to a mirror system.

従来、ユーザの鏡像を映し出すハーフミラーと、ハーフミラーのユーザ反対側に設けられた拡散層に投射光を投射して情報等を表示する情報表示機能付きミラーシステムが知られている。このミラーシステムによると、鏡像の他に、鏡像として映るユーザに対応して、小鳥や犬などの映像を映し出すことができ、ユーザ自身の鏡像と映像とが一体となった表示を行うことができる（特許文献１参照）。
特開２００６−３３００１１号公報（段落[００４４]参照） 2. Description of the Related Art Conventionally, a half mirror that reflects a user's mirror image and a mirror system with an information display function that displays information and the like by projecting projection light onto a diffusion layer provided on the opposite side of the half mirror to the user are known. According to this mirror system, in addition to the mirror image, it is possible to project a video of a bird, a dog, or the like corresponding to the user who is reflected as a mirror image, and a display in which the user's own mirror image and video are integrated. (See Patent Document 1).
JP 2006-330011 A (see paragraph [0044])

ここで、特許文献１に記載のシステムは、カメラにより撮影された人の形と大きさから、表示装置に対する人の位置と距離とを計算して鏡に反射されている人の鏡像を推定し、推定された鏡像に応じて、小鳥や犬などの映像の位置や大きさを決定している。このため、特許文献１に記載のシステムは、ユーザの鏡像を推定するという複雑な処理が必要となってしまう。 Here, the system disclosed in Patent Document 1 calculates the position and distance of a person relative to the display device from the shape and size of the person photographed by the camera, and estimates the mirror image of the person reflected by the mirror. Depending on the estimated mirror image, the position and size of the image of the bird, dog, etc. are determined. For this reason, the system described in Patent Document 1 requires a complicated process of estimating a mirror image of the user.

また、特許文献１に記載のシステムを含む従来のミラーシステムは、ユーザの鏡像の手が、映像光によって示される映像に触れる（すなわちユーザから重なって見える）動作を行ったとしても、その動作は何ら反映されることがなかった。また、特許文献１に記載のシステムの技術を応用し、ユーザが操作対象映像光によって映し出される操作対象に触れる動作を行ったときに何らかの制御を行うシステムを提供しようとした場合、処理が非常に複雑となってしまう。すなわち、特許文献１に記載のシステムの技術を応用した場合、ユーザの鏡像を推定し、ユーザの鏡像のうち、手の位置が操作対象映像光の投射位置に合致することを演算等により求める必要がある。このため、激しく動かすことが可能な手について手が動くごとに鏡像を推定する必要があり、処理が非常に複雑となってしまう。 Moreover, even if the conventional mirror system including the system described in Patent Literature 1 performs an operation in which the user's mirror image touches the image indicated by the image light (that is, the image appears to overlap the user), the operation is Nothing was reflected. In addition, when the system technology described in Patent Document 1 is applied to provide a system that performs some control when the user performs an operation of touching the operation target displayed by the operation target video light, the processing is extremely high. It becomes complicated. That is, when the system technology described in Patent Document 1 is applied, it is necessary to estimate a user's mirror image and to obtain, by calculation or the like, that the position of the hand matches the projection position of the operation target video light in the user's mirror image. There is. For this reason, it is necessary to estimate a mirror image each time the hand moves, and the process becomes very complicated.

本発明は、上記問題点を解決するために成されたものであり、その目的とするところは、ユーザが操作対象映像光によって示される操作対象に触れる動作を行った場合の判断における処理負荷を軽減させることが可能なミラーシステムを提供することである。 The present invention has been made to solve the above-described problems, and the object of the present invention is to reduce the processing load in the determination when the user performs an operation that touches the operation target indicated by the operation target video light. To provide a mirror system that can be reduced.

本発明に係るミラーシステムは、映像光を投射する投光手段と、投光手段に投射された映像光を映して映像をユーザに視認可能とさせると共に、ユーザ自身の鏡像を表示可能な表示部と、ユーザを撮像するカメラと、カメラにより撮像された画像上におけるユーザの目の位置を検出する目位置検出手段と、カメラにより撮像された画像上におけるユーザの手の位置を検出する手位置検出手段と、投光手段から投射される映像光のうち、ユーザの操作対象を映し出す操作対象映像光の表示部上における投射位置を制御値に基づいて制御する制御手段と、を備え、制御手段は、目位置検出手段により検出された画像上における目の位置と、手位置検出手段により検出された画像上における手の位置との中間位置と、制御値との対応関係から、ユーザ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたか否かを判断することを特徴とする。 A mirror system according to the present invention includes a light projecting unit that projects video light, and a display unit that displays the video light projected on the light projecting unit so that the user can view the video and can display a mirror image of the user. A camera for imaging the user, eye position detection means for detecting the position of the user's eyes on the image captured by the camera, and hand position detection for detecting the position of the user's hand on the image captured by the camera And control means for controlling the projection position on the display unit of the operation target video light for projecting the user's operation target out of the video light projected from the light projection means, based on the control value. From the correspondence between the eye position on the image detected by the eye position detecting means and the intermediate position between the hand position on the image detected by the hand position detecting means and the control value, Wherein the hand of its mirror image it is determined whether the touched operation target indicated by the operation subject image light.

このミラーシステムによれば、目位置検出手段により検出された画像上における目の位置と、手位置検出手段により検出された画像上における手の位置との中間位置と、制御値との対応関係から、ユーザ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたか否かを判断する。ここで、ユーザは、ユーザから表示部までの距離の約２倍の位置に自己の鏡像を視認する。すなわち、ユーザとユーザの鏡像との中間に表示部が存在するような状態ともいえる。しかも、表示部は、ユーザから表示部との距離に拘わらず、常に中間に位置している。そして、ユーザの目と鏡像の手との中間にも表示部が存在するといえ、ユーザの視点からすると、ユーザの目の位置と鏡像の手の位置との中間地点に、操作対象映像光の投射位置が位置していれば、ユーザには手が操作対象に触れたように認識される。このように、ユーザが操作対象に触れたか否かを判断するにあたり、鏡像の推定は必要なく、ユーザの目の位置の情報と、ユーザの手の位置の情報と、操作対象映像光の投射位置を示す制御値の情報があれば足りる。従って、ユーザが操作対象映像光によって示される操作対象に触れる動作を行った場合の判断における処理負荷を軽減させる。 According to this mirror system, the correspondence between the control position and the intermediate position between the eye position on the image detected by the eye position detection means and the hand position on the image detected by the hand position detection means Then, it is determined whether or not the mirror image hand of the user touches the operation target indicated by the operation target video light. Here, the user visually recognizes his / her mirror image at a position approximately twice the distance from the user to the display unit. That is, it can be said that the display unit exists between the user and the mirror image of the user. Moreover, the display unit is always located in the middle regardless of the distance from the user to the display unit. Further, it can be said that there is a display unit between the user's eyes and the mirror image hand. From the user's viewpoint, the projection of the operation target image light is performed at an intermediate point between the user's eye position and the mirror image hand position. If the position is located, the user recognizes that the hand has touched the operation target. Thus, in determining whether or not the user has touched the operation target, it is not necessary to estimate the mirror image, but the user's eye position information, the user's hand position information, and the operation target image light projection position. It is sufficient to have control value information indicating. Accordingly, the processing load in the determination when the user performs an operation of touching the operation target indicated by the operation target video light is reduced.

また、本発明に係るミラーシステムにおいて、制御手段は、カメラにより撮像された画像上における中間位置の座標値を座標変換して表示部上における第１座標値とすると共に、この第１座標値と、制御値が示す表示部上における第２座標値との差が所定値以内である場合に、ユーザ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたと判断することが好ましい。 In the mirror system according to the present invention, the control means performs coordinate conversion of the coordinate value of the intermediate position on the image captured by the camera to obtain the first coordinate value on the display unit, and the first coordinate value and When the difference from the second coordinate value on the display unit indicated by the control value is within a predetermined value, it is preferable to determine that the hand of the mirror image of the user touches the operation target indicated by the operation target video light.

このミラーシステムによれば、画像上における中間位置の座標値を座標変換して表示部上における第１座標値を求め、この第１座標値と制御値が示す第２座標値との差が所定値以内である場合に、ユーザ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたと判断する。このため、中間位置を求めた後は、既存技術である座標値の変換と、制御値が示す座標値との比較のみで、操作対象映像光に触れたか否かを判断でき、処理負荷を軽減させることができる。 According to this mirror system, the coordinate value of the intermediate position on the image is transformed to obtain the first coordinate value on the display unit, and the difference between the first coordinate value and the second coordinate value indicated by the control value is predetermined. If it is within the value, it is determined that the mirror image hand of the user touches the operation target indicated by the operation target video light. For this reason, after obtaining the intermediate position, it is possible to determine whether or not the operation target image light has been touched only by converting the coordinate value, which is an existing technology, and comparing the coordinate value indicated by the control value, thereby reducing the processing load. Can be made.

また、本発明に係るミラーシステムにおいて、制御手段は、ユーザ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたと判断した場合、予め定められた制御を実行することが好ましい。 In the mirror system according to the present invention, it is preferable that the control unit executes a predetermined control when it is determined that the hand of the mirror image of the user touches the operation target indicated by the operation target video light.

このミラーシステムによれば、ユーザ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたと判断した場合、予め定められた制御を実行するため、ユーザが操作対象映像光を操作して機器等を制御させるという新たな機器操作を提案することができる。 According to this mirror system, when it is determined that the user's own mirror image hand touches the operation target indicated by the operation target video light, the user operates the operation target video light to execute predetermined control. It is possible to propose a new device operation for controlling a device or the like.

また、本発明に係るミラーシステムにおいて、制御手段は、表示部に向き合った状態でユーザに運動を促すエクササイズコンテンツを選択させる操作対象を表示させ、ユーザ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたと判断した場合、エクササイズコンテンツを実行することが好ましい。 In the mirror system according to the present invention, the control means displays an operation target for selecting exercise content that prompts the user to exercise while facing the display unit, and the user's own mirror image hand is indicated by the operation target video light. When it is determined that the touched operation target is touched, it is preferable to execute the exercise content.

このミラーシステムによれば、表示部に向き合った状態でユーザに運動を促すエクササイズコンテンツを選択させる操作対象を表示させ、ユーザ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたと判断した場合、エクササイズコンテンツを実行する。このため、エクササイズのコンテンツを実行するにあたり、ユーザは各機器のスイッチ操作等を行うために、表示部の前から離れ、その後表示部の前に移動し、エクササイズを行うという煩わしさがなく、表示部の前から移動しないまま、操作対象に触れてエクササイズコンテンツを実行させることができる。 According to this mirror system, an operation target for selecting exercise content that encourages the user to exercise while facing the display unit is displayed, and it is determined that the user's own mirror image hand touches the operation target indicated by the operation target video light. If so, exercise content is executed. For this reason, when executing the exercise content, the user leaves the front of the display unit and then moves to the front of the display unit to perform the switch operation of each device. The exercise content can be executed by touching the operation target without moving from the front of the section.

また、本発明に係るミラーシステムにおいて、エクササイズコンテンツは、ユーザ以外から与えられた動力によって動作する他動運動器具をユーザが使用している際に、ユーザに運動を促すコンテンツであって、制御手段は、エクササイズコンテンツの実行中において、表示部に操作対象映像光を投射させ、この操作対象映像光によって示される操作対象にユーザ自身の鏡像の手が触れたと判断した場合、得点を加算又は減算させることが好ましい。 Further, in the mirror system according to the present invention, the exercise content is content that prompts the user to exercise when the user uses a passive exercise device that operates with power given by a person other than the user, and is a control means. During execution of the exercise content, the operation target video light is projected on the display unit, and if it is determined that the mirror image of the user touches the operation target indicated by the operation target video light, the score is added or subtracted. It is preferable.

このミラーシステムによれば、他動運動器具をユーザが使用している際に表示部に操作対象映像光を投射させ、この操作対象映像光によって示される操作対象にユーザ自身の鏡像の手が触れたと判断した場合、得点を加算又は減算させるため、単に他動運動器具を使用しているだけでなく、他動運動器具の使用に加えて、エクササイズを行うことができ、一層エクササイズ効果を高めることができる。さらに、得点の加減算を行っているため、ゲーム感覚を与えることができる。 According to this mirror system, when the user uses the passive exercise apparatus, the operation target video light is projected on the display unit, and the user's own mirror image touches the operation target indicated by the operation target video light. In addition to using passive exercise equipment, in addition to the use of passive exercise equipment, exercise can be performed to further increase the exercise effect. Can do. Furthermore, since the score is added or subtracted, a game feeling can be given.

また、本発明に係るミラーシステムにおいて、制御手段は、エクササイズコンテンツ実行中において、ユーザの手の位置を動かす経路を示す操作対象映像光を表示部に投射させ、この操作対象映像光に沿ってユーザの手が動いていると判断した場合、操作対象映像光によって示される操作対象の色を変化させることが好ましい。 Further, in the mirror system according to the present invention, the control means projects an operation target video light indicating a path for moving the position of the user's hand on the display unit during execution of the exercise content, and the user follows the operation target video light. When it is determined that the hand is moving, it is preferable to change the color of the operation target indicated by the operation target image light.

このミラーシステムによれば、ユーザの手の位置を動かす経路を示す操作対象映像光を表示部に投射させるため、ユーザが行うべき動きを表現することができる。また、操作対象に沿ってユーザの手が動いていると判断した場合、操作対象の色を変化させる。このため、ユーザが適切な動きを行った場合に、その告知を行うことができる。 According to this mirror system, since the operation target image light indicating the path for moving the position of the user's hand is projected on the display unit, the movement to be performed by the user can be expressed. When it is determined that the user's hand is moving along the operation target, the color of the operation target is changed. For this reason, when a user performs an appropriate motion, the notification can be performed.

本発明に係るミラーシステムよれば、ユーザが操作対象映像光によって示される操作対象に触れる動作を行った場合の判断における処理負荷を軽減させることができる。 According to the mirror system of the present invention, it is possible to reduce the processing load in the determination when the user performs an operation of touching the operation target indicated by the operation target video light.

以下、図面を参照して、本発明の実施の形態を説明する。図１は、本発明の実施形態に係るミラーシステムを示す外観構成図である。ミラーシステム１は、ユーザＨの鏡像を映し出すと共に、映像を表示するものである。このミラーシステム１は、プロジェクタ（投光手段）１０と、表示部２０と、正面カメラ（カメラ）３０と、コンピュータ（制御手段）４０とを備えている。なお、図１では、ユーザＨが表示部２０の表示面に対して正対している例を図示している。 Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is an external configuration diagram showing a mirror system according to an embodiment of the present invention. The mirror system 1 displays a mirror image of the user H and displays an image. The mirror system 1 includes a projector (light projection means) 10, a display unit 20, a front camera (camera) 30, and a computer (control means) 40. In FIG. 1, an example in which the user H faces the display surface of the display unit 20 is illustrated.

プロジェクタ１０は、映像光を投射するものである。表示部２０は、プロジェクタ１０によって投射された映像光を映して映像をユーザＨに視認可能とさせると共に、ユーザＨ自身の鏡像を表示可能なものである。正面カメラ３０は、ユーザＨを撮像するものである。コンピュータ４０は、正面カメラ３０により撮像された撮像画像に基づいて、各種制御を行うものである。以下、各部について詳細に説明する。 The projector 10 projects image light. The display unit 20 is capable of displaying the video light projected by the projector 10 to make the video visible to the user H and displaying a mirror image of the user H itself. The front camera 30 images the user H. The computer 40 performs various controls based on the captured image captured by the front camera 30. Hereinafter, each part will be described in detail.

プロジェクタ１０は、表示部２０の裏側ＢＳに設置され、映像光を表示部２０の裏側ＢＳから投射するものである。このプロジェクタ１０は、コンピュータ４０から映像ケーブル或いは無線通信により映像データを受信し、この受信した映像データに基づいて映像光を投射する構成となっている。また、プロジェクタ１０は、コンピュータ４０からの指示に基づいて、操作対象映像光を投射する。操作対象映像光とは、映像光の１種であって、ユーザの操作対象となるアイコン映像や丸形の映像（後述の図６及び図７等参照）などを映し出す光である。 The projector 10 is installed on the back side BS of the display unit 20 and projects image light from the back side BS of the display unit 20. The projector 10 is configured to receive video data from the computer 40 via a video cable or wireless communication, and project video light based on the received video data. Further, the projector 10 projects the operation target video light based on an instruction from the computer 40. The operation target image light is a kind of image light, and is light that displays an icon image or a round image (see FIGS. 6 and 7 described later) or the like that is an operation target of the user.

表示部２０は、プロジェクタ１０が投射する映像光を拡散する拡散層２１と、入射する光の一部を反射し、一部を透過するハーフミラー２３と、拡散層２１とハーフミラー２３の間に位置する透明板２２とを備えている。すなわち、表示部２０は、拡散層２１及びハーフミラー２３を、透明板２２を介して重ね合わせることにより構成されている。 The display unit 20 includes a diffusion layer 21 that diffuses image light projected by the projector 10, a half mirror 23 that reflects part of incident light and transmits part of the light, and a gap between the diffusion layer 21 and the half mirror 23. And a transparent plate 22 positioned thereon. That is, the display unit 20 is configured by superimposing the diffusion layer 21 and the half mirror 23 via the transparent plate 22.

拡散層２１は、例えばシート状の拡散部材で形成されており、透明板２２に貼り付けられて設置されている。なお、拡散層２１は、透明板２２の一部に研磨加工などを施して透明板２２の裏側ＢＳの主面に拡散機能を持たせることにより形成されていてもよい。 The diffusion layer 21 is formed of a sheet-like diffusion member, for example, and is attached to the transparent plate 22 and installed. The diffusion layer 21 may be formed by subjecting a part of the transparent plate 22 to polishing or the like so that the main surface of the back side BS of the transparent plate 22 has a diffusion function.

透明板２２はアクリル又はガラスを材料として構成されている。なお、透明板２２は、これに限らず、透明材料であれば他の材料により構成されていてもよい。ハーフミラー２３は、半透過膜シートを透明板２２の表面に貼り付けて構成されている。また、ハーフミラー２３は、透明板２２の表面に金属膜を金属蒸着させて構成されていてもよい。 The transparent plate 22 is made of acrylic or glass. The transparent plate 22 is not limited to this, and may be made of other materials as long as it is a transparent material. The half mirror 23 is configured by attaching a semi-permeable membrane sheet to the surface of the transparent plate 22. Further, the half mirror 23 may be configured by depositing a metal film on the surface of the transparent plate 22.

また、表示部２０は、透明板２２を有さず、拡散層２１とハーフミラー２３とを直接貼り合わせたものであってもよい。なお、透明板２２を有する方が有さない場合よりも表示部２０の平面度を保つ点で有利である。さらに、表示部２０は、表側ＦＳからみて、拡散層２１、透明板２２及びハーフミラー２３の順に配置されていなくともよく、ハーフミラー２３、拡散層２１及び透明板２２の順に配置されていてもよいし、透明板２２、ハーフミラー２３及び拡散層２１の順に配置されていてもよい。 Further, the display unit 20 does not have the transparent plate 22 and may be obtained by directly bonding the diffusion layer 21 and the half mirror 23 together. In addition, it is advantageous at the point which keeps the flatness of the display part 20 rather than the case where the direction which has the transparent plate 22 does not have. Furthermore, the display unit 20 may not be arranged in the order of the diffusion layer 21, the transparent plate 22, and the half mirror 23 as viewed from the front side FS, but may be arranged in the order of the half mirror 23, the diffusion layer 21, and the transparent plate 22. Alternatively, the transparent plate 22, the half mirror 23, and the diffusion layer 21 may be arranged in this order.

正面カメラ３０は、表示部２０の裏側ＢＳに配置され、ハーフミラー２３の上記性質（一部光を透過する性質）を利用することにより、表示部２０を介してユーザＨを撮像するものである。また、正面カメラ３０は、例えば、ＵＳＢケーブルにより通信が可能なＵＳＢカメラにより構成されている。この場合、正面カメラ３０は、コンピュータ４０とＵＳＢケーブルにより接続されることとなる。なお、本実施形態では、正面カメラ３０は表示部２０の裏側ＢＳに設置されているが、設置位置はこれに限らず、表示部２０の表面ＦＳに設置されていてもよい。また、正面カメラ３０のように、ユーザを正面から撮像するものでなくともよく、側方や上方等から撮像するものであってもよい。 The front camera 30 is arranged on the back side BS of the display unit 20 and takes an image of the user H through the display unit 20 by using the above-described property (property of partially transmitting light) of the half mirror 23. . Further, the front camera 30 is configured by a USB camera that can communicate with a USB cable, for example. In this case, the front camera 30 is connected to the computer 40 by a USB cable. In the present embodiment, the front camera 30 is installed on the back side BS of the display unit 20, but the installation position is not limited to this and may be installed on the surface FS of the display unit 20. Further, it is not necessary to image the user from the front as in the front camera 30, and the user may be imaged from the side or from above.

図２は、図１に示したコンピュータ４０の詳細を示す構成図である。コンピュータ４０は、データの演算処理機能を備える処理演算部（ＣＰＵ）４１と、データを格納するデータベース４２と、プロジェクタ１０、及び正面カメラ３０との間でデータの入出力を制御する入出力部４３を備える。 FIG. 2 is a configuration diagram showing details of the computer 40 shown in FIG. The computer 40 includes a processing arithmetic unit (CPU) 41 having a data arithmetic processing function, a database 42 for storing data, and an input / output unit 43 that controls data input / output between the projector 10 and the front camera 30. Is provided.

処理演算部４１は、正面カメラ３０により撮像された画像上におけるユーザＨの目の位置を検出する目位置検出部（目位置検出手段）４１ａと、正面カメラ３０により撮像された画像上におけるユーザＨの手の位置を検出する手位置検出部（手位置検出手段）４１ｂとを備えている。また、処理演算部４１は、プロジェクタ１０からの投射される操作対象映像光の表示部２０上における投射位置を制御値に基づいて制御する投射位置制御部４１ｃと、ユーザＨ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたか否かを判断する接触判断部４１ｄと、接触判断部４１ｄによりユーザＨ自身の鏡像の手が操作対象に触れたと判断された場合に予め定められた制御を実行する対応制御部４１ｅを備えている。 The processing calculation unit 41 includes an eye position detection unit (eye position detection unit) 41 a that detects the position of the eyes of the user H on the image captured by the front camera 30, and the user H on the image captured by the front camera 30. A hand position detecting unit (hand position detecting means) 41b for detecting the position of the hand. The processing calculation unit 41 includes a projection position control unit 41c that controls the projection position of the operation target video light projected from the projector 10 on the display unit 20 based on the control value, and a mirror image of the user H himself. The contact determination unit 41d that determines whether or not the operation target indicated by the operation target video light has been touched, and the contact determination unit 41d is determined in advance when it is determined that the hand of the mirror image of the user H touches the operation target. A response control unit 41e that executes control is provided.

データベース４２は、映像データ格納部４２ａと、プログラムデータ部４２ｂとを備えている。映像データ格納部４２ａは、プロジェクタ１０から投射される映像光のデータを格納しており、例えば後述するアイコン映像のデータや、丸形の映像のデータなどを格納している。プログラムデータ部４２ｂは、処理演算部４１が行う演算処理のアルゴリズムを規定したコンピュータプログラムのデータを格納したものである。コンピュータプログラムには、正面カメラ３０で撮影した映像をプロジェクタ１０で表示部２０に投影するためのアプリケーションソフトウェア（ＦＬＡＳＨ、Ｃ＋＋などのプログラミング言語で記述されたもの）やオペレーティングシステム（ＯＳ）等の基本ソフトウェアが含まれる。 The database 42 includes a video data storage unit 42a and a program data unit 42b. The video data storage unit 42 a stores video light data projected from the projector 10, and stores, for example, icon video data, round video data, and the like described later. The program data unit 42b stores data of a computer program that defines an algorithm for the arithmetic processing performed by the processing arithmetic unit 41. The computer program includes application software (written in a programming language such as FLASH and C ++) for projecting an image captured by the front camera 30 onto the display unit 20 by the projector 10 and basic software such as an operating system (OS). Is included.

次に、処理演算部４１の各部について詳細に説明する。目位置検出部４１ａは、正面カメラ３０により撮像された画像を処理し、画像内から目を抽出して画像上における目の位置を検出する。具体的に、目位置検出部４１ａは、まず画像内からユーザＨの顔を特定する。次いで、目位置検出部４１ａは、顔の画像を２値化処理し、顔の暗い部分（例えば、眉、アイライン、鼻の穴、上唇と下唇との境界）を抽出する。その後、目位置検出部４１ａは、顔の暗い部分の配置関係から、目の位置を検出する。なお、目の位置の検出については、種々の方法があり、目位置検出部４１ａは、テンプレートマッチングや濃淡画像マッチングなど他の方法により、目の位置を検出してもよい。 Next, each part of the process calculating part 41 is demonstrated in detail. The eye position detection unit 41a processes an image captured by the front camera 30, extracts eyes from the image, and detects the position of the eyes on the image. Specifically, the eye position detection unit 41a first identifies the face of the user H from the image. Next, the eye position detection unit 41a binarizes the face image, and extracts dark parts of the face (for example, eyebrows, eye lines, nostrils, and the boundary between the upper lip and the lower lip). Thereafter, the eye position detection unit 41a detects the eye position from the arrangement relationship of the dark part of the face. There are various methods for detecting the eye position, and the eye position detection unit 41a may detect the eye position by other methods such as template matching and grayscale image matching.

手位置検出部４１ｂは、正面カメラ３０により撮影された画像から手を抽出して画像上におけるユーザＨの手の位置を検出するものである。例えば、手位置検出部４１ｂは、ユーザの身体画像のうち、肌色の部分や、体の輪郭などを利用して手の位置を検出する。 The hand position detection unit 41b detects the position of the hand of the user H on the image by extracting a hand from the image captured by the front camera 30. For example, the hand position detection unit 41b detects the position of the hand using a skin color portion, a body contour, or the like in the body image of the user.

投射位置制御部４１ｃは、操作対象映像光の表示部２０上における投射位置を制御するものである。この投射位置制御部４１ｃは、操作対象映像光を投射させる際、データベース４２から表示部２０上のどの位置に投射するかを示す制御値の情報を読み出し、読み出した制御値に従って投射位置を決定する。そして、投射位置制御部４１ｃは、決定した投射位置に操作対象が映るように、プロジェクタ１０を制御することとなる。 The projection position control unit 41c controls the projection position of the operation target video light on the display unit 20. When projecting the operation target video light, the projection position control unit 41c reads information on a control value indicating which position on the display unit 20 is projected from the database 42, and determines the projection position according to the read control value. . Then, the projection position control unit 41c controls the projector 10 so that the operation target is reflected at the determined projection position.

接触判断部４１ｄは、目位置検出部４１ａにより検出された画像上における目の位置と、手位置検出部４１ｂにより検出された画像上における手の位置との中間位置と、制御値との対応関係から、ユーザＨ自身の手の鏡像が操作対象映像光によって示される操作対象に触れたか否かを判断するものである。 The contact determination unit 41d is a correspondence relationship between the control value and the intermediate position between the eye position on the image detected by the eye position detection unit 41a and the hand position on the image detected by the hand position detection unit 41b. Therefore, it is determined whether or not the mirror image of the hand of the user H touches the operation target indicated by the operation target video light.

図３は、図２に示した接触判断部４１ｄによる接触判断方法を説明する側面図である。図３に示すように、ユーザＨは、ユーザＨの目からハーフミラー２３の反射面までの距離αの２倍離れた位置に自己の目の位置を視認することができる。また、ユーザＨは、ユーザＨの目からハーフミラー２３の反射面までの距離α’の２倍離れた位置に自己の手の位置を視認することができる。このとき、ユーザＨは、自己の手を表示部２０上において点Ｓの位置で視認することとなる。 FIG. 3 is a side view for explaining a contact determination method by the contact determination unit 41d shown in FIG. As shown in FIG. 3, the user H can visually recognize the position of his / her eyes at a position that is twice the distance α from the user H's eyes to the reflecting surface of the half mirror 23. In addition, the user H can visually recognize the position of his / her hand at a position that is twice the distance α ′ from the user's H eye to the reflecting surface of the half mirror 23. At this time, the user H visually recognizes his / her hand at the position of the point S on the display unit 20.

そして、点Ｓの位置は、ユーザＨの表示部２０に対する距離に拘わらず、ほぼ不変となっている。図４は、距離に応じた手の位置を説明する簡略図であり、（ａ）は距離が短い場合を示し、（ｂ）は距離が長い場合を示している。 The position of the point S is almost unchanged regardless of the distance of the user H to the display unit 20. FIG. 4 is a simplified diagram for explaining the position of the hand according to the distance. FIG. 4A shows a case where the distance is short, and FIG. 4B shows a case where the distance is long.

図４（ａ）に示すように、ユーザＨの目の位置ｅとし、ユーザＨの手の位置ｈとし、鏡像における目の位置ｅ’とし、鏡像における手の位置ｈ’とした場合、ユーザＨは、表示部２０上において、点ｅ，ｈ’の中間位置である点Ｓの位置で手の鏡像を確認することとなる。一方、図４（ｂ）に示すように、表示部２０に対する距離が離れた場合、ユーザＨは、表示部２０上において、点ｅ，ｈ’の中間位置である点Ｓの位置で手の鏡像を確認することとなる。この点Ｓは、図４（ａ）及び図４（ｂ）に示すように、地面からの距離がγであり、一致している。 As shown in FIG. 4A, in the case where the eye position of the user H is set to e, the hand position of the user H is set to the eye position e ′ in the mirror image, and the hand position h ′ in the mirror image is set, the user H Will confirm the mirror image of the hand at the position of the point S, which is an intermediate position between the points e and h ′, on the display unit 20. On the other hand, as shown in FIG. 4B, when the distance from the display unit 20 is increased, the user H mirrors the hand on the display unit 20 at the position of the point S that is an intermediate position between the points e and h ′. Will be confirmed. As shown in FIGS. 4A and 4B, this point S has a distance γ from the ground and coincides.

このように、ユーザＨの表示部２０に対する距離に拘わらず、点Ｓは同じとなる。より数学的に説明すると、点Ｓの位置は、図３から明らかなように、ユーザの目の位置とユーザの手の位置とを結ぶ直線ｌの中点ｍから表示部２０に対して法線を引いた位置に該当し、ユーザＨの目と手との位置にのみ依存することがわかる。このため、ユーザＨの目の位置や手の位置が変わらない限り、ユーザＨが表示部２０に対して離れたり近寄ったりしても、点Ｓの位置は不変となる。そして、点Ｓの位置は、ユーザＨの目の位置や手の位置が変化した場合のみ、他の位置に変位することとなる。よって、本実施形態では、ユーザＨの目の位置と手の位置とを検出し、点Ｓに該当する位置を求め、投射位置が点Ｓ（具体的には表示部２０の厚みを考慮して点Ｓ’）の位置となっていれば、ユーザＨ自身の手の鏡像が操作対象映像光によって示される操作対象に触れたか否かを判断できることとなる。 Thus, the point S is the same regardless of the distance of the user H to the display unit 20. More mathematically described, the position of the point S is normal to the display unit 20 from the midpoint m of the straight line l connecting the position of the user's eyes and the position of the user's hand, as is apparent from FIG. It can be seen that the position corresponds to the position of the user H and depends only on the position of the eyes and hands of the user H. For this reason, unless the user H's eye position or hand position changes, the position of the point S remains unchanged even if the user H moves away from or approaches the display unit 20. Then, the position of the point S is displaced to another position only when the eye position or the hand position of the user H changes. Therefore, in the present embodiment, the positions of the eyes and hands of the user H are detected, the position corresponding to the point S is obtained, and the projection position is the point S (specifically, considering the thickness of the display unit 20). If it is at the position of the point S ′), it can be determined whether or not the mirror image of the hand of the user H himself touches the operation target indicated by the operation target video light.

この点Ｓを求めるにあたり、接触判断部４１ｄは、まず、正面カメラ３０により撮像された画像上における目の位置と手の位置との情報を取得し、画像上においてこれらの中間位置の座標値を求める。そして、接触判断部４１ｄは、求めた座標値を座標変換して、表示部２０上における第１座標値（すなわち図３でいうところの点Ｓの位置）を求める。 In obtaining this point S, the contact determination unit 41d first acquires information on the position of the eye and the position of the hand on the image captured by the front camera 30, and obtains the coordinate values of these intermediate positions on the image. Ask. Then, the contact determination unit 41d performs coordinate conversion on the obtained coordinate value to obtain the first coordinate value on the display unit 20 (that is, the position of the point S in FIG. 3).

具体的に説明すると、画像上における目の位置が座標（ｘ₀，ｙ₀）にあり、手の位置が座標（ｘ₁，ｙ₁）であるとすると、接触判断部４１ｄは、中間位置である座標値（（ｘ₁−ｘ₀）／２，（ｙ₁−ｙ₀）／２）を算出する。そして、接触判断部４１ｄは、座標変換を行って、例えば表示部２０上における第１座標値（例えば（ｘ₂，ｙ₂））を算出する。 More specifically, if the position of the eye on the image is at the coordinates (x ₀ , y ₀ ) and the position of the hand is at the coordinates (x ₁ , y ₁ ), the contact determination unit 41d is at the intermediate position. A certain coordinate value ((x ₁ −x ₀ ) / 2, (y ₁ −y ₀ ) / 2) is calculated. Then, the contact determination unit 41d performs coordinate conversion to calculate, for example, a first coordinate value (for example, (x ₂ , y ₂ )) on the display unit 20.

また、投射位置は投射位置制御部４１ｃからの制御値に基づいて判断できる。このため、接触判断部４１ｄは、投射位置制御部４１ｃから制御値の情報を読み込んで、制御値から表示部２０上における第２座標値（例えば（ｘ₂’，ｙ₂’））を求める。そして、接触判断部４１ｄは、第１座標値と第２座標値との差が所定値以内である場合（すなわち（ｘ₂，ｙ₂）と（ｘ₂’，ｙ₂’）との距離が所定値よりも近い場合）、ユーザＨ自身の手の鏡像が操作対象映像光によって示される操作対象に触れたと判断する。 Further, the projection position can be determined based on the control value from the projection position control unit 41c. For this reason, the contact determination unit 41d reads the control value information from the projection position control unit 41c, and obtains the second coordinate value (for example, (x ₂ ', y ₂ ')) on the display unit 20 from the control value. Then, the contact determination unit 41d determines that the distance between the first coordinate value and the second coordinate value is within a predetermined value (that is, the distance between (x ₂ , y ₂ ) and (x ₂ ′, y ₂ ′)). When closer than a predetermined value), it is determined that the mirror image of the hand of the user H touches the operation target indicated by the operation target video light.

以上から、本実施形態に係る接触判断部４１ｄは、ユーザＨの鏡像を推定することなく、簡易にユーザＨが操作対象映像光に触れた状態を判断することとなる。 As described above, the contact determination unit 41d according to the present embodiment simply determines the state in which the user H has touched the operation target image light without estimating the mirror image of the user H.

なお、上記実施形態ではユーザＨを撮影するものとして正面カメラ３０が１つだけ設けられているが、これに限らず、複数のカメラを備えていてもよい。 In the above embodiment, only one front camera 30 is provided for photographing the user H. However, the present invention is not limited to this, and a plurality of cameras may be provided.

図５は、本実施形態に係るミラーシステム１の変形例を示す構成図である。図５に示すように、変形例に係るミラーシステム１は、表示部２０の裏面ＢＳに２つのカメラ３０ａ，３０ｂを有している。これらのカメラ３０ａ，３０ｂは、プロジェクタ１０のからの投射光の邪魔にならない位置、具体的には表示部２０の左右両端位置に設けられている。この構成により、ステレオ立体視の原理を用いて、ユーザＨの目及び手について、より詳細に求めることができる。すなわち、正面カメラ３０が１つだけであると、正面カメラ３０に対して真っ直ぐに手を近づけたり離したりしても、画像上における手の位置は同じ位置に検出されてしまう。このため、座標変換をして点Ｓの位置を求めようとしても、不正確となってしまう可能性がある。ところが、複数のカメラ３０ａ，３０ｂを備える場合、表示部２０からユーザＨの手までの距離を求めることができ、点Ｓの位置を正確に求めることができる。なお、上記では手の位置について説明したが、目の位置についても同様であり、表示部２０からユーザＨの目までの距離を求めることで、点Ｓの位置を正確に求めることができる。また、上記では複数のカメラ３０ａ，３０ｂを備える場合を説明したが、これに限らず、距離画像カメラや距離センサ（レーザ方式及び超音波方式など）を用いてもよい。 FIG. 5 is a configuration diagram showing a modification of the mirror system 1 according to the present embodiment. As illustrated in FIG. 5, the mirror system 1 according to the modification includes two cameras 30 a and 30 b on the back surface BS of the display unit 20. These cameras 30 a and 30 b are provided at positions that do not interfere with the projection light from the projector 10, specifically at the left and right end positions of the display unit 20. With this configuration, the eyes and hands of the user H can be obtained in more detail using the principle of stereo stereoscopic vision. That is, if there is only one front camera 30, the position of the hand on the image is detected at the same position even if the hand is brought close to or away from the front camera 30 straight. For this reason, even if it tries to calculate the position of the point S by performing coordinate conversion, it may become inaccurate. However, when a plurality of cameras 30a and 30b are provided, the distance from the display unit 20 to the hand of the user H can be obtained, and the position of the point S can be obtained accurately. In addition, although the position of the hand was demonstrated above, it is the same also about the position of an eye, and the position of the point S can be calculated | required correctly by calculating | requiring the distance from the display part 20 to the user's H eye. Moreover, although the case where a plurality of cameras 30a and 30b are provided has been described above, the present invention is not limited to this, and a distance image camera or a distance sensor (laser method, ultrasonic method, etc.) may be used.

再度、図２を参照する。図２に示す対応制御部４１ｅは、接触判断部４１ｄによりユーザＨ自身の手の鏡像が操作対象映像光によって示される操作対象に触れたと判断された場合に予め定められた制御を実行するものであって、例えば、後述する図６に示すようなアイコン映像（操作対象映像光によって示される操作対象の１つ）が表示部２０上に表示された状態において、ユーザＨ自身の手の鏡像がアイコン映像に触れたと判断した場合に、アイコンの指定操作の制御を行う構成となっている。この対応制御部４１ｅについて詳細に説明する。 Reference is again made to FIG. The correspondence control unit 41e shown in FIG. 2 executes a predetermined control when the contact determination unit 41d determines that the mirror image of the hand of the user H touches the operation target indicated by the operation target video light. For example, in a state where an icon image (one of operation targets indicated by the operation target image light) as shown in FIG. 6 to be described later is displayed on the display unit 20, the mirror image of the user H's own hand is an icon. When it is determined that an image has been touched, the icon designation operation is controlled. The correspondence control unit 41e will be described in detail.

図６は、アイコンの指定操作画面を示す図である。図６に示すように、プロジェクタ１０からの投射光によって、表示部２０上にアイコン映像１０１〜１０４が表示されている。第１アイコン映像１０１は、ユーザＨに運動を促すエクササイズコンテンツを選択させるための操作対象である。第２アイコン映像１０２は、ユーザＨの身体特徴（体重、身長及び体脂肪率など）を表示するための操作対象である。第３アイコン映像１０３は、ユーザＨが過去に行ったエクササイズの履歴を参照するための操作対象である。第４アイコン映像１０４は、ユーザＨのエクササイズや身体的特徴について、より詳細に参照させるための詳細表示用の操作対象である。 FIG. 6 is a diagram illustrating an icon designation operation screen. As shown in FIG. 6, icon images 101 to 104 are displayed on the display unit 20 by the projection light from the projector 10. The first icon image 101 is an operation target for causing the user H to select exercise content that prompts the user to exercise. The second icon image 102 is an operation target for displaying the body characteristics (such as weight, height, and body fat percentage) of the user H. The third icon video 103 is an operation target for referring to a history of exercises performed by the user H in the past. The fourth icon image 104 is an operation target for detailed display for referring to the exercise and physical characteristics of the user H in more detail.

このようなアイコン映像１０１〜１０４が表示されている状態において、ユーザＨの手が鏡像上において第１アイコン映像１０１と重なるように移動させられたとする。この場合、接触判断部４１ｄは、図３及び図４に示した理論に基づいて、ユーザＨ自身の手の鏡像が操作対象である第１アイコン映像１０１に触れたと判断する。そして、対応制御部４１ｅは、プロジェクタ１０からサブアイコン映像１０１ａ，１０１ｂ（操作対象映像光によって示される操作対象の１つ）を投射させ、表示部２０は、サブアイコン映像１０１ａ，１０１ｂを表示させる。 It is assumed that the user H's hand is moved so as to overlap the first icon video 101 on the mirror image in a state where such icon videos 101 to 104 are displayed. In this case, based on the theory shown in FIGS. 3 and 4, the contact determination unit 41 d determines that the mirror image of the hand of the user H himself touches the first icon image 101 that is the operation target. Then, the correspondence control unit 41e projects the sub icon images 101a and 101b (one of the operation targets indicated by the operation target image light) from the projector 10, and the display unit 20 displays the sub icon images 101a and 101b.

第１サブアイコン映像１０１ａは、他動運動器具をユーザＨが使用している際に、ユーザＨに運動を促す運動コンテンツを実行するための操作対象である。ここで、他動運動器具とは、ユーザＨ以外から与えられた動力によって動作する器具である。また、第２サブアイコン映像１０１ａは、ユーザＨのバランスを矯正するための矯正コンテンツを実行するための操作対象である。 The first sub-icon image 101a is an operation target for executing exercise content that prompts the user H to exercise when the user H is using the passive exercise equipment. Here, the passive exercise apparatus is an apparatus that operates with power given from other than the user H. Further, the second sub-icon video 101a is an operation target for executing the correction content for correcting the balance of the user H.

このようなサブアイコン映像１０１ａ，１０１ｂが表示されている状態において、ユーザＨの鏡像の手が表示部２０上においてサブアイコン映像１０１ａ，１０１ｂと重なるように移動させられたとする。この場合、接触判断部４１ｄは、図３及び図４に示した理論に基づいて、ユーザＨ自身の手の鏡像が操作対象映像光によって示されるサブアイコン映像１０１ａ，１０１ｂに触れたと判断する。そして、対応制御部４１ｅは、運動コンテンツ又は矯正コンテンツを実行する。 It is assumed that the mirror image hand of the user H is moved on the display unit 20 so as to overlap the sub icon images 101a and 101b in a state where the sub icon images 101a and 101b are displayed. In this case, the contact determination unit 41d determines that the mirror image of the user H's hand touches the sub-icon images 101a and 101b indicated by the operation target image light based on the theory shown in FIGS. Then, the correspondence control unit 41e executes the exercise content or the correction content.

図７は、ユーザＨ自身の手の鏡像が第１サブアイコン映像１０１ａに触れたと判断した場合に実行される運動コンテンツを示す図である。図７に示すように、運動コンテンツにおいては、丸形の操作対象１１０ａ〜１１０ｆがユーザＨの周囲に映し込まれている。また、ユーザＨは、他動運動器具１１１である乗馬型振動マシーンに乗っており、その鏡像Ｉが表示部２０に写し込まれている。 FIG. 7 is a diagram illustrating exercise content executed when it is determined that the mirror image of the hand of the user H himself / herself touches the first sub-icon image 101a. As shown in FIG. 7, in the exercise content, round operation objects 110 a to 110 f are reflected around the user H. In addition, the user H is on a riding-type vibration machine that is the passive exercise apparatus 111, and a mirror image I thereof is shown on the display unit 20.

このような状態において、ユーザＨの手が操作対象１１０ａ〜１１０ｆの位置と重なるように移動させられると、接触判断部４１ｄは、図３及び図４に示した理論に基づいて、ユーザＨ自身の手の鏡像が操作対象１１０ａ〜１１０ｆに触れたと判断する。そして、対応制御部４１ｅは、得点を加算又は減算させていき、ユーザＨの運動結果を得点により示すように制御する。これにより、ユーザＨにゲーム性を感じさせつつ、運動を促すようにしている。 In such a state, when the user H's hand is moved so as to overlap with the positions of the operation objects 110a to 110f, the contact determination unit 41d is based on the theory shown in FIGS. It is determined that the mirror image of the hand touches the operation objects 110a to 110f. Then, the correspondence control unit 41e adds or subtracts the score, and performs control so that the exercise result of the user H is indicated by the score. Thereby, the user H is encouraged to exercise while making the game feel.

なお、運動コンテンツでは、複数の操作対象１１０ａ〜１１０ｆのうち、いずれか１つを順次表示させ、ユーザＨ自身の手の鏡像が順番に各操作対象１１０ａ〜１１０ｆに触れるように促してもよい。さらに、触れるべき操作対象１１０ａ〜１１０ｆについてのみ色を変更して表示するようにしてもよい。 In the exercise content, any one of the plurality of operation objects 110a to 110f may be sequentially displayed to prompt the mirror image of the hand of the user H to touch each operation object 110a to 110f in order. Further, only the operation objects 110a to 110f to be touched may be displayed by changing the color.

図８は、ユーザＨが第２サブアイコン映像１０１ｂに触れたと判断した場合に実行される矯正コンテンツを示す図であり、（ａ）が矯正運動前の状態を示し、（ｂ）は矯正運動中の状態を示している。図８（ａ）に示すように、矯正コンテンツにおいては、丸形の操作対象１２０がユーザＨの左側に映し込まれている。また、ユーザＨの鏡像Ｉが表示部２０に写し込まれている。 FIGS. 8A and 8B are diagrams illustrating correction content executed when it is determined that the user H has touched the second sub-icon image 101b. FIG. 8A illustrates a state before the correction exercise, and FIG. Shows the state. As shown in FIG. 8A, in the corrected content, a circular operation target 120 is reflected on the left side of the user H. In addition, a mirror image I of the user H is copied on the display unit 20.

このような状態において、ユーザＨ自身の手の鏡像が丸形の操作対象１２０の位置と重なるように移動させられると、接触判断部４１ｄは、図３及び図４に示した理論に基づいて、ユーザＨ自身の手の鏡像が操作対象１２０に触れたと判断する。そして、対応制御部４１ｅは、プロジェクタ１０から図８（ｂ）に示す８の字型の操作対象１２１を投射させる。 In such a state, when the mirror image of the user's own hand is moved so as to overlap the position of the round operation target 120, the contact determination unit 41d is based on the theory shown in FIGS. It is determined that the mirror image of the hand of user H touches the operation target 120. Then, the correspondence control unit 41e projects an 8-shaped operation target 121 shown in FIG.

これにより、ユーザＨは８の字型の操作対象１２１に沿って手を動かすようにしむけられることとなる。そして、腕の振り、体重移動、腰の向きの変化、及び膝の動きなどから、バランスが矯正されることとなる。なお、矯正コンテンツにおいて接触判断部４１ｄが操作対象１２１に沿ってユーザの手が動いていると判断した場合、対応制御部４１ｅは、操作対象１２１の色を変化させる。これにより、ユーザＨが正確に手を動かしたことをユーザＨに告知することとなる。このときの接触判断についても、図３及び図４に示した理論に基づくこととなる。特に、操作対象１２１が長い距離を有するため、接触判断部４１ｄは、所定距離毎にポイントを設け、ユーザＨ自身の手の鏡像が各ポイントに触れたか否かを判断するようにしている。 As a result, the user H is forced to move his / her hand along the 8-shaped operation target 121. Then, the balance is corrected from arm swing, weight shift, change in waist orientation, knee movement, and the like. When the contact determination unit 41d determines that the user's hand is moving along the operation target 121 in the correction content, the correspondence control unit 41e changes the color of the operation target 121. As a result, the user H is notified that the user H has accurately moved his / her hand. The contact determination at this time is also based on the theory shown in FIGS. In particular, since the operation target 121 has a long distance, the contact determination unit 41d provides a point for each predetermined distance and determines whether or not the mirror image of the hand of the user H touches each point.

次に、本実施形態に係るミラーシステム１の動作について説明する。図９は、本実施形態に係るミラーシステム１の動作を示すフローチャートである。図９に示すように、まず、投射位置制御部４１ｃは、操作対象映像光の投射位置を決定する（Ｓ１）。このとき、投射位置制御部４１ｃは、制御値を求めることにより投射位置を決定する。次に、処理演算部４１は、制御値に基づいてプロジェクタ１０を駆動させて投射位置に操作対象映像光を投射させる（Ｓ２）。 Next, the operation of the mirror system 1 according to this embodiment will be described. FIG. 9 is a flowchart showing the operation of the mirror system 1 according to the present embodiment. As shown in FIG. 9, first, the projection position control unit 41c determines the projection position of the operation target video light (S1). At this time, the projection position control unit 41c determines the projection position by obtaining a control value. Next, the processing calculation unit 41 drives the projector 10 based on the control value to project the operation target video light at the projection position (S2).

その後、目位置検出部４１ａは、正面カメラ３０により撮影された画像上におけるユーザＨの目の位置を検出する（Ｓ３）。次に、手位置検出部４１ｂは、正面カメラ３０により撮影された画像上におけるユーザＨの手の位置を検出する（Ｓ４）。 Thereafter, the eye position detection unit 41a detects the position of the eyes of the user H on the image photographed by the front camera 30 (S3). Next, the hand position detection unit 41b detects the position of the hand of the user H on the image taken by the front camera 30 (S4).

次いで、接触判断部４１ｄは、ステップＳ３において検出した目の位置、及び、ステップＳ４において検出した手の位置から、画像上における目と手との中間位置を算出する（Ｓ５）。その後、接触判断部４１ｄは、中間位置の座標値を座標変換して表示部２０上における第１座標値を算出する（Ｓ６）。その後、接触判断部４１ｄは、制御値の情報を入力し（Ｓ７）、第２座標値を求める（Ｓ８）。 Next, the contact determination unit 41d calculates an intermediate position between the eyes and the hand on the image from the position of the eye detected in step S3 and the position of the hand detected in step S4 (S5). Thereafter, the contact determination unit 41d performs coordinate conversion on the coordinate value of the intermediate position to calculate the first coordinate value on the display unit 20 (S6). Thereafter, the contact determination unit 41d inputs information on the control value (S7), and obtains the second coordinate value (S8).

次いで、接触判断部４１ｄは、ステップＳ６において算出した第１座標値、及び、ステップＳ７において算出した第２座標値に基づいて、ユーザＨの手が操作対象映像光に触れたか否かを判断する（Ｓ９）。このとき、接触判断部４１ｄは、第１座標値と第２座標値との距離が所定距離以内であるかに基づいて、ユーザＨ自身の手の鏡像が操作対象映像光によって示される操作対象に触れたか否かを判断することとなる。 Next, the contact determination unit 41d determines whether or not the hand of the user H has touched the operation target video light based on the first coordinate value calculated in step S6 and the second coordinate value calculated in step S7. (S9). At this time, the contact determination unit 41d determines that the mirror image of the hand of the user H itself is an operation target indicated by the operation target video light based on whether the distance between the first coordinate value and the second coordinate value is within a predetermined distance. It will be judged whether it touched.

ユーザＨ自身の手の鏡像が操作対象映像光によって示される操作対象に触れていないと判断した場合（Ｓ９：ＮＯ）、処理はステップＳ３に移行する。一方、ユーザＨ自身の手の鏡像が操作対象映像光によって示される操作対象に触れたと判断した場合（Ｓ９：ＹＥＳ）、対応制御部４１ｅは、予め定められた制御を実行する（Ｓ１０）。このときの制御は、図６を参照して説明したアイコン映像１０１〜１０４及びサブアイコン映像１０１ａ，１０１ｂの指定制御であったり、図７を参照して説明した得点の加減算制御であったりする。また、図８を参照して説明した制御であってもよい。 If it is determined that the mirror image of the user H's own hand does not touch the operation target indicated by the operation target video light (S9: NO), the process proceeds to step S3. On the other hand, when it is determined that the mirror image of the hand of the user H himself touches the operation target indicated by the operation target video light (S9: YES), the response control unit 41e executes a predetermined control (S10). The control at this time is the designation control of the icon images 101 to 104 and the sub-icon images 101a and 101b described with reference to FIG. 6, or the score addition / subtraction control described with reference to FIG. Further, the control described with reference to FIG. 8 may be used.

そして、予め定められた制御の実行後、図９に示す処理は終了する。なお、図９に示す処理は、ミラーシステム１の電源がオフとなるまで、繰り返し実行される。 Then, after execution of the predetermined control, the process shown in FIG. 9 ends. The process shown in FIG. 9 is repeatedly executed until the power of the mirror system 1 is turned off.

このようにして、本実施形態に係るミラーシステム１によれば、目位置検出部４１ａにより検出された画像上における目の位置と、手位置検出部４１ｂにより検出された画像上における手の位置との中間位置と、制御値との対応関係から、ユーザＨ自身の鏡像の手が操作対象映像光によって示される操作対象に触れたか否かを判断する。ここで、ユーザＨは、ユーザＨから表示部２０までの距離の約２倍の位置に自己の鏡像Ｉを視認する。すなわち、ユーザＨとユーザＨの鏡像Ｉとの中間に表示部２０が存在するような状態ともいえる。しかも、表示部２０は、ユーザＨから表示部２０との距離に拘わらず、常に中間に位置している。そして、ユーザＨの目と鏡像Ｉの手との中間にも表示部２０が存在するといえ、ユーザＨの視点からすると、ユーザＨの目の位置と鏡像Ｉの手の位置との中間地点に、操作対象映像光の投射位置が位置していれば、ユーザＨには手が操作対象に触れたように認識される。このように、ユーザＨが操作対象に触れたか否かを判断するにあたり、鏡像Ｉの推定は必要なく、ユーザＨの目の位置の情報と、ユーザＨの手の位置の情報と、操作対象映像光の投射位置を示す制御値の情報があれば足りる。従って、ユーザＨが操作対象映像光によって示される操作対象に触れる動作を行った場合の判断における処理負荷を軽減させる。 Thus, according to the mirror system 1 according to the present embodiment, the position of the eye on the image detected by the eye position detection unit 41a and the position of the hand on the image detected by the hand position detection unit 41b From the correspondence between the intermediate position and the control value, it is determined whether the hand of the mirror image of the user H touches the operation target indicated by the operation target video light. Here, the user H visually recognizes his / her mirror image I at a position about twice the distance from the user H to the display unit 20. That is, it can be said that the display unit 20 exists between the user H and the mirror image I of the user H. Moreover, the display unit 20 is always located in the middle regardless of the distance from the user H to the display unit 20. And it can be said that the display unit 20 also exists between the user H's eye and the hand of the mirror image I. From the viewpoint of the user H, an intermediate point between the position of the eye of the user H and the position of the hand of the mirror image I If the projection position of the operation target video light is located, the user H recognizes that the hand has touched the operation target. Thus, in determining whether or not the user H has touched the operation target, it is not necessary to estimate the mirror image I. The information on the position of the eyes of the user H, the information on the position of the hand of the user H, and the operation target video. Information on the control value indicating the light projection position is sufficient. Therefore, the processing load in the determination when the user H performs an operation of touching the operation target indicated by the operation target video light is reduced.

また、画像上における中間位置の座標値を座標変換して表示部２０上における第１座標値を求め、この第１座標値と制御値が示す第２座標値との差が所定値以内である場合に、ユーザＨ自身の鏡像Ｉの手が操作対象映像光によって示される操作対象に触れたと判断する。このため、中間位置を求めた後は、既存技術である座標値の変換と、制御値が示す座標値との比較のみで、操作対象映像光に触れたか否かを判断でき、処理負荷を軽減させることができる。 Further, the coordinate value of the intermediate position on the image is transformed to obtain the first coordinate value on the display unit 20, and the difference between the first coordinate value and the second coordinate value indicated by the control value is within a predetermined value. In this case, it is determined that the hand of the mirror image I of the user H touches the operation target indicated by the operation target video light. For this reason, after obtaining the intermediate position, it is possible to determine whether or not the operation target image light has been touched only by converting the coordinate value, which is an existing technology, and comparing the coordinate value indicated by the control value, thereby reducing the processing load. Can be made.

また、ユーザＨ自身の鏡像Ｉの手が操作対象映像光によって示される操作対象に触れたと判断した場合、予め定められた制御を実行するため、ユーザＨが操作対象映像光を操作して機器等を制御させるという新たな機器操作を提案することができる。 In addition, when it is determined that the hand of the mirror image I of the user H touches the operation target indicated by the operation target video light, the user H operates the operation target video light to perform a predetermined control. It is possible to propose a new device operation for controlling the device.

また、表示部２０に向き合った状態でユーザに運動を促すエクササイズコンテンツを選択させるアイコン映像１０１，１０１ａ，１０１ｂを表示させ、ユーザＨ自身の鏡像Ｉの手がアイコン映像１０１，１０１ａ，１０１ｂに触れたと判断した場合、エクササイズコンテンツを実行する。このため、エクササイズのコンテンツを実行するにあたり、ユーザＨは各機器のスイッチ操作等を行うために、表示部２０の前から離れ、その後表示部２０の前に移動し、エクササイズを行うという煩わしさがなく、表示部２０の前から移動しないまま、アイコン映像１０１，１０１ａ，１０１ｂに触れてエクササイズコンテンツを実行させることができる。 Also, icon images 101, 101a, and 101b for selecting exercise content that prompts the user to exercise while facing the display unit 20 are displayed, and the hand of the mirror image I of the user H touches the icon images 101, 101a, and 101b. If so, exercise content is executed. For this reason, when executing the exercise content, the user H has to go away from the front of the display unit 20 and then move to the front of the display unit 20 and perform exercises in order to perform a switch operation of each device. The exercise content can be executed by touching the icon images 101, 101a, and 101b without moving from the front of the display unit 20.

また、他動運動器具１１１をユーザＨが使用している際に表示部２０に操作対象映像光１１０ａ〜１１０ｆを投射させ、この操作対象映像光によって示される操作対象１１０ａ〜１１０ｆにユーザＨ自身の鏡像Ｉの手が触れたと判断した場合、得点を加算又は減算させるため、単に他動運動器具１１１を使用しているだけでなく、他動運動器具１１１の使用に加えて、エクササイズを行うことができ、一層エクササイズ効果を高めることができる。さらに、得点の加減算を行っているため、ゲーム感覚を与えることができる。 In addition, when the user H is using the passive exercise apparatus 111, the operation target image light 110a to 110f is projected on the display unit 20, and the user H himself / herself is projected to the operation objects 110a to 110f indicated by the operation target image light. When it is determined that the hand of the mirror image I has touched, in order to add or subtract the score, it is possible not only to use the passive exercise equipment 111 but also to exercise in addition to the use of the passive exercise equipment 111. And the exercise effect can be further enhanced. Furthermore, since the score is added or subtracted, a game feeling can be given.

また、ユーザＨの手の位置を動かす経路を示す操作対象映像光１２１を表示部２０に投射させるため、ユーザＨが行うべき動きを表現することができる。また、操作対象映像光によって示される操作対象１２１に沿ってユーザの手が動いていると判断した場合、操作対象１２１の色を変化させる。このため、ユーザが適切な動きを行った場合に、その告知を行うことができる。 In addition, since the operation target image light 121 indicating the path for moving the position of the hand of the user H is projected on the display unit 20, the movement to be performed by the user H can be expressed. When it is determined that the user's hand is moving along the operation target 121 indicated by the operation target video light, the color of the operation target 121 is changed. For this reason, when a user performs an appropriate motion, the notification can be performed.

以上、本発明に係るミラーシステムを実施形態に基づいて説明したが、本発明はこれに限定されるものではなく、本発明の趣旨を逸脱しない範囲で、変更を加えてもよい。 As described above, the mirror system according to the present invention has been described based on the embodiment. However, the present invention is not limited to this, and modifications may be made without departing from the spirit of the present invention.

例えば、本実施形態では、図６〜図８に示す各操作対象映像光を説明したが、これらに限らず、他の操作対象映像光を表示してもよい。 For example, in the present embodiment, each of the operation target image lights illustrated in FIGS. 6 to 8 has been described. However, the present invention is not limited thereto, and other operation target image lights may be displayed.

また、上記実施形態において接触判断部４１ｄは座標変換を行っているが、この座標変換の精度を向上させるため、以下のような制御を行ってもよい。すなわち、プロジェクタ１０は、予め表示部２０上における座標値（ｘ₃，ｙ₃）の位置に操作対象映像光を投射する。そして、ユーザＨに、音声や表示によって操作対象映像光によって示される操作対象に触れる旨を提示する。これにより、ユーザＨの鏡像Ｉの手は操作対象に触れることとなり、触れたときの目と手の位置の中間位置と、座標値（ｘ₃，ｙ₃）とが対応関係にあることが明らかとなる。そして、接触判断部４１ｄは、この対応関係を基準に座標変換式を構築し、以後の座標変換処理に用いるようにするとよい。 In the above embodiment, the contact determination unit 41d performs coordinate conversion. However, in order to improve the accuracy of the coordinate conversion, the following control may be performed. That is, the projector 10 projects the operation target image light at the position of the coordinate value (x ₃ , y ₃ ) on the display unit 20 in advance. Then, the user H is notified that the operation target indicated by the operation target video light is touched by sound or display. Thereby, the hand of the mirror image I of the user H touches the operation target, and it is clear that the intermediate position between the eye and the hand when touched and the coordinate values (x ₃ , y ₃ ) have a correspondence relationship. It becomes. Then, the contact determination unit 41d may construct a coordinate conversion formula based on this correspondence and use it for subsequent coordinate conversion processing.

なお、この場合、画像の歪みなどを考慮して、表示部２０上における各位置に操作対象映像光によって示される操作対象を表示させる。例えば表示部２０を１６分割して１６個の操作対象を表示させる。そして、ユーザＨにそれぞれの操作対象に触れる旨を提示する。これにより、画像の歪みを考慮して、より詳細な座標変換式を構築することができ、一層精度を高めることができる。 In this case, the operation target indicated by the operation target video light is displayed at each position on the display unit 20 in consideration of image distortion and the like. For example, the display unit 20 is divided into 16 to display 16 operation objects. Then, the user H is notified that the operation target is touched. As a result, a more detailed coordinate conversion formula can be constructed in consideration of image distortion, and the accuracy can be further improved.

さらに、上記の処理は、定期的に行うことが望ましい。これにより、ミラーシステム１を長期に使用して、プロジェクタ１０や正面カメラ３０の設置位置にずれが生じたとしても、ズレを補正するような座標変換式を構築でき、一層精度を高めることができる。 Furthermore, it is desirable to perform the above processing periodically. Accordingly, even if the mirror system 1 is used for a long time and the installation position of the projector 10 or the front camera 30 is deviated, a coordinate conversion formula that corrects the deviation can be constructed, and the accuracy can be further improved. .

本発明の実施形態に係るミラーシステムを示す外観構成図である。It is an external appearance block diagram which shows the mirror system which concerns on embodiment of this invention. 図１に示したコンピュータの詳細を示す構成図である。It is a block diagram which shows the detail of the computer shown in FIG. 図２に示した接触判断部による接触判断方法を説明する側面図である。It is a side view explaining the contact judgment method by the contact judgment part shown in FIG. 距離に応じた手の位置を説明する簡略図であり、（ａ）は距離が短い場合を示し、（ｂ）は距離が長い場合を示している。It is a simplification figure explaining the position of the hand according to distance, (a) shows the case where distance is short, and (b) shows the case where distance is long. 本実施形態に係るミラーシステムの変形例を示す構成図である。It is a block diagram which shows the modification of the mirror system which concerns on this embodiment. アイコンの指定操作画面を示す図である。It is a figure which shows the designation | designated operation screen of an icon. ユーザＨが第１サブアイコン映像に触れたと判断した場合に実行される運動コンテンツを示す図である。It is a figure which shows the exercise content performed when it is judged that the user H touched the 1st subicon image | video. ユーザＨが第２サブアイコン映像に触れたと判断した場合に実行される矯正コンテンツを示す図であり、（ａ）が矯正運動前の状態を示し、（ｂ）は矯正運動中の状態を示している。It is a figure which shows the correction content performed when it is judged that the user H touched the 2nd subicon image, (a) shows the state before correction exercise, (b) shows the state during correction exercise. Yes. 本実施形態に係るミラーシステムの動作を示すフローチャートである。It is a flowchart which shows operation | movement of the mirror system which concerns on this embodiment.

Explanation of symbols

１ミラーシステム
１０プロジェクタ
２０表示部
２１拡散層
２２透明板
２３ハーフミラー
３０正面カメラ（カメラ）
４０コンピュータ（制御手段）
４１処理演算部
４１ａ目位置検出部（目位置検出手段）
４１ｂ手位置検出部（手位置検出手段）
４１ｃ投射位置制御部
４１ｄ接触判断部
４１ｅ対応制御部
４２データベース
４２ａ映像データ格納部
４２ｂプログラムデータ部
４３入出力部 DESCRIPTION OF SYMBOLS 1 Mirror system 10 Projector 20 Display part 21 Diffusion layer 22 Transparent plate 23 Half mirror 30 Front camera (camera)
40 Computer (control means)
41 processing calculation part 41a eye position detection part (eye position detection means)
41b Hand position detection unit (hand position detection means)
41c Projection position control unit 41d Contact determination unit 41e Corresponding control unit 42 Database 42a Video data storage unit 42b Program data unit 43 Input / output unit

Claims

A light projecting means for projecting image light;
Displaying the image light projected on the light projecting means to make the image visible to the user, and a display unit capable of displaying a mirror image of the user,
A camera that images the user;
Eye position detection means for detecting the position of the user's eyes on the image captured by the camera;
Hand position detecting means for detecting the position of the user's hand on the image captured by the camera;
Control means for controlling the projection position on the display unit of the operation target video light for projecting the user's operation target out of the video light projected from the light projecting means,
The control means is a correspondence relationship between the control value and an intermediate position between the eye position on the image detected by the eye position detection means and the hand position on the image detected by the hand position detection means. Then, it is determined whether or not the hand of the mirror image of the user touches the operation target indicated by the operation target video light.

The control means converts the coordinate value of the intermediate position on the image captured by the camera into a first coordinate value on the display unit, and the first coordinate value and the control value indicate The determination that the hand of the mirror image of the user touches the operation target indicated by the operation target image light when the difference from the second coordinate value on the display unit is within a predetermined value. The mirror system described in 1.

3. The control unit according to claim 1, wherein when the control unit determines that the hand of the mirror image of the user touches the operation target indicated by the operation target video light, the control unit executes predetermined control. A mirror system according to any one of the above.

The control means displays an operation target for selecting exercise content that prompts the user to exercise while facing the display unit, and determines that the user's own mirror image hand touches the operation target indicated by the operation target video light. In this case, exercise content is executed. The mirror system according to any one of claims 1 to 3, wherein exercise content is executed.

The exercise content is content that prompts the user to exercise when the user is using a passive exercise device that operates with power given by someone other than the user,
When the control unit projects the operation target video light on the display unit during execution of the exercise content, and determines that the user's own mirror image touches the operation target indicated by the operation target video light, The mirror system according to claim 4, wherein the score is added or subtracted.

When the exercise content is being executed, the control unit projects operation target image light indicating a path for moving the position of the user's hand onto the display unit, and the user's hand moves along the operation target image light. The mirror system according to claim 4, wherein, when determined, the color of the operation target indicated by the operation target video light is changed.