JP4623110B2 - 表示装置および位置検出方法 - Google Patents

Description

本発明は、表示面に接触または近接する物体（検出対称物）の位置などを検出する機能を備えた表示装置、および検出対称物の位置などを検出する位置検出方法に関する。

従来から、表示装置の表示面に接触あるいは近接する物体の位置などを検出する技術が知られている。その中でも代表的で一般に広く普及している技術として、タッチパネルを備えた表示装置が挙げられる。このタッチパネルも種々のタイプのものが存在するが、一般に普及しているものとして、静電容量を検知するタイプのものが挙げられる。このタイプのものは、指でタッチパネルに接触することでパネルの表面電荷の変化を捕らえ、物体の位置などを検出するようになっている。したがってこのようなタッチパネルを用いることで、ユーザは直感的に操作することが可能である。

また、最近では表示面上にこのようなタッチパネルを別途設けることなく、物体の位置などを検出することを可能とする技術が各種提案されている。例えば、有機ＥＬ（Electro-Luminescence）ディスプレイにおいて、表示面に配置された画像表示用の発光素子での表示（発光）を、間欠的に行い、その発光が休止した期間に、発光素子そのものに受光に応じた電荷を蓄積させて、その蓄積した電荷量を読み出す技術が提案されている。同様に、例えば、液晶表示ディスプレイにおいて、表示画素に隣接して受光素子を配置し、表示（発光）が休止した期間に、受光素子で受光を行うことが提案されている。このような表示装置を利用すれば、取り込んだ映像に基づいて、物体の位置などを検出することが可能である。したがって、このような表示装置を利用することで、表示面上にタッチパネルなどの部品を別途設けることなく、簡易な構成で物体の位置などを検出することが可能となる。

しかし、このような表示装置において物体の映像などを取り込む際には、受光する光の輝度は、周囲の環境（明るさ）に左右されることとなる。そのため、特に、携帯用の電子機器などのように、周囲の環境が変化し易い表示装置に対して、物体の位置などを検出する機能を持たせた場合には、周囲が暗い状況下と、周囲が明るい状況下では、受光条件が大きく異なり、均一の受光条件で物体の位置などを検出するのは困難であった。

そこで、例えば、特許文献１では、液晶表示ディスプレイにおいて、１フレームごとに画像（動画像または静止画像）の表示を行う際に、各フレーム期間を１／２に分割し、その前半の期間にバックライトを消灯させて、画像を表示させないようにし、各フレーム期間の後半の期間にはバックライトを点灯させると同時に各表示画素に表示信号を書き込み、画像を表示させ、さらに、バックライトが消灯している前半の期間と、バックライトが点灯している後半の期間とにおいて受光素子から受光信号を読み出し、双方の差分をとることにより得られる画像（第１の画像）を用いて、物体の位置などを検出する方策が提案されている。これにより、周囲の環境（明るさ）に依らずに、物体の位置などを検出することが可能となる。

しかし、上記した第１の画像には、表示装置内で発生するノイズ（例えばバックライト光に起因するノイズや受光素子の感度ばらつき）が含まれており、そのノイズの影響で、物体の位置などを検出することが困難となる場合がある。そこで、特許文献１では、外光がなく、かつ表面反射物がない状態（即ち表面に接触又は近接したものがない状態）で、バックライトが消灯しているときと、バックライトが点灯しているときとにおいて受光素子から受光信号を読み出し、双方の差分をとることにより得られる画像（第２の画像）を、予めメモリに記憶させておき、物体の位置などを検出する際に、第１の画像の各画素データから第２の画像の各画素データを減じることにより、第１の画像からノイズ成分を除去する方策がさらに提案されている。

特開２００７−２５７９６号公報

しかし、上記特許文献１の技術では、第２の画像を予めメモリに記憶させておく必要があるので、表示装置内で発生するノイズが、表示装置を使用する環境の変化や、経時変化などによって変化した場合には、第１の画像からノイズ成分を効果的に除去することができなくなってしまうという問題があった。また、上記特許文献１には、第２の画像を、表示装置のユーザの操作によって随時、取得するようにしてよい、との記述があるが、ユーザが、外光がなく、かつ表面反射物がない状態を作り出す具体的な方法については示されておらず、また、そのような状態をユーザに作らせるのは現実的ではない。

本発明はかかる問題点に鑑みてなされたものであり、その目的は、表示装置内で発生するノイズ成分を自動的に、かつ効果的に除去することにより、表示装置の表示面に接触あるいは近接する物体の位置などを精度よく検出することの可能な表示装置および位置検出方法を提供することにある。

本発明の第１の表示装置は、表示面に画像を表示すると共に検出光を発光する複数の発光セルおよび表示面側から入射した検出光を受光する複数の受光セルを有するパネル部と、初期データおよび検出データを記憶する記憶部とを備えている。この表示装置は、さらに、画像生成部と、画像判定部と、位置導出部とを備えている。画像生成部は、検出光が表示面から出力されている第１の期間に複数の受光セルから得られた第１の受光画像の各画素データと、検出光が表示面から出力されていない第２の期間に複数の受光セルから得られた第２の受光画像の各画素データとの差分をとることにより判定用画像を生成するようになっている。画像判定部は、判定用画像の各画素データ内に所定の閾値を超える値を有する画素領域が存在するか否かを検出し、画素領域が検出された場合には、画素領域の大きさと、検出対象物の像として予想される大きさとを互いに対比することにより、判定用画像に検出対象物の像が含まれているか否かを判定し、判定用画像に検出対象物の像が含まれていないと判定した場合には、判定用画像に対応するデータを初期データとして記憶部に記憶させ、判定用画像に検出対象物の像が含まれていると判定した場合には、判定用画像に対応するデータを検出データとして記憶部に記憶させるようになっている。位置導出部は、記憶部に検出データとして記憶された画像と、記憶部に初期データとして記憶された画像との差分から、検出対象物の位置を導出するようになっている。
本発明の第２の表示装置は、表示面に画像を表示すると共に検出光を発光する複数の発光セルおよび表示面側から入射した検出光を受光する複数の受光セルを有するパネル部と、初期データおよび検出データを記憶する記憶部とを備えている。この表示装置は、さらに、画像生成部と、画像判定部と、位置導出部とを備えている。画像生成部は、（１）検出光が表示面から出力されていない期間に複数の受光セルから得られた受光画像の明暗を反転させることにより第１反転画像を生成し、（２）受光画像における一の注目画素およびその周辺画素からなる画素領域の画素データに対して平均化処理を行い、その平均化処理により得られた画像データに対して、受光画像における次の注目画素およびその周辺画素からなる画素領域での平均化処理を用い、注目画素を順次移動させ、平均化処理を受光画像全体について行うことにより移動平均画像を生成し、（３）移動平均画像の明暗を反転させることにより第２反転画像を生成し、（４）移動平均画像から所定の閾値を生成し、（５）第１反転画像と第２反転画像との差分から差分画像を生成し、その差分画像の各画素データから閾値を減じることにより判定用画像を生成するようになっている。画像判定部は、判定用画像の各画素データ内に所定の閾値を超える値を有する画素領域が存在するか否かを検出し、画素領域が検出された場合には、画素領域の大きさと、検出対象物の像として予想される大きさとを互いに対比することにより、判定用画像に検出対象物の像が含まれているか否かを判定し、判定用画像に検出対象物の像が含まれていないと判定した場合には、判定用画像に対応するデータを初期データとして記憶部に記憶させ、判定用画像に検出対象物の像が含まれていると判定した場合には、判定用画像に対応するデータを検出データとして記憶部に記憶させるようになっている。位置導出部は、記憶部に検出データとして記憶された画像と、記憶部に初期データとして記憶された画像との差分から、検出対象物の位置を導出するようになっている。
本発明の第３の表示装置は、表示面に画像を表示すると共に検出光を発光する複数の発光セルおよび表示面側から入射した検出光を受光する複数の受光セルを有するパネル部と、初期データおよび検出データを記憶する記憶部とを備えている。この表示装置は、また、画像生成部と、画像判定部とを備えている。画像生成部は、検出光が表示面から出力されている第１の期間に複数の受光セルから得られた第１の受光画像と、検出光が前記表示面から出力されていない第２の期間に複数の受光セルから得られた第２の受光画像とに基づいて判定用画像を生成するものであり、差分画像生成部と、影画像生成部と、合成画像生成部とにより構成されている。差分画像生成部は、第１の受光画像の各画素データと第２の受光画像の各画素データとの差分から第１差分画像を生成するようになっている。影画像生成部は、（１）前記第２の受光画像の明暗を反転させることにより第１反転画像を生成し、（２）第２の受光画像における一の注目画素およびその周辺画素からなる画素領域の画素データに対して平均化処理を行い、その平均化処理により得られた画像データに対して、第２の受光画像における次の注目画素およびその周辺画素からなる画素領域での平均化処理を行い、注目画素を順次移動させ、平均化処理を第２の受光画像全体について行うことにより移動平均画像を生成し、（３）移動平均画像の明暗を反転させることにより第２反転画像を生成し、（４）移動平均画像から所定の閾値を生成し、（５）第１反転画像と第２反転画像との差分から第２差分画像を生成し、その第２差分画像の各画素データから閾値を減じることにより影画像を生成するようになっている。合成画像生成部は、第１差分画像と影画像とを所定のルールで合成することにより判定用画像を生成するようになっている。この表示装置は、さらに、位置導出部を備えている。位置導出部は、記憶部に検出データとして記憶された画像と、記憶部に初期データとして記憶された画像との差分から、検出対象物の位置を導出するようになっている。

本発明の第１の位置検出方法は、表示面に画像を表示すると共に検出光を発光する複数の発光セルおよび表示面側から入射した検出光を受光する複数の受光セルを有するパネル部と、初期データおよび検出データを記憶する記憶部とを備えた表示装置において、検出対象物の位置を検出するものである。この位置検出方法は、以下の（Ａ１）〜（Ａ３）の各ステップを含んでいる。
（Ａ１）検出光が表示面から出力されている第１の期間に前記複数の受光セルから得られた第１の受光画像の各画素データと、検出光が前記表示面から出力されていない第２の期間に複数の受光セルから得られた第２の受光画像の各画素データとの差分をとることにより判定用画像を生成する画像生成ステップ
（Ａ２）判定用画像の各画素データ内に所定の閾値を超える値を有する画素領域が存在するか否かを検出し、画素領域が検出された場合には、画素領域の大きさと、検出対象物の像として予想される大きさとを互いに対比することにより、判定用画像に検出対象物の像が含まれているか否かを判定し、判定用画像に検出対象物の像が含まれていないと判定した場合には、判定用画像に対応するデータを初期データとして記憶部に記憶させ、判定用画像に検出対象物の像が含まれていると判定した場合には、判定用画像に対応するデータを前記検出データとして記憶部に記憶させる画像判定ステップ
（Ａ３）記憶部に検出データとして記憶された画像と、記憶部に初期データとして記憶され
た画像との差分から、検出対象物の位置を導出する位置導出ステップ
本発明の第２の位置検出方法は、表示面に画像を表示すると共に検出光を発光する複数の発光セルおよび表示面側から入射した検出光を受光する複数の受光セルを有するパネル部と、初期データおよび検出データを記憶する記憶部とを備えた表示装置において、検出対象物の位置を検出するものである。この位置検出方法は、以下の（Ｂ１）〜（Ｂ３）の各ステップを含んでいる。
（Ｂ１）検出光が表示面から出力されていない第２の期間に前記複数の受光セルから得られた受光画像の明暗を反転させることにより第１反転画像を生成し、（２）受光画像における一の注目画素およびその周辺画素からなる画素領域の画素データに対して平均化処理を行い、その平均化処理により得られた画像データに対して、受光画像における次の注目画素およびその周辺画素からなる画素領域での平均化処理を用い、注目画素を順次移動させ、平均化処理を受光画像全体について行うことにより移動平均画像を生成し、（３）移動平均画像の明暗を反転させることにより第２反転画像を生成し、（４）移動平均画像から所定の閾値を生成し、（５）第１反転画像と第２反転画像との差分から差分画像を生成し、その差分画像の各画素データから閾値を減じることにより判定用画像を生成する画像生成ステップ
（Ｂ２）判定用画像の各画素データ内に所定の閾値を超える値を有する画素領域が存在するか否かを検出し、画素領域が検出された場合には、画素領域の大きさと、検出対象物の像として予想される大きさとを互いに対比することにより、判定用画像に検出対象物の像が含まれているか否かを判定し、判定用画像に検出対象物の像が含まれていないと判定した場合には、判定用画像に対応するデータを初期データとして記憶部に記憶させ、判定用画像に検出対象物の像が含まれていると判定した場合には、判定用画像に対応するデータを前記検出データとして記憶部に記憶させる画像判定ステップ
（Ｂ３）記憶部に検出データとして記憶された画像と、記憶部に前記初期データとして記憶された画像との差分から、検出対象物の位置を導出する位置導出ステップ
本発明の第３の位置検出方法は、表示面に画像を表示すると共に検出光を発光する複数の発光セルおよび表示面側から入射した検出光を受光する複数の受光セルを有するパネル部と、初期データおよび検出データを記憶する記憶部とを備えた表示装置において、検出対象物の位置を検出するものである。この位置検出方法は、以下の（Ｃ１）〜（Ｃ４）の各ステップを含んでいる。
（Ｃ１）検出光が表示面から出力されている第１の期間に複数の受光セルから得られた第１の受光画像と、検出光が表示面から出力されていない第２の期間に複数の受光セルから得られた第２の受光画像とに基づいて判定用画像を生成する画像生成ステップ
（Ｃ２）判定用画像の各画素データ内に所定の閾値を超える値を有する画素領域が存在するか否かを検出し、画素領域が検出された場合には、画素領域の大きさと、検出対象物の像として予想される大きさとを互いに対比することにより、判定用画像に検出対象物の像が含まれているか否かを判定し、判定用画像に検出対象物の像が含まれていないと判定した場合には、判定用画像に対応するデータを初期データとして記憶部に記憶させ、判定用画像に検出対象物の像が含まれていると判定した場合には、判定用画像に対応するデータを前記検出データとして記憶部に記憶させる画像判定ステップ
（Ｃ３）記憶部に検出データとして記憶された画像と、記憶部に初期データとして記憶された画像との差分から、検出対象物の位置を導出する位置導出ステップ
（Ｃ４）上記画像生成ステップは、以下の（Ｄ１）〜（Ｄ７）の各ステップを含んでいる。
（Ｄ１）第１の受光画像の各画素データと第２の受光画像の各画素データとの差分から第１差分画像を生成するステップ
（Ｄ２）第２の受光画像の明暗を反転させることにより第１反転画像を生成するステップ
（Ｄ３）第２の受光画像における一の注目画素およびその周辺画素からなる画素領域の画素データに対して平均化処理を行い、その平均化処理により得られた画像データに対して、第２の受光画像における次の注目画素およびその周辺画素からなる画素領域での平均化処理を行い、注目画素を順次移動させ、平均化処理を前記第２の受光画像全体について行うことにより移動平均画像を生成するステップ
（Ｄ４）移動平均画像の明暗を反転させることにより第２反転画像を生成するステップ
（Ｄ５）移動平均画像から所定の閾値を生成するステップ
（Ｄ６）第１反転画像と第２反転画像との差分から第２差分画像を生成し、その第２差分画像の各画素データから閾値を減じることにより影画像を生成するステップ
（Ｄ７）第１差分画像と影画像とを所定のルールで合成することにより判定用画像を生成するステップ

本発明の第１および第３の表示装置ならびに第１および第３の位置検出方法では、検出光が表示面から出力されている第１の期間に得られた第１の受光画像と、検出光が表示面から出力されていない第２の期間に得られた第２の受光画像とに基づいて生成された判定用画像、または、この判定用画像に対して所定の処理を施したものが、検出対象物の位置の導出に用いられる。また、本発明の第２の表示装置ならびに第２の位置検出方法では、検出光が表示面から出力されていない期間に得られた受光画像に基づいて生成された判定用画像が、検出対象物の位置の導出に用いられる。これにより、物体の位置などを検出する時の外光の影響をなくすることができる。さらに、本発明の第１ないし第３の表示装置ならびに第１ないし第３の位置検出方法では、検出対象物の像が含まれていないと判定された判定用画像、または、この判定用画像に対して所定の処理を施したものが初期データとして用いられる。これにより、物体の位置などを検出する時に表示装置内で発生しているノイズの影響をなくすることができる。

本発明の第１ないし第３の表示装置および第１ないし第３の位置検出方法によれば、物体の位置などを検出する時の外光の影響をなくすることができるようにしたので、周囲の環境（明るさ）が変化した場合であっても、周囲の環境に拘わらず、表示装置の表示面に接触あるいは近接する物体の位置などを容易に検出することができる。さらに、この判定用画像、または、この判定用画像に対して所定の処理を施したものを初期データとして用いるようにしたので、物体の位置などを検出する時に表示装置内で発生しているノイズの影響をなくすることができる。これにより、表示装置内で発生するノイズが表示装置を使用する環境の変化や、経時変化などによって変化した場合であっても、表示装置のユーザに何らかの操作を要求することなく、表示装置内で発生するノイズ成分を自動的に、かつ効果的に除去することができる。その結果、表示装置の表示面に接触あるいは近接する物体の位置などを精度よく検出することができる。

以下、本発明を実施するための最良の形態（以下、単に実施の形態という。）について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る表示装置の全体構成を表すものである。この表示装置は、表示部１と、表示信号生成部２１と、表示信号保持制御部２２と、表示信号ドライバ２３と、発光用スキャナ２４と、受光用スキャナ３１と、受光信号レシーバ３２と、受光信号保持部３３と、位置検出部３４とを備えている。この表示装置は、画像の表示と受光とを行うことの可能なものであり、画像データに基づく画像を表示部１に表示すると共に、この表示部１に接触または近接する物体（検出対象物体）の位置などを検出するものである。なお、本発明の一実施の形態に係る位置検出方法は、上記表示装置により具現化されるので、以下、合わせて説明する。

表示部１は、複数の各画素１１が表示部１の全面に渡ってマトリクス状に配置されたＬＣＤ（Liquid Crystal Display）からなり、後述するように線順次動作をしながら所定の図形や文字などの画像を表示するものである。

図２は、各画素１１の構成の一例を平面図で表したものである。各画素１１は、表示部１の表示面１０（図３参照）に向けて可視光を発する発光セル１２と、表示面１０側から入射した可視光を受光する受光セル１３とにより構成されている。発光セル１２は、赤色発光する赤色発光セル１２Ｒと、緑色発光する緑色発光セル１２Ｇと、青色発光する青色発光セル１２Ｂとを有している。赤色発光セル１２Ｒは、赤色発光する部分である赤色発光素子１４Ｒと、この赤色発光素子１４Ｒを駆動するＴＦＴ（Thin Film Transistor）回路部１５Ｒとを有している。同様に、緑色発光セル１２Ｇは、緑色発光する部分である緑色発光素子１４Ｇと、この緑色発光素子１４Ｇを駆動するＴＦＴ回路部１５Ｇとを有している。また、青色発光セル１２Ｂは、青色発光する部分である青色発光素子１４Ｂと、この青色発光素子１４Ｂを駆動するＴＦＴ回路部１５Ｂとを有している。一方、受光セル１３は、可視光を受光する部分である受光素子１６と、この受光素子１６を駆動する受光センサ回路部１７とを有している。受光素子１６は、例えばフォトダイオードなどから構成されている。なお、これら赤色発光素子１４Ｒ、緑色発光素子１４Ｇおよび青色発光素子１４ＢとＴＦＴ回路部１５との接続関係、ならびにＴＦＴ回路部１５と前述の表示信号ドライバ２３、発光用スキャナ２４、受光用スキャナ３１および受光信号レシーバ３２との接続関係の詳細については後述（図４）する。

図３は、図２におけるＡ−Ａ部分の矢視断面図であり、表示部１の断面構成の一例を表したものである。この表示部１は、光源１００上に、各発光素子（赤色発光素子１４Ｒ、緑色発光素子１４Ｇおよび青色発光素子１４Ｂ）を構成する積層構造を有するパネル部１１０を備えたものである。このパネル部１１０は、いわゆる液晶表示パネルであり、具体的には光源１００側から、偏光板１０１Ａと、透明基板１０２Ａと、回路部１０３と、絶縁層１０４と、透明画素電極１０５Ａと、液晶層１０６と、透明電極１０５Ｂと、カラーフィルタ１０７と、選択透過フィルタ１０８と、ブラックマトリクス１０９と、透明基板１０２Ｂと、偏光板１０１Ｂとから構成されている。すなわち、これら各発光素子（赤色発光素子１４Ｒ、緑色発光素子１４Ｇおよび青色発光素子１４Ｂ）は互いに対向する透明基板１０２Ａ，１０２Ｂの間に液晶層１０６を設けた液晶表示パネル内に設けられている。

光源１００は、可視光領域の光を上記した液晶素子へ向けて発するバックライトである。また、透明基板１０２Ａ，１０２Ｂは、いずれも、例えばガラス材料により構成されている。ただし、これら１０２Ａ，１０２Ｂをガラス材料の代わりに、透明なプラスチック材料などから構成してもよい。

回路部１０３は、図２に示したＴＦＴ回路部１５や受光素子回路部１７に対応する部分であり、各透明画素電極１０５Ａと電気的に接続されている。また、透明画素電極１０５Ａは各発光素子に配置されており、例えばＩＴＯ（Indium Tin Oxide；酸化インジウムスズ）などの透明材料から構成される。一方、透明電極１０５Ｂは透明電極１０５Ａと対向する共通電極であり、透明電極１０５Ａと同様に例えばＩＴＯなどの透明材料から構成される。また、絶縁層１０４は、各回路部１０３の間に形成されている。このような構成により、これら透明電極１０５Ａ，１０５Ｂ間に表示データに応じた電圧が印加され、光源１００からのバックライト光Ｌｏが液晶層１０６を透過または遮断されるようになっている。

カラーフィルタ１０７は、各発光セル１２（赤色発光セル１２Ｒ、緑色発光セル１２Ｇおよび青色発光セル１２Ｂ）に対応する領域に配置されており、液晶層１０６を透過したバックライト光Ｌｏのうち、自己の発光色に対応する波長領域の光を選択的に透過するものである。ブラックマトリクス１０８は、各カラーフィルタ１０７の間に配置されており、光源１００からのバックライト光Ｌｏを遮断して表示面１０側に射出させないようにするものである。

図４は、各画素１１における回路構成の一例を表したものである。各画素１１は、前述のように、赤色発光セル１２Ｒ、緑色発光セル１２Ｇおよび青色発光セル１２Ｂからなる発光セル１２と、受光セル１３とを有している。このうち、発光セル１２には、表示信号ドライバ２３に接続された表示データ供給線ＤＷと、発光用スキャナ２４に接続された発光用ゲート線ＧＷとが接続されている。具体的には、赤色発光セル１２Ｒには表示データ供給線ＤＷrと発光用ゲート線ＧＷとが、緑色発光セル１２Ｇには表示データ供給線ＤＷgと発光用ゲート線ＧＷとが、青色発光セル１２Ｂには表示データ供給線ＤＷbと発光用ゲート線ＧＷとが、それぞれ接続されている。一方、受光セル１３には、受光用スキャナ３１に接続された受光用ゲート線ＧＲおよび受光用リセット線ＲＲと受光信号レシーバ３２に接続されたデータ読み出し線ＤＲとが接続されている。

ここで、赤色発光セル１２Ｒは、前述の赤色発光素子１４Ｒと、この赤色発光素子１４Ｒを駆動する発光素子選択スイッチＳＷ１Ｒを含むＴＦＴ回路部１５Ｒとを有している。発光素子選択スイッチＳＷ１Ｒの一端は表示データ供給線ＤＷrに接続され、その他端は赤色発光素子１４Ｒの一端（具体的には、前述の透明画素電極１０５Ａ）に接続され、さらに、赤色発光素子１４Ｒの他端（具体的には、前述の透明電極１０５Ｂ）は接地されている。同様に、緑色発光セル１２Ｇは、前述の緑色発光素子１４Ｇと、この緑色発光素子１４Ｇを駆動する発光素子選択スイッチＳＷ１Ｇを含むＴＦＴ回路部１５Ｇとを有している。発光素子選択スイッチＳＷ１Ｇの一端は表示データ供給線ＤＷgに接続され、その他端は緑色発光素子１４Ｇの一端に接続され、さらに、緑色発光素子１４Ｇの他端は接地されている。また、青色発光セル１２Ｂは、前述の青色発光素子１４Ｂと、この青色発光素子１４Ｂを駆動する発光素子選択スイッチＳＷ１Ｂを含むＴＦＴ回路部１５Ｂとを有している。発光素子選択スイッチＳＷ１Ｂの一端は表示データ供給線ＤＷbに接続され、その他端は青色発光素子１４Ｂの一端に接続され、さらに、青色発光素子１４Ｂの他端は接地されている。また、発光素子選択スイッチＳＷ１Ｒ，ＳＷ１Ｇ，ＳＷ１Ｂはそれぞれ、発光用ゲート線ＧＷによってそのオンオフ動作が制御されるようになっている。なお、発光素子選択スイッチＳＷ１Ｒ，ＳＷ１Ｇ，ＳＷ１Ｂは、いずれも例えばＴＦＴなどのスイッチ素子から構成される。

一方、受光セル１３は、前述の受光素子１６（図４に示した例ではフォトダイオード）と、前述の受光素子回路部１７内に設けられた受光素子選択スイッチＳＷ２，ＳＷ３、バッファアンプＡＭＰおよび容量Ｃとを有している。受光素子１６の一端が電源線ＶＤＤに接続され、その他端がバッファアンプＡＭＰの入力端に接続されている。また、バッファアンプＡＭＰの出力端が受光素子選択スイッチＳＷ２の一端に接続され、受光素子選択スイッチＳＷ２の他端がデータ読出線ＤＲに接続されている。さらに、バッファアンプＡＭＰの入力端が受光素子選択スイッチＳＷ３の一端と、容量Ｃの一端とにそれぞれ接続され、受光素子選択スイッチＳＷ３および容量Ｃのそれぞれの他端が接地されている。また、受光素子選択スイッチＳＷ２は受光用ゲート線ＧＲによってそのオンオフ動作が制御されるようになっており、受光素子選択スイッチＳＷ３は受光用リセット線ＲＲによってそのオンオフ動作が制御されるようになっている。なお、受光素子選択スイッチＳＷ２，ＳＷ３は、いずれも例えばＴＦＴなどのスイッチ素子から構成される。

次に、表示装置における表示部１以外の構成（表示信号生成部２１、表示信号保持制御部２２、表示信号ドライバ２３、発光用スキャナ２４、受光用スキャナ３１、受光信号レシーバ３２、受光信号保持部３３および位置検出部３４）について説明する。

表示信号生成部２１は、例えば図示しないＣＰＵ（Central Processing Unit）などから供給される画像データに基づいて、例えば１画面ごと（１フィールドの表示ごと）に表示部１に表示するための表示信号２１Ａを生成するものである。このようにして生成された表示信号２１Ａは、表示信号保持制御部２２へ出力される。

表示信号保持制御部２２は、表示信号生成部２１から出力された表示信号２１Ａを１画面ごと（１フィールドの表示ごと）に、例えばＳＲＡＭ（Static Random Access Memory）などから構成されたフィールドメモリに格納して保持するものである。この表示信号保持制御部２２はまた、各発光セル１２を駆動する表示信号ドライバ２３および発光用スキャナ２４と、各受光セル１３を駆動する受光用スキャナ３１と、表示部１の光源１００（後述）とが連動して動作するように制御する役割も果たしている。具体的には、発光用スキャナ２４に対しては発光タイミング制御信号２２Ａを、受光用スキャナ３１に対しては受光タイミング制御信号２２Ｂを、表示信号ドライバ２３に対してはフィールドメモリに保持されている１画面分の表示信号に基づく１水平ライン分の表示信号２２Ｃを、表示部１の光源１００に対しては、光源１００を点灯または消灯させる光源制御信号２２Ｄをそれぞれ出力するようになっている。より詳細には、表示信号保持制御部２２は、例えば図５，図６に示したように、１フレームごとに画像（動画像または静止画像）の表示を行う際に、各フレーム期間Ｔを１／２に分割し、その前半期間Ｔ１または後半期間Ｔ２に、光源制御信号２２Ｄとして光源１００を点灯させる信号を出力して光源１００全体を点灯させると共に、この点灯期間に、発光タイミング制御信号２２Ａ、受光タイミング制御信号２２Ｂおよび表示信号２２Ｃを出力し各発光セル１２および各受光セル１３を１水平ラインごとに同期して例えば矢印Ｘ方向（図１参照）へ駆動（線順次駆動）させ、各フレーム期間の前半および後半のうち上記点灯期間とは異なる期間に、光源制御信号２２Ｄとして光源１００を消灯させる信号を出力して光源１００全体を消灯させると共に、この消灯期間に、受光タイミング制御信号２２Ｂを出力し各受光セル１３を１水平ラインごとに例えば矢印Ｘ方向へ駆動（線順次駆動）させるようになっている。なお、各受光セル１３を、１フレーム周期で連続して駆動させる必要はなく、必要に応じて複数フレーム周期で断続的に駆動させるようにしてもよい。

表示信号ドライバ２３は、表示信号保持制御部２２から出力される１水平ライン分の表示信号２２Ｃに応じて、駆動対象の発光セル１２へ表示データを供給するものである。具体的には、表示部１の各画素１１に接続されたデータ供給線ＤＷを介して、発光用スキャナ２４により選択された画素１１へ表示データに対応する電圧２３Ａを供給するようになっている。

発光用スキャナ２４は、表示信号保持制御部２２から出力される発光タイミング制御信号２２Ｂに応じて、駆動対象の発光セル１２を選択するものである。具体的には、表示部１の各画素１１に接続された発光用ゲート線ＧＷを介して駆動対象の可視光発光セル１２へ発光用選択信号２４Ａを供給し、発光素子選択スイッチＳＷ１Ｒ，ＳＷ１Ｇ，ＳＷ１Ｂを制御するようになっている。このようにして、この発光用選択信号２４Ａによってある画素１１の発光素子選択スイッチＳＷ１Ｒ，ＳＷ１Ｇ，ＳＷ１Ｂがオン状態となる電圧が発光素子選択スイッチＳＷ１Ｒ，ＳＷ１Ｇ，ＳＷ１Ｂに印加されると、その画素では表示信号ドライバ２３から供給された電圧２３Ａに対応した輝度の発光動作がなされるようになっている。このようにして、これら発光用スキャナ２４および表示信号ドライバ２３が連動して線順次動作することにより、任意の表示データに対応する画像が表示部１に表示されるようになっている。

受光用スキャナ３１は、表示信号保持制御部２２から出力される受光タイミング制御信号２２Ｂに応じて、駆動対象の受光セル１３を選択するものである。具体的には、表示部１の各画素１１に接続された受光用ゲート線ＧＲを介して駆動対象の受光セル１３へ受光用選択信号３１Ａを供給し、受光素子選択スイッチＳＷ２を制御すると共に、表示部１の各画素１１に接続された受光用リセット線ＲＲを介して駆動対象の受光セル１３へリセット信号３１Ｂを供給し、受光素子選択スイッチＳＷ３を制御するようになっている。つまり、リセット信号３１Ｂによってある画素１１の受光素子選択スイッチＳＷ３がオン状態となる電圧が受光素子選択スイッチＳＷ３に印加されると、その画素１１中の容量Ｃに蓄積された電荷がリセットされ、受光用選択信号３１Ａによってある画素１１の受光素子選択スイッチＳＷ２がオン状態となる電圧が受光素子選択スイッチＳＷ２に印加されると、その画素１１中の受光素子１６での受光量に対応して容量Ｃに蓄積された電荷がバッファアンプＡＭＰおよびデータ読み出し線ＤＲを介して受光信号レシーバ３２に受光信号１Ａとして出力されるようになっている。このようにして、可視光が受光セル１３によって受光される。

なお、この受光用スキャナ３１は、受光信号レシーバ３２および受光信号保持部３３に対してそれぞれ受光ブロック制御信号３１Ｃを出力し、これら受光動作に寄与する部分の動作を制御する役割も果たしている。

受光信号レシーバ３２は、受光用スキャナ３１から出力される受光ブロック制御信号３１Ｃに応じて、各受光セル１３から出力された１水平ライン分の受光信号１Ａを取得するものである。このようにして取得された１水平ライン分の受光信号１Ａは、受光信号保持部３３へ出力される。

受光信号保持部３３は、受光用スキャナ３１から出力される受光ブロック制御信号３１Ｃに応じて、受光信号レシーバ３２から出力される受光信号３２Ａを１画面ごと（１フィールドの表示ごと）の受光信号３３Ａ（受光画像）に再構成し、例えばＳＲＡＭなどから構成されるフィールドメモリ（図示せず）に格納して保持するものである。このようにしてフィールドメモリに格納された受光信号３３Ａは、位置検出部３４へ出力される。なお、この受光信号保持部３３はメモリ以外の記憶素子を有していてもよく、例えば受光信号３３Ａをアナログデータとして保持しておくようにしてもよい。

位置検出部３４は、受光信号保持部３３から出力される受光信号３３Ａに対して所定の信号処理を行うことにより、表示面１０に接触あるいは近接する物体（検出対称物）の位置などを特定するものである。なお、上記のように受光信号保持部３３が受光信号３３Ａをアナログデータとして保持している場合には、この位置検出部３４がアナログ／デジタル変換（Ａ／Ｄ変換）を行ってから信号処理を実行するように構成することが可能である。

図７は、位置検出部３４の各機能ブロックを表したものである。位置検出部３４は、図７に示したように、反射検出処理部４１と、影検出処理部４２と、合成処理部４３と、近接検出処理部４４と、記憶部４５とを有している。なお、本実施の形態の反射検出処理部４１、影検出処理部４２または合成処理部４３が、本発明の「画像生成部」の一具体例に相当する。

反射検出処理部４１は、表示信号保持制御部２２から出力される光源制御信号２２Ｄに応じて、受光信号保持部３３から出力された受光信号３３Ａを、点灯期間（画像表示期間）に得られた点灯時受光画像（画像表示時受光画像）と、消灯期間（画像非表示期間）に得られた消灯時受光画像（画像非表示時受光画像）とに分類し、点灯時受光画像と消灯時受光画像との差分を取り（例えば点灯時受光画像のデータから消灯時受光画像のデータを減じ）、差分画像４１Ａを生成し合成処理部４３へ出力するものである。

ここで、点灯時受光画像と消灯時受光画像とには、いずれも外光の成分が含まれていることから、点灯時受光画像と消灯時受光画像との差分を取ることにより、外光の成分を取り除くことができる。これにより、周囲の環境（明るさ）に依らない画像（差分画像４１Ａ）を得ることができる。

例えば、図８（Ａ）に示したように、入射する外光Ｌ２が強い場合には、光源１００を点灯させた状態での受光出力電圧Ｖon１は、図８（Ｂ）に示したように、指で触れた個所以外では、外光Ｌ２の明るさに対応した電圧値Ｖａとなり、指で触れた個所では、そのときに触れた指の表面で、光源１００からの光を反射させる反射率に対応した電圧値Ｖｂに低下する。 これに対して、光源１００を消灯させた状態での受光出力電圧Ｖoff１は、指で触れた個所以外では、外光Ｌ２の明るさに対応した電圧値Ｖａとなる点は同じであるが、指で触れた個所では、外光Ｌ２が遮断された状態であり、非常にレベルの低い電圧値Ｖｃとなる。

また、図９（Ａ）に示したように、入射する外光Ｌ２が弱い（ほとんどない）状態では、光源１００を点灯させた状態での受光出力電圧Ｖon２は、図９（Ｂ）に示したように、指で触れた個所以外では、外光がないために非常にレベルの低い電圧値Ｖｃの近傍となり、指で触れた個所では、そのときに触れた指の表面で、光源１００からの光を反射させる反射率に対応した電圧値Ｖｂに上昇する。これに対して、光源１００を消灯させた状態での受光出力電圧Ｖoff２は、指で触れた個所とそれ以外の個所のいずれでも、非常にレベルの低い電圧値Ｖｃのままで変化がない。

このように、図８（Ｂ），図９（Ｂ）を比較すると判るように、パネル部１１０の表示面１０に接触していない個所では、外光Ｌ２がある場合と弱い（ほとんどない）場合とで、受光出力電圧が大きく異なっているが、光源１００を点灯させた場合と消灯させた場合とで、受光出力電圧は変わらず、同じである。したがって、点灯時受光画像と消灯時受光画像との差分を取ることにより、外光Ｌ２の成分を取り除いた画像（差分画像４１Ａ）を得ることができる。また、指が接触している個所では、外光Ｌ２の大きさに関係なく、光源１００の点灯時の電圧Ｖｂと、光源１００の消灯時の電圧Ｖｃとが、ほぼ同じである。そのため、外光Ｌ２がある場合と弱い（ほとんどない）場合とで、差分画像４１Ａは、ほぼ同じとなり、外光Ｌ２の影響によって、得られる差分画像４１Ａのプロファイルが変動する虞はほとんどない。このように、本実施の形態では、周囲の環境（明るさ）に依らない画像（差分画像４１Ａ）を得ることができる。

影検出処理部４２は、以下に示した手順を行うことにより影画像４２Ａを生成し、合成処理部４３へ出力するものである。

影検出処理部４２は、まず、消灯期間に得られた消灯時受光画像（受光信号３３Ａ）の反転画像および移動平均画像を生成する。ここで、反転画像は、例えば、消灯時受光画像の明暗を反転させることにより得られる。また、移動平均画像は、例えば、消灯時受光画像における一の注目画素およびその周辺画素からなる画素領域の画素データに対して平均化処理を行い、その平均化処理により得られた画像データを、消灯時受光画像における次の注目画素およびその周辺画素からなる画素領域での平均化処理で用い、そして、注目画素を順次移動させ、平均化処理を消灯時受光画像全体について行うことにより得られる。

なお、平均化処理を行う画素領域の大きさは、検出対称物の像として予想される大きさに基づいて設定する（たとえば、検出対称物の像と同程度の大きさに設定する）のが望ましい。このようにした場合には、平均化処理を行う画素領域の大きさと同程度の大きさの像が消灯時受光画像に含まれているときに、平均化処理によってその像の輪郭をぼやかすことができるので、例えば、検出対称物が指先である場合に、平均化処理を行う画素領域を指先の像の大きさと同程度の大きさとすることにより、指先の像と同程度の大きさの像の輪郭をぼやかし、後述する差分画像４１Ａの生成の際に、指先の像よりも大きな像（例えば拳の像）を消すことができ、その結果、拳を誤検出することを回避することができる。

また、上述した方法を用いて平均化処理を行った場合には、消灯時受光画像の外縁領域が注目画素から外れるが、その外縁領域の画素データについては、何らかの補間処理を行うことが好ましい。例えば、消灯時受光画像のうち平均化処理の行われた領域の最外縁の画素における画素データを、その画素の外側の画素における画素データとしてそのままコピーするようにしてもよい。

次に、影検出処理部４２は、移動平均画像から、後の処理で利用する所定の閾値を算出する。具体的には、移動平均画像における最も明るい（最も画素データの大きい）画素の画素データと、平均化処理を行う前の消灯時受光画像における最も暗い（最も画素データの小さい）画素の画素データとに基づいて（たとえば、これらの画素データの平均を取って）閾値を求める。なお、最も明るい（最も画素データの大きい）画素の画素データについては、表示面１０の四隅には同時に検出対称物が配置されることは通常ないものとして、これら四隅の画素の画素データの平均値を割り当てるようにしてもよい。

次に、影検出処理部４２は、移動平均画像の反転画像を生成する。ここで、反転画像は、例えば、移動平均画像の明暗を反転させることにより得られる。続いて、影検出処理部４２は、消灯時受光画像の反転画像と、移動平均画像の反転画像との差分を取り（例えば、消灯時受光画像の反転画像のデータから移動平均画像の反転画像のデータを減じ）、差分画像を生成したのち、この差分画像の各画素データから、あらかじめ求めておいた閾値を減じて、影画像４２Ａを生成する。

なお、差分画像の各画素データから閾値を減じることにより、差分画像に含まれる、検出対称物以外の物体の像に対応する画素データの値を小さくし、検出対称物以外の物体を誤検出することを回避することができる。

合成処理部４３は、反射検出処理部４１から出力された差分画像４１Ａと、影検出処理部４２から出力された影画像４２Ａとを合成することにより、合成画像４３Ａを生成し、近接検出処理部４４へ出力するものである。

差分画像４１Ａと影画像４２Ａとの合成は、差分画像４１Ａの各画素データに所定の係数α（０＜α＜１）をかけたものと、影画像４２Ａの各画素データに所定の係数（１−α）をかけたものとを加算することにより行うことが好ましい。ただし、他の方法を用いて合成画像４３Ａを生成するようにしてもよい。

なお、必要に応じて、合成処理部４３の出力（合成画像４３Ａ）の代わりに、反射検出処理部４１の出力（差分画像４１Ａ）または影検出処理部４２の出力（影画像４２Ａ）を近接検出処理部４４に入力するようにしてもよい。例えば、本実施の形態のようにパネル１１０に半透過型の液晶素子を用いている場合において、表示装置を屋外で利用するときのように、光源１００が常時オフ状態になるときや、黒画像がパネル１１０に表示されているときなどには、影検出処理部４２の出力（影画像４２Ａ）を近接検出処理部４４に入力することが好ましい。

近接検出処理部４４は、判定処理部５１と、対象物特定処理部５２とを有している。なお、本実施の形態の判定処理部５１が、本発明の「画像判定部」の一具体例に相当し、本実施の形態の対象物特定処理部５２が、本発明の「位置導出部」の一具体例に相当する。

判定処理部５１は、受光信号保持部３３の出力（点灯時受光画像および消灯時受光画像）に基づいて生成された画像に、検出対象物の像が含まれているか否か判定し、その判定結果に応じて記憶部４５内の初期データ４５Ａや検出データ４５Ｂを更新するものである。なお、受光信号保持部３３の出力に基づいて生成された画像（判定用画像）は、合成処理部４３の出力を近接検出処理部４４に入力する場合には合成画像４３Ａに相当し、反射検出処理部４１の出力を近接検出処理部４４に入力する場合には差分画像４１Ａに相当し、影検出処理部４２の出力を近接検出処理部４４に入力する場合には影画像４２Ａに相当する。

判定用画像に検出対象物の像が含まれているか否かは、例えば図１０（Ａ）〜（Ｃ）に示したように、判定用画像の各画素データ内に所定の閾値ＴＨを超える値を有する画素領域Ｒが存在するか否かを検出し、画素領域Ｒが検出された場合には、画素領域Ｒの大きさと、検出対称物の像として予想される大きさとを互いに対比することにより行われる。例えば、判定処理部５１は、対象領域Ｒの縦横スケールが検出対称物の像として予想される大きさ（Ｍ×Ｎ（Ｍ，Ｎは画素数））以上となっている場合には、判定用画像に検出対称物の像が含まれていると判定し、対象領域Ｒの縦横スケールが対象領域Ｒの縦横スケールが検出対称物の像として予想される大きさ（Ｍ×Ｎ（Ｍ，Ｎは画素数））を下回っている場合には、判定用画像に検出対称物の像は含まれていないと判定する。このように、判定処理部５１は、簡易なルールに基づいて、判定用画像に検出対象物の像が含まれているか否かを判定する。

判定処理部５１は、判定用画像に検出対称物の像が含まれていないと判定した場合には、判定用画像を初期データ４５Ａとして記憶部４５に記憶させ、判定用画像に検出対称物の像が含まれていると判定した場合には、判定用画像を検出データ４５Ｂとして記憶部４５に記憶させる。このようにして判定用画像を記憶部４５に記憶させた後に、判定処理終了信号５１Ａが対象物特定処理部５２へ出力される。

なお、記憶部４５にデフォルトデータが初期データ４５Ａとしてあらかじめ格納されている場合や、過去のフレーム期間Ｔにおける受光信号保持部３３の出力（点灯時受光画像および消灯時受光画像）に基づいて生成された判定用画像などが判定処理部５１による処理により初期データ４５Ａとして既に格納されている場合には、判定用画像を最新の初期データ４５Ａとして記憶部４５に上書きするようにしてもよいし、初期データ４５Ａとして既に格納されている画像と、判定用画像とを合成することにより得られる合成画像を最新の初期データ４５Ａとして記憶部４５に上書きするようにしてもよい。また、判定用画像を検出データ４５Ｂとして記憶部４５に記憶させる際に、判定用画像をそのまま、または判定用画像に対して何らかの処理を施したものを検出データ４５Ｂとして記憶部４５に記憶させてもよい。

初期データ４５Ａとして既に格納されている画像と、新たに初期データ４５Ａとして格納する判定用画像との合成は、初期データ４５Ａとして既に格納されている画像の各画素データに所定の係数β（０＜β＜１）をかけたものと、新たに初期データ４５Ａとして格納する判定用画像の各画素データに所定の係数（１−β）をかけたものとを加算することにより行うことが好ましい。ただし、他の方法を用いて合成画像を生成するようにしてもよい。

対象物特定処理部５２は、判定処理部５１から出力された判定処理終了信号５１Ａが入力されると、記憶部４５に検出データ４５Ｂとして記憶されている画像から、記憶部４５に初期データ４５Ａとして記憶されている画像を減じて、解析用画像を生成し、この解析用画像を用いて（例えば解析用画像を２値化して）、検出対象物の位置情報４４Ａを導出し、例えばＣＰＵ（図示せず）などへ出力するものである。

なお、記憶部４５に検出データ４５Ｂとして記憶されている画像から、記憶部４５に初期データ４５Ａとして記憶されている画像を減じることにより、記憶部４５に検出データ４５Ｂとして記憶されている画像に含まれる、検出対称物の像に対応する画素データの値だけを抽出することができ、位置情報４４Ａを容易に導出することができる。

次に、本実施の形態の表示装置の動作の一例について詳細に説明する。

この表示装置では、図示しないＣＰＵなどから供給される表示データに基づいて、表示信号ドライバ２３および発光用スキャナ２４から表示用の駆動信号（電圧２３Ａ、発光用選択信号２４Ａ）が生成され、この駆動信号により、表示部１において線順次表示駆動がなされ、画像が表示されると共に、受光用スキャナ３１から受光用の駆動信号（受光用選択信号３１Ａ）が生成され、この駆動信号により、表示部１において線順次受光駆動がなされ、画像が撮像される。また、このとき光源１００は表示信号保持制御部２２によって駆動され、表示部１と同期した点灯・消灯動作が行われる。

具体的には、例えば図５に示したように、１フレームごとに画像の表示を行う際に、各フレーム期間Ｔを１／２に分割し、その前半期間Ｔ１に、光源制御信号２２Ｄとして光源１００を点灯させる信号を出力して光源１００全体を点灯させると共に、この点灯期間に、表示用の駆動信号（電圧２３Ａ、発光用選択信号２４Ａ）および受光用の駆動信号（受光用選択信号３１Ａ）が出力され、各発光セル１２および各受光セル１３が１水平ラインごとに同期して例えば矢印Ｘ方向（図１参照）へ駆動（線順次駆動）されて、そのフレーム期間の画像が表示されると共に、前半期間Ｔ１の受光信号３３Ａが点灯時受光画像（画像表示時受光画像）として得られる。さらに、各フレーム期間の後半期間Ｔ２に、光源制御信号２２Ｄとして光源１００を消灯させる信号を出力して光源１００全体を消灯させると共に、この消灯期間に、受光用の駆動信号（受光用選択信号３１Ａ）が出力され、各受光セル１３が１水平ラインごとに例えば矢印Ｘ方向へ駆動（線順次駆動）されて、後半期間Ｔ２の受光信号３３Ａが消灯時受光画像（画像非表示時受光画像）として得られる。なお、各受光セル１３が複数フレーム周期で断続的に駆動されている場合には、各受光セル１３が駆動されたフレーム期間だけ受光信号３３Ａが消灯時受光画像として得られる。

そして、位置検出部３４において、受光信号保持部３３から出力される受光信号３３Ａに基づいて信号処理が行われ、表示面１０に接触あるいは近接する物体（検出対称物）の位置などが特定される。

（画像生成ステップ）
具体的には、まず、反射検出処理部４１において、表示信号保持制御部２２から出力される光源制御信号２２Ｄに応じて、受光信号保持部３３から出力された受光信号３３Ａが点灯時受光画像と消灯時受光画像とに分類され、点灯時受光画像と消灯時受光画像との差分から差分画像４１Ａが生成される。また、影検出処理部４２において、消灯時受光画像から反転画像および移動平均画像が生成されると共に、移動平均画像から反転画像および閾値が生成される。さらに、影検出処理部４２において、消灯時受光画像の反転画像と、移動平均画像の反転画像との差分から差分画像が生成され、その差分画像の各画素データから、あらかじめ求めておいた閾値を減じることにより影画像４２Ａが生成される。続いて、合成処理部４３において、差分画像４１Ａと影画像４２Ａとが所定のルールで合成されることにより合成画像４３Ａが生成される。

（画像判定ステップ）
次に、判定処理部５１において、受光信号保持部３３の出力（点灯時受光画像および消灯時受光画像）に基づいて生成された判定用画像（合成画像４３Ａ、差分画像４１Ａまたは影画像４２Ａ）に検出対象物の像が含まれているか否かが上述した簡易なルールに基づいて判定される。さらに、判定処理部５１において、上記画像に検出対称物の像が含まれていないと判定された場合には、その画像が初期データ４５Ａとして記憶部４５に記憶され、上記画像に検出対称物の像が含まれていると判定された場合には、その画像が検出データ４５Ｂとして記憶部４５に記憶される。

このとき、記憶部４５にデフォルトデータが初期データ４５Ａとしてあらかじめ格納されている場合や、過去のフレーム期間Ｔにおける受光信号保持部３３の出力（点灯時受光画像および消灯時受光画像）に基づいて生成された過去の判定用画像などが判定処理部５１による処理により初期データ４５Ａとして既に格納されている場合には、判定用画像を最新の初期データ４５Ａとして記憶部４５に上書きするか、または、初期データ４５Ａとして既に格納されている画像と、判定用画像とを所定のルールで合成することにより得られる合成画像を最新の初期データ４５Ａとして記憶部４５に上書きする。

（位置導出ステップ）
次に、対象物特定処理部５２において、記憶部４５に検出データ４５Ｂとして記憶されている画像から、記憶部４５に初期データ４５Ａとして記憶されている画像を減じることにより、解析用画像が生成され、この解析用画像を用いて、検出対象物の位置情報４４Ａが導出され、例えばＣＰＵ（図示せず）などへ出力される。このようにして、本実施の形態では、表示面１０に接触あるいは近接する物体（検出対称物）の位置などが特定される。

このように、本実施の形態では、１フレーム期間において、光源１００の点灯（画像の表示）と光源１００の消灯（画像の非表示）が順次行われている時に、点灯期間（画像表示期間）に点灯時受光画像（画像表示時受光画像）を撮像すると共に、消灯期間（画像非表示期間）に消灯時受光画像（画像非表示時受光画像）を撮像し、これら点灯時受光画像および消灯時受光画像に対して所定の信号処理を施したものを検出対象物の位置の導出に用いるようにしたので、物体の位置などを検出する時の外光の影響をなくすることができるの。これにより、周囲の環境（明るさ）が変化した場合であっても、周囲の環境に拘わらず、表示装置の表示面に接触あるいは近接する物体の位置などを容易に検出することができる。

また、この判定用画像に対して所定の処理を施したものを初期データ４５Ａとして用いるようにしたので、物体の位置などを検出する時に表示装置内で発生しているノイズの影響をなくすることができる。これにより、表示装置内で発生するノイズが表示装置を使用する環境の変化や、経時変化などによって変化した場合であっても、表示装置内で発生するノイズ成分を効果的に除去することができるので、表示装置の表示面に接触あるいは近接する物体の位置などを精度よく検出することができる。また、表示装置内で発生するノイズを除去するために、工場出荷時などにあらかじめ用意しておいたデータを初期データ４５Ａとして記憶部４５に記憶させておく必要がないので、工場出荷時の工数を低減することができる。

また、本実施の形態では、判定用画像に検出対象物の像が含まれているか否かを、上記したように簡易なルールに基づいて行うようにしたので、初期データ４５Ａとして記憶部４５に記憶させるデータを生成するために要する処理時間や負荷を十分に小さくすることができ、位置検出の応答速度の低下を最低限に抑えることができる。また、初期データ４５Ａの生成は表示装置側で自動的に行われるので、表示装置のユーザに何らかの操作を要求することがなく、上記特許文献１の技術と比べて、ユーザの負担を軽減することができる。

また、本実施の形態において、記憶部４５にデフォルトデータが初期データ４５Ａとしてあらかじめ格納されている場合や、過去のフレーム期間Ｔにおける受光信号保持部３３の出力（点灯時受光画像および消灯時受光画像）に基づいて生成された過去の判定用画像などが判定処理部５１による処理により初期データ４５Ａとして既に格納されている場合に、初期データ４５Ａとして既に格納されている画像と、判定用画像とを所定のルールで合成することにより得られる合成画像を最新の初期データ４５Ａとして記憶部４５に上書きするようにしたときには、簡易なルールに基づいて判定用画像に検出対象物の像が含まれているか否かを判定した際に、判定用画像に検出対象物の像が含まれているにも拘わらず、判定用画像に検出対象物の像が含まれていないと誤検出してしまったときでも、その誤検出の影響が長引くのを防止することができ、さらに、誤検出によって、位置検出の精度が低下するのを最低限に抑えることができる。

また、本実施の形態では、検出対称物の位置などを検出するうえで、例えばタッチパネルなどの部品を別途設ける必要がないので、表示装置の構成を簡素化することができる。

また、本実施の形態において、各受光セル１３を複数フレーム周期で断続的に駆動するようにした場合には、検出対称物の位置などを検出するのに要する消費電力を低く抑えることができる。

以上、実施の形態およびその変形例を挙げて本発明を説明したが、本発明は実施の形態等に限定されるものではなく、種々の変形が可能である。

例えば、上記実施の形態では、各画素１１は、赤色発光セル１２Ｒ、緑色発光セル１２Ｇおよび青色発光セル１２Ｂからなる発光セル１２を有していたが、他の色を発するセルをさらに備えていてもよく、また、これらの発光セルのうち少なくとも１つのセルを備えていてもよい。

また、上記実施の形態では、表示部１は、光源１００上に液晶表示パネル（パネル部１１０）を備えている場合について説明していたが、表示部１が、互いに対向する透明基板の間に有機層を設けた有機ＥＬパネルのように、画素を構成する表示素子自体が発光する自発光型パネルを備えていてもよい。ただし、その場合には、表示素子をオンオフ動作させることにより、画像表示・非表示と、点灯・消灯とを同時に行うことになるので、表示部１の背面に光源１００を設け、表示素子のオンオフ動作と共に、光源１００のオンオフ動作を行う必要はない。

本発明の一実施の形態に係る表示装置の全体構成を表すブロック図である。 図１における発光セルおよび受光セルの構成の一例を模式的に表す平面図である。 図１における発光素子の構成の一例を模式的に表す断面図である。 図１における各画素の構成の一例を模式的に表す回路図である。 検出対象物を線順次動作で検出する処理の一例を表すタイミング図である。 検出対象物を線順次動作で検出する処理の他の例を表すタイミング図である。 図１の位置検出部の構成の一例を模式的に表すブロック図である。 外光が強いときの様子を模式的に表す側面図および外光が強いときの受光出力電圧の一例を表す波形図である。 外光が弱いときの様子を模式的に表す側面図および外光が弱いときの受光出力電圧の一例を表す波形図である。 判定用画像に検出対象物の像が含まれているか否かを判定する方法について説明するための模式図である。

符号の説明

１…表示部、１００…光源、１０１Ａ，１０１Ｂ…偏光板、１０２Ａ，１０２Ｂ…透明基板、１０３…回路部、１０４…絶縁層、１０５Ａ…透明画素電極、１０５Ｂ…透明電極、１０６…液晶層、１０７…カラーフィルタ、１０８…選択透過フィルタ、１０９…ブラックマトリクス、１０…表示面、１１…画素、１２…発光セル、１２Ｒ…赤色発光セル、１２Ｇ…緑色発光セル、１２Ｂ…青色発光セル、１３…受光セル、１４Ｒ…赤色発光素子、１４Ｇ…緑色発光素子、１４Ｂ…青色発光素子、１５，１５Ｒ，１５Ｇ，１５Ｂ…ＴＦＴ回路部、１６…受光素子、１７…受光素子回路部、２１…表示信号生成部、２２…表示信号保持制御部、２３…表示信号ドライバ、２４…発光用スキャナ、３１…受光用スキャナ、３２…受光信号レシーバ、３３…受光信保持部、３４…位置検出部、４１…反射検出処理部、４２…影検出処理部、４３…合成処理部、４４…近接検出処理部、４５…記憶部、４５Ａ…初期データ、４５Ｂ…検出データ、５１…判定処理部５１、５２…対象物特定処理部。

Claims (13)

1. 表示面に画像を表示すると共に検出光を発光する複数の発光セルおよび前記表示面側から入射した前記検出光を受光する複数の受光セルを有するパネル部と、
   初期データおよび検出データを記憶する記憶部と、
   前記検出光が前記表示面から出力されている第１の期間に前記複数の受光セルから得られた第１の受光画像の各画素データと、前記検出光が前記表示面から出力されていない第２の期間に前記複数の受光セルから得られた第２の受光画像の各画素データとの差分をとることにより判定用画像を生成する画像生成部と、
   前記判定用画像の各画素データ内に所定の閾値を超える値を有する画素領域が存在するか否かを検出し、前記画素領域が検出された場合には、前記画素領域の大きさと、検出対象物の像として予想される大きさとを互いに対比することにより、前記判定用画像に検出対象物の像が含まれているか否かを判定し、前記判定用画像に検出対象物の像が含まれていないと判定した場合には、前記判定用画像に対応するデータを前記初期データとして前記記憶部に記憶させ、前記判定用画像に検出対象物の像が含まれていると判定した場合には、前記判定用画像に対応するデータを前記検出データとして前記記憶部に記憶させる画像判定部と、
   前記記憶部に前記検出データとして記憶された画像と、前記記憶部に前記初期データとして記憶された画像との差分から、検出対象物の位置を導出する位置導出部と
   を備えた表示装置。
2. 表示面に画像を表示すると共に検出光を発光する複数の発光セルおよび前記表示面側から入射した前記検出光を受光する複数の受光セルを有するパネル部と、
   初期データおよび検出データを記憶する記憶部と、
   （１）前記検出光が前記表示面から出力されていない期間に前記複数の受光セルから得られた受光画像の明暗を反転させることにより第１反転画像を生成し、（２）前記受光画像における一の注目画素およびその周辺画素からなる画素領域の画素データに対して平均化処理を行い、その平均化処理により得られた画像データに対して、前記受光画像における次の注目画素およびその周辺画素からなる画素領域での平均化処理を用い、注目画素を順次移動させ、平均化処理を前記受光画像全体について行うことにより移動平均画像を生成し、（３）前記移動平均画像の明暗を反転させることにより第２反転画像を生成し、（４）前記移動平均画像から所定の閾値を生成し、（５）前記第１反転画像と前記第２反転画像との差分から差分画像を生成し、その差分画像の各画素データから前記閾値を減じることにより判定用画像を生成する画像生成部と、
   前記判定用画像の各画素データ内に所定の閾値を超える値を有する画素領域が存在するか否かを検出し、前記画素領域が検出された場合には、前記画素領域の大きさと、検出対象物の像として予想される大きさとを互いに対比することにより、前記判定用画像に検出対象物の像が含まれているか否かを判定し、前記判定用画像に検出対象物の像が含まれていないと判定した場合には、前記判定用画像に対応するデータを前記初期データとして前記記憶部に記憶させ、前記判定用画像に検出対象物の像が含まれていると判定した場合には、前記判定用画像に対応するデータを前記検出データとして前記記憶部に記憶させる画像判定部と、
   前記記憶部に前記検出データとして記憶された画像と、前記記憶部に前記初期データとして記憶された画像との差分から、検出対象物の位置を導出する位置導出部と
   を備えた表示装置。
3. 表示面に画像を表示すると共に検出光を発光する複数の発光セルおよび前記表示面側から入射した前記検出光を受光する複数の受光セルを有するパネル部と、
   初期データおよび検出データを記憶する記憶部と、
   前記検出光が前記表示面から出力されている第１の期間に前記複数の受光セルから得られた第１の受光画像と、前記検出光が前記表示面から出力されていない第２の期間に前記複数の受光セルから得られた第２の受光画像とに基づいて判定用画像を生成する画像生成部と、
   前記判定用画像の各画素データ内に所定の閾値を超える値を有する画素領域が存在するか否かを検出し、前記画素領域が検出された場合には、前記画素領域の大きさと、検出対象物の像として予想される大きさとを互いに対比することにより、前記判定用画像に検出対象物の像が含まれているか否かを判定し、前記判定用画像に検出対象物の像が含まれていないと判定した場合には、前記判定用画像に対応するデータを前記初期データとして前記記憶部に記憶させ、前記判定用画像に検出対象物の像が含まれていると判定した場合には、前記判定用画像に対応するデータを前記検出データとして前記記憶部に記憶させる画像判定部と、
   前記記憶部に前記検出データとして記憶された画像と、前記記憶部に前記初期データとして記憶された画像との差分から、検出対象物の位置を導出する位置導出部と
   を備え、
   前記画像生成部は、
   前記第１の受光画像の各画素データと前記第２の受光画像の各画素データとの差分から第１差分画像を生成する差分画像生成部と、
   （１）前記第２の受光画像の明暗を反転させることにより第１反転画像を生成し、（２）前記第２の受光画像における一の注目画素およびその周辺画素からなる画素領域の画素データに対して平均化処理を行い、その平均化処理により得られた画像データに対して、前記第２の受光画像における次の注目画素およびその周辺画素からなる画素領域での平均化処理を行い、注目画素を順次移動させ、平均化処理を前記第２の受光画像全体について行うことにより移動平均画像を生成し、（３）前記移動平均画像の明暗を反転させることにより第２反転画像を生成し、（４）前記移動平均画像から所定の閾値を生成し、（５）前記第１反転画像と前記第２反転画像との差分から第２差分画像を生成し、その第２差分画像の各画素データから前記閾値を減じることにより影画像を生成する影画像生成部と、
   前記第１差分画像と前記影画像とを所定のルールで合成することにより前記判定用画像を生成する合成画像生成部と
   を有する
   表示装置。
4. 前記画像判定部は、前記判定用画像に検出対称物の像が含まれていないと判定した場合に、前記記憶部に既に所定の画像が前記初期データとして格納されている場合は、前記判定用画像をそのまま、または前記判定用画像に対して所定の処理を施したものを前記初期データとして前記記憶部に上書きするか、または、前記初期データとして前記記憶部に既に格納されている画像と、前記判定用画像とを所定のルールで合成することにより得られる合成画像を前記初期データとして前記記憶部に上書きする
   請求項１ないし請求項３のいずれか一項に記載の表示装置。
5. 前記第１の期間は前記表示面に画像を表示させている表示期間であり、前記第２の期間は前記表示面に画像を表示させていない非表示期間であり、前記検出光は画像を表示させるための表示光である
   請求項１または請求項３に記載の表示装置。
6. 前記受光画像が得られた期間は前記表示面に画像を表示させていない非表示期間であり、前記検出光は画像を表示させるための表示光である
   請求項２に記載の表示装置。
7. 前記複数の発光セルは前記表示面に画像を表示させるための可視光と共に、前記検出光として非可視光を前記表示面から発光する
   請求項１ないし請求項３のいずれか一項に記載の表示装置。
8. 前記パネル部は、互いに対向する透明基板の間に液晶層を設けた液晶表示パネルであり、
   前記非可視光は赤外光である
   請求項７に記載の表示装置。
9. 前記パネル部は、互いに対向する透明基板の間に液晶層を設けた液晶表示パネルである
   請求項１ないし請求項３のいずれか一項に記載の表示装置。
10. 前記パネル部は、互いに対向する透明基板の間に有機層を設けた有機発光パネルである
    請求項１ないし請求項３のいずれか一項に記載の表示装置。
11. 表示面に画像を表示すると共に検出光を発光する複数の発光セルおよび前記表示面側から入射した前記検出光を受光する複数の受光セルを有するパネル部と、初期データおよび検出データを記憶する記憶部とを備えた表示装置において検出対象物の位置を検出する方法であって、
    前記検出光が前記表示面から出力されている第１の期間に前記複数の受光セルから得られた第１の受光画像の各画素データと、前記検出光が前記表示面から出力されていない第２の期間に前記複数の受光セルから得られた第２の受光画像の各画素データとの差分をとることにより判定用画像を生成する画像生成ステップと、
    前記判定用画像の各画素データ内に所定の閾値を超える値を有する画素領域が存在するか否かを検出し、前記画素領域が検出された場合には、前記画素領域の大きさと、検出対象物の像として予想される大きさとを互いに対比することにより、前記判定用画像に検出対象物の像が含まれているか否かを判定し、前記判定用画像に検出対象物の像が含まれていないと判定した場合には、前記判定用画像に対応するデータを前記初期データとして前記記憶部に記憶させ、前記判定用画像に検出対象物の像が含まれていると判定した場合には、前記判定用画像に対応するデータを前記検出データとして前記記憶部に記憶させる画像判定ステップと、
    前記記憶部に前記検出データとして記憶された画像と、前記記憶部に前記初期データとして記憶された画像との差分から、検出対象物の位置を導出する位置導出ステップと
    を含む位置検出方法。
12. 表示面に画像を表示すると共に検出光を発光する複数の発光セルおよび前記表示面側から入射した前記検出光を受光する複数の受光セルを有するパネル部と、初期データおよび検出データを記憶する記憶部とを備えた表示装置において検出対象物の位置を検出する方法であって、
    （１）前記検出光が前記表示面から出力されていない期間に前記複数の受光セルから得られた受光画像の明暗を反転させることにより第１反転画像を生成し、（２）前記受光画像における一の注目画素およびその周辺画素からなる画素領域の画素データに対して平均化処理を行い、その平均化処理により得られた画像データに対して、前記受光画像における次の注目画素およびその周辺画素からなる画素領域での平均化処理を用い、注目画素を順次移動させ、平均化処理を前記受光画像全体について行うことにより移動平均画像を生成し、（３）前記移動平均画像の明暗を反転させることにより第２反転画像を生成し、（４）前記移動平均画像から所定の閾値を生成し、（５）前記第１反転画像と前記第２反転画像との差分から差分画像を生成し、その差分画像の各画素データから前記閾値を減じることにより判定用画像を生成する画像生成ステップと、
    前記判定用画像の各画素データ内に所定の閾値を超える値を有する画素領域が存在するか否かを検出し、前記画素領域が検出された場合には、前記画素領域の大きさと、検出対象物の像として予想される大きさとを互いに対比することにより、前記判定用画像に検出対象物の像が含まれているか否かを判定し、前記判定用画像に検出対象物の像が含まれていないと判定した場合には、前記判定用画像に対応するデータを前記初期データとして前記記憶部に記憶させ、前記判定用画像に検出対象物の像が含まれていると判定した場合には、前記判定用画像に対応するデータを前記検出データとして前記記憶部に記憶させる画像判定ステップと、
    前記記憶部に前記検出データとして記憶された画像と、前記記憶部に前記初期データとして記憶された画像との差分から、検出対象物の位置を導出する位置導出ステップと
    を含む位置検出方法。
13. 表示面に画像を表示すると共に検出光を発光する複数の発光セルおよび前記表示面側から入射した前記検出光を受光する複数の受光セルを有するパネル部と、初期データおよび検出データを記憶する記憶部とを備えた表示装置において検出対象物の位置を検出する方法であって、
    前記検出光が前記表示面から出力されている第１の期間に前記複数の受光セルから得られた第１の受光画像と、前記検出光が前記表示面から出力されていない第２の期間に前記複数の受光セルから得られた第２の受光画像とに基づいて判定用画像を生成する画像生成ステップと、
    前記判定用画像の各画素データ内に所定の閾値を超える値を有する画素領域が存在するか否かを検出し、前記画素領域が検出された場合には、前記画素領域の大きさと、検出対象物の像として予想される大きさとを互いに対比することにより、前記判定用画像に検出対象物の像が含まれているか否かを判定し、前記判定用画像に検出対象物の像が含まれていないと判定した場合には、前記判定用画像に対応するデータを前記初期データとして前記記憶部に記憶させ、前記判定用画像に検出対象物の像が含まれていると判定した場合には、前記判定用画像に対応するデータを前記検出データとして前記記憶部に記憶させる画像判定ステップと、
    前記記憶部に前記検出データとして記憶された画像と、前記記憶部に前記初期データとして記憶された画像との差分から、検出対象物の位置を導出する位置導出ステップと
    を含み、
    前記画像生成ステップにおいて、
    （１）前記第１の受光画像の各画素データと前記第２の受光画像の各画素データとの差分から第１差分画像を生成し、
    （２）前記第２の受光画像の明暗を反転させることにより第１反転画像を生成し、
    （３）前記第２の受光画像における一の注目画素およびその周辺画素からなる画素領域の画素データに対して平均化処理を行い、その平均化処理により得られた画像データに対して、前記第２の受光画像における次の注目画素およびその周辺画素からなる画素領域での平均化処理を行い、注目画素を順次移動させ、平均化処理を前記第２の受光画像全体について行うことにより移動平均画像を生成し、
    （４）前記移動平均画像の明暗を反転させることにより第２反転画像を生成し、
    （５）前記移動平均画像から所定の閾値を生成し、
    （６）前記第１反転画像と前記第２反転画像との差分から第２差分画像を生成し、その第２差分画像の各画素データから前記閾値を減じることにより影画像を生成し、
    （７）前記第１差分画像と前記影画像とを所定のルールで合成することにより前記判定用画像を生成する
    位置検出方法。

Images