JP4234240B2 - On-vehicle camera mounting method and image processing apparatus - Google Patents
On-vehicle camera mounting method and image processing apparatus Download PDFInfo
- Publication number
- JP4234240B2 JP4234240B2 JP31800898A JP31800898A JP4234240B2 JP 4234240 B2 JP4234240 B2 JP 4234240B2 JP 31800898 A JP31800898 A JP 31800898A JP 31800898 A JP31800898 A JP 31800898A JP 4234240 B2 JP4234240 B2 JP 4234240B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- vehicle
- image
- notification
- mounting
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Accessories Of Cameras (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Details Of Measuring And Other Instruments (AREA)
- Exposure Control For Cameras (AREA)
Description
【0001】
【発明の属する技術分野】
本発明は、車両にカメラを取付けるための車載用カメラの取付方法および画像処理装置に関する。
【0002】
【従来の技術】
従来から、車両にカメラを搭載し、車両の後方など運転者から死角になる部分の画像を撮像して運転の補助を行ったり、たとえば特開平9ー126756や特開平9ー126759に記載されているように、一対のカメラで両眼立体視法による距離測定を行ったりしている。
【0003】
車両に搭載するカメラの車体への取付けの際には、カメラの中心軸を所定の方向となるように調整する必要がある。このような調整では、従来、カメラが撮像する画像についての映像出力信号を用いて、たとえば画像の中心と所定の方向との位置関係に基づいて、画像を見ながら調整するようにしている。
【0004】
図12は、従来の車載用の画像処理のための電気的な構成を示す。カメラ1は、CCDなどの撮像素子やレンズなどの光学系部品を備え、所定の視野内の画像を撮像する。カメラ1が撮像した画像を表す映像出力信号は、カメラ1を含む画像処理装置2の画像処理部3に入力される。画像処理部3は、カメラ1が撮像した画像に基づく演算処理、たとえば両眼立体視法による距離測定のための演算処理などを行う。
【0005】
画像処理部3からの映像出力信号は、映像出力回路部4で増幅され、表示用モニタ5で画像として表示させる。カメラ1を車体の所定位置に取付ける際には、カメラ1の取付状態を調整する作業者に、現在の取付状態に対応して撮像される画像として表示する。
【0006】
【発明が解決しようとする課題】
従来の車載用カメラの取付けの際の調整は、作業者が表示用モニタ5のモニタ画面を見ながら行う。このため、表示用モニタ5に映像出力信号を供給する映像出力回路部4も必要となる。カメラ1を搭載する本来の目的は、画像処理部3で画像処理を行い、その結果で車両の運転などの支援を行うことである。したがって、カメラ1および画像処理部3が画像処理に必要な部分6である。しかしながら、調整のときにのみ使用する映像出力回路4の付加が必要となるので、コストアップにつながる。また、作業者が表示用モニタ5の画面を見ながら取付作業を行う必要があるので、カメラ1の撮像方向や取付位置周辺に対する充分な観察を行うことができない。
【0007】
本発明の目的は、車体への取付けに伴う調整を、簡単な構成で精度よく行うことができる車載用カメラの取付方法および車載用カメラの画像処理装置を提供することである。
【0008】
【課題を解決するための手段】
本発明は、カメラを車両に取付ける際に、カメラによって撮像しながら、撮像される画像を処理して、画像上の基準点の位置を算出し、
算出された基準点の位置に基づいて、カメラの取付け状態が許容範囲内にあるか否かを判定し、
判定結果を通知し、
前記基準点は、画像中に路面上に引かれる白線が検出されるときに、白線検出位置から算出される無限遠点であることを特徴とする車載用カメラの取付方法である。
【0009】
本発明に従えば、カメラを車両に取付ける際に、カメラは撮像を行い、撮像された画像は処理されて、画像上の基準点の位置が算出される。算出された基準点の位置に基づいて、カメラの取付状態が許容範囲内であるか否かが判定され、判定結果が通知されるので、カメラが撮像する画像を表示用モニタなどで直接見ないでも、判定結果の通知に従って、カメラの取付状態が所定の撮像方向に正確に向けられるように調整を行うことができる。
【0011】
また、基準点として画像中の路面上に引かれる白線が収斂する無限遠点を選択するので、画像中に白線が検出されれば、無限遠点を容易に検出して、カメラの取付状態調整のための基準位置として利用することができる。
【0012】
また本発明で前記基準点として、前記画像内で前記白線の最も手前側に位置する点である最近点も含むことを特徴とする。
【0013】
本発明に従えば、カメラの取付状態を調整する基準点として、画像内で白線の最も手前側に位置する点である最近点も含むので、カメラの視野が適切な範囲となるように取付状態を調整することができる。
【0014】
また本発明で前記基準点は、カメラの視野内に設置される物体の画像上に設定されることを特徴とする。
【0015】
本発明に従えば、カメラの視野内に設置される物体の画像上に基準点を設定するので、たとえば標準な調整場所を設けて調整を行ったり、車間距離表示が設けられている道路上で前方車両を視野内に捕えて調整を行い、カメラを適切な取付状態に調整することができる。
【0016】
また本発明で前記カメラには、操作部の手動操作によりその動作が制御されるモータによる駆動で取付状態を変更する機構が設けられ、
前記判定結果の通知に従って、カメラの取付状態が許容範囲内になるように、前記操作部の手動操作でモータの駆動状態を制御することを特徴とする。
【0017】
本発明に従えば、カメラの取付状態の調整は、操作部の手動操作によりその動作が制御されるモータを駆動して取付状態を変更する機構で行うので、手動で直接調整するよりも、微妙な調整を容易に行うことができる。
【0018】
また本発明で前記カメラには、取付状態をモータによる駆動で変更する機構が設けられ、
前記判定結果の通知に従って、カメラの取付状態が許容範囲内になるように、モータの駆動状態を自動的に制御することを特徴とする。
【0019】
本発明に従えば、カメラの取付状態の調整は、モータの駆動状態を自動的に制御して行うので、最適な状態となるように確実に調整することができる。
【0020】
また本発明で前記判定結果の通知は、音響出力で行うことを特徴とする。
【0021】
本発明に従えば、判定結果の通知を音響出力で行うので、カメラの取付状態の調整時には表示モニタ画面などを見る必要はなく、カメラの周辺や視野の方向のみの取付状態を調整することができる。
【0022】
また本発明で前記通知は、前記基準点位置からのずれ量に対応する前記音響出力の音量の変化で行うことを特徴とする。
【0023】
本発明に従えば、取付状態の調整の際に、基準位置からのずれの量が音響出力の音量の変化として通知されるので、調整の結果によるずれ量の変化が判りやすくなり、容易にずれが少なくなる方向に調整することができる。
【0024】
また本発明で前記通知は、前記基準点からのずれ量に対応する前記音響出力の音色変化で行うことを特徴とする。
【0025】
本発明に従えば、ずれ量に対応して音響出力の音色変化で通知が行われるので、音色とずれ量とを関連付けて、ずれ量の調整を容易に行うことができる。
【0026】
また本発明で前記通知は、前記基準点からのずれ量に対応する前記音響出力の音間隔変化で行うことを特徴とする。
【0027】
本発明に従えば、基準点からのずれ量に対応する通知を、音響出力の音間隔の変化で行うので、他の要因で音響出力の音色や音量が変化しても、確実にずれ量に対する許容範囲内にあるか否かを通知することができる。
【0028】
また本発明で前記判定結果の通知は、視覚表示で行うことを特徴とする。
【0029】
本発明に従えば、判定結果の通知を視覚表示で行うので、判定結果を判りやすい情報として表示することができる。
【0030】
また本発明で前記通知は、前記基準位置からのずれ量に対応して、視覚表示位置を変化させて行うことを特徴とする。
【0031】
本発明に従えば、基準位置からのずれ量に対応して、視覚表示位置が変化するので、視覚表示位置に基づいてずれ量を判断し、ずれ量が小さくなるようにカメラの取付状態を調整することができる。
【0032】
また本発明で前記通知は、前記基準位置からのずれ量に対応する速度で、視覚表示を点滅させて行うことを特徴とする。
【0033】
本発明に従えば、基準位置からのずれ量に対応する速度で視覚表示が点滅するので、点滅の速度に応じてずれ量が小さくなるようにカメラの取付状態を調整することができる。
【0034】
また本発明で前記通知は、前記基準位置からのずれ量に対応して、視覚表示の面積を変化させて行うことを特徴とする。
【0035】
本発明に従えば、ずれ量に応じて視覚表示の表示面積が変化するので、ずれ量が小さくなる方向に容易に調整することができる。
【0036】
また本発明で前記通知は、前記基準位置からの明るさが変化するように視覚表示を変化させて行うことを特徴とする。
【0037】
本発明に従えば、基準点からのずれ量に対応して視覚表示の明るさが変化するので、明るさの変化に基づいてずれ量が小さくなるようにカメラの取付状態を調整することができる。
【0038】
さらに本発明は、カメラによって撮像される画像中から、予め定められる対象物を認識する認識手段と、
認識手段によって認識される対象物の画像に基づいて、基準点位置を算出する算出手段と、
算出手段によって算出される基準点の位置と、カメラが車両に搭載される状態で撮像すべき画像中の基準点の位置とのずれ量を算出し、ずれ量が予め定める許容範囲内にあるか否かを判断する判断手段と、
判断手段の判断結果を通知する通知手段とを含み、
前記基準点は、画像中に路面上に引かれる白線が検出されるときに、白線検出位置から算出される無限遠点であることを特徴とする車載用カメラの画像処理装置である。
【0039】
本発明に従えば、カメラによって撮像される画像中予め定める対象物が、認識手段によって認識される。算出手段は、認識される対象物の画像に基づいて基準点の位置を算出し、基準点の位置に基づいてカメラが車両に搭載される状態で撮像する画像中の基準点の位置とのずれ量が計算され、許容範囲内にあるか否かを判断手段によって判断される。判断結果は、通知手段によって通知されるので、車載用カメラの取付状態を調整しようとするときには、通知に従って基準位置までのずれ量が小さくなるように調整して、適切な撮像状態を得ることができる。撮像した画像を表示しながら調整を行う必要がないので、画像を表す映像出力信号を増幅する出力回路などを設ける必要がなく、画像処理装置の製造原価を低減することができる。また、基準点として画像中の路面上に引かれる白線が収斂する無限遠点を選択するので、画像中に白線が検出されれば、無限遠点を容易に検出して、カメラの取付状態調整のための基準位置として利用することができる。
【0040】
【発明の実施の形態】
図1は、本発明の実施の一形態の基本的な考え方を示す。図1(a)は、撮像すべき画像10の基本的内容を示し、図1(b)は、画像10を撮像するための構成を示す。画像10は、CCDなどの撮像素子を有するカメラ11で撮像される。画像10を撮像したカメラ11からは、映像信号が出力され、カメラ11を含む画像処理装置12内の画像処理部13で処理される。本実施形態では、画像処理装置12は、カメラ11を取付ける目的の画像処理を行うとともに、カメラ11を車両に取付ける際の調整時にも、取付状態が適切であるか否かの判断を行う。画像処理装置12の判断結果は、ブザーや、発光ダイオード(以下、「LED」と略称する)や液晶表示素子(LCD)などのディスプレイなどの結果出力部14に出力され、音響出力あるいは視覚表示で判断結果の通知が行われる。画像処理装置12は、基本的に、カメラ11および画像処理部13の画像処理に必要な部分15のみで構成される。
【0041】
カメラ11が撮像する画像10には、たとえば車両の走行方向前方の路面16が撮像される。路面16には、車線の境界を示す白線17が引かれており、平坦かつ直線の路面16では、隣接する白線17は平行である。カメラ11は、透視図法に従う画像10を撮像するので、平行な白線17の先端は、無限遠点18で一致するように収斂する。また、カメラ11の視野内では、白線17の最も手前側に位置する点として、最近点19も容易に識別することができる。
【0042】
図2は、図1の構成で、カメラ11を車両に取付ける際の手順を示す。図2(a)は、全体的な取付手順を示す。ステップa1で、カメラの取付方向を認識する。図1(a)の画像10のように、路面16に白線17が引かれていれば、白線17を認識し、その延長上の無限遠点18や、最近点19の認識も行う。ステップa2では、ステップa1で認識された無限遠点18や最近点19が、画像10の上下方向で、適切な位置となるような取付角度の調整が行われる。ステップa3では、カメラ取付方法の通知に基づいて、無限遠点18や最近点19が、画像10の左右方向で適切な位置になるような調整が行われる。
【0043】
図2(b)は、図2(a)のステップa2やステップa3で、カメラのずれを調整する際に、許容範囲内であるか否かの通知手順を示す。ステップb1から手順を開始し、ステップb2では無限遠点18や最近点19などの基準点の位置を算出する。ステップb3では、本来の基準点位置と算出された基準点位置とのずれ量を演算する。ステップb4では、ずれ量が許容範囲内であるか否かを判断する。許容範囲内であると判断されるときには、ステップb5で結果出力部14としてのブザーを鳴らす。ずれ量が許容範囲外であると判断されるときには、ブザーは鳴らさない。ずれが許容範囲内であるか否かをブザーで知らせた後、ステップb6で手順を終了する。
【0044】
図3は、図2(b)に示すような、カメラ取付角度の調整のための構成を示す。図3(a)に示すように、カメラ11はたとえば車室内のルームミラー20の取付部に取付けられる。車両の運転者からは、ルームミラー20の背後側になるので、フロントガラス21を通しての前方視界を妨げないように取付けることができる。カメラ11は、車両の前方をフロントガラス21を通して撮像する。図3(b)に側方から拡大して示すように、カメラ11は、ルームミラー20とともに、車両の天井部分22に支持具23で固定される。カメラ11は、支持具23の先端部分に、ねじ24で固定されるので、ねじ24を緩めた状態で、ほぼ鉛直な軸線まわりの変位が可能で、図1(a)の画像10内で基準点となる無限遠点18や最近点19の位置を左右に調整することができる。
【0045】
図4は、図3の構成で左右方向についてのカメラ11の取付位置を通知するための基本的な考え方を示す。ねじ24を緩めて調整可能な範囲25のうち、中心から若干のずれを含む許容範囲26内で、ブザーを鳴らすようにする。このようにすれば、ブザーが鳴る位置にカメラ11を固定し、調整を終了することができる。
【0046】
図4では、許容範囲26でブザーを鳴らすか、他の範囲でブザーを鳴らさないかの違いで通知を行っているけれども、許容範囲26でブザーの音量を大音量とし、許容範囲26外の調整範囲25でブザーの音量を小音量とするような2段階の変化で通知することもできる。また、音量の段階をより多くし、さらには連続的に変化するようにすることもできる。またブザー音を鳴らすのに交流信号を加え、あるいはブザーのかわりにスピーカを用いて、音響出力の周波数や音色で通知することもできる。2段階の変化は、高音と低音とで区別し、さらに多段階に音色を変えて通知させることもできる。
【0047】
図4に示すような許容範囲の音響出力による通知では、ブザーなどの発生間隔を変えて通知することもできる。たとえば許容範囲26内で、「ピッ、ピッ、ピッ」とし、許容範囲26外のとき「ピー、ピー、ピー」とするように変えて通知することができる。さらに多段階に変えることもできる。
【0048】
図5は、本発明の実施の他の形態での画像中の基準点を示す。なお、先行して説明してある部分と対応する部分には同一の参照符を付し、重複する説明を省略する。本実施形態では、図1(a)に示す画像10中での無限遠点18および最近点19の他に、先行車両28から検出される車両検出位置29も基準点として用いる。たとえば、車間距離確認区間などを通過しているときには、先行車両28の車間距離を確認することができるので、車間距離確認区間を通過後も一定の車間距離を保って走行し、先行車両28の画像の特定の位置、たとえば重心などを車両検出位置29として画面内で適切な位置となるように調整を行う。
【0049】
図5に示すような先行車両28を利用しての車両検出位置29の調整は、図6に示すようなカメラ31を用いて行う。カメラ31は、図3(b)に示すカメラ11と同様に、支持具23で、ルームミラー20の取付部などに取付けられる。カメラ31内には、CCDカメラ32が収納され、またCCDカメラ32の撮像方向をほぼ鉛直な軸線まわりに変位させるモータ33およびモータ33の回転駆動状態を制御するスイッチ34が設けられる。車両の運転者は、ブザーなどの結果出力部13の通知に従ってスイッチ34を操作し、調整を行うことができる。CCDカメラ32の撮像方向の一定の変化に対してモータ33の回転数が多くなるように設定しておけば、スイッチ34の手動操作で撮像方向の微調整を行うことができる。このようなカメラ31は、図1の実施形態でも、図3に示すカメラ11の代りに用いることもできる。なお、カメラ11にもCCDなどを備えるCCDカメラ32と同様なCCDカメラが内蔵される。
【0050】
図7は、本発明の実施のさらに他の形態のカメラ41の概略的な構成を示す。本実施形態でも、先行する各実施形態で説明した部分と対応する部分には同一の参照符を付し、重複する説明を省略する。また、カメラ41にも図6のCCDカメラ32と同様なCCDカメラが内蔵されるけれども、図示を省略する。本実施形態で、カメラ41の撮像方向をほぼ鉛直な軸線まわりに変位させるモータ33は、カメラ41が撮像する画像を処理する画像処理用マイコン42が自動的に制御する。図2のステップb3のようにずれ量を演算して求め、ずれ量が小さくなるようにモータ33を駆動する方向や変位量を制御する。
【0051】
図8は、本発明の実施のさらに他の形態として、複数のLEDを含むLED表示器50を図1の結果出力部14として用いる場合の構成を示す。LED表示器50は、3以上の複数、たとえば3つのLED51,52,53を一次元的に配列し、点灯LED位置でカメラ11,31,41の取付け位置を通知する状態を示す。たとえば3つのLED51,52,53のうちの中央のLED52が点灯すれば取付け状態に基づく基準点の位置は許容範囲内であることが判り、左側のLED51や右側のLED53のいずれかが点灯すれば、左または右へのずれ量が多いことが判る。
【0052】
なお、点灯するLED51,52,53で取付位置の概要を示し、点灯状態を点滅させて、その点滅間隔でずれ量の程度を通知させることもできる。たとえば、ずれ量が大きいときには遅いタイミングで点滅させ、ずれ量が小さくなると点滅のタイミングを速めて、適切な調整状態への移行が容易になるように通知を行うことができる。また、点滅に代えて、表示の明るさで通知することもできる。たとえば許容範囲内では、LED51,52,53を最大電力で点灯し、許容範囲外でLED51,52,53を最小電力で点灯するように制御する。
【0053】
図9は、本発明の実施のさらに他の形態として、複数のLEDを二次元的なマトリクス状に配置して構成されるLED表示器60を用いてカメラ11,31,41の取付け状態に対する通知を行う構成を示す。本実施形態では、複数のLED61,62,…,6nによって、バーグラフ状の表示を行う。図9(a)に示すように、許容範囲内にある場合には、たとえば左半分側のLEDが点灯し、右半分側のLEDは消灯するように表示する。図9(b)に示すように、許容範囲よりも左側に偏ると、点灯するLEDの領域も左側に寄る。図9(c)に示すように、許容範囲よりも右側に偏ると、消灯するLEDの領域も右側に寄る。
【0054】
図10は、本発明の実施のさらに他の形態として、カメラ11,31,41を利用して図5に示す車両検出位置29などに対する距離測定を行う際の距離表示用の7セグメントLED71,72を調整に利用する例を示す。7セグメントLED81,82は、たとえばカメラ11,31,41を対で用いて、先行車両との間の車間距離をステレオ測距法などで求め、求められた車間距離を通知するために設けられる。図10(a)に示すように、許容範囲内にあるときは、中央寄りのセグメントを点灯させて表示を行う。図10(b)または(c)に示すように、許容範囲内から左または右にずれているときは、外寄りの左側または右側のセグメントを点灯させて表示を行う。
【0055】
図11は、本発明の実施のさらに他の形態として、図9と同様なLED表示器60を用い、十字80の表示位置で通知する例を示す。LED表示器60では、通常、カメラ11,31,41を利用して図5に示す車両検出位置29などに対する距離測定を行う際の距離表示を、ドットで数字を形成して行う。図11(a)に示すように、ずれ量が許容範囲内にある場合は十字80を中央に表示する。図11(b),(c)に示すように、許容範囲より左または右にずれるときは、十字80を左側または右側に表示する。
【0056】
なお、図8〜図11に示すようにLEDを用いる視覚的な表示は、液晶表示素子(LCD)、蛍光表示管、陰極線管(CRT)など、他の表示器を用いて行うこともできる。また、表示器は、通常他の用途に使用し、調整時にずれ量の表示に使用することができる。また、視覚的な表示による通知は、図1の実施形態での音響的な通知の代りに用いることもできる。逆に、音響的な通知を、図5以下の実施形態でも視覚的な通知の代りに用いることもできる。
【0057】
【発明の効果】
以上のように本発明によれば、カメラの取付状態が許容範囲内にあるか否かの判定結果に従ってカメラの取付状態を調整すればよいので、映像信号増幅の出力回路や表示用の表示モニタなどを設ける必要がなく、簡単な構成でカメラの取付状態の調整を行うことができる。
【0058】
また、無限遠点を基準位置としてカメラの取付状態を調整するので、遠方の視野に対して適切な状態に取付状態の調整を行うことができる。
【0059】
また本発明によれば、カメラの取付状態の調整のためのずれ量は、無限遠点と最近点とを含むので、広い範囲に亘って適切な画像が得られるように取付状態の調整を行うことができる。
【0060】
また本発明によれば、基準点がカメラの視野内に設置される物体の画像上に設定されるので、物体との間の距離などに基づいて、適切な状態に調整された画像を撮像することができるようにカメラの取付状態を調整することができる。
【0061】
また本発明によれば、カメラの取付状態の調整は、モータによって駆動される機構を、操作部の手動操作で制御して行うので、手動で直接調整するときよりも微妙な調整などを行って、より適切な状態へ調整することができる。
【0062】
また本発明によれば、カメラの取付状態の調整を自動的に行うことができ、適切な取付状態に確実に設定することができる。
【0063】
また本発明によれば、基準点からのずれ量が許容範囲内にあるか否かの通知を、音響出力によって行うので、調整のための視覚による注意力をカメラの取付位置付近に集中することができる。
【0064】
また本発明によれば、基準位置からのずれ量が音量の変化に対応して通知されるので、適切な取付状態への調整を判りやすく行うことができる。
【0065】
また本発明によれば、ずれの量に対応する音響出力の音色の変化で通知が行われるので、適切な状態への調整を音色の一定の方向への変化に基づいて行うことができる。
【0066】
また本発明によれば、音響出力の音間隔の変化でずれの変化に対応させることができるので、音間隔の変化が一定の方向となるように調整して、適切な取付状態に調整することができる。
【0067】
また本発明によれば、基準点から許容範囲内にあるか否かの通知を視覚表示で行うので、調整すべき方向なども含めた情報を有効に表示して適切な取付状態への調整を行うことができる。
【0068】
また本発明によれば、視覚表示の位置がずれ量に対応して変化するので、視覚表示位置が所定の位置となるように調整して、適切な取付状態に設定することができる。
【0069】
また本発明によれば、視覚表示の点滅でずれ量に対応する表示を行うので、点滅が一定の方向に変化するように調整して、適切な取付状態に調整することができる。
【0070】
また本発明によれば、基準点からのずれ量に対応して視覚表示の面積が変化する表示が行われるので、バーグラフのような表示に従って取付状態を適切に調整することができる。
【0071】
また本発明によれば、視覚表示の明るさがずれ量に応じて変化するので、明るさが一定の方向に変化するように調整して、適切な取付状態に設定することができる。
【0072】
さらに本発明によれば、カメラが撮像する画像から対象物を認識し、基準点の位置を算出してカメラのずれ量を算出し、許容範囲内にあるか否かを判断して判断結果を通知するので、カメラの取付状態の調整のために映像信号を画像として表示する必要はなく、映像信号出力回路などを設ける必要がなくなるので、構成の簡略化とコスト低減とを図ることができる。また、無限遠点を基準位置としてカメラの取付状態を調整するので、遠方の視野に対して適切な状態に取付状態の調整を行うことができる。
【図面の簡単な説明】
【図1】本発明の実施の一形態の画像処理装置12によって撮像される画像を示す図、および画像処理装置12の概略的な電気的構成を示すブロック図である。
【図2】図1の実施形態でカメラ11の取付け状態の調整を行う手順と、ずれ量が許容範囲内であるか否かの表示手順とを示すフローチャートである。
【図3】図1のカメラ11の取付角度調整のための構成を示す簡略化した正面図および側面図である。
【図4】図3で、左右方向についてのカメラ11の取付け位置を通知するための基本的な考え方を示す図である。
【図5】本発明の実施の他の形態で撮像される画像を示す図である。
【図6】図5の実施形態で用いられるカメラ31の電気的構成を示すブロック図である。
【図7】本発明の実施のさらに他の形態で用いられるカメラ41の電気的構成を示すブロック図である。
【図8】本発明の実施のさらに他の形態で用いられるLED表示器50の表示状態を示す図である。
【図9】本発明の実施のさらに他の形態で用いられるLED表示器60の表示状態を示す図である。
【図10】本発明の実施のさらに他の形態で用いられる7セグメントLED71,72の表示状態を示す図である。
【図11】本発明の実施のさらに他の形態で用いられるLED表示器60の表示状態を示す図である。
【図12】従来の車載用の画像処理装置2の電気的構成を示すブロック図である。
【符号の説明】
10 画像
11,31,41 カメラ
12 画像処理装置
13 画像処理部
14 結果出力部
15 画像処理に必要な部分
17 白線
18 無限遠点
19 最近点
20 ルームミラー
23 支持部
24 ねじ
26 許容範囲
29 車両検出位置
32 CCDカメラ
33 モータ
34 スイッチ
42 画像処理用マイコン
50,60 LED表示器
71、72 7セグメントLED
80 十字[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an on-vehicle camera mounting method and an image processing apparatus for mounting a camera on a vehicle.
[0002]
[Prior art]
Conventionally, a camera is mounted on a vehicle, and an image of a blind spot from the driver such as the rear of the vehicle is taken to assist driving. For example, it is described in JP-A-9-126756 and JP-A-9-126759. As shown, distance measurement by binocular stereopsis is performed with a pair of cameras.
[0003]
When the camera mounted on the vehicle is attached to the vehicle body, it is necessary to adjust the central axis of the camera to be in a predetermined direction. In such adjustment, conventionally, adjustment is performed while viewing an image based on the positional relationship between the center of the image and a predetermined direction, for example, using a video output signal for the image captured by the camera.
[0004]
FIG. 12 shows an electrical configuration for conventional in-vehicle image processing. The camera 1 includes an image pickup element such as a CCD and optical system parts such as a lens, and picks up an image within a predetermined field of view. A video output signal representing an image captured by the camera 1 is input to the
[0005]
The video output signal from the
[0006]
[Problems to be solved by the invention]
Adjustment at the time of mounting a conventional vehicle-mounted camera is performed while an operator looks at the monitor screen of the display monitor 5. For this reason, the video
[0007]
An object of the present invention is to provide an in-vehicle camera mounting method and an in-vehicle camera image processing apparatus capable of accurately adjusting with attachment to a vehicle body with a simple configuration.
[0008]
[Means for Solving the Problems]
The present invention calculates a position of a reference point on an image by processing an image captured while the camera is mounted on a vehicle while capturing the image by the camera.
Based on the calculated position of the reference point, determine whether the camera mounting state is within an allowable range,
Notification of judgment resultsAnd
The reference point is an infinite point calculated from the white line detection position when a white line drawn on the road surface is detected in the image.This is a mounting method for a vehicle-mounted camera.
[0009]
According to the present invention, when the camera is attached to the vehicle, the camera captures an image, the captured image is processed, and the position of the reference point on the image is calculated. Based on the calculated position of the reference point, it is determined whether or not the mounting state of the camera is within an allowable range, and the determination result is notified, so the image captured by the camera is not directly viewed on a display monitor or the like. However, according to the notification of the determination result, adjustment can be performed so that the mounting state of the camera is accurately directed in a predetermined imaging direction.
[0011]
AlsoSince the infinity point where the white line drawn on the road surface in the image converges is selected as the reference point, if the white line is detected in the image, the infinity point can be easily detected to adjust the camera mounting state. Can be used as a reference position.
[0012]
In the present invention, the reference point includes a closest point which is a point closest to the white line in the image.
[0013]
According to the present invention, the reference point for adjusting the camera mounting state includes the closest point that is the point closest to the white line in the image, so that the mounting state of the camera is within the appropriate range. Can be adjusted.
[0014]
In the present invention, the reference point is set on an image of an object placed in the field of view of the camera.
[0015]
According to the present invention, since the reference point is set on the image of the object installed in the field of view of the camera, for example, a standard adjustment place is provided for adjustment or on a road where an inter-vehicle distance display is provided. Adjustment can be performed by capturing the vehicle in front of the vehicle and the camera can be adjusted to an appropriate mounting state.
[0016]
Further, in the present invention, the camera is provided with a mechanism for changing the mounting state by driving with a motor whose operation is controlled by manual operation of the operation unit,
According to the notification of the determination result, the motor drive state is controlled by manual operation of the operation unit so that the camera mounting state is within an allowable range.
[0017]
According to the present invention, the adjustment of the camera mounting state is performed by a mechanism that changes the mounting state by driving a motor whose operation is controlled by manual operation of the operation unit. Adjustments can be made easily.
[0018]
In the present invention, the camera is provided with a mechanism for changing the mounting state by driving with a motor.
According to the notification of the determination result, the motor driving state is automatically controlled so that the camera mounting state is within an allowable range.
[0019]
According to the present invention, the adjustment of the mounting state of the camera is performed by automatically controlling the driving state of the motor, so that the camera can be reliably adjusted to be in an optimal state.
[0020]
In the present invention, the determination result is notified by sound output.
[0021]
According to the present invention, since the determination result is notified by sound output, it is not necessary to look at the display monitor screen when adjusting the camera mounting state, and it is possible to adjust the mounting state only in the direction of the periphery of the camera and the field of view. it can.
[0022]
In the present invention, the notification is performed by a change in volume of the sound output corresponding to a deviation amount from the reference point position.
[0023]
According to the present invention, when the mounting state is adjusted, the amount of deviation from the reference position is notified as a change in sound output volume. Can be adjusted in the direction of decreasing.
[0024]
In the present invention, the notification is performed by a timbre change of the sound output corresponding to a deviation amount from the reference point.
[0025]
According to the present invention, the notification is performed by the timbre change of the sound output corresponding to the shift amount, so that the shift amount can be easily adjusted by associating the timbre with the shift amount.
[0026]
In the present invention, the notification is performed by a change in sound interval of the sound output corresponding to the amount of deviation from the reference point.
[0027]
According to the present invention, since the notification corresponding to the deviation amount from the reference point is performed by the change in the sound output sound interval, even if the tone color or volume of the sound output changes due to other factors, the deviation amount is surely detected. It can be notified whether or not it is within the allowable range.
[0028]
In the present invention, the determination result is notified by visual display.
[0029]
According to the present invention, since the determination result is notified by visual display, the determination result can be displayed as easily understandable information.
[0030]
In the present invention, the notification is performed by changing a visual display position in accordance with an amount of deviation from the reference position.
[0031]
According to the present invention, since the visual display position changes in accordance with the amount of deviation from the reference position, the amount of deviation is judged based on the visual display position, and the camera mounting state is adjusted so that the amount of deviation is small. can do.
[0032]
In the present invention, the notification is performed by blinking a visual display at a speed corresponding to the amount of deviation from the reference position.
[0033]
According to the present invention, since the visual display blinks at a speed corresponding to the amount of deviation from the reference position, the camera mounting state can be adjusted so that the amount of deviation decreases according to the blinking speed.
[0034]
In the present invention, the notification is performed by changing the area of the visual display in accordance with the amount of deviation from the reference position.
[0035]
According to the present invention, since the display area of the visual display changes according to the amount of deviation, the amount of deviation can be easily adjusted.
[0036]
In the present invention, the notification is performed by changing the visual display so that the brightness from the reference position changes.
[0037]
According to the present invention, since the brightness of the visual display changes in accordance with the amount of deviation from the reference point, the camera mounting state can be adjusted so that the amount of deviation is reduced based on the change in brightness. .
[0038]
Furthermore, the present invention provides a recognition means for recognizing a predetermined object from among images captured by a camera,
Calculation means for calculating a reference point position based on the image of the object recognized by the recognition means;
Calculate the amount of deviation between the position of the reference point calculated by the calculation means and the position of the reference point in the image to be captured with the camera mounted on the vehicle, and whether the amount of deviation is within a predetermined tolerance A determination means for determining whether or not,
Notification means for notifying the judgment result of the judgment means.See
The reference point is an infinite point calculated from the white line detection position when a white line drawn on the road surface is detected in the image.This is an image processing apparatus for a vehicle-mounted camera.
[0039]
According to the present invention, the predetermined object in the image captured by the camera is recognized by the recognition means. The calculating means calculates the position of the reference point based on the recognized image of the object, and based on the position of the reference point, a deviation from the position of the reference point in the image captured in a state where the camera is mounted on the vehicle. The amount is calculated and determined by the determining means whether it is within an acceptable range. Since the determination result is notified by the notification means, when trying to adjust the mounting state of the in-vehicle camera, an appropriate imaging state can be obtained by adjusting the amount of deviation to the reference position according to the notification. it can. Since it is not necessary to make an adjustment while displaying the captured image, it is not necessary to provide an output circuit for amplifying a video output signal representing the image, and the manufacturing cost of the image processing apparatus can be reduced.In addition, since the infinity point where the white line drawn on the road surface in the image converges is selected as the reference point, if the white line is detected in the image, the infinity point can be easily detected to adjust the camera mounting state. Can be used as a reference position for.
[0040]
DETAILED DESCRIPTION OF THE INVENTION
FIG. 1 shows the basic concept of an embodiment of the present invention. FIG. 1A shows the basic contents of an
[0041]
In the
[0042]
FIG. 2 shows a procedure for attaching the
[0043]
FIG. 2B shows a notification procedure as to whether or not the camera is within an allowable range when adjusting the displacement of the camera at step a2 or step a3 in FIG. The procedure starts from step b1, and in step b2, the positions of reference points such as the infinite point 18 and the nearest point 19 are calculated. In step b3, a deviation amount between the original reference point position and the calculated reference point position is calculated. In step b4, it is determined whether or not the deviation amount is within an allowable range. When it is determined that the value is within the allowable range, a buzzer as the
[0044]
FIG. 3 shows a configuration for adjusting the camera mounting angle as shown in FIG. As shown to Fig.3 (a), the
[0045]
FIG. 4 shows a basic concept for notifying the mounting position of the
[0046]
In FIG. 4, the notification is made depending on whether the buzzer is sounded in the
[0047]
In the notification by the sound output within the allowable range as shown in FIG. 4, it is also possible to notify by changing the generation interval of the buzzer or the like. For example, the notification can be changed to “Pip, Pip, Pip” within the
[0048]
FIG. 5 shows reference points in an image according to another embodiment of the present invention. Note that the same reference numerals are given to the portions corresponding to the portions described in advance, and the overlapping description is omitted. In this embodiment, in addition to the infinity point 18 and the nearest point 19 in the
[0049]
Adjustment of the vehicle detection position 29 using the preceding
[0050]
FIG. 7 shows a schematic configuration of a
[0051]
FIG. 8 shows a configuration when an
[0052]
It is also possible to indicate the outline of the mounting position by the
[0053]
FIG. 9 shows, as still another embodiment of the present invention, notification of the mounting state of the
[0054]
FIG. 10 shows, as still another embodiment of the present invention, 7-
[0055]
FIG. 11 shows an example of notification at the display position of the
[0056]
In addition, as shown in FIGS. 8-11, the visual display using LED can also be performed using other displays, such as a liquid crystal display element (LCD), a fluorescent display tube, and a cathode ray tube (CRT). In addition, the display is usually used for other purposes and can be used for displaying the amount of deviation during adjustment. Further, the notification by visual display can be used instead of the acoustic notification in the embodiment of FIG. Conversely, acoustic notification can also be used in place of visual notification in the embodiments of FIG.
[0057]
【The invention's effect】
As described above, according to the present invention, it is only necessary to adjust the camera mounting state in accordance with the determination result of whether or not the camera mounting state is within the allowable range, so that the video signal amplification output circuit and the display monitor for display are used. It is not necessary to provide a camera or the like, and the camera mounting state can be adjusted with a simple configuration.
[0058]
AlsoSince the camera mounting state is adjusted with the infinity point as the reference position, the mounting state can be adjusted to an appropriate state with respect to the far field of view.
[0059]
Further, according to the present invention, since the shift amount for adjusting the camera mounting state includes the infinity point and the nearest point, the mounting state is adjusted so that an appropriate image can be obtained over a wide range. be able to.
[0060]
According to the present invention, since the reference point is set on the image of the object installed in the field of view of the camera, an image adjusted to an appropriate state is captured based on the distance to the object. The mounting state of the camera can be adjusted so that it can be performed.
[0061]
Further, according to the present invention, the adjustment of the camera mounting state is performed by controlling the mechanism driven by the motor by manual operation of the operation unit. Can be adjusted to a more appropriate state.
[0062]
Further, according to the present invention, the mounting state of the camera can be automatically adjusted, and the appropriate mounting state can be reliably set.
[0063]
In addition, according to the present invention, the notification of whether or not the deviation from the reference point is within the allowable range is made by sound output, so that the visual attention for adjustment is concentrated near the camera mounting position. Can do.
[0064]
In addition, according to the present invention, since the amount of deviation from the reference position is notified in response to the change in volume, adjustment to an appropriate mounting state can be easily performed.
[0065]
Further, according to the present invention, the notification is performed by the change in the timbre of the sound output corresponding to the amount of deviation, so that the adjustment to an appropriate state can be performed based on the change in the timbre in a certain direction.
[0066]
Further, according to the present invention, the change in the sound interval of the sound output can correspond to the change in the deviation, so that the change in the sound interval is adjusted to be in a certain direction and adjusted to an appropriate mounting state. Can do.
[0067]
In addition, according to the present invention, since the notification whether or not it is within the allowable range from the reference point is made by visual display, information including the direction to be adjusted is effectively displayed to adjust to an appropriate mounting state. It can be carried out.
[0068]
Further, according to the present invention, since the position of the visual display changes corresponding to the shift amount, the visual display position can be adjusted to be a predetermined position and set to an appropriate mounting state.
[0069]
Further, according to the present invention, since the display corresponding to the shift amount is performed by the blinking of the visual display, it is possible to adjust the blinking to change in a certain direction so as to be adjusted to an appropriate mounting state.
[0070]
In addition, according to the present invention, since the display in which the area of the visual display changes corresponding to the amount of deviation from the reference point is performed, the mounting state can be appropriately adjusted according to the display like a bar graph.
[0071]
In addition, according to the present invention, the brightness of the visual display changes according to the shift amount, so that the brightness can be adjusted so as to change in a certain direction and set in an appropriate mounting state.
[0072]
Furthermore, according to the present invention, the object is recognized from the image captured by the camera, the position of the reference point is calculated, the amount of camera deviation is calculated, and whether or not it is within the allowable range is determined. Since the notification is made, it is not necessary to display a video signal as an image for adjusting the mounting state of the camera, and it is not necessary to provide a video signal output circuit or the like, so that the configuration can be simplified and the cost can be reduced.Further, since the camera mounting state is adjusted with the infinity point as a reference position, the mounting state can be adjusted to an appropriate state with respect to a far field of view.
[Brief description of the drawings]
FIG. 1 is a diagram illustrating an image captured by an
FIG. 2 is a flowchart showing a procedure for adjusting the mounting state of the
FIGS. 3A and 3B are a simplified front view and side view showing a configuration for adjusting the mounting angle of the camera of FIG.
FIG. 4 is a diagram illustrating a basic concept for notifying the mounting position of the
FIG. 5 is a diagram showing an image captured in another embodiment of the present invention.
6 is a block diagram showing an electrical configuration of a
FIG. 7 is a block diagram showing an electrical configuration of a
FIG. 8 is a diagram showing a display state of an
FIG. 9 is a diagram showing a display state of an
FIG. 10 is a diagram showing a display state of 7-
FIG. 11 is a diagram showing a display state of an
FIG. 12 is a block diagram showing an electrical configuration of a conventional in-vehicle
[Explanation of symbols]
10 images
11, 31, 41 Camera
12 Image processing device
13 Image processing unit
14 Result output section
15 Parts required for image processing
17 White line
18 Infinity point
19 Recent Points
20 room mirror
23 Support part
24 screws
26 Tolerance
29 Vehicle detection position
32 CCD camera
33 Motor
34 switch
42 Microcomputer for image processing
50, 60 LED display
71, 72 7 segment LED
80 cross
Claims (15)
算出された基準点の位置に基づいて、カメラの取付け状態が許容範囲内にあるか否かを判定し、
判定結果を通知し、
前記基準点は、画像中に路面上に引かれる白線が検出されるときに、白線検出位置から算出される無限遠点であることを特徴とする車載用カメラの取付方法。When the camera is attached to the vehicle, the captured image is processed while being imaged by the camera, the position of the reference point on the image is calculated,
Based on the calculated position of the reference point, determine whether the camera mounting state is within an allowable range,
Notify the judgment result ,
The reference point is, when the white line drawn on the road surface in the image is detected, the method of mounting the vehicle-mounted type of camera according to claim infinity point der Rukoto calculated from the white line detection position.
前記判定結果の通知に従って、カメラの取付状態が許容範囲内になるように、モータの駆動状態を自動的に制御することを特徴とする請求項1〜3のいずれかに記載の車載用カメラの取付方法。The camera is provided with a mechanism for changing the mounting state by driving with a motor,
According to the notification of the determination result, so that the mounting condition of the camera is within the allowable range, the vehicle camera according to any one of claims 1 to 3, characterized in that automatically controlling the driving state of the motor Mounting method.
認識手段によって認識される対象物の画像に基づいて、基準点位置を算出する算出手段と、
算出手段によって算出される基準点の位置と、カメラが車両に搭載される状態で撮像すべき画像中の基準点の位置とのずれ量を算出し、ずれ量が予め定める許容範囲内にあるか否かを判断する判断手段と、
判断手段の判断結果を通知する通知手段とを含み、
前記基準点は、画像中に路面上に引かれる白線が検出されるときに、白線検出位置から算出される無限遠点であることを特徴とする車載用カメラの画像処理装置。Recognizing means for recognizing a predetermined object from an image captured by the camera;
Calculation means for calculating a reference point position based on the image of the object recognized by the recognition means;
Calculate the amount of deviation between the position of the reference point calculated by the calculation means and the position of the reference point in the image to be captured with the camera mounted on the vehicle, and whether the amount of deviation is within a predetermined tolerance A determination means for determining whether or not,
And notification means for notifying the result of the determination of the determination means only including,
The image processing apparatus for an in-vehicle camera, wherein the reference point is an infinite point calculated from a white line detection position when a white line drawn on a road surface is detected in an image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31800898A JP4234240B2 (en) | 1998-11-09 | 1998-11-09 | On-vehicle camera mounting method and image processing apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP31800898A JP4234240B2 (en) | 1998-11-09 | 1998-11-09 | On-vehicle camera mounting method and image processing apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000142221A JP2000142221A (en) | 2000-05-23 |
JP4234240B2 true JP4234240B2 (en) | 2009-03-04 |
Family
ID=18094467
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP31800898A Expired - Fee Related JP4234240B2 (en) | 1998-11-09 | 1998-11-09 | On-vehicle camera mounting method and image processing apparatus |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4234240B2 (en) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100422627B1 (en) * | 2001-04-10 | 2004-03-12 | 현대자동차주식회사 | Calibration method of active safety system using Camera, and error detection method of the system |
JP3905410B2 (en) * | 2002-04-12 | 2007-04-18 | 富士重工業株式会社 | Vehicle driving support device |
JP2004198159A (en) * | 2002-12-17 | 2004-07-15 | Nissan Motor Co Ltd | Measuring device for axis misalignment of on-vehicle sensor |
US7978122B2 (en) * | 2009-08-13 | 2011-07-12 | Tk Holdings Inc. | Object sensing system |
KR101283586B1 (en) * | 2011-04-15 | 2013-07-05 | 재단법인대구경북과학기술원 | Portable apparatus for determining driving condition of automobile and method thereof |
KR101418726B1 (en) | 2013-08-13 | 2014-07-11 | 삼보모터스주식회사 | Apparatus and method for setting a photographing range using laser pointer in vehicle type video blackbox |
KR101418725B1 (en) | 2013-08-13 | 2014-07-11 | 삼보모터스주식회사 | Apparatus and method for setting a photographing range in vehicle type video blackbox |
CN110539695B (en) * | 2019-08-14 | 2022-12-09 | 东风商用车有限公司 | Vehicle-mounted information display screen driving auxiliary video display system and method |
CN114120560A (en) * | 2021-11-05 | 2022-03-01 | 武汉市工程科学技术研究院 | Security protection supervisory equipment |
CN114194115B (en) * | 2021-12-22 | 2024-03-15 | 数源科技股份有限公司 | Method for installing vision blind area camera device |
-
1998
- 1998-11-09 JP JP31800898A patent/JP4234240B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2000142221A (en) | 2000-05-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10525885B2 (en) | Vehicle rear monitoring system | |
US6587760B2 (en) | Motor vehicle parking support unit and method thereof | |
JP4234240B2 (en) | On-vehicle camera mounting method and image processing apparatus | |
JP2018157403A (en) | On-vehicle display device, control method for on-vehicle display device, and control program for on-vehicle display device | |
US20120002050A1 (en) | Image display system | |
JP5329582B2 (en) | Vehicle periphery monitoring device | |
WO2011090163A1 (en) | Parameter determination device, parameter determination system, parameter determination method, and recording medium | |
EP1452390A2 (en) | Apparatus and method for monitoring the immediate surroundings of a vehicle | |
JP2008094221A (en) | Eye state detector, and eye state detector mounting method | |
JP4222183B2 (en) | Vehicle peripheral image display device | |
EP2476588A1 (en) | Vehicle surrounding monitor apparatus | |
JP2011216979A (en) | Image generation apparatus, image display system, and image generation method | |
JP2021155033A (en) | Viewing system for a vehicle and method of switching between image areas displayed by the viewing system | |
CN110901531B (en) | Rear display device, rear display method, and recording medium | |
JP2015102891A (en) | Driving support device and driving support method | |
JP2013119268A (en) | Vehicular display system | |
JP2014010775A (en) | Notification device for vehicle | |
JPH10322687A (en) | Vehicle rear monitor device | |
JP4140410B2 (en) | Vehicle display system and vehicle image display method | |
JP4720979B2 (en) | Vehicle monitoring device | |
JP2006264574A (en) | Car-mounted camera and car-mounted camera system | |
JP2014010773A (en) | Display device for vehicle | |
JPH0475560B2 (en) | ||
JP4026471B2 (en) | Vehicle visual equipment adjustment device | |
JP2004051063A (en) | Device for visual recognition around vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051026 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080916 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081117 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081209 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081211 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111219 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121219 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131219 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131219 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |