JP4677199B2 - Ultrasonic diagnostic equipment - Google Patents
Ultrasonic diagnostic equipment Download PDFInfo
- Publication number
- JP4677199B2 JP4677199B2 JP2004118985A JP2004118985A JP4677199B2 JP 4677199 B2 JP4677199 B2 JP 4677199B2 JP 2004118985 A JP2004118985 A JP 2004118985A JP 2004118985 A JP2004118985 A JP 2004118985A JP 4677199 B2 JP4677199 B2 JP 4677199B2
- Authority
- JP
- Japan
- Prior art keywords
- tomographic image
- subject
- ultrasonic
- volume data
- coordinate system
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 239000000523 sample Substances 0.000 claims description 54
- 210000002417 xiphoid bone Anatomy 0.000 claims description 13
- 238000001514 detection method Methods 0.000 claims description 12
- 238000003860 storage Methods 0.000 claims description 10
- 238000002604 ultrasonography Methods 0.000 claims description 5
- 241001433070 Xiphoides Species 0.000 claims description 3
- 238000004364 calculation method Methods 0.000 claims description 3
- 238000002203 pretreatment Methods 0.000 description 20
- 238000000034 method Methods 0.000 description 17
- 238000003384 imaging method Methods 0.000 description 14
- 230000000875 corresponding effect Effects 0.000 description 13
- 230000001225 therapeutic effect Effects 0.000 description 12
- 238000013500 data storage Methods 0.000 description 7
- 238000003745 diagnosis Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 230000005540 biological transmission Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 208000006678 Abdominal Neoplasms Diseases 0.000 description 3
- 210000001015 abdomen Anatomy 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 238000009826 distribution Methods 0.000 description 2
- 238000002595 magnetic resonance imaging Methods 0.000 description 2
- 230000003187 abdominal effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 210000004204 blood vessel Anatomy 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012285 ultrasound imaging Methods 0.000 description 1
Images
Landscapes
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
Description
超音波診断装置に係り、時間をおいて撮像される同一部位の2つの断層像を対比して診断するのに好適な技術に関する。 The present invention relates to an ultrasonic diagnostic apparatus, and more particularly to a technique suitable for making a diagnosis by comparing two tomographic images of the same part that are imaged with time.
超音波診断装置は、探触子を介し被検体との間で超音波を送受し、探触子から出力される反射エコー信号に基づき撮像部位の断層像を再構成して表示することにより、撮像部位を非侵襲的およびリアルタイムに診断する。 The ultrasonic diagnostic apparatus transmits and receives ultrasonic waves to and from the subject via the probe, and reconstructs and displays the tomographic image of the imaging region based on the reflected echo signal output from the probe, Diagnose the imaging site non-invasively and in real time.
このような超音波診断装置では、例えば、患部の治療効果を確認するために、治療前に撮像された患部の断層像(以下、治療前断層像という。)と、治療中又は治療後に撮像される患部の断層像(以下、治療後断層像という。)を対比させて表示し、これにより診断することが行われている。このような場合、通常の超音波走査においては探触子を手で把持して操作することから、治療中又は治療後の撮像の際に、治療前の撮像時と探触子の位置および傾きを同一に合わせることは難しい。その結果、治療後断層像と治療前断層像の表示断面の位置及び傾きを一致させることが困難となる。 In such an ultrasonic diagnostic apparatus, for example, in order to confirm the therapeutic effect of the affected area, a tomographic image of the affected area (hereinafter referred to as a pre-treated tomographic image) taken before the treatment and an image taken during or after the treatment are used. A tomographic image of an affected area (hereinafter referred to as a post-treatment tomographic image) is displayed for comparison and diagnosis is performed. In such a case, in normal ultrasonic scanning, the probe is held and operated by hand, so during imaging during or after treatment, the position and inclination of the probe during imaging before treatment It is difficult to match the same. As a result, it becomes difficult to match the positions and inclinations of the display cross sections of the post-treatment tomographic image and the pre-treatment tomographic image.
そこで、表示断面の位置ズレを低減するために、治療前断層像と治療後断層像のズレを相関指標として求め、求めた相関指標が小さくなるように探触子の位置や傾きを手動で調整することによって、治療後断層像の表示断面を治療前断層像の表示断面に一致させることが提案されている(例えば、特許文献1参照)。
ところで、特許文献1では、治療前断層像に治療後断層像を合わせるために探触子を手動で調整するから、作業が煩雑になり時間がかかる。そこで、治療前断層像を三次元ボリュームデータ(以下、ボリュームデータという。)として取得し、取得したボリュームデータから治療後断層像のスキャン面に対応した治療前断層像をリアルタイムに抽出して表示する方法が考えられる。しかし、ボリュームデータと被検体との位置座標の対応関係について配慮されていないため、治療前断層像と治療後断層像の表示断面を一致させて表示することができない場合がある。 By the way, in Patent Document 1, since the probe is manually adjusted in order to match the post-treatment tomogram with the pre-treatment tomogram, the operation becomes complicated and takes time. Therefore, a pre-treatment tomogram is acquired as three-dimensional volume data (hereinafter referred to as volume data), and a pre-treatment tomogram corresponding to the scan plane of the post-treatment tomogram is extracted from the acquired volume data and displayed in real time. A method is conceivable. However, since the correspondence between the position coordinates of the volume data and the subject is not considered, there are cases where the display cross sections of the pre-treatment tomographic image and the post-treatment tomographic image cannot be made to coincide with each other.
また、ボリュームデータは、簡便性およびリアルタイム性の観点から探触子を走査させて取得されるが、取得されたデータは探触子の走査範囲内に限られたものになるため、探触子の走査範囲が狭いと、治療後断層像に対応した断層データをボリュームデータから抽出できないことがある。 Volume data is acquired by scanning the probe from the viewpoint of simplicity and real-time characteristics, but the acquired data is limited within the scanning range of the probe. If the scanning range is narrow, the tomographic data corresponding to the post-treatment tomographic image may not be extracted from the volume data.
本発明の課題は、先に撮像された断層像と後に撮像された断層像の表示断面を容易に一致させることにある。 An object of the present invention is to easily match the display cross section of a tomographic image captured earlier and a tomographic image captured later.
上記課題を解決するため、本発明の超音波診断装置は、超音波診断装置により取得される被検体の断層像のボリュームデータを被検体の予め設定された被検体座標系に対応付けて記憶する記憶手段と、超音波探触子の位置及び傾きを検出するセンサの検出値に基づいて、超音波探触子により撮像される超音波断層像(例えば、治療後断層像)のスキャン面を算出する算出手段と、超音波断層像のスキャン面に対応した断層像データをボリュームデータから抽出してリファレンス断層像(例えば、治療前断層像)を再構成する抽出手段と、超音波断層像とリファレンス断層像を表示する表示手段とを備え、前記記憶手段に前記ボリュームデータが対応付けて記憶される前記被検体座標系は、撮像される前記超音波断層像上に基準点とすべき被検体の特定部位が描出された状態の前記超音波探触子の位置及び傾きの検出値に基づいて定義され、前記算出手段は、前記ボリュームデータの取得後に撮像される前記超音波断層像上に、基準点とすべき前記被検体の特定部位が描出された状態における前記超音波探触子の位置及び傾きの検出値に基づいて、前記ボリュームデータの取得後に撮像される前記超音波断層像の座標系を前記ボリュームデータの前記被検体座標系に対応付けることを特徴とする。
In order to solve the above-described problems, the ultrasonic diagnostic apparatus of the present invention stores volume data of a tomographic image of a subject acquired by the ultrasonic diagnostic apparatus in association with a preset subject coordinate system of the subject. Based on the detection values of the storage means and the sensor for detecting the position and inclination of the ultrasonic probe, the scan plane of the ultrasonic tomographic image (for example, post-treatment tomographic image) imaged by the ultrasonic probe is calculated. Calculating means for extracting, tomographic image data corresponding to the scan plane of the ultrasonic tomographic image from volume data, and reconstructing a reference tomographic image (for example, pre-treatment tomographic image), ultrasonic tomographic image and reference and display means for displaying the tomographic image, the subject coordinate system the volume data are stored in association in the storage means, subject to be a reference point on the ultrasonic tomographic image captured Of the state in which specific sites were visualized defined based on detection values of the position and inclination of the ultrasonic probe, said calculation means, wherein the ultrasonic tomographic image captured after the acquisition of the volume data, The coordinates of the ultrasonic tomographic image imaged after the acquisition of the volume data based on the detected values of the position and inclination of the ultrasonic probe in a state where the specific part of the subject to be used as a reference point is depicted A system is associated with the subject coordinate system of the volume data .
このように、記憶手段に記憶されるボリュームデータは、被検体座標系に対応付けられている。また、時間間隔をおいて超音波断層像を撮像する際に、その超音波断層像の被検体座標系を探触子の位置と傾きに基づいて特定できる。したがって、撮像された超音波断層像のスキャン面に対応した断層像データをボリュームデータから抽出することが可能になる。その結果、リファレンス断層像と超音波断層像の表示断面を容易に一致させて表示することができる。 As described above, the volume data stored in the storage unit is associated with the subject coordinate system. Further, when an ultrasonic tomographic image is taken at an interval, the subject coordinate system of the ultrasonic tomographic image can be specified based on the position and inclination of the probe. Therefore, tomographic image data corresponding to the scan plane of the imaged ultrasonic tomographic image can be extracted from the volume data. As a result, the display cross sections of the reference tomographic image and the ultrasonic tomographic image can be easily displayed so as to coincide with each other.
この場合において、被検体座標系については、被検体の特定部位を原点として設定することができる。例えば、腹部の治療効果を判定するときは、剣状突起や肋骨を原点として設定すればよい。これにより、超音波探触子を原点に合わせ易くなる。そして、超音波断層像の撮像を開始する際に、超音波探触子を被検体座標系の原点に合わせることにより、ボリュームデータ取得時と超音波撮像時における被検体座標系を容易に一致させることができ、超音波断層像のスキャン面に対応した断層像データの抽出処理が簡単になる。 In this case, with respect to the subject coordinate system, a specific part of the subject can be set as the origin. For example, when determining the therapeutic effect of the abdomen, the xiphoid process and the ribs may be set as the origin. This makes it easy to align the ultrasonic probe with the origin. Then, when starting tomographic image acquisition, the ultrasound probe is aligned with the origin of the subject coordinate system so that the subject coordinate system at the time of volume data acquisition and ultrasound imaging is easily matched. This makes it easy to extract tomographic image data corresponding to the scan plane of the ultrasonic tomographic image.
また、ボリュームデータを取得する画像撮像装置としては、簡便性およびリアルタイム性などの観点から超音波撮像装置を適用するのが望ましいが、広範囲のボリュームデータを取得するときは、X線CT装置や磁気共鳴撮像(MRI)装置を用いることができる。 In addition, as an image capturing apparatus that acquires volume data, it is desirable to apply an ultrasonic imaging apparatus from the viewpoints of simplicity and real-time characteristics, but when acquiring a wide range of volume data, an X-ray CT apparatus or a magnetic A resonance imaging (MRI) apparatus can be used.
本発明によれば、先に撮像された断層像と後に撮像された断層像の表示断面を容易に一致させることができることから、治療前断層像と治療後断層像の断面を一致させて表示することにより、患部の治療効果を判定するなど、診断を効果的に行うことができる。 According to the present invention, since the display cross section of the tomographic image captured earlier and the tomographic image captured later can be easily matched, the cross sections of the pre-treatment tomographic image and the post-treatment tomographic image are displayed in alignment. Thus, the diagnosis can be effectively performed, such as determining the therapeutic effect of the affected area.
(第1の実施形態) 本発明を適用した超音波診断装置の第1の実施形態について図1ないし図6を参照して説明する。図1は、本発明を適用した超音波診断装置の構成図である。 First Embodiment A first embodiment of an ultrasonic diagnostic apparatus to which the present invention is applied will be described with reference to FIGS. 1 to 6. FIG. 1 is a configuration diagram of an ultrasonic diagnostic apparatus to which the present invention is applied.
図1に示すように、超音波診断装置は、超音波断層像を再構成する系統と、リファレンス断層像を再構成する系統に大別される。超音波断層像を再構成する系統は、被検体との間で超音波を送受する複数の振動子が例えば円弧状に配列された超音波探触子である探触子10と、探触子10に駆動信号を供給すると共に、探触子10から出力される反射エコー信号に対し増幅、アナログディジタル変換、整相加算などの処理を施す送受信部12と、送受信部12から出力される反射エコー信号に基づき超音波断層像を再構成する超音波像構成部14と、再構成された超音波断層像を記憶する画像メモリ16と、画像メモリ16から読み出される超音波断層像を表示する表示部18を有して構成されている。
As shown in FIG. 1, the ultrasonic diagnostic apparatus is roughly divided into a system for reconstructing an ultrasonic tomographic image and a system for reconstructing a reference tomographic image. The system for reconstructing an ultrasonic tomogram includes a
探触子10に位置センサ20が貼り付けられている。位置センサ20は、ベッドなどに取り付けられたソース22から発生する例えば磁気信号を検知する磁気センサを有して構成されている。位置センサ20により、ソース座標系Sにおける探触子10の三次元的な位置及び傾きが検出される。ソース座標系Sは、ソース22を原点Soとする三次元直交座標系であり、X軸を被検体が横たわるベッドの短手方向、Y軸をベッドの長手方向、Z軸を鉛直方向に合わせられている。なお、ソース座標系Sは、三次元直交座標系に限らず、探触子10の位置を特定できるものであればよい。また、位置センサ20は、磁場を利用するものに限らず、例えば光を利用したものでもよい。
A
一方、本発明に係るリファレンス断層像を再構成する系統は、探触子10を超音波スキャン面に対して垂直方向に走査させたときに送受信部12から出力される3次元ボリュームデータ(以下、ボリュームデータという。)を被検体に予め設定された被検体座標系Pに対応付けるボリュームデータ作成部26と、ボリュームデータ作成部26から出力されるボリュームデータを記憶する記憶手段としてのボリュームデータ記憶部28と、ボリュームデータ記憶部28のボリュームデータから所定の断層像データを抽出してリファレンス断層像を再構成し、再構成したリファレンス断層像を画像メモリ16に出力する抽出手段であるリファレンス像構成部30などを有している。
On the other hand, the system for reconstructing the reference tomographic image according to the present invention is a three-dimensional volume data (hereinafter referred to as the following) output from the transmission /
被検体座標系Pについては、被検体の特定部位が原点Poとして予め設定されている。例えば、腹部の治療効果を判定するときは、剣状突起や肋骨を原点Poとして設定することができる。また、リファレンス像構成部30により抽出される所定の断層像データとは、走査中の探触子10の位置及び傾きを検出する位置センサ20の検出値に基づいて算出される超音波断層像のスキャン面に対応したデータである。なお、ボリュームデータ記憶部28に入力するボリュームデータについては、別の超音波撮像装置により被検体座標系の位置データに対応付けられたボリュームデータを取得し、取得したボリュームデータをネットワークを介して入力したり、あるいは、取得したボリュームデータを光磁気ディスクなどの可般性記憶媒体を経由して入力してもよい。また、ボリュームデータ作成部26に、送受信部12から出力される反射エコー信号を入力することに代えて、超音波像構成部14から出力される断層像データを入力してもよい。要するに、超音波断層像に相関するデータと被検体の位置座標を対応付ければよい。
For the subject coordinate system P, a specific part of the subject is set in advance as the origin Po. For example, when determining the therapeutic effect of the abdomen, the xiphoid process and the ribs can be set as the origin Po. The predetermined tomographic image data extracted by the reference
また、超音波断層像を再構成する系統を構成する各部、およびリファレンス断層像を再構成する系統を構成する各部を制御する制御部40が設けられている。なお、図1では、説明の便宜上、本発明に係る指令の流れを中心に破線で示す。制御部40は、被検体の特定部位を原点とする被検体座標系Pを設定する座標系設定手段43と、探触子10の位置センサ20の検出値に基づき、探触子10により撮像される超音波断層像のスキャン面の座標を被検体座標系Pに対応付けて算出するスキャン面算出手段45を有している。また、制御部40に操作卓41からの指令が入力されるようになっている。例えば、操作卓41に指令を入力することにより、患部を治療する前においてはリファレンス断層像を再構成する系統を中心に作動させる一方、治療中又は治療後においては超音波断層像を再構成する系統を中心に作動させるなど、必要に応じて処理系を切り替えることができる。
In addition, there are provided a
ここで、本発明に係る処理について図2ないし図4を参照して説明する。なお、患部の治療効果を判定する例を説明するが、要は、時間をおいて撮像される同一部位の2つの断層像を対比して診断する場合に本発明を適用することができる。図2は、超音波撮像により取得されたボリュームデータに位置データを対応づける治療前の処理を示すフローチャートである。図3は、超音波撮像により撮像される超音波断層像のスキャン面に対応したリファレンス画像を表示する治療後の処理を示すフローチャートである。図4は、図2及び図3の処理を説明するための概念図である。 Here, processing according to the present invention will be described with reference to FIGS. In addition, although the example which determines the treatment effect of an affected part is demonstrated, in short, this invention can be applied when making a diagnosis by contrasting the two tomographic images of the same site imaged with time. FIG. 2 is a flowchart showing a pre-treatment process for associating position data with volume data acquired by ultrasonic imaging. FIG. 3 is a flowchart showing a post-treatment process for displaying a reference image corresponding to a scan plane of an ultrasonic tomographic image captured by ultrasonic imaging. FIG. 4 is a conceptual diagram for explaining the processing of FIGS. 2 and 3.
図2及び図4を用いて患部(例えば、腹部の腫瘍)を治療する前の処理について説明する。まず、被検体に被検体座標系Pが初期設定される。例えば、探触子10を被検体の体表に接触させて走査することにより、超音波断層像がリアルタイムに表示部18に表示される。表示された超音波断層像に被検体の特定部位(例えば、剣状突起)が描出されたとき、描出されたときの探触子10のソース座標系Sにおける位置および傾きが、位置センサ20により検出される(S102)。なお、剣状突起が描出されたときに操作卓41の入力キーを押すことによって位置センサ20の検出値を固定してもよいし、超音波断層像の輝度分布に基づいて検出値を自動取込してもよい。検出された探触子10の位置および傾きを原点Po(Px、Py、Pz)として、制御部40により被検体座標系Pが初期設定される(S104)。要するに、被検体の特定部位を客観的な基準とする被検体座標系Pが設定されることになる。
The process before treating an affected part (for example, abdominal tumor) is demonstrated using FIG.2 and FIG.4. First, the subject coordinate system P is initially set for the subject. For example, by scanning the
なお、被検体座標系Pは、三次元直交座標系であり、X軸を被検体が横たわるベッドの短手方向、Y軸をベッドの長手方向、Z軸を鉛直方向に合わせられる。ただし、三次元直交座標系に限らず、探触子10の位置を特定できる座標系であればよい。設定された被検体座標系Pは、制御部40の記憶手段に保持される。
The subject coordinate system P is a three-dimensional orthogonal coordinate system in which the X axis is aligned with the short direction of the bed on which the subject lies, the Y axis is aligned with the longitudinal direction of the bed, and the Z axis is aligned with the vertical direction. However, it is not limited to a three-dimensional orthogonal coordinate system, and any coordinate system that can specify the position of the
次に、ボリュームデータが取得される。例えば、腹部近傍の体表に探触子10を接触させる。そのときの探触子10の位置や傾きが位置センサ20により検出される。検出された位置をボリュームデータ領域の原点Vo(Vx、Vy、Vz)として、制御部40によりボリューム座標系Vが設定される(S106)。すなわち、探触子10の走査開始点を原点Voとするボリューム座標系Vが設定されることになる。ここで、ボリューム座標系Vを被検体座標系Pと同様な直交座標系とするのが望ましいが、これに限られるものではない。また、被検体座標系Pの原点Poからボリューム座標系Vの原点Voまでの位置ベクトル(以下、位置データPVという。)が算出されて制御部40の記憶手段に記憶される。
Next, volume data is acquired. For example, the
次に、原点Voに位置した探触子10を超音波スキャン面に対し垂直な方向に走査する。これによって、各走査ラインで反射エコー信号が取得される。取得された反射エコー信号は、探触子10の位置及び傾きに基づき三次元ボリュームデータ(以下、ボリュームデータという。)として送受信部12からボリュームデータ作成部26に出力される(S108)。そのときの探触子10の走査範囲が、ボリュームデータ領域(SizeX、SizeY、SizeZ)として設定される。なお、探触子10が蛇行して走査されたときでも、位置センサ20の検出値を用いることにより、ボリューム座標系Vの各座標に対応させてボリュームデータを取得することができる。取得されたボリュームデータは、患部(例えば、腹部の腫瘍)に対応したデータを含んでいる。また、取得したボリュームデータのデータ数が少ないときは、重み付け係数などに基づいて補間処理を施すことにより、データ数を増大させることができる。
Next, the
次に、ボリュームデータが被検体座標系Pの位置データに対応付けられる(S110)。例えば、ボリュームデータ作成部26は、制御部40から出力されるボリュームデータ座標系Vの位置データ(x、y、z)と位置データPVを用いて、S108の処理により取得されたボリュームデータをボクセルごとに被検体座標系Pの各座標に対応付ける。対応付けられたボリュームデータは、ボリュームデータ記憶部28に格納される(S112)。
Next, the volume data is associated with the position data of the subject coordinate system P (S110). For example, the volume
図3及び図4を用いて腹部の腫瘍を治療した後の処理について説明する。なお、本処理については、治療中に実行するようにしてもよい。まず、S102の処理と同様に、被検体の剣状突起の位置を探触子10を走査することにより、S104の処理で設定された被検体座標系Pの原点Poに探触子10を位置させる(S202)。これによって、治療後の座標系を被検体座標系Pに再び合わせる(S204)。このとき、被検体の位置を示すボディーマークが、被検体座標系Pに対応付けられて表示部18に表示される。表示されたボディーマーク上に、S108の処理で設定されたボリュームデータ領域も表示される(S206)。表示されたボリュームデータは、被検体座標系Pに対応しており、例えば色づけされる。また、探触子10の位置も、位置センサ20の検出値に従って随時移動して表示される。これにより、検者は、表示画面を参照しながら、探触子10を患部の近傍に速やかに移動させることができる。なお、ボディーマークなどが表示されないときは、検者の判断によって探触子10を患部の近傍に移動させればよい。
The processing after treating the abdominal tumor will be described with reference to FIGS. 3 and 4. Note that this process may be executed during treatment. First, as in the process of S102, the
次に、ボリュームデータ領域に対し探触子10より超音波走査が行われる(S208)。超音波走査により超音波断層像(例えば、治療後断層像という。)が表示される(S209)。表示された超音波断層像に患部が描出されたとき、その治療後断層像のスキャン面が制御部40により算出される(S210)。例えば、操作卓41を介して又は自動的に、腫瘍を描出させたときの探触子10の位置や傾きが制御部40に取り込まれる。取り込まれた位置や傾きに基づいて治療後断層像のスキャン面の被検体座標系Pにおける座標位置が算出される。算出されたスキャン面に対応する断層像データが、ボリュームデータ記憶部28のボリュームデータから抽出される(S212)。抽出された断層像データが、リファレンス像構成部30によりリファレンス断層像(例えば、治療前断層像という。)として再構成される(S214)。再構成された治療前断層像は、S210の処理で表示された治療後断層像と並べて同一画面に同一時に表示部18に表示される(S216)。
Next, ultrasonic scanning is performed on the volume data area by the probe 10 (S208). An ultrasonic tomographic image (for example, a post-treatment tomographic image) is displayed by ultrasonic scanning (S209). When the affected part is depicted in the displayed ultrasonic tomographic image, the scan surface of the post-treatment tomographic image is calculated by the control unit 40 (S210). For example, the position and the inclination of the
このように本実施形態では、治療前にボリュームデータ記憶部28に記憶されるボリュームデータは、被検体座標系Pに対応付けられている。また、治療後断層像を撮像する際に、その治療後断層像の被検体座標系Pを探触子10の位置と傾きに基づいて特定できる。したがって、撮像された治療後断層像のスキャン面に対応した断層像データをボリュームデータから抽出することが可能になる。その結果、治療前断層像と治療後断層像の表示断面を容易に一致させて表示することができる。すなわち、先に撮像された断層像と、時間間隔をおいて後に撮像された断層像の表示断面を容易に一致させることができるから、患部の治療効果を判定するなど、診断を効果的に行うことができる。
Thus, in this embodiment, the volume data stored in the volume
また、本実施形態では、被検体座標系Pは、被検体の特定部位(例えば、剣状突起)を原点として設定されている。したがって、治療前だけでなく例えば時間間隔をおいた治療中又は治療後でも、探触子10を原点Poに合わせることが容易になり、被検体座標系Pを正確に特定することができる。これにより、ボリュームデータ取得時(例えば、治療前)と超音波撮像時(例えば、治療中又は治療後)における被検体座標系Pを一致させることができ、超音波断層像のスキャン面に対応した断層像データを抽出する処理が簡単になる。
Further, in the present embodiment, the subject coordinate system P is set with a specific part (for example, a xiphoid projection) of the subject as an origin. Therefore, not only before the treatment but also during or after the treatment with a time interval, for example, the
なお、原点Poとして設定する被検体の特定部位は、剣状突起のほか、肋骨などでもよく、要は、ボリュームデータと被検体との位置座標の対応関係を決める客観的な基準となる部位であればよい。また、治療前後の超音波断層像を対比する例を説明したが、治療前後のカラーフローマッピング像(CFM像)を対比するようにしてもよい。 In addition to the xiphoid process, the specific part of the subject set as the origin Po may be a rib or the like. In short, it is a part that is an objective reference for determining the correspondence between the volume data and the position coordinates of the subject. I just need it. Moreover, although the example which contrasts the ultrasonic tomogram before and behind treatment was demonstrated, you may make it contrast the color flow mapping image (CFM image) before and behind treatment.
図5は、本実施形態の効果を説明する表示画面の比較例である。図5(A)は、従来の表示例であり、図5(b)は本実施形態の表示例である。図5(A)に示すように、従来では、治療前に取得されるボリュームデータと被検体との位置関係が対応付けられていないため、治療前断層像42と治療後断層像44の表示断面がずれて表示される。この点、本実施形態によれば、図5(B)に示すように、治療前断層像46と治療後断層像48の表示断面を一致して表示させることができるから、患部の治療効果を判定するなど、診断を効果的に行うことができる。
FIG. 5 is a comparative example of a display screen for explaining the effect of the present embodiment. FIG. 5A is a conventional display example, and FIG. 5B is a display example of the present embodiment. As shown in FIG. 5A, conventionally, since the positional relationship between the volume data acquired before the treatment and the subject is not associated with each other, the display cross sections of the pre-treatment
また、図5(A)に示す治療前断層像42は、静止画像として表示されるのに対し、図5(B)に示す治療前断層像46は、治療後断層像48のスキャン面の変化に追従して表示断面がリアルタイムに変化する動画像として表示される。したがって、本実施形態によれば、治療効果を判定できることに加えて、装置の使い勝手が向上するという効果もある。なお、本実施形態では、複数の振動子が円弧状に配列されたコンベックス型の探触子10を用いているため、図5の各断層像は扇形に表示されているが、リニア型やセクタ型の探触子を用いたときでも同様の効果を得ることができる。
Further, the pre-treatment
図6は、グラフィカルユーザインターフェース(GUI)の一例である。図6に示すように、GUIは、被検体の特定部位の検出処理の開始又は終了を指示するレジストレーションボタンと、ボリュームデータを取得するために処理系統として超音波断層像を再構成する系統からリファレンス断層像を再構成する系統に切り替える切替えボタンと、ボリュームデータの保存又は取得を指示するボリューム読込ボタンと、超音波撮像を開始するスタートボタンと、リアルタイムにスキャン面が変わる治療後断層像54を所望のスキャン面で停止させるフリーズボタンを有している。これにより、検者は、表示されたGUIを介してインタラクティブに治療前にボリュームデータを取得できたり、あるいは、治療後断層像を撮像できるため、装置の使い勝手が向上する。また、ボリュームデータ領域をROI情報として位置やサイズを表示してもよい。 FIG. 6 is an example of a graphical user interface (GUI). As shown in FIG. 6, the GUI includes a registration button for instructing the start or end of detection processing for a specific part of the subject, and a system for reconstructing an ultrasonic tomographic image as a processing system for acquiring volume data. A switching button for switching to a system for reconstructing a reference tomographic image, a volume reading button for instructing storage or acquisition of volume data, a start button for starting ultrasonic imaging, and a post-treatment tomographic image 54 whose scan plane changes in real time. It has a freeze button that stops at the desired scan plane. Thus, the examiner can acquire volume data before treatment interactively via the displayed GUI, or can capture a post-treatment tomogram, thereby improving the usability of the apparatus. Further, the position and size may be displayed using the volume data area as ROI information.
(第2の実施形態) 本発明を適用した超音波診断装置の第2の実施形態について図7を参照して説明する。本実施形態が第1の実施形態と異なる点は、治療前にボリュームデータを超音波走査により取得することに代えて、X線CT装置や磁気共鳴撮像(MRI)装置を用いてボリュームデータを取得することにある。したがって、第1の実施形態と同一の部分については説明を省略し、相違点について説明する。 Second Embodiment An ultrasonic diagnostic apparatus to which the present invention is applied will be described with reference to FIG. This embodiment differs from the first embodiment in that volume data is acquired using an X-ray CT apparatus or a magnetic resonance imaging (MRI) apparatus instead of acquiring volume data by ultrasonic scanning before treatment. There is to do. Therefore, description of the same parts as those in the first embodiment is omitted, and differences will be described.
図7は、本実施形態の超音波診断装置の構成図である。図7に示すように、画像診断装置60によりボリュームデータを取得し、取得したボリュームデータをボリュームデータ作成部26に出力している。画像診断装置60として、例えばX線CT装置や磁気共鳴撮像(MRI)装置などを用いることができる。
FIG. 7 is a configuration diagram of the ultrasonic diagnostic apparatus of the present embodiment. As shown in FIG. 7, volume data is acquired by the
このように超音波撮像装置に代えて、例えばX線CT装置やMRI装置などを適用した場合、図2のS102の処理においては、表示画像を参照して剣状突起を検出できる。例えば、X線CT装置により被検体の診断画像が撮像される。撮像された診断画像上に剣状突起が描出されたとき、描出された剣状突起の位置を例えば操作卓41のポインティングデバイスで指示することにより、剣状突起の位置が特定される。そして、特定された剣状突起を原点Poとする被検体座標系Pが設定される。設定された被検体座標系Pの座標位置にボリュームデータの各ボクセルが対応付けられる。他の処理については、基本的に第1の実施形態と同様である。なお、剣状突起の座標位置の検出については、画像の輝度分布に基づく画像処理により自動検出してもよい。
In this way, when an X-ray CT apparatus, an MRI apparatus, or the like is applied instead of the ultrasonic imaging apparatus, the xiphoid process can be detected with reference to the display image in the process of S102 of FIG. For example, a diagnostic image of the subject is captured by an X-ray CT apparatus. When the xiphoid process is drawn on the captured diagnostic image, the position of the xiphoid process is specified by indicating the position of the drawn xiphoid process using a pointing device of the
本実施形態によれば、治療前に取得するボリュームデータの領域は、例えば超音波走査により取得するときよりも広範囲にできる。したがって、例えば患部が被検体の複数部位にわたるときでも、ボリュームデータが被検体の広範囲の部位に対応付けられているから、各患部について治療後断層像に対応する治療前断層像を的確に再構成でき、しかも表示断面を一致させることができる。したがって、第1の実施形態の効果に加えて、診断をより一層効果的に行うことができる。また、各患部についての治療前後の断層像を表示部18の表示画面に並べて同一時に表示することにより、各患部の治療効果の差異を比較することができる。
According to the present embodiment, the area of volume data acquired before treatment can be made wider than when acquired by, for example, ultrasonic scanning. Therefore, for example, even when the affected area covers a plurality of parts of the subject, the volume data is associated with a wide range of parts of the subject, so that the pre-treatment tomogram corresponding to the post-treatment tomogram is accurately reconstructed for each affected part. In addition, the display sections can be matched. Therefore, in addition to the effects of the first embodiment, the diagnosis can be performed more effectively. Moreover, the difference in the therapeutic effect of each affected part can be compared by arranging the tomographic images of each affected part before and after treatment on the display screen of the
以上、第1及び第2の実施形態に基づいて本発明を説明したが、これに限られるものではない。例えば腹部の腫瘍の治療効果を判定する例を説明したが、様々な患部の治療効果判定に本発明を適用できる。また、治療効果の判定に限らず、例えば時間をおいて病症の進行具合を比較するときなど、先に撮像された断層像と後に撮像された断層像の表示断面を一致させるときに本発明を適用することができる。 As mentioned above, although this invention was demonstrated based on 1st and 2nd embodiment, it is not restricted to this. For example, although the example which determines the therapeutic effect of the tumor of an abdominal part was demonstrated, this invention is applicable to the therapeutic effect determination of various affected parts. In addition, the present invention is not limited to the determination of the therapeutic effect, and the present invention is used when matching the display cross section of the tomographic image captured earlier and the tomographic image captured later, such as when comparing the progress of the disease with time. Can be applied.
また、動きを伴う部位(例えば、心臓や血管)の治療効果を判定する場合は、ボリュームデータの各ボクセルに被検体の座標位置を対応付けることに加えて、各ボクセルに動き情報(例えば、心時相データ、脈波)を関連付けることが望ましい。これにより、患部の形状が時間的に変化するときでも、同一時相又は同一脈波における治療前後の断層像を表示することができる。 In addition, when determining the therapeutic effect of a part with movement (for example, a heart or a blood vessel), in addition to associating the coordinate position of the subject with each voxel of the volume data, movement information (for example, heart rate) is associated with each voxel. It is desirable to relate the phase data (pulse wave). Thereby, even when the shape of the affected part changes with time, tomographic images before and after treatment in the same time phase or the same pulse wave can be displayed.
また、治療前断層像と治療後断層像を並べて表示することに代えて、治療前断層像と治療後断層像の差分を求め、求めた差分を表示したり、あるいは、求めた差分に対応する画像を色づけして表示してもよい。また、一方の断層像の色相データを変えて半透明の断層像とし、半透明の断層像を他の断層像に重ねて表示することもできる。これにより、治療効果の判定が一層容易になる。 Also, instead of displaying the pre-treatment tomographic image and the post-treatment tomographic image side by side, the difference between the pre-treatment tomographic image and the post-treatment tomographic image is obtained, and the obtained difference is displayed or corresponds to the obtained difference. The image may be displayed with color. It is also possible to change the hue data of one tomographic image to make a translucent tomographic image and to display the translucent tomographic image superimposed on the other tomographic image. Thereby, determination of a therapeutic effect becomes still easier.
10 探触子
12 送受信部
14 超音波像構成部
16 画像メモリ
18 表示部
20 位置センサ
26 ボリュームデータ作成部
28 ボリュームデータ記憶部
30 リファレンス像構成部
40 制御部
DESCRIPTION OF
Claims (4)
超音波探触子の位置及び傾きを検出するセンサの検出値に基づいて、前記超音波探触子により撮像される超音波断層像のスキャン面の座標を前記被検体座標系に対応付けて算出する算出手段と、
前記超音波断層像のスキャン面に対応した断層像データを前記ボリュームデータから抽出してリファレンス断層像を再構成する抽出手段と、
前記超音波断層像と前記リファレンス断層像を表示する表示手段とを備え、
前記記憶手段に前記ボリュームデータが対応付けて記憶される前記被検体座標系は、撮像される前記超音波断層像上に基準点とすべき被検体の特定部位が描出された状態の前記超音波探触子の位置及び傾きの検出値に基づいて定義され、
前記算出手段は、前記ボリュームデータの取得後に撮像される前記超音波断層像上に、基準点とすべき前記被検体の特定部位が描出された状態における前記超音波探触子の位置及び傾きの検出値に基づいて、前記ボリュームデータの取得後に撮像される前記超音波断層像の座標系を前記ボリュームデータの前記被検体座標系に対応付けることを特徴とする超音波診断装置。 Storage means for storing the volume data of the subject acquired by the ultrasonic diagnostic apparatus in association with the subject coordinate system preset for the subject;
Based on the detection value of the sensor that detects the position and tilt of the ultrasonic probe, the coordinates of the scan plane of the ultrasonic tomographic image captured by the ultrasonic probe are calculated in association with the subject coordinate system. Calculating means for
Extracting means for extracting tomographic image data corresponding to the scan plane of the ultrasonic tomographic image from the volume data and reconstructing a reference tomographic image;
Display means for displaying the ultrasonic tomogram and the reference tomogram,
The subject coordinate system in which the volume data is stored in association with the storage means is the ultrasound in a state where a specific portion of the subject to be used as a reference point is depicted on the ultrasonic tomographic image to be imaged. Defined based on probe position and tilt detection values,
The calculation means calculates the position and inclination of the ultrasonic probe in a state where a specific part of the subject to be used as a reference point is depicted on the ultrasonic tomographic image captured after acquiring the volume data. An ultrasonic diagnostic apparatus , wherein a coordinate system of the ultrasonic tomographic image captured after acquisition of the volume data is associated with the subject coordinate system of the volume data based on a detection value .
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004118985A JP4677199B2 (en) | 2004-04-14 | 2004-04-14 | Ultrasonic diagnostic equipment |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004118985A JP4677199B2 (en) | 2004-04-14 | 2004-04-14 | Ultrasonic diagnostic equipment |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2005296436A JP2005296436A (en) | 2005-10-27 |
JP2005296436A5 JP2005296436A5 (en) | 2007-05-31 |
JP4677199B2 true JP4677199B2 (en) | 2011-04-27 |
Family
ID=35328691
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004118985A Expired - Fee Related JP4677199B2 (en) | 2004-04-14 | 2004-04-14 | Ultrasonic diagnostic equipment |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4677199B2 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015083471A1 (en) * | 2013-12-05 | 2015-06-11 | オリンパス株式会社 | Ultrasonic observation device, ultrasonic observation device operation method, and ultrasonic observation device operation program |
US9888906B2 (en) | 2013-12-12 | 2018-02-13 | Konica Minolta, Inc. | Ultrasound diagnostic apparatus, ultrasound image processing method, and non-transitory computer readable recording medium |
Families Citing this family (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5283839B2 (en) * | 2005-11-25 | 2013-09-04 | 東芝メディカルシステムズ株式会社 | Medical diagnostic imaging system |
WO2007061099A1 (en) | 2005-11-25 | 2007-05-31 | Kabushiki Kaisha Toshiba | Medical image diagnosis device, medical image storage communication system server, image reference device, and medical image diagnosis system |
JP5543681B2 (en) * | 2006-03-15 | 2014-07-09 | 株式会社日立メディコ | Ultrasonic diagnostic equipment |
WO2008017998A2 (en) * | 2006-08-11 | 2008-02-14 | Koninklijke Philips Electronics, N.V. | Ultrasound system for cerebral blood flow imaging and microbubble-enhanced blood clot lysis |
JP4818846B2 (en) * | 2006-08-16 | 2011-11-16 | 富士フイルム株式会社 | Medical image processing apparatus and medical image processing program |
JP5324041B2 (en) * | 2006-11-09 | 2013-10-23 | 株式会社日立メディコ | Ultrasonic diagnostic equipment |
JP2010515472A (en) * | 2006-11-27 | 2010-05-13 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | System and method for fusing real-time ultrasound images to pre-collected medical images |
JP2008259764A (en) * | 2007-04-13 | 2008-10-30 | Toshiba Corp | Ultrasonic diagnostic equipment and diagnosis program of the equipment |
EP2286370A4 (en) * | 2008-05-02 | 2014-12-10 | Eyeic Inc | System for using image alignment to map objects across disparate images |
JP2009297072A (en) | 2008-06-10 | 2009-12-24 | Toshiba Corp | Ultrasonic diagnostic apparatus and medical image processing apparatus |
US20110144500A1 (en) * | 2008-07-22 | 2011-06-16 | Hitachi Medical Corporation | Ultrasonic diagnostic apparatus and method for calculating coordinates of scanned surface thereof |
JPWO2010055816A1 (en) * | 2008-11-14 | 2012-04-12 | 株式会社日立メディコ | Ultrasound diagnostic apparatus and standard image data generation method for ultrasonic diagnostic apparatus |
JP5284123B2 (en) * | 2009-01-20 | 2013-09-11 | 株式会社東芝 | Ultrasonic diagnostic apparatus and position information acquisition program |
JP5513790B2 (en) * | 2009-07-06 | 2014-06-04 | 株式会社東芝 | Ultrasonic diagnostic equipment |
US8666474B2 (en) | 2009-10-27 | 2014-03-04 | Hitachi Medical Corporation | Magnetic-field measurement jig, magnetic-field measurement program, and inspection device provided with magnetic position detector |
JP5950619B2 (en) * | 2011-04-06 | 2016-07-13 | キヤノン株式会社 | Information processing device |
WO2012164892A1 (en) * | 2011-05-30 | 2012-12-06 | パナソニック株式会社 | Ultrasound diagnostic apparatus and image acquisition method using ultrasonic waves |
JP2013135961A (en) * | 2013-04-08 | 2013-07-11 | Toshiba Corp | Ultrasonic diagnosis apparatus and medical image processing device |
JP5685637B2 (en) * | 2013-12-09 | 2015-03-18 | 株式会社日立メディコ | Ultrasonic diagnostic equipment |
JP6305773B2 (en) * | 2014-01-21 | 2018-04-04 | キヤノンメディカルシステムズ株式会社 | Ultrasonic diagnostic apparatus, image processing apparatus, and program |
JP6510200B2 (en) * | 2014-08-25 | 2019-05-08 | キヤノンメディカルシステムズ株式会社 | Ultrasonic diagnostic apparatus and control program |
KR102329113B1 (en) * | 2014-10-13 | 2021-11-19 | 삼성전자주식회사 | An ultrasonic imaging apparatus and a method for controlling the same |
JP6720001B2 (en) * | 2016-07-07 | 2020-07-08 | キヤノンメディカルシステムズ株式会社 | Ultrasonic diagnostic device and medical image processing device |
CA3073335A1 (en) * | 2017-08-22 | 2019-02-28 | William L WALTER | Scanning apparatus for scanning an anatomical region |
JP6695475B2 (en) * | 2019-04-26 | 2020-05-20 | ジーイー・メディカル・システムズ・グローバル・テクノロジー・カンパニー・エルエルシー | Ultrasonic diagnostic equipment |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6268442A (en) * | 1985-09-24 | 1987-03-28 | 株式会社東芝 | Ultrasonic diagnostic apparatus |
JPH02128759A (en) * | 1988-11-10 | 1990-05-17 | Hiroshi Furuhata | Ultrasonic probe support apparatus for diagnosis of head |
JPH07311834A (en) * | 1994-05-19 | 1995-11-28 | Toshiba Medical Eng Co Ltd | Image processor and its aid |
JPH10151131A (en) * | 1996-11-25 | 1998-06-09 | Hitachi Medical Corp | Ultrasonograph |
JP2000300557A (en) * | 1999-04-22 | 2000-10-31 | Aloka Co Ltd | Ultrasonic diagnostic device |
-
2004
- 2004-04-14 JP JP2004118985A patent/JP4677199B2/en not_active Expired - Fee Related
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS6268442A (en) * | 1985-09-24 | 1987-03-28 | 株式会社東芝 | Ultrasonic diagnostic apparatus |
JPH02128759A (en) * | 1988-11-10 | 1990-05-17 | Hiroshi Furuhata | Ultrasonic probe support apparatus for diagnosis of head |
JPH07311834A (en) * | 1994-05-19 | 1995-11-28 | Toshiba Medical Eng Co Ltd | Image processor and its aid |
JPH10151131A (en) * | 1996-11-25 | 1998-06-09 | Hitachi Medical Corp | Ultrasonograph |
JP2000300557A (en) * | 1999-04-22 | 2000-10-31 | Aloka Co Ltd | Ultrasonic diagnostic device |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2015083471A1 (en) * | 2013-12-05 | 2015-06-11 | オリンパス株式会社 | Ultrasonic observation device, ultrasonic observation device operation method, and ultrasonic observation device operation program |
JP5797364B1 (en) * | 2013-12-05 | 2015-10-21 | オリンパス株式会社 | Ultrasonic observation apparatus, operation method of ultrasonic observation apparatus, and operation program of ultrasonic observation apparatus |
US9888906B2 (en) | 2013-12-12 | 2018-02-13 | Konica Minolta, Inc. | Ultrasound diagnostic apparatus, ultrasound image processing method, and non-transitory computer readable recording medium |
Also Published As
Publication number | Publication date |
---|---|
JP2005296436A (en) | 2005-10-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4677199B2 (en) | Ultrasonic diagnostic equipment | |
US20200297321A1 (en) | 3d ultrasound imaging system | |
JP6367425B2 (en) | Ultrasonic diagnostic equipment | |
EP3013243B1 (en) | Elastography measurement system and method | |
US8226560B2 (en) | Reference image display method for ultrasonography and ultrasonic diagnosis apparatus | |
JP5513790B2 (en) | Ultrasonic diagnostic equipment | |
JP4989262B2 (en) | Medical diagnostic imaging equipment | |
CN104053403A (en) | Ultrasonic Guidance Of A Needle Path During Biopsy | |
JP2018057428A (en) | Ultrasonic diagnosis apparatus and ultrasonic diagnosis support program | |
JP4205957B2 (en) | Ultrasonic diagnostic equipment | |
JP6305773B2 (en) | Ultrasonic diagnostic apparatus, image processing apparatus, and program | |
JP5202916B2 (en) | Ultrasound image diagnostic apparatus and control program thereof | |
CN112672696A (en) | System and method for tracking tools in ultrasound images | |
JP7299100B2 (en) | ULTRASOUND DIAGNOSTIC DEVICE AND ULTRASOUND IMAGE PROCESSING METHOD | |
JP7359414B2 (en) | medical imaging equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070409 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070409 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100119 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100315 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100928 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101126 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110111 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110131 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140204 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4677199 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |