JP3787059B2

JP3787059B2 - Digital watermark composition method, digital watermark composition device, watermark information detection method, watermark information detection device, printed material manufacturing method, printed material, and recording medium

Info

Publication number: JP3787059B2
Application number: JP2000248867A
Authority: JP
Inventors: 淳児大西; 愼治小沢; 素梅郭
Original assignee: Toppan Inc
Current assignee: Toppan Inc
Priority date: 2000-08-18
Filing date: 2000-08-18
Publication date: 2006-06-21
Anticipated expiration: 2020-08-18
Also published as: JP2002064700A

Description

【０００１】
【発明の属する技術分野】
この発明は、データに処理を施すことにより情報を埋め込む電子透かしに関する。特に、画像データに情報を埋め込む電子透かしに関する。
【０００２】
【従来の技術】
従来、情報の不正コピーの発見等を目的として、電子透かしが用いられている。この電子透かしは、デジタル電子情報に、表面的には知覚できない形で情報を埋め込んでおき、埋め込まれた情報を検出することにより、そのようなデジタル電子情報の不正コピーを発見できるようにした技術である。ここで、対象となるデジタル電子情報の典型例は、静止画像データや動画像データやオーディオデータなどであり、これらのデータの権利関係者固有の情報を電子透かしとして埋め込み、これら権利関係者の保護を図ることが行われている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来技術では、埋め込まれた透かし情報を検出できるのは、デジタルデータとしてコピーされた情報からだけであった。例えば、デジタル画像データに電子透かし情報が埋め込まれていても、その画像データをプリンタを用いて印刷してしまうと、その印刷物から埋め込まれた透かし情報を復元することは不可能であった。これは、プリンタを用いて印刷する際に、またスキャナを用いて印刷物を再度デジタルデータ化する際に、情報が失われたり、画像のコントラストが変化したりしてしまうことが理由である。
【０００４】
例えば、画像データの窃用は、必ずしもデジタルデータのまま行われるとは限らず、画像データを基に印刷物が作成され、そのような印刷物が不正に流通する場合も考えられる。
【０００５】
この発明は、上記のような事情に鑑みてなされたものであり、コントラスト変換や印刷（より一般的にはＤ／Ａ（デジタル／アナログ）変換）に対してもロバストな電子透かし方法および装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記の課題を解決するために、請求項１に記載の発明は、透かし情報をスペクトル拡散することにより、拡散された透かし情報を生成するスペクトル拡散過程と、原画像データをフーリエ変換することにより、振幅情報と位相情報を抽出するフーリエ変換過程と、前記拡散された透かし情報と前記振幅情報とを合成する第１合成過程と、前記第１合成過程の出力と前記位相情報とを基に逆フーリエ変換し、この逆フーリエ変換の結果と原画像データとの差分である差分画像データを生成する差分画像生成過程と、前記原画像データをウェーブレット変換することにより画像のエネルギーマップデータを算出するエネルギーマップデータ算出過程と、前記原画像データと前記差分画像データと前記エネルギーマップデータを基に透かし埋め込み済み画像データを合成する第２合成過程とから成ることを特徴とする電子透かし合成方法である。
【０００７】
また、請求項２に記載の発明は、入力された画像データを複数のブロック画像に分割し、この各々のブロック画像を前記原画像データとすることを特徴とする請求項１に記載の電子透かし合成方法である。
【０００８】
また、請求項３に記載の発明は、前記透かし埋め込み済み画像データを基に印刷を行い、印刷物を作成する印刷過程を有することを特徴とする請求項１又は２に記載の電子透かし合成方法である。
【０００９】
また、請求項４に記載の発明は、透かし情報をスペクトル拡散することにより、拡散された透かし情報を生成するスペクトル拡散部と、原画像データをフーリエ変換することにより、振幅情報と位相情報を抽出するフーリエ変換部と、前記拡散された透かし情報と前記振幅情報とを合成する第１合成部と、前記第１合成部の出力と前記位相情報とを基に逆フーリエ変換し、この逆フーリエ変換の結果と原画像データとの差分である差分画像データを生成する差分画像生成部と、前記原画像データをウェーブレット変換することにより画像のエネルギーマップデータを算出するエネルギーマップデータ算出部と、前記原画像データと前記差分画像データと前記エネルギーマップデータを基に透かし埋め込み済み画像データを合成する第２合成部とを具備することを特徴とする電子透かし合成装置である。
【００１０】
また、請求項５に記載の発明は、入力された画像データを複数のブロック画像に分割し、この各々のブロック画像を前記原画像データとすることを特徴とする請求項４に記載の電子透かし合成装置である。
【００１１】
また、請求項６に記載の発明は、前記透かし埋め込み済み画像データを基に印刷を行い、印刷物を作成する印刷部を有することを特徴とする請求項４又は５に記載の電子透かし合成装置である。
【００１２】
また、請求項７に記載の発明は、請求項１の電子透かし合成方法により合成した透かし埋め込み済み画像データをフーリエ変換し、予め定められた中間周波数帯域の振幅情報を抽出するフーリエ変換過程と、前記振幅情報を基に、所定の情報シンボル値検出用系列を用いてシンボルレスポンス値を求め、このシンボルレスポンス値を基に透かし情報を検出する検出過程とから成ることを特徴とする透かし情報検出方法である。
【００１３】
また、請求項８に記載の発明は、前記検出過程において、前記シンボルレスポンス値Ｚl（０≦ｌ≦Ｌ−１）が最大値を取るときのｌを元の透かし情報のシンボル値とすることを特徴とする請求項７に記載の透かし情報検出方法である。
【００１４】
また、請求項９に記載の発明は、印刷媒体に印刷された画像を読み込んでデジタル化することにより前記検出対象データとする画像デジタル化過程を有することを特徴とする請求項７又は８に記載の透かし情報検出方法である。
【００１５】
また、請求項１０に記載の発明は、請求項４の電子透かし合成装置により合成した透かし埋め込み済み画像データをフーリエ変換し、予め定められた中間周波数帯域の振幅情報を抽出するフーリエ変換部と、前記振幅情報を基に、所定の情報シンボル値検出用系列を用いてシンボルレスポンス値を求め、このシンボルレスポンス値を基に透かし情報を検出する検出部とを具備することを特徴とする透かし情報検出装置である。
【００１６】
また、請求項１１に記載の発明は、前記検出部は、前記シンボルレスポンス値Ｚl（０≦ｌ≦Ｌ−１）が最大値を取るときのｌを元の透かし情報のシンボル値とすることを特徴とする請求項１０に記載の透かし情報検出装置である。
【００１７】
また、請求項１２に記載の発明は、印刷媒体に印刷された画像を読み込んでデジタル化することにより前記検出対象データとする画像デジタル化部を具備することを特徴とする請求項１０又は１１に記載の透かし情報検出装置である。
【００１８】
また、請求項１３に記載の発明は、透かし情報をスペクトル拡散することにより、拡散された透かし情報を生成するスペクトル拡散過程と、原画像データをフーリエ変換することにより、振幅情報と位相情報を抽出するフーリエ変換過程と、前記拡散された透かし情報と前記振幅情報とを合成する第１合成過程と、前記第１合成過程の出力と前記位相情報とを基に逆フーリエ変換し、この逆フーリエ変換の結果と原画像データとの差分である差分画像データを生成する差分画像生成過程と、前記原画像データをウェーブレット変換することにより画像のエネルギーマップデータを算出するエネルギーマップデータ算出過程と、前記原画像データと前記差分画像データと前記エネルギーマップデータを基に透かし埋め込み済み画像データを合成する第２合成過程と、前記透かし埋め込み済み画像データを基に印刷を行う印刷過程とから成ることを特徴とする印刷物製造方法である。
【００１９】
また、請求項１４に記載の発明は、透かし情報をスペクトル拡散することにより、拡散された透かし情報を生成するスペクトル拡散過程と、原画像データをフーリエ変換することにより、振幅情報と位相情報を抽出するフーリエ変換過程と、前記拡散された透かし情報と前記振幅情報とを合成する第１合成過程と、前記第１合成過程の出力と前記位相情報とを基に逆フーリエ変換し、この逆フーリエ変換の結果と原画像データとの差分である差分画像データを生成する差分画像生成過程と、前記原画像データをウェーブレット変換することにより画像のエネルギーマップデータを算出するエネルギーマップデータ算出過程と、前記原画像データと前記差分画像データと前記エネルギーマップデータを基に透かし埋め込み済み画像データを合成する第２合成過程と、前記透かし埋め込み済み画像データを基に印刷を行う印刷過程とから製造されることを特徴とする印刷物である。
【００２０】
また、請求項１５に記載の発明は、透かし情報をスペクトル拡散することにより、拡散された透かし情報を生成するスペクトル拡散過程と、原画像データをフーリエ変換することにより、振幅情報と位相情報を抽出するフーリエ変換過程と、前記拡散された透かし情報と前記振幅情報とを合成する第１合成過程と、前記第１合成過程の出力と前記位相情報とを基に逆フーリエ変換し、この逆フーリエ変換の結果と原画像データとの差分である差分画像データを生成する差分画像生成過程と、前記原画像データをウェーブレット変換することにより画像のエネルギーマップデータを算出するエネルギーマップデータ算出過程と、前記原画像データと前記差分画像データと前記エネルギーマップデータを基に透かし埋め込み済み画像データを合成する第２合成過程との処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００２１】
また、請求項１６に記載の発明は、請求項１の電子透かし合成方法により合成した透かし埋め込み済み画像データをフーリエ変換し、予め定められた中間周波数帯域の振幅情報を抽出するフーリエ変換過程と、前記振幅情報を基に、所定の情報シンボル値検出用系列を用いてシンボルレスポンス値を求め、このシンボルレスポンス値を基に透かし情報を検出する検出過程との処理をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体である。
【００２２】
また、請求項１７に記載の発明は、前記検出過程において、前記シンボルレスポンス値Ｚl（０≦ｌ≦Ｌ−１）が最大値を取るときのｌを元の透かし情報のシンボル値とする処理をコンピュータに実行させるプログラムを記録したことを特徴とする請求項１６に記載のコンピュータ読み取り可能な記録媒体である。
【００３２】
【発明の実施の形態】
以下、図面を参照しながら、この発明の一実施形態について説明する。この実施形態による電子透かしは、より高いロバスト性を得ることを目的として、スペクトル拡散とウェーブレット変換を利用する。
【００３３】
（透かし情報のスペクトル拡散の方法）
まず、透かし情報のスペクトル拡散について説明する。第１に、鍵情報を用いてバイナリデータである透かし情報Ｂを符号化する。鍵ｋｅｙ１を初期値とする疑似乱数系列ｍn 、および予め定められている実数パラメータαを用いて、長さＮの拡散系列ｘn を以下のようにして算出する。
【００３４】
【数１】

【００３５】
なお、ここで生成して用いる乱数系列は、暗号学的に安全性の高いものを利用することが好ましい。この疑似乱数系列の生成には、例えば、ＧｏｌｄＣｏｄｅ，ＫａｓａｍｉＣｏｄｅ，Ｍ−ｓｅｑｕｅｎｃｅ，Ｐｅｒｆｅｃｔｍａｐなどを利用する。
【００３６】
次に、透かし情報ＢをＬ進数（Ｌ≧２）に基数変換し、変換後の各桁の値（以下、これを「シンボル値」と言う）をＳｋ（０≦ｋ＜Ｋ）とする。そして、ｋ＝０，１，・・・，Ｋ−１について、次の数式により表わされる処理を実行する。
【００３７】
【数２】

【００３８】
図１は、上記処理による透かし情報のスペクトル拡散の概要を表わす参考図である。図１では、拡散系列ｘn がグラフとして示されており、Ｓk およびＳk+1 は、透かし情報ＢをＬ進数に基数変換したときのシンボル値である。つまり、数式（１）に表わした拡散系列ｘn を基に、数式（２）で表わしたようにシンボル値Ｓk （０≦ｋ＜Ｋ）に応じた乱数系列を加えることによって、拡散された透かし情報を算出する。
また、図２は、上記処理によって求められたｘn 、つまり拡散された透かし情報の例を示すグラフである。図２に例示する拡散系列には、６４ビットの透かし情報が含まれている。
【００３９】
（拡散された透かし情報の検出方法）
次に、上記手順により生成された拡散系列から、透かし情報を取り出す方法について説明する。まず、鍵情報ｋｅｙ１を基に疑似乱数系列ｍn を求める。また、得られた拡散された透かし情報をｙn とする。そして、上記擬似乱数系列を用いて、次の数式により、長さＮのシンボル値検出用系列ｑn(k,l) を求める。
【００４０】
【数３】

【００４１】
すべてのｎについて、数式（３）の処理を実行した後、ｑn(k,l) の平均値が０となるようにシフトする。
そして、このｑn(k,l) と拡散された透かし情報ｙn とから、l ＝０，１，・・・，Ｌ−１について、シンボルレスポンス値Ｚl を以下の数式により求める。
【００４２】
【数４】

【００４３】
このようにして求められたＺl が最大値をとる時のl が、検出されたシンボル値であり、このシンボル値を基数変換することにより、元の透かし情報Ｂを取り出すことができる。図３は、図２に示した拡散系列を基に算出されたシンボルレスポンス値Ｚl を示すグラフである。図３は、Ｌ＝２５６の場合におけるシンボルレスポンス値Ｚl を示している。そして、このグラフが表わす２０４８個の値のうち、ピークとなっている８個の値Ｚl に対応するl （０≦l ≦２５５）が、それぞれ、元の６４ビットの透かし情報の中の８ビットを表わすものである。
【００４４】
（フーリエ変換の平行移動不変特性）
次に、透かしパターンの画像を平行移動してもフーリエ変換の結果得られる振幅成分が不変であることを説明する。
図４は、画像の平行移動とその画像をフーリエ変換した結果との関係を示す参考図である。まず、透かしパターンの画像のみを繰り返し配列したタイリングによって構成されている画像を例にとって考える。図４（ａ）は、Ｍ画素×Ｍ画素の透かしパターンの画像を２×２の４枚配列した画像（２Ｍ画素×２Ｍ画素）を示している。ここで、左上の透かしパターン画像の開始座標から（Ｏx,Ｏy ）だけオフセットした位置からＭ画素×Ｍ画素のブロック画像を切り出して離散フーリエ変換して得られる係数行列をＦ（ｕ, ｖ）とする。フーリエ変換の平行移動に関する性質から、埋込処理によって変更された係数Ｗ（ｕn,ｖn ）とＦ（ｕn,ｖn ）との間には、次式の関係が成り立つ。
【００４５】
【数５】

【００４６】
つまり、図４（ｂ）に示すように、Ｗ（ｕn,ｖn ）とＦ（ｕn,ｖn ）との間に、係数の次数とオフセットに応じた位相差が生じる。ところが、振幅成分に着目すると、平行移動に関係なく一定（図４（ｂ）におけるｒ）である。従って、振幅成分に対して電子透かしを合成すれば、平行移動に関係なく透かし成分を取り出すことが可能となる。この性質を利用することによって、画像が切り抜かれた場合にも電子透かしを検出することが可能となる。
【００４７】
一方、透かしパターンが原画像に加算されて透かし入り画像となっている場合には、Ｆ（ｕn,ｖn ）は、平行移動前後間の原画像に対応する成分の差によって大きく異なる値をとることになる。しかしながら、この原画像による影響を大きな雑音として考えると、前述したスペクトル拡散のような雑音に強い変調方式を用いることによって、このような場合にも信号を検出して、透かし情報を取り出すことが可能であると考えられる。
【００４８】
（電子透かしの合成手順）
次に、上で説明したスペクトル拡散の方法とフーリエ変換の平行移動不変特性、およびウェーブレット変換の周波数解析特性を利用することによって、ロバスト性に優れた電子透かしを合成する手順について説明する。図５は、電子透かし合成手順を示す流れ図である。図５において、符号１００は原画像データ、１１１および１１２は、それぞれ、原画像データ１００をフーリエ変換（２１０）することによって得られる振幅情報および位相情報である。また、１２０は原画像データ１００に埋め込む透かし情報、１２１は透かし情報１２０をスペクトル拡散（２２０）して得られる拡散された透かし情報である。また、１５０は、この合成手順の結果得られる透かし埋め込み済み画像データである。
【００４９】
以下、図５を参照しながら、合成手順の詳細を説明する。
原画像データ（１００）をｆ（ｘ，ｙ）とする。この原画像データｆ（ｘ，ｙ）をＭ画素×Ｍ画素のブロックに分割し、それをｂ（ｎ1,ｎ2 ）と表す。そして、ｂ（ｎ1,ｎ2 ）を次式によりフーリエ変換（２１０）して、Ｆ（ｕ，ｖ）を求める。但し、ここで、ｊは虚数単位である。
【００５０】
【数６】

【００５１】
このＦ（ｕ，ｖ）の振幅成分（振幅情報１１１）と位相成分（位相情報１１２）をそれぞれ次のように表わす。
【００５２】
【数７】

【数８】

【００５３】
次に、鍵情報ｋｅｙ２から生成される疑似乱数数列を用いて、整数値の組（ｕn,ｖn ）（０≦ｎ＜Ｎ）を重複がないように選ぶ。ただし、（ｕn,ｖn ）は埋め込み処理を行う予め定められた中間周波数帯の中にあるようにする。
【００５４】
つまり、ｓｑｒｔ（ｕn＾２＋ｖn＾２）の値が所定の上限値と下限値の範囲内にあるように（ｕn,ｖn ）の組を選択する。但し、ここで「ｓｑｒｔ（）」は平方根を表わし、「＾」はべき乗を表わす。具体的には、例えば、前述のブロック画像のサイズＭを用いて（Ｍ／１６）≦ｓｑｒｔ（ｕn＾２＋ｖn＾２）≦（Ｍ／４）を満足するように（ｕn,ｖn ）の組を選択することが好ましい。
【００５５】
このような（ｕn,ｖn ）および任意の実数ｐｏｗｅｒ１を用いて、次式で示すように、透かし情報（１２０）を基に求められた拡散された透かし情報ｘn （１２１）を振幅成分Ａｍｐ（ｕ，ｖ）に合成する（２２５、第１合成過程、第１合成部）。
【００５６】
【数９】

【数１０】

【００５７】
最後に逆フーリエ変換（２３０）を実行し、透かし情報を合成したブロック画像ｂ′（ｘ、ｙ）を得る。以上の処理を、分割したすべてのブロックに対して実行することによって、透かしを合成した画像ｆ′（ｘ、ｙ）を得る。
【００５８】
次に、透かしの合成によるノイズを画像の局所的な特徴に合わせることで、ノイズを低減させる手順を説明する。まず、原画像データをウェーブレット変換することによって、局所的な画像の特徴を取り出してみる。ウェーブレット変換（２４２）により、原画像ｆ（ｘ，ｙ）はサブバンド画像に分解され、互いに直行する部分画像（Ｄj(n)ｆ）（ｘ，ｙ）で表わされる。そして、この部分画像（Ｄj(n)ｆ）（ｘ，ｙ）を用いて、解像度ｊにおけるＤj の成分のエネルギーＰj ｆ（ｘ，ｙ）を次式により求める。
【００５９】
【数１１】

【００６０】
このように求められたＰj ｆ（ｘ，ｙ）を最近傍法により２＾(−ｊ)倍拡大し、原画像と同じ大きさのエネルギーマップデータＥn （ｘ，ｙ）を得る（高周波エネルギーデータの算出２４２）。このマップデータが所定値以下になるように次式に示す方法で閾値処理を施す。
【００６１】
【数１２】

【００６２】
次に、下の式のように、透かしを合成した画像ｆ′（ｘ、ｙ）と原画像データｆ（ｘ、ｙ）との差分Ｄｉｆｆ（ｘ，ｙ）を求める（２３５）。
【００６３】
【数１３】

【００６４】
最後に、エネルギーマップデータＥn （ｘ，ｙ）を利用して、重みマスクＥn （ｘ，ｙ）・ｐｏｗｅｒ２（ｐｏｗｅｒ２は任意の正の実数）を作成し（２４６）、再度、透かし情報を原画像データｆ（ｘ，ｙ）に合成する（２５０，２５５、第２合成過程、第２合成部）。すなわち、次式の通りである。
【００６５】
【数１４】

【００６６】
数式（１４）で得られるｆ′（ｘ，ｙ）が、透かし埋め込み済み画像データ（１５０）である。このように、ウェーブレット変換を用いることによって、人間に知覚されにくく、高いロバスト性を持つ電子透かしを埋め込んだ画像データを得ることができる。
【００６７】
（電子透かしの検出手順）
次に、上記手順によって埋め込まれた電子透かしの検出の手順について説明する。図６は、電子透かし検出手順を示す流れ図である。図６において、符号１５０ｓは透かし検出対象となる透かし埋め込み済み画像データ、１６０は透かし埋め込み済み画像データ１５０ｓを基に得られる振幅情報、１７０はシンボル値検出用系列、１２０はこの検出手順の結果抽出される透かし情報である。
【００６８】
以下、図６を参照しながら、電子透かし検出手順の詳細について説明する。
まず、検出対象画像ｆ′（ｘ，ｙ）（透かし埋め込み済み画像データ１５０ｓ）をＭ画素×Ｍ画素のブロックｂ′（ｎ1,ｎ2 ）に分割して離散フーリエ変換（２７０）し、Ｆ′（ｕ，ｖ）を求める。次に、鍵情報ｋｅｙ２を用いて、透かし合成手順における場合と同様に整数列の組（ｕn,ｖn ）を作成する。そして、この（ｕn,ｖn ）とＡｍｐ′（ｕ，ｖ）とから、次式に示すように、透かし情報を持つ振幅成分（振幅情報１６０）を取り出し、ｙn に格納する。
【００６９】
【数１５】

【００７０】
また、擬似乱数系列を基に、長さＮの透かし情報シンボル値検出用系列ｑn(k,l)を以下のようにして得る（１７０）。
【００７１】
【数１６】

【００７２】
すべてのｎについて情報シンボル値検出用系列ｑn(k,l)を求めた後、これらの値の平均値が０となるようにシフトする。そして、ｙn とｑn(k,l)とを基に、数式（４）を用いてシンボルレスポンス値Ｚl を求める（２８０）。以上の処理を、l ＝０，１，・・・，Ｌ−１の各々のl について実行し、Ｚl が最大となる時のl を検出されたシンボル値とする（２９０）。このように得られたシンボル値l に対して、Ｌ進数の基数変換を行い、検出された透かし情報Ｓk （１２０）を得る。
【００７３】
（透かし検出の実証実験）
次に、本発明の発明者らが行った実験について説明する。この実験は、上述した合成および検出の方法による電子透かしが、印刷画像に対してもロバストであり、有効性の高いものであることを実証することを目的とする。実験に用いたテスト画像は、人物を撮影した写真画像であり、サイズは５１２画素×５１２画素、１画素当たり８ビット（２５６段階の階調）のグレースケール画像である。また、本実験における透かし情報の情報量は６４ビット、その他のパラメータの値は、Ｍ＝２５６，Ｎ＝４０９６，α＝０．１３４２３４２３，Ｌ＝２５６，ｊ＝−２，ｐｏｗｅｒ１＝１５００，ｐｏｗｅｒ２＝２．０，Ｔｈ１＝４．０である。また、（ｕn,ｖn ）の組は、次式を満たす中間周波数帯から選択した。
【００７４】
【数１７】

【００７５】
上記の条件で原画像データに透かしを合成した。このときの画質は４０．６ｄＢ（デシベル）であった。原画像と透かし埋め込み済み画像とをコンピュータディスプレイ上で見比べると、若干の透かしによるノイズを目によって確認することができるが、これらの画像はプリンタで印刷する際にはディザ化されるため、印刷物として見たときにはこのノイズは目立たなくなる。
【００７６】
第１の実験では、コンピュータ上で透かし埋め込み済み画像をディザ化して、ディザ化された画像を基に透かし情報の検出を試みた。図７は、ディザ化された画像を基に求められたシンボルレスポンス値（Ｚl ）のグラフである。図７のグラフに示したように、シンボルレスポンス値のピーク点が元の透かし情報に対応しているため、透かし情報が正しく検出できたことがわかった。
【００７７】
第２の実験では、透かし埋め込み済み画像データを７２ｄｐｉ（dots per inch,ドット数毎インチ，１インチは約２．５４０センチメートル）のポストスクリプトデータに変換し、次の３種類の白黒のレーザプリンタを用いて画像を印刷した。
プリンタ１：ＮＥＣ日本語ページプリンタ
プリンタ２：ＣａｎｏｎＬＢＰ−７５０
プリンタ３：ＯＫＩＭＩＣＲＯＬＩＮＥ９０３ＰＳＩＩＩ＋Ｆ
そして、スキャナ（ＥＰＳＯＮＧＴ−９６００）を用いて、３００ｄｐｉ、８ビットのグレースケール画像として取り込んだ画像データから透かしの検出を試みた。
【００７８】
図８、図９、図１０は、それぞれ、上記プリンタ１、プリンタ２、プリンタ３を用いて印刷した画像をスキャナで読み込み、透かし検出手順によって得られたシンボルレスポンス値のグラフである。図８〜図１０からわかるように、それぞれの読み取り画像において、シンボルレスポンス値が５〜９となっているピーク点が複数存在している。
【００７９】
【数１８】

【００８０】
一方、シングルレスポンス値を定義した数式（４）におけるｑn(k,l) は１または−１の値をとるＧｏｌｄＣｏｄｅを利用しているため、上の数式（１８）の値は、平均０，分散１／ｎの確率分布に従う。従って、中心極限定理から、Ｎが十分に大きければシンボルレスポンス値は平均０，分散１の正規分布Ｎ（０，１）に近似できる。これにより、検出したシンボルレスポンス値のピークの有意性を判定する閾値を、確度に応じて設定することができる。例えば、確度９９．９９９％とする場合、上記閾値は約４．２６４８９である。このことから、図８〜図１０のグラフに現れているピーク点は正確に検出されたものであり、またシンボル値は元の透かし情報に対応しているため、透かし情報が正しく検出できたことがわかった。
【００８１】
第３の実験では、透かし情報埋め込み済み画像を、高圧縮率によって非可逆圧縮し、圧縮された画像データを基に透かし情報の検出を試みた。本実験では、ＪＰＥＧ（Joint Photographic Expert Group ）の圧縮方式を用いた。このＪＰＥＧ圧縮方式による圧縮時の品質パラメータは画像の品質に大きな影響を持つものであるが、本実験では、本発明による電子透かしの高ロバスト性を実証するために、圧縮後の画像上のブロックノイズが視覚で分かる程度に品質パラメータを設定し、圧縮を行った。つまり、通常用いられる圧縮は、本実験のような画像品質低下を伴うものではなく、本実験において透かし画像が正しく検出できれば、通常用いられる画像圧縮においても十分良好に透かし情報を復元可能であることを意味する。
【００８２】
図１１は、このＪＰＥＧ圧縮画像を基に求められたシンボルレスポンス値のグラフである。この図１１においても、シンボルレスポンス値のピーク点が正しく検出されており、画像を極度に傷つけるような圧縮をかけても、電子透かしが正確に検出できることがわかった。
【００８３】
第４の実験では、原画像の部分画像を切り抜き、この切り抜かれた部分画像のみから電子透かしの検出を試みた。図１２は、この第４の実験における部分画像の切り抜きを示す参考図である。図１２において、Ａは原画像であり５１２画素×５１２画素のサイズを持つ。また、Ｂは、原画像Ａの中央付近を切り抜いた部分画像であり、そのサイズは２５６画素×２５６画素である。
【００８４】
図１３は、上記部分画像Ｂを基に求められたシンボルレスポンス値のグラフである。図１３に示すように、シンボルレスポンス値のピーク点が正しく検出されており、元の透かし情報が正しく検出できることがわかった。本発明の合成方法では、透かし情報は、Ｍ画素×Ｍ画素の大きさ（本実験においてはＭ＝２５６）のブロックでタイル上に埋め込まれているため、この１個のブロックの大きさよりも大きな部分画像が切り抜かれていれば、検出が可能である。また、フーリエ変換の平行移動不変特性として既に説明したように、フーリエ変換の振幅成分を利用することによって、Ｍ画素×Ｍ画素のサイズの窓関数を用いて、画像の任意の位置をフーリエ変換することによって容易に透かしの検出が可能である。
【００８５】
本実験ではＭ＝２５６と設定しているため、最小で２５６画素×２５６画素のサイズの部分画像から透かし情報の検出が可能である。より小さなサイズの部分画像からも透かし情報を検出できるようにするためには、Ｍの値をより小さく設定する必要がある。しかしながら、Ｍを小さくすると埋め込める電子透かしの情報量も小さくなるため、この電子透かしを用いる際には、これら最小画像サイズと埋め込み情報量の両方を考慮してＭの値を決定するようにする。
【００８６】
第５の実験では、本発明による透かしが外部ノイズに対して強いことを実証するため、透かし埋め込み済み画像にノイズ付加およびメディアンフィルタ処理を施したものから、電子透かしの検出を試みた。図１４は、ノイズを付加した画像を基に求められたシンボルレスポンス値のグラフである。また、図１５は、メディアンフィルタ処理された画像を基に求められたシンボルレスポンス値のグラフである。これらの図１４および図１５においても、シンボルレスポンス値のピークを確認することができ、本発明の電子透かし方式はフィルタリングによるノイズに対しても耐性があることが確認できた。
【００８７】
（電子透かし合成装置および検出装置）
次に、電子透かし合成方法および検出方法を用いた装置について説明する。
図１６は、前述の電子透かし合成手順を組み込んだ電子透かし合成装置の構成を示すブロック図である。図１６において、符号１００は原画像データ、１２０は原画像データ１００に埋め込むべき透かし情報、３０１は原画像データ１００と透かし情報１２０を基に、透かし埋め込み済み画像データ１５０を合成する透かし合成処理部である。また、３０５は原画像データ１００および透かし埋め込み済み画像データ１５０を記憶する記憶部である。
【００８８】
透かし埋め込み済み画像データ１５０は、記録媒体書き込み手段あるいは通信手段（いずれも図示せず）を用いて、そのままデジタルデータとして出力することができる。透かし埋め込み済み画像を印刷物として出力する場合には、プリンタ３１１が透かし埋め込み済み画像データ１５０を読み込んで印刷物１９０を印刷するようにする。
【００８９】
図１７は、透かし合成処理部３０１の詳細構成を示すブロック図である。図１７に示すように、透かし合成処理部３０１は、透かし情報拡散部５０２と帯域分割部５０４と帯域選択部５０６と透かし情報埋め込み部５０８とノイズ軽減化部５１０とデータ合成部５１２とを備えている。透かし情報拡散部５０２は、図５に示したスペクトル拡散（２２０）の処理を行う。帯域分割部５０４は、図５に示したフーリエ変換（２１０）により画像の周波数帯域を分割する処理を行う。帯域選択部５０６は、数式（９）および数式（１０）に示した（ｕn,ｖn ）の組を所定の中間周波数帯の中にあるように選択する処理に対応する。透かし情報埋め込み部５０８は、数式（９）および数式（１０）を用いて拡散された透かし情報を原画像の振幅成分に合成する処理（図５の符号２２５に対応）を行う。ノイズ軽減化部５１０は、ウェーブレット変換を利用してエネルギーマップデータを作成する処理（図５の符号２４２，２４４，２４６に対応）を行う。また、データ合成部５１２は、数式（１３）および数式（１４）を用いた画像の合成に相当する処理を行う。
【００９０】
なお、原画像が単色画像（例えばグレースケール画像）である場合には、原画像の明度のチャネルに透かし情報を埋め込むようにする。また、原画像がカラー画像である場合には、原画像のデータ表現方法に応じて、明度のチャネルあるいは各原色のチャネルに透かし情報を埋め込むようにする。
【００９１】
図１８は、前述の電子透かし検出手順を組み込んだ電子透かし検出装置の構成を示すブロック図である。図１８において、符号１５０ｓは検出対象とする透かし埋め込み済み画像データ、３０２は透かし埋め込み済み画像データ１５０ｓを基に透かし情報を検出する透かし検出処理部、１２０は透かし検出処理部によって検出され出力される透かし情報である。また、３０５は透かし埋め込み済み画像データ１５０ｓを記憶する記憶部である。
【００９２】
透かし埋め込み済み画像データ１５０ｓは、記録媒体読み取り手段あるいは通信手段（いずれも図示せず）を用いて、デジタルデータとして外部から取り込む。あるいは、透かし情報が埋め込まれた印刷物１９０をスキャナ３１２を用いてデジタル化することによって透かし埋め込み済み画像データ１５０ｓを作成しても良い。
【００９３】
図１９は、透かし検出処理部３０２の詳細構成を示すブロック図である。図１９に示すように、透かし検出処理部３０２は、帯域分割部５３２と帯域選択部５３４と透かし情報抽出部５３６とを備えている。帯域分割部５３２は、図６に示したフーリエ変換（２７０）により画像の周波数帯域を分割する処理を行う。帯域選択部５３４は、数式（１５）に示した（ｕn,ｖn ）の組を所定の中間周波数帯の中にあるように選択する処理に対応する。透かし情報抽出部は５３６は、この（ｕn,ｖn ）の組を用いて透かし情報を含んだ振幅成分を取り出し、数式（４）を用いてシンボルレスポンス値を算出し、このシンボルレスポンス値を基に透かし情報を抽出する処理（図６の符号２８０および２９０に対応）を行う。
【００９４】
図１８および図１９からも明らかなように、この電子透かし検出装置は元の原画像データを必要としないことが特徴である。このような特徴により、当該電子透かし検出装置そのもののコスト、および同装置の利用コストの低減化につながるとともに、広い範囲の画像データを透かし検出の対象とすることが可能となる。
【００９５】
次に、このような電子透かしの応用方法について説明する。
第１の応用目的は、不正コピーの検出である。画像の権利者に固有の情報（例えば、著作権者の氏名又は名称）を透かし情報として埋め込んでおくことにより、その画像が不正にコピーされた場合にも、電子透かしを検出することによって、その不正コピーを機械的に発見することが可能となる。本発明によれば、元のデジタルデータに限らず、様々なフィルタリング処理がかけられたり、一部分が改変されたりした場合や、印刷物からも透かしを検出できるため、従来技術による電子透かしよりも利用範囲を大幅に広げることができる。
【００９６】
第２の応用目的は、偽造の防止である。例えば、真正の印刷物には予め本発明による透かし情報を埋め込んでおくこととすると、本願発明による透かし検出装置を用いることにより、透かし情報の埋め込まれてない偽造印刷物を容易に発見することができる。印刷物に埋め込まれている透かし情報は人間の視覚によっては検知されないものであるので、透かしの存在そのものを秘密にすることにより、より一層強力な偽造防止手段とすることができる。
【００９７】
第３の応用目的は、情報の伝達である。例えば、画像を配布する際に、本発明の方法により透かしを埋め込んでおくことにより、その画像を媒介として、画像そのものの意味とは無関係の情報を伝達することができる。配布するコピーすべてに同一の透かし情報を埋め込んでも良いし、配布するコピー毎に異なる情報を埋め込むようにしても良い。配布する画像は、デジタルデータであっても良いし、印刷物であっても良い。埋め込まれている情報は、人間の視覚によっては検知または認識されないものであるので、透かし検出装置によって透かし情報を復元するまでは、その存在または内容を秘匿することができる。このような透かし情報が埋め込まれた印刷物を、例えば、ゲームや、広告や、懸賞や、販促キャンペーンや、籤や、認証や、セキュリティ管理などに利用することも可能である。
【００９８】
なお、上述の電子透かし合成装置および電子透かし検出装置は、コンピュータシステムを用いて実現されている。そして、上述した透かし合成および透かし検出の各過程の処理は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、フロッピーディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、磁気ハードディスク、半導体メモリ等をいう。
【００９９】
以上述べたように、本実施形態では、スペクトル拡散とウェーブレット変換を利用して印刷画像に対しても利用できる電子透かしを実現している。また、フーリエ変換の振幅成分を利用するによって、平行移動不変の性質を生かすことができ、これにより印刷画像をスキャナで取り込んだ時に生じる解像度の誤差をカバーでき、かつ切り抜き編集に対して対して有効に検出可能な電子透かしを実現した。また、実証実験により、ＪＰＥＧ高圧縮、フィルタリングによる電子透かしのロバスト性を調査し、本方式の有効性を検証した。また、電子透かしを検出する際に、従来法のように原画像を用いる必要がなく、本手法によって電子透かしシステムをより簡単に構築することができる。
【０１００】
なお、上記実施形態では、透かし情報を埋め込む対象を静止画像データとしたが、これ以外のデータに透かし情報を埋め込むようにしても良い。例えば、動画像データや音声データなどの所定の中間周波数帯域のみに透かし情報を埋め込むようにしても良い。このような透かしを埋め込まれたデータはロバスト性が高く、このデータに対して例えばＤ／Ａ変換およびＡ／Ｄ（アナログ／デジタル）変換を施しても透かし情報が保存されており、上記実施形態と同様の方法により、透かしを検出することができる。
【０１０１】
【発明の効果】
以上説明したように、この発明によれば、ロバスト性が高く、コントラスト変換や印刷等のＤ／Ａ変換に対して強い電子透かしを実現することができる。従って、電子透かしの技術を、従来のようなデジタルデータだけではなく、印刷物等のより広い範囲に適用し、不正コピーの防止や、偽造の防止や、情報伝達に役立てることが可能となる。
【０１０２】
特に、請求項１および請求項６の発明によれば、デジタルデータ内の、予め定められた中間周波数帯域のみに透かし情報を埋め込むため、このデータにある種のバンドパス特性を持つ変換が施されても情報として保存されており検出可能な電子透かしを合成することが可能となる。
【０１０３】
また、請求項２および請求項７の発明によれば、原画像データ内の、予め定められた中間周波数帯域のみに透かし情報を埋め込むため、コントラスト変換や印刷などを行っても情報として保存されており検出可能な電子透かしを合成することが可能となる。
【０１０４】
また、請求項３および請求項８の発明によれば、透かし情報をスペクトル拡散するため、透かし情報を弱い擬似的ノイズとして画像に埋め込むことが可能となり、秘匿性がある。また、高いロバスト性を得ることができる。また、原画像データをフーリエ変換した結果得られる振幅成分に透かし情報を合成するため、平行移動不変特性を利用した透かしの埋め込みが可能となる。また、ウェーブレット変換を利用して原画像データの特徴に応じて透かし情報を埋め込むため、画像上において透かし情報である上記擬似的ノイズを相対的に低減化することが可能となり、従って人間に知覚されにくく、かつ高いロバスト性を持つ電子透かしを埋め込んだ画像を得ることができる。
【０１０５】
また、請求項４および請求項９の発明によれば、入力された画像データを複数のブロック画像に分割し、この各々のブロック画像を原画像データとして透かし情報を埋め込むため、生成される透かし埋め込み済み画像データの冗長性が増す。これにより、生成された画像データの部分画像のみからでも透かし情報の検出が可能となる。
【０１０６】
また、請求項５および請求項１０の発明によれば、透かし埋め込み済み画像データを基に印刷を行うため、透かし情報が埋め込まれた画像を印刷物として作成することが可能となる。
【０１０７】
また、請求項１１および請求項１６の発明によれば、検出対象データ内の予め定められた中間周波数帯域の成分から透かし情報を検出するため、前記透かし合成方法あるいは装置により合成された透かし情報を検出し、復元することができる。このとき、透かし埋め込み済みデータに対して所定のバンドパス特性を有する処理が施されていても、元の透かし情報を復元することができる。
【０１０８】
また、請求項１２および請求項１７の発明によれば、検出対象画像データ内の予め定められた中間周波数帯域の成分から透かし情報を検出するため、画像の印刷（Ｄ／Ａ変換）や印刷された画像のスキャン（Ａ／Ｄ変換）など、所定のバンドパス特性を有する処理が施されている場合も含めて、画像から透かし情報を検出することができる。
【０１０９】
また、請求項１３および請求項１８の発明によれば、検出対象画像データをフーリエ変換して得られる振幅情報を元に所定の情報シンボル値検出用系列を用いてシンボルレスポンス値を求める手法をとるため、所定のブロック画像のサイズ以上の画像であれば、元の画像の部分画像からでも透かし情報の検出が可能となる。また、透かし情報の検出には原画像データを必要としないため、原画像データを管理する必要がなく、装置の構成を簡単化するとともに、装置利用の手間を削減することができる。
【０１１０】
また、請求項１４および請求項１９の発明によれば、シンボルレスポンス値Ｚl （０≦ｌ≦Ｌ−１）が最大値を取るときのｌを元の透かし情報のシンボル値とする手法により透かし情報の検出を行うため、透かし情報検出の手順を簡単化することができる。
【０１１１】
また、請求項１５および請求項２０の発明によれば、印刷された画像を基に検出対象データを得られるため、印刷物から透かし情報を検出することが可能となる。
【０１１２】
また、請求項２１から２３までの発明によれば、検出可能な透かし情報を含んだ印刷物を製造することが可能となり、このような印刷物を、不正コピー防止や、偽造防止や、情報伝達に利用することができる。
【０１１３】
また、請求項２４から２６までの発明によれば、上述した電子透かし合成および電子透かし検出の手順をコンピュータに実行させることが可能となる。
【図面の簡単な説明】
【図１】この発明の一実施形態により、透かし情報と拡散系列を基に拡散された透かし情報を生成する方法の概略を示す参考図である。
【図２】同実施形態により、拡散された透かし情報を示すグラフである。
【図３】同実施形態により、拡散された透かし情報を基に算出されたシンボルレスポンス値を示すグラフである。
【図４】透かしパターン画像の平行移動とその画像をフーリエ変換した結果との関係を示す参考図である（ａ）。また、平行移動前後の位相成分差を示すグラフである（ｂ）。
【図５】同実施形態による電子透かし合成手順を示す流れ図である。
【図６】同実施形態による電子透かし検出手順を示す流れ図である。
【図７】この発明の第１の実証実験により、ディザ化された画像を基に求められたシンボルレスポンス値を示すグラフである。
【図８】この発明の第２の実証実験により、プリンタで印刷された画像を基に求められたシンボルレスポンス値を示すグラフである。
【図９】この発明の第２の実証実験により、プリンタで印刷された画像を基に求められたシンボルレスポンス値を示すグラフである。
【図１０】この発明の第２の実証実験により、プリンタで印刷された画像を基に求められたシンボルレスポンス値を示すグラフである。
【図１１】この発明の第３の実証実験により、圧縮画像を基に求められたシンボルレスポンス値を示すグラフである。
【図１２】この発明の第４の実証実験による部分画像の切り抜きを示す参考図である。
【図１３】この発明の第４の実証実験により、切り抜かれた部分画像を基に求められたシンボルレスポンス値を示すグラフである。
【図１４】この発明の第５の実証実験により、ノイズを付加した画像を基に求められたシンボルレスポンス値を示すグラフである。
【図１５】この発明の第５の実証実験により、メディアンフィルタ処理された画像を基に求められたシンボルレスポンス値を示すグラフである。
【図１６】この発明の一実施形態による電子透かし合成装置の構成を示すブロック図である。
【図１７】同実施形態による電子透かし合成装置における透かし合成処理部の詳細構成を示すブロック図である。
【図１８】この発明の一実施形態による電子透かし検出装置の構成を示すブロック図である。
【図１９】同実施形態による電子透かし検出装置における透かし検出処理部の詳細構成を示すブロック図である。
【符号の説明】
１００原画像データ
１１１振幅情報
１１２位相情報
１２０透かし情報
１２１拡散された透かし情報
１５０，１５０ｓ透かし埋め込み済み画像データ
１６０振幅情報
１７０シンボル値検出用系列
１９０印刷物
２１０フーリエ変換
２２０スペクトル拡散
２３０逆フーリエ変換
２４２ウェーブレット変換
２４４高周波エネルギーの算出
２４６重みマスク作成
２７０フーリエ変換
２８０シンボルレスポンス値算出
２９０シンボル値検出
３０１透かし合成処理部
３０２透かし検出処理部
３０５記憶部
３１１プリンタ
３１２スキャナ
５０２透かし情報拡散部
５０４帯域分割部
５０６帯域選択部
５０８透かし情報埋め込み部
５１０ノイズ軽減化部
５１２データ合成部
５３２帯域分割部
５３４帯域選択部
５３６透かし情報抽出部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a digital watermark that embeds information by processing data. In particular, the present invention relates to a digital watermark that embeds information in image data.
[0002]
[Prior art]
Conventionally, digital watermarking has been used for the purpose of finding illegal copies of information. This digital watermark is a technology that makes it possible to detect unauthorized copies of such digital electronic information by embedding information in digital electronic information in a form that cannot be perceived on the surface, and detecting the embedded information. It is. Here, typical examples of digital electronic information to be processed are still image data, moving image data, audio data, and the like. Information unique to the rights parties of these data is embedded as a digital watermark to protect these rights parties. It has been done.
[0003]
[Problems to be solved by the invention]
However, in the above prior art, the embedded watermark information can be detected only from information copied as digital data. For example, even if digital watermark information is embedded in digital image data, if the image data is printed using a printer, it is impossible to restore the watermark information embedded from the printed matter. This is because information is lost or the contrast of an image is changed when printing is performed using a printer or when a printed matter is converted into digital data again using a scanner.
[0004]
For example, theft of image data is not always performed as digital data, and a printed matter is created based on the image data, and such a printed matter may be illegally distributed.
[0005]
The present invention has been made in view of the above circumstances, and provides a digital watermark method and apparatus that is robust against contrast conversion and printing (more generally, D / A (digital / analog) conversion). The purpose is to provide.
[0006]
[Means for Solving the Problems]
  In order to solve the above-mentioned problem, the invention according to claim 1 is characterized in that a spread spectrum process for generating spread watermark information by spectrally spreading the watermark information, and Fourier transforming the original image data, A Fourier transform process for extracting amplitude information and phase information, a first synthesis process for synthesizing the spread watermark information and the amplitude information, and an inverse Fourier based on the output of the first synthesis process and the phase information. A difference image generation process for generating difference image data that is a difference between the result of the inverse Fourier transform and the original image data, and an energy map for calculating energy map data of the image by wavelet transforming the original image data Watermark embedding based on data calculation process, original image data, difference image data, and energy map data An electronic watermark synthesis method characterized by comprising a second synthesis process for synthesizing only the image data.
[0007]
  According to a second aspect of the present invention, the input image data is divided into a plurality of block images, and each block image is used as the original image data.1The electronic watermark synthesizing method described in the above.
[0008]
  The invention described in claim 3 further includes a printing process of performing printing based on the watermark-embedded image data and creating a printed matter.1 or 2The electronic watermark synthesizing method described in the above.
[0009]
  Further, the invention according to claim 4 extracts the amplitude information and the phase information by subjecting the spread spectrum information to the spread spectrum information to generate the spread watermark information and the Fourier transform of the original image data. A Fourier transform unit, a first combining unit that combines the spread watermark information and the amplitude information, an inverse Fourier transform based on the output of the first combining unit and the phase information, and the inverse Fourier transform A difference image generation unit that generates difference image data that is a difference between the result of the step and the original image data, an energy map data calculation unit that calculates energy map data of an image by performing wavelet transform on the original image data, and the original A second synthesizing unit that synthesizes watermark-embedded image data based on the image data, the difference image data, and the energy map data An electronic watermark synthesizing apparatus characterized by comprising a.
[0010]
  According to a fifth aspect of the present invention, the input image data is divided into a plurality of block images, and each block image is used as the original image data.4The electronic watermark synthesizing apparatus described in the above.
[0011]
  The invention described in claim 6 further includes a printing unit that performs printing based on the watermark-embedded image data and creates a printed matter.4 or 5Watermarking described inapparatusIt is.
[0012]
  The invention according to claim 7The watermark embedded image data synthesized by the digital watermark synthesis method according to claim 1.A Fourier transform process for extracting amplitude information in a predetermined intermediate frequency band, a symbol response value is obtained using a predetermined information symbol value detection sequence based on the amplitude information, and the symbol response A watermark information detection method comprising a detection process of detecting watermark information based on a value.
[0013]
  In the invention according to claim 8, in the detection process, l when the symbol response value Zl (0 ≦ l ≦ L−1) takes a maximum value is set as a symbol value of the original watermark information. Characteristic claims7The watermark information detection method described in the above.
[0014]
  The invention described in claim 9 further includes an image digitizing process in which an image printed on a print medium is read and digitized to obtain the detection target data.7 or 8The watermark information detection method described in the above.
[0015]
  The invention according to claim 10 is5. Watermark embedded image data synthesized by the digital watermark synthesizing apparatus according to claim 4.And a Fourier transform unit for extracting amplitude information in a predetermined intermediate frequency band, a symbol response value is obtained using a predetermined information symbol value detection sequence based on the amplitude information, and the symbol response A watermark information detection apparatus comprising: a detection unit that detects watermark information based on a value.
[0016]
  Further, in the invention according to claim 11, the detection unit sets 1 when the symbol response value Zl (0 ≦ l ≦ L−1) takes a maximum value as a symbol value of the original watermark information. Characteristic claims10The watermark information detection apparatus described in the above.
[0017]
  The invention according to claim 12 further includes an image digitizing unit that reads the image printed on the print medium and digitizes the image to be the detection target data.10 or 11The watermark information detection apparatus described in the above.
[0018]
  Further, the invention according to claim 13 extracts the amplitude information and the phase information by spectrally spreading the watermark information to generate spread watermark information, and Fourier transforming the original image data. A Fourier transform process, a first synthesis process for synthesizing the spread watermark information and the amplitude information, an inverse Fourier transform based on the output of the first synthesis process and the phase information, and the inverse Fourier transform A difference image generation process for generating difference image data that is a difference between the result of the calculation and the original image data, an energy map data calculation process for calculating energy map data of an image by performing wavelet transform on the original image data, and the original image data Based on the image data, the difference image data and the energy map data, the watermark embedded image data is synthesized. A second synthesis process that is a printed matter manufacturing method characterized by comprising a printing step of performing printing based on the watermark embedded image data.
[0019]
  The invention as set forth in claim 14A spread spectrum process for generating spread watermark information by spectrally spreading the watermark information, a Fourier transform process for extracting amplitude information and phase information by Fourier transforming the original image data, and the spread watermark This is the difference between the result of the inverse Fourier transform and the original image data, based on the first synthesis process for combining the information and the amplitude information, the inverse Fourier transform based on the output of the first synthesis process and the phase information. A difference image generation process for generating difference image data, an energy map data calculation process for calculating energy map data of the image by wavelet transforming the original image data, the original image data, the difference image data, and the energy map A second compositing process for compositing watermark-embedded image data based on the data; A printed material, characterized in that it is manufactured to write image data from the printing process for printing based.
[0020]
  Further, the invention according to claim 15 extracts the amplitude information and the phase information by performing the spectrum spreading process for generating the spread watermark information by performing the spectrum spreading of the watermark information and the Fourier transform of the original image data. A Fourier transform process, a first synthesis process for synthesizing the spread watermark information and the amplitude information, an inverse Fourier transform based on the output of the first synthesis process and the phase information, and the inverse Fourier transform A difference image generation process for generating difference image data that is a difference between the result of the calculation and the original image data, an energy map data calculation process for calculating energy map data of an image by performing wavelet transform on the original image data, and the original image data Based on the image data, the difference image data and the energy map data, the watermark embedded image data is synthesized. That a computer-readable recording medium recording a program for executing the process to the computer with the second synthesis process.
[0021]
  The invention according to claim 16The watermark embedded image data synthesized by the digital watermark synthesis method according to claim 1.A Fourier transform process for extracting amplitude information in a predetermined intermediate frequency band, a symbol response value is obtained using a predetermined information symbol value detection sequence based on the amplitude information, and the symbol response A computer-readable recording medium recording a program for causing a computer to execute a process of detecting watermark information based on a value.
[0022]
  The invention according to claim 17 is a process wherein, in the detection process, l when the symbol response value Zl (0 ≦ l ≦ L−1) takes a maximum value is used as a symbol value of the original watermark information. A program to be executed by a computer is recorded.16The computer-readable recording medium described in the above.
[0032]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, an embodiment of the present invention will be described with reference to the drawings. The digital watermark according to this embodiment uses spread spectrum and wavelet transform for the purpose of obtaining higher robustness.
[0033]
(Method of spread spectrum of watermark information)
First, the spread spectrum of watermark information will be described. First, the watermark information B, which is binary data, is encoded using the key information. Using a pseudo random number sequence mn with the key key1 as an initial value and a predetermined real parameter α, a spreading sequence xn of length N is calculated as follows.
[0034]
[Expression 1]

[0035]
The random number sequence generated and used here is preferably a cryptographically secure one. For example, Gold Code, Kasami Code, M-sequence, Perfect map, or the like is used to generate the pseudo-random number sequence.
[0036]
Next, the watermark information B is radix converted to an L base (L ≧ 2), and the value of each digit after conversion (hereinafter referred to as “symbol value”) is set to Sk (0 ≦ k <K). Then, for k = 0, 1,..., K−1, the processing represented by the following formula is executed.
[0037]
[Expression 2]

[0038]
FIG. 1 is a reference diagram showing an outline of the spread spectrum of watermark information by the above processing. In FIG. 1, the spreading sequence xn is shown as a graph, and Sk and Sk + 1 are symbol values when the watermark information B is radix converted to an L base. That is, based on the spreading sequence xn expressed by the equation (1), the random number sequence corresponding to the symbol value Sk (0 ≦ k <K) is added as expressed by the equation (2), thereby spreading the watermark information. Is calculated.
FIG. 2 is a graph showing an example of xn obtained by the above processing, that is, an example of spread watermark information. The spreading sequence illustrated in FIG. 2 includes 64-bit watermark information.
[0039]
(Detection method of spread watermark information)
Next, a method for extracting watermark information from the spreading sequence generated by the above procedure will be described. First, a pseudo random number sequence mn is obtained based on the key information key1. Also, let yn be the spread watermark information obtained. Then, a symbol value detection sequence qn (k, l) of length N is obtained by the following mathematical formula using the pseudo random number sequence.
[0040]
[Equation 3]

[0041]
For all n, after the processing of Equation (3) is executed, shifting is performed so that the average value of qn (k, l) becomes zero.
Then, from this qn (k, l) and the spread watermark information yn, the symbol response value Zl is obtained by the following formula for l = 0, 1,..., L-1.
[0042]
[Expression 4]

[0043]
L 1 when Z 1 obtained in this way takes the maximum value is the detected symbol value, and the original watermark information B can be extracted by radix conversion of this symbol value. FIG. 3 is a graph showing the symbol response value Zl calculated based on the spreading sequence shown in FIG. FIG. 3 shows the symbol response value Zl when L = 256. Of the 2048 values represented by this graph, l (0 ≦ l ≦ 255) corresponding to the eight values Zl that are peaks are 8 bits in the original 64-bit watermark information. Represents.
[0044]
(Translation invariant characteristics of Fourier transform)
Next, it will be described that the amplitude component obtained as a result of the Fourier transform is unchanged even when the watermark pattern image is translated.
FIG. 4 is a reference diagram showing the relationship between the parallel movement of an image and the result of Fourier transform of the image. First, consider an example of an image configured by tiling in which only watermark pattern images are repeatedly arranged. FIG. 4A shows an image (2M pixels × 2M pixels) in which 4 × 2 × 2 watermark pattern images of M pixels × M pixels are arranged. Here, a coefficient matrix obtained by cutting out a block image of M pixels × M pixels from a position offset by (Ox, Oy) from the start coordinate of the upper left watermark pattern image and performing a discrete Fourier transform is denoted by F (u, v). To do. Due to the nature of the Fourier transform related to the parallel movement, the following relationship holds between the coefficients W (un, vn) and F (un, vn) changed by the embedding process.
[0045]
[Equation 5]

[0046]
That is, as shown in FIG. 4B, a phase difference corresponding to the order of the coefficient and the offset occurs between W (un, vn) and F (un, vn). However, focusing on the amplitude component, it is constant (r in FIG. 4B) regardless of the parallel movement. Therefore, if the digital watermark is synthesized with the amplitude component, the watermark component can be extracted regardless of the parallel movement. By utilizing this property, it is possible to detect a digital watermark even when an image is cut out.
[0047]
On the other hand, when the watermark pattern is added to the original image to form a watermarked image, F (un, vn) takes a value that varies greatly depending on the difference in the components corresponding to the original image before and after translation. become. However, if the influence of this original image is considered as a large noise, it is possible to detect the signal and extract the watermark information even in such a case by using a noise-resistant modulation method such as the spread spectrum described above. It is thought that.
[0048]
(Digital watermark composition procedure)
Next, a procedure for synthesizing a digital watermark excellent in robustness by using the spread spectrum method described above, the translation invariance characteristic of Fourier transform, and the frequency analysis characteristic of wavelet transform will be described. FIG. 5 is a flowchart showing a digital watermark composition procedure. In FIG. 5, reference numeral 100 is original image data, and 111 and 112 are amplitude information and phase information obtained by subjecting the original image data 100 to Fourier transform (210), respectively. Reference numeral 120 denotes watermark information to be embedded in the

original image data

100, and 121 denotes spread watermark information obtained by spectrum spreading (220) of the watermark information 120. Reference numeral 150 denotes watermark embedded image data obtained as a result of the synthesis procedure.
[0049]
Hereinafter, the details of the synthesis procedure will be described with reference to FIG.
The original image data (100) is assumed to be f (x, y). The original image data f (x, y) is divided into M pixel × M pixel blocks, which are represented as b (n1, n2). Then, b (n1, n2) is subjected to Fourier transform (210) by the following equation to obtain F (u, v). Here, j is an imaginary unit.
[0050]
[Formula 6]

[0051]
The amplitude component (amplitude information 111) and phase component (phase information 112) of F (u, v) are expressed as follows.
[0052]
[Expression 7]

[Equation 8]

[0053]
Next, a set of integer values (un, vn) (0 ≦ n <N) is selected so as not to overlap using a pseudo-random number sequence generated from the key information key2. However, (un, vn) is in a predetermined intermediate frequency band for performing embedding processing.
[0054]
That is, a set of (un, vn) is selected so that the value of sqrt (un ^ 2 + vn ^ 2) is within a predetermined upper limit value and lower limit value range. Here, “sqrt ()” represents a square root, and “^” represents a power. Specifically, for example, a set of (un, vn) is set so as to satisfy (M / 16) ≦ sqrt (un ^ 2 + vn ^ 2) ≦ (M / 4) using the size M of the block image described above. It is preferable to select.
[0055]
Using such (un, vn) and an arbitrary real power1, the spread watermark information xn (121) obtained based on the watermark information (120) is converted into an amplitude component Amp (u , V) (225, first synthesis process, first synthesis unit).
[0056]
[Equation 9]

[Expression 10]

[0057]
Finally, an inverse Fourier transform (230) is executed to obtain a block image b ′ (x, y) in which watermark information is synthesized. By executing the above processing for all the divided blocks, an image f ′ (x, y) obtained by synthesizing the watermark is obtained.
[0058]
Next, a procedure for reducing noise by matching noise due to watermark synthesis with local features of an image will be described. First, local image characteristics are extracted by performing wavelet transform on the original image data. By the wavelet transform (242), the original image f (x, y) is decomposed into subband images and represented by partial images (Dj (n) f) (x, y) orthogonal to each other. Then, using this partial image (Dj (n) f) (x, y), the energy Pj f (x, y) of the component of Dj at the resolution j is obtained by the following equation.
[0059]
## EQU11 ##

[0060]
Pj f (x, y) thus obtained is enlarged by 2 ^ (-j) times by the nearest neighbor method to obtain energy map data En (x, y) having the same size as the original image (high-frequency energy data 242). Threshold processing is performed by the method shown in the following equation so that the map data is below a predetermined value.
[0061]
[Expression 12]

[0062]
Next, as shown in the following equation, a difference Diff (x, y) between the image f ′ (x, y) synthesized with the watermark and the original image data f (x, y) is obtained (235).
[0063]
[Formula 13]

[0064]
Finally, using the energy map data En (x, y), a weight mask En (x, y) · power2 (power2 is an arbitrary positive real number) is created (246), and the watermark information is again converted into the original image. The data f (x, y) is synthesized (250, 255, second synthesis process, second synthesis unit). That is, it is as follows.
[0065]
[Expression 14]

[0066]
F ′ (x, y) obtained by Expression (14) is the watermark-embedded image data (150). In this way, by using the wavelet transform, it is possible to obtain image data embedded with a digital watermark that is hardly perceived by humans and has high robustness.
[0067]
(Digital watermark detection procedure)
Next, a procedure for detecting a digital watermark embedded by the above procedure will be described. FIG. 6 is a flowchart showing a digital watermark detection procedure. In FIG. 6, reference numeral 150s denotes watermark-embedded image data to be subjected to watermark detection, 160 denotes amplitude information obtained based on the watermark-embedded

image data

150s, 170 denotes a symbol value detection series, and 120 denotes a result of this detection procedure. Watermark information.
[0068]
The details of the digital watermark detection procedure will be described below with reference to FIG.
First, the detection target image f ′ (x, y) (watermark embedded image data 150s) is divided into M pixel × M pixel block b ′ (n1, n2) and subjected to discrete Fourier transform (270), and F ′ ( u, v). Next, a set of integer strings (un, vn) is created using the key information key2 as in the case of the watermark synthesis procedure. Then, from this (un, vn) and Amp '(u, v), an amplitude component (amplitude information 160) having watermark information is extracted and stored in yn as shown in the following equation.
[0069]
[Expression 15]

[0070]
Further, based on the pseudo-random number sequence, a length N watermark information symbol value detection sequence qn (k, l) is obtained as follows (170).
[0071]
[Expression 16]

[0072]
After obtaining the information symbol value detection series qn (k, l) for all n, shift is made so that the average value of these values becomes zero. Then, based on yn and qn (k, l), a symbol response value Zl is obtained using equation (4) (280). The above processing is executed for each l of l = 0, 1,..., L-1, and l when Zl is maximized is set as a detected symbol value (290). The symbol value l obtained in this way is subjected to L-base radix conversion to obtain detected watermark information Sk (120).
[0073]
(Demonstration experiment of watermark detection)
Next, an experiment conducted by the inventors of the present invention will be described. The purpose of this experiment is to demonstrate that the digital watermark by the synthesis and detection method described above is robust to printed images and is highly effective. The test image used in the experiment is a photographic image obtained by photographing a person, and is a grayscale image having a size of 512 pixels × 512 pixels and 8 bits per pixel (256 levels of gradation). Also, the amount of watermark information in this experiment is 64 bits, and the other parameter values are M = 256, N = 4096, α = 0.34234323, L = 256, j = −2, power1 = 1500, power2 = 2.0, Th1 = 4.0. The set of (un, vn) was selected from an intermediate frequency band that satisfies the following formula.
[0074]
[Expression 17]

[0075]
A watermark was synthesized with the original image data under the above conditions. The image quality at this time was 40.6 dB (decibel). When comparing the original image and the watermark embedded image on a computer display, noise due to a slight watermark can be visually confirmed. However, since these images are dithered when printed by a printer, This noise is less noticeable when viewed.
[0076]
In the first experiment, the watermark-embedded image was dithered on the computer, and watermark information was detected based on the dithered image. FIG. 7 is a graph of the symbol response value (Zl) obtained based on the dithered image. As shown in the graph of FIG. 7, since the peak point of the symbol response value corresponds to the original watermark information, it was found that the watermark information was correctly detected.
[0077]
In the second experiment, watermark-embedded image data is converted into postscript data of 72 dpi (dots per inch, one inch is about 2.540 cm), and the following three types of black and white laser printers are used: The image was printed using
Printer 1: NEC Japanese page printer
Printer 2: Canon LBP-750
Printer 3: OKI MICROLINE 903PSIII + F
Then, using a scanner (EPSON GT-9600), an attempt was made to detect a watermark from image data captured as a 300 dpi, 8-bit grayscale image.
[0078]
8, 9, and 10 are graphs of symbol response values obtained by a watermark detection procedure in which images printed using the printer 1, the printer 2, and the printer 3 are read by a scanner, respectively. As can be seen from FIG. 8 to FIG. 10, each read image has a plurality of peak points having symbol response values of 5 to 9.
[0079]
[Formula 18]

[0080]
On the other hand, since qn (k, l) in Equation (4) defining a single response value uses GoldCode having a value of 1 or -1, the value of Equation (18) above is 0 on average and variance Follow 1 / n probability distribution. Therefore, from the central limit theorem, if N is sufficiently large, the symbol response value can be approximated to a normal distribution N (0, 1) having an average of 0 and a variance of 1. Thereby, the threshold value for determining the significance of the detected peak of the symbol response value can be set according to the accuracy. For example, when the accuracy is 99.999%, the threshold value is approximately 4.26489. From this, the peak points appearing in the graphs of FIGS. 8 to 10 were accurately detected, and the symbol values correspond to the original watermark information, so that the watermark information was correctly detected. I understood.
[0081]
In the third experiment, the watermark information embedded image was irreversibly compressed at a high compression rate, and watermark information was detected based on the compressed image data. In this experiment, a JPEG (Joint Photographic Expert Group) compression method was used. Although the quality parameter at the time of compression by this JPEG compression method has a great influence on the quality of the image, in this experiment, in order to demonstrate the high robustness of the digital watermark according to the present invention, a block on the image after compression is used. Quality parameters were set to such an extent that noise could be seen visually, and compression was performed. In other words, normally used compression is not accompanied by image quality degradation as in this experiment, and if the watermark image can be detected correctly in this experiment, the watermark information can be restored sufficiently well even in the normally used image compression. Means.
[0082]
FIG. 11 is a graph of symbol response values obtained based on this JPEG compressed image. Also in FIG. 11, the peak point of the symbol response value is correctly detected, and it has been found that the digital watermark can be accurately detected even when compression is performed that will severely damage the image.
[0083]
In the fourth experiment, a partial image of the original image is cut out, and detection of a digital watermark is attempted only from the cut out partial image. FIG. 12 is a reference diagram showing clipping of a partial image in the fourth experiment. In FIG. 12, A is an original image and has a size of 512 pixels × 512 pixels. B is a partial image obtained by cutting out the vicinity of the center of the original image A, and the size thereof is 256 pixels × 256 pixels.
[0084]
FIG. 13 is a graph of symbol response values obtained based on the partial image B. As shown in FIG. 13, it was found that the peak point of the symbol response value was detected correctly, and the original watermark information could be detected correctly. In the compositing method of the present invention, the watermark information is embedded on the tile with a block of M pixels × M pixels (M = 256 in this experiment), and thus is larger than the size of this one block. If the partial image is cut out, detection is possible. Further, as already described as the translation invariant characteristic of the Fourier transform, by using the amplitude component of the Fourier transform, an arbitrary position of the image is Fourier transformed using a window function having a size of M pixels × M pixels. Thus, the watermark can be easily detected.
[0085]
Since M = 256 is set in this experiment, watermark information can be detected from a partial image having a size of 256 pixels × 256 pixels at the minimum. In order to be able to detect watermark information from a partial image of a smaller size, it is necessary to set the value of M smaller. However, since the amount of digital watermark information that can be embedded is reduced when M is reduced, the value of M is determined in consideration of both the minimum image size and the amount of embedded information when using this digital watermark. .
[0086]
In a fifth experiment, in order to demonstrate that the watermark according to the present invention is strong against external noise, an attempt was made to detect a digital watermark from a watermark-embedded image subjected to noise addition and median filter processing. FIG. 14 is a graph of symbol response values obtained based on an image with noise added. FIG. 15 is a graph of symbol response values obtained based on the median filtered image. 14 and 15, the peak of the symbol response value can be confirmed, and it has been confirmed that the digital watermark method of the present invention is resistant to noise caused by filtering.
[0087]
(Digital watermark synthesis device and detection device)
Next, an apparatus using the digital watermark composition method and detection method will be described.
FIG. 16 is a block diagram showing a configuration of a digital watermark synthesizing apparatus incorporating the above-described digital watermark synthesis procedure. In FIG. 16, reference numeral 100 denotes original image data, 120 denotes watermark information to be embedded in the

original image data

100, 301 denotes a watermark composition processing unit that synthesizes the watermark-embedded image data 150 based on the original image data 100 and the watermark information 120. It is. A storage unit 305 stores the original image data 100 and the watermark embedded image data 150.
[0088]
The watermark-embedded image data 150 can be directly output as digital data using a recording medium writing unit or a communication unit (both not shown). When outputting the watermark-embedded image as a printed matter, the printer 311 reads the watermark-embedded image data 150 and prints the printed matter 190.
[0089]
FIG. 17 is a block diagram illustrating a detailed configuration of the watermark composition processing unit 301. As shown in FIG. 17, the watermark synthesis processing unit 301 includes a watermark information diffusion unit 502, a band division unit 504, a band selection unit 506, a watermark information embedding unit 508, a noise reduction unit 510, and a data synthesis unit 512. Yes. The watermark information diffusion unit 502 performs the spread spectrum process (220) shown in FIG. The band dividing unit 504 performs a process of dividing the frequency band of the image by the Fourier transform (210) shown in FIG. The band selection unit 506 corresponds to the process of selecting the set of (un, vn) shown in the formulas (9) and (10) so as to be in a predetermined intermediate frequency band. The watermark information embedding unit 508 performs processing (corresponding to reference numeral 225 in FIG. 5) to synthesize the watermark information diffused using Equation (9) and Equation (10) with the amplitude component of the original image. The noise reduction unit 510 performs processing (corresponding to reference

numerals

242, 244, and 246 in FIG. 5) for creating energy map data using wavelet transform. In addition, the data composition unit 512 performs processing corresponding to image composition using Expressions (13) and (14).
[0090]
When the original image is a single color image (for example, a gray scale image), watermark information is embedded in the lightness channel of the original image. When the original image is a color image, watermark information is embedded in the lightness channel or each primary color channel according to the data representation method of the original image.
[0091]
FIG. 18 is a block diagram showing a configuration of a digital watermark detection apparatus incorporating the digital watermark detection procedure described above. In FIG. 18, reference numeral 150 s denotes watermark-embedded image data to be detected, 302 denotes a watermark detection processing unit that detects watermark information based on the watermark-embedded

image data

150 s, and 120 denotes a watermark detection processing unit that is detected and output. Watermark information. A storage unit 305 stores watermark embedded image data 150s.
[0092]
The watermark-embedded image data 150s is externally captured as digital data using a recording medium reading unit or a communication unit (both not shown). Alternatively, the watermark-embedded image data 150s may be created by digitizing the printed material 190 in which the watermark information is embedded using the scanner 312.
[0093]
FIG. 19 is a block diagram illustrating a detailed configuration of the watermark detection processing unit 302. As shown in FIG. 19, the watermark detection processing unit 302 includes a band dividing unit 532, a band selecting unit 534, and a watermark information extracting unit 536. The band dividing unit 532 performs processing for dividing the frequency band of the image by the Fourier transform (270) shown in FIG. The band selection unit 534 corresponds to the process of selecting the set of (un, vn) shown in Equation (15) so that it is in a predetermined intermediate frequency band. The watermark information extraction unit 536 extracts the amplitude component including the watermark information using the set of (un, vn), calculates a symbol response value using Equation (4), and based on this symbol response value Processing for extracting watermark information (corresponding to reference

numerals

280 and 290 in FIG. 6) is performed.
[0094]
As apparent from FIGS. 18 and 19, this digital watermark detection apparatus is characterized in that it does not require original original image data. Such a feature leads to a reduction in the cost of the digital watermark detection apparatus itself and the usage cost of the apparatus, and enables a wide range of image data to be subjected to watermark detection.
[0095]
Next, an application method of such digital watermark will be described.
The first application purpose is detection of unauthorized copying. By embedding information unique to the right holder of the image (for example, the name or name of the copyright owner) as watermark information, even if the image is illegally copied, by detecting the digital watermark, It is possible to mechanically detect illegal copies. According to the present invention, not only the original digital data, but also when various filtering processes are applied or when a part of the data is altered, or since a watermark can be detected from a printed material, the range of use is higher than that of a conventional digital watermark. Can be greatly expanded.
[0096]
The second application purpose is to prevent forgery. For example, if the watermark information according to the present invention is embedded in a genuine printed matter in advance, a counterfeit printed matter in which the watermark information is not embedded can be easily found by using the watermark detection device according to the present invention. Since the watermark information embedded in the printed matter is not detected by human vision, it is possible to provide a more powerful forgery prevention means by keeping the presence of the watermark itself secret.
[0097]
The third application purpose is information transmission. For example, when distributing an image, by embedding a watermark by the method of the present invention, information unrelated to the meaning of the image itself can be transmitted using the image as a medium. The same watermark information may be embedded in all copies to be distributed, or different information may be embedded for each copy to be distributed. The image to be distributed may be digital data or printed matter. Since the embedded information is not detected or recognized by human vision, the presence or content of the embedded information can be concealed until the watermark information is restored by the watermark detection device. The printed matter in which such watermark information is embedded can be used for, for example, games, advertisements, sweepstakes, sales promotion campaigns, traps, authentication, security management, and the like.
[0098]
The above-described digital watermark synthesizing apparatus and digital watermark detection apparatus are realized using a computer system. The processes of the above-described watermark synthesis and watermark detection processes are stored in a computer-readable recording medium in the form of a program, and the above-described process is performed by the computer reading and executing the program. Here, the computer-readable recording medium means a floppy disk, a magneto-optical disk, a CD-ROM, a DVD-ROM, a magnetic hard disk, a semiconductor memory, or the like.
[0099]
As described above, in this embodiment, a digital watermark that can be used for a printed image is realized by using spread spectrum and wavelet transform. In addition, by using the amplitude component of Fourier transform, it is possible to take advantage of the translation invariant property, thereby covering the resolution error that occurs when a printed image is captured by a scanner, and effective for crop editing. We realized a digital watermark that can be detected easily. In addition, the robustness of the digital watermark by JPEG high compression and filtering was investigated through demonstration experiments, and the effectiveness of this method was verified. Further, when detecting a digital watermark, it is not necessary to use an original image as in the conventional method, and a digital watermark system can be constructed more easily by this method.
[0100]
In the above embodiment, the target for embedding the watermark information is still image data. However, the watermark information may be embedded in other data. For example, watermark information may be embedded only in a predetermined intermediate frequency band such as moving image data or audio data. The data in which such a watermark is embedded has high robustness, and the watermark information is preserved even if the data is subjected to D / A conversion and A / D (analog / digital) conversion, for example. The watermark can be detected by the same method as described above.
[0101]
【The invention's effect】
As described above, according to the present invention, it is possible to realize a digital watermark that is highly robust and strong against D / A conversion such as contrast conversion and printing. Therefore, the digital watermark technology can be applied not only to conventional digital data but also to a wider range of printed matter, etc., and can be used to prevent unauthorized copying, counterfeiting, and information transmission.
[0102]
In particular, according to the first and sixth aspects of the invention, since watermark information is embedded only in a predetermined intermediate frequency band in digital data, the data is subjected to conversion having a certain bandpass characteristic. However, it is possible to synthesize a digital watermark that is stored as information and can be detected.
[0103]
According to the second and seventh aspects of the invention, since watermark information is embedded only in a predetermined intermediate frequency band in the original image data, it is stored as information even if contrast conversion or printing is performed. It is possible to synthesize a watermark that can be detected.
[0104]
Further, according to the third and eighth aspects of the invention, since the watermark information is spectrum-spread, it is possible to embed the watermark information in the image as weak pseudo noise, which is confidential. Moreover, high robustness can be obtained. Further, since watermark information is synthesized with an amplitude component obtained as a result of Fourier transform of original image data, it is possible to embed a watermark using parallel movement invariant characteristics. In addition, since the watermark information is embedded according to the characteristics of the original image data using wavelet transform, it is possible to relatively reduce the pseudo-noise, which is the watermark information, on the image, and is therefore perceived by humans. It is difficult to obtain an image embedded with a digital watermark having high robustness.
[0105]
Further, according to the inventions of claim 4 and claim 9, the input image data is divided into a plurality of block images, and watermark information is embedded using each block image as original image data. The redundancy of the finished image data is increased. As a result, the watermark information can be detected only from the partial image of the generated image data.
[0106]
According to the fifth and tenth aspects of the present invention, printing is performed based on the watermark-embedded image data, so that an image in which watermark information is embedded can be created as a printed matter.
[0107]
According to the invention of claim 11 and claim 16, in order to detect watermark information from components in a predetermined intermediate frequency band in the detection target data, the watermark information synthesized by the watermark synthesis method or apparatus is used. Can be detected and restored. At this time, the original watermark information can be restored even if the watermark embedded data is subjected to processing having a predetermined bandpass characteristic.
[0108]
According to the invention of claim 12 and claim 17, in order to detect the watermark information from the component of the predetermined intermediate frequency band in the detection target image data, the image is printed (D / A conversion) or printed. The watermark information can be detected from the image even when processing having a predetermined bandpass characteristic such as scanning (A / D conversion) of the obtained image is performed.
[0109]
According to the invention of claim 13 and claim 18, a technique is used in which a symbol response value is obtained using a predetermined information symbol value detection sequence based on amplitude information obtained by Fourier transform of detection target image data. Therefore, watermark information can be detected from a partial image of the original image as long as it is an image larger than the size of a predetermined block image. Further, since original image data is not required for detection of watermark information, it is not necessary to manage the original image data, which simplifies the configuration of the apparatus and reduces the trouble of using the apparatus.
[0110]
Further, according to the inventions of claims 14 and 19, watermark information is obtained by a method in which l when the symbol response value Zl (0≤l≤L-1) takes a maximum value is used as a symbol value of the original watermark information. Therefore, the watermark information detection procedure can be simplified.
[0111]
According to the inventions of

claims

15 and 20, since the detection target data can be obtained based on the printed image, it becomes possible to detect the watermark information from the printed matter.
[0112]
Further, according to the inventions of claims 21 to 23, it becomes possible to produce a printed matter including detectable watermark information, and such a printed matter is used for preventing unauthorized copying, forgery prevention, and information transmission. can do.
[0113]
According to the twenty-fourth to twenty-sixth aspects of the present invention, it is possible to cause a computer to execute the above-described digital watermark synthesis and digital watermark detection procedures.
[Brief description of the drawings]
FIG. 1 is a reference diagram showing an outline of a method for generating watermark information spread based on watermark information and a spreading sequence according to an embodiment of the present invention;
FIG. 2 is a graph showing watermark information spread according to the embodiment;
FIG. 3 is a graph showing a symbol response value calculated based on spread watermark information according to the embodiment.
FIG. 4 is a reference diagram showing the relationship between the parallel movement of a watermark pattern image and the result of Fourier transform of the image (a). Moreover, it is a graph which shows the phase component difference before and behind translation (b).
FIG. 5 is a flowchart showing a digital watermark composition procedure according to the embodiment;
FIG. 6 is a flowchart showing a digital watermark detection procedure according to the embodiment;
FIG. 7 is a graph showing a symbol response value obtained based on a dithered image by the first demonstration experiment of the present invention.
FIG. 8 is a graph showing a symbol response value obtained based on an image printed by a printer in a second demonstration experiment of the present invention.
FIG. 9 is a graph showing a symbol response value obtained based on an image printed by a printer in a second demonstration experiment of the present invention.
FIG. 10 is a graph showing a symbol response value obtained based on an image printed by a printer in a second demonstration experiment of the present invention.
FIG. 11 is a graph showing a symbol response value obtained based on a compressed image by a third demonstration experiment of the present invention.
FIG. 12 is a reference diagram showing clipping of a partial image according to a fourth verification experiment of the present invention.
FIG. 13 is a graph showing a symbol response value obtained based on a partial image cut out by a fourth demonstration experiment of the present invention.
FIG. 14 is a graph showing a symbol response value obtained based on an image to which noise has been added in a fifth demonstration experiment of the present invention.
FIG. 15 is a graph showing a symbol response value obtained based on an image subjected to median filter processing by a fifth demonstration experiment of the present invention.
FIG. 16 is a block diagram showing a configuration of a digital watermark synthesizing apparatus according to an embodiment of the present invention.
FIG. 17 is a block diagram showing a detailed configuration of a watermark synthesis processing unit in the digital watermark synthesis apparatus according to the embodiment;
FIG. 18 is a block diagram showing a configuration of a digital watermark detection apparatus according to an embodiment of the present invention.
FIG. 19 is a block diagram showing a detailed configuration of a watermark detection processing unit in the digital watermark detection apparatus according to the embodiment;
[Explanation of symbols]
100 Original image data
111 Amplitude information
112 Phase information
120 Watermark information
121 Spread watermark information
150,150s watermark embedded image data
160 Amplitude information
170 Symbol value detection series
190 Printed matter
210 Fourier transform
220 spread spectrum
230 Inverse Fourier Transform
242 Wavelet transform
244 Calculation of high frequency energy
246 Create weight mask
270 Fourier transform
280 Symbol response value calculation
290 Symbol value detection
301 Watermark synthesis processing unit
302 Watermark detection processing unit
305 storage unit
311 Printer
312 scanner
502 Watermark information diffusion unit
504 Band division unit
506 Band selection unit
508 Watermark information embedding unit
510 Noise reduction part
512 Data composition unit
532 Band division unit
534 Band selection part
536 Watermark Information Extraction Unit

Claims

A spread spectrum process for generating spread watermark information by spreading the watermark information;
Fourier transform process for extracting amplitude information and phase information by Fourier transforming original image data,
A first combining step of combining the spread watermark information and the amplitude information;
A difference image generation process for performing an inverse Fourier transform based on the output of the first synthesis process and the phase information, and generating difference image data that is a difference between the result of the inverse Fourier transform and the original image data;
An energy map data calculation process for calculating energy map data of the image by wavelet transforming the original image data;
A second compositing step of compositing watermark embedded image data based on the original image data, the difference image data, and the energy map data;
A digital watermark synthesizing method comprising:

2. The digital watermark composition method according to claim 1 , wherein the input image data is divided into a plurality of block images, and each of the block images is used as the original image data.

3. The digital watermark synthesizing method according to claim 1, further comprising: a printing process in which printing is performed based on the watermark-embedded image data to create a printed matter.

A spread spectrum unit that generates spread watermark information by spreading the watermark information.
A Fourier transform unit for extracting amplitude information and phase information by Fourier transforming the original image data;
A first combining unit that combines the spread watermark information and the amplitude information;
A difference image generation unit that performs an inverse Fourier transform based on the output of the first synthesis unit and the phase information, and generates difference image data that is a difference between the result of the inverse Fourier transform and the original image data;
An energy map data calculation unit for calculating energy map data of the image by wavelet transforming the original image data;
A second synthesizing unit that synthesizes watermark-embedded image data based on the original image data, the difference image data, and the energy map data;
An electronic watermark synthesizing apparatus comprising:

5. The digital watermark composition apparatus according to claim 4 , wherein the input image data is divided into a plurality of block images, and each of the block images is used as the original image data.

6. The digital watermark synthesizing apparatus according to claim 4, further comprising a printing unit that performs printing based on the watermark-embedded image data and creates a printed matter.

A Fourier transform process for Fourier transforming the watermark embedded image data synthesized by the digital watermark synthesizing method of claim 1 to extract amplitude information of a predetermined intermediate frequency band;
Based on the amplitude information, a symbol response value is obtained using a predetermined information symbol value detection sequence, and a detection process for detecting watermark information based on the symbol response value;
A watermark information detecting method comprising:

8. The watermark information according to claim 7 , wherein in the detection process, l when the symbol response value Zl (0 ≦ l ≦ L−1) takes a maximum value is used as a symbol value of the original watermark information. Detection method.

9. The watermark information detecting method according to claim 7, further comprising an image digitizing process in which an image printed on a print medium is read and digitized to obtain the detection target data.

A Fourier transform unit that Fourier-transforms the watermark-embedded image data synthesized by the digital watermark synthesizer according to claim 4 and extracts amplitude information of a predetermined intermediate frequency band;
Based on the amplitude information, a symbol response value is obtained using a predetermined information symbol value detection sequence, and a detection unit that detects watermark information based on the symbol response value;
A watermark information detecting apparatus comprising:

11. The watermark information according to claim 10 , wherein the detection unit uses l when the symbol response value Zl (0 ≦ l ≦ L−1) takes a maximum value as a symbol value of the original watermark information. Detection device.

The watermark information detection apparatus according to claim 10 or 11 , further comprising an image digitizing unit that reads the image printed on the print medium and digitizes the image to be the detection target data.

A spread spectrum process for generating spread watermark information by spreading the watermark information;
Fourier transform process for extracting amplitude information and phase information by Fourier transforming original image data,
A first combining step of combining the spread watermark information and the amplitude information;
A difference image generation process for performing an inverse Fourier transform based on the output of the first synthesis process and the phase information, and generating difference image data that is a difference between the result of the inverse Fourier transform and the original image data;
An energy map data calculation process for calculating energy map data of the image by wavelet transforming the original image data;
A second compositing step of compositing watermark embedded image data based on the original image data, the difference image data, and the energy map data;
A printing process for performing printing based on the watermark-embedded image data;
A printed matter manufacturing method comprising:

A spread spectrum process for generating spread watermark information by spreading the watermark information;
  Fourier transform process for extracting amplitude information and phase information by Fourier transforming original image data,
  A first combining step of combining the spread watermark information and the amplitude information;
  A difference image generation step of performing an inverse Fourier transform based on the output of the first synthesis step and the phase information, and generating difference image data that is a difference between the result of the inverse Fourier transform and the original image data;
  An energy map data calculation process for calculating energy map data of the image by wavelet transforming the original image data;
  A second synthesizing process for synthesizing watermark-embedded image data based on the original image data, the difference image data, and the energy map data;
  A printing process for performing printing based on the watermark-embedded image data;
  Printed matter produced from

A spread spectrum process for generating spread watermark information by spreading the watermark information;
Fourier transform process for extracting amplitude information and phase information by Fourier transforming original image data,
A first combining step of combining the spread watermark information and the amplitude information;
A difference image generation process for performing an inverse Fourier transform based on the output of the first synthesis process and the phase information, and generating difference image data that is a difference between the result of the inverse Fourier transform and the original image data;
An energy map data calculation process for calculating energy map data of the image by wavelet transforming the original image data;
A second compositing step of compositing watermark embedded image data based on the original image data, the difference image data, and the energy map data;
The computer-readable recording medium which recorded the program which makes a computer perform the process of.

A Fourier transform process for Fourier transforming the watermark embedded image data synthesized by the digital watermark synthesizing method of claim 1 to extract amplitude information of a predetermined intermediate frequency band;
Based on the amplitude information, a symbol response value is obtained using a predetermined information symbol value detection sequence, and a detection process for detecting watermark information based on the symbol response value;
The computer-readable recording medium which recorded the program which makes a computer perform the process of.

In the detection process, a program is recorded that causes a computer to execute a process of setting l when the symbol response value Zl (0 ≦ l ≦ L−1) takes a maximum value as a symbol value of the original watermark information. The computer-readable recording medium according to claim 16 .