WO2001003068A1 - Procede et dispositif d'affichage ou de recherche d'objets dans une image, et support de stockage lisible par ordinateur - Google Patents

Description

明 細 書 画像中のオブジェクトを表示するまたは検索する方法、 その装置、 コンビユー夕 -プログラム、 コンビユー夕 ·システム、 及びコンビュ一夕可読記憶媒体 技術分野

本発明は、 検索を目的とする、 マルチメディア 'データベースに保存された画 像のような静止画像またはビデオ画像中に現れるオブジェク卜の表示に関し、 特 に、 そのような表示を用いてオブジェクトを検索する方法及び装置に関する。 冃景技術

ビデオ ·ライブラリの画像のようなアプリケーションでは、 ビデオ画像あるい は静止画像中に現れるオブジェク卜の輪郭や形状またはオブジェク卜の一部の効 率的な表示および保存を行うことが望ましい。 形状ベースの索引付けと検索を行 うための公知の手法では曲率スケール空間（C S S)表示が用いられる。 C S Sの 詳細については、 論文 「曲率スケール空間によるロバストで効率的な形状索引付 け」 （英国マシーン · ビジョン会報 pp. 5 3〜 6 2、 ェジンバラ、 英国、 1 9 9 6年)ならびに 「曲率スケール空間を用いる形状内容による画像デ一夕ベースの 索引付け」 （ィンテリジェント ·データベースに関する I E E専門家会議会報、 ロンドン、 1 9 9 6年)の中で入手することができる。 両論文とも Mokhtarian 、 S.Abbasiならびに J.Kittlerによるものであり、 その内容は本明細書中に参考 文献として取り入れられている。

C S S表示では、 オブジェクトの輪郭を求めるために曲率関数が使用され、 輪 郭上の任意の点から表示が開始される。 形状を平滑化する一連の変形を行うこと により輪郭の形状を展開しながら、 曲率関数が検討される。 さらに具体的には、 ガウスフィル夕の族と共に畳み込まれた曲率関数の導関数のゼロ · クロスが計算 される。 曲率スケール空間として周知のように、 ゼロ ·クロスはグラフ上にプロ ットされる。 但し、 X軸は曲線の正規化された弧長であり、 y軸は展開パラメ一 夕、 特に、 適用フィル夕のパラメ一夕である。 グラフ上のプロットは輪郭の特徴 を示すループを形成する。 オブジェク 卜の輪郭の各凸状または凹状を成す部分は c s s画像におけるループに対応する。 c S S画像において最も突起したループ のピークの縦座標は輪郭の表示として利用される。

入カオブジェク 卜の形状に一致する、 デ一夕ベース中の保存画像のオブジェク トを検索するために、 入力形状の c S S表示が計算される。 マッチング 'ァルゴ リズムを用いて、 それそれの C S S画像のピークの位置および高さを比較するこ とにより、 入力形状と保存形状との間の類似度が判定される。

公知の C S S表示に関する問題点として、 所定の輪郭のビークが輪郭上の任意 の点から開始され計算される曲率関数に基づくということが挙げられる。 この開 始点が変更されると C S S画像のピークの X軸に沿って周期的シフ卜が生じる。 したがって、 類似度測定値を計算するとき、 すべての可能なシフトあるいは少な くとも最も生じ得るシフトについて検討する必要がある。 この結果、 検索手順お よびマッチング手順の複雑さが増すということになる。

したがって本発明は、 画像に対応する信号を処理することにより静止画像また はビデオ画像中に現れるオブジェクトを表す方法を提供するものであり、 該方法 は、 輪郭上の任意の点から始まり、 オブジェクトの輪郭上に現れている特徴と関 連する複数の数値を導き出すステップと、 前記値に対して所定のソーティングを 適用して輪郭の表示を得るステップとを有する。 好適には、 前記輪郭の C S S表 示から前記値を導き出すことが望ましく、 また、 前記値が C S Sビーク値に対応 することが望ましい。

本発明の結果として、 検索精度の著しい低下を伴うことなくマツチング手順に 関わる計算を大幅に低減することが可能となる。 発明の開示

この発明に係る請求項 1に記載の画像中のオブジェクトを表示する方法は、 静 止画像またはビデオ画像に対応する信号を処理することにより、 画像中に現れる オブジェクトを表す方法であって、 オブジェク 卜の輪郭上の任意の点から始めて 、 輪郭上に現れる特徴と関連する複数の数値を導き出すステップと、 値に対して 所定のソーティングを適用して輪郭の表示を得るステップとを有する。 この発明に係る請求項 2に記載の画像中のオブジェクトを表示する方法は、 結 果として得られた表示が輪郭上の開始点に依存しないように所定のソーティング がなされる。

この発明に係る請求項 3に記載の画像中のオブジェクトを表示する方法は、 数 値が曲線上の屈曲点を反映する。

この発明に係る請求項 4に記載の画像中のオブジェクトを表示する方法は、 平 滑化パラメ一夕シグマを用いて複数の段階で輪郭を平滑化し、 その結果複数の輪 郭曲線を生じることにより、 また、 各輪郭曲線の曲率の最大値と最小値を表す値 を用いて元の輪郭の特徴を示す曲線を導き出すことにより、 さらに、 数値として 特徴を示す曲線のピークの縦座標を選択することにより、 輪郭の曲率スケール空 間の表示を得る。

この発明に係る請求項 5に記載の画像中のオブジェクトを表示する方法は、 特 徴を示す曲線の縦座標が輪郭の弧長パラメータと平滑化パラメータとに対応する この発明に係る請求項 6に記載の画像中のオブジェク 卜を表示する方法は、 平 滑化パラメ一夕に対応するピークの高さの値に基づいてビークの縦座標値がソ一 卜される。

この発明に係る請求項 7に記載の画像中のオブジェクトを表示する方法は、 値 が最大値からソートされる。

この発明に係る請求項 8に記載の画像中のオブジェクトを表示する方法は、 値 が大きさの降順にソートされる。

この発明に係る請求項 9に記載の画像中のオブジェクトを表示する方法は、 値 が最小値からソートされる。

この発明に係る請求項 1 0に記載の画像中のオブジェクトを表示する方法は、 静止画像またはビデオ画像に対応する信号を処理することにより、 画像中に現れ るオブジェクトを表す方法であって、 オブジェクトの輪郭を表すために、 輪郭上 に現れる特徴と関連する複数の数値を導き出すステップと、 値のうちの少なくと も 2つ値の間の関係を用いて表示の信頼性を示す係数を導き出すステツプとを有 する。 この発明に係る請求項 1 1に記載の画像中のオブジェクトを表示する方法は、 係数が値のうちの 2つの値の間の比に基づく。

この発明に係る請求項 1 2に記載の画像中のオブジェクトを表示する方法は、 比が 2つの最大値の比である。

この発明に係る請求項 1 3に記載の画像中のオブジェク卜を表示する方法は、 平滑化パラメ一夕シグマを用いて複数の段階で輪郭を平滑化し、 その結果複数の 輪郭曲線を生じることにより、 また、 元の輪郭の特徴を示す曲線を導き出すため の各輪郭曲線の曲率の最大値と最小値を表す値を用いることにより、 さらに、 数 値として特徴を示す曲線のピークの縦座標を選択することにより、 輪郭の曲率ス ケール空間表示が得られる。

この発明に係る請求項 1 4に記載の画像中のオブジェクトを表示する方法は、 請求項 1乃至 9のいずれか 1つに記載の方法を用いて値を導き出す。

この発明に係る請求項 1 5に記載の画像中のオブジェクトを検索する方法は、 静止画像またはビデオ画像に対応する信号を処理することにより、 画像中のォブ ジェクトを検索する方法であって、 2次元の輪郭の形でクエリ一を入力するステ ップと、 請求項 1乃至 9のいずれか 1つに記載の方法を用いて輪郭の記述子を導 き出すステップと、 請求項 1乃至 9のいずれか 1つに記載の方法を用いて導き出 された、 保存された画像中のオブジェクトの記述子を取得し、 保存されたォブジ ェク卜の各記述子とクエリー記述子を比較するステップと、 比較によってクエリ —とオブジェクトの間の類似度の程度が示される対象オブジェクトを含む画像に 対応する少なくとも 1つの結果を選択し表示するステップとを有する。

この発明に係る請求項 1 6に記載の画像中のオブジェクトを検索する方法は、 請求項 1 0乃至 1 2のいずれか 1つに記載の方法を用いて、 クエリーの輪郭につ いて、 および、 各保存された輪郭について係数が導き出され、 所定のソ一ティン グのみを用いて、 または、 所定のソーティングと係数に依存する何らかの他のソ —ティングを用いて比較を行う。

この発明に係る請求項 1 7に記載の画像中のオブジェクトを表示する方法は、 静止画像またはビデオ画像に対応する信号を処理することにより、 画像中に現れ る複数のオブジェク卜を表す方法であって、 各ォブジェク 卜の輪郭上に現れる特 徴と関連する複数の数値を導き出すステップと、 各輪郭を表す値に同じ所定のソ —ティングを適用して各輪郭の表示を得るステップとを有する。

この発明に係る請求項 1 8に記載の画像中のオブジェクトを表示するまたは検 索する装置は、 請求項 1乃至 1 7のいずれか 1つに記載の方法を実行するように 適合される。

この発明に係る請求項 1 9に記載の画像中のオブジェクトを表示するまたは検 索するコンビュ一夕 ·プログラムは、 請求項 1乃至 1 7のいずれか 1つに記載の 方法を実行するように適合される。

この発明に係る請求項 2 0に記載の画像中のオブジェクトを表示するまたは検 索するコンピュータ .システムは、 請求項 1乃至 1 7のいずれか 1つに記載の方 法に従って作動するようにプログラムされている。

この発明に係る請求項 2 1に記載のコンビユー夕可読記憶媒体は、 請求項 1乃 至 1 7のいずれか 1つに記載の方法を実現するためのコンビユー夕で実行可能な 処理を保存する。

この発明に係る請求項 2 2に記載の画像中のオブジェクトを表示する方法は、 添付図面を参照して本明細書で説明したものと実質的に同じように、 静止画像ま たはビデオ画像中のオブジェクトを表す。

この発明に係る請求項 2 3に記載の画像中のォブジェクトを検索する方法は、 添付図面を参照して本明細書で説明したものと実質的に同じように、 静止画像ま たはビデオ画像中のオブジェクトを検索する。

この発明に係る請求項 2 4に記載の画像中のォブジヱクトを表示するまたは検 索するコンビユー夕 .システムは、 添付図面を参照して本明細書で説明したもの と実質的に同じである。 図面の簡単な説明

図 1は、 ビデオ ·データベース ·システムのプロック図、

図 2は、 オブジェクトの輪郭の図、

図 3は、 図 2の輪郭を示す C S S表示の図、

図 4は、 検索方法を例示するブロック図である。 発明を実施するための最良の形態

添付図面を参照しながら本発明の実施例について説明する。

実施例 1 .

図 1は、 本発明の実施例によるコンビュ一夕処理が行われるビデオ ·データべ ース 'システムを図示する。 このシステムには、 コンビユー夕の形の制御装置 2 、 モニタ一の形の表示装置 4、 マウスの形のポインティング 'デバイス 6、 保存 された静止画像とビデオ画像とを含む画像データベース 8および画像デ一夕べ一 ス 8に保存された画像中に現れるオブジェク卜またはオブジェク卜のいくつかの 部分の記述子を保存する記述子データベース 1 0が含まれる。

画像データベースの画像中に現れる興味のある各ォブジェクトの形状を表す記 述子は、 制御装置 2によって導き出され、 記述子データベース 1 0に保存される 。 制御装置 2は、 以下に説明するような方法を実行する適切なプログラムの制御 によって動作して記述子を導き出す。

第一に、 所定のオブジェクトの輪郭について、 この輪郭の C S S表示が導き出 される。 上述の論文の 1つに記載されているような周知の方法を用いてこの C S S表示が行われる。

さらに具体的には、 この輪郭は写像表現 Ψ = {(χ(υ)，γ(χι),υ ε [0,1]}によって表さ れる（ただし、 uは正規化された弧長パラメ一夕である)。

この輪郭は、 I Dガウスカーネル g di ' /O )を用いて畳み込みを行う（convolve) ことにより平滑化され、 の変化として展開 (evolving)曲線の曲率ゼロ · クロス が調べられる。 ゼロクロスは曲率を表す下記の式を用いて特定される。 ι_ι .

但し、

X(_U) σ) = x(u) * g(u, σ) Y(u, σ) =y( ) * g(u, σ) かつ、 X_u ("， σ) = x(u) * g_u (u,び） X_uu (u, σ) = x( ) * g_m ( , σ) 上記で、 *は畳み込みを表し、 添え字は導関数を表す。

曲率ゼロ 'クロスの数は ρの変化につれて変化し、 ρが十分に高いとき はゼ 口 ·クロスの凸状の曲線となる。

ゼロクロス ·ポイント（u, ρ)は C S S画像空間として知られるグラフ上にプ ロットされる。 この結果元の輪郭の特徴を示す曲線が生じる。 この特徴を示す曲 線のビークが特定され、 対応する縦座標が抽出され保存される。 一般に上記の結 果、 η個の座標の対 ((x l , y 1 )、 （x 2 , y 2 )、 ...(xn, yn)の組 (ただし、 nはビーク の数、 X iは i番目のビークの弧長の位置、 yi はビークの高さである）が与えら れる

この特徴を示す曲線のソートおよび位置ならびに対応するビークは、 C S S画 像空間に現れるとき、 上述の曲率関数の開始点に依存する。 本発明ではビークの 縦座標は専用のソート関数を用いて再ソートされる。

ソーティングは、 新しい集合のインデックス {ΐ.,.ημこ対するビーク ·インデヅ クス {l...n}の 1対 1写像 Τによって行われる。

本実施例では、 縦座標の対は y縦座標のサイズを考慮することによりソートさ れる。 第 1に最大ビークが選択される。 k番目のビークが最も突起していると仮 定する。 その場合、 値のソートされた集合の中で (xk， yk)が第 1番目の座標にな る。 言い換えれば T (k)= 1である。 同様に、 その他のビークの縦座標はビーク の高さの降順に再ソートされる。 2つのピークが同じ高さを持っている場合、 上 記縦座標の対の X座標に最も近い X座標を持っているピークが第 1に配置される 。 言い換えれば、 元のインデックス iを持っている各縦座標の対が新しいインデ ックス jに割り当てられる。 但し、 T(i)=jかつ yj> = y(j+ l)である。 また、 各値 X iは一 x kの周期的シフ卜に従う。

特定の例として、 図 2に図示の輪郭から図 3に図示のような C S S画像の結果 が得られる。 C S S画像の曲線のビークの縦座標の詳細を以下の表 1に示す。 X Y

ビークインデックス

1 0.124 123

2 0.68 548

3 0.22 2120

4 0.773 1001

5 0.901 678

表 1 これらのビークは上述のソーティングを用いてソートされる。 すなわち、 縦座 標はビークの高さの降順にソートされる。 また、 X縦座標はすべて最大ピークの 元の X縦座標に等しい量だけゼロの方へシフ卜される。 この結果以下の表 2に示 されるような再ソートされたピーク座標が生じる。

表 2

これらの再ソートされたピークの縦座標によって、 データベース 1 0に保存さ れる、 オブジェクトの輪郭についての記述子のベースが形成される。 本実施例で は、 表 2に示すソ一卜順にビークの縱座標が保存される。 或いは新しいソ一卜順 を示す関連するインデックスと共に縦座標を保存してもよい。 実施例 2 .

第 2の実施例に従うオブジェク卜の輪郭を表す代替方法について説明する。 輪郭を示す C S S表示は上述のように導き出される。 しかし、 ピークの縦座標 のソートは上述の実施例 1のソートとは異なる。 さらに具体的には、 第 1に最大 ビークが選択される。 ピーク kを最も突起したビークと仮定する。 その場合、 (xk， yk)がビークのソートされた集合の中で第 1のピークになる。 次に続くビー クは、 元のインデックス iのピークの縦座標について、 T(i)=jかつ xjく =x(j + l) となるようにソートされる。 また、 元のピーク kの元の X縦座標に等しい量 x k だけ下方へすべての値 X iがシフ卜される。

換言すれば、 実施例 2に従うソート方法では、 最大ビークが選択され、 第 1に 配置され、 次いで、 残りのビークが最大ビークから始まる元のシーケンスで続く 以下の表 3は第 2の実施例に従ってソートされた表 1のビーク値を示す表であ る,

表 3

上述の実施例 1と 2の展開では信頼係数 (C F)が形状の各表示と関連付けられ る。 C Fは、 所定の形状の第 2の最大ビーク値と最大ビーク値との比から計算さ れ .

図 2に図示の輪郭については、 C F値は C F = 1 0 0 1 / 2 1 2 0である。 こ の例では、 C Fは最も近い 0. 1に丸めることにより量子化されて記憶要件が少 なくなる。 したがって、 本例では C F = 0. 5である。

本例の C F値は表示の精確さすなわち一意性の反映である。 本例では、 1に近 い C F値は低い信頼性を意味し、 ゼロに近い C F値は高い信頼性を意味する。 言 い換えれば 2つの最大ピーク値が近ければ近いほど表示は正確なものとなる可能 性が少なくなる。 以下の説明に示されるようなマツチング手順を行うとき、 C F値は有益なもの となり得る。 実施例 3 .

本発明の一実施例に準拠する、 画像中のオブジェクトを検索する方法について 、 検索方法を示すプロック図である図 4を参照しながら説明する。

本例では、 図 1のシステムの記述子データベース 1 0中には、 関連づけられた C F値とともに、 上述した第 1のソート方法に従って導き出された記述子が保存 されている。

ユーザーは、 ポインティング 'デバイスを用いて、 ディスプレイ上にオブジェ クトの輪郭を描くことにより検索を開始する（ステップ 4 1 0 )。 次いで、 制御装 置 2が入力輪郭の C S S表示を導き出し、 データベース中の画像に対して使用す る関数と同じソート関数に従ってビークの縦座標のソートが行われ、 入力輪郭を 表す記述子が得られる（ステップ 4 2 0 )。 次いで、 制御装置 2は、 最大ピーク値 に対する第 2の最大ピーク値の比率を計算することにより入力輪郭の C F値も計 算し、 その結果の量子化を行う（ステップ 4 3 0 )。

次いで、 制御装置 2は入力輪郭の C F値を所定の閾値と比較する（ステツプ 4 4 0 )。 本例ではその閾値は 0 . 7 5である。 入力記述子の精度に対して相対的に 高い信頼性を示して、 C F値がこの閾値より低い場合には、 次のステップは考慮 中のモデル (すなわちデ一夕ベースに保存された画像)の C F値について考慮する ステップである。 モデルの C Fがやはり閾値より低い場合 (ステップ 4 5 0 )、 所 定のソ一卜順のそれそれの記述子のみを用いて入力記述子とモデルとの比較が行 われる（ステップ 4 6 0 )。 入力記述子またはモデルのいずれかの C Fが閾値より 大きい場合、 入力記述子中の縦座標値のすべての可能な異なるソート順をデ一夕 ベース中のモデル記述子と比較することによりマッチングが行われる（ステップ 4 7 0 )o

データベース中に各記述子の類似度測定値が結果として得られる適切なァルゴ リズムを用いてマツチング比較が行われる。 上述の論文で説明したような公知の マッチング ·アルゴリズムを用いてもよい。 このマッチング手順について簡単に 説明する。

2つの閉鎖した輪郭の形状、 画像曲線 i とモデル曲線 Ψπιおよびそれらの曲 線のビークのそれそれの設定値 {(xil， yil),(xi2, yi2),..,(xin, yin)}と {(xml， yml), (xm2， ym2),..,(xmn, yirm)}が与えられれば、 類似度測定値は計算される。 類似度 測定値は、 画像中のビークとモデル中のビークのマッチングの総コストとして定 義される。 総コストを最少化するマッチングはダイナミック 'プログラミングを 用いて計算される。 アルゴリズムによって、 モデルから得たビークが画像から得 たピークに再帰的にマッチされ、 このようなマッチの各々のコスト計算が行われ る。 各モデルのビークを唯一の画像ビークとマッチさせることができ、 各画像ピ —クを唯一のモデル · ビークとマッチさせることができる。 モデルおよび/また は画像ピークのなかにはマッチしないままのものがある場合もあり、 各マッチし ないビークについては追加のペナルティ 'コストが存在する。 2つのビークの水 平距離が 0 . 2未満の場合、 2つのビークをマッチすることができる。 マッチの コストは 2つのマッチしたビーク間の直線の長さである。 マッチしなかったビ一 クのコストはその高さである。

更に詳述すれば、 アルゴリズムは、 ノードがマッチしたピークに対応するヅリ —状の構造を作成し拡張することにより機能する。

1 .画像 (xik， yik)の最大値とモデル (xir， yir)の最大値とから成る開始ノードを 作成する。

2 . 画像ビークの最大値の 8 0 %以内の各残りのモデル · ビークについて追加 の開始ノードを作成する。

3 . 1および 2で作成した各開始ノードのコストを、 この開始ノードとリンク した画像ビークおよびモデル · ピークの y座標の差の絶対値に初期化する。

4 . 3の各開始ノードについて、 この開始ノードでマッチしたモデル ' ビーク と画像ビークの x (水平)座標の差として定義する C S Sシフト ·パラメ一夕アル ファを計算する。 シフト 'パラメ一夕は各ノードについて異なるものとなる。

5 . 各開始ノードについて、 モデル ' ビークのリストおよび画像ピークのリス トを作成する。 このリス卜にはどのピークがまだマッチしていないかに関する情 報が含まれる。 各開始ノードについて、 "マッチしたもの" としてこのノードで マッチしたピークにマークをつけ、 他のすべてのピークには "マッチしなかった もの" としてマークをつける。

6 . ポイント 8の条件が満たされるまで、 最低コストのノードを再帰的に拡大 する（ステップ 1〜 6でを作成した各ノードから始めて、 各ノードの子ノードが 後に続く）。 ノードを拡大するために以下の手順を用いる。

7 . ノードの拡大：

マッチしないままになっている少なくとも 1つの画像と 1つのモデル · ピーク が存在する場合、

マッチしない最も大きなスケール画像曲線 C S Sの最大値 (xip， yip)を選択す る。 （ステップ 4で計算した)開始ノード ' シフ ト 'パラメ一夕を適用して選択し た最大値をモデル C S S画像に写像し、 選択されたピークは座標 (xip-alpha， yip)を持つことになる。 マッチしない最も近いモデル曲線ピーク (xms， yms)を決 定する。 2つのビーク間の水平距離が 0 . 2未満 (すなわち | xip-alpha-xms | < 0 . 2 )である場合、 2つのピークをマッチさせ、 2つのビーク間の直線の長さとし てマッチのコストを定義する。 そのノードの総コス卜にマッチのコストを加える 。 マッチしたビークに "マヅチした" ものとしてマークをつけることによりそれ それのリス卜からマッチしたピークを取り除く。 2つのピーク間の水平距離が 0 . 2より大きい場合、 画像ピーク (xip， yip)はマッチすることはできない。 その場 合総コストに画像ビークの高さ yipを加え、 "マッチした" ものそのピークにマ ークとつけることにより画像ビーク · リストからピーク (xip, yip)だけを取り除 上記条件が当てはまらなレ、 (マッチしなかった画像ビークしか存在しない、 ま たはマッチしなかったモデル ' ピークしか存在しない)場合、 マッチしないまま の状態に放置する。

マッチしなかった画像ピークまたはモデル · ピークの最も高い高さとしてマツ チのコストを定義しリス卜からピークを取り除く。

8 . 7でノードを拡大した後、 画像リストおよびモデル · リストの双方にマツ チしないビークが存在しない場合マッチング処理は終了する。 このノードのコス トは画像とモデル曲線間の類似度測定値である。 ピークが存在する場合には、 ポ イン 卜 7へ戻り最低コス 卜のノードを拡大する。

画像曲線ビーク値とモデル曲線ピーク値とを交換して上記手順を繰り返す。 最 終マッチング値はこれら 2つのビーク値のうちの低い方の値である。

もう 1つの例として、 ソートされた順序の各位置について、 入力された X値と それに対応するモデルの X値との間の距離および入力された y値とそれに対応す るモデルの y値との間の距離が計算される。 すべての位置についての合計距離が 計算され、 合計距離が小さければ小さいほどマッチの程度は近くなる。 入力輪郭 とモデルのビークの数が異なる場合、 合計距離の中に残りのマッチしなかったビ ークの高さが含まれる。

上記ステップがデ一夕ベースの各モデルについて繰り返される（ステップ 4 8 0 )。

マッチング比較の結果生じる類似度値がソートされ (ステップ 4 9 0 )、 次いで 、 最も近いマッチング値 (すなわち本例では最も低い類似度値)を示す類似度値を 持つ記述子に対応するォブジェク卜がユーザーに対して表示装置 4に表示される (ステップ 5 0 0 )。 表示対象のオブジェクト数はユーザーが予め設定するか選択 することができる。

上記実施例では、 C F値の方が閾値より大きい場合、 マッチング時に入力記述 子値のすべての可能な順序が考慮される。 しかしながら、 すべての可能な順序を 考慮する必要はなく、 代わりに、 元の C S S表示のいくつかのまたはすベての周 期的シフ トのようないくつかの可能な順序だけを考慮することができる。 さらに

、 上記実施例では、 閾値は 0 . 7 5に設定されるが、 この閾値は異なるレベルに 設定することもできる。 例えば、 閾値がゼロに設定された場合、 いくつかのまた はすべての可能な順序の分析によってすベてのマツチイングが行われる。 このた め、 閾値がゼロ以上の場合と比較して必要な計算量が増えることになるがビーク 値が既にソートされていて、 ビーク値の X座標が、 特定の開始点またはオブジェ クト回転について調整されているので、 そのような調整が行われていない元のシ ステムと比較すると必要な計算量は低減する。 したがってゼロに閾値を設定する ことによりシステムは計算コストの若干の減少を行い、 検索パフォーマンスは元 のシステムの場合とまったく同じになる。 或いは、 閾値が 1に設定された場合、 保存された順序だけを用いてマッチング が行われる。 その場合、 検索精度にはほんのわずかの低下しか伴わずに必要な計 算量を著しく減らすことができる。

上述の実施例に対して様々な変更が可能である。 例えば、 実施例 1および 2に 説明したような C S Sビークの縦座標値のソーティングの代わりに、 他のソ一テ イングを利用することもできる。 例えば、 ビークの高さの降順に配置する代わり に昇順に縦座標値を配置してもよい。 データベースにソーティングされた値を保 存する代わりにマッチング手順中にソ一ティングを行ってもよい。 産業上の利用の可能性

本発明によるシステムは例えば画像ライブラリ中に設けることができる。 或い は、 データべ一スは、 インターネットのようなネットワークにより電話線のよう な一時的リンクによって制御装置と接続し、 システムの制御装置から遠隔地に配 置することができる。 例えば、 画像データベースおよび記述子データベースは永 久記憶装置または R O Mや D V Dのような携帯用記憶媒体中に設けることができ る。

以上説明したようなシステムの構成要素は、 ソフトウエアまたはハードウエア の形で設けることができる。 コンピュータ 'システムの形で本発明について説明 したが、 本発明は専用チップなどを用いて他の形で実現することもできる。 オブジェクトの 2 D形状を表す方法および 2つの形状間の類似度を表す値を計 算する方法を示す特定の例を示したが、 同様の任意の適切な方法を用いることが できる。

例えば、 確認目的のためにオブジェクト画像のマッチングを行うために、 また はフィル夕リングを行うために本発明を用いることができる。

Claims

請 求 の 範 囲

1 . 静止画像またはビデオ画像に対応する信号を処理することにより、 前記画 像中に現れるオブジェクトを表す方法であって、

オブジェクトの輪郭上の任意の点から始めて、 前記輪郭上に現れる特徴と関連 する複数の数値を導き出すステップと、

前記値に対して所定のソーティングを適用して前記輪郭の表示を得るステップ と

を有することを特徴とする画像中のオブジェクトを表示する方法。

2 . 結果として得られた前記表示が前記輪郭上の開始点に依存しないように前 言己所定のソーティングがなされる

ことを特徴とする請求項 1に記載の画像中のオブジェクトを表示する方法。

3 . 前記数値が前記曲線上の屈曲点を反映する

ことを特徴とする請求項 1に記載の画像中のオブジェクトを表示する方法。

4 . 平滑化パラメータシグマを用いて複数の段階で前記輪郭を平滑化し、 その 結果複数の輪郭曲線を生じることにより、 また、 各輪郭曲線の曲率の最大値と最 小値を表す値を用いて元の輪郭の特徴を示す曲線を導き出すことにより、 さらに 、 前記数値として前記特徴を示す曲線のビークの縦座標を選択することにより、 前記輪郭の曲率スケール空間の表示を得る

ことを特徴とする請求項 1に記 ¾^適像中のオ ジェクトを表示する方法。

5 . 前記特徴を示す曲線の縦座標が前記輪郭の弧長パラメータと前記平滑化パ ラメ一夕とに対応する

ことを特徴とする請求項 4に記載の画像中のオブジェクトを表示する方法。 前記平滑化パラメ一夕に対応するピークの高さの値に基づいて前記ピーク の縦座標値がソートされる

ことを特徴とする請求項 5に記載の画像中のォブジヱクトを表示する方法。

7 . 前記値が最大値からソートされる

ことを特徴とする請求項 1乃至 6のいずれか 1つに記載の画像中のオブジェク トを表示する方法。

8 . 前記値が大きさの降順にソートされる

ことを特徴とする請求項 7に記載の画像中のオブジェクトを表示する方法。

9 . 前記値が最小値からソートされる

ことを特徴とする請求項 1乃至 6のいずれか 1つに記載の画像中のオブジェク トを表示する方法。

1 0 . 静止画像またはビデオ画像に対応する信号を処理することにより、 前記 画像中に現れるオブジェクトを表す方法であって、

オブジェクトの輪郭を表すために、 前記輪郭上に現れる特徴と関連する複数の 数値を導き出すステップと、

前記値のうちの少なくとも 2つ値の間の関係を用いて前記表示の信頼性を示す 係数を導き出すステップと

を有することを特徴とする画像中のオブジェクトを表示する方法。

1 1 . 前記係数が前記値のうちの 2つの値の間の比に基づく

ことを特徴とする請求項 1 0に記載の画像中のオブジェクトを表示する方法。

1 2 . 前記比が 2つの最大値の比である

ことを特徴とする請求項 1 1に記載の画像中のオブジェクトを表示する方法。

1 3 . 平滑化パラメ一夕シグマを用いて複数の段階で前記輪郭を平滑化し、 そ の結果複数の輪郭曲線を生じることにより、 また、 元の輪郭の特徴を示す曲線を 導き出すための各輪郭曲線の曲率の最大値と最小値を表す値を用いることにより 、 さらに、 前記数値として前記特徴を示す曲線のビークの縦座標を選択すること により、 前記輪郭の曲率スケール空間表示が得られる

ことを特徴とする請求項 1 0乃至 1 2のいずれか 1つに記載の画像中のォブジ ェクトを表示する方法。

1 4 . 請求項 1乃至 9のいずれか 1つに記載の方法を用いて前記値を導き出す ことを特徴とする請求項 1 0に記載の画像中のオブジェクトを表示する方法。

1 5 . 静止画像またはビデオ画像に対応する信号を処理することにより、 前記 画像中のオブジェクトを検索する方法であって、

2次元の輪郭の形でクエリーを入力するステップと、

請求項 1乃至 9のいずれか 1つに記載の方法を用いて前記輪郭の記述子を導き 出すステップと、

請求項 1乃至 9のいずれか 1つに記載の方法を用いて導き出された、 保存され た画像中のオブジェク卜の記述子を取得し、 保存されたォブジェクトの各記述子 と前記クエリ一記述子を比較するステップと、

該比較によって前記クエリーと前記オブジェクトの間の類似度の程度が示され る対象オブジェクトを含む画像に対応する少なくとも 1つの結果を選択し表示す るステップと

を有することを特徴とする画像中のオブジェクトを検索する方法。

1 6 . 請求項 1 0乃至 1 2のいずれか 1つに記載の方法を用いて、 前記クエリ 一の輪郭について、 および、 各保存された輪郭について係数が導き出され、 所定 のソーティングのみを用いて、 または、 前記所定のソーティングと前記係数に依 存する何らかの他のソーティングを用いて比較を行う

ことを特徴とする請求項 1 5に記載の画像中のオブジェクトを検索する方法。

1 7 . 静止画像またはビデオ画像に対応する信号を処理することにより、 前記 画像中に現れる複数のオブジェクトを表す方法であって、

各オブジェク 卜の輪郭上に現れる特徴と関連する複数の数値を導き出すステツ プと、

各輪郭を表す前記値に同じ所定のソーティングを適用して各輪郭の表示を得る ステップと

を有することを特徴とする画像中のオブジェクトを表示する方法。

1 8 . 請求項 1乃至 1 7のいずれか 1つに記載の方法を実行するように適合さ れる画像中のオブジェクトを表示するまたは検索する装置。

1 9 . 請求項 1乃至 1 7のいずれか 1つに記載の方法を実行するように適合さ れる画像中のオブジェクトを表示するまたは検索するコンビュ一夕 ·プログラム

2 0 . 請求項 1乃至 1 7のいずれか 1つに記載の方法に従って作動するように プログラムされた画像中のオブジェクトを表示するまたは検索するコンビユー夕 • システム。

2 1 . 請求項 1乃至 1 7のいずれか 1つに記載の方法を実現するためのコンビ ュ一夕で実行可能な処理を保存するコンビユー夕可読記憶媒体。

2 2 . 添付図面を参照して本明細書で説明したものと実質的に同じように、 静 止画像またはビデオ画像中のオブジェクトを表す画像中のオブジェクトを表示す る方法。

2 3 . 添付図面を参照して本明細書で説明したものと実質的に同じように、 静 止画像またはビデオ画像中のオブジェクトを検索する画像中のオブジェク卜を検 索する方法。

2 4 . 添付図面を参照して本明細書で説明したものと実質的に同じである画像 中のオブジェクトを表示するまたは検索するコンピュータ · システム。