WO2001071558A1

WO2001071558A1 - Systeme et procede d'extraction/de distribution d'images

Info

Publication number: WO2001071558A1
Application number: PCT/JP2000/001789
Authority: WO
Inventors: Yoshimi Moriya; Hirofumi Nishikawa; Yoshihisa Yamada; Fuminobu Ogawa; Kohtaro Asai
Original assignee: Mitsubishi Denki Kabushiki Kaisha
Priority date: 2000-03-23
Filing date: 2000-03-23
Publication date: 2001-09-27
Also published as: US7031965B1; CN100409234C; EP1267275A1; EP1267275A4; KR20020082489A; CN1451127A; KR100523684B1; AU2000233265A1

Description

明細書画像検索配信システム及び画像検索配信方法技術分野

この発明はアナログ又はディジタルで記録された映像、静止画などの画像データから特徴量やフォーマツト情報を抽出し、抽出した特徴量を利用して画像データの検索を行い、検索結果の画像デ一夕を受信するュ —ザ端末の処理能力に応じてフォ一マツトを変換して配信する画像検索配信システム及び画像検索配信方法に関するものである。背景技術

従来のネットワーク上の画像検索配信システムとして、例えば「ネットワーク型マルチメディァ情報の媒介を目指した公開型画像データべ一ス GIRLS」（信学技報 HI 67- 6 1996年）に記載されたシステムがある。このシステムはインターネット上での情報提供システムである WWW( Wor l d Wi de Web )からイン夕一ネヅト上に散在する画像デ一夕を収集し、自動的にデータベースを構築し、構築したデ一夕ベースから所望の画像を検索するシステムである。

先ず、棚について説明すると、 W丽では HTML (Hyper Text Markup La nguage )と呼ばれる言語によつて記述されたハイパーテキストファイル（以下、 HTMLファイルと称する）により文書表現が行われる。また、この H TMLは他の HTMLフアイルゃ画像デ一夕とのリンク情報が URL ( Universal R esource Locator )と呼ばれるネヅトワークアドレスによって記述される。この URLを指定するとそのネヅトワークアドレスに位置する情報を HTT P ( Hyper Text Transfer Protoco l )と呼ばれるプロトコルに基づいて非同期転送することができる。

ここで、上述した従来の画像検索配信システムの説明に戻ると、従来のシステムはデ一夕ベース構築部及びデータベース検索部から構成されている。先ず、デ一夕ベース構築部は、ある URLから順にリンク情報をたどって情報を収集し自動的にデ一夕ペースを構築する。具体的に説明すると、 URLに対応した HTMLフアイルに係る画像データが HTTPを用いてデ—夕ベース構築部に転送される。これにより、データベース構築部は

HTMLファィルに係る画像データを解析して、画像及び他の HTMLフアイルへのリンクを抜き出す。次に、デ一夕ペース構築部は取得した画像を画像処理して特徴量の抽出を行い、画像の URLが記述されていた HTMLファィルから補助情報を抽出する。ここで、上述した補助情報とは、例えば画像の URLなどを指す。このようにして抽出された画像の特徴、補助情報、及び画像データの縮小画像は、データベース構築部によってデ一夕ベースに登録される。

また、データベース検索部は上述したデータベースに登録されている画像の特徴に基づいて、ユーザの要求に近い画像データを検索する。このようにして検索された画像データは HTMLフアイルに変換され、 WWWプラウザを用いてユーザが閲覧することができる。

従来の画像検索配信システムは以上のように構成されているので、検索結果の画像データが配信されるクライアントの端末が、イン夕一ネヅト上に接続された PCやワークステ一ションなど、ほぼ同一の処理能力を有しているものとして、ある決められたフォーマットでしか検索結果の画像データが配信されない。このため、処理能力の低い端末では、画像検索配信システムを利用することができないという課題があつた。

この発明は上記のような課題を解決するためになされたもので、無線などの各種のネットワークを通じて、さらに、各種の端末（例えば、携帯電話、テレビ電話、若しくは PC ( Personal Computer )など）の処理能力に応じたフォ一マツトで、検索結果の画像データを配信することができる画像検索配信システム及び画像検索配信方法を得ることを目的とする o 発明の開示

この発明に係る画像検索配信システムは、動画、及び静止画を含む画像を、その特徴を記述した特徴記述子とともに登録するデ一夕ペースと、ユーザ入力による検索条件に基づいてデータベースに登録した特徴記述子を検索し、検索条件に合致する検索結果を得る画像検索手段と、検索結果を受信するユーザ端末側から得られる配信条件に基づいて検索結果を編集処理するコンテンッ付加サービス手段とを備えることで、ユーザ端末側の配信条件に応じて検索結果の出力形態や出力画像のフォーマットを編集処理するため、処理能力が異なる各種の端末にて検索結果を容易に表示することができる。

この発明に係る画像検索配信システムは、配信条件としてユーザ端末の端末情報を取得する端末情報取得手段をコンテンヅ付加サービス手段が備えたことを特徴とするもので、ユーザ端末の処理能力に応じて、検索結果の出力形態や出力画像のフォーマツトを編集処理するため、処理能力が異なる各種の端末にて検索結果を容易に表示することができる。

この発明に係る画像検索配信システムは、ユーザが指定する配信条件に基づいてユーザ端末が受信可能な検索結果に係るデータをコンテンヅ付加サービス手段が生成し、検索結果に先立ってユーザ端末に送信することを特徴とするもので、様々な種類の検索結果の画像中からユーザが所望の画像を容易に検索することができる。

この発明に係る画像検索配信システムは、入力画像の特徴量、及びフォーマツト情報を抽出して特徴記述子を生成するコンテンヅ記述メ夕デ一夕生成手段と、このコンテンヅ記述メ夕デ一夕生成手段が生成した特徴記述子と入力画像とをデータベースに登録するデータ蓄積手段とを備えるので、処理能力が異なる各種の端末から得られる配信条件と容易に比較することができる特徴記述子を有するデータベースを作成することができる。

この発明に係る画像検索配信システムは、ユーザ端末の端末情報に合致するように検索結果の画像の画像フォーマット及び出力形式を変換する変換手段、端末情報に合致しない検索結果を送信しないフィル夕手段、及び端末情報に合致しない検索結果を端末情報に合致する他の代替デ一夕に置き換える置換手段のうちの少なくとも 1っをコンテンヅ付加サ一ビス手段が備えるので、処理能力が異なる各種の端末にて検索結果を容易に表示することができる。

この発明に係る画像検索配信システムは、コンテンツ付加サービス手段がユーザ端末の端末情報に基づいて検索結果を編集処理した際に、編集処理前の検索結果を、ユーザが予め指定した他の端末に送信するので、処理能力が異なる各種の端末にて検索結果を容易に表示することができる。

この発明に係る画像検索配信システムは、コンテンヅ付加サービス手段がユーザ端末の端末情報に合致しない検索結果を編集処理する編集手段を複数備え、複数の編集手段が画像検索を要求する側、画像検索を行う側及ぴデ一夕ベースに画像を登録するコンテンツ供給側のうちのいずれか 1つから適宜選択することができるので、画像検索を要求する側、画像検索を行う側、若しくはデータベースに画像を登録するコンテンッ供給側の意図を反映して検索することができる。

この発明に係る画像検索配信システムは、画像フォーマツトが検索結果の画像の符号化方式、ビットレート、フレームレ一ト、解像度、及び、ファイルサイズのうちの少なくとも 1つを含んでなることを特徴とするので、処理能力が異なる各種の端末にて検索結果を容易に表示することができる。

この発明に係る画像検索配信システムは、検索結果の画像の著作権情報及び/若しくは頒布条件に基づいてユーザ端末が受信可能な検索結果に係るデ一夕をコンテンツ付加サービス手段が生成するので、様々な種類の検索結果の画像中からユーザが所望の画像を容易に検索することができる。

この発明に係る画像検索配信システムは、動画、及び静止画を含む画像を、その特徴を記述した特徴記述子とともに登録するデータベースと、ユーザ入力による検索条件に基づいてデータベースに登録した特徴記述子を検索し、検索条件に合致する検索結果を得る画像検索手段と、検索結果とこれに係る特徴記述子とをユーザの端末に送信する出力制御手段と、ユーザ端末に設けられ、出力制御手段から送信される特徴記述子を解析して検索結果を受信するか否かを決定するコンテンヅ記述メ夕デ一夕解析手段とを備えるので、ユーザが検索結果の画像の特徴やフォーマットを記述したメ夕デ一夕の解析を行って判別することができることから、処理能力が異なる各種の端末で容易に検索結果を表示することができる。

この発明に係る画像検索配信方法は、ユーザ入力による検索条件に基づいてデータベースに登録した画像の特徴記述子を検索し、検索条件に合致する検索結果を得る画像検索ステップと、検索結果を受信するユーザ端末側から得られる配信条件に基づいて検索結果を編集処理するコンテンヅ付加サービスステップとを備えるので、ユーザ端末側の配信条件に応じて検索結果の出力形態や出力画像のフォーマツトを編集処理するため、処理能力が異なる各種の端末にて検索結果を容易に表示することができる。

この発明に係る画像検索配信方法は、コンテンヅ付加サービスステップで配信条件としてユーザ端末の端末情報を取得することを特徴とするので、ユーザ端末の処理能力に応じて、検索結果の出力形態や出力画像のフォーマツトを編集処理するため、処理能力が異なる各種の端末にて検索結果を容易に表示することができる。

この発明に係る画像検索配信方法は、コンテンッ付加サービスステップでユーザが指定する配信条件に基づいてユーザ端末が受信可能な検索結果に係るデータを生成し、検索結果に先立ってユーザ端末に送信することを特徴とするので、様々な種類の検索結果の画像中からユーザが所望の画像を容易に検索することができる。

この発明に係る画像検索配信方法は、画像が入力されると、この画像の特徴量、及びフォーマツト情報を抽出して特徴記述子を生成するコンテンッ記述メ夕デ一夕生成ステップと、このコンテンヅ記述メ夕データ生成ステツプで生成した特徴記述子と入力された画像とをデータベースに登録するデータ蓄積ステップとを備えるので、処理能力が異なる各種の端末から得られる配信条件と容易に比較することができる特徴記述子を有するデ一夕ベースを作成することができる。

この発明に係る画像検索配信方法は、ユーザ端末の端末情報に合致するように検索結果の画像の画像フォーマツト及び出力形式を変換する変換ステツプ、端末情報に合致しない検索結果を送信しないフィル夕ステップ、及び端末情報に合致しない検索結果を端末情報に合致する他の代替デ一夕に置き換える置換ステヅプのうちの少なくとも 1つをコンテンヅ付加サービスステツプが備えたことを特徴とするので、処理能力が異なる各種の端末にて検索結果を容易に表示することができる。この発明に係る画像検索配信方法は、コンテンッ付加サービスステップでユーザ端末の端末情報に基づいて検索結果を編集処理した際に、編集処理前の検索結果を、ユーザが予め指定した他の端末に送信することを特徴とするので、処理能力が異なる各種の端末にて検索結果を容易に表示することができる。

この発明に係る画像検索配信方法は、コンテンヅ付加サービスステヅプで検索結果の画像の著作権情報及び/若しくは頒布条件に基づいてュ一ザ端末が受信可能な検索結果に係るデータを生成することを特徴とするので、様々な種類の検索結果の画像中からユーザが所望の画像を容易に検索することができる。

この発明に係る画像検索配信方法は、ユーザ入力による検索条件に基づいてデータベースに登録した画像の特徴記述子を検索し、検索条件に合致する検索結果を得る画像検索ステツプと、検索結果とこれに係る特徴記述子とをユーザの端末に送信する出力制御ステップと、この出力制御ステツプで送信された特徴記述子を解析して検索結果を受信するか否かをユーザ端末側で決定するコンテンヅ記述メ夕デ一夕解析ステップとを備えるので、ュ一ザが検索結果の画像の特徴やフォーマツトを記述したメ夕デ一夕の解析を行って判別することができることから、処理能力が異なる各種の端末で容易に検索結果を表示することができる。図面の簡単な説明

第 1図はこの発明による画像検索配信システムの全体構成を示す図でめる。

第 2図はこの発明の実施の形態 1 による画像検索配信システムのサ一バの構成を示す図である。

第 3図はこの発明の実施の形態 1 による画像検索配信システムの入力データ登録部によるデータベース登録動作を示すフロー図である。

第 4図はこの発明の実施の形態 1による画像検索配信システムにおける画像検索配信部の処理動作を示すフロー図である。

第 5図はこの発明の実施の形態 1による画像検索配信システムのクライアント側端末における検索結果の表示例を示す図である。

第 6図はこの発明の実施の形態 1による画像検索配信システムに使用するクライアント側の端末の構成例を示す図である。

第 7図はこの発明の実施の形態 6による画像検索配信システムのクライアントの構成を示す図である。発明を実施するための最良の形態

以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従ってこれを説明する。実施の形態 1 .

第 1図はこの発明による画像検索配信システムの全体構成を示す図である。図のように、画像検索配信システムを利用して検索結果の画像デ一夕が配信されるクライアントは、 PC、携帯電話、携帯情報端末、若しくはディジ夕ルテレビなどの処理能力の異なる各種の端末であり、これらを介してュ一ザが画像検索配信システムを利用することができる。これらクライアント側の各種端末は、それそれ異なるネットワークにァクセスする。例えば、ある PCは IPベースのネットワークに直接接続し、別の PCは I S などの既存の電話回線を通じてイン夕一ネットに接続する。携帯電話や携帯情報端末は無線系のネットワーク（IMT- 2000など）に接続する。ディジタルテレビは専用ケーブル、地上波若しくは衛星の TV放送網に接続している。第 2図はこの発明の実施の形態 1による画像検索配信システムのサーバの構成を示す図である。図において、 1は入力画像を受信してデ一夕ベースに登録す'る入力データ登録部で、入力制御部 2及びコンテンヅ記述メ夕デ一夕生成部 3から構成される。 2は入力画像を受信する入力制御部で、 3は入力制御部 2からの入力画像を画像処理して特徴量を抽出し、特徴量を記述したメ夕データを生成するコンテンツ記述メ夕デ一夕生成部である。 4はコンテンツ記述メ夕デ一夕生成部 3で記述されたメ夕データや入力画像を蓄積するデ一夕べ一スであるデータ蓄積部、 5はデータ蓄積部 4からユーザの要求に合った画像デ一夕を検索し、ユーザが使用する端末に検索結果の画像データを配信する画像検索配信部、 6 はユーザが使用する端末から出力された検索要求を受信する入力制御部、 7はデータ蓄積部 4から特徴量などを記述したメ夕デ一夕を使ってュ一ザの要求に合った画像データを検索する画像検索部、 8はユーザが使用する受信端末の情報を取得する端末情報取得部、 9は画像検索部 7による画像デ一夕の検索結果を、ユーザが使用する端末の処理能力に適した情報に変換するなどの付加的なサービスを行うコンテンツ付加サ一ビス部、 1 0は画像検索部 7及びコンテンヅ付加サービス部 9から出力される検索結果の画像データをユーザの受信端末へ配信する出力制御部でめる。

次に動作について詳述する。

先ず、入力データ登録部の処理動作について詳述する。

第 3図はこの発明の実施の形態 1による画像検索配信システムにおける入力データ登録部の新規の入力画像をデータベースに登録する動作を示すフロー図である。ここで、新規の入力画像はクライアント側の端末からネットワークを介して送信される場合と入力データ登録部を有するサーバに直接入力される場合とがある。クライアント側の端末からネヅトワークを介して送信される場合としては、例えばカメラを有する携帯電話で撮った画像やビデオメールで受信した画像をサーバに登録する場合などが考えられる。このように入力制御部 2はネットワークを介して画像を受信するィン夕フェース、及ぴ直接入力のィン夕フェースを有すステップ S T 1で入力制御部 2は新規に登録すべき入力画像を受信し、これをコンテンツ記述メタデータ生成部 3に出力する。

コンテンヅ記述メ夕データ生成部 3は入力画像を入力すると、この入力画像に対して画像処理を施し、特徴量を抽出する（ステップ S T 2 ) 。ここで、抽出される特徴量としては、例えば入力画像の色、テクスチャ、動き、若しくは形状などがある。この特徴量の抽出は、上記のような入力画像の特徴量を抽出することができる従来の画像特徴の抽出技術を使用してもよい。

このあと、コンテンヅ記述メ夕デ一夕生成部 3は、入力画像の特徴を記述したキーヮ一ドゃ入力画像に対する付加的な情報を抽出する（ステップ S T 3 ) 。ここで、抽出される付加的な情報としては、例えば入力画像の符号化形式（MPEG- 1， MPEG- 2， MPEG- 4， JPEGなど）、ビットレート、フレームレート、解像度、ファイルサイズなど入力画像のフォーマヅトに関する情報、入力画像の著作権に関する情報、若しくは入力画像のコンテンツの頒布条件（有償ノ無償など）などに関する情報がある。次に、コンテンヅ記述メ夕デ一夕生成部 3は、抽出した入力画像の特徴量及び付加情報をあらかじめ定義されたフォーマツトに従って記述して、コンテンヅ記述メ夕デ一夕（特徴記述子）を生成する（ステップ S T 4 ) 。

最後に、コンテンツ記述メ夕デ一夕生成部 3は、入力画像及びステツプ S T 4で生成されたコンテンツ記述メタデータをデータ蓄積部 4に蓄積する（ステヅプ S T 5 ) 。これにより、データ蓄積部 4のデータべ一スに新規の入力画像を登録することができる。

次に画像検索配信部 5の処理動作について詳述する。

第 4図はこの発明の実施の形態 1 による画像検索配信システムにおける画像検索配信部の処理動作を示すフ口一図である。

先ず、入力制御部 6がネットワークを介してユーザからの画像の検索要求及び検索条件を受信（ステップ S T 1 0 ) し、ユーザからの検索条件を画像検索部 7に出力する。ここで、ユーザが指定する検索条件としては、例えば検索すべき画像を端的に示すキーワード、検索すべき画像の特徴量を記述したメタデ一夕、若しくはサンプル画像などがある。画像検索部 7は入力制御部 6から入力された検索条件がサンプル画像であるか否^を判定し、サンプル画像でなければステヅプ S T 1 3 に進んでデ一夕蓄積部 4のメタデータとのマッチング処理を行い、サンプル画像であるとステップ S T 1 2に進んでサンプル画像の特徴量の抽出動作を行う（スヅプ S T 1 1 ) 。

ステップ S T 1 1 において検索条件がサンプル画像であると、画像検索部 7はサンプル画像の色、テクスチャ、動き、若しくは形状などの特徴量を抽出し、これらを記述したメタデ一夕を生成する（ステップ S T 1 2 ) o

このあと、画像検索部 7は検索条件のキ一ヮ一ドゃ特徴量とデータ蓄積部 4に含まれるコンテンヅ記述メ夕データに記述されているキーヮードゃ特徴量とのマッチング処理を行い、ユーザが要求する画像デ一夕の検索結果を得る（ステヅプ S T 1 3 ) 。

次に、端末情報取得部 8は検索結果の画像データを受信するユーザ端末の情報を取得する（ステップ S T 1 4 ) 。この端末情報は、ユーザが検索条件を送信する際に同時に送信され、入力制御部 6 を介して画像検索配信部 5に取得される。また、この他には、ユーザ登録機能を有するサーバであれば、ユーザ登録の際にあらかじめユーザが自分の端末情報を登録しておき、検索の際にサーバに登録されている端末情報を画像検索配信部 5が取得するようにしてもよい。

端末情報取得部 8は端末情報を取得すると、コンテンヅ付加サービス部 9に出力する。コンテンツ付加サービス部 9は、ユーザの端末情報を受けると、ステップ S T 1 3にて得た検索結果の画像データがユーザ端末で受信可能であるか否かを判定し、受信可能であればステップ S T 1 5に進んで、検索結果の画像デ一夕をユーザ端末に送信する処理を行い、受信可能でなければステツプ S T 1 6に進んで検索結果の画像データの変換処理を行う（ステップ S T 1 5 ) 。このように、ユーザ端末の端 *情報は検索結果を配信するための配信条件として利用される。 ' ステップ S T 1 5にてユーザ端末が検索結果の画像デ一夕を受信可能であると判断されると、コンテンッ付加サ一ビス部 9は画像検索部 Ίを制御して、出力制御部 1 0を介して検索結果の画像データをユーザ端末に送信させる（ステップ S T 1 7 ) 。

また、ステップ S T 1 5にてユーザ端末が検索結果の画像データを受信できないと判断されると、画像検索部 7は検索結果の画像データをコンテンヅ付加サービス部 9に出力する。コンテンツ付加サービス部 9は、検索結果の画像デ一夕を受けると、これの出力形式をユーザ端末の処理能力ゃネットワーク形態に応じて変換する（ステップ S T 1 6 ) 。

ここで、この実施の形態 1による画像検索配信部 5の動作について具体例を挙げて詳細に説明する。例えば、ディジタルビデオカメラなどで撮影した魚の画像から、その魚の名前や生態を調べるために、マルチメディァ図鑑のあるサーバにアクセスして検索をする場合を考えると、この検索に用いる検索条件は撮影した魚の画像である。この撮影した魚の画像を携帯電話で送信し、その検索結果を携帯電話で受信する場合、入力画像である魚の画像は携帯電話で送受信可能なデ一夕形式（MPEG- 4など）に変換されて送信される。入力画像である魚の画像は入力制御部 6 を介して画像検索部 7に入力される。画像検索部 7は入力画像である魚の画像から、魚の形状、色、動き、若しくはテクスチャなどの特徴量を抽出する。抽出された特徴量はデ一夕蓄積部 4に蓄積されているコンテンヅ記述メ夕データに記述されている特徴量とのマツチング処理が施され、類似の特徴を有する魚の画像データが得られる。

第 5図は実施の形態 1による画像検索配信システムに使用されるクライアント側端末における検索結果の画像デ一夕の表示例を示す図であり、（ a ) はクライアント側の端末が PCである場合、（b ) はクライアント側の端末が携帯電話である場合を示している。'第 5図（ a ) に示すように PCなどの画像の表示処理能力が十分にある端末へ送信するとき、入力画像に類似する特徴を有する複数の魚についての画像（検索結果 1の映像、検索結果 2の映像、検索結果 3の映像）と、その魚に関するデ一夕（例えば、魚の名前、'生態に関するテキスト情報）とからなる画像デ一夕を送信すればよい。

一方、第 5図（ b ) に示すように携帯電話など表示画面が小さい、又は、多くの情報をダウン口一ドすると機能上の負荷が大きい端末へ送信するときは、魚に関するデ一夕（テキスト情報）とその魚の映像へのリンク倩報（魚の画像があるサーバのロケーション情報）のみからなる画像データを送信し、ユーザが選択した場合のみ、魚の画像がダウン口一ドされ表示されるようにする（第 5図（ b ) の例では「画像表示ボタン」が押された場合のみ、リンク情報に基づいて検索結果の画像データをダウンロードすることができる）。

ま†'こ、コンテンヅ付加サービス部 9は送信する画像についてもフォーマツト変換などの処理を行い、受信端末の処理能力に適したフォーマツ卜に変換する。例えば、上述したマルチメディア図鑑のあるサーバにおいて画像の符号化方式が MPEG- 1で解像度が 352 x 240画素であったとする。このとき、携帯電話で受信できる符号化形式が MPEG- 4、画面の表示サィズが 176 x 144画素である場合、コンテンヅ付加サービス部 9は画像の符号化方式を変換するとともに解像度変換も行い、携帯電話が受信できる画像フォーマヅトに変換する。

ここで、符号化方式と解像度を例に説明したが、コンテンヅ付加サービス部 9で変換されるフォーマットとしては、上記の他にビットレ一ト、フレームレートなどもある。

また、ユーザ端末にダウンロードされるコンテンツ（画像デ一夕）のファイルサイズが、例えばユーザが設定する上限よりも大きい場合にはコンテンヅの一部分のみを送信するなどの処理を行う。

このようにして、コンテンツ付加サービス部 9で変換されたコンテンヅは、出力制御部 1 0を介してユーザに送信される。

なお、上記実施の形態 1で述べた入力デ一夕登録部 1 と画像検索配信部 5 とは異なるサーバにあってもよい。また、上述したように入力デー夕登録部 1でコンテンヅ記述メ夕デ一夕を作成するのではなく、コンテンヅ制作者が個別に作成したコンテンヅ記述メ夕データを画像とともに登録してもよい。さらに、画像の特徴量を記述したメ夕デ一夕はコンテンヅ制作者が作成し、頒布条件などを記述したメタデ一夕はコンテンヅを配信するサーバで作成してもよい。

次にクライアント側の端末について説明する。

第 6図はこの発明の実施の形態 1 による画像検索配信システムに使用するクライアント側の端末の構成例を示す図である。図において、 1 1 はユーザが検索条件を入力する検索条件入力部、 1 2はカメラなどから画像を取り込む画像入力部で、 1 3は画像入力部 1 2で取り込んだ画像をネットワークに送信できる形式に符号化するコンテンヅ符号化部である。 1 4は画像入力部 1 2で取り込んだ画像から特徴量を抽出し、抽出した特徴量を記述したメ夕デ一夕を生成するコンテンヅ記述メタデータ生成部、 1 5はユーザが入力した検索条件、入力画像、若しくは入力画像の特徴量を記述したメ夕デ一夕をサーバに送信する出力制御部、 1 6 はサーバからの検索結果を受信する入力制御部、 1 7は検索結果を表示する検索結果表示部である。

次に各部の処理について説明する。

サンプル画像を検索条件として与え、サンプル画像に類似した画像を検索する場合を例に説明する。

画像入力部 1 2がサンプル画像としてユーザがカメラなどで撮影した画像を取り込む。取り込んだ画像をサーバに送信する場合、画像入力部 1 2は入力画像をコンテンヅ符号化部 1 3に出力する。コンテンヅ符号化部 1 3は入力画像をネットワークで送信できる形式に符号化する。例えば、送信端末が携帯電話で無線を通じて送信する場合、 MPEG- 4符号化方式で入力画像を符号化する。符号化された画像は出力制御部 1 5を介してサーバに送信される。

また、取り込んだ画像を直接サーバに送信するのではなく、クライアント側で特徴量を抽出して、この特徴量を記述したメタデ一夕をサーバに送信する場合、画像入力部 1 2は入力画像をコンテンヅ記述メ夕デー夕生成部 1 4に出力する。コンテンツ記述メ夕デ一夕生成部 1 4は入力画像の特徴量を抽出し、この特徴量を記述したメタデータを生成する。このようにして生成された特徴量を記述したメ夕データは出力制御部 1 5を介してサ一バに送信される。

ユーザによって検索条件入力部 1 1 にキーワードなどのテキストべ一スの検索条件が入力されると、検索条件入力部 1 1は出力制御部 1 5 を介してサーバに検索条件を送信する。

これにより、サーバが検索を行ってクライアントに送信された検索結果は入力制御部 1 6を介して受信し検索結果表示部 1 7で表示される。

なお、サンプル画像の特徴量が別の端末で抽出されている場合には、検索条件入力部 1 1 に特徴量を記述したメ夕データを入力してもよい。

また、サーバ側で入力画像の特徴量を抽出して、この特徴量を記述したメ夕デ一夕を生成する場合は、コンテンヅ記述メ夕デ一夕生成部 1 4 を省略することもできる。

さらに、画像入力部 1 2、コンテンッ符号化部 1 3、及びコンテンツ記述メ夕デ一夕生成部 1 4は、送信する端末（サーバ）の処理能力に応じた処理を行わなくてもよい。

以上のように、この実施の形態 1 によれば、クライアントからの検索要求に対してサーバ側が受信端末の処理能力に応じて、検索結果の出力形態や出力画像のフォーマットを変換することができるため、処理能力が異なる各種の端末にて検索結果を容易に表示することができる。実施の形態 2 .

上記実施の形態 1では検索結果をユーザ端末が表示できない場合、コンテンヅ付加サービス部がユーザ端末で表示できるように出力画像のフォ一マツトを変換して出力した例を示したが、この実施の形態 2はコンテンヅ付加サービス部がュ一ザ端末で表示できない検索結果については出力結果から除外するものである。 .

この実施の形態 2 における画像検索配信システムは、基本的に上記実施の形態 1 によるものと同一の構成を有しているが、画像検索部 7及びコンテンヅ付加サービス部 9の動作が異なる。そこで、これら画像検索部 7及びコンテンヅ付加サービス部 9の動作について説明する。

例えば、検索結果の画像データを携帯電話に送信する場合を考える。ここで、携帯電話で受信できる画像の符号化方式は MPEG- 4であるものとする（ここでは、検索要求の送信と同時にサーバ側に配信条件である端末情報が送信されているものとする）。画像検索部 7は上記実施の形態 1 と同様にしてユーザからの検索条件に従ってデータ蓄積部 4の画像デ —夕を検索し、その結果としてコンテンツとそのコンテンヅの付加情報を記述したメ夕データとからなる画像データをコンテンヅ付加サ一ビス部 9 に出力する。コンテンヅ付加ザ一ビス部 9は上記画像データを受けると、付加情報を記述したメタデ一夕を解析し、コンテンヅの符号化方式が MPEG-4であるもののみを抽出する。抽出された検索結果の画像デ一夕は出力制御部 1 0 を介してクライアントのユーザ端末に送信される。コンテンヅの符号化方式が受信端末の処理能力に適さないため、検索結果から除外されたコンテンツについては、そのコンテンツを説明したテキスト情報などが付加情報にあれば、このテキスト情報を画像の代わりに送信してもよい。

上記では符号化方式を例に説明したが、その他の画像フォーマットに関しても同様である。

以上のように、この実施の形態 2 によれば、クライアントからの検索要求に対して受信端末で受信できない検索結果についてはサーバ側で除外する、或いはテキスト情報などの代替のコンテンヅを送信するようにしたことから、処理能力が異なる各種の端末にて検索結果を容易に表示することができる。実施の形態 3 .

上記実施の形態 1又は上記実施の形態 2では、画像検索部 7の検索結果のコンテンッがクライアントの受信端末で表示できないフォ一マヅトであった場合、コンテンツ付加サービス部にてフォーマツト変換を行つたり、送信する検索結果から除外する、或いはテキスト情報などの代替コンテンヅを送信する例を示したが、この実施の形態 3はユーザが指定する別の端末に検索結果のコンテンヅを送信する機能をコンテンッ付加サ一ビス部が有するものである。

この実施の形態 3 における画像検索配信システムは、基本的に上記実施の形態 1 によるものと同一の構成を有しているが、コンテンツ付加サ —ビス部の動作が異なる。ここでは、このコンテンツ付加サービス部の動作について説明する。

例えば、サーバのコンテンヅ付加サービス部 9が携帯電話に検索結果のコンテンヅを送信するために、符号化形式が MPEG- 2であるサーバのコンテンッを MPEG-4に変換して送信したとする。このとき、コンテンツ付加サービス部 9は、もとの MPEG-2のコンテンヅを受信することが可能なユーザが指定した端末（例えば、 PC端末など）にも上記 MPEG- 2のコンテンヅを同時に送信しておく。また、もとの MPEG- 2のコンテンヅを受信可能な端末に送信するかどうかはユーザが指定するようにしてもよい。以上のように、この実施の形態 3によれば、クライアントからの検索要求に対して受信端末で受信できない検索結果について、サーバ側でフォーマツト変換したり、除外したり、或いは代替のコンテンヅを送信した場合、もとの検索結果のコンテンヅをュ一ザからの指示によって指定した端末に送信することができることから、処理能力が異なる各種の端末にて検索結果を容易に表示することができる。実施の形態 4 .

上記実施の形態 1又は上記実施の形態 2では、画像検索部 7による検索結果のコンテンッが、クライアントの受信端末で表示できないフォーマツトであった場合、コンテンツ付加サ一ビス部 9 にてフォーマツト変換したり、送信する検索結果から除外する、或いはテキスト情報などの代替コンテンツを送信するようにした例を示したが、この実施の形態 4 は画像検索部 7 による検索結果のコンテンヅをユーザが受信できない場合に代替処理を選択できる、又は、あらかじめコンテンヅ毎に代替処理を決めておく、又は、サーバによって代替処理を指定しておくものである。

概要について説明する。先ず、画像検索部 7による検索結果のコンテンヅをユーザが受信できない場合に代替処理を選択できるようにする場合では、例えば画像検索部 7の検索結果を送信する前に、コンテンツ付加サービス^ 9 にて代替処理を選択対象とする項目を記述したテキスト情報を生成し、これと上記実施の形態 1で示した検索結果の画像に関するコンテンヅ記述メタデータとを出力制御部 1 0を介してユーザ端末に送信する。これにより、ユーザはコンテンヅ記述メ夕デ一夕から検索結果の画像データを受信できないと判断し、代替処理の項目を記述したテキスト情報から所望の処理を選択する。

次に、あらかじめコンテンツ毎に代替処理を決めておく場合では、例えばコンテンツの制作者がコンテンツの符号形式やファイルサイズなどに応じてコンテンヅ毎に代替処理を記述した情報もコンテンヅ記述メタデ一夕としてデータ蓄積部 4に蓄積しておく。これにより、上記コンテンヅが検索されて、ユーザがこれを受信できないと、コンテンツ付加サ一ビス部 9はデータ蓄積部 4に蓄積しておいた上記コンテンヅの代替処理に係る情報に基づいて代替処理を行う。

サーバによって代替処理を指定しておく場合は、例えばあるサーバのデータ蓄積部 4に代替処理を記憶させておき、ユーザがこのサーバに対して検索要求を行ったときにその検索結果を受信できないと、コンテンヅ付加サービス部 9は上記代替処理を行うようにする。

なお、ユーザが指定する場合には選択された代替処理についてユーザの端末あるいはサーバにユーザ領域がある場合にはユーザ領域に保持しておき、次回以降の検索の際には保持されている条件を反映するようにしてもよい。これにより、ユーザの嗜好に合った検索が可能となる。また、ユーザが指定する他の検索条件についても同様である。

以上のように、この実施の形態 4によれば、ユーザの受信端末で検索結果が受信できない場合の代替処理を、ユーザ、サーバ、若しくはコンテンヅ每に指定することができることから、ユーザ、サーバ、若しくはコンテンヅ制作者の意図を反映して検索することができる。実施の形態 5 .

この実施の形態 5ではコンテンッ記述メ夕デ一夕にコンテンヅの著作権情報や頒布条件（有償ノ無償など）などが記述されている場合に、これらの情報を使つた検索 · 配信を行うようにしたものである。

この実施の形態 5 による画像検索配信システムのサーバ及びクライアントの構成は第 1図、第 6図と同様であり、コンテンヅ付加サービス部 9の処理動作が異なるので、このコンテンヅ付加サービス部 9の処理について詳細に説明する。

例えば、ユーザからの指定条件により「無償で著作権フリーのコンテンッのみを検索する」という条件が指定されている場合、コンテンツ付加サービス部 9は画像検索部 7の検索結果に対して検索結果のコンテンヅに附随するコンテンヅ記述メ夕デ一夕を解析し無償で著作権フリーのコンテンツのみを抽出する。抽出したコンテンヅは出力制御部 1 0を介してユーザに送信する。また、有償のコンテンツを検索する場合は、検索結果としてコンテンヅそのものを配信するのではなく、コンテンツの広告に相当するコンテンッを送信する。ここで、コンテンツの広告に相当するコンテンツとは、例えばコンテンツが「映画」であれば、「映画の予告編」のように代表的なシーンを集めたコンテンツなどである。これらのコンテンツは出力制御部 1 0を介してユーザ端末に送信され、ユーザが広告のコンテンヅを見て、購入することを決定すればサーバに購入指示を出し、コンテンヅを受信することができる。このとき、広告のコンテンツを受信する端末と購入したコンテンヅを受信する端末とをユーザが指定できるようにしてもよい。例えば、広告のコンテンツを携帯電話で受信して、ュ一ザが指定する PC端末に購入したコンテンヅを送信することもできる。以上のように、この実施の形態 5 によれば、コンテンツに附随するコンテンッ記述メ夕データに記述されている著作権情報や頒布条件を使つて検索することができることから、様々な種類のコンテンツの中からュ —ザが所望のコンテンヅを容易に検索することができる。実施の形態 6 .

上記実施の形態 1から 4では、サーバ側でコンテンヅに附随するコンテンヅ記述メタデ一夕を解析し、ユーザの検索条件や受信する端末の処理能力に応じて、コンテンツのフォーマヅト変換や検索結果のフィル夕リングを行う例を示したが、この実施の形態 6はサーバ側がコンテンヅとコンテンツ記述メタデ一夕を送信し、クライアント側でコンテンツ記述メ夕データの解析を行い、受信端末の能力を超えたり、ユーザの検索条件に合わないコンテンツは受信しないなどの処理をクライアント側が行うものである。

第 7図はこの発明の実施の形態 6による画像検索配信システムのクライアントの構成を示す図である。図において、 1 8はコンテンヅ記述メ夕データの解析を行うコンテンヅ記述メ夕データ解析部である。なお、第 6図と同一構成要素には同一符号を付して重複する説明を省略する。次に概要について説明する。

クライアントのユーザ端末はサーバから検索結果のコンテンヅの特徴など記述したコンテンツ記述メタデータを受信する。受信したコンテンッ記述メ夕デ一夕はコンテンヅ記述メ夕デ一夕解析部 1 8に入力され、検索結果のコンテンツのフォーマットなどを調べる。これらのフォーマヅトがユーザ端末で受信できるフォ一マットである場合には、クライアントのユーザ端末がコンテンヅの送信要求をサーバに出し、コンテンツの受信を行い、ユーザ端末で受信できない場合にはコンテンヅの受信を行わないようにする。

なお、ユーザ端末で受信できない場合に、上記実施の形態 4 と同様にユーザが代替処理を選択することができるようにしてもよい。

以上のように、この実施の形態 6によれば、クライアントの端末でコンテンヅを受信できるかどうかを、クライアントがコンテンヅの特徴やフォーマットを記述したメタデータの解析を行って判別することができることから、処理能力が異なる各種の端末で容易に検索結果を表示することができる。産業上の利用可能性

以上のように、この発明に係る画像検索配信システム及び画像検索配信方法は、無線などの各種のネットワークを通じて、さらに、 '各種の端末（例えば、携帯電話、テレビ電話、若しくは PC( Personal Computer ) など）の処理能力に応じたフォーマットで、検索結果の画像データを配信することができるものである。

Claims

請求の範囲

1 . 動画、及び静止画を含む画像を、その特徴を記述した特徴記述子とともに登録するデータベースと、

ユーザ入力による検索条件に基づいて上記データベースに登録した上記特徴記述子を検索し、上記検索条件に合致する検索結果を得る画像検索手段と、

上記検索結果を受信するユーザ端末側から得られる配信条件に基づいて上記検索結果を編集処理するコンテンヅ付加サービス手段と

を備えた画像検索配信システム。

2 .' コンテンヅ付加サービス手段は、配信条件としてユーザ端末の端末情報を取得する端末情報取得手段を備えたことを特徴とする請求の範囲第 1項記載の画像検索配信システム。

3 . コンテンヅ付加サービス手段は、ユーザが指定する配信条件に基づいてユーザ端末が受信可能な検索結果に係るデータを生成し、上記検索結果に先立って上記ユーザ端末に送信することを特徴とする請求の範囲第 1項記載の画像検索配信システム。

4 . 入力画像の特徴量、及びフォーマット情報を抽出して特徴記述子を生成するコンテンツ記述メ夕データ生成手段と、

このコンテンヅ記述メ夕データ生成手段が生成した上記特徴記述子と上記入力画像とをデータベースに登録するデータ蓄積手段と

を備えたことを特徴とする請求の範囲第 1項記載の画像検索配信システム。

5 . コンテンヅ付加サービス手段は、ユーザ端末の端末情報に合致するように検索結果の画像の画像フォ一マツト及び出力形式を変換する変換手段、上記端末情報に合致しない検索結果を送信しないフィル夕手段、及び上記端末情報に合致しない検索結果を上記端末情報に合致する他の代替データに置き換える置換手段のうちの少なくとも 1つを備えたことを特徴とする請求の範囲第 2項記載の画像検索配信システム。

6 . コンテンヅ付加サービス手段は、ユーザ端末の端末情報に基づいて検索結果を編集処理した際に、編集処理前の上記検索結果を、ユーザが予め指定した他の端末に送信することを特徴とする請求の範囲第 2項記載の画像検索配信システム。

7 . コンテンヅ付加サービス手段は、ユーザ端末の端末情報に合致しない検索結果を編集処理する編集手段を複数備え、

上記複数の編集手段は、画像検索を要求する側、画像検索を行う側、及びデータベースに画像を登録するコンテンヅ供給側のうちのいずれか 1つから適宜選択することができることを特徴とする請求の範囲第 5項記載の画像検索配信システム。

8 . 画像フォーマツトは、検索結果の画像の符号化方式、ビットレート、フレームレート、解像度、及び、ファイルサイズのうちの少なくとも 1つを含んでなることを特徴とする請求の範囲第 5項記載の画像検索配信システム。

9 . コンテンツ付加サービス手段は、検索結果の画像の著作権情報及び /若しくは頒布条件に基づいてユーザ端末が受信可能な上記検索結果に係るデ一夕を生成することを特徴とする請求の範囲第 3項記載の画像検索配信システム。

1 0 . 動画、及び静止画を含む画像を、その特徴を記述した特徴記述子とともに登録するデ一夕ベースと、

上記検索結果とこれに係る特徴記述子とをユーザの端末に送信する出力制御手段と、

上記ユーザ端末に設けられ、上記出力制御手段から送信される特徴記述子を解析して上記検索結果を受信するか否かを決定するコンテンッ記述メ夕データ解析手段と

を備えた画像検索配信システム。

1 1 . ユーザ入力による検索条件に基づいてデータベースに登録した画像の特徴記述子を検索し、上記検索条件に合致する検索結果を得る画像検索ステヅプと、

上記検索結果を受信するユーザ端末側から得られる配信条件に基づいて上記検索結果を編集処理するコンテンッ付加サービスステツプとを備えた画像検索配信方法。

1 2 . コンテンツ付加サービスステップは、配信条件としてユーザ端末の端末情報を取得することを特徴とする請求の範囲第 1 1項記載の画像検索配信方法。

1 3 . コンテンヅ付加サービスステップは、ュ一ザが指定する配信条件に基づいてユーザ端末が受信可能な検索結果に係るデータを生成し、上記検索結果に先立って上記ユーザ端末に送信することを特徴とする請求の範囲第 1 1項記載の画像検索配信方法。

1 . 画像が入力されると、この画像の特徴量、及びフォーマツト情報を抽出して特徴記述子を生成するコンテンヅ記述メ夕データ生成ステップと、

このコンテンツ記述メ夕データ生成ステツプで生成した上記特徴記述子と入力された画像とをデ一夕べ一スに登録するデータ蓄積ステップとを備えたことを特徴とする請求の範囲第 1 1項記載の画像検索配信^ 法。

1 5 . コンテンツ付加サービスステップは、ユーザ端末の端末情報に合致するように検索結果の画像の画像フォ一マット及び出力形式を変換する変換ステツプ、上記端末情報に合致しない検索結果を送信しないフィル夕ステツプ、及び上記端末情報に合致しない検索結果を上記端末情報に合致する他の代替データに置き換える置換ステップのうちの少なくとも 1つを備えることを特徴とする請求の範囲第 1 2項記載の画像検索配方。

1 6 . コンテンツ付加サービスステップは、ユーザ端末の端末情報に基づいて検索結果を編集処理した際に、編集処理前の上記検索結果を、ュ —ザが予め指定した他の端末に送信することを特徴とする請求の範囲第 1 2項記載の画像検索配信方法。

1 7 . コンテンツ付加サービスステップは、検索結果の画像の著作権情報及び/若しくは頒布条件に基づいてユーザ端末が受信可能な上記検索結果に係るデータを生成することを特徴とする請求の範囲第 1 3項記載の画像検索配信方法。

1 8 . ユーザ入力による検索条件に基づいてデータベースに登録した画像の特徴記述子を検索し、上記検索条件に合致する検索結果を得る画像検索ステヅプと、

上記検索結果とこれに係る特徴記述子とをユーザの端末に送信する出力制御ステヅプと、

この出力制御ステツプで送信された特徴記述子を解析して上記検索結果を受信するか否かを上記ユーザ端末側で決定するコンテンツ記述メタデータ解析ステヅプと

を備えた画像検索配信方法。