WO1998006222A1 - Picture and sound decoding device, picture and sound encoding device, and information transmission system - Google Patents

Description

明 細 書 画像音声復号化装置と画像音声符号化装置及び情報伝送システム 技 術 分 野

本発明は、 同時に複数の画像や音声の復号化、 符号化、 合成を行う画 像音声複号化装置と画像音声符号化装置及び情報伝送システムに関する ものである。 背 景 技 術

従来より、 自分側空間の風景の画像中から、 例えば人物画像を抽出し、 その画像と、 相手側から送られてきた人物画像と、 予め記憶されている 相手側と共通的に表示するための仮想的な空間の画像とを重畳して表示 することにより、 相手が自分の前にいるという実在感を充足し、 臨場感 のある映像通信を目指したものがある （特公平 4 - 2 4 9 1 4号公報、 「ハイパーメディアシステム パーソナル コ ミ ュニケ一シヨ ン システム」

(Fukuda, K. , Tahara, T. , kiyoshi, Τ. ： Hypermedia Personal し omput er Communication System： Fujitsu Habitat , FUJITSU Sci. Tech. J. , 26, 3, pp.197-206 (October 1990).)、 中村： 「ネッ トワーク対応仮想 現実感による分散協同作業支援」 、 情報処理学会オーディオビジュアル 複合情報処理研究会 （ 1 9 9 3 ) ) 。 特に、 従来の技術では画像合成を 行うための高速化、 メモリ一を低減する方法に関する発明が行われてい る （例えば、 特公 5— 4 6 5 9 2 ： 画像合成装置、 特開 6— 1 0 5 2 2 6 ： 画像合成装置） 。

しかしながら、 従来の技術では、 2次元の静止画や 3次元の C Gデー タを合成する画像合成システムが提案されていたが、 複数の動画や音声 を同時に復号化 （伸長） して、 合成し表示させるシステムの実現方法に ついては述べられていなかった。 特に、 複数の映像、 音声を同時に復号、 合成、 表示できる端末装置において、 端末の能力の不足や処理能力の変 動に対して破綻を来さない映像や音声の再生方法については述べられて いなかった。 加えて、 課金状況に応じて複数の映像を復号、 合成、 表示 する方法については述べられていなかった。

具体的には、

( 1 ) 複数の画像、 音声の情報、 複数の画像と音声との関係を記述した 情報、 及び処理結果の情報を管理する方法。

( 2 ) 端末の処理状態が過負荷である場合の複数の画像や音声の復号、 合成、 表示の優先度の決定方法、 再生および課金に関する方法。

更に、 複数の映像、 音声を同時に復号、 合成、 表示できる環境下で、 受信端末側の状態や受信端末での復号、 合成、 表示の優先度に応じて画 像の圧縮方法を変更して、 符号化量を制御する方法に関しては考慮され ていない。 発 明 の 開 示

本発明は、 従来のこのような課題を考慮し、 同時に複数の映像や音声 の復号、 合成を行う場合に、 端末の処理状況に応じて符号化量を制御で き、 また、 課金状況に応じて複数の映像や音声の復号、 合成、 表示の制 御ができる画像音声復号化装置と画像音声符号化装置及び情報伝送シス テムを提供することを目的とするものである。

本発明は、 2次元の画像合成だけに限定されない。 2次元の画像と 3 次元の画像を組み合わせた表現形式でもよいし、 広視野画像 （パノラマ 画像） のように複数の画像を隣接させて画像合成するような画像合成方 法も含めてもよい。 本発明で対象としている通信形態は、 有線の双方向 C A T Vや B— I S D Nだけではない。 例えば、 センタ一側端末から家庭側端末への映像 や音声の伝送は電波 （例えば、 V H F帯、 U H F帯） 、 衛星放送で、 家 庭側端末からセンタ一側端末への情報発信はアナログの電話回線や N— I S D Nであってもよい （映像、 音声、 データも必ずしも多重化されて いる必要はない） 。 また、 I r D A、 P H S (パーソナル 'ハンディー • ホン） や無線 L A Nのような無線を利用した通信形態であってもよい ₍ また、 対象とする端末は、 携帯情報端末のように携帯型の端末であつ ても、 セッ ト トップ B O X、 パーソナルコンピュータのよ うに卓上型の 端末であってもよレ、。

請求項 1の本発明は、 画像情報の符号化を行う画像符号化手段及び、 その符号化された種々の情報を送信もしくは記録する送信管理手段を有 する画像符号化装置と、 符号化された種々の情報を受信する受信管理手 段、 その受信された種々の情報の復号を行う画像復号手段、 その復号さ れた 1つ以上の画像を合成する画像合成手段及び、 その合成された画像 を出力する出力手段を有する画像複号化装置とを備えた画像復号化符号 化装置である。

請求項 2の本発明は、 音声情報の符号化を行う音声符号化手段及び、 その符号化された種々の情報を送信もしくは記録する送信管理手段を有 する音声符号化装置と、 符号化された種々の情報を受信する受信管理手 段、 その受信された種々の情報の復号を行う音声復号手段、 その復号さ れた 1つ以上の音声を合成する音声合成手段及び、 その合成された音声 を出力する出力手段を有する音声復号化装置とを備えた音声複号化符号 化装置である。

請求項 1 6の本発明は、 画像を入力する 1つ以上の画像入力手段と、 その画像入力手段の制御状態を管理する画像入力管理手段と、 受信端末 の受信状況を管理する他端末制御要求管理手段と、 少なく ともその管理 された受信端末の受信状況もしくは画像入力手段の制御状態に応じて、 画像の符号化方法を決定する符号処理決定手段と、 その符号処理決定手 段の決定結果に従って、 入力画像を符号化する画像符号化手段と、 その 符号化された画像を出力する出力手段とを備えたリアルタイム画像符号 化装置である。

請求項 1 8 の本発明は、 請求項 1 の画像複号化符号化装置及び請求項 2記載の音声復号化符号化装置のうち少なく ともいずれかを受信端末と し、 請求項 1の画像複号化符号化装置及び請求項 2記載の音声複号化符 号化装置及び請求項 1 6のリアルタイム画像符号化装置のうち少なく と もいずれかを送信端末として、 それら端末間を通信路で接続した情報伝 送システムであって、 少なく とも受信端末の負荷、 受信端末の優先度決 定手段で決定された処理対象とすべき符号化された情報の優先度に関す る情報、 受信端末でのフレームスキップの状況のいずれかを送信端末に 送信することにより、 送信端末において、 画像もしくは音声の符号化の 有無、 符号化の優先度、 符号化方式、 符号化すべき画像サイズ、 量子化 ステップの値、 フ レーム数、 受信端末の過負荷時の処理の優先度のいず れかを決定する情報伝送システムである。 図 面 の 簡 単 な 説 明

図 1は、 本発明の一実施の形態における画像復号化符号化装置の概 略構成図でる。

図 2は、 同実施の形態における別の例を示す画像音声復号化符号化 装置の概略構成図である。

図 3は、 通信、 記録フォーマッ トで優先度に関する情報を付加する 場合の例を説明する図である。 図 4は、 ソフ トウェアで本発明の構成をした場合の例を説明する図 である。

図 5は、 情報の構造について説明する図である。

図 6は、 D E M U Xスレツ ドの動作について説明する図である。 図 7は、 監視スレツ ドの動作について説明する図である。

図 8は、 デコード ' プロセスの動作について説明する図である。 図 9は、 画像合成スレツ ドの動作について説明する図である。

図 1 0は、 表示監視スレツ ドの動作について説明する図である。 図 1 1は、 画像合成装置のユーザイ ンターフユースについて説明す る図である。

図 1 2は、 受信側端末の能力の変動に応じた画像伝送を行う方法に ついて説明した図である。

図 1 3は、 本発明の一実施の形態の画像圧縮装置について説明する 図である。

図 1 4は、 操作管理部が管理する情報について説明する図である。 図 1 5は、 広視野画像を作成する場合の画像圧縮装置を説明する図 である。

図 1 6は、 送信端末と受信端末との応答状況を説明する図である。 【符号の説明】

1 1 受信管理部

1 2 分離部

1 3 送信管理部

1 4 優先度決定部

1 7 時間情報管理部

1 8 画像伸長部

1 9 画像合成部 20 音声伸長部

2 1 音声合成部

3 1 DEMUXス レッ ド

3 6 デコード . プロセス

3 7 監視ス レツ ド

3 9 画像合成ス レッ ド

4 2 表示監視ス レツ ド

1 2 04 操作管理部

1 20 5 画像圧縮部

1 20 8 画像処理決定制御手段

1 4 0 1 優先度決定制御部

1 4 0 2 操作履歴管理部

1 4 04 画像合成部

1 4 0 7 入力都 発 明 の 実 施 の 形 態

以下に、 本発明をその実施の形態を示す図面に基づいて説明する。 本 発明で使用する 「画像」 の意味は静止画と動画の両方を含む。 また、 対 象とする画像は、 コンピュータ ' グラフィ ックス （C G) のような 2次 元画像とワイヤーフ レーム ·モデルから構成されるような 3次元の画像 データが混合したものであってもよい。 この場合、 画像問の関係はワイ ャ一フレームモデルに相当する。 記述するためのスク リプト言語と して は J A V Aや V R M Lなどが挙げられる。

図 1及び図 2は、 本発明の一実施の形態における画像複号化符号化装 置の概略構成図である。 図 1は、 音声の再生機能をもたない場合の構成 であり、 図 2は、 画像と音声の再生機能をもつ場合の構成である。 当然 のことながら音声だけの場合も、 同様に構成できる。

図 1あるいは図 2の本装置は、 符号化装置及び復号化装置から構成さ れ、 図 1の場合の符号化装置は、 符号化された画像の過負荷時の処理の 優先度を予め決められた基準で決定し、 その符号化画像と優先度とを対 応づける優先度付加部 1 0 1、 画像を符号化する画像符号化部 1 0 2、 優先度が付加された符号化情報を送信あるいは記録する送信管理部 1 0 3、 及び符号化された情報を受信する受信管理部 1 04から構成されて いる。 また、 図 2の場合の符号化装置は、 更に、 音声を符号化する音声 符号化部 1 0 5が設けられている。

一方、 復号化装置において、 情報を受信する受信管理部 1 1 と情報を 送信する送信管理部 1 3は、 同軸ケーブル、 CATV、 LAN, モデム 等の情報を伝送する手段である。 端末の接続形態と しては、 TV電話や TV会議システムのように端末問で双方向で映像情報を送受信する形態 や、 衛星放送や CATV、 インターネッ ト上での放送型 （片方向） の映 像放送の形態が挙げられる。 本発明では、 このような端末の接続形態に ついて考慮している。

分離部 1 2は、 符号化 （圧縮） された受信情報を解析し、 分離する手 段である （圧縮装置の場合は、 逆操作で多重化部になる） 。 たとえば、 MP EG 1や MP EG 2、 H. 3 2 0端末 （N— I S DNを利用した T V電話ノ会議装置の規約） では H. 2 2 1カ 1^ 3 24端末 （アナ口 グ電話回線を利用した TV電話ノ会議装置の規約） では H. 2 2 3がビ デォノ音声ノデータを多重化、 分離する規約である。 本発明は、 規約に 準じた構成で実現してもよいし、 規約に準じない構成で実現してもよい _c また、 H. 3 23やインターネッ トで行われているように、 映像と音声 はそれぞれ別ス トリームで独立して伝送してもよい。

優先度決定部 1 4は、 分離部 1 2から得られた情報 （例えば映像、 音 声、 管理情報） を、 以下の方法で、 端末が過負荷である場合の復号 （以 後、 「伸長」 を用いる） の優先度を決定して画像の伸長や音声の伸長を 行う （処理の優先度の決定方法は、 予め受信端末装置で取り決めしてお いてもよいし、 送信側端末 （符号化装置） で記録メディアや送信バケツ トなどに、 下記の方法で決定された優先度に関する情報を付加して伝送、 記録フォーマッ トとして付加しておいてもよい。 傻先度に関する表現方 法としては、 優先度 「大」 、 「中 j 、 「小」 といった数値化していない 表現や 1、 2、 3といった数値化した表現でもよい） 。

複数の画像もしくは音声フレームから構成されるス トリ一ム単位での データの扱いをするための識別子を用いて、 送信側と受信側とでデータ の送受信の処理を行うことで、 受信側のバッファの管理や送信側のデー タの送信のスケジューリングが可能となる。 つまり、 必要に応じて送信 側から送付するス ト リームの識別子を通知して受信側の受け入れ状況を 調べたり、 必要としないス ト リームの識別子の受信端末への通知、 受信 側から必要なス ト リームを要求したりすることが可能となる。

符号化された情報の過負荷時の処理の優先度を前述した基準で決定し、 符号化された情報と決定された優先度とを対応づける優先度付加手段を 画像符号化装置や音声符号化装置に備え、 受信された種々の情報の過負 荷時の優先度に従って、 処理の方法を決定する優先度決定手段で、 処理 すべき優先度の画像フレームや音声を決定し、 復号、 合成処理を行う。 尚、 画像フ レームに関しては、 フ レームスキップが行えるようにフ レー ム内符号化 （ I フ レーム） を行ったフレームを定期的に挿入する必要が ある。

優先度を付加する単位としては、 映像や音声の各フレーム単位 （フ レ ーム間同士の優先度の比較） 、 複数のフレームから構成されるス トリー ム単位であってよい （ス ト リ ーム間同士の優先度の比較） 。 画像の特徴に着目 した方法としては、 画像の圧縮形式 （例えば、 H . 2 6 3 とランレングスならランレングスを傻先させる） 、 画像のサイズ (例えば、 C I Fと Q C I Fならば Q C I Fを優先させる） 、 コン トラ ス ト （例えば、 コン トラス トの明るいものを優先させる） 、 画像の合成 比率 （例えば、 合成比率の高いものを優先させる） 、 量子化ステップ

(例えば、 量子化ステップの小さな値のものを優先させる） 、 フ レーム 間符号化とフ レーム內符号化の違い （例えば、 フ レーム内符号化を傻先 させる） 、 表示位置 （例えば、 表示位置が中央のものを優先させる。 ま た、 3次元画像であれば、 画像が奥に配置される場合は、 優先度を低く . 手前に表示される場合には傻先度を高く設定する） 、 フレーム番号 （第 1 フ レームと最終フレームは優先度を高くする、 シーンチェンジのフレ ームの優先度を高める等） やフ レーム数 （例えば、 再生すべきフ レーム 数が少ない画像は優先度を高くする。 フ レーム番号は H . 2 6 3の場合. テンポラリー ' リファレンス （T R ) に該当し、 T Rの値の変化に基づ いて判断すればよい） 、 有音区間と無青区間、 表示時刻 （P T S ) 、 復 号時刻 （D T S ) に基づく方法が挙げられる。

加えて、 フ レーム間符号化された Pフ レームや Bフ レームは同一の優 先度を割り当てる。 また、 フ レーム内符号化された画像に複数段階の優 先度を割り当てることにより、 スキップする頻度を制御できる。

また、 メディアの違いに着目 した例と しては、 音声の伸長を画像の伸 長よりも優先的に行う方法が挙げられる。 これにより、 音声を途切らす ことなく音声の再生を行うことができる。

さらに、 受信側端末で管理している再生の許可情報をもとに、 伸長す べき情報 （画像、 音声） の決定を行ってもよいし、 送信側より制御情報 として送る再生許可の情報をもとに、 伸長すべき情報の選択を行っても よい。 再生許可の情報は、 具体的には、 課金に関する情報 （例えば、 課 金が行われていなければ、 伸長、 合成、 表示の処理を行わない。 受信端 末側で、 課金に関する情報を管理してもよいし、 送信側で課金情報を管 理してもよい） 、 サービスの内容を示す情報 （例えば、 成人向きの放送 で端末側で再生の許可が出ていなければ、 伸長、 合成、 表示の処理を行 わない。 再生の許可は受信側端末で管理してもよいし、 送信側端末で管 理してもよい） 、 パスワー ド （例えば、 特定の番組にはパスワー ドを入 力しなければ、 伸長、 合成、 表示を行わない。 パスワードは受信側端末 で管理してもよいし、 送信側端末で管理してもよい） 、 利用者コード (例えば、 許可が与えられている利用者でなければ、 伸長、 合成、 表示 は行わない。 利用者コードは受信側端末で管理してもよいし、 送信側端 末で管理してもよい） 、 国別コード （例えば、 国によって、 伸長、 合成、 表示すべき画像や音声、 再生方法を変更する。 国別コードは、 送信側で 管理してもよいし、 受信側で管理してもよい。 国別コードで再生方法を 変えることによってスクランブルが実現できる） 。

課金に関する情報、 サービスの内容を示す情報、 パスワー ド、 利用者 コードといった画像や音声の再生許可の制限をかけた再生方法と しては、 画像の合成、 表示を行う際に故意に位置や画素をずらしたり、 画像の拡 大 '縮小、 画像のサンプリ ング （たとえば口一パスをかけると力、） を変 更、 画素反転、 コン トラス トの変更、 カラ一パレッ トの変更、 フ レーム のスキップを行う方法などが挙げられる。 これら画像の再生方法 （画像 の伸張、 合成、 表示） は、 1 フ レーム毎に制約をかけてもよい。 あるい は、 画像圧縮の 1つである H . 2 6 3で定義されるような 1 フ レームよ りも小さく、 独立して処理できる単位である G O B ( G r o u p O f B l o c k ) 単位で、 画像の伸張、 合成、 表示方法に制約をかけても よく、 これにより、 従来から行われている画面全体を乱す手法よりも柔 軟な制御が可能になる。 つまり、 G O B単位で処理することにより、 画 面の一部分だけにスクランブルをかけることができるため、 画像合成を 使ったソフ 卜のようにインタラクティブなソフ 卜に対する評価が可能と なる。

同様に、 音の再生方法としては、 音の大きさを変更させる、 音の方向 を変更させる、 音の周波数を変更させる、 音のサンプリングを変更させ る、 異なる画像や音声を挿入する方法が挙げられる （いずれの方法も、 あらかじめ送信側で処理する方法と、 受信側で処理する方法が挙げられ る） 。

画像と音声の再生方法としては、 画像と音の同期をはずす方法が挙げ られる。 合成、 表示の順位を示す情報 （予め表示する順序を受信側の端 末で決めておく、 例えば C I Fや静止画を優先するなど、 また、 送信側 で、 送信情報に表示する順序を優先度に関する情報として付加しておく 方法も挙げられる） 、 伸長の順位を示す情報 （予め伸長する順序を受信 側の端末で決めておく、 たとえば Q C I Fや、 フ レーム内符号化の画像 データを優先させるなど、 B G Mよりも会話音を優先して伸長するなど が挙げられる。 同様に、 送信側で、 送信情報に表示する順序を付加して おく方法も挙げられる） 、 利用者の指示 （たとえば、 利用者の指示によ り、 伸長、 合成、 表示すべき画像や音声情報を選択させるか、 要望に応 じて選択した情報をもとに、 伸長、 合成、 表示すべき画像や音声情報を 決定する） 、 端末の処理能力 （たとえば、 現在もしくは過去の一定期間 のじ P Uの処理の占有時間を計測することにより、 処理時間がかかりそ うな画像や音声の伸長、 合成、 表示を抑制する。 処理時間の推定方法と しては、 圧縮を行う際にローカル 'デコードにかかった時間や、 圧縮に かかった時間を圧縮した画像情報とともに対応づけて管理することによ り、 伸長、 合成、 表示の有無、 優先度の決定を行うことができる） 、 再 生時刻 （たとえば、 再生時刻を過ぎた画像、 音声情報の伸長、 合成、 表 示は中止する） ゃ復号時刻により、 伸長すべき画像や音声の優先度、 有 無を決定してもよい。

加えて、 特定の画像や音声だけが優先的に伸長、 表示されるのを防ぐ ための方法と して、 画像や音声の伸長、 合成、 表示の処理を行う実施率 に関する情報に基づいて、 伸長、 合成、 表示すべき画像の順番や有無を 決定することができる。 例えば、 伸長を行う 1 0回のうち 1回は C I F サイズの画像の伸長を行うと受信端末側で設定しておく力、、 送信側で画 像や音声の伸長、 合成、 表示の実施率を規定してそれに基づいて画像情 報や音声情報を送信する方法が考えられる。 実施率は具体的には、 I フ レーム （フ レーム内符号化したフ レーム） の挿入間隔で定義できる。 こ れにより、 特定の画像や音声オブジェク トのみが伸長、 合成、 表示され ることはなく なる。

これら伸長、 合成、 表示を制御する優先度に関する情報の付加は送信 側の装置だけではなく、 中継を行う装置で付加、 制御してもよい。 また、 受信端末の復号装置の優先度決定部 1 4で決定した優先度に関する情報 を、 送信管理部 1 3を通じて送信先に送信することで、 優先度決定部 1 4の決定状況に応じた画像、 音声伝送を行うことが可能となる （選択さ れにくい画像オブジェク トの I Dを送信側へ送ることにより、 無駄に送 信されることがなくなる） 。 尚、 受信端末が過負荷である場合の処理の 優先度を示す情報は、 受信端末装置で取り決めてもよいし、 伝送フォー マッ トと して伝送してもよいし、 C D— R O Mゃハ一ドディスクのよう な記録メディアに記録するためのフォーマツ トと して M P E G 2のトラ ンスポートス トリームを拡張してもよいし、 標準化を考慮しない伝送、 記録フォーマッ ト形式であってもよい。 また、 メディア毎 （映像、 音声. 映像と音声の関係を記述した情報） に別々のス ト リームとして、 多重化 を行わずに伝送、 記録してもよい。 画像復号手段と しての画像伸長部 1 8は画像の伸長処理を行う手段で あり （以降、 符号化装置の場合は符号化手段） 、 画像伸長部 1 8で扱う 画像フォーマッ トとしては MP E G 1や MP E G 2、 H. 2 6 1、 H. 2 6 3等が挙げられる。 画像の伸長は 1フ レーム単位で行っても、 H. 26 3で規定されている GOB単位の処理であってもよい。 1フ レーム 単位で処理する場合、 フレーム間符号化を行う場合、 前フレームの伸長 状態を画像伸長部 1 8に記憶しておく必要がある。 GOB単位での画像 伸長を行った場合、 画像の伸長の順序関係は問題ではなくなる。 従って. GOB単位で伸長処理を行う場合、 複数の画像伸長部 1 8を受信装置に 持つ必要はなく、 1つの画像伸長部 1 8で複数の映像の伸長を行うこと が可能となる。 反面、 伸長結果を蓄えておく必要がある。

図 2の音声復号手段としての音声伸長部 2 0は音声の伸長を行う手段 であり、 音声伸長部 20で扱う音声フォーマッ トと しては G. 7 2 1や G. 7 2 3等が挙げられる。 処理のための方法と しては、 D S Pや汎用 C PUによるンフ トウェア処理や専用のハードウエアによる処理が挙げ られる。

ソフ トウェアで実現する場合は、 画像および音声の伸長処理をそれぞ れ 1つのプロセスあるいはス レツ ドの単位で管理し、 伸長すべき画像や 音声が同時に複数ある場合、 処理できる範囲の数のプロセスあるいはス レツ ドで時分割して処理する。

画像伸長管理部 1 5は画像の伸長の状態を管理する手段である。 また 音声伸長管理部 1 6は音声の伸長の状態を管理する手段である。 例えば, これら管理部を、 ソフ トウェアで実現する場合は、 分離部 1 2から得た 圧縮された情報を決められた手順 （例えば、 最初に音声伸長部 2 0から 実行し、 次に画像伸長部 1 8で実行する） で、 画像伸長部 1 8、 音声伸 長部 20に引き渡し、 伸長の状態を監視する。 すべての伸長が完了すれ ば、 画像合成部 1 9もしくは音声合成部 2 1に、 伸長された情報を引き 渡す。 ソフ トウェアでは共有メモリーとセマフォを用いることで、 引き 渡す情報を制限したり、 伸長処理が終了したことを知る （詳細について は後述する） 。

時間情報管理部 1 7は時問に関する情報を管理する手段である。 例え ば、 システムをパーソナルコンピュータで実現する場合には、 時間情報 はパーソナルコンピュ一タのタイマーを利用して実現すればよい。

画像合成部 1 9は、 伸長された画像データをもとに画像合成を行う。 複数の画像の合成を行う場合、 それぞれの画像の合成比率 （ 直） をも とに画像合成を行う。 例えば、 2つの画像を合成する場合で、 前景画像 の合成比率が αの場合、 背景画像の R G Β値を ] 一 α、 前景画像を ctの 割合で混合する。 尚、 伸長すべき画像は 1 フ レーム単位で処理の管理を 行うことにより、 表示時刻を用いて複数の画像を合成する場合にシステ ムの構成と実装が簡単化できる。 また、 画像合成部 1 9もく しくは音声 合成部 2 1で、 送信側から伸長結果を破棄する指示が来るまで、 伸長結 果を保持して管理、 利用することで、 送信側から同一パターンの情報を 繰り返し送信する必要をなくすことができる。

画像同士や音声同士の関係を記述した情報に基づき、 画像や音声を合 成する際に、 必要とする復号された画像や音声が用意されていなくて、 合成できない画像や音声が存在することを提示することで、 利用者は合 成の状態を知ることができる。 そこで、 利用者が必要な画質を選択した り、 合成したい画像を予め選択するなどの指示を行うことで、 必要な情 報を取りこぼさずに合成することが可能となる。 尚、 復号化された画像 や音声のデータをバッファに蓄積、 管理する方法と しては、 到着順に古 いものから順に消去してゆく力 、 画像同士、 音声同士の関係を記述した スク リプトをみて、 全体としての復号化された画像や音声のデータの使 用状況をみて消去する方法が考えられる。

音声伸長管理部 1 6は、 少なく とも 1つ以上の音声の伸長を行う音声 伸長部 2 0の伸長状態を管理する。

音声合成部 2 1は、 伸長された情報をもとに音声合成を行う手段であ り、 合成結果蓄積部 2 2は、 画像合成部 1 9が合成した画像と、 音声合 成部 2 1が合成した音声を蓄賴する手段である。

再生時刻管理部 2 3は、 再生を開始すべき時刻に、 合成した画像や音 声を再生する手段である。

出力部 2 4は合成結果を出力する手段 （例えば、 ディスプレイ、 プリ ンタなどである） 、 入力部 2 5は情報を入力する手段 （例えば、 キーボ ード、 マウス、 カメラ、 ビデオなどである） である。 端末制御部 2 6は、 これら各部を管理する手段である。

図 3は、 通信、 記録フォーマッ トで優先度に関する情報を付加する場 合の例を説明する図である。

図 3 ( a ) の例は、 完全にすべてのメディア （映像、 音声、 制御情報） を多重化している例である。 制御情報と して、 過負荷時の処理を決定す るための優先度 （本発明で指している優先度） や表示の順序を示す優先 度が示されている。 また、 制御情報と しては、 画像同士、 音声同士、 画 像と音声との関係 （時間的、 位置的なもの） に関する情報を記述してお いてもよレ、。 図 3 ( a ) の例では、 たとえば、 M P E G 1 Z 2の多重化、 H . 2 2 3のような制御情報とデータ （映像、 音声） を混在させるパケ ッ ト多重の適用に向いている。 尚、 過負荷時の処理の傻先度はフ レーム 単位もしくはス トリーム単位で付加する。

図 3 ( b ) の例は、 メディア毎に情報を多重化している例である。 こ の例では、 制御情報、 画像情報、 音声情報は別々の通信ポー トから送信 される。 画像同士、 音声同士、 画像と音声との関係に関する情報は制御 lo 情報として、 画像や音声とは別の通信ポートから送信すればよい。 H. 3 2 3やインターネッ トのように複数の通信ポートを同時に確立できる 場合の適用に向いており、 図 3 (a ) と比べて多重化の処理が簡略化で きるので、 端末の負荷が軽減できる。

画像同士と音声同士の記述方法として、 J AVA、 VRMLといった 記述言語などで対応が可能であると思われるが、 スク リブトの記述言語 の仕様が一意に定まらない状況も考えられる。 そこで画像同士、 音声同 士の関係 （例えば、 位置的な情報、 時間的な情報 （表示期間など） ） を 記述した情報の記述方法を識別するための識別子を設けることで、 複数 種類の記述方法に対応することができる。 情報の記述方法を識別するた めの識別子の付加方法としては、 例えば、 MP EG 2においては、 MP E G 2— T Sのス ト リームを管理するプログラム . マップテーブルに設 ける力、、 スク リブトを記述したス トリームに設けることで対応できる。 過負荷時の処理の優先度は画像と音声との対応関係を記述した情報とと もに付加する （制御情報） 。 尚、 MP EG 2においては、 MP EG 2— T S ( トランスポート . ス ト リ ーム） のビデオ . ス ト リ ーム、 オーディ ォ ' ス トリームを関係づけるプログラム · マップテ一ブルで管理できる ように、 画像と音声との対応関係づけを行う構造情報 · ス ト リ ームを定 義して管理すれば、 MP E G 2でもデータと独立して伝送することがで さる。

図 4は、 ソフ トウェアで本発明を構成した場合の例を説明する図であ る。 マルチタスク ' オペレーショ ンが可能なオペレーティング ' システ ム上で本発明を実現した場合、 図 1や図 2で説明した各処理は、 プロセ ス、 スレツ ドといったソフ トウェアの実行モジュール単位に分けられ、 各プロセス、 ス レッ ド間は共有メモリーにより情報の交換を行い、 セマ フォ （図 4の例では、 実線で示された部分がセマフォに対応する） によ つて共有する情報の排他制御を行う。 以下に、 各プロセス、 スレッ ドの 機能について述べる。

D E M U Xスレツ ド 3 1はネッ 卜ワークやディスクから多重化された 情報 （映像、 音声、 制御情報） を読み取り、 音声、 映像及び、 音声と映 像との対応関係と再生時間に関する情報とを記述した監視用テーブル

(詳細は後述する） に分離する。 D E M U Xスレッ ド 3 1は前述の分離 部 1 2に対応する。 D E M U Xスレツ ド 3 1で分離された情報は、 音声 用のリ ングバッファ 3 2、 映像用のリ ングバッファ 3 3、 監視用のリ ン グバッファ 3 4にそれぞれ送出される。 音声情報である場合、 リングバ ッファ 3 2に送出された情報は、 音声デコードス レッ ド 3 5 (前述の音 声伸長部 2 0に対応する） で伸長される。 映像情報である場合、 リング バッファ 3 3に送出された情報は、 デコードプロセス 3 6で伸長される 監視用テーブルに関しては、 リ ングバッファ 3 4に送出され、 映像を 伸長するための順序を決定するために監視スレッ ド 3 7 (前述の端末制 御部 2 6、 画像伸長管理部 1 5、 音声伸長管理部 1 6に対応する） で利 用される。 また、 同じ監視用テーブルが画像合成のために画像合成スレ ッ ド 3 9で利用される。 監視ス レッ ド 3 7で利用された監視用テーブル は、 すべての音声、 画像の伸長が終わった時点で、 次のテーブルをリン グバッファ 3 4から読み出す。 デコード . プロセス 3 6 (前述の画像伸 長部 1 8に対応する） で伸長された画像情報は映像用シングルバッファ 3 8に送出される。 送出された画像情報が揃った時点で、 画像合成ス レ ッ ド 3 9 (前述の画像合成部 1 9に対応する） にて、 監視用テーブルで 管理される画像合成の比率を用いて画像合成を行う。 合成結果は、 合成 用バッファ 4 1 (前述の合成結果蓄積部 2 2に対応する） に蓄積され、 表示監視ス レッ ド 4 2で表示時間になるまで表示待ちの状態で待機する

(前述の再生時刻管理部 2 3に対応する） 。 図 5は、 図 4の構成で用いられる情報の構造について説明する図であ る。 図 5の例では、 ディスクもしくはネッ トワークから受信した情報は 1 8 8 b y t eの固定長である （B) 。 DEMUXス レッ ド 3 1で分離 された音声情報の構造は、 パケッ ト同期用のコード、 再生時刻、 再生す べき音声の長さを示すフレーム長、 音声データからなる （C) 。 映像情 報の構造は、 パケッ ト同期用のコード、 画像を識別するためのフ レーム 番号、 画像情報の大きさを示すフレーム長、 画像データからなる （D) 。 本発明は 1フレーム単位での処理である必要はなく、 マク ロブロック単 位のような小さなプロック単位での処理を行っても構わない。

監視用テーブルの構造は、 画像の表示時間、 1フ レームで表示 （合成） すべき画像の数、 各画像の I D、 フレーム番号、 伸長や表示を行う優先 度、 フレームのタイプを示す識別子 （ I ピクチャ、 Pピクチャ、 Bピク チヤ） 、 表示の水平位置、 表示の垂直位置、 合成の比率を示す階層の各 情報から構成される （E) 。 なお、 画像の合成比率と音声の合成比率を 対応づけて変化させてもよい。 例えば、 画像、 2種類が、 それぞれ音声 2種類に対応する場合、 画像の合成比率が α ： 1 — αである場合、 対応 する音声の合成比率も α ： 1— αで対応づけてもよい。 画像情報同士の 関係だけではなく、 音声同士の関係も記述してもよい （例えば、 方向、 種類 （B GM、 会話音） ） 。

図 6は、 D EMU Xスレッ ドの動作について説明する図である。 ファ ィノレもしくは、 ネッ トワークから 1 8 8バイ トの固定長のデータを読み 込む （5— 1 ) 。 読み込んだデータを分析し、 前述の音声、 映像、 監視 用テーブルの構造の型にセッ トする （5— 2) 。 リングバッファへの書 き込みが可能であれば、 音声、 映像、 監視用テーブルをそれぞれのリン グバッファに書き込みを行う。 画像ォブジェク ト I Dと複数ある画像伸 長手段との対応関係をとる。 例では、 若い番号のオブジェク ト I Dから 若いリングバッファ番号の共有メモリーへ順に書き出す （ 5— 3 ) 。 書 き込んだバッファのライ トポインタを更新する （ 5— 4) 。 監視用テー ブル 1つ分の映像、 音声の情報を書き込んだら監視ス レツ ド制御用セマ フォのカウンターを進める （5— 5) 。 このように DEMUXにより監 視スレツ ドの制御を行う。

図 7は、 監視ス レッ ドの動作について説明する図である。 監視用のテ 一ブルを読み込みリードポインタを進める （6— 1 ) 。 過負荷時のォブ ジェク トの優先度をチェックして、 優先度の高い画像フレームを調べる (6— 2) 。 監視用テーブルの内容を合成側のスレッ ドへ渡す （6— 3) < DEMUXからの監視用テーブル 1個分のデータの作成を待つ （6— 4) < 処理の優先度の高い順に、 表示を行う画像のフレーム番号をデコードプ 口セスに書き （6— 5) 、 現在の時間と表示すべき時間を比べて、 間に 合っていなかったら I フ レームをスキップせずに、 P Bのフ レームだけ をスキップする （6— 6) 。 対応するデコード · プロセスの実行を許可 し （6— 7) 、 処理が完了するまで待つ （6— 8) 。

図 8は、 デコード · プロセスの動作について説明する図である。 監視 ス レツ ドから実行の許可が出るまで待機する （ 7— 1 ) 。 入力画像の状 態をチェック し、 画像のシリ アル番号、 入力されるフ レームはスキップ すべき画像かどうかを調べる （ 7— 2) 。 デコードすべき画像データが リ ングバッファに溜まるまで待つ （ 7— 3) 。 監視ス レツ ドから指示さ れた画像のシリアル番号に対応する画像データがなければ、 デコードを スキップし、 リードポインタを進める （ 7— 4) 。 入力画像のスキップ でなければ、 デコードの処理を実行し、 リードポインタを進める （ 7— 5) 。 デコードの結果を出力し （ 7— 6 ) 、 監視ス レツ ドに処理が終了 したことを通知する （ 7— 7) 。

同じプロセス （スレッ ドであってもよい。 ハードウェアである場合は プロセッサ） を利用して異なる種類の画像オブジェク トを伸長する場合、 デコード ' プロセス内で過去に伸長した画像のフレーム番号と伸長され る前の画像とを対応づけて管理することにより、 同時にたく さんのプロ セスを生成して利用する必要がなくなる （最低、 直前のフレームに関す る情報だけでもよい。 また、 I 、 P、 Bというように異なるタイプのフ レーム画像が存在する場合は、 管理される順序と出力すべき順序とが異 なるのでデコード · プロセスにおけるこのような管理は必要となる） 。 図 9は、 画像合成スレッ ドの動作について説明する図である。 監視ス レッ ドから監視用テーブルを待つ （8— 1 ) 。 処理する画像の優先度を チェックする （8— 2 ) 。 優先度の高い順にデコード結果の画像を待つ ( 8— 3 ) 。 表示位置にあわせた画像の合成を行う （8— 4 ) 。 合成結 果を合成用バッファに書き込む （8— 5 ) 。 表示を行うべき画像情報の 選択は画像伸長手段もしくは画像合成手段で行うことができる。 表示す べきではない画像オブジェク ト I Dをスキップする場合、 画像合成手段 へは伸長結果が出力されないことを通知する必要がある。 音声に関して も再生すべき音声情報の選択を音声伸長手段もしくは音声合成手段で行 うことができる。

図 1 0は、 表示監視ス レッ ドの動作について説明する図である。 合成 画像が書き込まれるのを待つ （ 9一 1 ) 。 初めての表示である場合、 表 示を開始した時刻を取得し （9一 2 ) 、 表示を行うべき時問との対応関 係を管理する。 表示時間に達しでいなければ、 達していない時間だけ待 機し、 合成画像の表示を遅らせる （ 9一 3 ) 。

図 1 1を用いて本発明の画像合成装置のユーザィンターフェースにつ いて説明する。

図 1 1の例では、 背景画像に、 前景画像が合成され、 遠くに位置する 建物が合成比率 0 . 5で半透明に画像合成されている。 図 1 1に示した ように、 使用する画像は 2次元画像でなくてもよい。 前景に 3次元画像 としてヘリ コプターと気球が、 2次元の画像である背景と合成されてい る。 なお、 前景のヘリコプターと気球は必ずしも常に 3次元の画像であ る必要はない。 遠くに位置する場合 （画面上に 2次元として表示される 大きさで定義しておけばよい。 たとえば 2 0 ドッ ト X 2 0 ドッ トの大き さよりも小さければ対象物は遠くに存在すると定義しておけばよい） に は、 2次元で表現しておき、 近くに位置する場合には 3次元で表現して もよレ、。 また、 3次元画像のワイヤ一フ レーム .モデルにマッピングす る画像も静止画だけではなく、 動画像であってもよい。 画質に関しては 中心部分の画質は高く、 周辺部分へいくほど荒くすることで、 ユーザの 望む必要な情報を優先的に、 選択して伝送することができる （このよ う に、 画像が合成される位置に応じて、 画質を変更することで応答性の向 上が期待できる） 。 また、 3次元画像である場合、 遠方に表示される画 像の優先度は低く、 近くに表示される画像の優先度は高く設定すればよ い。 なお、 画質の制御に関しては量子化ステップを変更することにより 実現できる。

図 1 2は、 受信側端末の能力の変動に応じた画像伝送を行う方法につ いて説明した図である。 次に、 伝送される画像が多くなることにより、 受信端末の処理が過負荷になるのを防ぐために、 圧縮装置を含めて、 管 理、 制御する方法について述べる。 例えば、 ハードウェアで実現されて いる M P E G 2ベースのビデオ ' オン 'デマンドシステムでは、 送信側 の端末は受信側の端末の性能 （たとえば、 画像圧縮できる方式やサイズ, 通信プロ トコル） を、 映像情報を送信、 受信する前にお互いに確認する _c このため、 送信側端末では、 受信側端末の処理能力がほぼ確定している ため、 受信側端末の受信状況や再生の状況を逐次、 モニターする必要は ない。 一方、 ハードウユアで画像の圧縮と伸長を実現する場合は、 端末で画 像の圧縮と伸長を行える個数は固定である。 しかし、 ソフ ト ウェアで画 像の圧縮と伸長を実現する場合は、 端末で画像の圧縮と伸長が行える個 数を動的に可変にできる。 又、 ソフ ト ウェアでマルチタスク環境下で画 像の圧縮と伸長を行う場合、 画像サイズや、 画像圧縮を行うための量子 化パラメータ、 対象とする画像 （フレーム内符号化かフレーム間符号化、 撮影された画像の内容） 等によって大きく影響し、 端末で処理 （圧縮、 伸長） できる画像サイズ、 同時に処理できる画像の数は時間的に変化す る。 また、 これに伴って送信側端末では、 逐次、 受信側端末の受信状況 (たとえば、 受信バッファの容量や映像の再生の優先度、 受信確認の応 答時間） に応じた画像の圧縮方法 （画像圧縮の方式、 画像圧縮の有無、 量子化ステップ、 圧縮の傻先度、 圧縮すべき画像サイズなど） 、 受信端 末が過負荷時の優先度の決定を検討していかなければ受信側の能力を上 回ってしまい破綻を来す。

例えば、 図 1 2 ( b ) に示すように、 受信側端末の受信バッファの容 量が 8 0 %を超えた場合、 送信側へ受信バッファがあふれそうになつて いることを通知し、 画像圧縮の方式 （たとえば M P E G 1からランレン ダスへ変化させて、 圧縮画像の送出量を減らす） 、 画像圧縮の有無 （画 像圧縮して、 送信するのを一時中断させる） 、 圧縮の優先度の変更 （圧 縮すべきプロセスが複数ある場合、 圧縮するための優先度を下げて、 圧 縮される圧縮画像の送出量を減らす） 、 画像サイズの変更 （C I Fから Q C I Fへと圧縮すべきサイズを小さく変更して圧縮画像の送出量を減 らす） 、 量子化ステップの変更 （画質の変更によって圧縮画像の送出量 を減らす） による送出量を制限させる方法、 フ レーム数を調整する方法 (処理を行うフレーム数を減らす） 、 受信端末が過負荷時の優先度を決 定する方法を適宜、 選択、 組み合わせて実施する。 これにより受信側端 末の受信バッファのオーバ一フローを回避させる。

同様に、 受信側の受信バッファーの容量が 2 0 %を下回った場合、 送 信側の端末へ受信側端末の受信バッファがアンダーフローになりかけて いる旨を通知して、 前述とは逆の方法で、 送信側の端末で、 画像圧縮の 方式、 画像圧縮の有無、 画像圧縮の優先度、 画像のサイズ、 量子化ステ ップ、 フレーム数を適宜、 選択、 組み合わせて実施する。 このように送 出量を増大させる方法を実施することにより、 受信側端末の受信バッフ ァのアンダーフロ一を回避させることができる。

受信バッファの状態の監視以外にも、 受信側端末での再生能力が限ら れていて、 再生すべき画像が複数ある場合、 受信側端末で、 優先して再 生すべき画像を利用者が明示的に決定するか、 端末側で、 傻先して再生 すべき画像を自動的に決定する必要がある （予め、 利用者により優先し て再生すべき画像はどれであるかを、 ルールとして受信端末に登録して おく必要がある。 例えば、 画像サイズの小さいものは優先であると力、、 背景の画像と して表示させているものは再生の間隔はゆつく りであって もよいと力 。 例えば、 受信側端末の負荷 （たとえば、 再生に必要な C P Uの占有時間） を送信側の端末へ通知してやることにより、 簡単に実 現可能である。

受信側の端末の再生の負荷が端末の処理能力の 8 0 %を超えれば、 そ の受信側端末が過負荷になっていることを送信側へ通知し、 送信側では そのことをうけて、 上述と同様の方法で、 受信側端末の処理すべき負荷 が下がるように、 画像圧縮の方式 （たとえば、 M P E G 1からランレン ダスへ変更させて処理量を減らす） 、 画像圧縮の有無 （画像圧縮して、 送信するのを一時中断させる） 、 圧縮の優先度の変更 （重要度の低い画 像に対しては、 圧縮するための優先度を下げて、 重要度の高い画像を優 先して圧縮して送出する） 、 画像サイズの変更 （C I Fから Q C I Fへ と圧縮すべきサイズを変更して、 再生側の負荷を减らす） 、 量子化ステ ップの変更 （画質の変更によって圧縮画像の送出量を減らす） の方法、 フレーム数を調整する方法、 過負荷時の処理の傻先度に基づいて処理す る方法を適宜、 選択もしくは組み合わせて実施することによって受信側 の端末での処理量を軽減させる。

逆に、 負荷が受信側端末の処理能力の 2 0 %を下回った場合は、 受信 側の端末の処理能力に余裕があるものとして、 前述とは逆の方法で、 送 信側の端末で、 画像圧縮の方式、 画像圧縮の有無、 画像圧縮の優先度、 画像のサイズ、 量子化ステップ、 フ レーム数を適宜、 選択、 組み合わせ て実施することにより、 高画質で、 フレーム間隔の短い画像を受信側端 末へ送出する。 これにより、 受信側端末の能力を活かした画像伝送が可 能になる。

最後に、 受信側端末の処理状況を知る方法としては、 受信側の画像合 成装置からの受信確認の応答時間によって知ることができる。 例えば、 送信側の端末から受信側端末へ画像データを送出した場合に、 受信側端 末が画像データを受信したことゃ復号処理、 合成や表示処理が完了した ことを送信側端末へ応答する場合、 その応答時間が、 例えば、 通常値と して 1秒以内である場合、 受信側端末の負荷の増大により、 その応答時 間は、 5秒といったように長くなる （通常値は、 端末接続時に一度、 測 定してもよいし、 通信時に定期的に測定してもよいし、 利用者が指示し てもよい。 また、 応答時間の測定は周期的に行ってもよいし、 端末の負 荷や前回の応答時間の結果に関連させて測定間隔を変化させてもよい） _c この応答時問の変化により、 前述した画像圧縮の方式、 画像圧縮の有無. 画像圧縮の優先度、 画像のサイズ、 量子化ステップを適宜、 選択、 組み 合わせて実施することにより、 受信端末での負荷を低減させることがで きるので、 応答時間を短縮させることができる （図 1 6のケース 1参照） ， 受信端末での再生時刻もしくは復号時刻を受信して上記と同様の処理を 行ってもよい。

尚、 受信側の端末の状態を考慮した方法として、 前述した受信側の端 末の受信バッファの容量、 受信側端末の負荷、 受信側の端末の応答時間 を測定する方法をそれぞれ単独に用いるのではなく、 適宜、 選択して、 組み合わせて用いてもよい （音声に関しても同様の方法が適用できる） また、 受信側の端末で優先度情報に基づいて処理した画像や音声に関す る情報 （複数の、 画像ス ト リ ーム、 音声ス ト リームが存在するとき、 受 信側端末で実際に処理された画像、 音声ス ト リームは、 どのス ト リーム であり、 再生された画像ス トリ一ムは毎秒何フレームであつたかという 情報） を、 通信路を通じて送信先に送信することで、 送信側から受信側 の端末への画像データ送信が、 受信端末の処理量をこえるような量にな ることを未然に防ぐことができる （図 1 6のケース 2参照、 実際に処理 された画像データについて知ることで、 送信側の i子化パラメータ、 画 像サイズなどの情報量を調整することが可能となる。 なお、 この例では. フレーム単位で処理のフィ一ドバックを返しているが、 前述したように. 例えば、 H . 2 6 3ならば G O Bのように独立して扱えるような画像単 位であってもよい） 。 以上の方法は、 同様に音声に対しても適用できる _c 図 1 3は、 本発明の一実施の形態の画像圧縮装置について説明する図 である。 尚、 本実施の形態は、 画像に対しての例を説明しているが、 音 声の圧縮に対しても適用できる。 図 1 3の例では、 画像入力手段 1 2 0 7毎に量子化ステップを変化させたり、 画像入力手段 1 2 0 7に対する 制御によって受信側端末での受信状況が変化した場合に、 量子化ステツ プを追随させて変化させることにより、 圧縮画像の発生量の増大を低減 させようとするものである。 図 1 3の画像圧縮装置は、 量子化ステップ に関する情報を管理する量子化ステップ管理部 1 2 0 1、 画像入力手段 1 2 0 7の制御状態を管理する画像入力管理部 1 2 0 2、 受信側端末装 置の受信バッファの状況を監視する他端末制御要求管理部 1 2 0 3、 制 御の時間的な推移を記録、 管理する操作管理部 1 2 0 4、 画像圧縮を行 う手段である画像圧縮部 1 2 0 5、 圧縮結果を通信路ゃ記憶装置に出力 する出力部 1 2 0 6、 画像入力を行う画像入力手段 1 2 0 7及び、 これ ら各部を管理し、 また管理する制御を行う画像処理決定制御手段 1 2 0 8から構成される。

尚、 画像圧縮の方法としては、 J P E G、 M P E G l / 2、 H . 2 6 1 、 H . 2 6 3のような標準化されている方式でもよいし、 ウエーブレ ッ トゃフラク タルのような標準化されていない方式であってもよレ、。 画 像入力手段 1 2 0 7はカメラであっても、 ビデオ、 オプティカル 'ディ スクのよ うな記録装置であってもよい。

この画像圧縮装置の利用方法としては、 画像入力手段 1 2 0 7がカメ ラである場合、 受信側端末により送信側の端末のカメラが操作されたと きや送信側でカメラ操作が行われたとき、 画質が大きく変化するために、 送出される符号化量は変動する。 例えば、 カメラのコン トラス トを上げ た場合、 画像は見やすくなるが、 送出すべき符号化量は増える。 そこで、 コントラス トの向上とともに前述したように符号化量を低減させるため に、 画像圧縮の方式、 画像圧縮の有無、 画像圧縮の優先度、 画像のサイ ズ、 量子化ステップ、 フレーム数を適宜、 選択、 組み合わせて実施する ことにより、 符号化量を抑えることができる。

ここで述べているカメラ操作とは、 カメラを移動させる方向 （パン、 チル ト、 ズーム） 、 コン トラス ト、 フォーカス、 カメラ位置 （たとえば. 図面を撮影する場合はカメラを下向きに向け、 人物を撮影するときは水 平にする） が挙げられる。 画像圧縮の方式を変更する方法と しては、 力 メラを下向きに向けた場合は、 文書画像を撮影しているものと判断して ランレングスで画像を伝送し、 カメラが水平方向にむいている場合は、 人物の顔の様子を撮影しているものと して、 H . 2 6 1で撮影して画像 伝送を行う方法が挙げられる。 これにより、 不必要な情報の伝送を低減 させることが可能となる。

また、 複数のカメラが存在し、 複数のカメラから得られる映像を伝送 する必要がある場合に、 通信容量が限られている場合は、 利用者が着目 しているカメラの映像の画質やフ レーム数を多く して見やすく し、 着目 していないカメラの画質ゃフレーム数は低減してやる方法が考えられる _c 着目 しているカメラから得られる映像の画質ゃフレーム数を操作するこ とにより、 情報量が増大するため、 それに応じて着目 していないカメラ から得られる映像を制限して発生情報量を調整する必要がある。 発生す る情報量を調整する方法と しては、 画像サイズ、 量子化ステップの値、 フ レーム数などを調整する方法が挙げられる。 尚、 複数のカメラを用い て広視野画像を作成する場合の例については、 図 1 5を用いて後述する _c 図 1 4は、 操作管理部 1 2 0 4が管理する情報の例である。 図 1 4の 例では、 画像サイズ、 カメラ制御、 他端末の制御要求、 量子化ステップ. 図示しないフ レーム数について管理されている。 これらの管理情報に基 づいて、 受信側端末の受信バッファがオーバーフローしないように、 量 子化ステップとカメラ操作の関係を履歴情報と して記録、 管理すること で、 カメラ操作に対する制限を利用者に加えることができる。 また、 量 子化ステップや画像サイズ、 フレーム数などを自動的に変更させること で、 力メラ操作に伴う受信側端末の受信バッファのオーバ一フローゃァ ンダーフローを未然に防ぐことができる。

図 1 5に、 上記画像圧縮装置を広視野画像を作成する用途に応用した 例を示す。 図 1 5の例では、 複数のカメラから入力された画像を入力部 1 4 0 7で取得する。 その得られた複数の画像を受信端末 1 4 0 8側で つなぎ目なく接合 （合成） するとき、 受信端末 1 4 0 8が過負荷になる と端末が破綻を来すので、 それを防ぐために、 受信端末における過負荷 時の処理を行うべき画像の順序を定義した優先度を画像に付加する。 こ れにより、 受信端末 1 4 0 8側が過負荷になることを防ぐことができる。 図 1 5に示す画像圧縮装置は、 複数のカメラ （N台） を備えた入力部 1 4 0 7 と、 その入力部 1 4 0 7で得られたそれぞれの画像に対して傻 先度の付加を行う傻先度決定制御部 1 4 0 1 と、 利用者が （特に、 着目 して見たいと思って） カメラを指示、 操作した操作履歴を管理する操作 履歴管理部 1 4 0 2と、 画像の画質を制御する画質制御部 1 4 0 3と、 カメラから得られた画像を優先度に基づいて合成する画像合成部 1 4 0 4 (優先度の低い画像は合成しなくてもよい） と、 合成結果を出力する 出力部 1 4 0 5と、 それら各部を制御する圧縮制御部 1 4 0 6 とから構 成される。 出力部 1 4 0 5は通信路を介して受信端末 1 4 0 8に接続さ れている。

出力部 1 4 0 5の出力先は、 記録装置であっても通信路であってもよ い。 また、 画像の合成は必ずしも送信側の端末で行う必要はない。 優先 度が付加された画像を通信路を通して、 受信側端末へ送信し、 受信端末 側で合成してもよい。 なお、 得られた複数の画像を送信側端末で合成し て、 受信側端末で再生を行う場合、 得られた画像を送信側で受信端末で 必要となる （表示の） 優先度の高い順に合成して、 伝送路を使って合成 画像を受信端末装置に伝送する。

優先度の付加方法としては、 利用者が指示したカメラで得られた画像、 過去に指示の多かったカメラで得られた画像から順に高い優先度、 高い 画質 （たとえば、 フ レーム数を多く、 解像度を高く） なるようにすれば よい （必ずしも、 高い優先度の画像を高画質にする必要はない） 。 これ により利用者の着目度合いの大きい画像が高画質で、 優先的に表示され る。 画像に付加された優先度に応じて送信側端末からの画像伝送を制御 したり、 受信側端末での画像の伸張や表示を制御することにより、 利用 者における端末の応答性を確保することができる。

また、 優先度、 画質の高い画像、 フ レーム枚数の多い画像から順に、 隣接する接合された画像に対して段階的に、 優先度や画質を下げてゆく (優先度の管理は、 送信側端末で管理しておいてもよいし、 受信側端末 で管理しておいてもよい） 。 優先度の決定方法と しては、 必ずしもカメ ラの操作履歴に基づく ものでなくてもよい。 前述したように、 圧縮する 際にかかったローカル 'デコ一ドの時間に基づいて優先度の決定を行つ てもよいし、 優先度、 画質の高い画像、 フ レーム枚数の多い画像から順 に、 周辺の画像に対して、 処理の実施回数を規定する実施率を定義して もよい。 さらに、 音声に関しても、 複数あるカメラ毎にマイ クを設け、 音声の圧縮の有無を制御することで、 利用者の着目している方向の画像 に対応する音声のみを合成することが可能となる。

また、 前述したように、 送信側端末と受信側端末との問での応答時間 を参照して、 量子化ステップやフ レーム数を決定しもよい。 また、 受信 側端末で過負荷時に優先度情報に基づいて処理された画像に関する情報 を、 通信路を通じて送信先に送信するこ とで、 送信側から受信側端末へ の画像データ送信を受信端末の処理量をこえるような量になることを未 然に防ぐことができる。 また、 受信端末でのフ レームスキップの状態を 送信側へ伝送することにより、 その状態に応じてデータ量を調節するこ とができる。

更に、 画像は再送を行う伝送方法で伝送し、 音声は再送を行わない伝 送方法で伝送して、 受信側端末が、 画像の再送回数、 受信された音声の 誤り率、 廃棄率に関する情報のいずれかの情報を送信側端末に伝送する 構成とする。 そう して送信側端末で画像の圧縮方式、 量子化ステップの 値、 フレーム数、 圧縮すべき画像の大きさ、 画像圧縮の有無のいずれか を決定することで、 画像が乱れることなく、 音声の伝送の遅延を小さく するような制御が可能となる。 例えば、 T C P Z I Pを用いた通信では、 画像の伝送は T C Pで、 音声の伝送は U D Pで行うことで実現できる

(映像と音声は物理的に同じ伝送路にあってもよいし、 なくてもよい） 。 尚、 通信の方式は T C P // I Pだけに限定されない。 この方式は、 複数 の映像や音声を同時に伝送する場合、 それぞれの音声毎に廃棄率や誤り 率を定義して、 複数の映像の圧縮方法や伝送方法を制御してもよい。 最後に、 通常、 アナログ電話回線を用いた低ビッ トレー トの画像伝送 や、 画像の内容が大きく変動する場合、 画像に大きなブロ ックノイズ、 もあれが発生する。 このよ うな場合に圧縮処理だけで画像の品質を保つ のは難しい。 そこで、 画像の出力側のモニターに低域の信号のみを透過 させるフィルター （例えば、 画像処理によるローパス ' フィルター、 あ るいは物理的な偏光フィルター） を用いれば、 画像はぼやけた感じには なるものの、 ノイズや、 もあれが気にならない画像が得られる。

以上述べたところから明らかなように本発明は、 同時に複数の映像や 音声の復号、 合成を行う場合に、 端末の負荷状況に応じて優先度に基づ いて処理量を制御できるという長所を有する。

また、 本発明は、 課金状況に応じて複数の映像や音声を合成できると いう利点がある。

Claims

請 求 の 範 囲

1 . 画像情報の符号化を行う画像符号化手段及び、 その符号化さ れた種々の情報を送信もしくは記録する送信管理手段を有する画像符号 化装置と、 符号化された種々の情報を受信する受信管理手段、 その受信 された種々の情報の復号を行う画像復号手段、 その復号された 1つ以上 の画像を合成する画像合成手段及び、 その合成された画像を出力する出 力手段を有する画像復号化装置とを備えたことを特徴とする画像複号化 符号化装置。

2 . 音声情報の符号化を行う音声符号化手段及び、 その符号化さ れた種々の情報を送信もしくは記録する送信管理手段を有する音声符号 化装置と、 符号化された種々の情報を受信する受信管理手段、 その受信 された種々の情報の復号を行う音声復号手段、 その復号された 1つ以上 の音声を合成する音声合成手段及び、 その合成された音声を出力する出 力手段を有する音声複号化装置とを備えたことを特徴とする音声復号化 符号化装置。

3 . 請求項 1の前記画像復号化符号化装置と、 請求項 2記載の前 記音声復号化符号化装置とを備え、 前記画像符号化装置及び/又は前記 音声符号化装置は、 符号化された情報の過負荷時の処理の優先度を予め 決められた基準で決定し、 前記符号化された情報と前記決定された優先 度を対応づける優先度付加手段を有し、 前記画像複号化装置及び Z又は 前記音声複号化装置は、 受信された種々の情報の過負荷時の優先度に従 つて、 処理の方法を決定する優先度決定手段を有することを特徴とする 画像音声符号化復号化装置。

4 . 前記優先度付加手段および前記優先度決定手段は、 少なく と も画像の符号化方式、 画像のサイズ、 コン トラス ト、 画像の合成比率、 量子化ステップ、 フレーム番号、 フレーム数、 フレーム間符号化とフレ ーム内符号化の違い、 表示位置、 表示時刻、 有音区間と無音区間の違い のうち 1つ以上の情報に基づいて、 符号化された画像や音声の復号、 合 成、 表示の順序、 有無の処理方法を決定する優先度の付加方法を決定し たり、 処理対象とすべき傻先度を決定することを特徴とする請求項 3記 載の画像音声符号化復号化装置。

5 . 前記優先度付加手段および前記傻先度決定手段は、 画像の符 号化の際に復号にかかった時間や、 符号化にかかった時間に基づいて、 符号化された情報に付加する優先度を決定したり、 復号化の際に処理対 象とすべき優先度を決定することを特徴とする請求項 3記載の画像音声 符号化復号化装置。

6 . 前記優先度付加手段および前記優先度決定手段は、 画像の復 号、 合成、 表示の処理を行う実行回数を規定する実施率を定義し、 その 実施率に基づいて、 符号化された情報に付加する優先度を決定したり、 復号化の際に処理対象とすべき優先度を決定することを特徴とする請求 項 3記載の画像音声符号化複号化装置。

7 . 少なく ともフレーム内符号化のフ レームもしくは、 1 フ レ一 ム目もしくは最終フ レーム、 もしくはシーンチェンジのフ レームの過負 荷時の処理の優先度を高く設定することを特徴とする請求項 4記載の画 像音声符号化復号化装置。

8 . フレーム間符号化された画像は同一の優先度を割り当てるこ とを特徴とする請求項 4記載の画像音声符号化復号化装置。

9 . フレーム內符号化された画像に複数段階の優先度を割り当て ることを特徴とする請求項 4記載の画像音声符号化複号化装置。

1 0 . 前記画像復号手段は、 1 フレームよ り も小さい所定単位で 画像の復号処理を行うことを特徴とする請求項 1記載の画像符号化復号 化装置。

1 1 . 請求項 1の前記画像復号化符号化装置と、 請求項 2記載の 前記音声復号化符号化装 Sとを備え、 少なく とも、 課金に関する情報、 サ一ビスの内容を示す情報、 パスワード、 利用者コード、 国別コード、 合成、 表示の順位を示す情報、 復号の順位を示す情報、 利用者の指示、 端末の処理能力、 再生時刻のうち 1つ以上の情報に基づいて、 復号、 合 成、 表示すべき画像や音声の順番、 有無、 再生方法を決定するこ とを特 徴とする画像音声符号化複号化装置。

1 2 . 請求項 1の前記画像復号化符号化装置と、 請求項 2記載の 前記音声復号化符号化装置とを備え、 前記受信管理手段は、 前記種々の 情報のうち画像情報同士、 音声情報同士の関係を記述した情報を、 前記 画像情報や音声情報とは別の情報として独立して扱うことを特徴とする 画像音声符号化復号化装置。

1 3 . 前記画像情報同士、 前記音声情報同士の関係を記述するた めの記述方法を識別するための識別子により記述方法を識別することを 特徴とする請求項 1 2記載の画像音声符号化複号化装置。

1 4 . 請求項 1の前記画像複号化符号化装置と、 請求項 2記載の 前記音声複号化符号化装置とを備え、 前記画像合成手段もく しくは前記 音声合成手段は、 送信側から復号結果を破棄する指示が来るまで、 復号 結果を保持して管理、 利用することを特徴とする画像音声符号化複号化 装置。

1 5 . 請求項 1の前記画像復号化符号化装置と、 請求項 2記載の 前記音声複号化符号化装置とを備え、 画像情報同士や音声情報同士の関 係を記述した情報に基づき、 画像や音声を合成する際に、 必要とする復 号された画像や音声が用意されていなくて、 合成出来ない画像や音声が 存在することを利用者に提示することを特徴とする画像音声符号化復号 化装置。

1 6 . 画像を入力する 1つ以上の画像入力手段と、 その画像入力 手段の制御状態を管理する画像入力管理手段と、 受信端末の受信状況を 管理する他端末制御要求管理手段と、 少なく ともその管理された受信端 末の受信状況もしくは前記画像入力手段の制御状態に応じて、 画像の符 号化方法を決定する符号処理決定手段と、 その符号処理決定手段の決定 結果に従って、 前記入力画像を符号化する画像符号化手段と、 その符号 化された画像を出力する出力手段とを備えたことを特徴とするリアルタ ィム画像符号化装置。

1 7 . 前記符号処理決定手段は、 前記画像入力手段の制御状態に 応じて、 少なく とも符号化する優先度、 過負荷時の処理の優先度情報、 符号化方式、 量子化ステップの値、 フレーム数、 符号化すべき画像の大 きさ、 符号化の有無のいずれかを決定することを特徴とする請求項 1 6 記載のリアルタイム画像符号化装置。

1 8 . 請求項 1の前記画像復号化符号化装置及び請求項 2記載の 前記音声復号化符号化装置のうち少なく ともいずれかを受信端末とし、 請求項 1の前記画像復号化符号化装置及び請求項 2記載の前記音声復号 化符号化装置及び請求項 1 6の前記リアルタイム画像符号化装置のうち 少なく ともいずれかを送信端末と して、 それら端末間を通信路で接続し た情報伝送システムであって、 少なく とも前記受信端末の負荷、 前記受 信端末の前記優先度決定手段で決定された処理対象とすべき符号化され た情報の傻先度に関する情報、 前記受信端末でのフレームスキップの状 況のいずれかを前記送信端末に送信することにより、 前記送信端末にお いて、 画像もしくは音声の符号化の有無、 符号化の優先度、 符号化方式. 符号化すべき画像サイズ、 量子化ステップの値、 フ レーム数、 受信端末 の過負荷時の処理の優先度のいずれかを決定することを特徴とする情報 伝送システム。

1 9 . 請求項 1の前記画像復号化符号化装置及び請求項 2記載の 前記音声復号化符号化装置を受信端末とし、 請求項 1の前記画像復号化 符号化装置及び請求項 2記載の前記音声複号化符号化装置及び請求項 1 6の前記リ アルタイム画像符号化装置を送信端末として、 それら端末間 を通信路で接続した情報伝送システムであって、 画像の伝送は再送を行 う伝送方法で行い、 音声の伝送は再送を行わない伝送方法で行い、 少な く とも画像の再送回数、 受信された情報の誤り率、 及び廃棄率に関する いずれかの情報を前記送信端末に伝送することにより、 前記符号化処理 決定手段は、 符号化方式、 量子化ステップの値、 フ レーム数、 符号化す べき画像の大きさ、 符号化の有無、 及び受信端末の過負荷時の処理の優 先度の少なく ともいずれかを決定することを特徴とする情報伝送システ ム。

補正書の請求の範囲

[ 1 9 9 8年 1月 2 3日 （2 3 . 0 1 . 9 8 ) 国際事務局受理：新しい請求の範囲 2 0— 2 3が加えられた 他の請求の範囲は変更なし。 （2頁） ]

1 9 . 請求項 1 の前記画像復号化符号化装置及び請求項 2記載の 前記音声復号化符号化装置を受 ί言端末と し、 請求項 1 の前記画像復号化 符号化装置及び請求项 2記載の前記音声復号化符号化装置及び請求項 1

6の前記リ アルタイム画像符号化装置を送信端末と して、 それら端末間 を通信路で接続した情報伝送システムであって、 画像の伝送は再送を行 う伝送方法で行い、 音声の伝送は再送を行わない伝送方法で行い、 少な く と 画像の再送回数、 受信された情報の誤り - 、 及び廃棄率に関する いずれかの情報を前記送信端末に伝送することによ り 、 前記符号化処理 決定手段は、 符号化方^、 ffi子化ステ ップの値、 フ レーム数、 符号化す べき画像の大きさ、 符号化の冇 、 及び ¾信端末の過負荷時の処理の優 先度の少なく と もいずれかを決定するこ と を特徴とする情報伝送システ ム。

2 0 . (追加） 画像情報の符号化を行う画像符号化手段と、 その符号化された種々の情報を送信もしくは記録する送信管理手段と を備え、

符号化された種々の情報を受信する受信管理手段と、 その受信された 稱々の情報の復号を行う画像復号手段と、 その復号化された画像を出力 する出力手段とを有する画像復号化装置に前記符号化された嵇々 の情報 を出力する二とを特徴とする画像符号化装匿。

2 1 . (追加） 画像情報の符号化を行う画像符号化手段と、 その 符号化された種々の情報を送信も しくは記録する送信管理手段とを有す る画像符号化装置から送られてく る符号化された種々の情報を受信する 受信管理手段と、

その受信された種々の情報の復号を行う画像復号手段と、

その復号化された画像を出力する出力手段と、

を有することを特徴とする画像復号化装置。 補正された用紙 (条約第 19条）

2 2 . (追加） 音声情報の符号化を行う音声符号化手段と、 その符号化された種々の情報を送信もしく は記録する送信管理手段と を備え、

符号化された種々の情報を受信する受信管理手段と、 その受信された 種々の情報の復号を行う音声復号手段と、 その復号された音声を出力す る出力手段とを有する音声復号化装置に前記符号化された種々の情報を 出力することを特徴とする音声符号化装置。

2 3 . (追加） 音声情報の符号化を行う音声符号化手段と、 その 符号化された種々の情報を送信もしくは記録する送信管理手段とを有す る音声符号化装置から送られてく る符号化された種々の情報を受信する 受信管理手段と、

その受信された種々の情報の復号を行う音声復号手段と、

その復号化された音声を出力する出力手段と、

を有することを特徴とする音声復号化装置。

補正された用柢 (条約第 19条)