WO1998002002A1 - Image communication system and method - Google Patents

Description

B月 糸田 画像通信シス テム及び方法 技術分野

本発明は、 無線伝送路や L A N等の、 伝送誤 りが顕著に生 じる可能性のある伝 送路を用いて画像を伝送する画像通信シ ステ ム及び方法に関するものである。 背景技術

M P E G等に代表される汎用的な画像符号化方式では、 動画像の情報量を圧縮 する手法と して、 フ レーム間の差分を と る方法が一般的である。 このフ レーム間 了，測方式 （以後、 フ レーム間符号化 と呼ぶ） では、 前のフ レームから現在のフ レ —ムを予測 し、 その予測差分を伝送する。

しか し、 1 つのフ レームに伝送路でエラ一が重畳 してデータ が誤る と、 受信側 で誤ったデ一夕 を使ってフ レームを作るので、 誤 り を含むフ レームがで きて しま う。 更に、 その誤り を含むフ レームを基に次のフ レームが予測されるので、 それ 以降のフ レームにエラーが伝播する という 問題がある。

画像デ一夕にエラーが重 fiする という状況は、 C D — R O M等の蓄積媒体から の読みと り エラ一がある場合、 あるいは、 通信路を介するケースでは伝送誤 り が 存在する場合に生 じる。 特に無線伝送路を介する場合は伝送誤 り が顕著に大きい < そのような誤り のある伝送路上での画像通信方法の第一の従来例と して、 受信 側で誤 り を検出 した場合、 それを画像送信側に通知 し、 画像送信側ではそれを受 けてフ レーム間予測を用いないで符号化するフ レーム内符号化 （一般には、 I N T R A符号化とも呼ぶ） 方法を説明する。

図 1 8 に、 動き補償と離散コサイ ン変換 （ D C T ) を組み合わせた一般的な画 像符号化方式と、 上記第一の従来例を組み合わせた場合の構成例を示す。

入力画像は 1 0 1 の差分部で参照画像との差分がと られ、 1 0 2 の D C T部で D C Tが行われる。 処理結果の D C T係数は 1 0 3 の量子化器 （ Q ) で量子化さ れ、 1 0 9 のバ ッ フ ァ （ b u f f . ) に一時蓄稹される。 蓄稜されたデ一夕 は 1 1 0の誤 り制御部 （ e r r o r c o n t . ) からの制御によ り 読み出さ r -、 伝 送路 1 2 0 を介 して送信される。 *子化器 1 0 3 で量子化された信号は、 1 0 4 の逆量子化器 （ Q -1) で逆量子化された後、 1 0 5の逆 D C T部 （ I D C T ) で 逆 D C Tが行われ、 更に、 差分部 1 0 1 で差 し引かれた信号と同 じ参照画像 ί言号 が 1 0 6 の加算部で加算され、 1 0 7のフ レ ー ムメモ リ （ F M ) に蓄穣される。 1 0 8のフ レーム差分制御部では、 フ レームメ モ リ 1 0 7 に蓄棂されている 1 フ レーム前の符号化画像を読み出 し、 参照匿像信号と して 1 0 1 の差分部に送る。 誤り制御部 1 1 0では、 受信側から誤り の検出を通知されたら、 フ レ ーム差分制 御部 1 0 8を介しての差分部 1 0 1 への参照画像信号の入力を取 り やめ、 フ レ 一 ム内符号化方式に切 り 替える。

伝送路 1 2 0 を介 して送信された情報は、 画像受信側の 1 1 1 の誤 り検出部 ( e r r o r d e t e c t o r ) において受信誤 り が無いか判定され、 受信誤 り が無い場合には、 1 1 2の逆量子化部 （ Q _') で逆量子化される。 その後、 1 1 3の逆 D C T部 （ I D C T ) で逆 D C Tが行われ、 1 1 4の加算部において 1 1 5のフ レームメモ リ （ F M ) に蓄積されている 1 フ レーム前の受信画像を参照 画像信号と して加算され、 モニタ等へ出力される と共に、 フ レームメ モ リ 1 1 5 に蓄積される。 誤 り検出部 1 1 1 で受信誤り が検出された場合は、 画像送信側に 誤 り の検出を通知する。

誤 り のある伝送路上での画像通信方法の第二の従来例と して、 符号化時にフ レ ーム間差分をとる と きの参照画像を変更するこ とによ り、 エラーの伝播を防止す る方法を説明する。 すなわち、 その方法とは、 復号化側で受信したフ レームに誤 り が検出された場合、 エラ一が検出されたこ と と、 そのフ レーム番号または正し く 受信 · 復号化された最新のフ レーム番号を符号化側に通知し、 次に符号化する 時のフ レームの参照画像を、 鼷り が検出されたフ レームではな く、 最後に正し く 受信されたフ レームとするよう に変更するものである。

図 1 9 に、 動き補憤と離散コサイ ン変換 （ D C T ) を組み合わせた一般的な画 像符号化方式と、 上記第二の従来例を組み合わせた場合の例を示す。 なお、 図 1 9中の 2 0 1 〜 2 1 5、 2 2 0の各要素は、 図 1 8中の 1 0 1 〜 1 1 5、 1 2 0 の各要素に対応している。 第一の従来例との違いは、 符号 2 0 7 および 2 1 5 で示すよう に、 フ レームメ モ リ が複数ある こ と、 2 1 6 および 2 1 8 のフ レームメ モ リ 書き込み部が存在す る こ と、 2 1 7 および 2 1 9 のフ レームメモ リ 選択部が存在するこ とである。 まず、 画像送信側の構成と動作を説明する。

入力画像は 2 0 1 の差分部で参照画像との差分がと られ、 2 0 2 の D C T部で D C Tが行われる。 処理結果の D C T係数は 2 0 3 の量子化器で量子化され、 2 0 9 のバ ッ フ ァ に一時蓄積される。 蓄積されたデ一夕は 2 1 0 の誤 り 制御部から の制御に よ り読み出され、 伝送路 2 2 0 を介 して送信される。 こ の と き誤り 制御 部 2 1 0 は、 符号化したフ レーム番号と参照画像と して使用 したフ レ ームの番号 も送信する。

量子化器 2 0 3 で量子化された信号は、 2 0 4 の逆量子化器で逆量子化された 後、 2 0 5 の逆 0 〇 1"部で逆 0 〇 で が行ゎれる。 そ して、 2 0 6 の加算部におい て、 逆 D C Tが施された信号に、 差分部 2 0 1 で差 し引かれた信号と同 じ参照画 像信号が加算され、 加算後の信号が 2 1 6 のフ レームメモ リ書き込み部に送られ る。

フ レームメモ リ書き込み部 2 1 6 は、 送信されて きたデータ （フ レーム） を、 図 1 9 中 の F M l → F M 2→""→ F M n→ F M 1 →…の順に 2 0 7 のフ レームメ モ リ に蓄積する と共に、 どのフ レームメモ リ に何番目のフ レームを害き込んだか をフ レームメモ リ選択部 2 1 7 に通知する。 フ レームメ モ リ選択部 2 1 7 は、 フ レームメ モ リ書き込み部 2 1 6 から通知されたフ レームメ モ リ とフ レーム番号と の対応関係を記憶してお く と共に、 誤 り制御部 2 1 0 からの信号によ り、 F M 1 から F M nまでのフ レームメモ リ 2 0 7 から 1 つを選択し、 そこに蓄積されたフ レームを読み出 し、 2 0 8 のフ レーム差分制御部に送る。 フ レーム差分制御部 2 0 8は、 読み出 したフ レームメ モ リ の内容を参照画像信号と して差分部 2 0 1 に 送る。

誤り制御部 2 1 0 では、 伝送路 2 2 0 を介 して画像受信側の誤り検出部 2 1 1 から誤 り の検出および誤り があったフ レーム番号を通知された場合、 画像受信側 でエラーが検出されたフ レーム番号をフ レームメモ リ選択部 2 1 7 に通知する。 フ レームメ モ リ選択部 2 1 7 は、 通知されたフ レーム番号よ り前で最も新 しい番 号のフ レームをフ レームメ モ リ 2 0 7 から読み出 し、 フ レーム差分制御部 2 0 8 に送る。 また、 読み出 したフ レ ーム番号を画像送信側の娯 り制御部 2 1 0 に通知 する。 誤 り制御部 2 1 0は、 通知されたフ レーム番号を参照画像のフ レーム番号 と して、 符号化中のフ レーム番号と共に画像受信側に通知する。

また、 フ レームメ モ リ選択部 2 1 7 において、 誤り 制御部 2 1 0 から通知され たフ レーム番号よ り 前の番号のフ レームがフ レームメ モ リ 2 0 7 に存在しない場 合は、 フ レーム差分制御部 2 0 8での差分部 2' 0 1への参照画像 ί言号の入力を取 り やめ、 フ レーム内符号化に切 り 替える。 また、 誤 り制御部 2 1 0は、 受信側の 誤り検出部 2 1 1 から繰り 返 し通知される、 誤 り があったフ レーム番号を示す信 号 （画像受信側で参照画像を変更して符号化 した画像が受信される まで、 線り返 し送信される信号） については、 これを無視する。

次に、 画像受信側の構成と動作を説明する。

伝送路 2 2 0 を介 して送信された情報 （データ ） は、 2 1 1 の誤 り 検出部にお いて受信誤り が無いか判定され、 受信誤 り が無い場合には、 2 1 2の逆量子化部 で逆量子化された後、 2 1 3 の逆 0 0¹1部で逆13 ( 丁が行ゎれる。 また、 誤 り検 出部 2 1 1 は、 誤 り制御部 2 1 0から通知される現在の符号化画像が参照画像信 号と して使用 したフ レーム番号をフ レームメ モ リ選択部 2 1 9 に通知 し、 そのフ レーム番号のフ レームをフ レームメ モ リ 2 1 5から読み出 し、 2 1 4 の加算部に 送る。 2 1 4の加箅部では送られた参照画像信号を受信 ί言号と加算 し、 モニタ等 へ出力する と共に、 2 1 8のフ レームメ モ リ書き込み部に送る。

フ レームメモ リ害き込み部 2 1 8は、 画像送信側のフ レームメモ リ書き込み部 2 1 6 と全く 同 じ動作、 すなわち送られて きたデータ （ フ レーム） を F M 1 F M 2→^"→ F M n→ F M l→…の順にフ レームメモ リ 2 1 5 に蓄積する と共に、 どのフ レームメ モ リ に何番目のフ レームを書き込んだかを 2 1 9のフ レームメモ リ選択部に通知する。 2 1 9のフ レームメモ リ選択部は、 フ レームメ モ リ害き込 み部 2 1 8から通知されたフ レームメモ リ とフ レーム番号 との対応関係を記憶し てお く と共に、 誤 り検出部 2 1 1 からの信号によ り、 F M 1 から F M nのフ レー ムメモ リ から 1 つを選択して蓄積されたフ レームを読み出 し、 2 1 4の加算部に 送る。 誤 り検出部 2 1 1 では、 受信誤り が検出された場合は、 画像送信側へ、 誤 り が 検出されたこ と と、 誤 り が検出されたフ レ ーム番号または正 し く 受信 · 復号化さ れた最新のフ レーム番号を通知する。 また、 誤 り検出部 2 1 1 は、 誤 り が検出さ れたフ レーム番号を記憶 しておき、 その フ レーム番号よ り 前の番号に対応するデ —夕 を参照画像と して符号化 した画像データか、 ある いはフ レーム内符号化 した 画像デ一夕 を受信する まで、 記憶したフ レーム番号をフ レームメモ リ選択部 2 1 9 に通知 し続ける。

図 2 0 は、 第二の従来例の動作例を説明するための図であ り、 特に 2 0 7およ び 2 1 5 のフ レームメモ リ の数が 4の時の動作例を時系列に示 した図である。 同図において、 3 0 1 は画像送信側で符号化を行ってい る フ レーム の番号を示 してお り、 3 0 3は、 1 つのフ レームの符号化が終了 し、 次のフ レームの符号化 が開始さ れる時点でのフ レームメモ リ （ F M 1 ~ F M 4 ) 2 0 7 の内容を、 フ レ —ム番号で示 している。 また、 3 0 2は画像受信側で復号化を行っている フ レー ム番号を示してお り、 3 0 4は、 1 つのフ レームの復号化が終了 し、 次のフ レー ムの復号化が閧始される時点でのフ レームメモ リ 2 1 5の内容を、 同様にフ レー ム番号で示している。 また、 符号化側の処理フ レーム番号 3 0 1 と復号化側の処 理フ レーム番号 3 0 2 とがずれているのは、 伝送に要する時間があるからである。 また、 図中の画像デ一夕 を示す矢印 （実線） に付 した数字については、 例えば 「 9 / 8 」 は、 フ レーム番号 8のフ レームを参照画像と してフ レーム番号 9の符 号化を行った （画像） データ を表してい る。 実際には、 画像データはデ一夕量が 大き く 送信側から受信側へ連続的に流れているが、 図を見やす く するため、 画像 データの最後の部分のみを矢印 （実線） で表している。

図 2 0 に示す本動作例では、 フ レ ーム番号 1 0のデータ にエラ一が生 じた場合 を示している。 誤 り検出部 2 1 1は、 誤 り を検出する と誤 りが検出されたフ レー ム番号を含む N a c k信号 （図中 3 0 5参照） を送出する。 また、 誤 り検出部 2 1 1 は、 エラ一が生じたフ レ ーム番号である 1 0 を記憶してお く。 こ の N a c k 信号 （ 1 O N ) は、 画像送信側がフ レーム番号 1 2 を処理 している途中に誤 り制 御部 2 1 0 に受信され、 誤 り制御部 2 1 0はフ レームメモ リ選択部 2 1 7 に対し、 誤 り が検出されたフ レーム番号 1 0 よ り 前で最も新 しい番号である 9 を選択し、 それに対応するフ レームを参照画像と して、 次のフ レーム番号 1 3 のフ レームが 符号化されるよう に制御する。 同時に、 参照画像と してフ レ ー ム 9 を使用 したこ と を画像受信側に通知する （図中 3 0 6 参照） 。 こ の信号を受信 した娯 り検出部 2 1 1 は、 フ レームメ モ リ 選択部 2 1 9 に対し、 フ レーム番号 9 を参照画像と し て選択して読み出すよ う に指示する。 また誤 り 検出部 2 1 1 は、 フ レーム番号 1 1、 1 2 の画像データ に対して、 た とえそれ自体に誤 り が含まれていな く ても、 参照画像が 1 0 よ り 大きい番号のフ レームなので、 フ レーム番号 1 0 を含む N a c k信号 （ I O N ) を送出 し続ける。

本動作例の場合では、 エラ一が生 じた 1 0 番目のフ レ ーム、 およびそれを参照 画像と して使っている 1 1 番目のフ レーム、 1 1 番目のフ レームを参照画像と し て使っている 1 2 番目 のフ レーム にはエラーが伝播する力 ^s、 参照画像を変更 した 1 3 番目のフ レームにはエラ一は伝播 しない。 このよ う に、 第二の従来例におい ては、 エラ一が生 じて も フ レーム内符号化に切 り 替えずにエラーの伝播を く い止 める こ とができ る とい う利点がある。 上記の第一の従来例では、 フ レーム内符号化を行う こ とによ り、 誤 り がない場 合に比べて 1 フ レームの伝送に必要なデ一夕量が著 し く 増大し、 その結果と して の伝送フ レーム数の減少、 また、 量子化ステ ッ プ数を荒 く するこ とに よる復号画 像品貿の劣化を招 く という問題があった。 加えて、 デ一夕量が多いために、 フ レ —ム内符号化データが再びエラ一を含む確率が大き く な り、 繰り返しフ レーム内 符号化を行わなければならないという悪循環に陥る という問題点もあった。 また、 上記の第二の従来例では、 画像受信側が画像送信側に送る N a c k信号 が何らかの原因で画像送信側に届 く のが遅れた場合、 画像送信側が参照画像を変 更するまでに時間がかかり、 変更 しょう とする時には既にフ レームメモ リ 内には 適当な参照画像が存在 しない と言う 事態が生じる。 そのよ うな状況は、 N a c k 信号が途中でエラ一を含んで画像送信側で認識で きない場合、 伝送に要する時間 が長い場合、 伝送に要する時間に揺ら ぎがある場合、 さ ら に、 符号化後のデ一夕 量が一定でない場合に生 じる。 このよ う な時には、 '第二の従来例においても フ レ —ム内符号化を行う こ とで しかエラーの伝播を食い止める こ とがで きな く な り、 第一の従来例と同様の問題が生 じていた。 図 2 1 は、 図 2 0 に示したケース と同 じ条件において、 画像受信側から画像送 信側への信号にエラ一が生 じて画像送信側で認識できなかった場合の動作例を示 した図である。

本動作例において、 4 0 1 は画像送信側で符号化を行っている フ レームの番号 を示 してお り、 4 0 3 は、 1 つのフ レームの符号化が終了 し、 次のフ レ ームの符 号化が開始される時点でのフ レームメモ リ 2 0 7 の内容をフ レーム番号で示 して いる。 また、 4 0 2は受信側で復号化を行っているフ レームの番号を示 してお り、 4 0 4 は、 1 つのフ レームの復号化が終了 し、 次のフ レームの復 ^化が開始され る時点でのフ レームメ モ リ 2 1 5 の内容を同様にフ レーム番号で示している。 符 号化側の処理フ レーム番号 4 0 1 と復号化側の処理フ レーム番号 4 0 2 とがずれ ているのは、 伝送に要する時間があ るからである。

本勛作例では、 図 2 0の場合と同 じフ レーム番号 1 0のデ一夕にエラーが生 じ た場合を示している。 誤 り検出部 2 1 1 は、 誤 り を検出する と、 誤 り が検出され たフ レーム番号を含む N a c k信号を送出する （図中 4 0 5参照） 。 こ こ で、 こ の N a c k信号にエラーが生 じ、 誤 り制御部 2 1 0で認識で きなかったので、 画 像送信側は番号 1 2のフ レームを参照画像と してフ レーム番号 1 3 を符号化する < 画像受信側では、 次に、 フ レーム番号 1 1 のデータ を受信するが、 これは誤り が 検出されたフ レーム番号 1 0 を参照画像と して符号化されているので、 フ レーム 番号 1 0 を含む N a c k信号を送信する （図中 4 0 6参照） 。 こ の N a c k信号 ( 1 O N ) が、 送信側がフ レーム番号 1 3 を処理している途中に誤 り 制御部 2 1 0 に受信される と、 誤 り制御部 2 1 0は、 フ レームメ モ リ選択部 2 1 7 に誤 り が 検出されたフ レーム番号 1 0 よ り 前で最も新しい番号を選択させ、 フ レーム番号 1 4 を符号化しよう とするが、 この時点で、 フ レーム番号 1 0 よ り 前のフ レーム はフ レームメモ リ 2 0 7 内に存在 しない。 そのため、 フ レーム番号 1 4のフ レー ムについては、 フ レーム内符号化を行わざるを得な く なる （区中 4 0 7参照） 。 次に、 図 2 2 は、 図 2 0に示したケース と同 じ条件において、 伝送に要する時 間が長い場合の動作例を示した図である。 図 2 0 の場合と同 じ く、 フ レーム番号 1 0 の画像データ に誤 り が生 じ、 それを 通知する N a c k信号 （ 1 0 N ) が誤 り制御部 2 1 0 に受信されるが、 その信号 の到着が遅れているため （図中 5 0 5参照） 、 画像送信側で符号化する次のフ レ —ムはフ レーム番号 1 5 に移ってお り、 そのフ レーム番号 1 5 を符号化する時点 ではフ レーム番号 1 0以前のフ レームはフ レームメモ リ 2 0 7 には存在しない。 そのため、 フ レーム番号 1 5 のフ レームについてはフ レーム内符号化を行わざる を得な く なる。 発明の開示

本発明は、 上記の問題点に鑑みてなされたもので、 上記第二の従来例の持つ欠 点を除去 し、 即ち、 画像受信側から画像送信側へ受信エラーを通知する信号に誤 り が生 じた場合、 あるいは画像受信側から画像送信側への信号の到着が遅 く なつ た場合等でも、 変更すべき参照画像がフ レームメ モ リ 内に存在 しない とい う状況 を防 ぐ こ とができ、 フ レーム内符号化に切り 替えて画質を劣化させた り、 フ レー ム内符号化に切 り 替え るこ とによ り データ量が増大し、 再びエラーを含んで しま い、 フ レーム内符号化を繰り返した り するよ う なこ とのない画像通信システム及 び方法を提供する こ とを目的とする。

上記課題を解決するため、 本発明は、 画像送信側に、

• 入力画像を、 フ レーム間の差分を用いて圧縮を行う フ レーム間符号化方式によ り符号化 し、 符号化画像データ を出力する符号化部と、

• 画像受信側で受信された符号化画像データのエラ一の有無とその画像番号とを 通知する信号を該画像受信側から受信する信号受信部と、

• 前記符号化部から出力される符号化画像データ を、 前記フ レーム閱符号化方式 による符号化に用いる参照画像と して複数保持するためのバッ フ ァを有するメモ リ部と、

• 前記メ モ リ部に少な く とも 1 枚の画像が記憶されている場合、 前記信号受信部 が受信した信号が示す内容に基づき、 前記メモ リ 部に記憶された画像の中から、 前記符号化部が使用する参照画像を選択する参照画像決定部と、

• 前記符号化部が使用 した参照画像の番号を前記画像受信側に通知する参照画像 通知部と、

• 前記符号化部が出力する符号化画像データ の画像番号を通知する画像番号通知 部とを有 し、 一方、 画像受信側に、

• 前記画像送信側の符号化部が出力する前記符号化画像データ を受信 し、 該画像 データ のエラーの有無を検出 して出力する画像デ一夕 受信部と、

• 前記画像送信側の画像番号通知部から通知された前記符号化画像データ の画像 番号を受信する画像番号受信部と、

- 前記画像番号受信部が受信 した符号化画像データの前記画像番号と、 当該画像 データ に関する前記画像データ受信部が検出 したエラ ーの有無と を通知する信号 を前記画像送信側に送信する信号送出部と、

• 前記画像データ受信部が受信 した符号化画像データ を復号化 し、 復号化画像デ 一夕 を出力する復号化部と、

• 前記復号化部から出力される復号化画像データ を、 前記復号化に用いる参照画 像と して複数保持するためのバッ フ ァを有する メモ リ 部と、

• 前記画像送信側の参照画像通知部から通知された符号化時の参照画像番号を受 信する参照画像番号受信部と、

• 前記メ モ リ部に少な く とも 1 枚の画像が記憶されている場合、 前記参照画像番 号受信部が受信 した参照画像番号に応 じて、 前記メモ リ部に記憶された画像の中 から、 前記復号化部が使用する参照画像を選択する参照画像決定部と

を有する画像通信シス テムであ っ て、 前記画像送信側の信号受信部が受信 した信 号が示す内容に基づき、 前記符号化部が出力する符号化画像データの前記メモ リ 部への書き込み制御を行う メモ リ 変更手段を更に有 し、 該制御は、 新たなデータ を書き込むか否かの判定、 前記メモ リ部内の書き込み位置の決定、 前記メモ リ部 に既に書き込まれたデータの消去を含むものである画像通信システムを提供する。 また、 本発明は、 画像送信側が、

• 入力画像を、 フ レーム間の差分を用いて圧縮を行う フ レ ーム間符号化方式によ り符号化 し、 符号化画像デ一夕 を出力する過程と、

• 画像受信側で受信された符号化画像データのエラ一の有無とその画像番号とを 通知する信号を該画像受信側から受信する過程と、 - 前記出力された符号化画像データ を前記フ レーム間符号化方式による符号化に 用いる参照画像と して複数保持するためのバッ フ ァを有するメ モ リ部に少な く と も 1 枚の画像が記憶されている場合、 前記画像受信側から受信 した信号が示す内 容に基づき、 前記メ モ リ部に記憶された画像の中から前記符号化で使用する参照 画像を選択する過程と、

• 前記符号化において使用 した参照画像の番号を前記画像受信側に通知する過程 と、

- 前記出力された符号化画像データ の画像番号を通知する過程とを有 し、 一方、 画像受信側が、

- 前記画像送信側が出力する前記符号化画像データ を受信 し、 該画像データ のェ ラ ーの有無を検出 して出力する過程と、

• 前記画像送信側から通知された前記符号化画像デ一夕 の画像番号を受信する過 程と、

• 前記受信された符号化画像データ の前記画像番号と、 当該画像データ に関する 前記検出されたエラ一の有無とを通知する信号を前記画像送信側に送信する過程 と、

' 前記受信された符号化画像データ を復号化 し、 復号化画像デ一夕 を出力する過 程と、

' 前記画像送信側から通知された符号化時の参照画像番号を受信する過程と、 • 前記出力された復号化画像データ を前記復号化に用いる参照画像と して複数保 持するためのバッ ファ を有するメモ リ部に少な く とも 1 枚の画像が記億されてい る場合、 前記受信された参照画像番号に応 じて、 前記メモ リ部に記憶された画像 の中から、 前記復号化で使用する参照画像を選択する過程と

を有する画像通信方法であって、 前記画像送信側が受信 した信号が示す内容に基 づき、 前記出力された符号化画像データの前記メモ リ部への書き込み制御を行う 過程を更に有 し、 該制御は、 新たなデータ を書き込むか否かの判定、 前記メモ リ 部内の書き込み位置の決定、 前記メモ リ部に既に書き込まれたデータ の消去を含 むものである画像通信方法を提供する。

これら システム及び方法によれば、 送信側のメ モ リ部に、 画像受信側で最後に 正し く 受信された符号化時の参照画像が必ず一つは保持される ので、 画像受信側 から受信エラーが通知された場合に、 正しい参照画像がな く なる とい う状況を回 避するこ とがで き る。 即ち、 フ レーム間符号化を続けながらエラー波及を防止す る という従来技術において、 参照画像がメ モ リ部内に存在 しな く な り フ レ ーム内 符号化を余儀な く されたよ うなケースでも、 同 じメ モ リ規模で、 最後に正 し く 受 信された参照画像をメ モ リ部内に保持 してお く こ とがで き、 S像品質の劣化を防 ぐこ とができる。

こ こ で、 メモ リ 変更手段の行う害き込み制御によ り、 画像受信側で最後に正し く 受信された符号化画像デ一夕 に対応する参照画像よ り古い参照画像や、 画像受 信側から受信エラーが通知された符号化画像データ に対応する参照画像を上記メ モ リ 部から消去する こ とが、 メ モ リ部のノ、' ッ フ ァ領域 （フ レームメ モ リ数等） を 削減する上で好適である。

なお、 本発明における画像の処理単位は、 フ レーム単位が代表的な例であ るが、 そのほかにも、 フ レームを構成する画像の小領域やその小領域を構成する画素の 集ま り の単位を処理単位とするこ と もで き る。

以下に、 本発明を応用 した形態例を挙げる。

前記画像送信側が、 前記信号受信部が、 予め設定 してある時間内に前記画像受 信側からの信号を受信 したか否かを判定 し、 受信 しなかったと判定した場合に前 記メモ リ 変更手段にその旨を通知する夕 イ マ手段を更に有する よ う にすれば、 前 記メモ リ 変更手段の書き込み制御によ り、 画像受信側から画像送信側への信号、 特に、 受信エラーを通知する信号に誤 り が生 じて受信できない場合、 あるいは、 伝送遅延の増大、 画像受信側の処理遅延等によ り信号の到着が遅く なった場合等 でも、 速やかに参照画像を変更 して画像受信側でのエラー画像からの復帰を早め る こ とが可能になる。

また、 前記画像送信側が、 前記符号化部が予め設定 してある量の画像を符号化 する間に、 前記信号受信部が前記画像受信側からの信号を受信 したか否かを判定 し、 受信 しなかったと判定 した場合に前記メ モ リ 変更手段にその旨を通知する画 像計数手段を更に有するようにすれば、 前記メ モ リ 変更手段の書き込み制御によ り、 画像の符号化量にばらつきがあ り、 かつ画像受信側からの信号、 特に、 画像 送信側へ受信エラーを通知する信号に誤 り が生 じて受信で きないよう な場合、 あ るいは伝送遅延の增大、 画像受信側の処理遅延等によ り信号の到着が遅 く なった 場合等でも、 速やかに参照画像を変更 して画像受信側でのエラ一画像から の復帰 を早める こ とが可能になる。

また、 前記画像送信側が、 該送信側のメ モ リ部の内容を監視し、 該メ モ リ部に 前記フ レーム間符号化に使用で き る参照画像が 1 つも記憶されていない場合に、 前記符号化部にその旨を通知するメ モ リ 保持状況通知手段を更に有するよう に し、 前記符号化部は、 前記メ モ リ保持状況通知手段から通知を受けた場合、 次の画像 の符号化をフ レーム内符号化方式で行う よ う に しても良い。 これによ り、 メ モ リ 部に参照画像が存在しない場合に入力画像がフ レーム間符号化されて しま う よう な特殊な事態が防止で き る。

また、 前記符号化部が、 前記フ レ ーム間符号化方式と フ レ ーム内符号化方式と を併用 し、 いずれかの方式によ り符号化を行う ものである場合、 前記画像送信側 が、 前記符号化部がフ レーム内符号化を行った場合に、 前記メ モ リ変更手段にそ の旨を通知する符号化状況通知手段を更に有するよ う にすれば、 前記メ モ リ変更 手段の害き込み制御によ り、 フ レーム内符号化が行われた場合に、 該符号化によ るエラ一波及防止効果を考慮し、 メ モ リ 内の不要なデータ を消去する等 して次の 符号化がよ り適正に行われるよ う な内容にメモ リ を書き換える こ とが可能となる。 また、 前記画像受信側に、 該受信側のメ モ リ部に記憶された画像の情報を前記 画像送信側に通知する メ モ リ情報通知手段を更に設け、 前記画像送信側に、 前記 メ モ リ情報通知手段から通知された画像情報を受信し、 その内容を前記送信側の 参照画像決定部に通知するメモ リ情報受信手段を更に設け、 前記画像送信側の参 照画像決定部は、 前記参照画像の選択を、 前記信号受信部が受信した信号が示す 内容及び前記メモ リ情報受信手段から通知された情報に基づいて行う よう しても 良い。 これによ り、 画像送信側の参照画像决定部が、 画像受信側のメ モ リ部内に 存在 しない画像を参照画像と して選択するこ と を防止できる。

' また、 前記画像受信側に、 前記画像データ受信部が検出 したエラーの有無の情 報を受け、 エラ一有 り の場合には前記復号化部からの出力が前記受信側のメモ リ 部に送られず、 エラ一無 しの場合には該復号化部からの出力が該メ モ リ部に送ら れる よ う に制御する切替手段を更に設けても良い。 これに よ り、 シ ス テム内部で は誤 り の無い画像データのみが保持される よ う に しながら、 エラー画像を敢えて 利用 した、 ュ一ザに と ってよ り使いやすいシ ス テムの実現が可能にな る _c これら応用形態例に よ り得られる効果は、 各形態の動作に対応する方 ¾の実行 に よ っ て も、 同様に得られる。 また、 本発明は、 上記シス テ ムにおける 象送信 側の各構成要素を有する送信装置、 画像受信側の各構成要素を有する受信装置、 及び、 これら各装置に対応する方法、 また、 上述した各方法を実行するコ ン ビュ —夕 プロ グラムを記憶した記憶媒体を提供する。 図面の簡単な説明

図 1 は、 本発明の第一の実施例の全体構成を示すブロ ッ ク図である。

図 2 は、 図 1 のフ レームメモ リ 変更部の動作フ ロー図 （その 1 ) である。 図 3 は、 図 1 のフ レームメモ リ 変更部の動作フ ロ ー図 （その 2 ) である。

図 4 は、 第一実施例の動作例の説明図である。

図 5 は、 一般的な画像符号化方式と第一実施例と を組み合わせた変形実施例の 構成図である。

図 6 は、 本発明の第二の実施例の全体構成を示すプロ ッ ク図である。

図 7 は、 図 6 の夕 イ マ部の動作フ ロー図である。

図 8 は、 図 6 のフ レームメモ リ 変更部の動作フ ロー図 （その 1 ) である。

図 9 は、 図 6 のフ レームメモ リ 変更部の動作フ ロー図 （その 2 ) である。

図 1 0 は、 第二実施例の動作例の説明図である。

図 1 1 は、 一般的な画像符号化方式と第二実施例とを組み合わせた変形実施例 の構成図である。

図 1 2 は、 本発明の第三の実施例の全体構成を示すブロ ッ ク図である。

図 1 3 は、 図 1 2 のフ レーム計数部の動作フ ロー図である。

図 1 4 は、 図 1 2 のフ レームメモ リ 変更部の動作フロー図 （その 1 ) である。 図 1 5 は、 図 1 2 のフ レームメモ リ 変更部の動作フロー図 （その 2 ) であ る。 図 1 6 は、 第三実施例の動作例の説明図である。

図 1 7 は、 一般的な画像符号化方式と第三実施例と を組み合わせた変形実施例 の構成図である：

図 1 8 は、 一 的な画像符号化方式と第一の従来例と を組み合わせた場合の構 成図である。

図 1 9 は、 一 的な画像符号化方式と第二の従来例と を組み合わせた場合の構 成図である。

図 2 0 は、 第二の従来例の動作例の説明図である。

図 2 1 は、 第二の従来例の別の動作例の説明図である。

図 2 2 は、 第二の従来例のさ ら に別の動作例の説明図である。

図 2 3 は、 本 ¾明の第四の実施例の全体構成を示すプロ ッ ク図である。

図 2 4 は、 本 ¾明の第五の実施例の全体構成を示すプロ ッ ク図である。

図 2 5 は、 図 2 4 のフ レームメ モ リ 変更部の動作の部分フ ロー図である。

図 2 6 は、 本 明の第六の実施例の全体構成を示すプロ ッ ク図である。

図 2 7 は、 本 明の第七の実施例の全体構成を示すブロ ッ ク図である。 発明を実施するための最良の形態

以下、 本発明の実施例を、 図面を参照 して詳細に説明する。

図 1 は、 本発 ¾によ る第一の実施例の全体構成を示すブロ ッ ク図である。

始めに、 画像送信側 1 1 0 1 の構成と動作を説明する。

カメ ラ等から入力された画像は、 フ レーム間の差分を用いて圧縮を行う 画像符 号化方式による符号化部 6 0 1 によ り符号化される と共に、 符号化部 6 0 1 から フ レームメモ リ 変更部 6 0 5 に送られる。

フ レームメ モ リ 変更部 6 0 5 は、 後記する画像受信側からの A c k , N a c k 信号を受信する信号受信部 6 0 2 からの信号によ り、 符号化部 6 0 1 からの参照 画像用デ一夕 を、 フ レ ームメモ リ部 6 0 3 に書き込むか否か、 書き込むとする と 複数保持でき るバッ フ ァ （フ レームメ モ リ ） の どこに書き込むか、 あるいは、 消 去する場合にはフ レームメモ リ のどの部分ある いは全部を消去するかを決定する。 また、 フ レーム番号通知部 6 ' 0 7 から通知さ れる フ レーム番号と （書き込みを行 つた） 符号化部 6 0 1 からの参照画像用デ一夕 と を対応させる。 具体的な決定方 法の例は後述する。 参照画像決定部 6 0 4 は、 フ レームメ モ リ 変更部 6 0 5 からの信号によ り、 次 に符号化する フ レームの参照画像を何にするかを決定 し、 フ レームメ モ '.'部 6 0 3 から読み出 して符号化部 6 0 1 に送る。 具体的な決定方法の例は後述する。 ま た、 参照画像通知部 6 0 6 を介して、 符号化に使用 した参照画像の番号を画像受 ί言側に通知する。 また、 符号化を行ったフ レ一ム番号を フ レーム番号通矢 Γ部 6 0 7 を介して画像受信側に通知する。

次に、 画像受信側 1 2 0 1 の構成と動作を説明する。

画像信号受信部 6 0 8 は、 画像送信側から符号化データ を受信 し、 その符号化 デ一夕のエラーの有無を検知 し、 エラーが検知された場合には、 信号送出部 6 0 9 に通知する。 信号送出部 6 0 9 は、 エラ一があったフ レ ームのフ レ ーム番号を 、 画像送信側のフ レーム番号通知部 6 0 7 から通知される フ レーム番号を受信す る フ レ ー ム番号受信部 6 1 0 から読み出 し、 エラーが検出された とい う N a c k 信号をそのフ レーム番号と共に画像送信側に通知する。

また、 画像信号受信部 6 0 8 は、 エラーが検出されなかった場合には、 それを 信号送出部 6 0 9 に通知する。 信号送出部 6 0 9 は、 その と きのフ レーム番号を フ レーム番号受信部 6 1 0 から読み出 し、 エラーが検出されなかったこ とを示す A c k信号をそのフ レーム番号と共に画像送信側に通知する。 それ以外の場合は、 エラーが継続している こ と を画像送出側に通知する。

画像信号受信部 6 0 8 で受信 した符号化デ一夕は復号化部 6 1 3 で復号される。 こ こで誤 り 無 く 復号可能な場合には、 参照画像決定部 6 1 1 は、 画像送信側の参 照画像通知部 6 0 6 から通知される符号化データ の参照画像番号が何かを参照画 像番号受信部 6 1 2 を介して知 り、 その番号に対応するデータ をフ レームメ モ リ 部 6 1 4 から読み出 し、 復号化部 6 1 3 に送る。

復号化部 6 1 3 は、 画像デ一夕 を誤 り な く 復号してモニタ等へ出力する と共に、 フ レームメモ リ部 6 1 4 に書き込む。 誤り のない画像データが得られなかった場 合は、 モニタ等への出力やフ レームメ モ リ部 6 1 4への書き込みは行わない。 フ レームメ モ リ部 6 1 4 は、 フ レーム番号受信部から フ レーム番号を読み出 し、 復 号化部が書き込む復号 した画像との対応を付ける。 また、 フ レームメ モ リ部 6 1 4 は、 参照画像決定部 6 1 1 に、 新たに書き込まれたフ レーム番号と その （メ モ リ 内の） 位置を通知する。

本実施例における各部の詳細は、 画像送信側のフ レームメモ リ 変更部 6 0 5 を 除いては、 第二の従来例の説明で用いた図 1 9 の構成と同様である。 ただ し、 図

1 9 の誤り制御部 2 1 0、 誤り検出部 2 1 1 に相当する部分の動作が、 第二の従 来例とは異なる。

第二の従来例で説明 した誤 り検出部 2 1 1 は、 エラーが検出された と きのみ誤 り制御部 2 1 0 にその旨を通知 していたが、 本実施例の画像受信側の画像信号受 信部 6 0 8 は、 エラ一がない場合も正し く 受信 したフ レーム番号を含む A c k信 号を画像送信側の信号受信部 6 0 2 に通知する。 同様に、 誤 り制御部 2 1 0 は、 誤り検出部 2 1 1 からエラ一を通知された時のみフ レームメモ リ選択部 2 1 9 に その旨を通知 していたが、 本発明の信号受信部 6 0 2 は、 誤 り な く 受信 したこ と を通知された場合に も、 フ レームメ モ リ 変更部 6 0 5 にその旨を通知する。 次に、 本発明の特徴である フ レームメモ リ 変更部 6 0 5 の動作を、 よ り詳細に 説明する。

図 2、 図 3 は、 フ レームメモ リ 変更部 6 0 5 の動作フ ローを表 したフ ロ一チヤ ー ト である。 フ レームメモ リ 変更部 6 0 5 は、 信号受信部 6 0 2 からの入力と符 号化部 6 0 1 からの入力とを監視してお り （ 7 0 1 , 7 0 2 ) 、 それそれの入力 によ り動作する。 具体的な動作については以下で、 システ ムの動作例と共に説明 する。 なお、 図 2 中の①は図 3 中の①へ、 図 3 中の②は図 2 中の②へ処理の流れ が桡く こ とを表す。

図 4 は、 本実施例の動作例を時系列に示した図である。 図の記載形式及び各符 号の意味は図 2 0 と同様であ り、 6 0 3 および 6 1 4 のフ レームメモ リ部の内部 フ レームメモ リ （バッ フ ァ） 数が 4 の場合の動作例を時系列に示 している。

8 0 1 は、 画像送信側で符号化を行っているフ レームの番号を示してお り、 8 0 3 は、 1 つのフ レームの符号化が終了 して次のフ レームの符号化が開始される 時点での、 フ レームメ モ リ部 6 0 3 の参照バッ フ ァ （フ レームメモ リ （ F M 1 〜 F M 4 ) ) の内容をフ レーム番号で示している。 また、 8 0 2 は、 画像受信側で 復号化を行っているフ レーム番号を示してお り、 8 0 4 は、 1 つのフ レームの復 号化が終了 して次のフ レームの復号化が開始される時点での、 フ レームメモ リ 6 1 4 の参照ノ、 - ッ フ ァ （ フ レーム メ モ リ （ F M 1 〜 F M 4 ) ) の内容を、 同様にフ レーム番号で示 してい る。 符号化側の処理フ レ ーム番号 8 0 1 と復号化側の処理 フ レ ーム番号 8 0 2 とがずれているのは、 伝送に要する時間があるからである。 また、 図中の画像データ を示す矢印 （実線） に付 した数字については、 例えば 「 9 / 8 」 は、 フ レ ー ム番号 8 のフ レームを参照画像と してフ レーム番号 9 の符 号化を行った （画像） デ一夕 を表している。 但 し、 参照バ ッ フ ァの表記は、 どの フ レームが最新かをわか り やす く 示すために、 図 2 0 のよ う に古いフ レームを上 書き してい く のではな く、 最新のフ レームが F M 4 に存在する ようなスタ ッ ク型 のメ モ リ 管理を仮定 して記載 している。

画像受信側から フ レ ーム番号 9 を含む A c k信号 （ 9 A ) を受信した画像送信 側の信号受信部 6 0 2 は、 それをフ レームメ モ リ 変更部 6 0 5 に通知する。 フ レ ームメモ リ 変更部 6 0 5 は、 図 3 のステ ッ プ 7 0 3 の処理に従い、 番号 9 よ り 古 いフ レームである番号 7、 8 のフ レームをフ レームメモ リ部 6 0 3から消去する。 これによ り フ レ ームメ モ リ 6 0 3 の内容は、 番号 9、 1 0 のフ レーム となる。 次 に、 図 3 のステ ッ プ 7 0 4 の処理に従い、 参照画像泱定部 6 0 4 に対 し、 フ レー ムメモ リ 部 6 0 3 内の最新のフ レームを参照画像と して使用するこ と を指示する。 次に、 番号 1 1 の フ レームの符号化が終了する と、 番号 1 1 の フ レームの画像 データが符号化部 6 0 1 から フ レームメモ リ 変更部 6 0 5 に送信される。 フ レー ムメ モ リ 変更部 6 0 5 は、 図 2 のス テ ッ プ 7 0 5 の処理に従い、 番号 1 1 のフ レ —ム の画像デ一夕 をフ レームメ そ リ部 6 0 3 に書き込む。 その後、 符号化部によ り 番号 1 2 のフ レームの符号化が開始されるが、 そのと きのフ レームメモ リ部 6 0 3 の内容は、 図 4 で符号 8 0 5 で示すよう に 「 9、 1 0、 1 1 」 となっている。 また、 参照画像と して フ レームメモ リ部 6 0 3 内の最新のフ レームを参照画像と して使用するよう に指示されている参照画像決定部 6 0 4 は、 この時点での最新 のフ レームであるフ レーム 1 1 を、 フ レーム 1 2 の符号化の参照画像と して使用 するよう に働 く。

次に、 番号 1 2 の フ レームの符号化中に番号 1 0 のフ レ ームの N a c k信号 ( 1 0 N ) を受信 した と仮定する。 信号受信部 6 0 2 は、 それをフ レームメモ リ 変更部 6 0 5 に通知する。 フ レームメモ リ 変更部 6 0 5 は、 図 3 のステ ッ プ 7 0 6の処理に従い、 直前のフ レーム以外のフ レームを参照画像と して使用 したフ レ —ムを探すが、 フ レームメモ リ 内の番号 9、 1 0、 1 1 の各フ レーム と も直前の フ レームを参照画像と して使用 しているので、 ステ ッ プ 7 0 7の処理に従い、 N a c k信号に書かれている番号 1 0以降のフ レーム 1 0、 1 1 を、 フ レームメモ リ から消去する。

また、 ステッ プ 7 0 8の処理によ り、 現在符号化中の番号 1 2のフ レ ームはフ レームメ モ リ部 6 0 3 に書き込まないよ う にする。 番号 1 2のフ レームの符号化 終了時のフ レームメモ リ の内部は、 符号 8 0 6 で示すよ う に、 「 9」 のみとなつ ている。 次に、 フ レーム 1 3の符号化を開始するが、 その時の参照画像は、 ステ ッ ブ 7 0 4の処理によ り、 フ レームメモ リ 内の唯一の最新フ レームである フ レー ム 9 が使用される。

次に、 フ レーム 1 3 の符号化中にフ レーム 1 0の N a c k信号 （ 1 O N ) を再 び受信した信号受信部 6 0 2は、 それをフ レームメ モ リ 変更部 6 0 5 に通知する, フ レームメモ リ 変更部 6 0 5は、 図 3のステ ッ プ 7 0 6の処理に従い、 直前のフ レーム以外のフ レームを参照画像と して使用 したフ レーム を探す。 今回はフ レ一 ム 1 3が直前のフ レームではな く フ レーム 9 を参照画像と して使用 しているので, 図 3 のステ ッ プ 7 0 9 (本動作例では該当する、 消去すべき フ レームはない）. 、 ステ ップ 7 0 4 の処理に従い、 フ レーム 1 3 を参照画像と して フ レーム 1 4 を符 号化する。

次のフ レーム 1 4の符号化中にフ レーム 1 0の N a c k信号 （ 1 0 N ) を受信 した場合の動作は、 上と同 じである。

最後に、 フ レ ーム 1 5の符号化中にフ レーム 1 3 の A c k信号 （ 1 3 A) を受 信した信号受信部 6 0 2は、 それをフ レームメ モ リ 変更部 6 0 5 に通知する。 フ レームメ モ リ変更部 6 0 5は、 ステ ップ 7 0 3 の処理に従い、 A c k儅号に書か れたフ レーム番号 1 3 よ り古い番号のフ レーム 9をフ レームメモ リ内から消去す る。 フ レーム 1 6の符号化は、 ステ ッ プ 7 0 4の処理に従い、 フ レーム 1 5 を参 照画像と して行う。

図 5は、 動き補憤と離散コサイ ン変換 （ D C T ) とを組み合わせた一般的な画 像符号化方式と上記実施例とを組み合わせた変形実施例である。 前述 した実施例では、 画像をフ レーム単位に処理する例を示 したが、 画像の処 理単位はフ レ ーム単位だけでな く、 G O B ( G r o u p o f B l o c k : フ レームを構成する画像の小領域） や M B (M a c r o B l o c k ： G O Bを構 成する画素 （ C r , C b , Y ) の集ま り の単位） を単位とするこ と も可能である。 そこで、 本変形実施例では、 図 1 の各部の名称に関 し、 " フ レーム番号" に代 えて " 画像番号" を採用 し、 " フ レームメモ リ " に代えて複数の画像メ モ リ （ M 1 , M 2 , … M 3 ) からなるメ モ リ を採用 し、 " フ レ ームメモ リ 変更部" に代え て " メ ΐ リ 変更部" を採用 している。 ただ し、 図 5の変形実施例では、 図 1 に相 当する構成部分には、 図 1 と同一の番号を付 してある。 なお、 従来例における画 像送信側の差分部、 麒散コサイ ン変換部 （ D C T ) 、 量子化器 （ Q ) 、 逆量子化 器 （ Q -') 、 逆 D C T部 （ I D C T ) 、 加算部、 およびフ レーム差分制御部に対 応する部分は、 図 5では符号化部 6 0 1 と して記載されている。 また、 従来例の 画像受信側の逆量子化器 （ Q ' ) 、 逆 D C T部 （ I D C T ) 、 および加算部に対 応する部分は、 図 5では復号部 6 1 3 と して記載されている。 また、 図 5では、 画像メモ リ （ M l , M 2 , - M 3 ) とメ モ リ 書き込み部 （ 6 1 4 a ) を合わせて メモ リ 6 1 4 と して記載している。

なお、 画像の処理単位をフ レームではな く よ り 小さな単位とする場合、 動き補 憤を行う範囲を、 その小単位内に閉 じるこ とが必要である。 上述した第一の実施例によれば、 参照画像を変更するこ とによ り フ レーム間符 号化を続けながらエラ一波及を防止する という従来技術に対し、 従来技術では参 照画像がフ レームメ モ リ 内に存在しな く な り フ レーム内符号化を余儀な く される ケースでも、 同一のフ レームメモ リ数で、 最後に正 し く 受信されたフ レームの参 照画像をフ レームメモ リ 内に保持してお く こ とがで き、 画像品質の劣化を防ぐ こ とができ る。 従って、 従来技術ではう ま く 動作 しないよう な場合でも、 問題な く 動作させる こ とができ る。 次に、 本発明による第二の実施例を説明する。

図 6は、 第二の実施例の全体構成を示すブロ ッ ク図であ る。 本図においては、 第一の実施例の全体構成を示すプロ ッ ク図である図 1 と比べて、 タ イ マを内蔵す る夕 イ マ部 6 1 5 が付加されている。 その他の各部は、 第一の実施例と同様の構 成であるので、 それら の各部には図 1 と同 --の符号を付 してある。

図 7は、 タ イ マ部 6 1 5の動作を示す動作フ ローであ る。 本実施例における動 作では、 図 1 の各部による前述 した動作に加え、 信号受信部 6 0 2は、 画像受信 側の信号送出部 6 0 9からの A c k , N a c k信号を受信 した場合に、 それを夕 イ マ部 6 1 5に通知する。 夕 イ マ部 6 1 5は、 こ の信号で夕 イ マ リ セ ッ ト を行つ て再起動を繰り返すが、 こ の信号が通知されないために夕 イ マが満了 した場合に は、 それをフ レームメ モ リ 変更部 6 0 5に通知する。

図 8、 図 9は、 本第二の実施例におけるフ レームメモ リ 変更部 6 0 5 の動作フ ローであ る。 同フ ローに示すよ う に、 第一実施例に示 した動作に加え、 タ イ マ部 6 1 5からの信号によ っても参照画像を変更する操作が行われる （ステ ップ C O 1 ) 。 なお、 図 8 中の①は図 9 中の①へ、 図 9 中の②は図 8 中の②へ、 図 8 中の ③は図 9 中の③へ、 処理の流れがそれそれ続く こ と を表す。

図 1 0 は、 本第二の実施例の動作例を時系列に示 した図である。 符号の窻味は 図 4 と同 じであ り、 説明を省略する。

夕 イ マ部 6 1 5は、 A c k信号あるいは N a c k信号の受信によ り 内蔵するタ イ マを リ セ ッ ト し、 再起動を繰 り返す。 本動作例では、 図 4 と同様に、 1 0 フ レ —ム目の画像データ にエラーが生 じた例を示 している。 さ らに、 それに対応する N a c k信号にもエラーが生じ、 信号が失われて しまった （画像送信側の信号受 信部 6 0 2で認識で きなつた） 状況を示 している。 この場合、 タイ マ部 6 1 5で は、 フ レーム 9の A c k信号の受信から起動していた夕 イ マが満了するので、 夕 イ マ満了がフ レームメ モ リ変更部 6 0 5に通知される。 これを受けて、 フ レーム メモ リ変更部 6 0 5は、 1 3 フ レーム目に対する参照画像を A c k信号を受信 し ている 9 フ レーム目の画像に変更する。

なお、 タ イマ部 6 1 5に設定する 夕 イ マ値は、 信号の往復遅延時間を目安に設 定すればよい。

また、 図 1 1は、 動き補償と離散コサイ ン変換 （ D C T ) を組み合わせた一般 的な画像符号化方式と、 本第二の実施例とを組み合わせた場合の変形実施例であ る。 本図は、 図 5 に示 した第一の実施例に関する変形構成例に対応する、 第二実 施例の変形構成例であ り、 図 5 と比べて夕 イ マ部 6 1 5 が付加されている。 その 他の各部は、 図 5 の （第一実施例の） 変形構成例と同様の構成であるので、 それ らの各部には図 5 と同一の符号を付 してある。

本第二の変形実施例によれば、 タ イ マ部を付加するこ とによ り、 画像受信側か らの信号、 特に N a c k信号が、 エラ一等によ り 画像送信側で受信されなかった 場合、 あるいは伝送遅延の增大、 受信側の処理遅延等によ り、 画像送信側での受 信が遅れた場合に、 速やかに参照画像を変更で き、 画像受信側におけるエラー画 像からの復帰を早める こ とがで き る。

よ り具体的には、 図 1 0 において、 第一実施例の構成であれば画像受信側から のフ レーム 1 0 に関する N a c k信号 ( I O N ) が画像送信側で受信された後、 フ レーム 1 4 に関する参照画像を変更する こ とになるが、 第二実施例の構成では、 フ レーム 1 3 に関する参照画像を変更する こ とが可能となっている。 次に、 本発明による第三の実施例を示す。

図 1 2 は、 第三の実施例の全体構成を示すブロ ッ ク図である。 本図においては、 第一の実施例の全体構成を示すブロ ッ ク図である図 1 と比べて、 フ レーム計数部 6 1 6 が付加されている。

図 1 3 は、 フ レーム計数部 6 1 6 の動作を示す動作フ ローである。 本実施例に おける動作は、 図 1 の各部による前述 した動作に加え、 信号受信部 6 0 2 は、 信 号送出部からの A c k , N a c k信号を受信 した場合、 それをフ レーム計数部 6 1 6 に通知する。 また、 フ レーム番号通知部 6 0 7 は、 符号化 した画像のフ レ ー ム番号をフ レーム番号受信部 6 1 0 に送る と共に、 フ レーム計数部 6 1 6 にも通 知する。 フ レーム計数部 6 1 6 は、 フ レーム番号通知部 6 0 7 から通知される フ レ ームの数を計数して上記信号の通知を受けた場合に計数値の リセ ッ ト を繰り返 すが、 その信号が通知されないため計数値がリ セ ッ ト されないで規定枚数を超え た場合、 それをフ レームメモ リ変更部 6 0 5 に通知する。

図 1 4、 図 1 5 は、 本第三の実施例における フ レームメ モ リ変更部 6 0 5 の動 作フ ローである。 同フ ローに示すよ う に、 第一の実施例における動作に加え、 フ レ ーム計数部 6 1 6 からの信号によ っても参照画像を変更する操作が行われる ( ス テ ッ プ H 0 1 ) 。 なお、 図 1 4 中の①は図 1 5 中の①へ、 図 1 5 中の②は図 1 4 中の②へ、 図 1 4 中の③は図 1 5 中の③へ、 処理の流れがそれぞれ続く こ と を表す。

図 1 6 は、 本第三の実施例の動作例を時系列に示 した図である。 符号の意味は 図 4 と同 じであるので、 説明を省略する。

本勳作例では、 フ レ ーム計数部 6 1 6 に対して、 計数値が 3 に達 した場合、 そ れを フ レームメ モ リ 変更部 6 0 5 に通知する よ う に している。 フ レーム計数部 6 1 6 は、 符号化が進むにつれて、 符号化 したフ レームの枚数を計数 してい く。 た だ し、 A c k信号あるいは N a c k ί言号が受信された場合、 計数値を リ セ ッ ト す る。

本動作例では、 1 1 フ レーム目の画像データ にエラ一が生 じた例を示 している < さ らに、 それに対する N a c k iS号 （ 1 1 N ) にもエラ一が生 じ、 信号が失われ て しまった （画像送信側で認識で きなつた） 状況が 2 回続いた場合を示 している < この場合、 フ レーム計数部 6 1 6 は、 フ レーム 1 2 の符号化終了から計数してい た計数値が、 フ レーム 1 4 の符号化終了によ り 3 になったので、 それをフ レーム メモ リ 変更部 6 0 5 に通知 し、 フ レームメ モ リ 変更部 6 0 5 は、 1 5 フ レーム目 の参照画像を A c k信号を受信している 1 0 フ レーム目の画像に変更する。

なお、 フ レーム計数部 6 1 6 に設定する設定値は、 信号の往復遅延時間と符号 化する画像データの量を目安に設定すればよい。

図 1 7 は、 動き補儻と離散コサイ ン変換 （ D C T ) を組み合わせた一般的な画 像符号化方式と、 本第三実施例とを組み合わせた場合の変形実施例である。 本図 は、 図 5 に示 した第一の変形実施例に対応する第三の変形実施例を示 したもので あ り、 図 5 と比べてフ レーム計数部に対応する画像信号計数部 6 1 6 が付加され ている。 その他の各部は、 図 5 の第一の変形実施例と同様の構成であるので、 そ れらの各部には図 5 と同一の符号を付 してある。

本第三の実施例によれば、 画像信号計数部を設ける こ とによ り、 符号化フ レ ー ムの画像データ量にばらつきがあ り、 かつ画像受信側から の信号、 特に N a c k 信号が、 エラ一等によ り画像送信側で受信されなかった場合、 あるいは伝^遅延 の増大、 受信側の処理遅延等によ り、 画像送信側での受信が遅れた場合に、 速や かに参照画像を変更で き、 画像受信側におけるエラ一画像からの復帰を早めるこ とがで き る。 特に、 フ レーム間差分を と る画像符号化方式の場合、 解像度を調整 してデータ量を一定にする よ う に制御 しない限 り は、 画像の内容によ り符号化後 のデ一夕 量は一定でないのが普通であるので、 このよ う なケースに適用 して有効 である。

よ り 具体的には、 図 1 6 に関 し、 第二の実施例であれば、 フ レーム 9 に対する A c k信号 （ 9 A ) 受信から フ レーム 1 0 に対する A c k信号 （ 1 0 A ) 受信ま での時間よ り もタ イ マ値を大き く するこ とが適当であるが、 そのよう にする と 1 O A受信によ り起動したタ イ マが満了するのはフ レーム 1 5 の符号化が終わった 後で、 フ レーム 1 6 の符号化中になる。 従って、 参照画像の変更はフ レーム 1 7 から行われるこ とになる。 しか し、 本第三の実施例によれば、 フ レーム 1 5 の参 照画像を変更するこ とが可能となっている。 次に、 本発明による第四の実施例を示す。

図 2 3 は、 第四の実施例の全体構成を示すブロ ッ ク図である。 本図においては、 第一実施例の全体構成を示すブロ ッ ク図である図 1 と比べて、 メ モ リ保持状況通 知部 6 2 1 が付加されている。

上記第一実施例の動作において、 画像送信側のフ レームメモ リ部 6 0 3 に記憶 されたデータ を消 ¾する場合があるが、 正 し く 受信されたフ レームの参照画像が 1 枚も無い等の特殊なケースによ り、 全てのデータが消去されてフ レームメモ リ 部 6 0 3 の中身が空になって しま う場合がある。 そのよう な場合、 フ レーム間差 分を とる フ レーム間符号化方式を行う こ とが不可能になるので、 フ レーム内符号 化に切 り 替える よう に した構成が、 本第四実施例である。

即ち、 フ レームメ モ リ部 6 0 3 の記慷内容の情報が、 フ レームメモ リ 変更部 6 0 5 を介 してメモ リ保持状況通知部 6 2 1 に通知されるよ う になってお り、 メモ リ保持状況通知部 6 2 1 は、 フ レームメモ リ部 6 0 3 内に参照画像が 1 つも保持 されていない場合に、 符号化部 6 0 1 にその旨を通知する。 通知を受けた符号化 部 6 0 1 は、 フ レ ーム内符号化によ り 入力画像を符号化する よ う にする。 これによ り、 参照画像が存在 しない場合に入力 1 象がフ レーム間符号化されて し ま う よ うな特殊な事態が防止で き る。 次に、 本発明による第五の実施例を示す。

図 2 4 は、 第五の実施例の全体構成を示すブロ ッ ク図である。 本図においては、 第一実施例の全体構成を示すプロ ッ ク図である図 1 と比べて、 符号化状況通知部 6 2 3 が付加されている。

本第五実施例において、 符号化部 6 0 1 は、 フ レーム間符号化に加えて条件に よ り フ レ ーム内符号化を行う。 符号化状況通知部 6 2 3 は、 符号化部 6 0 1 から 送信される符号化に関する情報に基づき、 符号化部 6 0 1 がフ レーム内符号化を 行った場合にこれを検知 し、 フ レームメ モ リ 変更部 6 0 5 にその旨を通知する。

フ レームメモ リ変更部 6 0 5 は、 信号受信部 6 0 2 を介 して取得する画像受信 側からの信号の内容に加え、 符号化状況通知部 6 2 3 からの通知内容にも基づき、 フ レームメモ リ部 6 0 3 の内容の書き換えを行う。 この場合の、 フ レームメモ リ 変更部 6 0 5 の動作例の部分フ ローを図 2 5 に示す。 本図は区 2 に示 した第一実 施例の動作に対応する ものであ り、 ステ ップ D 0 1 及び D 0 2 が追加されている 以外は、 第一実施例と同様であ り、 即ち、 本図 2 5 と図 3 とを組み合わせたフ ロ —図が、 本第五実施例における フ レームメ モ リ 変更部 6 0 5 の勛作例の全体フ ロ —図となる。

即ち、 本実施例によれば、 フ レーム内符号化が行われた場合に、 該符号化によ るエラー波及防止効果を考慮 し、 メ モ リ 内の不要なデ一夕 を消去する等 して次の 符号化がよ り適正に行われるような内容にメモ リ を書き换えるこ とが可能となる _c 次に、 本発明による第六の実施例を示す。

図 2 6 は、 第六の実施例の全体構成を示すブロ ッ ク図である。 本図においては、 第一実施例の全体構成を示すブロ ッ ク図である図 1 と比べて、 メモ リ情報通知部 6 2 5、 メモ リ情報受信部 6 2 6 が付加されている。

第一実施例において、 送信側と受信側の動作タ イ ミ ングゃエラーの発生等によ り、 参照画像決定部 6 0 4 が、 画像受信側のフ レームメ モ リ部 6 1 4 内に存在 し ない画像を参照画像と して選択する という特殊な事態があ り 得る _c 本第六実施例においては、 画像受信側のメ モ リ情報通知部 6 2 5 は、 フ レーム メモ リ部 6 1 4 に保持 している全ての内容、 あるいは最古も し く は最新の内容等 についての情報を画像送 ί言側のメモ リ情報受信部 6 2 6 に通知する： 通知を受け たメ モ リ情報受信部 6 2 6 は、 そ の情報を参照画像決定部 6 0 4 に '≤え る。 参照 画像決定部 6 0 4 は、 フ レームメモ リ 変更部 6 0 5 からの信号に加え、 メモ リ惰 報受信部 6 2 6 からの情報に も基づき、 次に符号化する フ レームの参照画像を何 にするかを决定する。

即ち、 参照画像決定部 6 0 4 は、 フ レームメ モ リ 変更部 6 0 5 からの信号によ り、 次に符号化する フ レームの参照画像を何にするかを決定するが、 こ こ で、 画 像受信側のメ モ リ情報通知部 6 2 5 は、 フ レームメ モ リ部 6 1 4 に保持 している 全ての内容についての情報を画像送信側のメ モ リ情報受信部 6 2 6 に通知する よ う に設定されている とする。 この場合、 例えば図 3 のステ ッ プ 7 0 4 の処理に従 い、 参照画像泱定部 6 0 4 に対し、 フ レームメ モ リ部 6 0 3 内の最新のフ レーム を参照画像と して使用する こ とが指示された場合、 該当画像が画像受信側のフ レ ームメ モ リ部 6 1 4 内に存在しない場合には、 その画像を参照画像と して選択せ ずに、 その 1 つ前のフ レームを参照画像と して フ レームメ モ リ部 6 0 3 から読み 出 して符号化部 6 0 1 に送るよ う にするこ とがで き る。

このよ う な処理によ り、 参照画像決定部 6 0 4 が、 画像受信側のフ レームメモ リ部 6 1 4 内に存在しない画像を参照画像と して選択する こ とか防止される。 次に、 本発明による第七の実施例を示す。

図 2 7 は、 第七の実施例の全体構成を示すブロ ッ ク図である。 本図においては、 第一実施例の全体構成を示すブロ ッ ク図である図 1 と比べて、 切替部 6 2 8 が付 加されている。

上述 した第一実施例では、 誤 り のない画像データが得ら れなかった場合は、 復 号化部 6 1 3 からモニタ等への画像デ一夕 の出力や、 フ レームメ モ リ部 6 1 4へ のデータ の書き込みは行われない。 しか し、 実用形態においては、 このよ う な場 合において もモニタ等へ画像データ を出力 した方が、 モニタ を親察するユーザに と って、 シ ス テムがよ り使いやす く なる場合も多い。 但 し、 この場合、 エラ .一を 含む画像 フ レームメ モ リ 部 6 1 4 に書き込まれるこ とは好ま し く ない。

本第二実施例においては、 画像信号受信部 6 0 8 から切替部 6 2 8 にエラーの 有無が される と と もに、 誤 り のある画像データであっても、 符号化部 6 1 3 から切替 6 2 8 にデータが送られる。 切替部 6 2 8 は、 画像信号受信部 6 0 8 から通 さ れる内容が 「エラー無 し j の場合には復号化部 6 1 3 から の出力をモ 二夕等の外部及びフ レームメ モ リ部 6 1 4 の両方に出力するよ う に し、 「エラー 有 り 」 の場合には、 復号化部 6 1 3 からの出力をモニタ等の外部にのみ出力する よう に く。 これによ り、 システム内部では誤 り の無い画像デ一夕のみが保持さ れる よう に しながら、 エラー画像を敢えて利用 した、 ユーザに とって よ り使いや すいシス テ ムの実現が可能になる。

Claims

請求の範囲

1 . 画像送信側に、

入力画像を、 フ レーム間の差分を用いて圧縮を行う フ レーム間符号化方式によ り 符号化 し、 符号化画像データ を出力する符号化部と、

画像受信側で受信された符号化画像データ のエラーの有無とその画像番号と を 通知する信号を該画像受信側から受信する信号受信部と、

前記符号化部から出力される符号化画像データ を、 前記フ レーム間符号化方式 による符号化に用いる参照画像と して複数保持するためのバッ フ ァ を有するメ モ リ部と、

前記メ モ リ部に少な く と も 1 枚の画像が記憶されている場合、 前記信号受信部 が受信 した信号が示す内容に基づき、 前記メ モ リ部に記憶された画像の中から、 前記符号化部が使用する参照画像を選択する参照画像决定部と、

前記符号化部が使用 した参照画像の番号を前記画像受信側に通知する参照画像 通知部と、

前記符号化部が出力する符号化画像データの画像番号を通知する画像番号通知 部とを有 し、

画像受信側に、

前記画像送信側の符号化部が出力する前記符号化画像データ を受信 し、 該画像 データのエラ一の有無を検出 して出力する画像デ一夕受信部と、

前記画像送信側の画像番号通知部から通知された前記符号化画像データの画像 番号を受信する画像番号受信部と、

前記画像番号受信部が受信した符号化画像データの前記画像番号と、 当該画像 デ一夕 に関する前記画像データ受信部が検出 したエラーの有無とを通知する信号 を前記画像送信側に送信する信号送出部と、

前記画像データ受信部が受信した符号化画像データ を復号化し、 復号化画像デ 一夕 を出力する復号化部と、

前記復号化部から'出力される復号化画像データ を、 前記復号化に用いる参照画 像と して複数保持するためのバッ フ ァを有する メモ リ部と、 前記画像送信側の参照画像通矢;:部から通知さ れた符号化時の参照画像番号を受 信する参照画像番号受信部と、

前記メ モ リ 部に少な く とも 1 枚の画像が記憶されている場合、 前記参照画像番 号受信部が受信 した参照画像番号に応 じて、 前記メ モ リ部に記慷された画像の中 から、 前記復号化部が使用する参照画像を選択する参照画像決定部と

を有する画像通信システムであって、

前記画像送信側の信号受信部が受信 した信号が示す内容に基づき、 前記符号化 部が出力する符号化画像データ の前記メ モ リ部への書き込み制御を行う メ モ リ変 更手段を更に有 し、 該制御は、 f=たなデ一夕 を害き込むか否かの判定、 前記メモ リ部内の書き込み位 sの決定、 前記メ モ リ部に既に害き込まれたデ一夕の消去を 含むものである画像通信システム。

2 . 前記メモ リ 変更手段の書き込み制御は、 前記メモ リ 部に記憶された参照画 像の中から、 前記画像受信側で最後に正 し く 受信された符号化画像データ に対応 する参照画像よ り 古い参照画像を消去する こ と を含む請求の範囲第 1 項に記載の 画像通信システム。

3 . 前記メ モ リ 変更手段の耋き込み制御は、 前記メモ リ部に記憶された参照画 像の中から、 前記画像受信側から受信エラーが通知された符号化画像データ に対 応する参照画像を消去するこ と を含む請求の範囲第 1 項に記載の画像通信システ ム。

4 . 前記入力画像の処理単位は、 フ レーム単位、 フ レームを構成する画像の小 領域、 及び、 該小領域を構成する画素の集ま り のいずれかである請求の範囲第 1 項に記載の画像通信システム。

5 . 前記画像送信側に、

前記信号受信部が、 予め設定 してある時間内に前記画像受信側からの信号を受 ί言したか否かを判定 し、 受信 しなかったと判定 した場合に前記メ モ リ 変更手段に その旨を通知する夕 ィ マ手段を更に有 し、

前記メモ リ 変更手段は、 前記タ イ マ手段から通知を受けた場合、 該通知の内容 に基づき前記メモ リ 部への書き込み制御を行う 請求の範囲第 1 項に記載の画像通 信システ ム。

6 . 前記画像送信側に、

前記符号化部が予め設定 してある量の画像を符号化する間に、 前記信号受信部 が前記画像受信側から の信号を受信 したか否かを判定 し、 受信 しなかった と判定 した場合に前記メ モ リ 変更手段にその旨を通知する画像計数手段を更に有 し、 前記メ モ リ 変更手段は、 前記画像計数手段から通知を受けた場合、 該通知の内 容に基づき前記メ モ リ 部への書き込み制御を行う請求の範囲第 1 項に記載の画像 通信シス テム。

7 . 前記画像送信側に、

該送信側のメモ リ部の内容を監視し、 該メモ リ部に前記フ レーム間符号化に使 用でき る参照画像が 1 つも記憶されていない場合に、 前記符号化部にその旨を通 知するメ モ リ保持状況通知手段を更に有 し、

前記符号化部は、 前記メモ リ保持状況通知手段から通知を受けた場合、 次の画 像の符号化をフ レ ーム内符号化方式で行う請求の範囲第 1 項に記載の画像通信シ ステム。

8 . 前記符号化部は、 前記フ レーム間符号化方式と フ レーム内符号化方式とを 併用 し、 いずれかの方式によ り符号化を行う も のであ り、

前記画像送信側に、

前記符号化部がフ レ ーム内符号化を行った場合に、 前記メモ リ 変更手段にその 旨を通知する符号化状況通知手段を更に有 し、

前記メ モ リ 変更手段は、 前記符号化状況通知手段から通知を受けた場合、 該通 知の内容に基づき前記メ モ リ部への書き込み制御を行う請求の範囲第 1 項に記載 の画像通信シス テム。

9 . 前記画像受信側に、 該受信側のメ モ リ部に記懞された画像の惰報を前記画 像送信側に通知するメ モ リ情報通知手段を更に有 し、

前記画像送信側に、 前記メ モ リ惰報通知手段から通知さ れた画像情報を受信 し, その内容を前記送信側の参照画像決定部に通知する メ モ リ情報受信手段を更に有 し、

前記画像送信側の前記参照画像決定部は、 前記参照画像の選択を、 前記信号受 信部が受信 した信号が示す内容及び前記メ モ リ情報受信手段から通知された情報 に基づいて行う請求の範囲第 1 項に記載の画像通信システム。

1 0 . 前記画像受信側に、

前記画像データ受信部が検出 したエラーの有無の情報を受け、 エラ一有 り の場 合には前記復号化部からの出力が前記受信側のメ モ リ部に送られず、 エラ一無 し の場合には該復号化部からの出力が該メ モ リ部に送られる よう に制御する切替手 段を更に有する請求の範囲第 1 項に記載の画像通信シス テム。

1 1 . 画像送信側が、

入力画像を、 フ レーム間の差分を用いて圧縮を行う フ レーム間符号化方式によ り 符号化 し、 符号化画像デ一夕 を出力する過程と、

画像受信側で受信された符号化画像データのエラ一の有無とその画像番号とを 通知する（8号を該画像受信側から受信する過程と、

前記出力された符号化画像データ を前記フ レーム間符号化方式による符号化に 用いる参照画像と して複数保持する ためのバッ フ ァを有するメモ リ部に少な く と も 1 枚の画像が記憶されている場合、 前記画像受信側から受信した信号が示す内 容に基づき、 前記メ モ リ部に記憶された画像の中から前記符号化で使用する参照 画像を選択する過程と、

前記符号'化において使用 した参照画像の番号を前記画像受信側に通知する過程 と、

前記出力された符号化画像データ の画像番号を通知する過程と を有 し、 画像受信側が、

前記画像送信側が出力する前記符号化画像データ を受信 し、 該画像デ一夕 のェ ラ一の有無を検出 して出力する過程と、

前記画像送信側から通知された前記符号化画像データの画像番号を受' '言する過 程と、

前記受信された符号化画像デ一夕の前記画像番号と、 当該画像データ ：こ関する 前記検出されたエラ ーの有無とを通知する信号を前記画像送信側に送 f言する過程 と、

前記受信された符号化画像デ一夕 を復号化 し、 復号化画像データ を出力する過 程と、

前記画像送信側から通知された符号化時の参照画像番号を受信する過程と、 前記出力された復号化画像データ を前記復号化に用いる参照画像と して複数保 持するためのバ ッ フ ァを有するメモ リ部に少な く とも 1 枚の画像が記憶されてい る場合、 前記受信された参照画像番号に応 じて、 前記メモ リ部に記憶された ij像 の中から、 前記復号化で使用する参照画像を選択する過程と

を有する画像通信方法であって、

前記画像送信側が受信 した信号が示す内容に基づき、 前記出力された符号化画 像データの前記メモ リ部への書き込み制御を行う過程を更に有 し、 該制御は、 新 たなデータ を書き込むか否かの判定、 前記メ モ リ部内の書き込み位 の决定、 前 記メモ リ 部に既に書き込まれたデータの消去を含むものである画像通信方法。

1 2 . 前記メモ リ部への書き込み制御は、 前記メモ リ部に記憶された参照画像 の中から、 前記画像受信側で最後に正 し く 受信された符号化画像データに対応す る参照画像よ り 古い参照画像を消去するこ とを含む請求の範囲第 1 1 項に記載の 画像通信方法。

1 3 . 前記メ モ リ部への書き込み制御は、 前記メモ リ部に記憶された参照画像 の中から、 前記画像受信側から受信エラ一が通知された符号化画像デ一夕 に対応 する参照画像を消去するこ とを含む請求の範囲第 1 1 項に記載の画像通 ' ¾方法。

1 4 . 前 入力画像の処理単位は、 フ レーム単位、 フ レームを構或する画像の 小領域、 及 、 該小領域を構成する画素の集ま り のいずれかであ る請求の範囲第 1 1 項に記戴の画像通信方法。

1 5 . 前 g像送信側が、 予め設定してあ る時間内に前記画像受 ί言側か らの信 号を受信 し か否かを判定 し、 受信 しなかった と判定 した場合にその旨を示す情 報を出力する過程を更に有 し、

該惰報がヒ力された場合、 前記メ モ リ部への害き込み制御を行う過程は、 該情 報に基づ き IT記制御を行う 請求の範囲第 1 1 項に記載の a像通信万法。

1 6 . 前記面)¾送 ¾側が、 予め設定 してある sの画像を符号化する間に、 前記画 像受信側から の信号を受信 したか否かを判定 し、 受信しなかった と判定 した場合 にその旨を す情報を出力する過程を更に有 し、

該惰報がヒ力された場合、 前記メ モ リ部への書き込み制御を行う過程は、 該情 報に基づき I：記制御を行う請求の範囲第 1 1 項に記載の画像通信方法。

1 7 . 前 画像送信側のメモ リ部の内容を監視し、 該メ モ リ部に前記フ レーム 間符号化に使用で きる参照画像が 1 つも記憶されていない場合に、 その旨を示す 情報を出力する過程を更に有 し、

該情報が 力された場合、 前記入力画像を符号化する過程は、 次の画像の符号 化をフ レ ーム内符号化方式で行う 請求の範囲第 1 1 項に記載の画像通信方法。

1 8 . 前 入力画像を符号化する過程は、 前記フ レーム間符号化方式と フ レー ム内符号化方式とを併用 し、 いずれかの方式によ り符号化を行い、

. 前記フ レーム内符号化が行われた場合に、 その旨を示す情報を出力する過程を 更に有 し、

該惰報が t力された場合、 前記メ モ リ部への書き込み制御を行う過程は、 該情 報に基づき IT記制御を行う請求の範囲第 1 1 項に記載の画像通信方法。

1 9 . 前 画 ί象受信側のメ モ リ部に記憶された画像の情報を前記画像送信側に 通矢:：する過程と、

該情報を該画 ί象送信側において受信する過程と を更に有 し、

ft記画像送信 ί 'において参照画像を決定する過程は、 前記参照画像の選択を、 受信された前記符号化画像デ一夕のエラ一の有無とその画像番号と を通知する信 号及び前記画像受信側のメモ リ部に記憶され ; έ画像の情報とに基づいて行う請求 の ¾囲第 1 1 項に記載の画像通信方法。

2 0 . 前記画像受信側で検出 したエラ一の有無の情報を受け、 エラー有 り の場 合には前記復号化された出力が前記受信側のメ モ リ部に送 られず、 エラー無 しの 場合には該復号化された出力が該メ モ リ部に送られる よう に制御する過程を更に 有する請求の範 E第 1 1 項に記載の画像通信方法。

2 1 . 入力画像を、 フ レーム間の差分を用いて圧縮を行う フ レ ーム間符号化方 式によ り 符号化 し、 符号化画像データ を出力する符号化部と、

画像受信側で受信された符号化画像デ一夕のエラ一の有無とその画像番号とを 通知する信号を該画像受信側から受信する信号受信部と、

前記符号化部から出力される符号化画像デ一夕 を、 前記フ レーム間符号化方式 による符号化に用いる参照画像と して複数保持するためのパッ ファを有するメモ リ部と、

前記メ モ リ部に少な く とも 1 枚の画像が記憶されている場合、 前記信号受信部 が受信 した信号が示す内容に基づき、 前記メモ リ部に記憶された画像の中から、 前記符号化部が使用する参照画像を選択する参照画像決定部と、

前記符号化部が使用 した参照画像の番号を前記画像受信側に通知する参照画像 通知部と、

前記符号化部が出力する符号化画像データの画像番号を通知する画像番号通知 部と を有する画像送信装置であって、

前記信号受信部が受信 した信号が示す内容に基づき、 前記符号化部が出力する 符号化画像データ の前記メ モ リ 3 への書き込み制御を行う メ モ リ 変更 = を更に 有 し、 該制御は、 新たなデータ を書き込むか否かの判定、 前記メ モ リ の書き 込み位置の決定、 前記メ モ リ部に既に書き込ま れたデータ の消去を含むも のであ る画像送信装置。

2 2 . 前記メ モ リ 変更手段の書き込み制御 、 前記メモ リ部に記憶された参照 画像の中から、 前記画像受信側で最後に正し く 受信された符号化画像データ に対 応する参照画像よ り古い参照画像を消去する こ と を含む請求の範囲第 2 1 項に記 載の画像送信装 S。

2 3 . 前記メ モ リ 変更手段の害き込み制御 、 前記メ モ リ部に記憶された参照 画像の中から、 前記画像受信側から 受信エラーが通知された符号化画像データ に 対応する参照画像を消去するこ と を含む請求の範囲第 2 1 項に記載の画像送信装 置。

2 4 . 前記入力画像の処理単位は、 フ レーム単位、 フ レームを構成する画像の 小領域、 及び、 該小領域を構成する画素の集ま り のいずれかである請求の範囲第 2 1 項に記載の画像送信装置。

2 5 . 前記信号受信部が、 予め設定 してある時間内に前記画像受信側からの信 号を受信 したか否かを判定 し、 受信 しなかった と判定 した場合に前記メモ リ 変更 手段にその旨を通知する タイ マ手段を更に有 し、

前記メ モ リ変更手段は、 前記夕 イ マ手段から通知を受けた場合、 該通知の内容 に基づき前記メモ リ部への害き込み制御を行う 請求の範囲第 2 1 項に記載の画像 送信装置。

2 6 . 前記符号化部が予め設定 してある鼉の画像を符号化する間に、 前記信号 受信部が前記画像受信側からの信号を受信したか否かを判定 し、 受信しなかった と判定 した場合に前記メ モ リ 変更手段にその を通知する画像計数手段を更に有 し、

前記メ モ リ 変更手段は、 前記画像計数手段から通知を受けた場合、 該通知の内 容に基づき前記メ モ リ 部への書き込み制御を行う請求の範囲第 2 1 項に記載の画 像送信装置。

2 7 . 前記メモ リ部の内容を監視し、 該メモ リ部に前記フ レ ーム間符号化に使 用でき る参照画像が 1 つも記憶されていない場合に、 前記符号化部にその旨を通 知するメ モ リ保持状況通知手段を更に有 し、

前記符号化部は、 前記メモ リ保持状況通知手段から通知を受けた場合、 次の画 像の符号化をフ レーム内符号化方式で行う請求の範囲第 2 1 項に記載の画像送信 装置。

2 8 . 前記符号化部は、 前記フ レーム間符号化方式とフ レーム内符号化方式と を併用 し、 いずれかの方式によ り符号化を行う も のであ り、

前記符号化部がフ レーム内符号化を行った場合に、 前記メ モ リ 変更手段にその 旨を通知する符号化状況通知手段を更に有 し、

前記メ モ リ 変更手段は、 前記符号化状況通知手段から通知を受けた場合、 該通 知の内容に基づき前記メモ リ部への書き込み制御を行う請求の範囲第 2 1 項に記 載の画像送信装置。

2 9 . 前記画像受信側から通知される、 該受信側のメモ リ部に記憶された画像 の情報を受信 し、 そ の内容を前記参照画像決定部に通知するメ モ リ情報受信手段 を更に有 し、

前記参照画像決定部は、 前記参照画像の選択を、 前記信号受信部が受信した信 号が示す内容及び前記メ モ リ情報受信手段から通知された情報に基づいて行う請 求の範囲第 2 1 項に記載の画像送信装置。

3 0 . 画像送信側が出力する、 フ レーム間の差分を用いて圧縮を行う フ レーム 間符号化方式によ り符号化された面像デ一夕 を受信し、 該画像データのエラーの 有無を検出 して出力する画像デ一夕 受信部と、

前記画像送信側から通知される前記？？号化画像デ一夕 の画像番号を受信する画 像番号受信部と、

前記画像番号受信部が受信 した符号化！]像データ の前記画像番号と、 当該画像 デ一夕 に関する前記画像デ一夕受信部が ¾出 したエラーの有無と を通知する信号 を前記画像送信側に送信する信号送出部と、

前記画像データ受信部が受信 した符号 ''匕画像デ一夕 を復号化 し、 復号化画像デ 一夕 を出力する復号化部と、

前記復号化部から出力される復号化画像デ一夕 を、 前記復号化に用いる参照画 像と して複数保持する ためのバッ フ ァを有するメ モ リ部と、

前記画像送信側から通知される符号化 ¾の参照画像番号を受信する参照画像番 号受信部と、

前記メ モ リ部に少な く と も 1 枚の画像が記憶されている場合、 前記参照画像番 号受信部が受信 した参照画像番号に応 じて、 前記メ モ リ部に記憶された画像の中 から、 前記復号化部が使用する参照画像を選択する参照画像泱定部と

を有する画像受信装置であって、

前記メ モ リ部に記憶された画像の情報を前記画像送信側に通知するメモ リ情報 通知手段を更に有する画像受信装置。

3 1 . 画像送信側が出力する、 フ レーム間の差分を用いて圧縮を行う フ レーム 間符号化方式によ り符号化された画像データ を受信 し、 該画像データのエラ一の 有無を検出 して出力する画像デ一夕受信部と、

前記画像送信側から通知される前記符号化画像データの画像番号を受信する画 像番号受信部と、

前記画像番号受信部が受信 した符号化画像データの前記画像番号と、 当該画像 データに関する前記画像デ一夕受信部が検出 したエラ一の有無とを通知する信号 を前記画像送信側に送信する信号送出部と、

前記画像デ一夕受信部が受信した符号化画.像データ を復号化 し、 復号化画像デ —夕 を出力する復号化部と、 前記復号化部から出力される復号化画像デ一夕 を、 前記復号化に用いる参照画 像と して複数保持するためのバ ッ フ ァ を有する メ モ リ 部と、

前記画像送信側から通知される符号化時の参照画像番号を受信する参照画像番 号受信部と、

前記メ モ リ部に少な く と も 1 枚の画像が記憶されている場合、 前記参照画像番 号受信部が受信 した参照画像番号に応じて、 前記メ モ リ部に記億された画像の中 から、 前記復号化部が使用する参照画像を選択する参照画像决定部と

を有する画像受信装置であって、

前記画像データ受信部が検出 したエラーの有無の情報を受け、 エラ一有 り の場 合には前記復号化部からの出力が前記メ モ リ部に送られず、 エラ一無 しの場合に は該復号化部からの出力が該メ モ リ 部に送られる よう に制御する切替手段を更に 有する画像受信装置。

3 2 . 入力画像を、 フ レーム間の差分を用いて圧縮を行う フ レ ーム間符号化方 式によ り 符号化 し、 符号化画像データ を出力する過程と、

画像受信側で受信された符号化画像デ一夕のエラーの有無とその画像番号とを 通知する信号を該画像受信側から受信する過程と、

前記出力された符号化画像デ一夕 を前記フ レーム間符号化方式によ る符号化に 用いる参照画像と して複数保持する ためのパッ フ ァ を有するメモ リ部に少な く と も 1 枚の画像が記憶されている場合、 前記画像受信側から受信した信号が示す内 容に基づ き、 前記メモ リ部に記億された画像の中から前記符号化で使用する参照 画像を選択する過程と、

前記符号化において使用 した参照画像の番号を前記画像受信側に通知する過程 と、

前記出力された符号化画像デ一夕 の画像番号を通知する過程と

を有する画像送信方法であって、

前記画像送信側が受信した信号が示す内容に基づき、 前記出力された符号化画 像デ一夕 の前記メモ リ部への書き込み制御を行う過程を更に有 し、 該制御は、 新 たなデ一夕 を書き込むか否かの判定、 前記メモ リ部内の書き込み位置の决定、 前 記メモ リ 部に既に書き込まれたデータ の消去を含むものであ る画像送信方法。

3 3 . 前記メ モ リ部への齧き込み制御は、 前記メ モ リ部に記憶された参照画像 の中から、 前記画像受信側で最後に正 し く 受信された符号化画像デ一夕 に対応す る参照画像よ り 古い参照画像を消去する こ と を含む請求の範囲第 3 2項に記載の 画像送信方法。

3 4 . 前記メ モ リ部への書き込み制御は、 前記メ モ リ部に記憶された参照画像 の中から、 前記画像受信側から受信エラーが通知された符号化画像データ に対応 する参照画像を消去するこ とを含む請求の範囲第 3 2項に記載の画像送信方法。

3 5 . 前記入力画像の処理単位は、 フ レ ーム単位、 フ レ ー ムを構成する画像の 小領域、 及び、 該小領域を構成する画素の集ま り のいずれかである請求の範囲第 3 2項に記載の画像送信方法。

3 6 . 予め設定してある時間内に前記画像受信側からの信号を受信 したか否か を判定し、 受信 しなかったと判定した場合にそ の旨を示す情報を出力する過程を 更に有 し、

該情報が出力された場合、 前記メ モ リ部への書き込み制御を行う過程は、 該情 報に基づ き前記制御を行う請求の範囲第 3 2項に記載の画像送信方法。

3 7 . 予め設定 してある *の画像を符号化する間に、 前記画像受信側からの信 号を受信したか否かを判定 し、 受信 しなかった と判定 した場合にその旨を示す情 報を出力する過程を更に有し、

該惰報が出力された場合、 前記メ モ リ部への書き込み制御を行う過程は、 該情 報に基づき前記制御を行う請求の範囲第 3 2項に記載の画像送信方法。

3 8 . 前記メ モ リ部の内容を監視し、 該メ モ リ部に前記フ レーム間符号化に使 用でき る参照画像が 1 つも記憶されていない場合に、 その旨を示す情報を出力す る過程を更に有 し、

該惰報が出力された場合、 前記入力画像を符号化する過程は、 次の画像の符号 化を フ レーム内符号化方式で行う 請求の範囲第 3 2項に記載の画像送信方法。

3 9 . 前記入力画像を符号化する過程は、 前記フ レーム間符号化方式と フ レー ム内符号化方式と を併用 し、 いずれかの方式によ り符号化を行い、

前記フ レーム内符号化が行われた場合に、 そ の旨を示す情報を出力する過程を 更に し、

該情報が出力された場合、 前記メ モ リ部への害き込み制御を行う過程は、 該惰 報に基づき前記制御を行う請求の範囲第 3 2項に記載の画像送信方法。

4 0 . 前記画像受信側のメ モ リ 部に記憶された画像の情報を該受信側から受信 する過程を更に有 し、

前記参照画像を決定する過程は、 前記参照画像の選択を、 受信された前記符号 化画像デ一夕のエラ一の有無とそ の画像番号と を通知する信号及び前記画像受信 側のメモ リ部に記億された画像の情報とに基づいて行う請求の範囲第 3 2項に記 載の画像送信方法。

4 1 . 請求の範囲 3 2 - 4 0 いずれかに記載の方法を実行するコ ン ビユ ータ ブ ロ グラムを記憶した記憶媒体。

4 2 . 画像送信側が出力する、 フ レーム間の差分を用いて圧縮を行う フ レーム 符号化方式によ り符号化された画像データ を受信し、 該画像データ のエラ一の 有無を検出 して出力する過程と、

前記画像送信側から通知される前記符号化画像データの画像番号を受信する過 程と、

前記受信された符号化画像データ の前記画像番号と、 当該画像データ に関する 前記検出されたエラ一の有無と を通知する信号を前記画像送信側に送信する過程 と、 前記受信された符号化画像データ を復号化 し、 復号化画像データ を出力する過 程と、

前記画像送信側から通知される符号化時の参照画像番号を受信する過程と、 前記出力された復号化画像データ を前記復号化に用いる参照画像と して複数保 持するためのバッ フ ァ を有するメ モ リ部に少な く と も 1 枚の画像が記憶されてい る場合、 前記受信された参照画像番号に応 じて、 前記メモ リ部に記憶された画像 の中から、 前記復号化で使用する参照画像を選択する過程と

を有する画像受信方法であって、

前記メ モ リ部に記憶された画像の情報を前記画像送信側に通知する過程を更に 有する画像受信方法。

4 3 . 画像送信側が出力する、 フ レーム間の差分を用いて圧縮を行う フ レーム 間符号化方式によ り符号化された画像デ一夕 を受信 し、 該画像データ のエラ一の 有無を検出 して出力する過程と、

前記画像送 iS側から通知される前記符号化画像データの画像番号を受信する過 程と、

前記受信された符号化画像データの前記画像番号と、 当該画像データ に関する 前記検出されたエラーの有無とを通知する信号を前記画像送信側に送信する過程 と、

前記受信された符号化画像データ を復号化 し、 復号化画像データ を出力する過 程と、

前記画像送信側から通知される符号化時の参照画像番号を受信する過程と、 前記出力された復号化画像データ を前記復号化に用いる参照画像と して複数保 持するためのバッ フ ァを有するメモ リ部に少な く とも 1 枚の画像が記憶されてい る場合、 前記受信された参照画像番号に応じて、 前記メモ リ部に記憶された画像 の中から、 前記復号化で使用する参照画像を選択する過程と

を有する画像受信方法であって、 '

前記検出 したエラ一の有無の情報を受け、 エラー有 り の場合には前記復号化さ れた出力が前記メモ リ部に送られず、 エラー無 しの場合には該復号化された出力 が該メ モ リ 部に送られるよう に制御する過程を更に有する画像受信方法。

4 4 . 請求の範囲 4 2 または 4 3 に記載の方法を実行す るコ ン ビユ ータ ブロ グ ラムを記憶した記憶媒体。