WO1998019462A1 - Image encoder and image decoder - Google Patents

Description

明 細 書 画像符 号化装置お よ び画像復号化装置 技術分野

本発 明 は 、 画像信号 （video )を 高能率 に符 号化 し 、 伝送 · 蓄積す る と 共 に 、 復 号す る た め の 画像符 号化装 置 （video encoding apparatus )お よ び画像復 号ィ匕 装置 video decodina apparatus ) に 関す る 。

背景技術

画像信 号は膨大 な 情報量 を持っ た め 、 伝送や蓄積 に 供す る 場合 に は圧縮符 号ィ匕 （ compress ion-encode ) す る の が 一般的 で あ る 。 画像信 号 を 高 能率 に符 号化す る に は 、 フ レ ー ム 単位 の 画像 を 、 所要画素数 単位 （例 え ば、 M X N 画素 （ M : 水 平方 向 の 画素数 、 N : 垂直 方 向 の 画素数） ） で ブ ロ ッ ク に 分割 し 、 そ の 分割 し た 各 プ ロ ッ ク 毎 に 直交変換 し て 画像 の持つ 空 間 周 波数

( spatial f requency ) を 各周 波数成分 に 分離 し 、 変 換係数 と し て 取得 し て こ れ を 符 号化す る 。

と こ ろ で 、 画像符 号化 の 一つ と し て 、

U J . Y . A . Wang e t . a 1 . Applying Mid-level Vis ion Techniques f or Video Data

Compres s ion and Manipulation " , M . I . T . Media Lab . Tec h . Report No . 263 , Feb . 1994 ,』 に お レヽ て 、 ミ ッ ド レ ベ ル符 号化 と 呼 ばれ る 範疇 に 属す る 画像符 号 化法が提案 さ れて い る 。

こ の方式で は 、 背景 と 被写体 （以後 、 被写体 を ォブ ジ - タ ト と 呼ぶ） カゝ ら な る 画像 が あ つ た と し て 、 こ の 背景 と オブ ジ ェ ク ト を 分 け て符 号化 し て い る 。

こ の よ う に 、 背景やオブ ジ ェ ク ト を 別 々 に符 号化す る た め に は 、 オブ ジ ェ ク ト の 形状や画面 内 の位置 を表 す例 え ば 2 値の 副 画像情報 （ subs idiary video inf ormat ion )で あ る ァ ノレ フ ァ マ ッ プィ言 号 （ a lpha- map s i g n a 1 ) 力 必要 と な る 。 な お 、 背 景 の ア ル フ ァ マ ッ プ信 号は 、 ォブ ジ ェ ク ト の ア ル フ ァ マ ッ プ信 号か ら 一意 に求 め ら れ る 。

と こ ろ で 、 こ の ア ル フ ァ マ ッ プ信号 を 効率的 に符 号 化す る 方法 と し て 、 2 値画像 の符 号化法 （例 え ば、 M M R ( Modi f ied Modi f ied READ) 符 号ィヒ等） や 、 線図 形 の 符号化法 （ チ ェ イ ン符 号化 （ c ha in

encoding )等） 力 用 レヽ ら れて レヽ る 。

ま た 、 更 に ア ル フ ァ マ ッ プの符 号量 を 低減す る た め に 、 形状 の 輪郭線が ポ リ ゴ ン （ p o 1 y g o n s ) に よ っ て 近 似 さ れ （ approx ima t e ) ス プ ラ ィ ン 曲線 ( spl ine curves ) で ス ム一シ ン グ さ れ る 方 法 ( j . Os termann ,

Ob j ec t -based analys i s - synthe s i s c o d i η σ bas ed on the s ource model o f moving ri gid 3 D ob j ec t s " , S ignal Proce s s . ： Image

Co mm . Vo l . 6 No . 2 pp . 143 - 161 , 1994 ) や 、 ア ル フ ァ マ ッ プ を 縮小 し て符 号化 し 、 拡大す る 際 に 曲 線近似 す る 方法 （特願平 5 - 2 9 7 1 3 3 号参 照 ） な ど が あ る

上述 の よ う に 画像 を 符 号化す る 場合 に 、 画面 内 を 背 と オブ ジ ェ ク ト に 分割 し て 符号化す る 場 背景 と ォブ ジ ェ ク ト を 分 け る た め に 、 オブ ジ ェ ク ト の 形状や 画面 内 の位置 を表す ア ル フ ァ マ ッ プ信 号が 必要 と な る の た め 、 画像 の 符 号化情報 と 共 に 、 こ の ア ル フ ァ マ ク プの 情報 も 符 号化 し て ビ ッ ト ス ト リ ー ム ( it ： ream )化 し 、 伝送や蓄積 に供 さ れ る 。

し か し 、 画面 内 を 背景 と ォブ ジ ェ ク ト に 分割 し て 符 号化す る 方式の場合 、 従来の符 号化法 の よ う に 画面 内 を 一括 し て符 号化す る の に 比べ、 ア ル フ ァ マ ッ プが あ る 分 、 符 号量 ( the number of encoded b i t s )の 増 加 が 問題 と な り 、 こ の ア ル フ ァ マ ッ プの 符 号量 の増加 よ る 符号化効率 の 低下 が 問題 と な る 。 発 明 の 開示

こ の発 明 は 、 オブ ジ ェ ク ト の形状や画 面 内 の位置 な ど を表す副画像情報 で あ る ア ル フ ァ マ ッ プの 情報 を 効 率 良 く 符 号化 で き る と と も に 、 そ の 復 号 を 行 う こ と が で き る よ う に し た 画像符 号化装置お よ び画像復 号化装 置 を提供す る こ と を 目 的 と す る 。

本発 明 に よ る と 、 画像 を そ の 画像 の オブ ジ ェ ク ト 領 域 と 背景領域 に 区別す る た め の 情報 で あ る ア ル フ ァ マ ッ プ と 共 に符 号化 し 、 前記 ア ル フ ァ マ ッ プ は相 対 ァ ド レ ス 符 号ィ匕 ( relative addres s encoding ) を 用 レヽ て 符 号化す る 画像符 号化装置 に お い て 、 既 に符 号化 し た 変化画素 （ change pixel ) を 参照変化画素

( ref erence change pixel ) と し 、 こ の 照 変ィ匕画 素 と 、 次 に符 号化す る 変化画素 の相 対的 な位置 を 表す シ ン ボ ル を 可変長符 号ィヒテ ー ブ ル （ variable- length encoding table )を 用 レヽ て 符 号ィ匕す る 手段 と 、 前記可変長符 号化 テ ー ブ ル を 2 つ 以 上保持 し 、 既 に符 号化 し た 前記 ア ル フ ァ マ ッ プ の ノ、。 タ ー ン に よ っ て 前記可変長符 号化 テ ー ブル を切 り 替 え る 手段 と を備 え る 画像符 号化装置 が提供 さ れ る

本発 明 に よ る と 、 こ の 符 号化装置 に よ り 符号化 さ れ て 得 ら れた符 号化 ビ ッ ト ス ト リ ー ム を 復 号す る 復 号化 装置 で あ っ て 、 前記 シ ン ボ ル を 可変長符 号化 テ ー ブル を 用 い て 復 号す る 手段 と 、 前記可変長符 号化 テ ー ブル を 2 つ 以 上保持 し 、 既 に復 号 し た 前記ア ル フ ァ マ ッ プ の パ タ ー ン に よ っ て 、 前記可変長符 号化 テ ー ブ ル を 切 り 替 え る 手段 と を備 え る 画像符 号化装置 が提供 さ れ る さ ら に は 、 前記可変長符 号化 テ ー ブル を 切 り 替 え る 手段 は 、 参照変化画素 の 近 く の パ タ ー ン に よ っ て 切 り 替 え る 手段 で あ る 。

こ の よ う な構成 の本装置 は 、 変化画素 の位置 を 特定 す る シ ン ボ ル を 可変長符 号化 テ ー ブ ル を 用 い て 符 号化 す る こ と に よ り 符 号量 を 少 な く す る よ う に し た符 号化 z複 号化 に お い て 、 複数種 の 可変長符 号化 テ ー ブル を 用 意 し て お き 、 既 に符 号化 し た 前記 ア ル フ ァ マ ッ プの パ タ ー ン に よ っ て 、 そ の 可変長符 号化 テ ー ブル を 切 り 替 え る こ と を 特徴 と す る も の で あ り 、 こ の よ う な本発 明 に よ れば、 ア ル フ ァ マ ッ プの符 号量 を い っ そ う 低減 で き る 効果が得 ら れ る 。

本発 明 に よ る と 、 時系 列デー タ と し て 得 ら れ る 複数 フ レ ー ム （画像 フ レ ー ム ） の 動画像信 号 を任意形状

( arbitrary shape )の ォブ ジ ェ ク ト 毎 に符 号ィ匕す る 動画像符号化装置 に お け る 、 オブ ジ ェ ク ト の形状 を 表 す ア ル フ ァ マ ッ プ を 符 号化す る 符 号化 回 路 で あ っ て 、 オブ ジ ェ ク ト を含 む方形領域 を M X N 画素 （ M ： 水 平 方 向 の 画素数 、 N : 垂直方 向 の 画素数） で構成 さ れ る プ ロ ッ ク 毎 に分割す る 手段 と 、 こ の 分割 さ れて 得 ら れ た 前記 プ ロ ッ ク を 、 前記方形領域 内 に お い て 一定規則 に よ り 順次 、 符 号化す る 手段 と を 有 し 、 ブ ロ ッ ク の 全 て あ る い は一部 に 対 し て 相 対 ア ド レ ス 符 号化 を 適用 す る 2 値画像符号化装置 に お い て 、 プ ロ ッ ク 近傍 の 再生 i ( decoded value ) を 蓄 え る 再生値蓄積手段 と 、 す で に符 号化 さ れた フ レ ー ム （画像 フ レ ー ム ） の 再生信 号 （ decoded s ignal ) を 蓄 え る 画像保持手段 （ フ レ ー ム メ モ リ ） と 、 画像保持手段 （ フ レ ー ム メ モ リ ） 内 の 再生信号 を 用 い て 、 動 き 補償予測値 （ mo t i o n estimation/compens ation alue )を 生成す る 動 き 補償予測 回路 と 、 前記再生値蓄積手段 を 参 照 し 、 ブ 口 ッ ク 近傍の 再生値 も 含 め て 変化画素 を 検 出 す る 手段 と を 有 し 、 相 対ア ド レ ス 符 号化 の 参 照変化画素 を 、 前 記ブ ロ ッ ク 内 の 画素値か ら で な く 、 動 き 補償予測信 号 力 ら 求 め る よ う に し た 2 値画像符号化装置 が 提供 さ れ る 。

ま た 、 M X N 画素 で構成 さ れ る ブ ロ ッ ク 毎 に 、 ォブ ジ ュ ク ト を含 む方形領域 内 を 一定規則 で順次復 号化す る 手段 と 、 ブ ロ ッ ク 近傍 の 再生値 を 蓄 え る 手段 と 、 す で に符 号化 さ れた フ レ ー ム （画像 フ レ ー ム ） の 再生信 号 を 蓄 え る 画像保持手段 （ フ レ ー ム メ モ リ ） と 、 画像 保持手段 （ フ レ ー ム メ モ リ ） 内 の 再生信 号 を 用 い て 、 動 き 補償予測値 を 生成す る 動 き 補償予測 回 路 と 、 プ ロ ッ ク 近傍の 再生値 も 含 め て 変化画素 を検 出 す る 手段 と を 有 し 、 相 対ア ド レ ス 符 号化 の 参照変化画素 を 、 前記 プ ロ ッ ク 内 の 画素値か ら で な く 、 動 き 補償予測信 号 か ら 求 め る よ う に し た ア ル フ ァ マ ッ プ復 号化 回 路 が 提供 さ れ る 。

こ れ に よ り 、 オブ ジ ェ ク ト の 形状や画面 内 の位置 な ど を表す副 画像情報 で あ る ア ル フ ァ マ ッ プの 情報 を 効 率 良 く 符 号化 で き る と と も に 、 そ の 復 号 を行 う こ と 力 S で き る よ う に な る 。

ま た 、 ブ ロ ッ ク 近傍 の 再生値 を 蓄 え る 手段 と 、 す で に符号化 さ れた フ レ ー ム （画像 フ レ ー ム ） の 再生信 号 を 蓄 え る 画像保持手段 （ フ レ ー ム メ モ リ ） と 、 画像 保持手段 （ フ レ ー ム メ モ リ ） 内 の 再生信 号 を 用 い て 、 動 き 補償予測値 を 生成す る 動 き 補償予測 回 路 と 、 プ ロ ッ ク 近傍 の 再生値 も 含 め て 変化画素 を 検 出 す る 手段 と 刖 記フ 口 ッ ク 内 の 再生 ί¾ 素値 ( interpolated ixel or decoded pixel )力 ら 求 め ら れた 、 相 対 ア ド レ ス 符 号化 の 参 照変化画素 と 、 動 き 補償予測信 号か ら 求 め ら れた 、 相 対 ァ ド レ ス 符 号化 の 参 照 変化画素 を 切 り 替 え る 手段 と を 有 し 、 相 対 ア ド レ ス 符 号化情報 を 、 切 り 替 え 情報 と 共 に符 号化す る 画像符 号化装置 が 提供 さ れ る 。

ま た 、 M X N 画素 で構成 さ れ る ブ ロ ッ ク 毎 に 、 ォブ ジ ェ ク ト を含 む方形領域 内 を 一 定規則 で順次複 号化す る 手段 と 、 ブ ロ ッ ク 近傍 の 再生値 を 蓄 え る 手段 と 、 す で に符 号化 さ れた フ レ ー ム （ 画像 フ レ ー ム ） の 再生信 号 を 蓄 え る 画像保持手段 （ フ レ ー ム メ モ リ ） と 、 画像 保持手段 （ フ レ ー ム メ モ リ ） 内 の 再生信 号 を 用 レ、 て 、 動 き 補償予測値 を 生成す る 動 き 補償予測 回 路 と 、 プ ロ ッ ク 近傍の 再生値 も 含 め て 変化画素 を 検 出 す る 手段 と を 有 し 、 前記ブ ロ ッ ク 内 の 再生画素値か ら 求 め ら れた 相 対ア ド レ ス 符 号化 の 参照変化画素 と 、 動 き 補償予測 信 号か ら 求 め ら れた 、 相 対 ア ド レ ス 符 号化 の 参 照変化 画素 を 切 り 替 え る 手段 を 有 し 、 切 り 替 え 情報 に従 っ て 参 照変化画素 を 求 め る よ う に し た ア ル フ ァ マ ッ プ復 号 ィ匕 回 路 が 提供 さ れ る 。

こ の 場合 、 相 対 ア ド レ ス 符 号化 に あ た り 、 参 照 変化 画素 b 1 を 現在処理 中 の 画像 の ブ ロ ッ ク で あ る " current block " 内 よ り 検 出す る 力 、 前 回 処理 し た 画像 の プ ロ ッ ク で あ る " compens ated block" 内 よ り 検 出す る か を 、 プ ロ ッ ク 単位 で切 り 替 え て 処理 す る こ と が で き 、 符 号化側 で は こ の 切 り 替 え 用 の 情報 も 併せて符 号化 し 、 複号化側 で は こ れ を 復号 し て 、 復 号化処理 の 際 に 当 該切 り 替 え 用 の 情報 に 基づ い て 、 参 照変化画素 b 1 を " current block " 内 よ り 検 出 す る 力、 、 " compensated block" 内 よ り 検 出す る 力 を 、 ブ ロ ッ ク 単位 で切 り 替 え る よ う にす る こ と が で き 、 こ の よ う にす る こ と に よ っ て 、 ブ ロ ッ ク 単位 の 画像 内 容 に 基づ い て 、 最適処理が 可能 に な り 、 一層 、 効率 の 良 い符号化 が 可能 に な る 。

ま た本発 明 は 、 時系列デー タ と し て 得 ら れ る 複数 フ レ ー ム の動画像信号 を任意形状 の オブ ジ ェ ク ト 毎 に符 号化す る た め 、 オブ ジ ェ ク ト を含 む方形領域 を M X N 画素 （ M : 水 平方 向 の 画素数 、 N : 垂直方 向 の 画素 数） で構成 さ れ る ブ ロ ッ ク 毎 に 分割す る と 共 に 、 こ の 分割 さ れて得 ら れた前記ブ ロ ッ ク 毎 に 、 前記方形領域 内 を 一 定規則 に よ り 順次 、 符 号化す る 画像符 号化装置 に お い て 、 ォブ ジ ェ ク ト の形状 を 表す ア ル フ ァ マ ッ プ 信号 に つ い て 、 プ ロ ッ ク 近傍の 再生信 号 を 含 む該 フ レ ー ム の 再生信 号 と 、 符 号化 が 終了 し た フ レ ー ム の 再生 信 号 を 蓄 え る フ レ ー ム メ モ リ と 、 プ ロ ッ ク 内 の 画素値 を 2 値の 何れか一方 の値 で全て 置 き 換 え る 手段 と 、 フ レ ー ム メ モ リ 内 のす で に符 号化 が 終 了 し た フ レ ー ム の 再生信 号 を 用 い て 、 動 き 補償予測値 を 生成す る 動 き 補 償予測手段 と 、 プ ロ ッ ク 毎 に 2 値画像 を サ イ ズ変換

(縮小 ' 拡大） す る 手段 と 、 そ の サ イ ズ変換率 （ s i _Z e conversion ratio ) の サ イ ド情報 と し て符 号化す る 手段 と 、 ブ ロ ッ ク 毎 に縮小 さ れた 2 値画像 を 符 号化す る 2 値画像符 号化手段 と か ら な る ア ル フ ァ マ ッ プ符 号 ィ匕手段 と を備 え て レ、 る 。

前記 ア ル フ ァ マ ッ プ符 号化手段 は前記ブ ロ ッ ク の 再 生画像 を 、 プ ロ ッ ク 内 を 2 値の何れか一方 の値で全て 置 き 換 え た再生値 と 、 動 き 補償予測値 と 、 ブ ロ ッ ク 毎 に サ イ ズ変換す る 事で得 ら れた 再生値 と の う ち の 何れ か力 ら 選択す る よ う に し た。 従 っ て 、 ア ル フ ァ マ ッ プ 信号の符 号化 を 、 高 品位 で効率 の 良 い形態 で実施 で き . 高 品位 の 画質 を維持 し 、 かつ 、 高圧縮率 で符 号化す る こ と 力 S で き る よ う に な る 。

ま た 、 時系列デー タ と し て 得 ら れ る 複数 フ レ ー ム の 動画像信 号 を任意形状 の ォプ ジ ュ ク ト 毎 に 復 号化す る た め 、 オブ ジ ェ ク ト を含 む M X N 画素 （ M : 水 平方 向 の 画素数 、 N : 垂直方 向 の 画素数） で構成 さ れ る プ ロ ッ ク 毎 に 、 そ の方形領域 内 を 一 定規則 に よ り 順次 、 復 号化す る 画像複号化装置 に お い て 、 ブ ロ ッ ク 近傍 の 再 生信 号 を含む該 フ レ ー ム の 再生信 号 と 、 符 号化済 み フ レ ー ム の 再生信号 を 蓄 え る フ レ ー ム メ モ リ と 、 プ ロ ッ ク 内 の 画素値 を 2 値の 何れか一方 の値で全て 置 き 換 え る 手段 と 、 フ レー ム メ モ リ 内 の す で に符 号化 が 終了 し た フ レ ー ム の 再生信 号 を 用 い て 、 動 き 補償予測値 を 生 成す る 動 き 補償予測 手段 と 、 ブ ロ ッ ク 毎 に 2 値画像 を サ イ ズ変換す る 手段 と 、 ブ ロ ッ ク 毎 に縮小 さ れた 2 値 画像 を 復号化す る 2 値画像復 号化手段 と か ら な る ア ル フ ァ マ ッ プ復 号化手段 を備 え て い る 。

前記ア ル フ ァ マ ッ プ復 号化手段 は 、 前記 ブ ロ ッ ク の 再生画像 を 、 ブ ロ ッ ク 内 を 2 値 の何れか一方 の値 で全 て 置 き 換 え た再生値 と 、 動 き 補償予測値 と 、 ブ ロ ッ ク 毎 に サ イ ズ変換す る こ と で得 ら れた 再生値の う ち の 何 れか か ら 選択す る よ う に し た。 従 っ て 、 高 品 位 の 画像 を 再生 で き る よ う に な る 。

ま た 、 ア ル フ ァ マ ッ プ を ブ ロ ッ ク 毎 に符 号化す る 際 に 、 プ ロ ッ ク 毎 の 属性 （ shape mode ) を 符 号化す る 方 式で あ っ て 、 オブ ジ ェ ク ト を含 む 、 ブ ロ ッ ク サ イ ズの 倍数で表 さ れ る 符 号化領域 （video obj ect plane ( VOP ) )を設定す る 手段 と 、 こ の領域 内 を ブ ロ ッ ク に 分割す る 手段 と 、 各 ブ ロ ッ ク に 対 し て 、 各 々 の 属性 ( shape m o d e )に 固 有 の ラ ベル を 割 り 当 て る ラ ベル付 け 手段 と 、 前記 ラ ベル を フ レ ー ム 毎 に保持す る 記億手 段 と 、 現 フ レ ー ム の 符 号化 ブ ロ ッ ク に 対応す る 前 フ レ ー ム の 参照 ブ ロ ッ ク を 決 定す る 決 定手段 と 、 少 な く と も 前記記憶手段 に保持 さ れた前 フ レ ー ム の ラ ベル と 前 記参 照 プ ロ ッ ク に よ っ て 予測値 を 決定す る 予測 手段 と 前記符 号化 ブ ロ ッ ク の ラ ベル情報 を 、 前記予測値 を 用 い て 符 号化す る 符 号化手段 と を 有 し て 構成す る よ う に し た。

ま た 、 ア ル フ ァ マ ッ プの ブ ロ ッ ク 毎 の 属性 を 再生す る 復 号化装置 と し て 、 復 号化 し た ラ ベル を フ レ ー ム 毎 に保持す る 記憶手段 と 、 現 フ レ ー ム の 復 号プ ロ ッ ク に 対応す る 前 フ レ ー ム の 参照 プ ロ ッ ク を 決定す る 決定手 段 と 、 少 な く と も 前記記億手段 に保持 さ れた 前 フ レ ー ム の ラ ベル と 前記参照 プ ロ ッ ク に よ っ て 予測値 を 決定 す る 予測手段 と 、 前記復 号ブ ロ ッ ク の ラ ベル情報 を 、 前記予測値 を 用 い て 複 号化す る 復 号化手段 を備 え て構 成す る よ う に し た。

こ れ ら 〖こ よ り 、 ァ ノレ フ ァ マ ッ プ を マ ク ロ ブ ロ ッ ク (画像 を 例 え ば、 1 6 X 1 6 画素 と い っ た所定の複数 画素構成 に 分割 し た場合 の そ の 分割 し た 単位画像 プ ロ ッ ク ） 毎 に符号化す る 際 に 、 各 ブ ロ ッ ク の 属性 に 固 有 の ラ ベル を 付 し て こ れ を符 号化す る よ う に し 、 こ の ラ ベル を 再生 し て 元 の ア ル フ ア マ ッ プの デー タ を 再生 ( d e c o d e )す る こ と に よ り 、 効率 の 良 い符 号化 で き る よ う に な る 。

ま た 、 本発 明 は 、 画像 を 、 そ の 画像 の オブ ジ ェ ク ト 領域 と 背景領域 に 区別す る た め の 情報 で あ る ア ル フ ァ マ ッ プ と 共 に符 号化す る に 当 た り 、 ア ル フ ァ マ ッ プ を プ ロ ッ ク 毎 に符号化す る 際 に 、 ブ ロ ッ ク 毎 の 属性 を 符 号化す る よ う に し た方式の 画像符 号化装置 で あ っ て 、 オブ ジ ェ ク ト を含 む 、 ブ ロ ッ ク サ イ ズの倍数 で表 さ れ る 符 号化領域 を設 定す る 手段 と 、 こ の領域 内 を プ ロ ッ ク に 分割す る 手段 と 、 各 プ ロ ッ ク に 対 し て 、 各 々 の 属 性 に 固 有の ラ ベル を割 り 当 て る ラ ベル付 け 手段 と 、 前 記 ラ ベル あ る い は前記 ア ル フ ァ マ ッ プ を フ レ ー ム 毎 に 保持す る 記億手段 と 、 現 フ レ ー ム の符 号化 プ ロ ッ ク に 対応す る 前 フ レ ー ム の 参 照 プ ロ ッ ク を 決 定す る 決 定手 段 と 、 少 な く と も 前記記憶手段 に保持 さ れた 前 フ レ ー ム の ラ ベ ル あ る レヽ は ア ル フ ァ マ ッ プ と 、 前記参 照 プ ロ ッ ク に よ っ て 予測値 を 決定す る 予測 手段 と 、 前記符 号 ィ匕 ブ ロ ッ ク の ラ ベル情報 を 、 前記予測値 を 用 い て 符 号 化す る 符 号化手段 と を 有す る 構成 と す る 。

さ ら に は 、 フ レ ー ム 単位 で の サ イ ズ変換率 を保持す る 記憶手段 を 設 け る と 共 に 、 前記符 号化手段 は 、 フ レ ー ム 単位 で フ レ ー ム の サ イ ズ変換率 が 可変 で あ り 、 前 記サ イ ズ変換率 に 対応 し て 符 号化す る 手段 を備 え 、 ま た 、 前記決定手段 は 、 現 フ レ ー ム の サイ ズ変換率 と 、 刖 記記億手段 か ら 得た前 フ レ ー ム の サ イ ズ変換率 を 用 レ、 て 現 フ レ ー ム の 符号化 プ ロ ッ ク に 対応す る 前 フ レ ー ム の 参照 プ ロ ッ ク を 決定す る 手段 を備 え る よ う にす る 。

あ る い は 、 フ レ ー ム 単位 で の サ イ ズ変換率 を保持す る 記憶手段 を 設 け る と 共 に 、 前記符 号化手段 は 、 フ レ ー ム 単位 で フ レ ー ム の サイ ズ変換率が 可変 で あ り 、 前 記サ イ ズ変換率 に 対応 し て 符 号化す る 手段 を備 え 、 ま た 、 前記決定手段 は 、 現 フ レ ー ム の サイ ズ変換率 と 、 刖 記記億手段 か ら 得た前 フ レ ー ム の サ イ ズ変換率 を 用 レ、 て 現 フ レ ー ム の 符 号化 プ ロ ッ ク に 対応す る 前 フ レ ー ム の 参 照 ブ ロ ッ ク を 決定す る 手段 を備 え 、 ま た 、 前記 予測手段 は 、 参照 ブ ロ ッ ク が複数 あ る 場合 に は 、 前記 複数の 参照 ブ ロ ッ ク の ラ ベ ル の う ち 、 数 が 多 い ラ ベ ル を 予測値 と す る 手段 を備 え る よ う にす る 。

あ る い は 、 フ レ ー ム 単位 で の サ イ ズ変換率 を保持す る 記憶手段 を 設 け る と 共 に 、 前記符 号化 手段 は 、 フ レ ー ム 単位で フ レ ー ム の サ イ ズ変換率 が 可変 で あ り 、 前記サイ ズ変換率 に対応 し て 符 号化す る も の で あ っ て 前 フ レ ー ム あ る い は現 フ レ ー ム あ る い は そ の 両方 の サ ィ ズ変換率 に応 じ て 、 複数種の う ち か ら 選択 し た 一 つ の 可変長符号化テ ー ブル を 用 い て 符 号化 プ ロ ッ ク の符 号化処理 をす る 手段 を 備 え 、 ま た 、 前記決定手段 は 、 現 フ レ ー ム の サ イ ズ変換率 と 、 前記記億手段 か ら 得た 前 フ レ ー ム の サイ ズ変換率 を用 い て 現 フ レ ー ム の 符 号 化 プ ロ ッ ク に対応す る 前 フ レ ー ム の 参 照 プ ロ ッ ク を 決 定す る 手段 を備 え る 。

ま た 、 ア ル フ ァ マ ッ プの ブ ロ ッ ク 毎 の 属性 を 再生す る 複 号化装置 に ぉ レ、 て 、 復 号化 し た ラ ベル あ る い は ァ ル フ ァ マ ッ プ を フ レ ー ム 毎 に保持す る 記憶手段 と 、 現 フ レ ー ム の復 号ブ 口 ッ ク に 対応す る 前 フ レ ー ム の 参 照 プ ロ ッ ク を 決定す る 決 定手段 と 、 少 な く と も 前記記億 手段 に保持 さ れた前 フ レ ー ム の ラ ベル あ る い は ア ル フ ァ マ ッ プ と 前記参 照 プ ロ ッ ク に よ っ て 予測値 を 決定す る 予測手段 と 、 前記復 号ブ ロ ッ ク の ラ ベル情報 を 、 前 記予測値 を 用 い て 復 号化す る 複 号化手段 を 有す る こ と を 特徴 と す る 。

さ ら に は 、 フ レ ー ム 単位 で フ レ ー ム の サ イ ズ変換率 が 可変 で あ り 、 前記サ イ ズ変換率情報 を 複 号化す る 手 段 と 、 前記サイ ズ変換率情報 を保持す る 記憶手段 と を 有 し 、 前記決定手段 は 、 現 フ レ ー ム の サ イ ズ変換率 と 前記記億手段 か ら 読み 出 さ れ る 、 前 フ レ ー ム の サ イ ズ 変換率 を用 い て 現 フ レ ー ム の 復号プ ロ ッ ク に 対応す る 前 フ レ ー ム の 参照 プ ロ ッ ク を 決定す る 機能 を備 え る も の で あ る こ と を 特徴 と す る 。

あ る い は 、 フ レ ー ム 単位 で フ レ ー ム の サ イ ズ変換率 が 可変 で あ り 、 前記サ イ ズ変換率情報 を 複 号化す る 手 段 と 、 前記サイ ズ変換率情報 を保持す る 記憶手段 と を 有 し 、 前記決定手段 は 、 現 フ レ ー ム の サ イ ズ変換率 と 前記記億手段 か ら 読み 出 さ れ る 、 前 フ レ ー ム の サ イ ズ 変換率 を用 い て 現 フ レ ー ム の 復 号ブ ロ ッ ク に 対応す る 前 フ レ ー ム の 参 照 プ ロ ッ ク を 決定す る 機能 を備 え 、 前 記予測手段 は 、 参 照 ブ ロ ッ ク が複数 あ る 場合 に は 、 複 数 の 参照 プ ロ ッ ク の ラ ベルの う ち 、 数 ^ 多 レ、 ラ ベル を 予測値 と す る も の で あ る こ と を 特徴 と す る 。

ま た 、 水平 ' 垂直方 向 共 に 1 / 2 N ( N = 1 , 2 ，

3 ， … ） に縮小 さ れた 2 値画像の ブ ロ ッ ク を 拡大す る 拡大 回 路 と し て 、 該 ブ ロ ッ ク 近傍再生値 を保持す る メ モ リ と 、 該ブ ロ ッ ク の縮小率 に応 じ て 前記 メ モ リ に保 持 さ れた再生値 を 1 ノ 2 N に縮小す る こ と で参 照 画 素値 を 求 め る 手段 と 、 水 平 ' 垂直共 に 2 倍 に 拡大す る 処理 を N 回繰 り 返す こ と で 元 の サ イ ズ に 拡大す る 手段 と を備 え 、 前記拡大手段 に お い て は 、 常 に 1 Z 2 N に縮小 さ れた 参 照 画素値 を 用 い る こ と を特徴 と す る 。

ま た 、 時系列デー タ と し て 得 ら れ る 複数 フ レ ー ム の 動画像信 号 を任意形状 の オブ ジ ェ ク ト 毎 に符 号化す る た め 、 オブ ジ ェ ク ト を含 む方形領域 を M X N 画素

( M : 水 平方 向 の 画素数 、 N : 垂直方 向 の 画素数） で 構成 さ れ る プ ロ ッ ク 毎 に 分割す る と 共 に 、 こ の 分割 さ れて 得 ら れた 前記 ブ ロ ッ ク 毎 に 、 前記方形領域 内 を一 定規則 に よ り 順次 、 符 号化す る 画像符 号化装置 で あ つ て 、 前記 フ レ ー ム 内 に お い て 、 オブ ジ ェ ク ト を 含 むブ ロ ッ ク サ イ ズの倍数 で表 さ れ る 領域 を設 定す る 設 定手 段 と 、 こ の 設 定手段 に よ り 設 定 さ れた領域 内 を ブ ロ ッ ク に分割す る 分割 手段 と 、 分割 さ れた前記 プ ロ ッ ク 内 を 動 き 補償予測す る た め に 必要 な動 き べ ク ト ル

( motion vector )を 予 '測符 号ィ匕す る 手段 と を 有す る 画像符 号化装置 に お い て 、 参照 フ レ ー ム 内 の領域 の フ レ ー ム 内 に お け る 位置 を 表す第 1 の位置べ ク ト ル を保 持す る メ モ リ と 、 該参 照 フ レ ー ム 内領域 の フ レ ー ム 内 で の位置 を 表す第 2 の位置べ ク ト ル を 符 号化す る 符 号 化手段 と 、 符号化対象 ブ ロ ッ ク 近傍 の 再生済 み の プ ロ ッ ク の 動 き べ ク ト ル を保持す る 動 き べ ク ト ル メ モ リ と 、 前記動 き べ ク ト ル メ モ リ に 蓄 え ら れて い る 動 き べ ク ト ル を 用 レヽ て 、 符 号化対象 ブ ロ ッ ク の 動 き べ ク ト ル を 予 測す る 手段 と を備 え て な り 、 前記予測 手段 に ぉ レ、 て使用 す る 動 き べ ク ト ルが 、 前 記動 き べ ク ト ル メ モ リ に 存在 し な レヽ場合 に はデ フ オ ル ト の動 き ベ ク ト ル を 予測値 と し 、 こ の デ フ ォ ル ト の 動 き べ ク ト ル は第 1 の位置べ ク ト ル と 第 2 の位置べ ク ト ル と の 差分べ ク ト ル と 、 ゼ ロ べ ク ト ル を 切 り 換 え て 用 い る よ う にす る こ と を 特徴 と す る 。

ま た 、 時系 列デー タ と し て 得 ら れ る 複数 フ レ ー ム の 動画像信号 を任意形状 の オ ブ ジ ェ ク ト 毎 に復 号化 し 、 オブ ジ ェ ク ト を含 む M X N 画素 （ M : 水 平方 向 の 画素 数、 N : 垂直方 向 の 画素数） で構成 さ れ る ブ ロ ッ ク 毎 に 、 そ の 方形領域 内 を 一 定規則 に よ り 順次 、 複 号化す る た め 、 該 フ レ ー ム 内 に お い て 、 オブ ジ ェ ク ト を含 む プ ロ ッ ク サ イ ズの倍数 で表 さ れ る 領域 を プ ロ ッ ク 毎 に 再生す る 画像複 号化装置 に お い て 、 前記 プ ロ ッ ク 内 を 動 き 補償予測す る た め に 必要 な 、 予測符 号化 さ れた動 き べ ク ト ル を 復号す る 手段 と 、 参 照 フ レ ー ム 内 を 動 き 補償予測す る た め に 必要 な 、 予測符 号化 さ れた動 き べ ク ト ル を 復 号す る 手段 と 、 参照 フ レ ー ム 内 の領域 の フ レー ム 内 で の位置 を 表す第 1 の位置べ ク ト ル を保持す る メ モ リ と 、 該 フ レー ム 内 の領域の フ レ ー ム 内 で の位 置 を 表す第 2 の位置べ ク ト ル を 復 号化す る 手段 と 、 復 号化対象 プ ロ ッ ク 近傍 の補正済 みの プ ロ ッ ク の 動 き べ ク ト ル を保持す る 動 き べ ク ト ル メ モ リ と 、 前記動 き べ ク ト ル メ モ リ に保持 さ れた 動 き べ ク ト ル を 用 レヽ て 、 復 号化対象 ブ ロ ッ ク の 動 き べ ク ト ル を 予測す る 予測 手段 と を 有 し 、 前記予測手段 で使用 す る た め の 動 き べ ク ト ルが 、 前記動 き べ ク ト ル メ モ リ に存在 し な い場合 に は デ フ ォ ル ト の 動 き ベ ク ト ル を 予測値 と し 、 こ の デ フ ォ ル ト の動 き べ ク ト ルは第 1 の位置べ ク ト ル と 第 2 の位 置べ ク ト ル と の 差分べ ク ト ル と 、 ゼ ロ べ ク ト ルの いず れカゝ と す る こ と を 特徴 と す る 。 図 面 の簡 単 な説 明

図 1 は 、 本発 明 が 適用 さ れ る 符 号化装置 の概略 プ ロ ッ ク 図 。

図 2 は 、 図 1 の 符 号化装置 に 対応す る 復 号化装置 の 概略プ ロ ッ ク 図。

図 3 は 、 本発 明 が 適用 さ れ る 符 号化装置 の ア ル フ ァ マ ッ プ符号化 回 路 の プ ロ ッ ク 図 。

図 4 は 、 図 3 の 符号化装置 に 対応す る 復 号化装置 に 適用 さ れ る ア ル フ ァ マ ッ プ復 号化 回 路 の構成 を示すブ 口 ッ ク 図。

図 5 は 、 本発 明 の 第 1 の 実施例 に従 っ た符 号化 回 路 の プ ロ ッ ク 図。

図 6 は 、 図 5 の 符 号化 回 路 に 対応す る 複 号化 回 路 の プ ロ ッ ク 図。

図 7 A お よ び 7 B は 、 ブ ロ ッ ク 単位 で符 号化す る 場 合 の 変化画素 の 関係 を 表す図 お よ び b 1 を 検 出す る 為 の 参 照領域 を表す 図 （ プ ロ ッ ク ベー ス 符 号化 の 変化画 素 の 関係 と 参照領域 を表す 図 ） 。 図 8 は 、 M M R を ブ ロ ッ ク ベー ス で符 号化す る 場合 の フ 口 一 チ ヤ一 ト 。

図 9 は 、 図 5 の符 号化 回 路 の 作用 を 説明 す る た め の 図 で あ っ て 、 変化画素 b 1 の 周 囲 の様子 の例 を 示す図（ 図 1 0 は 、 図 6 の 復 号回 路 の 作用 を を 説 明 す る た め の 図 で あ っ て 、 参照 画素 の 例 を示す 図 。

図 1 1 は 、 コ ン テ キ ス ト 番 号の 決定方法 を 説 明 す る た め の 図。

図 1 2 は 、 本発 明 の 第 2 実施例 に 従 っ た符 号化 回 路 の ブ ロ ッ ク 図。

図 1 3 は 、 図 1 2 の 符 号化 回 路 に 対応す る 複 号化 回 路' の ブ ロ ッ ク 図。

図 1 4 は 、 本発 明 の 第 3 の 実施例 に か か る 符 号化 回 路 の プ ロ ッ ク 図。

図 1 5 は 、 図 1 4 の符 号化 回 路 に 対応す る 複 号化 回 路 の プ ロ ッ ク 図。

図 1 6 A お よ び 1 6 B は 、 本発 明 の 第 3 実施例 を 説明 す る た め の 図 で あ っ て 、 フ レ ー ム 間符 号化 に お け る 変 ィ匕画素 の検 出 回 路 を説 明 す る 図。

図 1 7 A お よ び 1 7 B は 、 ス キ ャ ン方 向 切 り 替 え を説 明 す る 図。

図 1 8 は 、 本発 明 で用 い る ア ル フ ァ マ ッ プ の 画面 内 を 所定の複数画素構成 に よ る マ ク ロ ブ ロ ッ ク （ M B ) 単 位 に 分割 し た様子 を示す 図 。

図 1 9 は 、 本発 明 の 第 4 の 実施例 に お け る ア ル フ ァ マ ッ プ符 号化 回 路 の ブ 口 ッ ク

図 2 0 は 、 図 1 8 の 符 号化 回 路 に 対応す る ア ル フ ァ マ ッ プ複 号化 回路 の ブ 口 ッ ク 図。

図 2 1 は、 マル コ フ モ デル符 号化 を 説 明 す る た め の 図 図 2 2 A は 、 複数 の 2 値面像符 号化法 を 切 り 換 え て使 用 す る 2 値画像符 号化 回 路 の プ ロ ッ ク 図 。

図 2 2 B は 、 複数 の 2 値面像符 号化法 を 切 り 換 え て 使 用 す る 2 値画像複 号化 回 路 の ブ ロ ッ ク 図。

図 2 3 A お よ び 2 3 B は 、 サ イ ズ変換 （縮小 · 拡大） 処理 に利用 す る 双一次 内 揷 を 説明す る た め の 図。

図 2 4 A お よ び 2 4 B は 、 ス ム ー シ ン グ処理 （平滑化 処理） を説 明す る た め の 図

図 2 5 は 、 本発 明 で用 い る ス ム ー シ ン グ フ イ ノレ タ （ 平 滑化処理 フ ィ ル タ ） の 別 の 例 を 説 明す る た め の 図 。 図 2 6 A お よ び 2 6 B は 、 双 一 次 内 挿 に よ り 水 平 · 垂 直共 に 2 倍 に 拡大す る 処理 の例 を 説明 す る た め の 図 。 図 2 7 A 乃 至 2 7 D は 、 本発 明 で適用 す る 拡大処理 に お け る 内揷画素位置 と 参 照 画素 の利用 範囲 を 説 明 す る 図 2 8 A 乃 至 2 8 B は 、 本発 明 で適用 す る 拡大処理 に お け る 参 照画素 の 追加処理 の 例 を説 明 す る 図 。

図 2 9 は 、 ブ ロ ッ ク 毎 の サ イ ズ変換処理 の 別 の 例 を 説 明 す る た め の 図 。

図 3 0 は 、 プ ロ ッ ク （マ ク ロ プ ロ ッ ク ） を 縦横 " 1 / 2 " の サイ ズ に縮小す る 縮小処理 の一例 を 説 明 す る た め の 図。

図 3 1 は 、 縮小 ブ ロ ッ ク の 画素値 を 求 め る 手法 の例 を 説明 す る た め の 図 。

図 3 2 は 、 画素 間 引 き に よ る 縮小処理 の例 を 説 明 す る た め の 図 。

図 3 3 は 、 本発 明 で用 い る 拡大処理 の 例 を 説 明 す る た め の 図。

図 3 4 A お よ び 3 4 B は 、 本発 明 で使用 す る 双一 次 内 揷処理 に よ り 水 平 · 垂 直共 に 2 倍 に 拡大す る 処理 内 容 を 説 明 す る た め の 図。

図 3 5 は 、 本発 明 の 第 5 の 実施例 に お け る フ レ ー ム 単 位の サ イ ズ変換 と 、 小領域単位 の サ イ ズ変換 を組み合 わせた ア ル フ ァ マ ッ プ符 号化 回 路 の ブ ロ ッ ク 図 。

図 3 6 は 、 図 3 5 の ア ル フ ァ マ ッ プ符 号化 回 路 に 対応 す る ア ル フ ァ マ ッ プ複 号化 回 路 の ブ ロ ッ ク 図。

図 3 7 は 、 フ レ ー ム 毎 の解像度 の例 を 表 し た 図 。

図 3 8 は 、 図 3 5 の符 号化装置 に 必要 な フ レ ー ム メ モ リ を 明示的 に含 め て 表 し た場合 の符 号化装置 の プ ロ ッ ク 図 。

図 3 9 は 、 図 3 6 の複 号化装置 に 必要 な フ レ ー ム メ モ リ を 明 示 的 に含 め て 表 し た場合 の複 号化装置 の プ ロ ッ ク 図。

図 4 0 は 、 図 3 5 の 符 号化装置 に 必要 な フ レ ー ム メ モ リ を 明 示的 に含 め て 表 し た場合 の別 の 符 号化装置 の ブ ロ ッ ク 図 。 図 4 1 は 、 図 3 6 の 復 号化装置 に 必要 な フ レ ー ム メ モ リ を 明 示 的 に含 め て 表 し た場合 の別 の 復 号化装置 の ブ 口 ッ ク 図。

図 4 2 A は 、 本発 明 の符 号化装匱 で用 い る フ レ ー ム メ モ リ の ブ ロ ッ ク 図。

図 4 2 B は 、 本発 明 の復 号化装置 で用 い る フ レ ー ム メ モ リ の プ ロ ッ ク 図 。

図 4 3 A お よ び 4 3 B は 、 本発 明 の 第 6 の 実施例 に 関 連す る 技術の 説 明 を す る た め の 図 。

図 4 4 A お よ び 4 4 B は 、 本発 明 の 第 6 の 実施例 に 関 連す る 技術の説 明 を す る た め の 図 。

図 4 5 A お よ び 4 5 B は 、 本発 明 の 時刻 n — 1 と 時刻 n に お け る フ レー ム 画像 F n - 1 ， F n と そ れぞれの フ レ ー ム F n - 1 ， F n に お け る 符 号化領域 C A の各 マ ク ロ ブ ロ ッ ク の モ ー ド情報 M D の例 を 説 明 す る た め の 図 。

図 4 6 A お よ び 4 6 B は 、 本発 明 の 第 6 の 実施例 に 関 連す る 技術の 説 明 を す る た め の 図。

図 4 7 A は 、 本発 明 の 第 6 の 実施例 に 関連す る 符 号化 装置 の 説明 を す る た め の 図。

図 4 7 B は 、 本発 明 の 第 6 の 実施例 に 関連す る 復 号化 装置 の 説明 を す る た め の 図。

図 4 8 は 、 本発 明 の 第 6 の 実施例 に お け る 符 号化 回 路 の ブ ロ ッ ク 図 。

図 4 9 A お よ び 4 9 B は 、 時刻 n — 1 と 時刻 n に お け る フ レ ー ム 画像 F n- 1 , F n と そ れぞれの フ レ ー ム F π— 丄 ， F n 二 お け る 符 号化領域 C A の 各 マ ク ロ ブ π ッ ク の モ ー ド情報 ( s h a D e mode information) M D の 例 を 説 明す る た め の 図。

図 5 0 A お よ び 5 0 B は 、 符 号化領域 の 変化 と モ ー ド Iff 報 の 対応す る プ ロ ッ ク の位置 の 変化 の様子 を 説 明 す る た め の 図。

5 1 は 、 ア ル フ ァ マ ッ プ を 併用 す る 動画像符 号化装

Jv_ お け る 符 号化デー タ 構成 を 説 明 す る た め の 図 。 図 5 2 A 乃 至 図 5 2 D は 、 符 号化領域 が 占 め る 対象部 分 が フ レ ー ム の 一部分 で あ る 場合 に 生 じ る ラ ベル未定 部分の 対処法 を説 明 す る た め の 図 。

図 5 3 は 、 本発 明 で使用 す る 縮小処理の 例 を 説 明 す る た め の 図。

図 5 4 は 、 本発 明 で使用 す る 縮小処理 を 説 明 す る た め の 図 。

図 5 5 は 、 本発 明 で用 い る ラ ベル予測方法 を 説明 す る た め の 図。

5 6 は 、 本発 明 で使用 す る 縮小 フ レ ー ム か ら 拡大処 に よ り フ レ ー ム を復元す る 処理 の 説 明 をす る た め の 図

図 5 7 は 、 ラ ベル を 予測 に用 い る よ う に し た本発 明 の 号化装置 の プ ロ ッ ク 図。

図 5 8 は 、 本発 明 の 符 号化装置 で用 い る 符 号化処理手 の 例 を 示す フ ロ ー チ ヤ一 ト 。 図 5 9 は 、 本発 明 の 符 号化装置 で用 い る 符 号化処理手 順 の別 の例 を 示す フ ロ ー チ ヤ一 ト 。

図 6 0 は 、 本発 明 の ア ル フ ァ マ ッ プ符 号化 回 路 力ゝ ら 出 力 さ れ る ビ ッ ト 列 の 並び順 を 説明 す る 図。

図 6 1 は 、 本発 明 の 第 6 の 実施例 の シ ス テ ム 構成例 を 示すブ ロ ッ ク 図。

図 6 2 は 、 本発 明 の 第 6 の 実施例 に お け る 処理手順 を 説 明 を す る た め の フ ロ ー チ ヤ一 ト 。

図 6 3 は 、 本発 明 の 第 6 の 実施例 に お け る 処理手順 を 説 明 をす る た め の フ ロ ー チ ャ ー ト 。

図 6 4 は 、 本発 明 に て用 い る 動 き べ ク ト ル の 予測符 号 ィ匕 の 一例 を説明 す る た め の 図。

図 6 5 A お よ び 6 5 B は 、 フ レー ム 内 で の オ ブ ジ ェ ク ト の位置 の動 き が 大 き い場合 で の 、 動 き べ ク ト ル の 予 測 の 不都合 を説明 す る た め の 図 。

図 6 6 A お よ び 6 6 B は 、 本発 明 シ ス テ ム に お け る M V 符 号化 回 路 と そ の 周 辺 回 路 の プ ロ ッ ク 図 。

図 6 7 A は 、 本発 明 シ ス テ ム に お け る M V 再生 回 路 の プ ロ ッ ク 図。

図 6 7 B は 、 本発 明 シ ス テ ム に お け る M V 再生 回 路 の 周 辺 回 路 の ブ ロ ッ ク 図 。 発 明 を 実施す る た め の 最 良 の形態

以 下 、 本発 明 の 実施例 に つ い て 、 図 面 を 参 照 し て 説 明 す る 。 初 め に 、 本発 明 が 適用 さ れ る 画像符 号化 お よ び画像複 号化装置 に つ い て概略 を 説 明 し て お く 。

図 1 は 、 画像 を 符号化す る 場合 に 、 画面 内 を 背景 と ォブ ジ ェ ク ト に 分割 し て 符 号化す る 方式 を 適用 し た 画 像符 号化装置 を 示 し て い る 。 こ の 画像符 号化装置 は 、 差分回 路 （ s u b t r a c t e r ) 1 0 、 動 き 補償予測 回 路

( motion estimation/compensation c ircuit )

( M C ) 1 1 、 直交変換 回 路 （ orthogonal

trans f ormer ) 1 2 、 量子ィ匕 回 路 ( quantizer ) 1 3 、 可変長符 号化 回 路 （variable length coder ) ( V L C ) 1 4 、 逆量子化 回 路 （ dequanti zer ) ( I Q ) 1 5 、 逆直交変換回 路 ( inverse orthogonal

trans f ormer ) 1 6 、 力！]算 回 路 （ adder ) 1 7 、 多重ィ匕 回 路 （multiplexer ) 1 8 お よ びア ル フ ァ マ ッ プ符 号 ィ匕 回 路 （ alpha— map encoder ) 2 0 と 力 ら f 成 さ れ る 。

ア ル フ ァ マ ッ プ符 号化 回 路 2 0 は 、 入力 さ れ る ア ル フ ァ マ ッ プ信号 を 符 号化 し 、 こ の 符 号化 さ れ た 信 号 を ア ル フ ァ マ ッ プ信号 と し て 多重化 回 路

( multiplexer ) 1 8 に 出 力 す る 機能 と 、 こ の ア ル フ ァ マ ッ プ信 号 を復 号 し て 局部復 号信 号 （ local

decoded s ignal ) と し て 出 力 す る 機能 を 有す る 。

特 に 、 本 ア ル フ ァ マ ッ プ符 号化 回 路 2 0 は 、 ブ ロ ッ ク の 単位 で入力 さ れた ア ル フ ァ マ ッ プ信 号 を 符 号化す る に あ た り 、 与 え ら れた縮小率 （ convers ion

ratio ) (倍率） で ア ル フ ァ マ ッ プ の解像度

( resolution )を 下 け る ( down— sc ale )処理 を ft レヽ 、 こ の解像度 を 下 げ る 処理 ( resolution down- scaling proces s ) ;^ な さ れた ァ ゾレ フ ァ マ ッ プ ί言 号 、 即 ち ダ ゥ ンサ ン プノレ さ れた （ down sampled )ア ル フ ァ マ ッ プ信 号 を 符 号化す る と 共 に 、 こ の 符 号化 し た ア ル フ ァ マ ッ プ と 縮小率 の 情報 （倍率情報） と を 多重化 し て こ れを ア ル フ ァ マ ッ プ信 号 と し て 多重化 回 路 1 8 に 出 力 す る 機能 を 有す る 。 局 部復 号信 号 と し て は 、 解像 度 を 下 げ る 処理 、 即 ち ダ ウ ン サ ン プ リ ン グ （ down- s amp 1 i n g )力 S な さ れた ア ル フ ァ マ ッ プ を 元 の解像度 に 戻す処理 を し て 得 た ア ル フ ァ マ ッ プ信 号が用 い ら れ る 。

差分 回 路 1 0 は 、 動 き 補償予測 回路 1 1 よ り 供給 さ れ る 動 き 補償予測信 号 （motion

estimation/compensation s ignal と 人力 [Sj像信 号 （ input video s ignal ) と の 差分 言 号

( di f f erence s ignal ) を 算 出 す る も の で あ り 、 直交 変換回 路 1 2 は 、 差分 回 路 1 0 か ら 供給 さ れた 差分信 号 を 、 ア ル フ ァ マ ッ プ の 情報 に従 っ て 、 直交変換係数 ( orthogonal trans f orm coef f ic ient )に 変換 し て 出 力 す る 。

量子化 回 路 1 3 は こ の 直交変換回 路 1 2 に よ り 得 ら れた 直交変換係数 を 量子化す る 回 路 で あ り 、 可変長符 号化 回路 1 4 は こ の 量子化 回 路 1 3 の 出 力 を符 号化 し て 出 力 す る 回 路 で あ る 。 多重化 回 路 1 8 は こ の 可変長 符 号化 回 路 1 4 に よ り 符 号化 さ れた信 号 と ア ル フ ァ マ ッ プ信 号 と を 、 動 き べ ク ト ル情報等 の サ イ ド情報 と 共 に 多重化 し て ビ ッ ト ス ト リ ー ム と し て 出 力 す る 。

逆量子化 回路 1 5 は 量子化 回 路 1 3 の 出 力 を 逆量子 化す る 機能 を 有 し 、 逆 直交変換回 路 1 6 は こ の 逆 量子 化 回 路 1 5 の 出 力 を ア ル フ ァ マ ッ プ信号 に基 い て 逆直 交変換す る 機能 を 有す る 。 加算 回 路 1 7 は こ の 逆直交 変換回 路 1 6 の 出 力 と 動 き 補償予測 回 路 1 1 カゝ ら 与 え ら れ る 予測信号 （動 き 補償予測信 号） と を加算 し て 動 き 補償予測 回 路 1 1 に 出 力 す る 。

動 き 補償予測 回 路 1 1 は 、 フ レ ー ム メ モ リ を 有 し 、 ア ル フ ァ マ ッ プ符 号化 回 路 2 0 か ら 与 え ら れ る 局部復 号信号 に も と づ い て 動作 し て オブ ジ ェ ク ト 領域 の 信 号、 背景領域の 信号 を 蓄積す る 機能 を 有す る 。 ま た 、 動 き 補償予測 回 路 1 1 は蓄積 し た オブ ジ ェ ク ト 領域 の 画像 カゝ ら 動 き 補償値 を 予測 し て 予測値 と し て 出 力 し 、 ま た 、 蓄積 し た 背景領域 の 画像 か ら 動 き 補償値 （ mo t i o n compensation value ) ¾r 予測 し て 予測値

( prediction value ) と し て 出 力 す る 機能 を 有す る 。

上述 の よ う な構成 の符 号化装置 の 作用 を説 明 す る 。 符号化装置 に は 、 画像信 号 と そ の 画像信号の ア ル フ ァ マ ッ プ信 号が入力 さ れ る 。 こ れ ら 信 号は フ レ ー ム 毎 に そ れぞれ所定画素 サ イ ズ （例 え ば、 M X N 画素 （ M ： 水 平方 向 の 画素数 、 N : 垂直方 向 の 画素数） ） の プ ロ ッ ク に 分割 さ れ る 。 こ の 分割処理 は 、 周 知 の 技術 に従 つ て フ レ ー ム 毎 に 画像信 号 を 記憶す る メ モ リ （ 図 示せ ず） を ァ ド レ ス 指 定 し 、 プ ロ ッ ク 単位 で画像信 号 を 読 み 出 す こ と に よ っ て 行わ れ る 。 こ の 分割処理 に よ り 得 ら れた プ 口 ッ ク 単位 の 画像信 号は プ ロ ッ ク 位置順 に信 号線 1 を 介 し て 差分 回 路 1 0 に供給 さ れ る 。 差分 回 路

1 0 で は 、 こ の 入力 （画像信 号） と 、 予測信 号 （ ォ プ ジ ク ト 予測 回路 1 1 か ら の 動 き 補償予測信 号の 出 力 ） と の 差分信号が 算 出 さ れ 、 直交変換回 路 1 2 に 供 給 さ れ る 。

直交変換回 路 1 2 は 、 供給 さ れた 差分信 号 を 、 信 号 線 4 を介 し て ア ル フ ァ マ ッ プ符 号化 回 路 2 0 か ら 供給 さ れ る ア ル フ ァ マ ッ プの 情報 に従 っ て 、 直交変換係数 に 変換 し た後 、 直交変換係数 は量子化 回 路 1 3 に供給 さ れ、 量子化 さ れ る 。 量子化 回 路 1 3 に て 量子化 さ れ て 得 ら れた変換係数 は 、 可変長符 号化 回 路 1 4 に お い て 符 号化 さ れ る と 共 に 、 逆 量子化 回 路 1 5 に供給 さ れ る 。

逆量子化 回 路 1 5 に 供給 さ れた変換係数 は 、 こ こ で 逆量子化 さ れた後 、 逆直交変換回路 1 6 に お い て 逆変 換 さ れ る 。 逆変換係数 は加算 回 路 1 7 に お い て 動 き 補 償予測 回路 1 1 よ り 供給 さ れ る 動 き 補償予測値 と 加 算 さ れ、 局部復 号画像 と し て 出 力 さ れて 、 再び動 き 補償 予測 回路 1 1 に入力 さ れ る 。 加算 回路 1 7 の 出 力 で あ る 局 部復 号画像 は 、 動 き 補償予測 回 路 1 1 内 の フ レ ー ム メ モ リ に蓄 え ら れ る 。

一方 、 こ の 動 き 補償予測 回 路 1 1 は 、 ア ル フ ァ マ ツ プ符 号化 回路 2 0 か ら 与 え ら れ る 局 部復 号信 号 に 基づ レヽ て ォブ ジ ェ ク ト の領域 の ブ ロ ッ ク の 処理 の タ イ ミ ン グで は "オブ ジ ェ ク ト の 動 き 補償予測値 " を 、 ま た 、 そ れ以外の タ イ ミ ン グで は "背景部分 の 動 き 補償予測 値 " を 差分 回 路 1 0 に 出 力 す る 。

す な わ ち 、 動 き 補償予測 回 路 1 1 は 、 ア ル フ ァ マ ツ プ信号の 局 部復 号信 号か ら 現在 、 オブ ジ ェ ク ト の ブ 口 ッ ク 対応部分 の 画像信 号が 差分 回 路 1 0 に入力 さ れて い る の か 、 あ る い は背景部分の プ ロ ッ ク 対応部分 の 画 像信号が 差分 回 路 1 0 に入力 さ れて レ、 る の か を 知 り 、 オブ ジ ェ ク ト の ブ 口 ッ ク 対応部分の 画像信 号 の 入力 期 間 中 で あ れば、 オブ ジ ェ ク ト の 動 き 補償予測信 号 を 、 そ し て 、 背景部分の プ ロ ッ ク 対応部分 の 画像信 号入力 期 間 中 で あれば、 背 景 の 動 き 補償予測信 号 を 、 差分 回 路 1 0 に 与 え る 。

差分 回 路 1 0 で は 、 こ の入力 さ れた 画像信 号 と 、 そ の 画像 の領域対応 の 予測信 号 と の 差 を 算 出す る の で 、 そ の結果、 入力 画像が ォブ ジ ェ ク ト 対応 の領域 の 画像 で あれば、 そ の オブ ジ ェ ク ト の 対応位置 で の 予測値 と 入力 画像 と の 差分信 号が 、 ま た 、 入力 画像 が 背 景 の領 域 の も の で あ れば、 そ の 背景位置対応 の 予測値 と 入力 画像 と の 差分信 号が 算 出 さ れ、 直交変換回 路 1 2 に供 給 さ れ る 。

直交変換回 路 1 2 は 、 供給 さ れた 差分信 号 を 信 号線 4 を介 し て供給 さ れ る ア ル フ ァ マ ッ プの 情報 に従 っ て 、 直交変換係数 に 変換 し た 後 、 量子化 回 路 1 3 に供給す る 。 直交変換係数 は こ の 量子化 回路 1 3 に て 量子化 さ れ る 。

量子化 回 路 1 3 に て 量子化 さ れた変換係数 は 、 可変 長符 号化 回 路 1 4 に お い て 符 号化 さ れ る と 共 に 、 逆量 子化 回 路 1 5 に供給 さ れ る 。 逆量子化 回 路 1 5 に供給 さ れた 変換係数 は こ こ で逆量子化 さ れた 後 、 逆直交変 換回路 1 6 に お い て 逆変換 さ れて加算 回 路 1 7 に供給 さ れ、 動 き 補償予測 回 路 1 1 カゝ ら 加 算 回 路 1 7 に供給 さ れ る 予測値 と 力!] 算 さ れ る 。

加算 回路 1 7 の 出 力 で あ る 局部復 号画像 の 信 号 は 、 動 き 補償予測 回 路 1 1 に供給 さ れ る 。 こ の 動 き 補償予 測 回 路 1 1 は 、 ア ル フ ァ マ ッ プ信 号の 局部復 号信 号か ら 現在 、 カ卩算 回 路 1 7 力ゝ ら ォブ ジ ェ ク ト の ブ ロ ッ ク 対 応 の信号が 出 力 さ れて い る の か 、 あ る い は背景部分 の プ ロ ッ ク 対応 の 信 号が 出 力 さ れて レヽ る の か を 知 り 、 そ の結果 、 ォブ ジ ェ ク ト の ブ ロ ッ ク 対応 の 信 号が 出 力 中 で あ れば、 オブ ジ ェ ク ト 用 の フ レー ム メ モ リ に 、 ま た 、 背景部分 の ブ ロ ッ ク 対応 の 信 号が 出 力 中 で あ れば、 背 景用 の メ モ リ に 与 え る べ く 動作 し て 対応 の メ モ リ に信 号 を 蓄 え る 。 こ れ に よ り 、 ォ ブ ジ ェ ク ト 用 の フ レ ー ム メ モ リ に はオブ ジ ェ ク ト 画像 の みが 、 ま た 、 背景用 の メ モ リ に は背景画像 の み の 画像 が得 ら れ る こ と に な る 。 従 っ て 、 動 き 補償予測 回 路 1 1 は オブ ジ ェ ク ト 画像 を 利用 し て オブ ジ ェ ク ト 画像 の 予測値 を 求 め る こ と が で き 、 ま た 、 背景部分の 画像 を利用 し て 背景画像 の 予測 値 を 求 め る こ と が で き る 。

上述 し た よ う に 、 ア ル フ ァ マ ッ プ符 号化 回 路 2 0 で は 、 入力 さ れ る ア ル フ ァ マ ッ プ を 符 号化 し 、 こ の符 号 化 さ れた ア ル フ ァ マ ッ プ信 号 を信 号線 3 を 介 し て 多重 ィ匕 回 路 1 8 に供給 し て レヽ る 。

ま た 、 多重化 回 路 1 8 に は 、 可変長符 号化 回 路 1 4 か ら 出 力 さ れた 変換係数 が線 4 を 介 し て 供給 さ れて い る 。 多重化 回 路 1 8 は供給 さ れて レ、 る こ れ ら ア ル フ ァ マ ッ プ信号お よ び変換係数 の 符 号化値 は 、 動 き べ ク ト ル情報等 の サ イ ド情報 と 多重化 さ れ た後 、 信 号線 5 を 介 し て 出 力 し て 画像符 号化装置 の 最終出 力 と し て の 符 号ィヒ ビ ッ ト ス ト リ ー ム と な る 。

以 上が符 号化装置 の構成 と 作用 で あ る 。 即 ち 、 こ の 符 号化装置 は 、 こ の 画像 の 誤差信 号 を 得 る に あ た っ て オブ ジ ェ ク ト 用 お よ び背 景用 の 画像 に よ り 動 き 補償予 測 を 行 う べ く 、 ア ル フ ァ マ ッ プ に従 っ て 処理 中 の 画像 の 現在 ブ ロ ッ ク 位置 が オブ ジ ェ ク ト 領域位置 で あ る の か 、 背 景領域位置 で あ る の か を 判 別 し な 力 ら 、 処理 中 の 画像 の 現在 プ ロ ッ ク 位置 が オブ ジ ェ ク ト 領域位置 で あればオブ ジ ェ ク ト 用 の 画像 か ら 求 め た 予測値 を用 い . 背景領域位置 で あ れ ば背景用 の 画像 か ら 求 め た 予測値 を用 い て 差分 を 求 め る 。

オブ ジ ェ ク ト 用 お よ び背景用 の 予測 に は動 き 補償予 測 回 路 に 、 こ の 差分 か ら 得 た 画像 に つ い て 、 ア ル フ ァ マ ッ プ に従 っ て そ れぞれ対応 の領域部分 の 画像 が保持 さ れ、 予測 に供 さ れ る 。 こ れ に よ り 、 オブ ジ ェ ク ト ぉ よ び背景そ れぞれで最適 な 動 き 補償予測 を 行 う こ と が で き 、 質の 良 い 画像圧縮符 号化 と 復 号化 を 可能 にす る 一方 、 図 2 は本発 明 が用 い ら れ る 複 号化装置 の プ ロ ッ ク 図 で あ る 。 復 号化装置 は 、 図 2 に示す よ う に 、 分 離化 回 路 （ demultiplexer ) 3 0 、 可変長複 号化 回 路 ( variable length decoder ) 3 1 、 逆量子ィ匕 回 路 ( dequant i z er ) 3 2 , 逆 直交変換回 路 （ inverse orthogonal trans f orm c ircuit ) 3 3 、 カロ 算 回 路 ( adder ) 3 4 、 動 き 補償 回 路 （motion

compensation c ircuit ) 3 5 _N ァ ノレ フ ア マ ッ フ 復 号 ィ匕 回 路 （ alpha - map decoder ) 4 0 と よ り 構成 さ れ る 分離化回 路 3 0 は入力 さ れ る 符 号化 ビ ッ ト ス ト リ ー ム を 分離化処理 （ demultiplex ) し て ア ル フ ァ マ ッ プ 信 号 と 画像 の符 号化信 号等 を 得 る 回 路 で あ り 、 ア ル フ ァ マ ッ プ復 号化 回 路 4 0 は こ の 分離化 回 路 3 0 に て 分 離 さ れた符 号化 ア ル フ ァ マ ッ プ信 号 を復 号 （ decode ) す る 回 路 で あ る 。

可変長復号化 回 路 3 1 は 、 分離化 回 路 3 0 に て 分離 さ れた符 号化画像信号 を 復 号す る 回 路 で あ り 、 逆量子 化 回 路 3 2 は こ の 復 号 さ れた 画像信 号 を 逆量子化 し て 元 の係数 に戻す機能 を 有 し 、 逆直交変換回 路 3 3 は こ の係数 を ア ル フ ァ マ ッ プ に従 っ て 逆 直交変換 し て 予測 誤差信号 に戻す機能 を 有 し 、 加算 回路 3 4 は 、 こ の 予 測誤差信 号 に動 き 補償 回 路 3 5 か ら の動 き 補償値 を加 算 し て 再生画像 言 号 （ decoded video s ignal ) と し て 出 力 す る 。 こ の 再生画像信号が複号化装置 の 最終 出 力 と な る 。

動 き 補償回路 3 5 は 、 加 算 回路 3 4 カゝ ら 出 力 さ れた 再生画像信号 を ア ル フ ァ マ ッ プ に従 っ て フ レ ー ム メ モ リ に 蓄積す る こ と に よ り オブ ジ ェ ク ト 画像 と 背 景画像 と を得 る と 共 に 、 こ の 蓄積 さ れて 得 ら れた画像 か ら ォ ブ ジ ェ ク ト の 動 き 補償信 号 、 背景 の 動 き 補償信 号 を 得 る 。

こ の よ う な構成 の 複 号化装置 に お い て は 、 符 号化 ビ ッ ト ス ト リ ー ム は 、 線 7 を介 し て 分離化 回 路 3 ◦ に供 給 さ れ、 分離化 回 路 3 0 に お い て各 々 の 情報毎 に 分離 さ れ る こ と に よ り 、 ア ル フ ァ マ ッ プ信 号 に 関 す る 符 号 と 、 画像信号の 可変長符 号 と に 分 け ら れ る 。

ア ル フ ァ マ ッ プ信号 に 関す る 符 号は 、 信 号線 8 を 介 し て ア ル フ ァ マ ッ プ復 号化 回 路 4 0 に供給 さ れ 、 ま た 、 画像信 号の 可変長符号 は 可変長複 号化 回路 3 1 に供給 さ れ る 。

ア ル フ ァ マ ッ プ信 号 に 関す る 符 号は ア ル フ ァ マ ッ プ 複 号化 回路 4 0 に お い て ア ル フ ァ マ ッ プ信 号 に 再生 さ れ、 信号線 9 を介 し て 逆 直交変換回 路 3 3 と 動 き 補償 回 路 3 5 に 出 力 さ れ る 。

一方 、 可変長複 号化 回 路 3 1 は 、 分離化 回 路 3 0 か ら 供給 さ れ る 符号 を復 号 し 、 復 号 さ れた 変換係数 は逆 量子化 回 路 3 2 に供給 さ れ、 こ こ で逆量子化 さ れ る 。 逆量子化 さ れた変換係数 は 、 線 9 を 介 し て 供給 さ れ る ア ル フ ァ マ ッ プ に従 っ て 逆直交変換回 路 3 3 に よ り 逆 変換 さ れ、 加算 回 路 3 4 に供給 さ れ る 。 加算 回 路 3 4 は 、 逆直交変換回 路 3 3 力 ら の 逆直交変換 さ れた信 号 と 、 動 き 補償 回路 3 5 よ り 供給 さ れ る 動 き 補償信 号 と を加算 し 、 再生画像 を 得 る 。

以 上が 本発 明 を 適用 す る 画像符 号化装置 お よ び画像 複 号化装置 の概要 で あ る 。

本発 明 は 、 図 1 に示す符 号化装置 の構成要素 で あ る ア ル フ ァ マ ッ プ符 号化 回 路 2 0 お よ び図 2 に示す復 号 化装置 の構成要素 で あ る ア ル フ ァ マ ッ プ復 号化 回 路 4 0 に 関 わ る も の で あ り 、 以 下 に 具体的 な 実施例 を説 明 す る 。

は じ め に 、 変化 画素 の位置 を 特 定す る シ ン ボ ル を 可 変長符 号化テ ー ブル を 用 い て符 号化す る に あ た り 、 出 現頻度 の 多い シ ン ボル に は短 い符 号 を 割 り 当 て る よ う に 可変長符号化テ ー ブル （ V L C テ ー ブル） を 作 っ て く ^ _ と に よ り 、 総符 号量 を 少 な く す る 場合 に 、 既 に 符 号化 /復 号化 さ れた ア ル フ ァ マ ッ プの 画素ノ、。 タ ー ン に よ つ て 、 可変長符 号化テ ー ブル （ V L C テ ー ブル） を 適応的 に切 り 替 え る こ と で 、 さ ら に符 号量 を 削減す る よ う に し た第 1 の 実施例 を 説 明 す る 。

こ の 第 1 の 実施例 は 、 変化画素 の位置 を 特定す る シ ン ボル を 可変長符 号化 テ ー ブル を 用 い て 符 号化 し 、 既 に符 号化 し た ア ル フ ァ マ ッ プの ノ、。 タ ー ン に よ っ て 、 そ の 可変長符 号化テ ー ブル を 切 り 替 え る こ と を 特徴 と し て レヽ る 。

即 ち 、 本実施例 で は 、 既 に符号化 /復号化 さ れた ァ ル フ ァ マ ッ プ の 画素ノ、。 タ ー ン に よ っ て 、 可変長符 号化 テ ー ブル （ V L C テ ー プル） を 適応的 に 切 り 替 え る こ と に よ り 、 さ ら に符号量 を 削減 し て レ、 る 。

先ず 、 図 3 を 参 照 し て 図 1 の 符 号化装置 に用 い ら れ て レ、 る ア ル フ ァ マ ッ プ符 号化 回 路 2 0 の構成 を 説 明 す る 。

ア ル フ ァ マ ッ プ符 号化 回 路 2 0 は 、 解像度 変換回 路 ( fe zjヽ LEI路 ( down-sampling c ircuit ) ) 2 1 、 (拡大 回路 （ up - sampl ing c ircuit ) ) 2 3 、 2 値画 像符 号化 回 路 （binary image encoder ) 2 2 , 多重 ィ匕 回 路 （multiplexer ) 2 4 と 力 ら 構成 さ れて レ、 る 。

こ れ ら の う ち 、 解像度変換 回 路 2 1 は解像度 を 下 げ る （ scal ing-down )た め の 変換回 路 で あ り 、 与 え ら れ る 縮 ,j、拡大率 （ convers ion ratio )に従 つ て ァ ル フ ァ マ ッ プ を縮小 し 、 ま た 、 解像度変換 回 路 2 3 は解像 度 を 上 げ る （ scaling-up )た め の 変換回 路 で あ つ て 、 与 え ら れ る 縮小拡大率 に従 っ て ア ル フ ア マ ッ プ を 拡大 す る 機能 を 有す る 。

解像度変換回 路 2 3 は 、 解像度変換回 路 2 1 が解像 度縮小変換 し た ア ル フ ァ マ ッ プ を 元 の サイ ズ に 戻す た め に設 け て あ り 、 こ の解像度変換回 路 2 3 に よ り 元 の サ イ ズ に戻 さ れた ア ル フ ァ マ ッ プが 、 信 号線 4 を 介 し て 直交変換回 路 1 2 ， 逆 直交変換回路 1 6 に 与 え ら れ る ア ル フ ァ マ ッ プ局部復 号信号 と な る 。

2 値画像符号化 回 路 2 2 は 、 解像度変換回 路 2 1 の 出 力す る 解像度縮小変換 さ れた ア ル フ ァ マ ッ プ信 号 ( down-sampled alpha-map s ignal ) を 2 値画像符 号化 し て 出 力 す る 機能 を 有 し 、 多重化 回 路 2 4 は 2 値 画像符 号化 出 力 と 前記信 号線 6 を 介 し て 与 え ら れ る 縮 小拡大率の 情報 と を 多重化 し て 出 力 す る 。

こ の よ う な構成 の ア ル フ ァ マ ッ プ符 号化 回 路 2 0 に お い て は 、 ア ル フ ァ マ ッ プ信号入力線 2 を 介 し て 入力 さ れ る ア ル フ ァ マ ッ プ信 号 を 、 解像度変換回 路 2 1 に よ り 指 定の縮小拡大率 で縮小 し た後 に符 号化 し 、 こ の 符 号化 さ れた ア ル フ ァ マ ッ プ信 号 を信 号線 3 を 介 し て 出 力 し 、 ま た 、 符 号化 さ れた ア ル フ ァ マ ッ プ信号

( down-sampled and encoded alpha-inaD

s ignal )を解像度変換回 路 2 3 に よ り 元 の解像度 に 拡 大 し て 得た局部復 号信号 を 信 号線 4 を介 し て 図 1 の 直 交変換回路 1 2 お よ び逆直交変換回 路 1 6 に 出 力 す る 。

す な わ ち 、 信号線 6 を 介 し て ア ル フ ァ マ ッ プ符 号化 回 路 2 0 に所望 と す る サ イ ズ変換率 （ s i ze

convers ion ratio ) の 設 定情報 を供給す る こ と で 、 前記 ト レ ー ドオ フ （ trade-of f ) を 図 る こ と が 可能 と な る 。

信 号線 6 を介 し て 供給 さ れた サ イ ズ変換率 は 、 解像 度変換回 路 2 1 ， 2 3 お よ び 2 値画像符 号化 回 路 2 2 に供給 さ れ、 ア ル フ ァ マ ッ プ信 号の 発 生符 号量 （ t he number of encoded bits )を 制御す る こ と 力 S 可 IS と な る 。 ま た 、 信 号線 6 を 介 し て 供給 さ れた サ イ ズ変 換率 の符 号 i s ize convers ion ration code ) (設 定情報信号） は 、 多重化 回 路 2 4 に て 、 符 号化 さ れた ア ル フ ァ マ ッ プ信号 と 多重化 さ れ、 信号線 3 を 介 し て 出 力 さ れ、 ア ル フ ァ マ ッ プ の 符 号化信 号 と し て 画像符 号化装置 の 最終 出 力 段 で あ る 多重化 回 路 1 8 に 与 え ら れ る こ と に な る 。

次 に 、 図 4 を 参 照 し て 図 2 の 複 号化装置 に用 い ら れ る ア ル フ ァ マ ッ プ復 号化 回 路 4 0 を説 明 す る 。

図 4 に示す よ う に 、 ア ル フ ァ マ ッ プ複 号化 回 路 4 0 は 、 2 値画像複 号化 回 路 4 1 、 解像度変換回 路 4 2 お よ び分離化回 路 4 3 に て 構成 さ れ る 。 分離化 回 路 4 3 は 、 図 2 に示す画像復 号化装置 内 の 分離化 回 路 3 0 で 分離 さ れて ア ル フ ァ マ ッ プ復 号化 回 路 4 0 に 入力 さ れ た ア ル フ ァ マ ッ プ信号カゝ ら ア ル フ ァ マ ッ プ信 号 の 符 号 と サイ ズ変換率の 符 号 （ サ イ ズ変換率 の 設 定情報信 号） に 分離す る （ demultiplex )回 路 で あ り 、 2 値画 像復 号化 回 路 4 1 は ア ル フ ァ マ ッ プ信 号の 符 号 を 、 分 離化 回路 4 3 か ら 分離 し て 与 え ら れ る サ イ ズ変換率 の 符 号 に従 っ て 2 値画像 に 戻す 回 路 で あ り 、 解像度 変換 回 路 4 2 は こ の 2 値画像 を 、 分離化 回 路 4 3 か ら 分離 し て 与 え ら れ る サ イ ズ変換率 の 符 号 に従 っ て 解像度拡 大変換 し て 出 力 す る 。

図 4 に お い て 、 信 号線 8 を介 し て ア ル フ ァ マ ッ プ復 号化 回路 4 0 に供給 さ れた符 号 は 、 分離化 回 路 4 3 に よ り ア ル フ ァ マ ツ プ信 号の 符 号 と サイ ズ変換率 の 符 号 に 分離 さ れ、 各 々 信 号線 4 4 お よ び信 号線 4 5 を介 し て 出 力 さ れ る 。

2 値画像復 号化 回 路 4 1 で は 、 信 号線 4 4 を 介 し て 供給 さ れ る ア ル フ ァ マ ッ プ信 号の 符 号 と 信 号線 4 5 を 介 し て 供給 さ れ る サ イ ズ変換率 の 符 号か ら 、 縮小 さ れ た ァ ノレ フ ァ マ ッ プ信 号 を 再生 し 、 信 号線 4 6 を 介 し て 解像度変換回 路 4 2 に供給す る 。 解像度変換回 路 4 2 で は 、 信 号線 4 5 を 介 し て 供給 さ れ る サ イ ズ変換率 の 符 号か ら 、 縮小 さ れ た ア ル フ ァ マ ッ プ信 号 を 元 の サ イ ズ に拡大 し た後 、 信号線 9 を介 し て 出 力 す る 。

図 5 は 、 図 1 の ア ル フ ァ マ ッ プ符 号化 回 路 2 0 あ る レヽ は 、 図 3 の 2 ィ直画像符号化 回 路 2 2 を よ り 詳細 に表 し て ！/、 る 。

ア ル フ ァ マ ッ プ信 号 5 1 は 、 a 1 検 出 回 路 5 2 及び 符 号化済 みの ア ル フ ァ マ ッ プ を保持す る メ モ リ 5 3 に 入力 さ れ る 。 a l 検 出 回 路 5 2 で は 、 図 7 A お よ び図

7 B に示 さ れ る よ う に変化画素 a 1 の位置 が 検 出 さ れ 位置信 号 5 4 を 出 力 す る 。

即 ち 、 図 7 A は 、 ブ ロ ッ ク 単位 (例 え ば、 M X N 画 素構 成 の プ ロ ッ ク 単位 （ M ： 水 平方 向 の 画素数 、 N ： 垂直方 向 の 画素数 ) ) で ア ル フ ァ マ ッ プ信 号 を 符 号化 す る 場合 の 変化画素 （ changing pixel )の 関係 を 表 す図 で あ る 。 ま た 、 図 7 B は 、 参 照 変化画素

( ref erence changing ixel ) b 1 検 出 す る た め の 参照領域 ( ref erence area )を表す 図 で あ る 。

プ ロ ッ ク ベ ー ス 符 号ィ匕 （ block base encoding ) に お い て は 、 以 下の よ う に 変化画素 は 単純化 し て 符 号化 し て も 良 い。 な お 、 以 下 の 処理 は 、 ス キ ャ ン の順序 を 切 り 換 え て も 良 い し 、 縮小 さ れた プ ロ ッ ク に 適用 し て も 良 い。 単純化 し た 変化 画素 の 符 号化 は 、 次 の よ う に し て行 う 。

今 、 変化画素 a i ( i = 0 〜 1 )お よ び参 照変化 画素 b 1 の そ れぞれ に つ い て の 、 画面左 上カゝ ら ラ ス タ 順 に 求 め た 際 の ア ド レ ス （ ま た は画素順序） を 各 々 、 abs— ai ( i = 0〜 ； L )、 abs— bl と 表記 し 、 変化画素 aO の 属す る ラ イ ン を aO— line と 表記す る と 、 aO— l ine お よ び r— ai ( i = 0〜 ； 1 )、 r— bl のィ直 は 、 以 下 の 式で求 め ら れ る 。

aO— line = ( int ) ( ( abs_a0 + WIDTH ) /

WIDTH ) ― 1

r_a 0 = abs a 0— a 0 l ine * WIDTH

r _a 1 = abs a 1— a 0 line氺 WIDTH

r _b 1 = abs— bl— ( aO— line— 1 ) * WIDTH 前記式 に お い て 、 * は乗 算 を 、 （ i n t ) ( X ) は X の 小数点以 下切 り 捨て を 意味 し て お り 、 WIDTH は プ ロ ッ ク の水 平方 向 の 画素数 を 示 し て い る 。 変化 画素 の 相 対 ア ド レ ス " r— a l— r— bl" あ る レヽ は 、 " r— al— r 一 a 0 " の値 を 符 号化す る こ と で 、 再生値が 得 ら れ る 。 こ の よ う に し て 変ィ匕画素 a 1 の位置 が 検 出 さ れ る 。

上述 の よ う に し て a 1 検 出 回 路 5 2 に よ り 検 出 さ れ た位置 5 4 の 情報 が 、 モ ー ド決定回路 （ shape mode determination c ircuit ) ο 5 に送 ら れ る 。 同 日き に ま た 、 メ モ リ 5 3 か ら は参 照 変化画素 b 1 の位置信 号 5 6 が モ ー ド決定回 路 5 5 に 送 ら れ る 。

モ ー ド決定回 路 5 5 で は 、 図 8 に示す ア ル ゴ リ ズ ム に よ り 、 モ ー ド が 決定 さ れ、 そ の モ ー ド が 、 符 号化 さ れ る シ ン ボ ル 5 7 と し て 符 号化 回路 5 8 に 送 ら れ る 。

即 ち 、 ま ず 、 起点変化画素 の位置 を 初期化 し （ S 1 ) 、 初期位置 （ ブ ロ ッ ク の左 上画素） で の 画素値 を 1 ビ ッ ト で符 号化す る （ S 2 ) 、 次 に初期位置 に お レ、 て 参 照 変化画素 b 1 を 検 出 す る （ S 3 ) 。

こ こ で 、 参照変化画素 b 1 が 検 出 さ れな か つ た場合 に は 、 参照領域 に 変化画素 が 存在 し な い こ と か ら 垂 直 モ ー ド が使 え な い た め 、 垂直ノ、。 ス モ ー ド の 状態 を " T R U E " (真） と し 、 b 1 が 検 出 さ れた場合 は垂 直モ — ド が使 え る た め 、 垂直ノ、 ° ス モ ー ド の 状態 を " F A L

S E " (偽） と す る 。

以 上 で初期状態 の セ ッ テ ィ ン グ を 終了 し 、 符 号化ル ー プの 処理 に移 る 。

ま ず 、 変化画素 a 1 を 検 出 し （ S 5 ) 、 変化画素 a 1 が 検 出 さ れた か否 か を 判 定 し （ S 6 ) 、 変化画素 a 1 が検 出 さ れ な か っ た場合 に は 、 以 後 、 変化画素 が 無 い た め 、 符号化 の 終 了 を 示す符 号化処理終 了 符 号 （ E O M B ； E n d of MB) を 符 号化す る （ S 7 ) 。

ま た 、 ス テ ッ プ S 6 で の判 定の 結果 、 変化画素 a 1 が 検 出 さ れた場合 に は 、 垂直パ ス モ ー ド （ Vertical pass mode) の 状態 を 判 定す る （ S 8 ) 。 こ こ で 、 垂直ノ、。 ス モ ー ド の 状態 が " T R U E " な ら ば、 垂 直パ ス モ ー ド の符号化処理 （ S 1 6 ) を 行い 、 垂 直ノ、。 ス モ ー ド の 状態 が " F A L S E " な ら ば、 b 1 を 検 出 す る ( S 9 ) 。

次 に 、 b 1 が検 出 さ れた か否力 を 判 定 し （ S 1 0 ) . 参 照変化画素 b 1 が 検 出 さ れな か つ た場合 に は 、 水 平 モ ー ド の ス テ ッ プ （ S 1 3 ) に進 み 、 参照 変ィヒ画素 b 1 が検 出 さ れた場合 に は 、 " r — a 1 — r — b 1 " の 絶対値が し き い値 （ V T H ) よ り も 大 き レ、 か否 力 を 判 定 し （ S 1 1 ) 、 そ の 結果 、 し き い値 （ V T H ) 以 下 の場合 に は 、 垂直モ ー ド の ス テ ッ プ （ S 1 2 ) に 進 み、 し き い値 （ V T H ) よ り も 大 き い場合 に は 、 水 平モ ー ド の ス テ ッ プ （ S 1 3 ) に進む。

水平モ ー ド の ス テ ッ プ （ S 1 3 ) で は 、 " r— a 1— r_ a0" の値が符 号化 さ れ る 。 こ こ で 、 " r— al— r— a 0 " の値力 S " W I D T H " よ り も 小 さ い 力 否 力 を 判 定 し （ S 1 4 ) 、 そ の結果 、 " W I D T H " 以 上 の 場 合 に は 、 垂直パ ス モ ー ド の 状態 を " T R U E " (真） と し て （ S 1 5 ) 、 垂直ノ、。 ス モ ー ド の ス テ ッ プ （ S 1 6 ) に 進み 、 垂直ノ ス モ ー ド の ス テ ッ プ （ S 1 6 ) 終 了 し た ら 、 垂直パ ス モ ー ド の 状態 を " F A L S E " (偽） と す る 。

以 上 、 垂直モ ー ド 、 水 平モ ー ド 、 垂直ノヽ。 ス モ ー ド の 何れかが 終了 し た 後 （ a 1 ま で の符 号化 が 終 了 し た 後） 、 a 1 の位置 を新 た な a 0 の位置 と し て （ S 1 8 ) 、 ス テ ッ プ S 5 の 処理 に 戻 る 。

前記の よ う に し て モ ー ド が 決定 さ れ る と 、 メ モ リ 5 3 か ら は 、 符 号化済 み の 参 照変化 画 素 b 1 の 周 囲 の ノ タ ー ン 5 9 が 、 テ ー ブル決定回 路 6 0 に 送 ら れ る 。 テ 一ブル決定回路 6 0 で は 、 複数 の 可変長符 号化テ ー プ ル の う ち の 一つ が 選択 さ れて 出 力 さ れ る 。

こ こ で 、 例 え ば、 図 9 に示す よ う に 、 参 照 変化画素 b 1 の 上方 に ぉ レ、 て 、 右上 力 ら 左 下 向 き の エ ッ ジが あ る 場合 は 、 参照 変化 画素 b 1 の 下方 に も 同 じ エ ッ ジが 直線的 に延び る 場合 が 多 い の で 、 画素 X 1 、 X 2 、 X 3 の 中 で は X 1 に a 1 力 S あ る 確率 力 S 高 レヽ。

そ こ で 、 参照 変化画素 b 1 の 上方が こ の よ う な ノ、。 タ ー ン の 時 に は 、 V L 1 ( r_al-r_bl = -l) に短 い符 号 を割 り 当 て た テ ー ブル を用 い る 。

次 に 、 テ 一 ブル決定方法 を 図 1 0 と 図 1 1 を 参 照 し て 説 明 す る 。 こ こ で は 、 図 1 0 に 示 し た 参 照変化画素 b 1 の 上 2 ラ イ ン の c 0 〜 c 5 に着 目 す る 。 こ れ ら の 画素 が 参照 変化画素 b 1 と 同 じ値 な ら " 1 " 、 異 な る 値 な ら " 0 " と し て 、 図 1 1 に示 し た よ う に . c 0 〜 c 5 の 順序 で " 0 " と " l " を 並べ る 。

こ の 2 進数 を 1 0 進数 に 変換 し た数値 を コ ン テ キ ス ト 番 号 と 呼ぶ。 各 々 の コ ン テ キ ス ト 番 号 に 対応 さ せ て 例 え ば、

[ コ ン テ キ ス ト 番 号 = 0 の 時 ]

V 0 1

V L 1 0 0

V R 1 0

V L 2 0 0 0 0 0

V R 2 0 0 0 0

E O M B 0 0 0 1

H 0 0 1

[ コ ン テ キ ス ト 番 号 の 時 ]

V 0 0 1 0

V L 1

V R 0 0 0 0 1 0

V L 2 0

V R 2 0 0 0 0

E O M B 0 0 0

H 0 0

[ コ ン テ キ ス ト 番 号 = 2 の 時 ]

以 下省略

と い っ た よ う に 可変長符 号化 テ ー ブ ル を 用 意 し て お く こ の テ ー ブル で 、

V L 1 は b を 表 し 、

V L 2 は b - 2 、

V R 1 は b

V R 2 は r — b 1 = 2 を 表す。

図 9 は コ ン テ キ ス ト 番 号 = 1 と な る の で 、 上 の V L 1 1 ビ ッ ト で符 号化 で き る テ ー ブルが 選択 さ れ る 。

再び図 5 に戻 り 、 説 明 を続 け る 。 符 号化 回 路 5 8 は テ一ブル決定回 路 6 0 か ら 送 ら れて く る 選択 さ れ た テ — プル 1 1 を 用 い て符 号 6 2 を 決定 し 、 そ の 決 定 し た 符 号 6 2 を 出 力 す る 。

図 6 は 、 図 2 に示 し た復 号化装置 の構成要素 と し て の ァ レ フ ァ マ ッ プ複 号化 回 路 4 0 あ る レヽ は 、 図 4 に 示 し た復 号化装置 の構成要素 と し て の 2 値画像復 号化 回 路 4 1 を 、 よ り 詳細 に表 し た プ ロ ッ ク 構成 図 を 示す。 こ れは 、 図 5 の 実施例 で生成 さ れ る 符 号 6 2 を 復 号す る 。

符 号 6 2 は復 号化 回 路 6 3 に入力 さ れ る 。 メ モ リ 6 4 に はそ れま で に復 号 さ れた ア ル フ ァ マ ッ プが保持 さ れて お り 、 参 照 変化画素 b 1 の周 囲 の ノ、。 タ ー ン 6 5 が テ ー ブル決定回路 6 6 に送 ら れ る 。

テ一プル決定回 路 6 6 で は 、 複数 の 可変長符 号化 テ 一フ ノレ の う ち の 一 つ が 選択 さ れた テ ー ブル 6 7 と し て 復 号化 回 路 6 3 に 送 ら れ る 。 テ ー ブル決 定の ア ル ゴ リ ズ ム は 図 5 の テ ー ブル決定回 路 7 0 と 同 じ で あ る 。 テ ー ブル 6 7 に よ っ て 、 シ ン ボル 6 8 が復 号 さ れ、 a 1 再生回 路 6 9 に 送 ら れ る 。 a 1 再生 回 路 6 9 で は シ ン ボル 6 8 と メ モ リ 6 4 力、 ら 送 ら れて く る b 1 の位 置 7 0 に よ っ て a 1 の位置 を 求 め 、 a 1 ま で の ァ ノレ フ ァ マ ッ プ 7 1 を 再生す る 。 再生 さ れた ア ル フ ァ マ ッ プ

7 1 は 出 力 さ れ、 ま た 、 今後 の復 号の た め に メ モ リ 6 4 に保持 さ れ る 。

以 上 、 第 1 の 実施例 は 、 複数 の 所定 の 可変長符 号化 テ ー ブル を 切 り 替 え る も の で あ る が 、 図 1 2 に 、 実際 に生起 し た シ ン ボ ル の 頻度 に よ っ て 、 テ ー ブ ル を ダイ ナ ミ ッ ク に修正 し て い く 第 2 の 実施例 を 以 下 に説 明 す る 。

前記第 1 の 実施例 は 、 複数の所定の 可変長符 号化 テ 一ブル を 切 り 替 え る 装置 で あ る が 、 図 1 2 に 、 実際 に 生起 し た シ ン ポ ル の 頻度 に よ っ て 、 テ ー ブル を ダイ ナ ミ ッ ク に修正 し て い く 実施例 が 示 さ れて い る 。 こ れは 図 5 の 第 1 の 実施例 の 符 号化装置 に カ ウ ン タ 7 2 と ノ、 フ マ ンテ ー ブル生成 回 路 （ Hof fman table f orming c ircuit ) 7 3 を カロ え た構成 で あ る 。

カ ウ ン タ 7 2 に はモ ー ド決定回 路 5 5 力ゝ ら の シ ン ポ ル 5 7 と 、 テ ー ブ ル決 定回 路 6 0 力ゝ ら の コ ン テ キ ス ト 番 号 7 4 が 入力 さ れ る 。 カ ウ ン タ 7 2 は 、 各 シ ン ボル の発生回数 を コ ン テ キ ス ト 番 号別 に保持す る 。 こ の保 持カゝ ら 一定の 時 間 が 経過 し た 後 に コ ン テ キ ス ト 番 号別 に各 シ ン ボ ル の発 生 回数 7 5 が ノ、 フ マ ン テ ー ブ ル生成 回 路 7 3 に送 ら れ る 。 ノヽ フ マ 'ン テ一ブル生成 回 路 7 3 で は _λ ノヽ フ マ ン符 号化 (藤 田 「基礎情報理論 」 （昭晃 堂） Ρ Ρ . 5 2 - 5 3 、 1 9 8 7 年） に よ っ て 符 号化 テ一ブル 7 6 が 生成 さ れ る 。 そ の テ ー ブル 7 6 が テ ー プル決定回路 6 0 に 送 ら れて 、 該 当 す る コ ン テ キ ス ト 番 号の テ ― ブル力 S テ ー ブル 7 6 で置 き 換 え ら れ る 。 こ のノヽ フ マ ンテ ー プル の 生成 と 置 き 換 え を 全 て の コ ン テ キ ス ト 番号 につ い て 行

図 1 2 の符号化 回 路 で生成 さ れ る 符 号 を 復 号す る た め の 復 号化 回 路 が 図 1 3 に示 さ れて レ、 る 。 図 1 3 に示 す第 2 の 実施例 の 復 号化装置 も 、 や は り 、 図 6 に示す 実施例 の復 号化装置 に 力 ゥ ン タ 7 7 と ノヽ フ マ ンテ 一プ ル生成 回 路 7 8 を加 え た構成 で あ る 。

力 ゥ ン タ 7 7 と ノヽ フ マ ンテ一ブル生成 回 路 7 8 の 動 作 は 2 と 同 じ で あ る 。

以 上述ベた よ う に 、 1 お よ び第 2 の 実施例 は 、 変 化画素 の位置 を 特定す る シ ン ボル を 可変長符 号化 テ ー ブル を用 い て 符 号化す る こ と に よ り 符 号量 を 少 な く す る ぶ う に し た符 号化 /復 号化 に お い て 、 複数種 の 可変 長符 号化テ一ブル を 用 、 し て お き 、 既 に符 号化 し た ァ ル フ ァ マ ッ プの パ タ一ン に よ つ て 、 そ の 可変長符 号化 テ一ブル を 切 り 替 え る こ と を 特徴 と す る も の で あ り 、 こ の よ う な本発 明 に よ れば、 ア ル フ ァ マ ッ プの符 号量 を レヽ つ そ う 低減 で き る 効果 が 得 ら れ る 。

次 に 、 相 対 ァ ド レ ス 符 号化 の 参 照変化画素 を 、 M X N 画素 （ M : 水 平方 向 の 画素数 、 N : 垂 直方 向 の 画素 数） 構成 の ブ ロ ッ ク 内 の 画素値か ら で な く 、 動 き 補償 予測信 号か ら 求 め る よ う に し た実施例 を 第 3 の 実施例 と し て 説明 す る 。

図 1 4 は 、 第 3 の 実施例 と し て の ア ル フ ァ マ ッ プ符 号化 回 路 を 説 明す る プ ロ ッ ク 図 で あ る 。 ま た 、 図 1 5 は 、 第 3 の 実施例 と し て の ア ル フ ァ マ ッ プ復 号化 回 路 を 説明 す る プ ロ ッ ク 図 で あ る 。

図 1 4 、 図 1 5 お よ び図 1 6 A 、 1 6 B を 用 い て 本 発 明 の ア ル フ ァ マ ッ プ符 号化 回 路 2 0 お よ びア ル フ ァ マ ッ プ復号化 回 路 4 0 を 説 明 す る 。

第 3 の 実施例 に お い て は 、 図 1 4 に示す よ う に 、 ァ ル フ ァ マ ッ プ符 号化 回 路 2 0 は 、 解像度変換回 路 （縮 小処理用 回 路 i down-sampling c ircuit ) ) 2 1 、 解像度変換 回 路 （拡大処理用 回 路 （ up- sampling c ircuit ) ) 2 3 、 2 値画像符 号化 回 路 （ binary video encoding c ircuit , f or exam le , block-based MMR encoder ) 2 2 、 多重ィ匕 回 路 ( multiplexer ) 2 4 、 さ ら に動 き 補償予測 回 路

( motion estimation/compensation circuit ) 2 5 お よ び縮小 回 路 （ down— s ampl ing c ircuit ) 2 6 と カゝ ら 構成 さ れて レ、 る 。

こ れ ら の う ち 、 解像度変換回 路 2 1 は解像度縮小変 換 （ down-sampling )用 の 変換回 路 で あ り 、 与 え ら れ る サ イ ズ変換率 （ s ize convers ion ratio )の 設定 情報信 号 に従 つ た縮小率 で ア ル フ ァ マ ッ プ信 号 を符 号 化 し 、 ま た 、 解像度変換回 路 2 3 は解像度拡大変換 ( up- s arapl ing )用 の 変換回 路 で あ っ て 、 与 え ら れ る 拡大率 に従 っ た拡大率 で ア ル フ ア マ ッ プ を 符 号化す る 機能 を 有す る 。

解像度変換回路 2 3 は 、 解像度変換回 路 2 1 が解像 度縮小変換 し た ア ル フ ァ マ ッ プ を 元 の サ イ ズ に 戻す た め に設 け て あ り 、 こ の解像度変換回路 2 3 に よ り 元 の サ イ ズ に 戻 さ れた ア ル フ ァ マ ッ プが 、 信 号線 4 を 介 し て 図 1 の 直交変換回 路 1 2 お よ び逆直交変換回 路 1 6 に入力 さ れ る ア ル フ ァ マ ッ プ局 部復 号信 号 と な る 。

2 値画像符 号化 回 路 2 2 は 、 解像度変換回 路 2 1 が 出 力 す る 解像度縮小変換 （ down-sample ) さ れた ア ル フ ァ マ ッ プ信号 を 2 値画像符 号化 し て 出 力 す る 回 路 で あ っ て 、 詳細 は後述す る が 、 縮小処理用 の解像度変換 回 路 2 6 か ら 信 号線 8 2 に て 供給 さ れ る 解像度縮小変 換 さ れた ア ル フ ァ マ ッ プ の 動 き 補償予測信 号 を利用 し て 符 号化す る 。 ま た 、 多重化 回 路 2 4 は 2 値画像符 号 化 出 力 と 拡大率の 情報 と を 多重化 し て 出 力 す る 。

第 3 の 実施例 に お け る 符 号化 回 路 の構成 は 、 動 き 補 償予測 回 路 2 5 お よ び縮小処理用 の解像度変換回 路 2 6 を備 え て レヽ る 点 が 、 図 3 の 回 路構成 と 異 な り 、 動 き 補償予測 回路 2 5 に は 、 先 に符 号化 さ れた フ レ ー ム の 再生画像 を 蓄積す る フ レ ー ム メ モ リ が設 け ら れ、 拡大 回 路 2 3 よ り 供給 さ れ る 再生信 号 （ decoded s i g n a 1 )力 S 蓄 え る こ と 力 ^ で き る 構成 で あ る と 共 に 、 更 に 、 動 き 補償予測 回 路 2 5 に は 、 動 き べ ク ト ル信 号

( 図 示せず） が 供給 さ れ、 こ の動 き べ ク ト ル信 号 に従 つ て 動 き 補償予測信 号 を 生成 し 、 信号線 8 1 を 介 し て 縮小処理用 の解像度変換回 路 2 6 に供給す る 構成 と し て あ る 。

縮小処理用 の解像度変換回路 2 6 は 、 信号線 8 1 を 介 し て 供給 さ れ る 動 き 補償予測 回 路 2 5 か ら の 動 き 補 償信号 を 、 信 号線 6 を 介 し て 供給 さ れ る サ イ ズ変換率 の 設定情報信号 に応 じ て 縮小 し た 後 、 信 号線 8 2 を 介 し て 2 値画像符号化 回 路 2 2 に 出 力 す る 。

な お 、 2 値画像符 号化 回 路 2 2 と し て 構成す る 場合 で は 、 信号線 2 a を 介 し て供給 さ れ る 解像度変換回 路 2 1 か ら の解像度縮小変換 さ れた ア ル フ ァ マ ッ プ信 号 ( down-s amDled alDha-map s ignal ) を 2 値画像 に 符 号化 し て 出 力 す る 。

こ の よ う な構成 の ア ル フ ァ マ ッ プ符号化 回 路 2 0 に お い て は 、 信 号線 6 を 介 し て 供給 さ れ る サ イ ズ変換率 の 設 定情報信号は 、 解像度変換回 路 2 1 ， 2 3 ， 2 6 お よ び 2 値画像符 号化 回 路 2 2 に供給 さ れ、 ア ル フ ァ マ ッ プ信 号の発 生符 号量 を 制御す る こ と を 可能 と す る 。 ま た 、 信 号線 6 を 介 し て 供給 さ れた サ イ ズ変換率 の 符 号 （設 定情報信 号） は 、 多重化 回 路 2 4 に て 、 符 号化 さ れた ア ル フ ァ マ ッ プ信 号 と 多重化 さ れ、 信 号線 3 を 介 し て 出 力 さ れ、 ア ル フ ァ マ ッ プ の 符 号化信 号 と し て 画像符 号化装置 の 最終 出 力 段 で あ る 図 1 の 多重化 回 路 1 8 に 与 え ら れ る こ と に な る 。

ア ル フ ァ マ ッ プ符 号化 回 路 2 0 で は 、 解像度変換回 路 2 1 は 、 ア ル フ ァ マ ッ プ信 号入力線 2 を 介 し て 入力 さ れ る ア ル フ ァ マ ッ プ信 号 を 、 信号線 6 を 介 し て 与 え ら れ る 所望 の サ イ ズ変換率 の設定情報 に従 っ て縮小 し ( down sample )、 縮小化 ァ ノレ フ ァ マ ッ プ信 号 （ down- sampled alpha-map s ignal )を 2 直画像符 号ィ匕 回 路 2 2 に 与 え る 。

2 値画像符 号化 回 路 2 2 は 、 解像度変換回 路 2 1 か ら 得 ら れた解像度縮小変換済 みア ル フ ァ マ ッ プ信 号 ( down-sampled alpha-map s i σ n a 1 ) ¾r _N 縮小処 ¾ 用 の解像度変換回 路 2 6 か ら 信 号線 8 2 を 介 し て 供給 さ れ る 解像度縮小変換ア ル フ ァ マ ッ プ信 号 の 動 き 補償 予測信 号 を利用 し て 符 号化 し 、 2 値画像符 号化 出 力 と し て 多重化 回路 2 4 と 解像度変換回 路 2 3 と に 与 え る _c 多重化 回 路 2 4 は こ の 2 値画像符 号化 出 力 で あ る 符 号 ィ匕 さ れた ア ル フ ァ マ ッ プ信 号 （ encoded alpha-map s ignal ) と 、 信 号線 6 を 介 し て 与 え ら れ る 拡大率 の 情 報 と を 多重化 し て 信 号線 3 に 出 力 す る 。

一方 、 解像度変換回 路 2 3 は 、 こ の 2 値画像符 号化 回路 2 2 か ら 与 え ら れた こ の縮小符 号化 さ れた ア ル フ 了 マ ッ プ信号 ( down-sampled/ encoded alpha-map s ignal ) ( 2 値画像符 号化 出 力 ） を 、 信 号線 6 を 介 し て 得た サ イ ズ変換率 の設 定情報信 号 に従 っ て 元 の 解像 度 の ア ル フ ァ マ ッ プ信 号 に復 号 し 、 そ の 復 号化信 号 を 局 部復 号信 号 と し て 信 号線 4 を 介 し て 動 き 補償予測 回 路 2 5 お よ び図 1 の 直交変換 回 路 1 2 お よ び逆直交変 換回 路 1 6 に 出 力 す る 。

一方 、 動 き 補償予測 回 路 2 5 に は 、 フ レ ー ム メ モ リ が 設 け ら れて お り 、 こ の フ レ ー ム メ モ リ に拡大処理用 の解像度変換 回路 2 3 よ り 供給 さ れ る 先 に符 号化 さ れ た フ レ ー ム の 再生画像信 号 ( revious encoded video f rame s i g n a 1 )力 S 蓄 え ら れ る 。 動 き 補償予測 回 路 2 5 は 、 別途供給 さ れ る 動 き べ ク ト ル信 号 に従 つ て ア ル フ ァ マ ッ プ の 動 き 補償予測信 号 を 生成 し 、 信 号 線 8 1 を 介 し て 縮小処理用 の解像度変換回路 2 6 に供 給す る 。 解像度変換回 路 2 6 は こ の供給 さ れた動 き 補 償予測信 号 を 、 信 号線 6 を 介 し て 得た サ イ ズ変換率 の 設 定情報信号 に従 っ て解像度縮小変換 し 、 2 値画像符 号化 回 路 2 2 に 与 え る 。

2 値画像符 号化 回 路 2 2 は 、 縮小処理用 の 解像度変 換回 路 2 6 か ら 与 え ら れた解像度縮小変換 さ れた ア ル フ ァ マ ッ プ の 動 き 補償予測信 号 を利用 し 、 解像度変換 回 路 2 1 か ら 得 ら れた解像度縮小変換済 みア ル フ ァ マ ッ プ信 号 を符 号化す る 。

以 上が 、 第 3 の 実施例 の ア ル フ ァ マ ッ プ符 号化 回 路 の概要 で あ る 。 次 に 、 ア ル フ ァ マ ッ プ復 号化 回 路 を 以 下 に説 明 す る 。

図 1 5 に 示す よ う に 、 本 実施例 の ア ル フ ァ マ ッ プ復 号化 回 路 4 0 は 、 2 値画像複 号化 回 路 4 1 、 解像度変 換 回 路 （拡大処理用 回 路） 4 2 、 分離化 回 路 4 3 、 さ ら に 動 き 補償予測 回 路 4 4 お よ び解像度変換回 路 （縮 小処理用 回路） 4 5 に て構成 さ れて い る 。

こ れ ら の う ち 、 分離化 回 路 4 3 は 、 図 2 に示す画像 復号化装置 内 の 分離化 回 路 3 0 で分離 さ れ、 ア ル フ ァ マ ッ プ複 号化 回路 4 0 に入力 さ れた ア ル フ ァ マ ッ プ信 号か ら ア ル フ ァ マ ッ プ信 号の 符 号 と サイ ズ変換率 の 符 号 に 分離す る 回 路 で あ り 、 2 値画像復 号化 回 路 4 1 は ア ル フ ァ マ ッ プ信 号の 符 号 を 、 分離回 路 4 3 か ら 分離 し て 与 え ら れ る サ イ ズ変換率 の 符号 （サ イ ズ変換率 の 設 定情報信 号） に従 っ て 2 値画像 に 戻す 回 路 で あ り 、 詳細 は後 述す る が 、 縮小処理用 の解像度変換 回 路 4 5 か ら 信 号線 9 5 に て 供給 さ れ る 解像度縮小変換 さ れた ア ル フ ァ マ ッ プ の 動 き 補償予測信 号 を利用 し て 復 号化 す る 。

拡大処理用 の解像度変換回路 4 2 は こ の 2 値画像復 号化 回 路 4 1 か ら の ア ル フ ァ マ ッ プ信 号の符 号で あ る 2 値画像 を 、 分離化 回 路 4 3 カゝ ら 分離 し て 与 え ら れ る サ イ ズ変換率 の 符号 （ サ イ ズ変換率 の 設 定情報信号） に従 っ て解像度拡大変換 し て 出 力 す る 。

第 3 の 実施例 に お け る 複 号化 回 路 の構成 は 、 動 き 補 償予測 回 路 4 4 お よ び縮小処理用 の解像度変換回 路 4 5 を備 え て い る 点 が 、 図 4 の複 号化 回 路 と 異 な る 。 動 き 補償予測 回 路 4 4 は 、 先 に複 号化 さ れた フ レ ー ム の 再生画像 を 蓄積す る フ レ ー ム メ モ リ を 有 し て お り 、 拡 大処理用 の解像度変換回 路 4 2 よ り 供給 さ れ る 再生信 号 を 蓄 え る と 共 に 、 動 き べ ク ト ル信 号 （ 図 示せず） 力 S 供給 さ れ、 こ の動 き べ ク ト ル信号 に従 っ て 動 き 補償予 測信 号 を 生成 し 、 信号線 9 4 を介 し て 縮小処理用 の解 像度変換回路 4 5 に 供給す る 構成 と な っ て い る 。

解像度変換回 路 4 5 は こ の 動 き 補償予測信 号 を 、 信 号線 9 2 を介 し て 供給 さ れ る サ イ ズ変換率 の 設 定情報 信 号 に応 じ て 縮小 し た 後 、 信 号線 9 5 を 介 し て 2 値画 像複 号化 回路 4 1 に 出 力 す る 。

こ の よ う な構成 の ア ル フ ァ マ ッ プ復 号化 回 路 4 0 に お い て は 、 信号線 8 を介 し て ア ル フ ァ マ ッ プ復 号化 回 路 4 0 に供給 さ れた符 号は 、 分離化 回 路 4 3 に よ り ァ ル フ ァ マ ッ プ信号の 符 号 と サ イ ズ変換率 の 符 号 に 分離 さ れ、 各 々 信 号線 9 1 お よ び信号線 9 2 を 介 し て 出 力 さ れ る 。

2 値画像復 号化 回 路 4 1 で は 、 詳細 は後 述す る が 、 縮小処理用 の解像度変換回 路 4 5 か ら 信 号線 9 5 に て 供給 さ れ る 解像度縮小変換 さ れた ア ル フ ァ マ ッ プ の 動 き 補償予測信号 を利用 し 、 信号線 9 1 を 介 し て 供給 さ れ る ア ル フ ァ マ ッ プ信 号の 符 号 と 信 号線 9 2 を 介 し て 供給 さ れ る サ イ ズ変換率 の 符 号 （ サ イ ズ変換率 の 設 定 情報信 号） に従 っ て 2 値画像 に 戻す復 号化処理 を 施す こ と に よ り 、 縮小 さ れて レヽ る ア ル フ ァ マ ッ プ信 号 を 再 生 し 、 信号線 9 3 を 介 し て 解像度変換回 路 4 2 に 供給 す る 。

解像度変換回 路 4 2 で は 、 2 値画像復 号化 回 路 4 1 の 再生 し た縮小ア ル フ ァ マ ッ プ信 号 を 、 信 号線 9 2 を 介 し て 供給 さ れ る サ イ ズ変換率 の 符 号 に 基づ い て 元 の サ イ ズ に 拡大 し て ア ル フ ァ マ ッ プ信 号 を 再生 し た後 、 信 号線 9 を 介 し て 出 力 す る 。

即 ち 、 解像度変換回 路 4 2 は 、 2 値画像複 号化 回 路 4 1 カゝ ら 与 え ら れた こ の縮小符 号化 さ れた ア ル フ ァ マ ッ プ信 号 （ 2 値画像符 号化 出 力 ） を 、 信 号線 9 2 を 介 し て 得 た サ イ ズ変換率 の 設 定情報信 号 に従 っ て 元 の解 像度 に復 号 し 、 局 部復 号信 号 と し て 得 て 、 こ の得た 局 部復号信 号 を 動 き 補償予測 回 路 4 4 に 出 力 す る 。

一方 、 動 き 補償予測 回 路 4 4 に は 、 フ レ ー ム メ モ リ が設 け ら れ、 拡大処理用 の 解像度変換回 路 4 2 よ り 供 給 さ れ る 、 先 に符 号化 さ れた フ レ ー ム の 再生 画像 を 蓄 積す る 。 動 き 補償予測 回路 4 4 は 、 別途供給 さ れ る 動 き べ ク ト ル信 号 に従 っ て ア ル フ ァ マ ッ プ の 動 き 補償予 測信 号 を 生成 し 、 信 号線 9 4 を 介 し て縮小処理用 の解 像度変換回路 4 5 に供給す る 。 解像度 変換 回 路 4 5 は こ の 供給 さ れた動 き 補償予測信号 を 、 信 号線 9 2 を 介 し て 得た サ イ ズ変換率 の 設 定情報信 号 に 従 つ て 解像度 縮小変換 し 、 2 値画像復 号化 回 路 4 1 に 与 え る 。

2 値画像復 号化 回 路 4 1 は 、 縮小処理用 の解像度変 換回路 4 5 か ら 与 え ら れた解像度縮小変換 さ れた ア ル フ ァ マ ッ プ の 動 き 補償予測信 号 を利 用 し 、 分離化 回 路 4 3 か ら の サ イ ズ変換率 の 設 定情報信 号 に 従 っ て 、 分 離化 回 路 4 3 力ゝ ら の ア ル フ ァ マ ッ プ信 号 を 復 号化す る 以 上が 、 本発 明 を 適用 し た複 号化 回 路 の概要 で あ る 既 に説 明 し て い る よ う に 、 本発 明 を適用 し た第 3 の 実施例 に お け る 符 号化 回 路 の構成 は 、 動 き 補償予測 回 路 2 5 お よ び縮小 回 路 2 6 を備 え て レ、 る 点 が 図 3 の 符 号化 回 路 と 異 な り 、 ま た 、 複 号化 回 路 の構成 は 、 動 き 補償予測 回 路 4 4 お よ び縮小 回 路 4 5 を備 え て い る 点 が 図 4 の 複 号化 回 路 と 異 な る 。

動 き 補償予測 回 路 2 5 ま た は 4 4 に は 、 先 に符 号化 さ れた フ レ ー ム の 再生画像 を 蓄積す る フ レ ー ム メ モ リ が 設 け ら れて お り 、 拡大 回 路 2 3 ま た は 4 2 よ り 供給 さ れ る 再生信号が 蓄 え ら れ る 。 更 に 、 動 き 補償予測 回 路 2 5 ま た は 4 4 に は 、 こ こ に は 図 示 し て レ、 な レ、動 き べ ク ト ル信 号が供給 さ れ、 こ の 動 き べ ク ト ル信 号 に従 つ て 動 き 補償予測信 号 を 生成 し 、 信 号線 8 1 お よ び信 号線 9 4 を介 し て縮小 回 路 2 6 ま た は 4 5 に供給す る こ こ で 、 動 き べ ク ト ル信 号は 、 図 1 お よ び図 2 の装 置 に設 け ら れて い る 、 動 き 補償予測 回 路 1 1 ま た は 3 5 で用 い ら れ る 動 き べ ク ト ル信号 を 禾 IJ用 し て も 良 レヽ し ア ル フ ァ マ ッ プ符 号ィヒ 回 路 2 0 に お い て 、 ア ル フ ァ マ ッ プ用 の 動 き べ ク ト ル検 出 回 路 を 設 け ら れ る こ と に よ り 、 ア ル フ ァ マ ッ プ用 の動 き べ ク ト ル信号 を 求 め て も 良 い。

す な わ ち 、 動 き 補償予測 回 路 2 5 ま た は 4 4 に 供給 さ れ る 動 き べ ク ト ル信 号の 求 め 方 は種 々 知 ら れて お り 、 本発 明 に 関 わ る も の で は な い た め 、 こ こ で は こ れ以 上 言及 し な い。

縮小 回 路 2 6 ま た は 4 5 に お い て は 、 信 号線 8 1 お よ び信 号線 9 4 を 介 し て 供給 さ れ る 動 き 補償信 号 を 、 信 号線 6 お よ び信 号線 9 2 を 介 し て供給 さ れ る サ イ ズ 変換率 の 設 定情報信 号 に応 じ て 縮小 し た 後 、 信 号線 4 2 お よ び信 号線 9 2 を 介 し て 出 力 す る 。

な お 、 2 値画像符 号化 回 路 2 2 と し て構成す る 場合 で は 、 信 号線 2 a を 介 し て 供給 さ れ る 解像度縮小変換 さ れた ア ル フ ァ マ ッ プ信 号 を 2 値画像符 号化 し て 出 力 す る 。

こ こ で 、 本実施例 に か か る 2 値画像符 号化 回 路 2 2 が 図 3 の符 号化 回 路 と 根本的 に 異 な る 点 は 、 信 号線 8 2 を 介 し て 供給 さ れ る 、 解像度縮小変換 さ れた ア ル フ ァ マ ッ プの動 き 補償予測信 号 を利用 し て 符 号化す る 機 能 を 有す る 。

こ の こ と に つ レヽ て 、 詳 し く 説 明 す る 。

図 1 6 A お よ び 1 6 B は 、 動 き 補償予測信 号 を利用 し て符 号化す る 方法 を 説 明 す る 図 で あ り 、 フ レ ー ム 画 像単位 の 画像 に お け る 分割 さ れた N X M画素構成 の 画 像 プ ロ ッ ク の う ち の 一つ を 示 し て レ、 る 。

図 1 6 A お よ び 1 6 B に お レ、 て 、 " c u r r e n t

b l o c k " は処理対象 ブ ロ ッ ク で あ り 、 入力 さ れた 現在 の 処理画像の ブ ロ ッ ク で あ る 。 ま た 、 " compensated block" はネ甫償 ブ ロ ッ ク で あ り 、 前 回処理対象 と な っ た 画像 の プ ロ ッ ク で あ る 。

第 1 の 実施例 で は 、 現在 の 処理対象画像の ブ ロ ッ ク に対応す る ア ル フ ァ マ ッ プ の該 当 ブ ロ ッ ク 上 で の 参 照 変化画素 b l を 変化画素 a 0 、 a 1 と 同 じ " current block" 内 で検 出 し て い た。

一方 、 図 1 4 お よ び 1 5 の 第 3 の 実施例 で は 、 参 照 変化画素 b 1 は動 き 補償予測信号で あ る

" compensated block" 内 力、 ら 検 出 さ れて お り 、 こ の 点 が新 し い概念 で あ る 。 す な わ ち 、 現在 の 処理対象 画像の ブ ロ ッ ク に 対応す る ア ル フ ァ マ ッ プの 該 当 ブ ロ ッ ク 上 で の 参照変化画素 b 1 を 、 動 き 補償予測信 号で あ る compensated block 内 力 ら 検 出 し て レヽ る 。

な お 、 本実施例 は 、 参 照 変化画素 b 1 の検 出 手段 が 異 な る だ け で 、 a 0 、 a 1 お よ び b 1 の相 対 ア ド レ ス を用 い て 符 号化 · 復 号化 を 行 う 点 は 、 先 の 実施例 と 同 一 で あ る 。

図 1 6 A お よ び 1 6 B に お い て 、 a 0 は起点変 化画 素 で あ り 、 すで に 起点変化画素 a 0 ま で は符 号化 が 済 ん で い る 。 ま た 、 a 1 は 、 起点変化画素 a 0 の 次 の 変 ィ匕画素 で あ り 、 bO は 、 " compensated block" 内 に お レ、 て 、 a 0 と 同 じ位 置 の 画素 （ 変化 画素 と は 限 ら な レ、 ） で あ る 。 ま た 、 aO ( bO )力 属す る ラ イ ン を " aO - line" と 表記す る と 、 参 照変化画素 b 1 は次 の よ う に 定義 さ れ る 。 こ こ で 、 a b s— X を プ ロ ッ ク 左 上 の 画素 カゝ ら ブ ロ ッ ク 内 を ラ ス タ 順 に ス キ ャ ン し た 際 の 、 画素 X の ァ ド レ ス と す る 。 な お 、 ブ ロ ッ ク 左 上の 画素 の ア ド レ ス は

" 0 " と す る 。

abs b 0 < abs_b 1 で あ り 、 符 号 " X " を 付 し て 示 す画素 は変化画素 で あ っ て 、 変化画素 X が " a 0 - line" 上 に あ る 場合 に は 、 " a 0 " と 反 対色 の 最初 の 変加画素 を 参 照変化画素 b 1 と し 、 変化画素 力 " a 0 - line" 上 に な い 場合 は 、 該 ラ イ ン 上 の 最初 の 変カロ 画素 を 参照 変化画素 b 1 と す る 。

図 1 6 A は変化画素 が " a 0— 1 i n e " 上 に な い場合 で あ り 、 こ の場合 、 次 の ラ イ ン の最初 の 変化画素 を

" bl " と し て レヽ る 。

ま た 、 図 1 6 B は 、 変化画素 が " a 0— 1 i n e " 上 に あ る 場合 で あ る が 、 こ の 変化画素 X は 、 " a " と 反対色 で は な い の で " b 1 " と はせず に 、 次 の ラ イ ン の 最初 の 変化画素 を " b 1 " と し て レ、 る 。

な お 、 " a0 - line "お よ び " r a i ( i = 0 〜 1 ) "、 " r_b 1 "の値は 、 以 下 の 式で求 め ら れ る 。

a 0 - line = ( int ) ( ( abs - a 0

+W I DTH ) /WIDTH ) - 1

r - a 0 = abs - a 0 - a 0 - line*WIDTH

r - a 1 = abs - a 1 - a 0 一 line*WIDTH

r - bl = abs - b 1 - a 0 - 1 ine *WI DTH

前記式 に お い て 、 * は乗 算 を 、 ま た 、 （ i n t ) ( X ) は X の 小数点以 下切 り 捨て を 意味 し て お り 、 WIDTH は ブ ロ ッ ク の 水 平方 向 の 画素数 を示 し て い る 。

本発 明 で は 、 参 照変化画素 b 1 の 定義 が先 の 実施例 と は変 わ っ た た め 、 " r— bl" の 定義 も 、 上式の よ う に 変 更 さ れ る 。

図 1 6 A お よ び 1 6 B を 用 い て 説 明 し た符 号化方法 は 、 " compensated block" 内 力、 ら 参 照変ィ匕画素 b 1 を 求 め る 方法 の 一例 で あ り 、 参 照 変化画素 b 1 の 検 出 に っ レ、 て は種 々 変形 が 可能 で あ る 。

ま た 、 2 値画像複 号化 回 路 4 1 は 、 信 号線 9 5 を 介 し て供給 さ れ る 解像度縮小変換 さ れた ア ル フ ァ マ ッ プ の 動 き 補償予測信 号 （ " compens ated block" ) を 利用 し て 、 2 値画像符 号化 回 路 2 2 と 同 一 の 手順 で参 照 変化画素 b 1 を 検 出 で き る 。

更 に 、 参 照 変化画素 b 1 を " current block " 内 よ り 検 出 す る 力、、 " compensated block" 内 よ り 検 出す る 力、 を 、 た と え ばプ ロ ッ ク 単位 で切 り 替 え る よ う にす る こ と も で き る 。 こ の 際 、 2 値画像符号化 回 路 2 2 で は切 り 替 え用 の 情報 も 併せ て 符 号化 し 、 2 値画像 復 号化 回 路 4 1 は切 り 替 え用 の 情報 も 復 号化 し て 、 復 号化処理の 際 に は切 り 替 え 情報 に 基づ い て 、 参 照 変化 画素 1 を " current block" 内 よ り 検 出 す る 力 、 " compensated block" 内 よ り 検 出 す る 力 を 、 た と え ばブ ロ ッ ク 単位 で切 り 替 え る よ う にす る 。

こ の よ う にす る と 、 ブ ロ ッ ク 単位 の 画像 内 容 に 基づ レ、 て 、 最適処理 が 可能 に な り 、 一層 、 効率 の 良 い符 号 化 が 可能 に な る 。

ま た 、 ス キ ャ ン順序 を 切 り 替 え る 手段 を 設 け て 図 1 7 A に示す よ う に 、 ス キ ャ ン順序 を横方 向 ス キ ャ ン に 切 り 替 え た り 、 図 1 7 B に示す よ う に 、 縦方 向 ス キ ヤ ン に切 り 替 え る よ う にす る こ と で 、 変化画素 の 数 が 減 り 、 更 に符 号量が 削 減 さ れて 、 こ れ も 一層 、 効率 の 良 い符 号化 につ な が る 。

以 上 、 第 3 の 実施例 は 、 時系列デー タ と し て 得 ら れ る 複数 フ レ ー ム の 動画像信 号 を任意形状 の オ ブ ジ ェ ク ト 毎 に符号化す る 動画像符 号化装置 に お け る 、 ォ ブ ジ ェ ク ト の形状 を 表す ア ル フ ァ マ ッ プ を符 号化す る 符 号 化 回 路 を提供す る 。

即 ち 、 オブ ジ ェ ク ト を含 む方形領域 を M X N 画素 ( M : 水 平方 向 の 画素数 、 N : 垂 直方 向 の 画素数） の ブ ロ ッ ク の 単位で分割す る こ と に よ っ て 得 ら れ る 複数 の プ ロ ッ ク を 、 方形領域 内 に お い て 一 定規則 に よ り 順 次 、 符 号化す る と 共 に プ ロ ッ ク の 全て あ る い は一部 に 対 し て 相 対ァ ド レ ス 符 号化 を 行 う 符 号化器 と 、 ブ 口 ッ ク 近傍の 再生値 を 蓄 え る メ モ リ と 、 す で に符 号化 さ れ た フ レ ー ム の 再生信 号 を 蓄 え る フ レ ー ム メ モ リ と 、 フ レ ー ム メ モ リ 内 の 再生信 号 を 用 い て 動 き 補償予測値 を 生成す る 動 き 補償予測 回路 と 、 ブ ロ ッ ク 近傍 の 再生値 も 含 め て 変化画素 を 検 出す る 検 出 回 路 と を 有 し 、 相 対 ア ド レ ス 符 号化 の 参 照 変化画素 を 、 ブ ロ ッ ク 内 の 画素 値 か ら で な く 、 動 き 補償予測信 号か ら 求 め ら れ る が 動 画像符 号化装置 が 提供 さ れ る 。

ま た 、 ア ル フ ァ マ ッ プ復 号化 回 路 に お い て 、 M X N 画素 で構成 さ れ る ブ ロ ッ ク 毎 に 、 オブ ジ ェ ク ト を 含 む 方形領域 内 を 一 定規則 で順次復 号化す る 複 号化 回 路 と 、 プ ロ ッ ク 近傍 の 再生値 を 蓄 え る メ モ リ と 、 す で に符 号 化 さ れた フ レ ー ム の 再生信 号 を 蓄 え る フ レ ー ム メ モ リ と 、 フ レ ー ム メ モ リ 内 の 再生信号 を 用 い て 、 動 き 補償 予測値 を 生成す る 動 き 補償予測 回 路 と 、 ブ ロ ッ ク 近傍 の 再生値 も 含 め て 変化画素 を検 出す る 検 出 回 路 と を 有 し 、 相 対 ア ド レ ス 符 号化 の 参 照 変化画素 を 、 前記 プ ロ ッ ク 内 の 画素値か ら で な く 、 動 き 補償予測信 号か ら 求 め る 動画像符 号化装置 が提供 さ れ る 。

こ れ に よ り 、 オブ ジ ェ ク ト の 形状や画面 内 の位置 な ど を表す副 画像情報 で あ る ア ル フ ァ マ ッ プの 情報 を 効 率 良 く 符 号化 で き る と と も に 、 そ の 復 号 を 行 う こ と 力 S で き る よ う に な る 。

ま た 、 ブ ロ ッ ク 近傍の 再生値 を 蓄 え る 再生値蓄積回 路 と 、 すで に符号化 さ れた フ レ ー ム の 再生信 号 を 蓄 え る フ レ ー ム メ モ リ と 、 フ レ ー ム メ モ リ 内 の 再生信 号 を 用 い て動 き 補償予測値 を 生成す る 動 き 補償予測 回 路 と 、 再生値蓄積回 路 の 蓄積再生値 の 情報 を 参 照 し 、 プ ロ ッ ク 近傍の 再生値 も 含 め て 変化画素 を検 出 す る 検 出 回 路 と 、 ブ ロ ッ ク 内 の 再生画素値か ら 求 め ら れた 、 相 対 ァ ド レ ス 符 号化 の 参 照変化画素 と 、 動 き 補償予測信 号か ら 求 め ら れた 、 相 対 ア ド レ ス 符 号化 の 参 照 変化画素 を 切 り 替 え る 切替 回 路 と を 有 し 、 相 対 ア ド レ ス 符 号化情 報 を 、 切 り 替 え 情報 と 共 に符 号化す る 動 画像符 号化装 置 が 提供 さ れ る 。

ま た 、 ァ ル フ ァ マ ッ プ復 号ィ匕 回路 に お い て 、 M X N 画素 で構成 さ れ る ブ ロ ッ ク 毎 に 、 オ ブ ジ ェ ク ト を含 む 方形領域 内 を 一 定規則 で順次復 号化す る 符 号化器 と 、 ブ 口 ッ ク 近傍の 再生値 を 蓄 え る 再生値蓄積 回 路 と 、 す で に符 号化 さ れた フ レ ー ム の 再生信 号 を 蓄 え る フ レ ー ム メ モ y と 、 フ レ ー ム メ モ リ 内 の 再生信 号 を 用 い て 動 き 補償予測値 を 生成す る 動 き 補償予測 回 路 と 、 ブ ロ ッ ク 近傍の 再生値 も 含 めて 変化画素 を 検 出 す る 検 出 回 路 と を 有 し 、 ブ 口 ッ ク 内 の 再生画素ィ直カゝ ら 求 め ら れた 、 相 対 ァ ド レ ス 符 号化 の 参 照 変化画素 と 、 動 き 補償予測 信 号か ら 求 め ら れた 、 相 対ア ド レ ス 符 号化 の 参 照 変化 画素 を切 り 替 え る 切替 回 路 を 有 し 、 切 り 替 え 情報 に従 つ て 参 照 変化画素 を 求 め る よ う に し た動画像符 号化装 置 が 提供 さ れ る 。

こ の お 、 相 対 ア ド レ ス 符 号化 に あ た り 、 参 照 変化 画素 b 1 を " current block" 内 よ り 検 出 す る 力 、 compensal： ed block" 内 よ り 検 出 す る 力 を 、 ブ ロ ッ ク 単位 で切 り 替 え て 処理す る こ と が で き 、 符 号化側 で は こ の切 り 替 え用 の 情報 も 併せ て 符 号化 し 、 復 号化 側 で は こ れ を復 号化 し て 、 符 号化 さ れた ア ル フ ァ マ ツ プの 復 号化処理 の 際 に 当 該切 り 替 え 用 の 情報 に 基づ い て 、 参 照変化画素 b 1 を " current block" 内 よ り 検 出 す る か 、 " compensated block" 内 よ り 検 出 す る 力 を 、 ブ ロ ッ ク 単位で切 り 替 え る よ う にす る こ と 力 S で き 、 こ の よ う にす る こ と に よ っ て 、 ブ ロ ッ ク 単位 の 画像 内 容 に基づい て 、 最適処理 が 可能 に な り 、 一層 、 効率 の 良 い符 号化 が 可能 に な る 。

以 上 、 本発 明 に よ れば、 オブ ジ ェ ク ト の 形状や画 面 内 の位置 な ど を表す副 画像情報 で あ る ア ル フ ァ マ ッ プ の 情報 を 効率 良 く 符 号化 で き る と と も に 、 そ の 復 号 を 行 う こ と が で き る よ う に し た 画像符 号化装置 お よ び画 像複号化装置 が得 ら れ る 。

以 上の 実施例 は 、 ア ル フ ァ マ ッ プ符 号化 回 路 2 0 は 、 M M R ( Modif ied Modi f ied READ) 符 号ィ匕 を 用 い た場合の例 を 説明 し た。 し か し 、 本発 明 は M M R 符 号 化 に 限定 さ れ る も の で は な く 、 他 の任意 の 2 値画像符 号化 回路 を 用 い て も 実現可能 で あ る 。 そ こ で 、 そ の よ う な 例 を 以 下説明 す る 。

図 1 8 , 図 1 9 お よ び図 2 0 を 参 照 し て ア ル フ ァ マ ッ プ符 号化 回 路 2 0 お よ びア ル フ ァ マ ッ プ復 号化 回 路 4 0 の 具体的 な構成 を説 明 す る 。

図 1 8 は 、 ア ル フ ァ マ ッ プの 画面 内 を例 え ば、 1 6 X I 6 画素 と い っ た所定の複数画素構成 に よ る マ ク ロ プ ロ ッ ク （ M B ) 単位 に 分割 し た 図 で あ り 、 正方形 の 升 目 の 枠 が 分割 の境界線で あ っ て 、 升 目 一つ 一つ が マ ク ロ ブ ロ ッ ク （ M B ) で あ る 。 2 値で表現 さ れた ア ル フ ァ マ ッ プの 場合 （ オブ ジ ェ ク ト を合成す る 際 の 重 み係数 も 含 め て 多値で表 現 さ れ る 場合 も あ る ） 、 オブ ジ ェ ク ト の 形状情報 は画素毎 に 透明 （ transparent )を 表すィ直力 不透明 （ opaque )を表 す値の いずれかで表 さ れ る 。 従 っ て 、 図 1 8 に示 さ れ る よ う に 、 ア ル フ ァ マ ッ プの 画面 に お け る 各 マ ク ロ ブ ロ ッ ク （ M B ) の 中 身 の 状態 は 、 " transparent"

( 全 て ； ι≤| 明 every pixel in the MB is

transparent ) ) 、 o aque" (全 て 小透明 ( every pixel in t e MB is o aque ) ) 、 Mu 11 i 、 て の他） の 3 種類 の いずれか に 分類 さ れ る 。

人物像の ア ル フ ァ マ ッ プで あ る 図 1 8 の よ う な 画 面 の場合 、 背景 は "透 明 " 、 人物部分 は "不透 明 " で あ る 力ゝ ら 、 " Mu 11 i " に 分類 さ れ る オブ ジ ェ ク ト の 境界 部分 力 S含 ま れ る マ ク ロ ブ ロ ッ ク （ M B ) の み 、 2 値画 像符 号化すれば よ い。 ま た 、 " Mu 1 t i " に 分類 さ れ る ブ ロ ッ ク （ M B ) の 中 で も 、 動 き 補償予測誤差値が 設 定値 （ し き い値） 以 下 の場合 に は 、 該 ブ ロ ッ ク （ M B ) を 動 き 補償予測値で コ ピーす る 。 こ の よ う に 、 コ ピ ー さ れ る マ ク ロ ブ ロ ッ ク （ M B ) の モ ー ド を " no update" 、 2 値面像符 号化 さ れ る マ ク ロ ブ ロ ッ ク

( M B ) の モ ー ド を " coded" と 表記す る と 、 該マ ク ロ ブ ロ ッ ク （ M B ) の 符 号ィヒモ ー ド は次 の 4 通 り と な る 。

( 1 ノ transparent" ( 2 ) o aque

( 3 ) no update

( 4 ) c o d e α

そ れぞれ の モ ー ド の 符 号化法 あ る い は複 号化 法 に つ い て は 、 ア ル フ ァ マ ッ プ符 号化 回 路 2 0 、 ア ル フ ァ マ ッ プ復 号化 回 路 4 0 の 中 で説明 す る 。

図 1 9 は 、 ア ル フ ァ マ ツ プ符 号化 回 路 2 0 の 詳細 な 構成 図 で あ る 。 図 1 9 の構成 に お い て は 、 モ ー ド判 定 回 路 1 1 0 、 C R (サ イ ズ変換率） 判 定回 路 1 1 1 、 セ レ ク タ 1 2 0 、 ブ ロ ッ ク 内 画素値設 定回 路 1 4 0 ，

1 5 0 、 動 き 補償予測 回 路 1 6 0 、 2 値画像符 号化 回 路 1 7 0 、 縮小 回 路 1 7 1 7 3 ， 1 7 4 、 拡大 回 路 1 7 2 、 フ レ ー ム メ モ リ 1 3 0 、 転置 回 路 1 7 5 ，

1 7 6 、 ス キ ャ ン タ イ プ （ S Τ ) 判 定回 路 1 7 7 、 動 き べ ク ト ル検 出 回 路 （ Μ V Ε ) 1 7 8 、 Μ V 符 号化 回 路 1 7 9 、 V L C ( 可変長符 号化） · 多重化 回 路 1 8 0 力ゝ ら な る 。

こ れ ら の う ち 、 ブ ロ ッ ク 内 画素値設 定回 路 1 4 0 は マ ク ロ ブ 口 ッ ク 内 の 画素ィ直 を 全て透 明 と す る 画素 デー タ を発 生す る 回 路 で あ り 、 プ ロ ッ ク 内 画素値設 定回 路 1 5 0 はマ ク ロ ブ π ッ ク 内 の 画素値 を 全て 不透 明 と す る 画素デ— タ を発 生す る 回 路 で あ る 。

C R ( サイ ズ変換率） 判 定回 路 1 1 1 は 、 ア ル フ ァ マ ッ プ信 号入力線 2 を 介 し て 供給 さ れ る ア ル フ ァ マ ツ プ信号 を解析 し 、 1 フ レ ー ム 分 の ア ル フ ァ マ ッ プ画像 を ど の 程度 の サ イ ズ変換率 で処理すべ き か を 判 定す る と 共 に そ の判 定結果 を サ イ ズ変換率 （ convers ion ratio ) b 2 と し て 出 力 す る 。 ま た 、 縮小 回 路 1 7 1 は ア ル フ ァ マ ッ プ信号入力線 2 を 介 し て供給 さ れ る ァ ル フ ァ マ ッ プ信 号 を フ レ ー ム 全体 に つ レ、 て 、 ス キ ャ ン タ イ プ （ S T ) 判 定回 路 1 7 7 は 2 値画像符 号化 回 路 1 7 0 力ゝ ら の符 号化 出 力 を 基 に ス キ ャ ン方 向 を 判 定 し て ス キ ャ ン方 向 情報 （ scan type ) b 4 を 出 力 す る 。

ま た 、 転置 回 路 1 7 5 は こ の ス キ ャ ン タ イ プ （ S T ) 判 定回 路 1 7 7 の 出 力 す る ス キ ャ ン方 向 情報 b 4 を 基 に 、 縮小 回路 1 7 1 の縮小処理 し た 1 フ レ ー ム 分 の ァ ノレ フ ァ マ ッ プ信号 につ い て 各 マ ク ロ ブ 口 ッ ク の位 置 を 、 転置処理 し 、 転置回 路 1 7 6 は ス キ ャ ン タ イ プ 判 定回 路 1 7 7 の 出 力 す る ス キ ャ ン方 向 情報 b 4 を 基 に 、 縮小 回路 1 7 1 ， 1 7 2 ， 1 7 3 の 出 力 を 転置処 理 し て 出 力 す る 。 2 値画像符 号化 回 路 1 7 0 は こ れ ら の転置 回 路 1 7 5 、 1 7 6 を 介 し て 与 え ら れた縮小 ァ ノレ フ ァ マ ッ プ信号 を符 号化処理 し て 出 力 す る 。

ま た 、 拡大 回 路 1 7 2 は縮小 回 路 1 7 1 を 介 し て 与 え ら れ る ア ル フ ァ マ ッ プ信 号 を 前記 C R 判 定回 路 1 1 1 の 出 力 す る サ イ ズ変換率 で拡大処理 し 、 動 き 補償予 測 回路 1 6 0 は フ レ ー ム メ モ リ 1 3 0 に 蓄積 さ れて い る 参 照 フ レ ー ム の 再生画像 を 用 い て 動 き 補償予測信 号 を 生成 し 、 モ ー ド判 定回 路 1 1 0 お よ び縮小 回 路 1 7 4 に 出 力 す る 。 縮小 回 路 1 7 4 は動 き 補償予測信 号 を C R 判 定回 路 1 1 1 の 出 力 す る サ イ ズ変換率 で縮小処 理 し 、 縮小 回 路 1 7 3 は フ レ ー ム メ モ リ 1 3 0 に 蓄積 さ れて い る 参照 フ レ ー ム の 再生画像 を C R 判 定回 路 1 1 1 の 出 力す る サ イ ズ変換率で縮小処理す る 。

ま た 、 セ レ ク タ 1 2 0 はモ ー ド判 定回 路 1 1 0 の 出 力 す る 分類情報 に従 っ て プ ロ ッ ク 内 画素値設 定回 路 1 4 0 か ら の 再生信号 m 0 ， プ ロ ッ ク 内 画素値設 定回路

1 5 0 力ゝ ら の 再生信号 m 1 ， 動 き 補償予測 回 路 1 6 0 力 ら の 動 き 補償予測信 号 m 2 ， 拡 大 回 路 1 7 2 力ゝ ら の 再生信 号 m 3 の う ち 、 所要 の 信 号 を 選択 し て 出 力 し 、 フ レ ー ム メ モ リ 1 3 0 は こ の セ レ ク タ 1 2 0 の 出 力 を フ レ ー ム 単位 で記憶す る 。

ま た 、 モ ー ド判 定回 路 1 1 0 は 、 動 き 補償予測 回路

1 6 0 か ら の 動 き 補償予測信 号 と 2 値画像符 号化 回 路 1 7 0 力、 ら の符 号ィ匕信 号 b 4 を 参 照 し て 、 ア ル フ ァ マ ッ プ信号入力線 2 を 介 し て 供給 さ れ る ア ル フ ァ マ ッ プ 信 号 を解析 し 、 マ ク ロ プ ロ ッ ク 毎 に

transparent 、 o aque 、 no update 、 " coded" の何れ に 分類 さ れ る カゝ を 判 定す る と 共 に判 定結果 を モ ー ド情報 b 0 と し て 出 力 す る 。

動 き ベ ク ト ル検 出 回 路 （ M V E ) 1 7 8 は 、 ア ル フ ァ マ ッ プ信 号入力線 2 を介 し て 供給 さ れ る ア ル フ ァ マ ッ プ信 号か ら 動 き べ ク ト ル を 検 出す る 。 M V 符 号化 回 路 1 7 9 は 、 動 き べ ク ト ル検 出 回 路 （ M V E ) 1 7 8 で検 出 さ れた動 き べ ク ト ル を 符 号化 し 、 そ の符 号化結 果 を 動 き べ ク ト ル情報 b 1 と し て 出 力 す る 。 例 え ば、 M V 符 号化 回路 1 7 9 に 予測符 号化 を 適用 し た 場合 に は そ の 予測誤差信 号が 動 き べ ク ト ル情報 b 1 と し て 出 力 さ れ る こ と に な る 。

V L C (可変長符 号化） · 多重化 回 路 1 8 0 は 、 モ 一 ド判 定回 路 1 1 0 力ゝ ら の モ ー ド情報 b 0 お よ び M V 符号化 回 路 1 7 9 力ゝ ら の 動 き べ ク ト ル情報 b 1 お よ び C R ( サ イ ズ変換率） 判 定回 路 1 1 1 か ら の サ イ ズ変 換率情報 b 2 お よ びス キ ャ ン タ イ プ （ S T ) 判 定回 路 1 7 7 力 ら の ス キ ャ ン方 向 情報 b 3 お よ び 2 値画像符 号化 回路 1 7 0 か ら の 2 値符 号化 情報 b 4 を 受 け て こ れ ら を 可変長符 号化 し 、 多重化 し て信号線 3 へ と 出 力 す る 。

こ の よ う な構成 に お い て 、 符 号化対象 で あ る ア ル フ ァ マ ッ プ信号は 、 ア ル フ ァ マ ッ プ信 号入力線 2 を 介 し て ア ル フ ァ マ ッ プ符 号化 回 路 2 0 に供給 さ れ る 。 こ れ を 受 け た ァ ル フ ァ マ ッ プ符 号化 回 路 2 0 は 、 そ の モ ー ド判 定回 路 1 1 0 に お レ、 て ア ル フ ァ マ ッ プ信 号 を解析 し 、 マ ク ロ フ ロ ッ ク '毋 に transparent 、

o p a σ u e 、 " no u date" 、 " coded" の 何れ に 分類 さ れ る か を 判 定す る 。 こ こ で 、 分類 の 評価基準 と し て は 、 例 え ば、 ミ ス マ ッ チ画素数 を 用 い る 。

具体的 に は次 の 通 り で あ る 。

モ ー ド判 定回 路 1 1 0 は 、 ま ず 、 入力 さ れた マ ク ロ ブ ロ ッ ク 内 の信 号 を 全て 透 明 に 置 き 換 え た場合 の ミ ス マ ッ チ画素数 を 計算 し 、 こ の 数が し き い値以 下 と な る マ ク ロ ブ ロ ッ ク を " transparent" に 分類す る 。 同 様 に 、 マ ク ロ ブ ロ ッ ク 内 を 全て 不透 明 に 置 き 換 え た場 合の ミ ス マ ッ チ画素数 が し き い値以 下 と な る マ ク ロ ブ ロ ッ ク o aque に 分 す 。

次 に 、 モ ー ド判 定回 路 1 1 0 は 、

transparent に も o aque (こ t> 分類 5 れな レヽ マ ク ロ ブ ロ ッ ク に 対 し て 、 信 号線 1 0 1 を 介 し て 供給 さ れ る 動 き 補償予測値 と の ミ ス マ ッ チ画素数 を 計算 し 、 こ の数力 S し き レヽ値以 下 と な る ブ ロ ッ ク を " no

update" に 分類す る 。

こ こ で 、 transparent o aque め る レヽ ま

" no update" に も 分類 さ れ な 力 つ た マ ク ロ ブ 口 ッ ク は 、 " coded" に 分類 さ れ る 。

モ ー ド判 定回 路 1 1 0 に よ る こ の 分類情報 b 0 は 、 信 号線 1 0 2 を 介 し て セ レ ク タ 1 2 0 に供給 さ れ、 セ レ ク タ 1 2 0 で は該 ブ ロ ッ ク の モ ー ド が

" transparent" の場合 は 、 ブ ロ ッ ク 内 画素ィ直設 定 回 路 1 4 0 に お い て プ ロ ッ ク 内 画素値が全て 透 明 に さ れた 再生信号 m O を 選択 し 、 信 号線 4 を 介 し て フ レ ー ム メ モ リ 1 3 0 に供給 し 、 該 フ レ ー ム の 記憶領域 に 蓄 え る と 共 に 、 ア ル フ ァ マ ッ プ符 号化 回 路 2 0 の 出 力 と し て 出 力 す る 。

同様 に 、 該マ ク ロ ブ ロ ッ ク の モ ー ド が " opaque" の 場合 は 、 セ レ ク タ 1 2 0 は マ ク ロ ブ ロ ッ ク 内 画素値 設 定回 路 1 5 0 に お い て マ ク ロ ブ 口 ッ ク 内 画素ィ直 が 全 て 不透 明 に さ れた 再生信 号 m 1 を 選択 し 、 ま た 、 該マ ク ロ ブ ロ ッ ク の モ ー ド が " no update" の 場合 は 、 信号線 1 0 1 を介 し て 供給 さ れ る 動 き 補償予測 回路 1 6 0 に よ り 生成 さ れた動 き 補償予測信 号 m 2 を 選択 し ま た 、 該マ ク p ブ ロ ッ ク の モ ー ド が " coded" の場合 に は 、 縮小 回 路 1 Ί 1 、 拡大 回 路 1 7 2 を経 て 供給 さ れ る 再生信 号 m 3 を 選択 し て 、 こ れ を 信 号線 4 を 介 し て フ レ ー ム メ モ リ 1 3 0 に供給 し 、 該 フ レ ー ム の 記憶 領域 に 蓄 え る と 共 に 、 ァ ル フ ァ マ ッ プ符 号化 回 路 2 0 の 出 力 信 号 と し て 出 力 す る 。

ま た 、 モ ー ド判 定回 路 1 1 0 に お レヽ て " coded" に 分類 さ れた マ ク ロ ブ ロ ッ ク の 画素値 は 、 縮小 回 路 1 7 1 に お い て 縮小 さ れた後 、 2 値画像符 号化 回 路 1 7 0 に お い て 符 号化 さ れ る 。 こ こ で 、 縮小 回 路 1 7 1 で用 い ら れ る サ イ ズ変換率 （ し ( Convers ion

Ratio ) ) の 設定情報 は 、 C R 判 定回路 1 1 1 に お い て 求 め ら れ る 。 例 え ば、 縮小率 を " 1 (縮小 し な い） ，， 、 " 1 / 2 (水 平 ' 垂直共 に 1 Z 2 ) " 、 " 1 / 4 (水 平 · 垂直共 に 1 / 4 ) " の 3 通 り に 定 め た場 合 、 C R 判 定回路 1 1 1 で は 、 次 の ス テ ッ プ で C R (サ イ ズ変換率） が 求 め ら れ る 。

( 1 ) 該 マ ク ロ ブ ロ ッ ク を " 1 4 ，， に縮小 し た 際 の 再生信 号 と 、 該マ ク ロ プ ロ ッ ク と の ミ ス マ ツ チ数 を 計算 し 、 こ の 数 が し き い値以 下 の 場合 に は 、 縮 小率 を " と す る 。

( 2 ) 前記 （ 1 ) で ミ ス マ ッ チ数が し き い値 よ り ち 大 き い場合 に は 、 該マ ク ロ ブ ロ ッ ク を " 1 Z 2 " に縮小 し た 際 の 再生信 号 と 、 該マ ク ロ ブ ロ ッ ク と の ミ ス マ ッ チ数 を 計算 し 、 こ の数 が し き い値以 下 の 楊 合 に は 、 縮小率 を " 1 / 2 " と す る 。

( 3 ) 前記 （ 2 ) で ミ ス マ ッ チ数が し き い値 ぶ り ち 大 き い場合 に は 、 該 マ ク ロ ブ ロ ッ ク の縮小率 を " 1 ，， と す る 。

こ の よ う に し て 求 め ら れた C R ( サ イ ズ変換率） の 値 は 、 信号線 1 0 3 を 介 し て 縮小 回 路 1 7 1 ， 1 7 3 1 7 4 、 拡大 回 路 1 7 2 お よ び 2 値画像符 号化 回路 1 7 0 に供給 さ れ る と 共 に 、 V L C ( 可変長符号化） · 多重化 回 路 1 8 0 に供給 さ れ符 号化 さ れた後 、 他 の 符 号 と 多重化 さ れ る 。 ま た 、 転置 回 路 1 7 5 で は 、 縮小 回路 1 7 1 よ り 供給 さ れ る 、 縮小 さ れた該 ブ ロ ッ ク の 信 号の位置 が 転置 さ れ る （水 平方 向 の ア ド レ ス と 垂直 方 向 の ア ド レ ス が 入れ替 え ら れ る ） 。

こ の こ と に よ り 、 符 号化 の順序 を 水 平方 向 の ス キ ヤ ノ ( horizonta L s c a n )順 に行 う 力、 、 垂 直方 向 の ス キ ャ ン ( vertica s c a n )順 に行 う カゝ ； ^ 切 り 換 え ら れ る 。 ま た 、 転置 回 路 1 7 6 で は 、 縮小 回 路 1 7 3 に よ り 縮 小 さ れた該マ ク ロ ブ ロ ッ ク 近傍 の 再生画素値 と 、 縮小 回 路 1 7 4 に よ り 縮小 さ れた動 き 補償予測信 号 と で 、 そ れぞれの信 号の位置 が 転置 さ れ る 。 転置 回 路 1 7 5 ， 1 7 6 に お レ、 て 、 転置処理す る か 否 かの 判 定は 、 例 え ば、 2 値画像符 号化 回 路 1 7 0 に お レヽ て 水 平ス キ ャ ン と 垂直 ス キ ャ ン と で そ れぞれ符 号 化 を行い 、 信号線 1 0 4 を 介 し て 出 力 さ れ る 符 号化情 報 b 4 を S T ( Scan Type) 判 定回 路 1 7 7 に供給 す る こ と に よ っ て 、 こ の S T 判 定回 路 1 7 7 力 S 、 符 号 量 の少 な く な る ス キ ャ ン方 向 を 選択す る こ と で決 ま る

2 値画像符号化 回 路 1 7 0 で は 、 転置 回 路 1 7 5 よ り 供給 さ れ る 該マ ク ロ ブ ロ ッ ク の 信 号 を 、 転置 回 路 1 7 6 よ り 供給 さ れ る 参 照信 号 を 用 い て 符 号化す る 。

な お 、 具体的 な 2 値画像符 号化法 の 一例 と し て 、 上 述 の 第 3 の 実施例 で用 い た 手法 が 挙 げ ら れ る が 、 こ れ に 限 ら ず 、 第 4 の 実施例 で の こ の 2 値画像符 号化 回 路 1 7 0 で は他の 2 値画像符 号化 を 適用 す る こ と が で き る 。

coded" に分類 さ れた ブ ロ ッ ク の 中 に は 、 フ レ ー ム 内 の 参 照画素 を 用 い る " intra" 符号化モ ー ド と 、 動 き 補償予測信号 を 参照す る " inter" 符 号化モ ー ド と が あ る 。 こ こ で 、 intra/ inter の 切 り 替 え は 、 例 え ば、 線 1 0 4 を 介 し て 供給 さ れ る 2 値画像符 号化 回 路 1 7 0 か ら の符 号化情報 を モ ー ド判 定回 路 1 1 0 に 供給 し 、 符号量 の少 な く な る モ ー ド を選択すれば よ い

、 _ ゝ で 、 選択 さ れた符 号ィ匕モ ー ド （ intra/ inter) の 情報 は 、 信号線 1 0 5 を 介 し て 2 値画像符 号化 回 路 1 7 0 に供給 さ れ る 。 以 上の 手段 に よ り 選択 さ れた最適 な モ ー ド に て 符 号 ィ匕 さ れた 、 2 値画像符 号化 回 路 1 7 0 の符 号化情報 は 、 信号線 1 0 4 を 介 し て V L C ' 多重化 回 路 1 8 0 に供 給 さ れ、 他の符号 と 共 に 多重化 さ れ る 。 ま た 、 モ ー ド 判 定回路 1 1 0 か ら は最適 な モ ー ド の 情報 が 信号線 1 0 6 を介 し て V L C · 多重化 回 路 1 8 0 に供給 さ れ、 符号化 さ れた 後 、 他 の符号 と 共 に 多重化 さ れ る 。 ま た 、 動 き ベ ク ト ル検 出 回 路 （ M V E ) 1 7 8 で は 、 最適 な 動 き べ ク ト ルが 検 出 さ れ る 。 こ こ で 、 動 き べ ク ト ルの 検 出 方法 につ い て は 、 種 々 存在 し て お り 、 ま た 、 動 き べ ク ト ルの検 出 法そ の も の は 、 本発 明 の 要部 で は な い た め 、 こ こ で は省略す る 。 検 出 さ れた動 き べ ク ト ル は 、 信 号線 1 0 7 を 介 し て 動 き 補償予測 回 路 1 6 0 に 供給 さ れ る と 共 に 、 M V 符 号化 回 路 1 7 9 に て 符 号化 さ れ た後 、 V L C · 多重化 回 路 1 8 0 に供給 さ れ、 符 号化 さ れた後 、 他 の 符号 と 共 に 多重化 さ れ る 。

多重化 さ れた符号 は 、 信 号線 3 を 介 し て 出 力 さ れ る 。 動 き 補償予測 回 路 1 6 0 で は 、 信号線 1 0 7 を 介 し て 供給 さ れ る 動 き べ ク ト ル信 号 に 基づい て フ レ ー ム メ モ リ 1 3 0 に 蓄積 さ れて い る 参 照 フ レ ー ム の 再生画像 を 用 い て 動 き 補償予測信号 を 生成 し 、 信 号線 1 0 1 を 介 し て モ ー ド判 定回 路 1 1 0 お よ び縮小 回 路 1 7 4 に 出 力 す る 。

以 上の 処理の 結果 、 画質 の 良 い 、 し か も 、 高圧縮率 で の 画像符 号化 を す る こ と が で き る 。 次 に復 号化 に っ レ、 て 説 明 す る 。

図 2 0 は 、 ア ル フ ァ マ ッ プ復 号化 回 路 4 0 の 詳細 な 構成 図 で あ る 。

図 に示す よ う に 、 ア ル フ ァ マ ッ プ復号化 回 路 4 0 は V L C (可変長符 号化） · 分離化 回 路 2 1 0 、 モ ー ド 再生回路 2 2 0 、 セ レ ク タ 2 3 0 、 マ ク ロ ブ ロ ッ ク 内 画素値設定回 路 2 4 0 ， 2 5 0 、 動 き 補償予測 回 路 2 6 0 、 フ レ ー ム メ モ リ 2 7 0 、 2 値画像復 号化 回 路 2 8 0 、 拡大 回 路 2 8 1 、 転置 回 路 2 8 2 ， 2 8 5 、 縮 小 回 路 2 8 3 ， 2 8 4 、 2 値画像復 号化 回 路 2 8 0 、 動 き べ ク ト ル再生 回 路 2 9 0 よ り 構成 さ れ る 。

こ れ ら の う ち 、 V L C (可変長符 号化） · 分離化 回 路 2 1 0 は 、 多重化 さ れて 送 ら れて き た ア ル フ ァ マ ツ プ の符 号化 ビ ッ ト ス ト リ 一 ム を 復 号 し 、 モ ー ド情報 b 0 、 動 き べ ク ト ル情報 b 1 、 サ イ ズ変換率情報 b 2 、 ス キ ャ ン方 向 情報 b 3 、 2 値画像符 号化情報 b 4 に 分 離す る 回路 で あ り 、 モ ー ド再生回 路 2 2 0 は こ の 分離 さ れたモ ー ド情報 b 0 を 受 け て 、 " transparent" ， o aque ， no update ， coded の 4 £ の モ ー ド の う ち の いずれの モ ー ド で あ る カゝ を 再生す る 回 路 で あ る 。

2 値画像復 号化 回 路 2 8 0 は前記 V L C ( 可変長符 号化） · 分離化 回 路 2 1 0 に よ り 分離 さ れた 2 値画像 符 号化情報 b 4 を 、 前記分離 さ れた サイ ズ変換率情報 b 2 お よ びモ ー ド再生 回 路 2 2 0 か ら の 再生 さ れた モ — ド情報お よ び転置 回 路 2 8 5 の 情報 と を 用 い て 2 値 画像 に復 号化 し て 出 力 す る 回 路 で あ り 、 拡大 回 路 2 8 1 は前記分離 さ れた サ イ ズ変換率情報 b 2 の 情報 を 用 い て 前記復 号 さ れた 2 値画像 を 拡大処理す る 回 路 で あ り 、 転置 回 路 2 8 2 は こ の 拡大処理 さ れた 画像 を 、 前 記分離 さ れた ス キ ャ ン方 向 情報 b 3 に従 っ て 転置処理 し 、 再生信 号 m 3 と し て 出 力 す る 回 路 で あ る 。

ま た 、 マ ク ロ プ ロ ッ ク 內 画素値設 定回 路 2 4 0 は ， マ ク ロ ブ 口 ッ ク 内 画素値 が 全て 透 明 に さ れた 再生信 号 m O を発 生す る 回 路 で あ り 、 マ ク ロ ブ ロ ッ ク 内 画素値 設 定回路 2 5 0 は， マ ク ロ ブ ロ ッ ク 内 画素値 が全て 不 透 明 に さ れた再生信 号 m 1 を発 生す る 回 路 で あ る 。

動 き ベ ク ト ル再生 回 路 2 9 0 は 、 前記 V L C ( 可変 長符 号化） · 分離化 回 路 2 1 0 に よ り 分離 さ れた動 き ベ タ ト ル情報 b 1 を 用 レ、 て マ ク ロ プ ロ ッ ク の 動 き べ ク ト ル を 再生す る 回 路 で あ り 、 動 き 補償予測 回 路 2 6 0 は こ の 再生 さ れた動 き べ ク ト ル を 用 い て フ レ ー ム メ モ リ 2 7 0 の 蓄積参照 フ レ ー ム を 再生画像 か ら 動 き 補償 予測値 m 2 を 生成す る 回 路 で あ り 、 縮小 回 路 2 8 4 は 前記分離 さ れた サ イ ズ変換率情報 b 2 の 情報 を 用 い て 前記動 き 補償予測値 m 2 を縮小処理す る も の で あ り 、 縮小 回 路 2 8 3 は前記分離 さ れた サ イ ズ変換率情報 b 2 の 情報 を 用 い て 前記 フ レ ー ム メ モ リ 2 7 0 の 蓄積参 照 フ レ ー ム の 画像 を縮小処理す る も の で あ り 、 転置 回 路 2 8 5 は前記 V L C ( 可変長符 号化） ' 分離化 回 路 2 1 0 に よ り 分離 さ れた ス キ ャ ン方 向 情報 b 3 を 基 に 縮小 回 路 2 8 3 , 2 8 4 の 出 力 す る 縮小画像 を 転置処 理 し て 2 値画像復 号化 回 路 2 8 0 に 出 力 す る 回 路 で あ る 。

ま た 、 セ レ ク タ 2 3 0 は 、 モ ー ド再生 回 路 2 2 0 の 出 力 す る モ ー ド情報 に応 じ て 、 マ ク 口 プ ロ ッ ク 内 画素 値設 定回 路 2 4 0 ， 2 5 0 の 再生信 号 m O ， m l 、 動 き 補償予測 回 路 2 6 0 の動 き 補償予測値 m 2 、 転置 回 路 2 8 2 の 再生信 号 m 3 の う ち 、 いずれか を 選択 し て 出 力 す る も の で あ り 、 フ レ ー ム メ モ リ 2 7 0 は こ の セ レ ク タ 2 3 0 の 出 力 し た 画像信 号 を フ レ ー ム 単位 で保 持す る メ モ リ で あ る 。

こ の よ う な構成 の ア ル フ ァ マ ッ プ複 号化 回 路 4 0 は 信 号線 8 を 介 し て ア ル フ ァ マ ッ プ の符 号化 ビ ッ ト ス ト リ ー ム が供給 さ れ る 。 こ の ビ ッ ト ス ト リ ー ム は V L D ( 可変長復 号化） · 分離化回 路 2 1 0 に供給 さ れ る 。 す る と 、 V L D (可変長複 号化） · 分離化 回 路 2 1 0 で は 、 こ の ビ ッ ト ス ト リ ー ム を 復 号 し 、 力 つ 、 モ ー ド情報 b 0 、 動 き べ ク ト ル情報 b 1 、 サ イ ズ変換率情 報 b 2 、 ス キ ャ ン方 向 情報 b 3 、 2 値画像符 号化情報 b 4 に 分離す る 。 こ れ ら 分離 さ れた 情報 は マ ク ロ プ ロ ッ ク 単位 で管理 さ れ る 。

こ の 分離 さ れた 情報 の う ち 、 モ ー ド情報 b 0 は 、 モ ー ド再生回 跨 2 2 0 に供給 さ れ、 該マ ク ロ プ ロ ッ ク が 以 下 の モ一 ド の 何れ に 属す る か を 分類す る 。 ( 1 ) transparent"

( 2 ) opaque"

( 3 ) " no u date"

( 4 ) " coded"

こ こ で 、 " coded" に は 、 図 1 9 の符 号化 回 路 の 実 施例 で述べた と お り " i n t r a "の モ ー ド と " inter" の モ ー ド と が あ る 。 す な わ ち 、 フ レ ー ム 内 の 参 照 画素 を用 レ、 る の が " i n t r a "符 号ィ匕モ ー ド で あ り 、 動 き 補 償予測信 号 を 参 照す る の が " inter" 符 号化モ ー ド で あ る 。

セ レ ク タ 2 3 0 で は 、 信 号線 2 0 1 を 介 し て 供給 さ れ る 前記の符号化モ ー ド に応 じ て 、 該マ ク ロ ブ 口 ッ ク の モ ー ド が " transparent" の 場合 は 、 ブ ロ ッ ク 内 画素値設 定回路 2 4 0 に お い て マ ク 口 プ ロ ッ ク 内 画素 値が全て 透明 に さ れた 再生信 号 m 0 が 選択 さ れ、 信 号 線 9 を 介 し て フ レ ー ム メ モ リ 2 7 0 に供給 さ れ 、 該 フ レ ー ム メ モ リ 2 7 0 の 当 該マ ク ロ プ ロ ッ ク カ S 属 す る 画 像 フ レ ー ム の 記憶領域 に 蓄 え ら れ る と 共 に 、 ア ル フ ァ マ ッ プ複号化 回 路 4 0 か ら 復 号化 さ れた ア ル フ ァ マ ツ プの 画像 と し て 出 力 さ れ る 。

同様 に 、 該マ ク ロ ブ ロ ッ ク の モ ー ド が " opaque" の 場合 は 、 マ ク ロ ブ ロ ッ ク 内 画素値設 定回 路 2 5 0 に お い て 、 プ ロ ッ ク 内 画素値が 全て 不透明 に さ れた 再生 信号 m 1 が選択 さ れ、 ま た 、 該 ブ ロ ッ ク の モ ー ド が " no update" の 場合 は 、 信 号線 2 0 2 を 介 し て 供 給 さ れ る 動 き 補償予測 回 路 2 6 0 に お い て 生成 さ れ た 動 き 補償予測信 号 m 2 が 選択 さ れ、 ま た 、 該 ブ ロ ッ ク の モ ー ド が 、、 " coded" の 場合 に は 、 拡大 回 路 2 8 1 、 転置 回路 2 8 2 を 経 て 供給 さ れ る 再生信 号 m 3 が 選択 さ れ、 信 号線 9 を介 し て フ レ ー ム メ モ リ 2 7 0 に供給 さ れ、 該 フ レ ー ム メ モ リ 2 7 0 の 当 該マ ク ロ ブ ロ ッ ク が 属す る 画像 フ レ ー ム の 記憶領域 に 蓄 え ら れ る と 共 に 、 ア ル フ ァ マ ッ プ復 号化 回 路 4 0 か ら 復 号化 さ れた ア ル フ ァ マ ッ プ の 画像 と し て 出 力 さ れ る 。

一方 、 分離 さ れた動 き べ ク ト ル情報 b 1 は 、 動 き べ ク ト ル再生 回 路 2 9 0 に供給 さ れ、 該マ ク ロ ブ ロ ッ ク の 動 き べ ク ト ルが 再生 さ れ る 。 こ こ で 、 再生 さ れた 動 き べ ク ト ルは 、 信 号線 2 0 3 を 介 し て 動 き 補償予測 回 路 2 6 0 に供給 さ れ、 動 き 補償予測 回 路 2 6 0 で は こ の 動 き ベ ク ト ル に 基 づ レ、 て 、 フ レ ー ム メ モ リ 2 7 0 に 蓄積 さ れて い る 参 照 フ レ ー ム の 再生 面像 か ら 動 き 補償 予測値 を 生成す る 。 信 号線 2 0 2 を介 し て縮小 回 路 2 8 4 と セ レ ク タ 2 3 0 と に 出 力す る 。

ま た 、 分離 さ れた サ イ ズ変換率情報 b 2 は 、 縮小 回 路 2 8 3 お よ び拡大 回 路 2 8 1 に供給 さ れ る と 共 に 、 2 値画像復 号化 回 路 2 8 0 に供給 さ れ、 ス キ ャ ン方 向 情報 b 3 は 、 転置 回 路 2 8 2 , 2 8 5 に供給 さ れ る 。

ス キ ャ ン方 向 情報 b 3 を 受 け た転置 回 路 2 8 2 で は 、 拡大 回 路 2 8 1 よ り 供給 さ れ る 、 元 の サ イ ズ に 戻 さ れ た マ ク ロ ブ ロ ッ ク の 再生信 号の位置 が転置 さ れ る （水 平方 向 の ァ ド レ ス と 垂直方 向 の ァ ド レ ス が 入れ替 え ら れ る ） 。 ま た 、 ス キ ャ ン方 向 情報 b 3 を 受 け た転置 回 路 2 8 5 で は 、 縮小 回路 2 8 3 に よ り 縮小 さ れた該ブ ロ ッ ク 近傍の 再生画素値 と 、 縮小 回 路 2 8 4 に よ り 縮 小 さ れた動 き 補償予測信 号 と で 、 そ れぞれの 信 号の位 置 が転置 さ れ る 。

サ イ ズ変換率情報 b 2 を 受 け た 2 値画像複 号化 回 路 2 8 0 で は 、 分離化 回 路 2 1 0 に よ り 分離 さ れた該マ ク ロ プ ロ ッ ク の 2 値画像符 号化情報 b 4 を 、 転置 回 路 2 8 5 よ り 供給 さ れ る 参照信 号 を 用 い て 復 号化す る 。

と こ ろ で 、 第 4 の 実施例 に記載 し た よ う に 、 拡大 回 路 1 7 2 ， 2 8 1 の 出 力 に は斜 め方 向 の 不連続性 に起 因す る 画質劣化 が発 生す る 場合 が あ る が 、 こ の 問題 を 解決す る た め に拡大 回 路 1 7 2 , 2 8 1 に は 、 斜 め方 向 の 不連続性 を抑 え る フ ィ ル タ を備 え る よ う に し て も 良 い。

な お 、 2 値画像符 号化 回 路 1 7 0 と 同様 に 、 用 レ、 る 2 値画像複号化 回 路 2 8 0 の構成 は 上述 の 第 3 の 実施 例 に示 し た構成例 に 限 ら な い。

前記 の 実施例 の 中 で 、 2 値画像符 号化 回 路 1 7 0 お よ び 2 値画像復 号化 回 路 2 8 0 の 実施例 は 、 上述 の 第 3 の 実施例 に 限 ら な レ、 と 記述 し た。 そ こ で 、 こ れ以外 の例 を 示 し て お く 。

別 の 2 値画像符 号化法 と し て 、 例 え ば、 マ ル コ フ モ デル符 号化法 が あ る （参照 ： テ レ ビ ジ ョ ン学会編 、 "画像情報圧縮 " 、 pp · 171 〜 176 ) 。 図 2 1 が マ ル コ フ モ デル符 号化法 の 一例 を説 明 す る 図 で あ る 。 図 中 の 画素 X が符 号化 の 対象 と な る 着 目 画素 で あ り 、 画 素 a ~ f が 画素 X を符 号化す る 際 に 参照 さ れ る 参 照 画 素 で あ る 。

こ こ で 、 画素 a 〜 f は画素 X を 符 号化す る 際 に既 に 符 号化 が 終了 し て い る 画素 と す る 。 着 目 画素 X は 、 参 照 画素 a 〜 f の 状態 に よ っ て 、 V L C ( 可変長符 号 化） を使用 す る 場合 に は 可変長符 号テ 一 ブルが 、 算 術 符 号 （ arithmetic ) を使用 す る 場合 に は確率テ ー プ ノレ （ probability table )力 S 、 適応 的 に 切 り 換 え ら れ て 符号化 さ れ る 。

こ の 実施例 を本発 明 に適用 す る 場合 、 " intra" 符 号化 は 、 現在処理 し よ う と し て い る マ ク ロ プ ロ ッ ク 内 で 、 着 目 画素 よ り 先 に符 号化 さ れた 画素 を 参 照 画素 と し 、 " inter" 符 号化 は現在処理 し よ う と し て い る マ ク ロ ブ 口 ッ ク 内 で 、 着 目 画素 よ り 先 に符 号化 さ れた 画 素 だ け で な く 、 動 き 補償予測誤差信 号内 の 画素 も 参照 画素 と し て 用 いれ ば よ い。

本実施例 で は 、 例 え ば 、 [方式 1 ] 第 3 の 実施例 の 方式 （ M M R に基づ い た符 号化方式） と 、 [方式 2 ] マ ル コ フ モ デル符 号化 を 適応的 に切 り 換 え て 符 号化す る 方式の 両方式 を備 え 、 こ れ ら を 適応的 に選択 し て使 用 す る 形態 を採用 す る こ と を 特徴 と し て レ、 る 。

図 2 2 A は 、 本実施例 で用 い ら れ る 、 2 値画像符 号 化 回 路 1 7 0 の ブ ロ ッ ク 図 で あ る 。 図 に示す よ う に 、 2 値画像符 号化 回 路 1 7 0 は 、 一対 の セ レ ク タ 4 2 1 , 4 2 4 と 、 一対の 2 値画像符 号化 回 路 か ら 構成 さ れて い る 。 こ れ ら の う ち 、 セ レ ク タ 4 2 1 は入力 側 の 選択 回 路 で あ り 、 セ レ ク タ 4 2 2 は 出 力側 の 選択 回 路 で あ る 。 2 値画像符号化 回 路 4 2 2 は前記 [方式 1 ] で符 号化す る 第 1 の 2 値画像符 号化 回 路 で あ り 、 2 値画像 符 号化 回 路 4 2 3 は前記 [方式 2 ] で符 号化す る 第 2 の 2 値画像符 号化 回 路 で あ る 。

2 値画像符 号化 回 路 1 7 0 で は 、 信 号線 4 1 1 を 介 し て 転置 回 路 1 7 5 か ら 供給 さ れ る 処理対象 マ ク ロ ブ ロ ッ ク の 信 号 を 、 信 号線 4 1 3 を 介 し て 供給 さ れ る 切 り 換 え 信 号 に応 じ て 選択切換 え す る セ レ ク タ 4 2 1 ， 4 2 4 に よ り 、 第 1 の 2 値画像符 号化 回 路 4 2 2 と 第 2 の 2 値画像符号化 回 路 4 2 3 に適応 的 に振 り 分 け 、 こ の 振 り 分 け ら れた マ ク ロ ブ 口 ッ ク の信 号 を 符 号化す る 。

符 号化 さ れた情報 は 、 信 号線 4 1 2 を 介 し て 出 力 さ れ る 。 な お 、 図 2 2 A で は 2 値画像符 号化 回 路 1 7 0 に供給 さ れ る 信号の信 号線 1 0 3 ， 1 0 5 、 転置 回 路 1 7 6 力ゝ ら の信 号線は 、 省略 さ れて い る 。

こ こ で 、 信 号線 4 1 3 を 介 し て 供給 さ れ る 切 り 換 え 情報 は 、 予 め設定 さ れた デ フ ォ ル ト 値で も 良 い し 、 画 像 内 容 に 基づい て 適切 な 切 り 換 え 情報 を 求 め て 、 サ イ ド情報 と し て 別途符 号化 し 、 復 号側 に伝送す る よ う に し て も よ レヽ 。

こ れ に よ り 、 画像 内 容 に 基づ い た最適処理 が 可能 に な り 、 ま た 、 ア プ リ ケ ー シ ョ ン に応 じ て複数の符 号化 方式の 中 か ら 適切 な も の を 選択 し て使用 す る こ と も 可 能 に な る 。

同様 に 、 図 2 2 A は 、 本実施例 で用 い ら れ る 2 値画 像複 号化 回路 2 8 0 の プ ロ ッ ク 図 で あ る 。 図 に示す よ う に 、 2 値画像複 号化 回 路 2 8 0 は一 対 の セ レ ク タ 4 4 1 ， 4 4 4 、 一対 の 2 値画像複 号化 回 路 4 4 2 ， 4 4 3 と 力 ら 構成 さ れて レ、 る 。 こ れ ら の う ち 、 セ レ ク タ

4 4 1 は入力側 の 選択 回 路 で あ り 、 セ レ ク タ 4 4 4 は 出 力側 の選択回 路 で あ る 。 ま た 、 2 値画像複 号化 回 路 4 4 2 は前記 [方式 1 ] で符 号化 し た 画像 を 復 号化す る 第 1 の 2 値画像複 号化 回 路 で あ り 、 2 値画像複 号化 回路 4 4 3 は前記 [方式 2 ] 符 号化 し た 画像 を 復 号す る 第 2 の 2 値画像複 号化 回 路 で あ る 。

こ の よ う な構成 の 2 値画像複 号化 回 路 2 8 0 で は 、 信 号線 4 3 1 を 介 し て 供絵 さ れ る 処理対象 マ ク ロ ブ ロ ッ ク の 2 値画像符 号化情報 b 4 を 、 信 号線 4 3 3 を 介 し て供給 さ れ る 切 り 換 え 信 号 に応 じ て セ レ ク タ 4 4 1 ， 4 4 4 に よ り 、 第 1 の 2 値画像復 号化 回 路 4 4 2 と 第 2 の 2 値画像復 号化 回 路 4 4 3 に適応 的 に振 り 分 け て 複号化す る 。

復号化 さ れた信 号は 、 信 号線 4 3 2 を 介 し て 出 力 さ れ る 。 な お 、 図 2 2 B で は 2 値画像複 号化 回 路 2 8 0 に対す る 分離化 回 路 2 1 0 か ら の信 号供給用 の信 号線 モ ー ド再生 回 路 2 2 0 か ら の信 号線， 転置 回 路 2 8 5 力、 ら の 信 号線は省略 さ れて い る 。

こ こ で 、 信 号線 4 3 3 を 介 し て 供給 さ れ る 切 り 換 え 情報 は 、 デ フ ォ ル ト 値 で も 良 い し 、 符 号化 さ れて 送 ら れて き た ビ ッ ト ス ト リ 一 ム かち 当 該切換情報 を 得 る ェ ン コ ー ダカゝ ら 送 ら れて き た 情報 で も 良 い。

次 に 、 サイ ズ変換 （拡大 ， 縮小） を 行 う た め の 回 路 例 を 具体的 に示す。

本発 明 は 、 符号ィ匕領域 （video ob ect plane

( V 0 P ) )単位 あ る レ、 は プ ロ ッ ク 単位 （ マ ク ロ ブ 口 ッ ク ( macro block )単位） でサ イ ズ変換処理 を 施す こ と で レー ト 制御 （ rate control )を行 っ て レヽ る 。 こ の サ ィ ズ変換処理 に利用 す る 技術の例 と し て 、 本願発 明 者 等 が 特願平 8 — 2 3 7 0 5 3 号 に 開 示 し た "双 一次 内 挿 " が あ る 。 こ の 技術 に つ い て 触れて お く 。 当 該双一 次 内挿 は 、 参考文献 "尾 上編 ： 画像処理ハ ン ド プ ッ ク ， p . 6 3 0 , 昭晃 堂 " を 図 2 3 A お よ び 2 3 B を 参 照 し て 説明 す る 。

図 2 3 A に お い て 、 P e X は変換後 の 画素位置 で あ り 、 こ の P ex は 図 2 3 A の よ う に 実数画素位置 を 指 し示す。

そ こ で 、 入力 信 号の整数画素位置 A ， B , C , D と の 距離関係 力ゝ ら 、 8 つ の領域 に 分 け て 図 2 3 B に示す 論理式 に よ り 、 A 〜 D の 画素値 I a 〜 I d 力 ら P ex の 画素ィ直 I p を 求 め る 。

こ の よ う な 処理 が "双 一 次 内挿 " と い う 処理 で あ り A 〜 D の 画素 直 I a 〜 I d 力、 ら P e x の 画素 直 I ρ を 簡易 に 求 め る こ と が で き る 。

と こ ろ で 、 こ の双一次 内揷処理 は周 囲 の 4 画素 の み を 用 い て 処理 を 行 っ て い る た め 、 広 レヽ範囲 で の 変化 が 反 映 さ れず 、 特 に斜 め 方 向 の 不連続性 が発 生 し易 く な つ て い る 。 こ の 問題 を解決す る た め の 一例 と し て 、 拡 大処理 を 行 っ た 後 に ス ム ー シ ン グ フ ィ ル タ 処理 （ 平 滑 化処理） を施す例 を 、 特願平 8 — 2 3 7 0 5 3 号で提 示 し て レヽ る 。

ス ム ー シ ン グ処理 （平滑化処理） を 図 2 4 A 、 図 2 4 B を 参 照 し て 具体的 に 説 明 す る 。 図 2 4 A は元 の サ ィ ズの 2 値画像 、 図 2 4 B は こ れ を 縮小 し て 得 た 2 値 画像 で あ る 。 同 図 に お い て は 、 オブ ジ ェ ク ト 領域 は黒 丸 印 で 、 ま た 、 ノ ッ ク グ ラ ウ ン ド （背 景） 領域 は 白 丸 印 で示 し て あ る 。

こ の例 で は 、 サ ン プ リ ン グ変換 （拡大 · 縮小変換） が な さ れ る こ と に よ り 発 生す る 斜 め 方 向 の 不連続性 を 滑 ら か にす る た め に 、 ノ ッ ク グ ラ ウ ン ド領域 の 画素

( 白 丸） 一 つ 一 つ に つ い て 、 そ れ を 中 心 に し て 、 そ の 上下左右 の 画素 、 つ ま り 、 隣接画素 を 調べ 、 そ の う ち 2 画素以 上 が オブ ジ ェ ク ト 領域の 画素 （黒丸） で あ つ た と き は 、 そ のバ ッ ク グ ラ ウ ン ド領域 の 画素 を 、 ォブ ジ ェ ク ト 領域 に含 め る 処理 を行 う 。 す な わ ち 、 今 、 ノ ッ ク グ ラ ウ ン ド領域 に あ る 一つ の 画素 で あ る 検査対象画素 が ず 2 4 B に お け る 二重丸 印 で示す位置 の画素 で あ る 場合 の よ う に 、 そ の 隣接画素 に 、 2 画素以上 、 オブ ジ ェ ク ト 領域 の 画素 （黒丸） が あ つ た と き は 、 そ の 二重丸 印 で示す位置 の 画素 （つ ま り 、 検査対象画素 ） を 黒丸印 の 画素 に し て オブ ジ ェ ク ト 領域 の 画素 にす る 。 黒丸 印 の 画素 が例 え ば 、 " 1 " . 白 丸印 が " 0 " で あ る と す る と 、 二重丸 印 で示す位置 の 画素 （ 画素値 " 0 " ) を 、 画素値 " 1 " に 置 き 換 え る 処理 を す る 。 こ の よ う な 処理 に よ り 、 斜 め 方 向 の 不 連続性 を 解消 で き る よ う に な る 。

図 2 5 は 、 ス ム ー シ ン グ フ ィ ル タ （平滑化処理 フ ィ ル タ ） の 別 の例 で あ る 。 図 2 5 に示 さ れ る 、 3 X 3 画 素 の マ ス ク の 中 心 の 画素 を C と し て 、 C に 対 し て 左 上 の 画素 を T L 、 右 上 の 画素 を T R 、 左 下 の 画素 を B L , 右 下 の 画素 を B R と す る と 、 下記 の 式 に よ り 、 画素 C の フ ィ ル タ リ ン グ さ れた値が 求 め ら れ る 。 こ こ で 、 ォ ブ ジ ェ ク ト の値 を " 1 " 、 背景の値 を " 0 " で表 わ し て レ、 る 。

i f ( C = = 0 ) i f ( ( T L + T R + B L + B R ) > 2 )

C = 1 ：

e l s e

C = 0 : }

e l s e

{

i f ( ( T L + T R + B L + B R ) < 2 ) C = 1 ··

e l s e C

= 0 す な わ ち 、 こ の フ ィ ル タ 演算 処理 は 、 も し 画素 C が " 0 " で あれば、 画素 T L， T R， B L ， B R をカロ 算 し た値が " 2 " よ り 大 き レ、 か否カゝ を 調べ 、 大 き い場合 は画素 C の値 を " 1 " と し 、 大 き く な い場合 は 画素 C を " 0 " と し 、 ま た 、 も し 画素 C 力 S " 0 " で な け れば 画素 T L， T R， B L， B R を力 B算 し た値が " 2 " よ り 小 さ い か否カゝ を 調 べ 、 小 さ い場合 は画素 C の値 を

" 1 " と し 、 大 き く な い場合 は画素 C を " 0 " と す る 処理で あ る 。

こ の フ ィ ル タ に よ れば、 対象 と な る 画素 C に 対 し て 斜 め方 向 に位置す る 画素値の 変化 を 考慮 し て 画素 cの 値 を修正す る た め 、 斜 め 方 向 の 不連続性 が解 消 さ れ る ， な お 、 ス ム ー シ ン グ フ ィ ル タ の構成 は前記例 に 限 つ た も の で は な く 、 メ デ ィ ア ン フ ィ ル タ （medium

f ilter )等 の 非線开 フ ィ ノレ タ （ nonlinear f ilter ) を 用 い て も 良 レヽ 。

図 2 6 A は 、 双一 次 内 挿 に よ り 水 平 ' 垂 直共 に 2 倍 に拡大す る 処理を表す図 で あ る 。 図 2 6 B におい て 、 縮小プ ロ ッ ク の画素 （ decoded pixel )は 白 丸印すな わ ち " o " 印 で表 さ れ、 内挿 さ れ る 画素

( interpo l al ed p i X e 1 )はノ ッ 印すな わ ち 、 " X ，， 印 で表 さ れて お り 、 それぞれの画素値は " 0 " あ る い は " 1 " の何れかで あ る 。

こ の場合、 図 2 3 B の論理式で内挿 さ れる 画素 ( interpo l al ed pixel )の値を求 め る と 、

I p 1 = I a I ρ 2 = I b , I D 3 = I c , I p 4 = I d

と な る 。

従 っ て 、 画素 A の周 り の 4 つの 内挿画素の画素 ^ Sは 全て I a と な る た め に 、 拡大画像は 2 X 2 画素が 同 じ 値 と な り 、 滑 ら か さ が失われる 。 そ こ で、 双一次 内挿 の重み付 け を以下の様 に変更す る こ と で、 前記の 問題 は解決 さ れる

Ip l： i f ( 2 *： ： a + I b + I c + I d > 2 ) then 1 " e l s e " 0 "

p 2 : i f ( I a + 2 * I b + I c + I d > 2 ) t he n e l s e 0 "

I p 3 : i f ( I a + I b + 2 * I c + I d > 2 ) t hen " " e l s e " 0 "

I p 4 : i f ( I a + I b + I c + 2 * I d > 2 ) t hen " " el s e " 0 "

こ こ で 、 P i ( i = l ， 2 , 3 ， 4 ) は、 図 2 6 A に示 さ れ る " X " 位置 に 対応 し た 内 挿 さ れ る 画素 で あ り 、 I p i ( i = 1 , 2 ， 3 ， 4 ) は画素 P i ( i = 1 ， 2 , 3 ， 4 ) の 画素値 （ " 1 " ま た は " 0 " ) で あ る 。 ま た 、 A， B ， C， D は縮小 ブ ロ ッ ク の 画素 、 I a , I b ， I c ， I d は こ れ ら 画素 A , B ， C，

D の 画素値で あ る 。

『 Ipl s if ( 2 * I a + I b + I c + I d > 2 ) t he n

" l " else " 0 "』 の 意味 は 、 画素 ρ 1 の 画素値 I pi は 、 も し 、 l a の 2 倍値 と 、 l b と 、 I c と 、 I d と の 和 力 S 2 よ り 大 き け れば " 1 " と し 、 そ う で な け れ ば " 0 " と す る と い う こ と を 示 し て お り 、

『 Ip2 : if ( Ia + 2 * I b + I c + I d > 2 ) t hen

" 1 " e 1 s e " 0 "』 の 意味 は 、

画素 p 2 の 画素値 I p2 は 、 も し 、 l b の 2 倍値 と 、 l a と 、 I c と 、 I d と の 和 力 2 よ り 大 き け れ ば、 " 1 " と し 、 そ う で な け れば " 0 " と す る と 云 う こ と を 示 し て お り 、

『 Ip3 = if ( Ia + I b +2 * Ic+Id > 2 ) then " l " else " 0 "』 の 意味 は 、

画素 ρ 3 の 画素ィ直 I p3 は 、 も し 、 I c の 2 倍ィ直 と 、 l a と 、 l b と 、 I d と の 和 力 S 2 よ り 大 き け れ ば、 " 1 " と し 、 そ う で な ければ " 0 " と す る と 云 う こ と を 示 し て お り 、

『 Ip4 s if ( Ia + I b + I c + 2 * I d > 2 ) t hen

" 1 " else " 0 "』 の意味 は 、 画素 p 4 の 画素値 I p 4 は 、 も し 、 I d の 2 倍値 と 、 I a と 、 I b と 、 I c と の 和 が 2 以 上 な ら ば、 " 1 " と し 、 そ う で な け れば " 0 " と す る と 云 う こ と を 示 し て レヽ る 。

な お 、 水 平 垂直共 に 4 倍 に 拡大す る 場合 は 、 前記 の 処理 を 2 回繰 り 返せ ば よ い。

以 上 は 、 演算 に よ り 拡大処理す る 例 で あ る が 、 演算 に よ ら ず と も 拡大処理す る こ と は で き る 。 そ の 例 を 次 に説 明 す る 。

こ こ で は 、 テ 一 ブル を 用 意 し て こ れ を メ モ リ に保持 さ せ 、 こ の テ 一 ブル に従 っ て 一義的 に 画素 を 置 き 換 え る よ う にす る も の で あ る 。

具体的 に説明 す る 。 ま ず 、 例 え ば メ モ リ の ア ド レ ス を 4 ビ ッ ト と し 、 I a , I b , I c , I d を 並べて 得 ら れ る ア ド レ ス に 、 そ の 、 I a ， I b , I c , I d の ノヽ。 タ ー ン に よ つ て 得 ら れ る I pi， I p2 , I p3， I p4 を 下表 の様 に： 予 め 記録 し て お く 。

I a l b I c I d I pi I p 2 I p 3 I

P

0 0 0 0 0 0 0 0

0 0 0 1 0 0 0 0

0 0 1 0 0 0 0 0

0 0 1 1 0 0 1 1

0 1 0 0 0 0 0 0

0 1 0 1 0 1 0 1 0 1 1 0 0 1 1 0

0 1 1 1 1 1 1 1

1 0 0 0 0 0 0 0

1 0 0 1 1 0 0 1

1 0 1 0 1 0 1 0

1 0 1 1 1 1 1 1

1 1 0 0 1 1 0 0

1 1 0 1 1 1 1 1

1 1 1 0 1 1 1 1

1 1 1 1 1 1 1 1 こ の例 は 、 " I a ， I b ， I c ， I d ，， 力 S " 0 ， 0

0 , 0 " の 時 は 、 " I p 1， I p 2， I p 3， I p 4，， カ " 0 , 0 ， 0 ， 0 " で あ る こ と を 、 " I a ， I b ， I c , I d " が 0 ， 0 ， 0 , 1 ，， の 時 は 、 " I pi,

1 p 2 , I p 3， I p 4，， カ " 0 ， 0 ， 0 ， 0 " で あ る こ と を 、 " I a 1 b , I c ， I d ，， 力" 0 ， 0 ， 1 ，

1 ，， の 時 は 、 I pi, I p2， I p 3 , Ι ρ4Ί^ 0 ，

0 ， 1 , 1 ，， で あ る こ と を 、 " I a ， I b ， I c , I d ，， が " 0 ， 1 ， 0 ， 1 ，， の 時 は 、 " I p 1 , I p2 ,

1 p 3 , I p4" 力 S " 0 ， 1 ， 0 ， 1 " で あ る こ と を 、 そ し て 、 " l a , I b ， I c ， I d ，， 力 " 0 ， 1 ， 1 0 ，， の 時 は 、 " I p 1 , I p 2 , I p 3， I p 4，， 力 S " 0 ，

， 0 " で あ る こ と を 、 … と 云 う 具合 に I _a ， I b , I c ， I d の 内 容 の組み合わせ が 決 ま れば、 I p 1 , I p 2， I p 3 , I p 4 が 一義的 に 定 ま る テ ー ブル を 表 し て レヽ る 。

こ の よ う な テ 一 ブノレ を l a , I b , I c , I d の 內 容 が ア ド レ ス 、 そ の ア ド レ ス の格納デー タ が I pl， I p2, I p3， I p4 と な る よ う に メ モ リ に 設 定保持 さ せ手お く と 、 内 揷処理 を 行 う 時 に は 、 メ モ リ に l a I b ， I c ， I d の ア ド レ ス を 入力 し て 、 そ れ に 対応 す る I p 1， I p 2 , I p 3， I p 4 を 読み 出 す だ け で 、 内 揷値 を 求 め る こ と 力 S で き る 。 こ こ で 、 I a， I b， I c , I d の 並び は 2 進数で あ る が 、 こ れ を 1 0 進数 に 変換 し た数値 を コ ン テ キ ス ト と 呼ぶ こ と と す る と 、 こ の 手法 は 、 I a， I b, I c, I d に よ っ て 求 ま る コ ンテ キ ス ト に よ っ て 、 内 揷値 I pi， I p2 , I p3,

1 p4 を 決 め る 実施例 と 言 え る 。

な お 、 コ ン テ キ ス ト は

コ ン テ キ ス ト = 2 * 2 * 2 * 1 a + 2 * 2 * I b +

2 * I c + I d

で求 ま る 。

コ ン テ キ ス ト に よ っ て 内 揷値 を 求 め る 手法 は 、 上述 の例 の 場合 、 参照す る 画素数 を 4 つ と し た が 、 こ れ に 限 ら ず 、 以 下 で説 明 す る 1 2 個等 、 い く つ の 場合 で も 実現で き る 。

ま た 、 参 照 画素 （ decoded pixel ) と 内 ί荦画素

( interpolated pixel )の酉己置 につ レヽ て も 、 ί列 え ば'、 図 2 7 Α の よ う に 内 挿画素 Ρ 1 に 対 し て は 点線で 囲 ん だ領域 の 9 画素分 を 参 照 画素 と し て コ ン テ キ ス ト （ 二 0 〜 5 1 1 ) を 求 め 、 そ の コ ン テ キ ス ト に よ っ て 、 内 揷画素 P 1 を " 0 " か " 1 " か に決定す る 方法 も あ る 內揷画素 P 2 、 P 3 、 P 4 につ レ、 て も 、 そ れぞれの 内 挿位置 と そ の位置 を 囲 む直近 の 4 個 の 参 照 画素 の位 置 関係 に応 じ て 、 図 2 7 B 、 2 7 C お よ び 2 7 D の 点 線で 囲 ん だ画素 を 参照 画素 と す る 。

こ の 際 、 図 の よ う に 参 照 画素 A 〜 I の 、 内 揷画素 P に 対す る 相 対的 な位置 が 同 じ に な る よ う に配置 （例 え ば、 図 2 7 B は 図 2 7 Λ を 時計回 り に 9 0 度 回転 し た 配置 に な っ て レ、 る ） し て お け ば、 同 じ 画素ノ、。 タ ー ン を 回転 し た だ け の も の は 、 同 じ コ ンデ キ ス ト に な る の で 内挿画素 P 1 〜 P 4 で共通 の 内容 の テ ー ブル と し た メ モ リ を用 レヽ る こ と が で き る 。

次 に 、 4 X 4 画素 の マ ク ロ ブ ロ ッ ク を 1 6 X 1 6 画 素 に 拡大す る 場合 の例 を 説 明 す る 。

4 X 4 画素 の マ ク ロ ブ ロ ッ ク を 1 6 X 1 6 画素 に 拡 大す る に は 、 ま ず 、 4 X 4 の サ イ ズの マ ク ロ ブ ロ ッ ク M B を 8 X 8 の サ イ ズ に 拡大 し 、 次 に 8 X 8 の サ イ ズ の マ ク ロ ブ ロ ッ ク M B 力 ら 1 6 X 1 6 の サ イ ズの マ ク ロ ブ 口 ッ ク M B に 拡大す る と 云 う 手順 を踏む こ と に な る 。

こ の 4 X 4 の サ イ ズの マ ク ロ プ ロ ッ ク M B 力 ら 8 X 8 の サ イ ズ に 拡大す る 時 の 外部参 照 画素 （以 下 こ れ を border と 呼ぶ） A T と A L を 図 2 8 A に示 し 、 8 X 8 の サ イ ズの マ ク ロ ブ 口 ッ ク M B 力 ら 拡大す る 時 のタト 咅 15参照 画素 （ border ) B T と B L を 図 2 8 B に示す。

外部 参 照画素 A T は 2 行 8 列 、 外部参 照 画素

( border ) A L は 4 行 2 列 、 外部 参 照画素 B T は 2 行 1 2 列 、 外部参 照 画素 B L は 8 行 2 列 の 配列 で あ る 。

こ れ ら の外部参 照 画素 （ border )のィ直 は 図 2 9 を 用 い て 説 明 す る よ う に 、 既 に 再生 し た マ ク ロ プ ロ ッ ク の 所定の位置 の 画素 の 平均値 と し て 求 め る 必要 が あ る 。 し か し 、 2 値画像符 号化 回 路 1 7 0 と 2 値画像複 号化 回 路 2 8 0 に お い て 、 4 X 4 画素 の サ イ ズで符 号化す る 際 に は 、 外部参 照 画素 A T と A L を 参 照 し 、 8 X 8 画素 の サイ ズで符 号化す る 際 に は 、 外部参 照 画素 B T と B L を 参 照す る 場合 に は 、 こ れ を 転用 すれ ば拡大処 理の た め だ け に わ ざわ ざ外部参 照 画素 を 求 め る と 云 つ た 無駄 は 回避 で き る 。

こ こ で 、 外部参 照 B T と B L に つ い て は 、 平均値 を 求 め ず に 、 外部参照 画素 A T と A L 力ゝ ら 、 コ ン ビ ユ ー タ プ ロ ダ ラ ミ ン グ用 の 言語で あ る C 言語で記述すれ ば

B T [ 0 ] [ 0 ] = A T [ 0 ] [ 0 ]

Β Τ [ 0 ] [ 1 ] = Α Τ [ 0 ] [ 1 ]

Β Τ [ 1 ] [ 0 ] = Α Τ [ 1 ] [ 0 ]

Β Τ [ 1 ] [ 1 ] = Α Τ [ 1 ] [ 1 ]

Β Τ [ 0 ] [ 10 ] = A Τ [ 0 ] [ 6 ] ；

Β Τ [ 0 ] [ 11 ] = A Τ [ 0 ] [ 7 ] ;

Β Τ [ 1 ] [ 10 ] = A Τ [ 1 ] [ 6 ] ； B T [ 1 ] [ 1 1 ] = A T [ 1 ] [ 7 ] ;

o r ( j = 0 ； j < 2 ； j + + ) f o r ( i = 0 ； j < 8 + +

と い う 処理 に よ っ て 求 め る と 、 平均値 を 求 め る 場 合 と 多少結果 は異 な る が 、 平均値演算 を省 く こ と が で き る 上述 の 処理 は 、 図 2 8 A 、 2 8 B の 例 え ば 、 画素 p 1 を 画素 P 2 と 画素 p 3 に コ ピー し 、 画素 p 4 を 画素 P 5 と 画素 p 6 に コ ピ ーす る と レヽ う よ う に 、 A T や A L の値 を繰 り 返 し て 画素 を 追加処理 し て い uく こ と で 、 B T や B L を 生成す る も の で あ る 。 な お 、 C 言語プ ロ グ ラ ム 中 の " 门 [ ] " は配歹 IJ を 示 し 、 [ ] 中 の数字 は 1 0 進数 を示す。

以 上 は 、 拡大処理 の 具体的手法 を 説 明 し た 。 次 に 、 縮小処理 の 具体的 手法 を 説 明 す る 。

図 3 0 は 、 プ ロ ッ ク （マ ク ロ ブ ロ ッ ク ） を 縦横 " 1 Z 2 ，' の サイ ズ に縮小す る 縮小処理の 一例 で あ る 。 こ の 例 で は 、 点線枠 内 領域一 つ 一つ を 単位縮小 ブ ロ ッ ク 領域 と す る と 、 当 該 単位縮小 ブ ロ ッ ク 領域 内 の 2 X 2 画素 （各 点線枠 内 に お け る " O " で示 し た 計 4 画素） 毎 の 平均値 （ 図 3 0 の " X " ) を 、 そ の 単位縮小 ブ 口 ッ ク 領域で の 画素ィ直 と し て レヽ る 。 つ ま り 、 マ ク ロ プ ロ ッ ク を 縦横 " 1 4 " の サ イ ズ に縮小す る 場合 に は 、 単位縮小 プ ロ ッ ク 領域毎 に 、 そ の領域 内 の 4 X 4 画素 毎 の 平均値 を 求 め て 、 当 該単位縮小 ブ ロ ッ ク 領域 で の 画素値 と すれば よ い わ け で あ る 。

ま た 図 3 1 の よ う に 、 画素 A ， B ， C ， D 力 ら な る ， あ る 単位縮小 ブ ロ ッ ク 領域 を 考 え た場合 、 単位縮小 ブ 口 ッ ク 領域 の 画素 X の値 を 求め て こ の 単位縮小 プ ロ ッ ク 領域の値 と す る に あ た り 、 画素 A 〜 D の 平均値 を 求 め る の で は な く 、 こ れ よ り も 広 い範囲 の 画素位置 の 画 素 E ， F , G , H , I , 】 ， K ， L , M , N , O , P を含 め て 、 こ れ ら A 〜 P の 平均値 を 求 め る よ う に し て も よ い。 つ ま り 、 隣接 の 単位縮小 ブ ロ ッ ク 領域 の 画素 の う ち 、 画素 A 〜 D に 隣接す る 画素 を含 め て こ れ ら の 平均値 を採用 す る 方式 と す る 。

以 上 は 、 現存す る 画素 の値の 平均値 を 単位縮小 プ ロ ッ ク 領域の 画素値 と す る こ と で 、 そ の 単位縮小 ブ ロ ッ ク 領域の 画素数 を 減 ら す よ う に し 、 マ ク ロ ブ ロ ッ ク の サイ ズ縮小 を 図 る よ う に し た例 で あ っ た。 こ の よ う な 、 計算 を 伴わず に 、 機械的 な 間 引 き （ thinning)処理 で も マ ク ロ ブ ロ ッ ク を縮小処理す る こ と 力 S で き る 。

そ の 例 を 次 に説 明 す る 。 は じ め に 、 マ ク ロ ブ ロ ッ ク 内 で 閉 じ た処理 を 説 明 す る 。

図 3 2 は 、 画素 間 引 き に よ る 縮小処理 の例 で あ る 。 1 6 X 1 6 画素構成 の マ ク ロ ブ ロ ッ ク M B は 画素 間 引 き に よ る 縮小処理 を 施 し た結果 、 8 X 8 画素構成 の ブ ロ ッ ク に縮小 さ れ た様子 を 示 し て い る 。 す な わ ち 、 図 中 で点線の 白 丸印 で示 さ れた 画素 が 間 引 かれた 画素 で あ り 、 実線の 白 丸印 で示 さ れた画素 が 単位縮小 ブ 口 ッ ク 領域の 画素値 （ 図 3 2 の " X " ) と な る 。 こ の 場合 縮小率 （ C R ) は 間 引 かれ る 画素 の割合 を 表す こ と に な る 。 な お 、 画素 間 引 き の 方法 は 図 3 2 で説 明 し た方 法 に 限 ら ず、 例 え ば、 サ イ コ ロ （ o n e of dice ) CO Έ. の 目 格子 （ 5 -spot f ace )状 に 画素 を 間 引 レ、 て も 良 レヽ 。 ま た 、 こ の 場合 、 拡大処理 と は 、 間 引 かれた 画素 を 内 挿す る こ と に相 当 す る 。

以 上 、 種 々 の縮小処理 の 具体的手法 を 説明 し た。 次 に拡大処理 に つ い て 説明 す る 。

図 3 3 は 、 拡大処理 を 表す図 で あ る 。 図 に お い て 、 実線方形枠 はマ ク ロ プ ロ ッ ク を示 し て お り 、 点線枠表 示 さ れた部分 の 升 目 一つ一 つ が 単位縮小 ブ ロ ッ ク 領域 を 示 し て い る 。 単位縮小 ブ 口 ッ ク 領域 内 の 白 丸 印 は 現 存画素 （ coded pixel )を 表 わ し て お り 、 内挿 に よ り 画素数 を増や し て マ ク ロ プ ロ ッ ク の 拡大 を 図 る よ う に す る 。 内 揷 さ れ る 画素 （ interpolated pixel )は

" X " で表 さ れて お り 、 內 挿 後 は " O " の 画素 は不 要 画素 と な る 。

マ ク ロ ブ ロ ッ ク 境界部 の 画素 を 内 揷す る 際 に 、 マ ク ロ ブ ロ ッ ク 外の 画素値が 必 要 に な る 。 こ の 場合 、 図 の 矢印 で示 さ れて レ、 る よ う に 、 マ ク ロ ブ ロ ッ ク 内 の 最 も 近 く の 画素値 を 割 り 当 て れば よ い。

す な わ ち 、 あ る 単位縮小 ブ ロ ッ ク 領域 の 画素 内 挿 を す る 場合 、 自 己 及び 自 己 と 隣接す る 各 単位縮小 プ π ッ ク 領域 で あ る 周 囲 8 プ ロ ッ ク の 画素値 の 計 9 画素 分 の 画素値力 ^s 、 処理 に 必要 で ¾> る 。 し 力 し 、 マ ク Π ブ 口 ッ ク 内 に お け る 単位縮小 ブ 口 ッ ク 領域が 、 マ ク π ブ π ッ ク 境界部 に位置 し て レ、 る と 、 周 囲 8 ブ ロ ッ ク の い く つ か は 自 己 の所属外の マ ク π ブ■ ッ ク 所属 の ブ ロ ッ ク と な る こ と か ら 、 自 己 所属 マ ク 口 ブ π ッ ク 外の 画素ィ直 を 別途 、 も ら つ て く る 必要 力 S あ る 。 こ の 場合 は 、 図 の 矢 印 で示 さ れて い る よ う に 、 自 己 の 所属 マ ク ロ ブ ロ ッ ク 内 の 画素 に最 も 近 く の 画素 の 画素値 を そ れぞれ周 辺 ブ ロ ッ ク に割 り 当 て て そ れ ら の 画素 直 を便宜的 に 画素値 の 処理 に 必要 な 近隣の 単位縮小 ブ 口 ッ ク 領域 で の 画素 値 と し利用 すれば よ い。

な お 、 マ ク ロ ブ ロ ッ ク 毎 の サ イ ズ変換処理 は 、 そ の マ ク ロ ブ Γ2 ッ ク 内 で 閉 じ て い る 必要 は な く 、 図 2 9 に 示 さ れ る よ う に 、 該 ブ 口 ッ ク 近傍 の 再生値 （左 · 上 - 左 上 ' 右上 に 隣接す る プ ロ ッ ク 内 の 画素値） を用 レヽ る よ う に し て も 良 い o

こ の こ と を 具体的 に説明 す る 。

図 2 9 に お い て 、 実線方形枠 は あ る ブ ロ ッ ク （ マ ク π プ ロ ッ ク ） を 示 し 、 " X " 印 は倍率 1 倍の と き の 画 像 （標 準倍率画像） の 各画素 を 示 し て い る 。 マ ク ロ ブ ロ ッ ク は通 常 、 1 6 X 1 6 画 素構成 で あ り 、 フ レ ー ム を 1 ノ 2 に圧縮 し し 口 に ブ ロ ッ ク 内 の 画素 は 8 X 8 画素構成 に な り 、 先 の 1 6 X 1 6 画素構成 は そ れぞれ 9

2 X 2 画素分 の 画像 が 1 画素 で表現 さ れ る こ と に な る の で 、 こ の場合 の 2 X 2 画素分 の 画像 を 代表 点 の 情報 を 1 画素表現形式 に し て 表 し た の が 図 2 9 に お け る Ο " 印 で あ る 。 点線で示 し た枠 内 が 、 単位縮小 ブ 口 ソ ク 領域で あ っ て 、 標 準倍率画像 で の 4 画素構成 （ 2 X 2 ) の領域 を示 し て お り 、 1 / 2 縮小 の 場合 は こ の 点 線枠 内領域毎 に 1 画素 で表現 さ れ る 。

1 / 2 縮小画像 を 元 の 画像サ イ ズ に復元す る 場合 標準倍率画像 に復元す る 場合） 、 1 / 2 縮小画像 の 画素 の領域 は 4 画素構成 に 戻す が 、 そ れ を マ ク ロ ブ ッ ク 内 で 閉 じず に 内 揷 に よ り 行 う に は次 の よ う にす る

例 え ば、 図 2 9 に お い て 、 あ る マ ク ロ ブ ロ ッ ク の 、 あ る 単位縮小 ブ ロ ッ ク 領域 （点線枠 内領域） の 画素 1 や画素 2 を 内 揷 に よ り 再生す る 場合 を 考 え て み る 。 こ の 場合 、 そ の 処理時 点 で現存す る の は " o " 印 の 画素 小±報で あ る 。 従 っ て 、 内揷 し ょ う と す る 画素 1 や画素

2 の周 囲 に あ る 現存画素 （ c o d e d p i X e 1 )は画素 3 ， 4 ， 5 お よ び 6 で あ る 力ゝ ら 、 こ れ ら 画素 3 ， 4 ， 5 お ぶ び 6 を用 い て 双 一 次 内 挿 を 行 う 。 た だ し 、 "画素 3 " や "画素 4 " は 隣接 ブ ロ ッ ク （ 隣接す る マ ク ロ ブ α ッ ク ） に所属す る 画素 で 、 し か も 、 拡大前 の 画素

( 1 / 2 縮小画像 の 画素） で あ り 、 隣接 プ ロ ッ ク は 時 間 的 に 前の 時点 で処理 さ れ る 位置 に あ る プ ロ ッ ク で あ る の で 、 こ の マ ク ロ ブ ロ ッ ク の 拡大処理後 に は 、 不要 と な る デー タ で あ る 力 ら 、 メ モ リ リ ソ ー ス の 節約 の観 点 力 ら 、 既 に廃棄 さ れて し ま っ て レ、 る こ と 力 S あ る 。

そ の よ う な シ ス テ ム の 場合 に は 、 例 え ば、 "画素

3 " で 云 え ばそ の マ ク ロ ブ ロ ッ ク で の 内挿済 み で現存 す る 隣接画素 で あ る 画素 7 ， 8 ， 9 お よ び 1 0 の 平均 値 を 求 め て 、 前記廃棄 し て し ま っ た "画素 3 " の値 と す る の も 一つ の 方法 で あ る が 、 そ の 平均値 を 求 め る 演 算 を少 な く し た レヽ場合 に は 、 画素 7 ， 8 ， 9 お よ び 1 0 の 計 4 画素 の う ち 、 内 挿 し ょ う と す る 画素 1 ， 2 に 近い 、 画素 9 お よ び 1 0 の 平均値 を 、 廃棄 し て し ま つ た "画素 3 " の値 と し て 用 レ、 る よ う に し て も よ い。

ま た 、 画素 1 0 を そ の ま ま 流用 し て "画素 3 " の値 と す る よ う にす る と 、 さ ら に演算 を省 け る 。 "画素

4 " に つ い て も 、 同様 に 、 そ の 近 く の 画素値 で代用 す る 。 ま た 、 同様 な ケ ー ス で 、 "画素 1 1 ，， の 内 挿 に は 例 え ば、 "画素 1 2 " の代わ り に 画素 1 4 と 画素 1 5 の 平均値、 "画素 1 3 " の代わ り に 画素 1 6 、 画素 1 8 の代 わ り に 画素 1 7 を 用 い る 。

フ レ ー ム 画像 P f は通 常 、 オブ ジ ェ ク ト 部分 を 主体 と し た最小 の矩形範囲 、 例 え ば、 図 3 4 A に示 さ れ る 符 号化領域 （video obj ect plane ) C A 内 を ブ ロ ッ ク （マ ク ロ ブ ロ ッ ク ） に 分割 し て 符 号化す る た め 、 符 号化領域の 境界部 に位置す る プ ロ ッ ク で は 、 該 ブ 口 ッ ク の左 ' 上 ' 左 上 ' 右上 に 隣接す る ブ ロ ッ ク が 、 符 号 ィ匕領域 C A の外部 に位置す る こ と と な っ て し ま う 場合 が あ る 。

こ の 場合 、 図 2 9 の よ う に 、 ブ ロ ッ ク 近傍の 再生画 素値 （再生 し た画素 の値） を利用 す る 場合 で も 、 符 号 ィ匕領域 C A の外部 に位置す る マ ク ロ ブ 口 ッ ク で あ る 場 合 に は再生両素値 を 参 照せず に 、 図 3 3 の よ う に 自 己 所属 マ ク ロ ブ 口 ッ ク 内 の 画素 に最 も 近 く の 画素 のィ直 を 便宜的 に そ の プ ロ ッ ク に割 り 当 て て 用 レヽれば よ レヽ 。

更 に 、 誤 り の影響 を 受 け る 伝送路 でデー タ の授受 を 行 う 場合 に は 、 誤 り の影響 を 受 け難 く す る た め に 、 符 号化領域 C A よ り も 小 さ い 単位 （ こ れ を " 同 期 回復 単 位 （video packet ) " と 呼ぶ） で符 号化処理 を 閉 じ る 場合が あ る 。

こ れ に よ り 、 誤 り の影響 を こ の " 同 期 回復 単位 " で 断 ち 切 る こ と が 可能 と な り 、 誤 り の影響 を 受 け難 く な る 。 こ こ で 、 " 同 期 回復 単位 " と は 、 図 3 4 B に U n な る 符 号 を 付 し て 示 し た 点線で 囲 ま れ る 各領域 を指す " 同期 回復 単位 " は符 号化領域 C A を 小 さ く 区切 つ た 領域で あ る が 、 複数 の マ ク ロ ブ 口 ッ ク で構成 さ れ る こ と は変 わ り な い。

こ の 方式の場合 、 " 同 期 回復 単位 " 内 で符 号化処理 を 閉 じ る た め 、 あ る " 同 期 回 復 単位 " で使用 す る デー タ に伝送誤 り が あ る も の が含 ま れて レヽ た と し て も 、 そ の誤 り の あ る デー タ を 参照 し て 処理す る の は " 同 期 回 復単位 " 内 だ け で あ り 、 隣接 の " 同 期 回復 単位 " は誤 り の あ る デー タ を 参 照 し て 処理す る こ と は な い 力 ら 、 伝送誤 り が波及 し に く い 処理方式 と な る 。

こ の 場合 で も 、 図 2 9 の よ う に 、 該 プ ロ ッ ク 近傍 の 再生画素値 を利用 す る 際 に 、 該 ブ ロ ッ ク が含 ま れ る " 同 期 回復単位 " 以外の 同 期 回復 単位 に 属す る マ ク ロ ブ ロ ッ ク の 再生画素値 を 参 照せず に 、 図 3 3 の様 に マ ク ロ ブ 口 ッ ク 内 の 最 も 近 く の 画素値 を割 り 当 て る 。

上述 し た よ う な 、 "マ ク ロ ブ ロ ッ ク や 同 期 回復 単位 の 外側 を 参照す る か 、 し な レ、 か " は 、 符 号 に 切 り 換 え ビ ッ ト を 用 意 し 、 こ れ を 用 レ、 て 切 り 換 え る よ う にす る と 伝送エ ラ ー の頻度や 、 許容 さ れ る 演算 量 、 メ モ リ 量 な ど の様 々 な 状況 に 対応す る こ と が で き る 。

と こ ろ で 、 先 に述べた よ う に双一次 内揷 で は 、 周 囲 の 4 画素 の み を用 い て 処理 を行 っ て レ、 る 。 そ の た め 、 再生 さ れた画素 に よ る 画像 に は 、 特 に斜 め 方 向 の 不連 続性が発 生 し 、 視覚 的劣化 が 起 き 易 い傾 向 が避 け ら れ な い。 こ れ を 回避す る に は例 え ば 、 図 3 3 の 内 挿対象 画素 を 内挿す る 例 を 取 り 上 げて み る と 、 そ の 内 挿 の 際 に 、 双 一 次 内挿 の 参 照範囲 よ り も 広 い 拡大参 照範囲 に 含 ま れ る 画素 を用 い て 内 挿す る 。

す な わ ち 、 双一 次 内挿 （ bi-linear

interpolation )の 参 照範囲 よ り も 広 い 拡大参照範囲 に含 ま れ る 画素 を 用 い て 内 挿す る こ と で 、 よ り 広 い範 囲 の 画素 の傾 向 が反 映 さ れ る こ と に な り 、 不連続性 の 問題 が 回避 さ れ る 。 ま た 、 内 挿 に用 い る 画素 の 数 が " 4 画素 " の よ う に 偶数個 で あ る よ り も 、 " 9 画素 " の よ う に奇数個 の方が 、 多数決効果 が 得 ら れ 、 不連続 性 の 回避効果が よ り 一層 顕著 に得 ら れ る 場合 力 ^s あ る 。

図 2 6 B に 、 1 2 個 の 画素 を 用 い て 内 挿 を 行 う 例 を 示す。 先 に 図 2 6 A を 用 い て 説明 し た 実施例 の 表記 を 用 い る と 、 あ る マ ク ロ ブ ロ ッ ク の 1 / 2 縮小画像 に お け る マ ク ロ ブ 口 ッ ク 内 あ る 位置 で の 再生画素 を P 1 ， p 2 , p 3 , ρ 4 、 そ し て 、 そ れ ら の 直 （画素値） を I pi, I p2， I p3， I p4 と し た 場合 に 、 こ れ ら I 1 , I p 2 , I p 3 , I p4 は 、

pi : if ( 4 * I a + 2 * ( I b + I c + I d + I e + I f + I g + I h + I i + I + I k + 1 1 ) > 8 then " 1 " else " 0 "

p2 : if ( 4 * I b + 2 * ( I a + I c + I d + I e + I f + I g + I h + I i + I + I k + 1 1 ) > 8 then " 1 " else " 0 "

p3 : if ( 4 * I c + 2 * ( I b + I a + I d + I e + I f + I g + I h + I i + I j + I k + 1 1 ) > 8 then " 1 " else " 0 "

p4 : if ( 4 * I d + 2 * ( I b + I c + I a + I e + I f + I g + I h + I i + I j + I k + I 1 ) > 8 then " 1 " else " 0 "

で表せ る 。 た だ し 、 a は画素 A 、 b は画素 B 、 c は 画 素 C 、 d は画素 D 、 e は画素 E 、 f は画素 F 、 g は画 素 G 、 h は画素 H 、 i は画素 I 、 j は画素 J 、 k は画 素 K 、 1 は画素 L を 示す。 0 2 ま た 、 " 1 / 4 " サ イ ズの サ イ ズ変換処理 は 、 " 1 / 2 " サ イ ズ の サイ ズ変換処理 を 2 回施す こ と で実現 し て も 良 い

次 に 、 フ レ ー ム 単位 の サ ィ ズ変換処理 と の組み合 わ せ の 例 を 、 第 5 の 実施例 と し て 説明 す る 。

本発 明者 ら が 特願 平 8 — 2 3 7 0 5 3 号で 開 示 し た 技術 に は 、 フ レ 一 ム 単位 （実際 に はォブ ジ ェ ク ト を含 む方形領域 ) でサ ィ ズ変換 を 施す こ と で レ 一 ト 制御す る 実施例 と 、 プ 口 ッ ク の よ う な 小領域単位 で サ イ ズ変 換 を 施す こ と で レ 一 ト 制御す る 実施例 と を 提示 し て い る 。 ま た 、 上述 の 第 1 乃 至第 3 の 実施例 に は 、 さ ら に 具体的 な 小領域単位 で サイ ズ変換 を 施す こ と に よ り 、 レ ー ト 制御す る よ う に し た例 を示 し た。

こ こ に説明す る 本実施例 ^し レ ¹ て は 、 フ レ ー ム 単位 で の サ イ ズ変換処理 と 、 小領域単位 で の サ ィ ズ変換処 理 を組み合 わせ て使用 す る 例 を 示す も の で あ る 。

図 3 5 は 、 本実施例 の ァ ル フ ァ マ ッ プ符 号化装置 を 説明 す る 図 で あ る 。 こ の装置 は縮小 回 路 5 3 0 ， 5 2 1 , 5 2 6 、 2 値画像符 号化 回 路 5 2 2 、 拡大 回 路 5 2 3 , 5 4 0 、 動 き 補償予測 回 路 5 2 5 、 多重化 回 路

5 2 4 , 5 5 0 と よ り 構成 さ れ る

こ の よ う な構成 に お い て 、 ァ ル フ ァ マ ッ プ信 号入力 線 2 を 介 し て 供給 さ れ る 2 値化 さ れた ァ ノレ フ ァ マ ッ プ 画像 は 、 縮小 回 路 5 3 0 に お レ、 て サ イ ズ変換率 C R に 基づ レ、 て フ レ 一 ム 単位 に縮小 さ れ る 。 フ レ ー ム 単位 に 縮小 さ れた信 号 は 、 信 号線 ⁵ 0 2 を 介 し て ア ル フ ァ マ ッ プ符 号化 回 路 5 2 0 に供給 さ れ、 小領域 に 分割 さ れ た後 、 符 号化 さ れ る 。

こ こ で 、 ア ル フ ァ マ ッ プ符 号化 回 路 5 2 0 は 、 図 1 2 の ア ル フ ァ マ ッ プ符 号化 回 路 2 0 と 等価 で あ り 、 ァ ル フ ァ マ ッ プ符 号化 回 路 5 2 0 の構成要素 5 2 1 〜 5 2 6 は 、 そ れぞれ図 1 2 の ア ル フ ァ マ ッ プ符 号化 回 路 2 0 の構成要素 2 1 〜 2 6 と 同 じ機能 を 有す る の で 、 ア ル フ ァ マ ッ プ符 号化 回 路 5 2 0 の 説 明 は こ こ で は省 略す る 。 ま た 、 図 1 2 の ア ル フ ァ マ ッ プ符 号化 回 路 2 0 の構成 は 、 図 1 の ア ル フ ァ マ ッ プ符 号化 回 路 2 0 の 構成 を簡 略化 し て 表現 し た も の で あ る た め 、 ア ル フ ァ マ ッ プ符 号化 回 路 5 2 0 の構成 は 、 図 1 の ア ル フ ァ マ ッ プ符 号化 回 路 2 0 と 等価 な構成 で も 良 い。

ア ル フ ァ マ ッ プ符 号化 回 路 5 2 0 で符 号化 さ れた符 号化情報 に は 、 小領域毎 の サ イ ズ変換率 C R b が 多重 ィ匕 さ れて お り 、 信 号線 5 0 3 を 介 し て 多重化 回 路 5 5 0 に供給 さ れ、 フ レ ー ム 単位 の サ イ ズ変換率 C R の 符 号化情報 と 多重化 さ れ、 信 号線 3 を介 し て 出 力 さ れ る 。

ま た 、 ア ル フ ァ マ ッ プ符 号化 回 路 5 2 0 の 再生画像 は信 号線 5 0 4 を 介 し て 拡大 回 路 5 4 0 に供給 さ れ、 フ レ ー ム 単位 の サ イ ズ変換率 C R に 基づ い て 拡大 さ れ た後 、 信 号線 4 を 介 し て 出 力 さ れ る 。

図 3 6 は 、 本実施例 の 復 号化装置 を 説 明 す る 図 で あ る 。 こ の ア ル フ ァ マ ッ プ複 号化装置 は 、 分離化 回 路 6 5 0 ， 6 4 3 、 2 値画像復 号化 回 路 6 4 1 、 縮小 回 路

6 4 5 、 動 き 補償予測 回 路 6 4 4 、 拡大 回 路 6 4 2 ， 6 6 0 と 力 ら 構成 さ れて い る 。

こ の よ う な構成 に お い て 、 信 号線 8 を介 し て 供給 さ れ る 符 号化情報 は 、 分離化 回 路 6 5 0 で フ レ ー ム 単位 の サ イ ズ変換率 C R と 、 小領域単位 の符 号化情報 に分 離 さ れ る 。 小領域単位 の 符 号化情報 は 、 信 号線 6 0 8 を 介 し て ア ル フ ァ マ ッ プ復 号化 回 路 6 4 0 に供給 さ れ 、 小領域単位 の 再生信号が 信 号線 6 0 9 を 介 し て 拡大 回 路 6 6 0 に供給 さ れ る 。

ア ル フ ァ マ ッ プ複 号化 回 路 6 4 0 は 、 図 1 3 の ア ル フ ァ マ ッ プ復 号化 回 路 4 0 と 等価 な た め 、 こ こ で は説 明 を省略す る 。 ま た 、 図 1 3 の ア ル フ ァ マ ッ プ複 号化 回路 4 0 の構成 は 、 図 2 の ア ル フ ァ マ ッ プ復 号化 回 路 4 0 の構成 を簡略化 し て 表現 し た も の で あ る た め 、 ァ ル フ ァ マ ッ プ復号化 回 路 6 4 0 の構成 は 、 図 2 の ア ル フ ァ マ ッ プ複号化 回 路 4 0 と 等価 な構成 で も 良 い。

拡大 回 路 6 6 0 で は 、 フ レー ム 単位 の縮小率 C R の 情報 に 基づ い て 、 信 号線 6 0 9 を 介 し て 供給 さ れ る 再 生信号 を 拡大処理 し て 、 信 号線 9 よ り 出 力 さ せ る 。

こ の よ う に 、 こ こ で は ア ル フ ァ マ ッ プ信 号 を フ レ ー ム 単位 でサ イ ズ変換処理 し 、 かつ 、 小領域単位 でサ イ ズ変換処理す る よ う に し た。 こ の フ レー ム 単位 で の サ ィ ズ変換 と 、 小領域単位 で の サ イ ズ変換 と を組み合わ せ る こ と で 、 サ イ ズ変換率情報 の よ う な サ イ ド情報 が 削減 さ れ る た め 、 特 に 、 低 い符 号化 レ ー ト で符 号化す る 場合 に効果的 と な る

次 に フ レ— ム メ モ リ につ い て 、 触れて お く 。

図 3 5 お よ び図 3 6 に は 明 示 し て い な い が 、 符 号化 装置 と 復号化装置 に は いずれ も 再生画像 を 蓄積す る た め の フ レ ー ム メ モ リ が 必要 で あ る 。 図 3 7 は 、 フ レ 一 ム 毎 の解像度 の 例 を 表 し た 図 で あ る。 本発 明 で は 、 動 き 補償予測 を 用 い て い る た め 、 例 え ば、 時刻 n の フ レ ー ム を符 号化す る 際 に は 、 時刻 n 1 の フ レ ー ム の解 像度 を 時刻 n の フ レ一ム で の 解像度 （ こ の場合 、 サ ィ ズ変換率） に一 致 さ せ な け ればな ら な い で 、 フ レ 一 ム メ モ リ に 蓄積す る 再生画像が 、 ァ ル フ ァ マ ッ プ 符 号化 回 路 5 2 0 に よ つ て 図 3 7 に示 さ れ る よ う に フ レ ー ム 単位の解像度 （ こ の 例 の 場合、 時刻 n の フ レ 一 ム な ら ば C R = 1 / 2 ( 図 3 7 の ( a ) ) 、 時刻 n の フ レ ー ム な ら ば C R = 1 ( 図 3 7 の （ c ) ) で 蓄積 さ れ る 場合 と 、 元 の解像度 （時刻 に 関 わ ら ず 、 常 に サ イ ズ変換率 C R = 1 ) で さ れ る 場合 の 2 通 り が 考 え ら れ る 。

前者 に お い て は 、 フ レ ー ム メ モ リ は信 号線 5 0 4 お よ び信 号線 6 0 9 を 介 し て 供給 さ れ る フ レー ム 単位 の 解像度 の 再生画像 を 蓄積す る こ と に な り 、 後者 に お け る フ レ ー ム メ モ リ は 、 信号線 4 お よ び信 号線 9 を 介 し て 供給 さ れ る 元 の解像度 の 再生画像 を 蓄積す る こ と に な る 。 従 っ て 、 図 3 5 の 符 号化装置 お よ び図 3 6 の 復 号化 装置 に お い て フ レ ー ム メ モ リ を 明 示す る と 、 前者の フ レ ー ム メ モ リ （ こ れ を F M 1 (符 号化装置用 ） 、 F M 3 (復 号化装置用 ） と 表す こ と と す る ） の場合 は 、 図 3 8 お よ び図 3 9 の よ う に な り 、 後者 の フ レ ー ム メ モ リ （ こ れ を F M 2 (符 号化装置用 ） 、 F M 4 (復 号化 装置用 ） と 表す こ と と す る ） の場合 は 、 図 4 0 お よ び 図 4 1 の よ う に な る 。

つ ま り 、 図 3 8 の符 号化装置 は 、 サ イ ズ変換率 C R の 情報 と 拡大 回路 5 2 3 の 出 力 情報 を F M 1 な る フ レ ー ム メ モ リ に保持 し 、 こ の保持情報 を M C (動 き 補償 予測 回 路） 5 2 5 に 与 え る よ う に構成 さ れ、 図 3 9 の 復 号化装置 は 、 C R の 情報 と 拡大 回 路 6 4 2 力ゝ ら の 出 力 を F M 3 な る フ レ ー ム メ モ リ に保存 し 、 こ の保存 出 力 を 動 き 補償予測 回 路 6 4 4 に 与 え る よ う に構成 さ れ て レヽ る 。

ま た 、 図 4 0 の符 号化装置 は 、 サ イ ズ変換率 C R の 情報 と 拡大 回 路 5 4 0 の 出 力 情報 を F M 2 な る フ レ ー ム メ モ リ に保持 し 、 こ の保持情報 を M C (動 き 補償予 測 回路） 5 2 5 に 与 え る よ う に構成 さ れ、 図 4 1 の 復 号化装置 は 、 C R の 情報 と 拡大 回 路 6 6 0 か ら の 出 力 を保存 し 、 こ の保存 出 力 を動 き 補償予測 回 路 6 4 4 に 与 え る よ う に構成 さ れて い る 。

フ レ ー ム メ モ リ F M 1 ， F M 3 の 具体的 な 構成 は 、 図 4 2 A に示 さ れ、 フ レ ー ム メ モ リ F M 2 ， F M 4 の 具体的 な構成 は 、 図 4 2 B に示 さ れて レ、 る 。

フ レ ー ム メ モ リ F M 1 ， F M 3 は 、 図 4 2 A に示す よ う に 、 現 フ レ ー ム の 画像 を保存す る フ レ ー ム メ モ リ m i l と 、 こ の フ レ ー ム メ モ リ m i l の保持画像 を別 途与 ら れ る サ イ ズ変換率 （ size conversion ratio ) C R の 情報対応 に サ イ ズ変換処理 （ s i z e conversion process )す る ケ づ ス 変換回 路 ( size conversion circuit ) m 1 2 、 こ の サ イ ズ変換回 路 m 1 2 でサ イ ズ変換処理 さ れた 出 力 を保存す る フ レ ー ム メ モ リ m l 3 と 力 ら な り 、 ま た 、 フ レ ー ム メ モ リ F

M 2 , F M 4 は 、 図 4 2 B に示す よ う に 、 現 フ レ ー ム の 画像 を保存す る フ レ ー ム メ モ リ m 2 1 と 、 こ の フ レ ー ム メ モ リ m 2 1 の保持画像 を 、 別途与 え ら れ る サ イ ズ変換率 C R の 情報対応 に縮小処理す る 縮小 回 路 m 2 2 、 こ の縮小回 路 m 2 2 で縮小処理 さ れた 出 力 を保存 す る フ レ ー ム メ モ リ m l 2 と 力 ら な る 。

こ の よ う な構成 の フ レ ー ム メ モ リ に お け る 動作 を 説 明 す る 。

ま ず フ レ ー ム メ モ リ F M 1 ， F M 3 の 場合 、 こ れ ら に は信 号線 5 0 4 お よ び信号線 6 0 9 を 介 し て フ レ ー ム 単位 で そ の フ レ ー ム の 対応す る 解像度 の 再生画像 が 供給 さ れ、 現 フ レ ー ム 保存用 の フ レ ー ム メ モ リ m l 1 に 蓄積 さ れ る 。 フ レ ー ム メ モ リ m l 1 は 、 現 フ レ ー ム の 符 号化 （例 え ば 、 時刻 n ) が 終 了 し た 時点 で現 フ レ — ム の 再生画像 が 全て 蓄積 さ れて レ、 る 。 0 8 次 に 、 サ ィ ズ変換回 路 m 1 2 で は 、 時刻 n + 1 に お け る フ レ一ム の 符 号化 が 開 始 さ れ る 時点 で、 時刻 n に お け る フ レ — ム の 再生画像 を フ レ ー ム メ モ リ m l 1 力 ら SJCみ込 み 、 時刻 n + 1 に お け る フ レ ー ム の フ レ ー ム 単位で の サィ ズ変換率 C R と 一致す る よ う に 、 サ イ ズ 変換処理 （解像度変換） を 行 う

図 3 7 A〜 3 7 D の 例 に お い て 、 図 3 7 A に示す よ う に 時刻 n に お け る フ レ ー ム の サ イ ズ変換率 C R は

2 " で あ り 、 ま た 、 図 3 7 B に示す よ う に そ の 次 フ レ一ム で あ る 時刻 n + 1 に お け る フ レ ー ム の サ イ ズ変換率 C R は " 1 " で あ る の で 、 こ の 場合 、 サ イ ズ 変換回 路 m 1 2 で はサイ ズ変換率 C R を " 1 Z 2 " か ら " 1 " に変換す る 処理 を行 う こ と に な る 。

サ ィ ズ変換回路 m 1 2 で解像度変換 さ れた 時刻 n に お け る 再生画像 は 、 前 フ レ ー ム の フ レ ー ム メ モ リ m l 3 に 蓄積 さ れ、 時刻 n + 1 に お け る フ レ ー ム の 動 き 補 償予測 の 参照 画像 と な る

フ レ ― ム メ モ リ F M 2 , F M 4 の場合 、 こ れ ら に は 信号線 4 お よ び信号線 9 を 介 し て 元 の解像度 （ C R = 1 ) の 再生画像 が供給 さ れ、 現 フ レ ー ム の フ レ ー ム メ モ リ m 2 1 に 蓄積 さ れ る 。 フ レ ー ム メ モ リ m 2 1 に は 現 フ レ一ム の符号化 （例 え ば 、 時刻 n ) が 終 了 し た 時 点 で現 フ レ ー ム の 再生画像 が 全て 蓄積 さ れて レ、 る 。

次 に 、 縮小 回路 m 2 2 で は 、 時刻 n + 1 に お け る フ レ 一 ム の 符 号化 が 開 始 さ れ る 時点 で、 時刻 n に お け る 0 9 フ レ 一 ム の 再生画像 を フ レ ー ム メ モ リ m 2 1 か ら 銃 み 込 み 、 時刻 n + 1 に お け る フ レ ー ム の フ レ ー ム 単位 で の サ イ ズ変換率 C R と 一致す る よ う に 、 縮小処理 （解 像度変換） を行 う

フ レ ー ム メ モ リ m 2 1 に 蓄積 さ れ る 再生画像 は 常 に サ イ ズ変換率 C R = 1 で あ る の で、 図 3 7 A〜 3 7 D の例 で は 、 時刻 n + 1 に お け る サ イ ズ変換率 C R は で あ る カゝ ら 、 こ の 、 縮小 回 路 m 2 2 で は解 像度変換処理 を 行 わ な い 。 な お 、 図 3 7 A〜 3 7 D の 例 の場合 、 現 フ レ一ム が 時刻 η + 1 の 、 時刻 n + 2 に お け る フ レ ー ム の 解像度 は " 1 / 2 " で あ る カゝ ら 縮小 回 路 m 2 2 で はサ イ ズ変換率 C R を " 1 " ら

2 " にす る 解像度変換処理 を 行 う こ と に な る 。 縮小 回路 m 2 2 で 解像度変換 さ れた 時刻 n に お け る フ レ ー ム の 再生画像 は 、 前 フ レ — ム の フ レ ー ム メ モ リ m 3 3 に 蓄積 さ れ、 時刻 η + 1 に お け る フ レ一ム の 動 き 捕償予 測 の 参照画像 と な る 。

以 上、 フ レ ー ム メ モ リ F Μ 1 , F M 2 , F M 3 , F M 4 の 具体的 な構成 と 作用 を 述ベ た カ 、 フ レ ー ム メ モ リ F M 1 , F M 3 は、 信 号線 5 0 4 お よ び信 号線 6 0 9 を 介 し て 供給 さ れ る フ レ ー ム 単位 の解像度 の 再生画 像 が 蓄積 さ れ る こ と が 特徴で あ り 、 ま た 、 フ レ ー ム メ モ リ F M 2 , F M 4 は 、 信 号線 4 お よ び信 号線 9 を 介 し て 供給 さ れ る フ レ ー ム 単位 で の解像度 の 再生画像 が 蓄積 さ れ る こ と 力 S 特徴 で あ る た め 、 そ れぞれ、 他 に 種 々 の構成 が 考 え ら れ る 。

次 に 、 マ ク ロ ブ 口 ッ ク の 属性情報 （ m o d e

inf ormation )を 符 号化す る 方式の例 を 第 6 の 実施例 と し て 説明 す る 。 ま ず 、 特願平 8 — 2 3 7 0 5 3 号 に て 、 提案 し た方式の 説 明 を す る 。

図 4 3 A お よ び 4 3 B は 、 時刻 n と 時刻 n — 1 に お け る あ る マ ク ロ ブ 口 ッ ク の 属性情報 の 一例 を 表 し て い る 。 伹 し 、 こ こ で 云 う 属性情報 と は 、

" transparent" ( そ の マ ク 口 ブ ロ ッ ク の構成画素 全て が透明 ） 、 " opaque" ( そ の マ ク ロ ブ ロ ッ ク の 構成画素全て が 不透明 ） 、 " Mu 11 i " ( そ の マ ク ロ ブ 口 ッ ク の構成画素 は透 明 · 不透明 混在） と い っ た マ ク ロ ブ 口 ッ ク の 中 味 の 状態 を 示 し た情報 で あ る 。

例 え ば、 " transparent" を符 号 " 0 " で 、

" o aque" を符 号 " 3 " で 、 そ し て 、 " M u 1 t i " を 符 号 " 1 " で ラ ベル付 け し て 示 し た例 で あ る 。

フ レ ー ム に お け る オ ブ ジ ェ ク ト 部分 を含 む最小矩形 ( tightest rectangle area ) 〖こ 目 し 、 そ の 左 上 を 、 領域の境界部 に接す る よ う に 、 方形領域 を 設 定す る と 、 当 該設 定 し た方形領域 に含 ま れ る 各 マ ク 口 ブ ロ ッ ク の 属性情報 の 分布 （ ラ ベルの 分布） は 、 例 え ば、 図 4 3 A お よ び 4 3 B の よ う に な る 。

そ し て 、 図 4 3 A に示 し た 時刻 n の フ レ ー ム で の マ ク ロ ブ ロ ッ ク の構成画素属性情報の 分布例 と 、 図 4 3 B に示 し た 時亥 lj n — 1 の フ レ ー ム で の マ ク ロ プ ロ ッ ク の構成画素属性情報 の 分布例 の よ う に 、 時 間 的 に 近い フ レ一ム の ァ ノレ フ ァ マ ッ プ間 で は 、 非 常 に似 た ラ ベル 付 け が行わ れ る 。

従 つ て 、 こ の よ う な場合 に は 、 フ レ ー ム 間 に お レヽ て ラ ベル の 相 関 が 高 い た め 、 既 に符 号化済 みの フ レ ー ム の ラ ベ ノレ を禾 ϋ用 し て 、 現 フ レ ー ム の ラ ベ ル を 符 号化す る と で 、 大幅 に符 号化効率 が 改善 さ れ る こ と に な る ま た 、 一般 に 、 時刻 n の フ レ ー ム に お け る 符 号化領 域 （ ォプ ジ ク ト 部分 を 主体 と し た最小 の 矩形範囲 、 例 え ば、 図 3 4 A に示 さ れ る 符 号化領域 C A ) と 、 時 刻 n の フ レ ー ム に お け る 符 号化領域 の サ イ ズが 異 な る ·¾ 口 力 S ぁ る 。 こ の 場合 、 一例 と し て 、 図 4 4 A お よ び 4 4 B に示す手順 で 、 時刻 n — 1 の フ レ ー ム で の 符 号化領域サ イ ズ を 時刻 n の フ レ ー ム で の サ イ ズ に合 わせ る 。 例 え ば、 時刻 n の フ レ ー ム に お け る 符 号化領 域サ ィ ズが 、 時刻 n ― 1 の フ レ ー ム に お け る 符 号ィ匕領 域サ ィ ズ に比べ て行 が 1 行分長 く 、 列 が 1 列分短い場 合 は 、 図 4 4 A の よ う に 、 行 の短い 時刻 n — 1 の フ レ ― ム に け る 符 号化領域 に つ い て 、 そ の領域 内 右端 の

1 列分の マ ク ロ ブ ロ ッ ク 列 を カ ッ ト し 、 そ の 後 、 下部 の 1 行分 の マ ク ロ プ ロ ッ ク 列 を そ の 下 に コ ピー し て 行 を増やす 。 こ の 状態 が 図 4 5 B に示 さ れて い る 。

ま た 、 時刻 n — 1 の フ レ ー ム に お け る 符 号化領域サ ィ ズが 、 時刻 n の フ レ ー ム に お け る 符 号化領域サ イ ズ よ り 列 につ い て は 1 列分短 く 、 行 に つ い て は 1 行分長 い場合 は 、 符 号化領域 内 の 下端の 1 行分 の マ ク ロ ブ 口 ッ ク 列 を カ ッ ト し 、 そ の 後 、 そ の 符 号化領域 内 の右端 の 1 列分 の マ ク ロ ブ 口 ッ ク 列 を そ の 隣 り に コ ピ ー し て 1 列増やす。

サイ ズが 合わ な い と き は 、 こ の よ う に し て サ イ ズ を 合 わせ る 。 な お 、 サ イ ズ の 合 わせ方 は前記の 方 法 に 限 つ た も の で は な い。 最終的 に 、 図 4 4 B の様 に 、 時刻 n の フ レ ー ム で の サ イ ズ に 合 わせ ら れた 、 時刻 n — 1 の フ レ ー ム で の ラ ベ ル を 、 こ こ で は便 宜上 、 時亥 U n — 1 ' の ラ ベル と 表記 し て 以 下の 説 明 に用 い る こ と にす る 。

図 4 6 A は 、 時刻 n で の 上述 の マ ク ロ プ ロ ッ ク の 属 性情報 と 、 時刻 n _ 1 ' で の 上述 の マ ク ロ ブ ロ ッ ク の 属性情報 の 差分 、 つ ま り 各 マ ク 口 プ ロ ッ ク 位置 で の 各 ラ ベ ル の 差分 を 、 同 一位置 の も の 同 士 で と っ た結果 を 示 し て い る 。

こ こ で 、 " S " は " ラ ベル力 S —致 し て い る " こ と を 示 し 、 " D " は " ラ ベルが 不 一 致で あ る " こ と を 示す。

一方 、 図 4 6 B は 、 時刻 n で の 上述 の マ ク ロ ブ ロ ッ ク の 属性情報 に お け る 隣接画素位置 の ラ ベ ル の 差分 を と っ た結果 を示 し て レ、 る 。 こ こ で 、 左端 の ラ ベルは 、 1 ラ イ ン 上 の右端 の 画素位置 で の ラ ベル と の 差 を 取 り 、 左上端 の 画素位量で の ラ ベルは 、 " 0 " と の 差 を 取 る こ と に し て レ、 る 。 以後 、 便宜的 に 図 4 6 A を フ レ ー ム 間符 号化 、 図 4 6 B を フ レ ー ム 内 符 号化 i n t r a 3 r a m e coding ) と 呼ぶ ：: ： と にす る 。

図 4 6 A お よ び 4 6 B よ り 、 フ レ ー ム 間符 号化

( inter r r am e coding ) の 方が フ レ - - ム 内 符 号化 に 比べて " S ，， の割合 が 多 く 、 フ レ ー ム 間符 号化 の方 が 予測 が 当 た る た め 、 符 号量 の 削減 を 図 る こ と が で き る な お 、 フ レ ー ム 間 で の 相 関 が極端 に 小 さ い場合 、 フ レ ー ム 内 符 号化 に比べて 符 号化効率が低下す る お そ れ 力 S あ る 。 こ の 場合 は 、 1 ビ ッ ト の符 号で フ レ ー ム 内 符 号化 を行 Ό か 、 フ レ 一 ム 間符 号化 を行 う 力 を 切 り 換 え ら れ る よ う に し て お き 、 フ レ ー ム 内 符 号化 で符 号化 で さ る よ う にす る 。 当 然 の こ と な 力 S ら 、 最初 に符 号化す る フ レ ー ム は 、 参照す る ラ ベ ル が 無 い た め 、 フ レ ー ム 内符 号化 を仃 ぅ 。 こ の 際 、 フ レ ー ム 間 フ レ ー ム 内 を 切 り 換 え る 符 号 は必要 な い

幾種類 力 の 予測 の方法 を 切 り 替 え る 例 を 、 さ ら に 具 体的 に説明す る

上述 の例 で は 、 フ レ ー ム 間 の 相 関 が 小 さ い場合 に 、 フ レ ー ム 内符 号化 を 行 う 場合 を 示 し た。 し カゝ し 、 こ の 他 に も 、 例 え ば本発 明 を 画像伝送 に用 い る 場合 な ど で 伝送誤 り が 問題 と な る 時 に も 、 フ レ ー ム 内符 号化 は有 効 で あ る

例 え ば 、 伝送誤 り が発 生 し 、 前の フ レ ー ム が 正 し く 再生 さ れて い な い場合 に 、 フ レ ー ム 間符 号化 を用 レ、 る と 、 現 フ レ 一 ム も 正 し く 再生 さ れな い が 、 フ レ ー ム 内 符 号化 を 用 い る と 、 正 し く 再生す る こ と 力 S で き る 。 ま た 、 フ レ ー ム 内 符 号化 で あ っ て も 、 多 く の マ ク ロ ブ ロ ッ ク を 参照 し て レヽ る と 、 伝送誤 り に は弱 く な る 。 つ ま り 、 参 照す る マ ク ロ ブ ロ ッ ク を 多 く す る と 、 符 号 量 は少 な く で き る が 、 参照 し た マ ク ロ プ ロ ッ ク の 数が 多 く な れば、 そ れだ け伝送誤 り を含 ん だマ ク ロ プ ロ ッ ク を 参 照す る 可能性 が 高 く な り 、 そ の 参 照 し た マ ク ロ プ ロ ッ ク に含 ま れ る 誤 り が 取 り 込 ま れて 処理結果 に反 映 さ れて し ま う こ と に な る 力ゝ ら 、 伝送誤 り に は弱 く な る と 云 え 、 逆 に 参 照す る マ ク ロ ブ ロ ッ ク を 少 な く す る と 、 符号量 は多 く な る が 、 前記理 由 か ら 伝送誤 り に は 強 く な る と 云 え る 。

そ こ で 、 伝送誤 り に 強 く 、 符号量 も 少 な く す る 工夫 が 必要 な る 。 そ れ に は次 の よ う す る と 良 い。

一例 と し て 、 伝送誤 り に 強 く 、 符 号量 も 少 な く す る た め に は 、 幾つ か の 予測モ ー ド を 用 意 し て お き 、 そ れ ら を 切 り 替 え て用 レ、 る 方法 が 有効 で あ る 。

予測モ ー ド と し て は 、 例 え ば、

( A ) フ レ ー ム 間 符 号化モ ー ド

( B ) フ レ ー ム 内 符号化モ ー ド

( C ) 同 期 回復 単位 内 符 号化モ ー ド

( D ) 予測 な し の モ ー ド

力 あ る 。

こ こ で 、 " 同期 回 復 単位 " と は 、 既 に説 明 し た よ う に 、 オブ ジ ェ ク ト の 矩形領域 を さ ら に 分割 し た も の 、 す な わ ち 、 矩形の符 号化領域 C A を さ ら に所要 の マ ク ロ ブ 口 ッ ク 単位 で分割 し た も の を 意味 し 、 例 え ば 、 各 同 期 回復 単位 の 符 号量が 等 し く な る よ う に分割 し た り あ る い は 、 所定の 数 の マ ク ロ プ ロ ッ ク を ま と め て 同期 回復 単位 と し た り す る

" 同 期 回復 単位 内 符 号ィヒモ 一 ド " で は 、 参 照 プ 口 ッ ク （参照す る マ ク ロ ブ ロ ッ ク の こ と で 、 自 己 の所属 マ ク ロ ブ 口 ッ ク の 隣接マ ク ロ ブ ロ ッ ク ） 力 S 、 た と え フ レ

— ム 内 で あ っ て も 、 " 同 期 回復 単位 " の 外側 に あ る 場 合 は 、 参 照せず に 、 例 え ば予 め 定 め る ラ ベル を 予測値 と す る 。

こ れ に よ り 、 フ レ ー ム 内 で伝送誤 り が発 生 し た と し て も 、 そ れが 、 " 同 期 回復 単位 " の 外で あ れば、 そ の " 同期 回復 単位 " は正 し く 再生す る こ と 力 S で き る 。 ま た 、 予測 な し と は 、 他 の マ ク ロ ブ ロ ッ ク は全 く 参 照せず に 、 該マ ク ロ ブ ロ ッ ク の ラ ベノレ を符 号化す る も の で あ り 、 誤 り に は こ の モ ー ド が 最 も 強 い。

こ れ ら 複数種 の モ ー ド を 用 意 し て 、 誤 り が発 生す る 頻度 に よ っ て いずれか最適 な一つ を 選択切 り 替 え し て 使用 す る 。 そ し て 、 そ の切 り 替 え は 、 " 同 期 回復 単 位 " 毎 に行 っ て も 良 い し 、 フ レ ー ム 毎 に行 つ て も R レヽ し 、 シ ー ケ ン ス 毎 に行 つ て も 民 い。 ど の モ ー ド で符 号 ィ匕 さ れた か と レヽ ぅ 情報 は符 号化装置 か ら 復 号化装置 に 送 ら れ る よ う にす る 。

ま た 、 別 の モ ー ド と し て 、 符 号化 し ょ う と し て い る 対象 の領域の 、 フ レ ー ム 内 に お け る 占 有位置如 何 に よ つ て 、 符 号化テ ー ブル を 切 り 替 え る 方法 も あ る 。

す な わ ち 、 画像 は一般的 な傾 向 と し て 、 例 え ば、 図 1 8 の よ う に フ レ ー ム の 中 心部分 で は 、 ォブ ジ ヱ ク ト が 存在す る 確率が 高 く 、 フ レ ー ム の端で は ォブ ジ ェ ク ト が 存在 し な い確率 が 高 い。

こ の こ と に着 目 し て 、 フ レ ー ム の 端 に接す る マ ク ロ ブ ロ ッ ク で は " transparent" に短い符 号 を 割 り 当 て た テ ー ブル を用 い 、 そ れ以外の マ ク ロ ブ ロ ッ ク で は opaque I二短い符 号 を 割 り 当 て た テ ー ブル を 用 い る よ う にす る と 、 予測 を 用 い な く て も 、 符 号量 を 減 ら す こ と が で き る 。 こ れが 予測 な し モ ー ド で あ る 。

ま た 、 よ り 単純 に 、 複数の符 号化テ ー ブル を 用 意 し そ の符 号化テ一プル を 切 り 替 え て 用 レ、 る 方法 も あ る 。 こ れ の 切 り 替 え 情報 は 、 例 え ば、 " 同期 回復 単位 " 毎 あ る レヽ は 、 フ レ ー ム 毎 、 シ ー ケ ン ス 毎 に符 号化す る 。

図 4 7 A お よ び 4 7 B は 、 上述 し た処理 を 実現す る た め の 本実施例 の シ ス テ ム構成 を 示す ブ ロ ッ ク 図 で あ り 、 こ の ブ ロ ッ ク 図 を 参 照 し て 処理 の 流れ を 説 明 す る こ の 図 4 7 A お よ び 4 7 B の構成 に お い て 、 破線で 囲 ま れた部分 が 前述 し た 処理 を 実現す る 本実施例 に係 わ る 部分 で あ る 。 図 4 7 A は ア ル フ ァ マ ッ プ符 号化装 置 で あ り 、 ォブ ジ ェ ク ト 領域検 出 回路 3 1 0 、 ブ 口 ッ ク 化 回 路 3 1 1 、 ラ ベル付 け 回 路 3 1 2 、 プ ロ ッ ク 符 号化 回路 3 1 3 、 ラ ベル メ モ リ 3 1 4 、 サ イ ズ変 更 回 路 3 1 5 、 ラ ベル符 号化 回 路 3 1 6 、 多重化 回 路 （ M U X ) 3 1 7 と よ り 構成 さ れて い る 。

こ れ ら の う ち 、 オブ ジ ェ ク ト 領域検 出 回 路 3 1 0 は 入力 さ れた ア ル フ ァ マ ッ プ信 号 を 元 に 、 そ の ア ル フ ァ マ ッ プ信号 に お い て オブ ジ ェ ク ト を含 ん で い る 部分 に つ い て の方形領域 を 検 出 し て 、 そ の 方形領域 の サ イ ズ に 関す る 情報 と 共 に 当 該方形領域の ア ル フ ァ マ ッ プ信 号 を 出 力 す る 。 ブ ロ ッ ク ィヒ 回 路 3 1 1 は 、 こ の方形領 域 の ア ル フ ァ マ ッ プ信 号 を マ ク 口 プ ロ ッ ク イヒす る 回 路 で あ り 、 ラ ベル付 け 回 路 3 1 2 は 、 こ の マ ク ロ プ ロ ッ ク イ匕 さ れた ア ル フ ァ マ ッ プ信 号 につ レヽ て そ の ブ ロ ッ ク 毎 に 、 そ の マ ク ロ ブ 口 ッ ク で の ァ ノレ フ ァ マ ッ プ信 号 内 容 の 属性 ( transparent (透 明 の み） 、 Multi (透 明 と 不透明 の 混合） 、 opaque (不透明 の み） ） を 判 定 し 、 各属性 に対応す る ラ ベル （ " 0 " 、 " 1 " 、 " 3 " ) を割 り 当 て る 回 路 で あ る 。

ブ ロ ッ ク 符 号化 回 路 3 1 3 は 、 ラ ベル力 S " 1 " ( Multi) の 属性 の マ ク ロ ブ ロ ッ ク に つ レヽ て 、 そ の マ ク ロ ブ 口 ッ ク 内 の ア ル フ ァ マ ッ プ信 号 を符号ィ匕す る 回 路 で あ り 、 ラ ベル メ モ リ 3 1 4 は 、 ラ ベル付 け 回 路 3 1 2 よ り 供給 さ れ る ラ ベ ル情報 と ラ ベ ル メ モ リ 出 力線 3 0 2 を介 し て オブ ジ ェ ク ト 領域検 出 回 路 3 1 0 力 ら 与 え ら れ る 領域の サ イ ズ情報 を 蓄積す る と 共 に 、 こ の 蓄積 し た ラ ベル情報 と サ イ ズ情報 を 併せ て サ イ ズ変 更 回 路 3 1 5 に供給す る た め の メ モ リ で あ る 。

サイ ズ変更 回 路 3 1 5 は 、 ラ ベル メ モ リ 3 1 4 よ り 供給 さ れ る 、 時刻 n — 1 の フ レ ー ム の ラ ベ ル情報 と サ ィ ズ情報 と 、 オブ ジ ェ ク ト 領域検 出 回 路 3 1 0 か ら 与 え ら れ る 、 時刻 n の フ レ ー ム の サ イ ズ情報 と 力ゝ ら 、 時 刻 n — 1 の ラ ベル情報 を 時刻 n の サイ ズ に相 当 す る 様 に サイ ズ を 変吏す る 回 路 で あ り 、 ラ ベル符 号化 回 路 3 1 6 は 、 こ の サ イ ズ変 更 さ れた ラ ベル情報 を 予測値 と し て 、 ラ ベル付 け 回 路 3 1 2 よ り 供給 さ れ る ラ ベル情 報 を符号化す る 回 路 で あ る 。

ま た 、 多重化 回 路 3 1 7 は 、 ラ ベル符 号化 回 路 3 1 6 の得た符 号化情報 と 、 ブ ロ ッ ク 符 号化 回 路 3 1 3 よ り 供給 さ れ る 符 号化情報 と 、 オブ ジ ェ ク ト 領域検 出 回 路 3 1 0 カゝ ら 与 え ら れ る サ イ ズ情報 と を 多重化 し て 出 力 す る 回路 で あ る 。

こ の よ う な構成 の 符 号化装置 に お い て 、 信 号線 3 0 1 を介 し て 供給 さ れ る ア ル フ ァ マ ッ プ信号 は 、 ォプ ジ ェ ク ト 領域検 出 回 路 3 1 0 に 与 え ら れ、 こ の オ ブ ジ ェ ク ト 領域検 出 回 路 3 1 0 は 、 こ の ア ル フ ァ マ ッ プ信号 か ら ォブ ジ ェ ク ト を含 む方形領域 を 検 出 す る 。 こ の方 形領域の サ イ ズに 関す る 情報 は信 号線 3 0 2 を 介 し て 出 力 さ れ、 領域 内 部 の ア ル フ ァ マ ッ プ信 号 は 、 ブ ロ ッ ク 化 回路 3 1 1 に供給 さ れ る 。

ブ ロ ッ ク ィ匕 回路 3 1 1 は 、 こ の領域 内 部 の ア ル フ ァ マ ッ プ信号 にっ レヽ て マ ク ロ ブ 口 ッ ク 化す る 。 マ ク ロ ブ ロ ッ ク 化 さ れた ア ル フ ァ マ ッ プ信 号は ラ ベル付 け 回路 3 1 2 と ブ ロ ッ ク 符 号ィ匕 回路 3 1 3 に供給 さ れ る 。 19 ラ ベ ノレ 付 け 回 路 3 1 2 0 で は 、 マ ク ロ ブ ロ ッ ク 毎 の 属 性 ( t ransparent 、 Mult i 、 opaque ) を 判 定 し 、 各 属 性 に 対 応 す る ラ ベ ル （ " 0 " 、 " 1 ，， 、 " 3 " ) を 割 り 当 て る 。 こ の 割 り 当 て ら れ た ラ ベ ノレ 情 報 は 、 ブ ロ ッ ク 符 号 化 回 路 3 1 3 、 ラ ベ ル メ モ リ 3 1 4 お よ び ラ ベ ノレ 符 号 ィヒ 回 路 3

1 6 に 供 給 さ れ る 。

ブ ロ ッ ク 符 号ィ匕 回路 3 1 3 で は 、 ラ ベル " 1 " ( Mult i) の と き 、 マ ク ロ ブ ロ ッ ク 内 の ァ ノレ フ ァ マ ッ プ信号が 符 号化 さ れ、 そ の 符 号化情報 は 多重化 回 路 3 1 7 に供給 さ れ る 。 ラ ベル メ モ リ 3 1 4 に は 、 ラ ベル 付 け 回 路 3 1 2 よ り 供給 さ れ る ラ ベル情報 と ラ ベル メ モ リ 出 力線 3 0 2 を介す る 領域 の サ イ ズ情報 が 蓄積 さ れ、 ラ ベル情報 と サイ ズ情報 を 併せて ラ ベル メ モ リ 出 力線 3 0 3 よ り サ イ ズ変 更 回 路 3 1 5 へ と 供給 さ れ る サイ ズ変更 回 路 3 1 5 で は 、 ラ ベル メ モ リ 出 力線 3

0 3 を 介 し て供給 さ れ る 、 時刻 n — 1 の フ レ ー ム の ラ ベル情報 と サイ ズ情報 と 、 信 号線 3 0 2 を 介 し て 供給 さ れ る 時刻 n の サ イ ズ情報 と 力ゝ ら 、 時刻 n — 1 の ラ ベ ル情報 を 時刻 n の サイ ズ に相 当 す る 様 に サ イ ズ を 変 更 し た ラ ベル情報 を ラ ベル符 号化 回 路 3 1 6 に供給す る ， ラ ベル符 号化 回 路 3 1 6 で は 、 サ イ ズ変 更 回 路 3 1 5 よ り 供給 さ れ る ラ ベル情報 を 予測値 と し て 、 ラ ベル 付 け 回路 3 1 2 に供給 さ れ る ラ ベル情報 を 符 号化 し 、 そ の符 号化情報 は多重 回 路 3 1 7 に供給 さ れ る 。 多重 ィ匕 回 路 3 1 7 で は 、 ブ ロ ッ ク 符 号化 回 路 3 1 3 ラ ベ ル符 号化 回 路 3 1 3 と ラ ベ ル符 号化 回 路 3 1 6 よ り 供 給 さ れ る 符 号化情報 と 、 ラ ベ ル メ モ リ 出 力線 3 0 2 を 介 し て供給 さ れ る サ イ ズ情報 と を 多重化 し た 後 、 信 号 線 3 0 4 を介 し て 出 力 す る 。

以 上が符 号化装置 の構成 と 作用 で あ る 。 次 に 復 号化 装置 の構成 と 作用 を 説明 す る 。

図 4 7 B に示すア ル フ ァ マ ッ プ符 号化装置 は 、 分離 ィ匕 回 路 （ D M U X ) 3 2 0 、 ラ ベル復 号化 回 路 3 2 1 、 サ イ ズ変 更 回 路 3 2 2 、 ラ ベル メ モ リ 3 2 3 お よ びブ ロ ッ ク 復 号化 回 路 3 2 4 よ り 構成 さ れ る 。

こ れ ら の う ち 、 分離化 回 路 3 2 0 は 、 信号線 3 0 5 を介 し て 供給 さ れ る 符 号化情報 を 分離す る 回 路 で あ り 、 ラ ベル復 号化 回 路 3 2 1 は 、 サ イ ズ変更 回 路 3 2 2 よ り 供給 さ れ る 、 時刻 n — 1 の ラ ベル情報 の サ イ ズ を 変 更 し た情報 を 予測値 と し て 、 時刻 n の ラ ベル情報 を 再 生す る 回 路 で あ る 。

ま た 、 サイ ズ変 更 回 路 3 2 2 は 、 サ イ ズ変 更 回 路 3 1 5 と 同様の働 き をす る 回 路 で あ っ て 、 ラ ベル メ モ リ 3 2 3 よ り 供給 さ れ る 、 時刻 n — 1 の フ レ ー ム で の ラ ベル情報 と サイ ズ情報 と 、 分離化 回 路 3 2 0 か ら 分離 し て 与 え ら れ る 、 時刻 n の フ レ ー ム の サ イ ズ情報 と 力 ら 、 時刻 n — 1 の フ レ ー ム で の ラ ベ ル情報 を 時刻 n の サ イ ズ に相 当 す る 様 に サイ ズ を 変更す る 回 路 で あ り 、 ラ ベル メ モ リ 3 2 3 は 、 ラ ベル メ モ リ 3 1 4 と 同様 の 働 き をす る 回 路 で あ っ て 、 ラ ベル複 号化 回 路 3 2 1 よ り 復 号化 れて 供給 さ れ る ラ ベル情報 と 、 分離化 回 路

3 2 0 力、 ら 与 え ら れ る 領域 の サイ ズ情報 を 蓄積す る と 共 に 、 ^ ~ の 蓄積 し た ラ ベル情報 と サイ ズ情報 を 併せて サ ィ ズ変 更 回路 3 2 2 に供給す る た め の メ モ リ で あ る ま た 、 ブ ロ ッ ク 復 号化 回 路 3 2 4 は 、 ラ ベル復 号化 回 路 3 2 よ り 供給 さ れ る 、 再生 さ れた ラ ベル情報 に 従 つ て 、 ブ 口 ッ ク 毎 に ア ル フ ァ マ ッ プ信 号 を 再生す る 回 路 で あ る

_ の よ な構成 の 復 号化装置 の 作用 を 説 明 す る 。 分離化 回路 3 2 0 で は 、 信 号線 3 0 5 を 介 し て 供給 さ れ る 符 号化情報 を 分離 し て 、 ブ ロ ッ ク 復 号化 回 路 3

2 4 と ラ ぺル複号化 回 路 3 2 1 に供給す る と 共 に 、 信 号線 3 0 6 を介 し て サ イ ズ情報 を 出 力す る 。 ラ ベル復 号化 回 路 3 2 1 で は 、 サ ィ ズ変更 回 路 3 2 2 よ り 供給 さ れ る 時刻 n — 1 の フ レ ー ム で の ラ ベル情報 の サ イ ズ を 変 更 し た情報 を 予測値 と し て 、 時刻 n の フ レ 一 ム で の ラ ベ ノレ 報 を 再生す る 。

再生 さ れた ラ ベル情報 は ブ ロ ッ ク 復 号化 回 路 3 2 4 と ラ ベル メ モ リ 3 2 3 に供給 さ れ る 。 プ ロ ッ ク 復 号化 回 路 3 2 4 で は 、 ラ ベノレ復 号化 回路 3 2 1 よ り 供給 さ れ る 、 再生 さ れた ラ ベル情報 に従 っ て 、 ブ ロ ッ ク 毎 に ァ ル フ ァ マ ッ プ信 号 を 再生す る 。 な お 、 サ イ ズ変 更 回 路 3 2 2 はサ イ ズ変 更 回 路 3 1 5 と 、 ラ ベ /レ メ モ リ 3

2 3 は 、 ベル メ モ y 3 1 4 と 、 各 々 同 一 の 動作 を す る た め 、 こ で は詳 し く 説 明 し な い。 以 上 、 マ ク ロ ブ ロ ッ ク 単位 に し た ア ル フ ァ マ ッ プ を ラ ベル付 け し 、 既 に符 号ィヒ済 みの フ レ ー ム の マ ク ロ ブ ロ ッ ク の ラ ベノレ を利用 し て 、 現 フ レ ー ム の マ ク ロ プ ロ ッ ク の ラ ベル を符号化す る よ う に し た符 号化装置 と 復 号化 装置 の例 を説 明 し た。 時間 的 に 近い フ レ ー ム の ア ル フ ァ マ ッ プ間 で は 、 そ の マ ク ロ ブ ロ ッ ク は非常 に 似 た ラ ベル付 け が 行 われ る 。 従 っ て 、 こ の よ う な 場合 に は 、 フ レ ー ム 間 に お い て ラ ベルの 相 関 が 高 い た め 、 既 に符 号化済 みの フ レ ー ム の ラ ベル を利用 し て 、 現 フ レー ム の ラ ベル を 符 号化す る こ と で 、 大幅 に符 号化効 率 を 図 る こ と が で き る よ う に な る 。

と こ ろ で 、 こ の よ う な 先行技術 と し て の発 明 で は 、 フ レー ム 内 あ る レヽ は フ レ ー ム 間 に お レヽ て 隣接す る 1 ブ ロ ッ ク （ 1 マ ク ロ プ ロ ッ ク ） を 参 照 し て V L C ( 可変 長符 号化） テ ー ブル を 切 り 換 え て い た。 こ の 場合 、 フ レ ー ム 間相 関 が 高 い場合 に は 、 " フ レ ー ム 間 の 隣接 ブ ロ ッ ク " を 参照 し 、 フ レ ー ム 間相 関 が低 レヽ場合 に は 、 " フ レ ー ム 内 の 隣接 ブ ロ ッ ク " を 参 照 し て 、 V L C テ 一ブル を切 り 換 え て い た。 し か し 、 実際 の応用 で は 、 フ レ ー ム 間相 関 と フ レ ー ム 内相 関 両方 を利用 し た方 力 S 良 い場合が 多い。

そ こ で 、 あ る 画素位置 の モ ー ド を " M ( h 、 v 、 t ) " ( h 、 v 、 t は各 々 、 水 平 、 垂直 、 時 間方 向 の 座標軸 を 表す） と す る と 、 モ ー ド " M ( x 、 y 、 n ) " を 符 号化す る 際 に 、 例 え ば、 " M ( X — 1 、 y 、 n ) ，， 、 " M ( x 、 y — 1 、 n ) " 、 " M ( x 、 y 、 n — 1 ) " を 参照 し て V L C テ ー ブル を 選択す る こ と にす る 。 こ こ で 、 図 4 3 A お よ び 4 3 B の よ う に モ 一 ド の数が 3 通 り の場合 、 参 照 プ ロ ッ ク 数が 3 プ ロ ッ ク ( 3 マ ク ロ ブ ロ ッ ク ） な ら ば、 V L C テ ー ブルの 数 は

3 の 3 乗 （ = 2 7 ) 個 と な る 。 ま た 、 参 照 ブ ロ ッ ク 数 を こ れ以 上多 く す る こ と も 可能 で あ る （例 え ば、 " M ( X — 1 、 y — 1 、 n ) 、 M 、 x 、 y 、 n ― 2 ) ，， ） 。

こ の 場合 、 V L C テ ー ブルの 数 が 多 く な る だ け で な く 、 新た に追加す る 参照 ブ ロ ッ ク 間 と の ブ ロ ッ ク 間相 関 も 低下す る た め 、 参 照 ブ ロ ッ ク 数 を 増や し て も 符 号 ィ匕効率 は あ ま り 向 上 し な レ、 。 従 っ て 、 V L C テ ー ブル の数 と 、 符 号化効率 と の ト レ ー ドオ フ を 図 る 必要 が あ る 。

次 に 、 ブ ロ ッ ク の 属性情報 を符 号化す る 別方式の 実 施例 を説 明 す る 。

こ こ で は 、 前の フ レ ー ム の ラ ベル を 予測 に用 い て ブ 口 ッ ク の 属性情報 を符 号化す る 方式 を 説明 す る 。

図 4 8 は本発 明 の一実施例 と し て の 符 号化 回路 の ブ ロ ッ ク 図 で あ る 。 図 に示す よ う に 、 こ の 符 号化 回 路 は オブ ジ ェ ク ト 領域検 出 回路 7 0 2 、 ブ ロ ッ ク ィ匕 回 路 7 0 4 、 ラ ベル付 け 回 路 7 0 6 、 ラ ベル符 号化 回 路 7 0 8 、 ラ ベル メ モ リ 7 0 9 、 参照 ブ ロ ッ ク 決定回 路 7 1 0 、 予測 回 路 7 1 2 と 力 ら 構成 さ れ る 。 こ れ ら の う ち 、 オブ ジ ェ ク ト 領域検 出 回 路 7 0 2 は ア ル フ ァ マ ッ プ の 信 号 7 0 1 力ゝ ら ォブ ジ ェ ク ト を 含 む プ ロ ッ ク サ イ ズの倍数 で表 さ れ る 領域 を 符 号化領域 と し て設 定す る と 共 に 、 符 号化領域 の ア ル フ ァ マ ッ プ信 号 7 0 3 を 切 り 出 す 回 路 で あ り 、 ブ ロ ッ ク 化 回 路 7 0 4 は 、 こ の切 り 出 さ れた ア ル フ ァ マ ッ プ信号 7 0 3 を 1 6 X 1 6 画素構成 の ブ ロ ッ ク 単位 （ マ ク ロ ブ ロ ッ ク 単位） に 分割 （ ブ ロ ッ ク ィ匕） し て 出 力 す る も の で あ り ラ ベル付 け 回 路 7 0 6 は 、 ブ ロ ッ ク 化 さ れた ア ル フ ァ マ ッ プ信 号 7 0 5 に つ い て 、 オ ブ ジ ェ ク ト の含 み具合 に応 じ た所定の ラ ベル を付与 し 、 ラ ベル情報 7 0 7 と し て 出 力 す る も の で あ る 。

ラ ベ ル符号化 回 路 7 0 8 は 、 与 え ら れ る 予測値 7 1 4 に よ っ て符 号化テ ー ブル を 切 り 替 え て ラ ベル情報 7 0 7 を符 号ィヒ し 、 出 力 す る も の で あ り 、 ラ ベル メ モ リ 7 0 9 は 、 ラ ベル付 け 回 路 7 0 6 に よ っ て プ ロ ッ ク 毎 に付与 さ れた前記 の ラ ベル情報 7 0 7 を 記憶す る も の で あ り 、 参 照 ブ ロ ッ ク 決定回 路 7 1 0 は 、 前 フ レ ー ム に お い て 符 号化 プ ロ ッ ク と 同 じ位置 に あ る プ ロ ッ ク を 参 照 ブ ロ ッ ク 7 1 1 と し て 決定す る と い つ た処理 を 行 う も の で あ り 、 予測 回 路 7 1 2 は ラ ベル メ モ リ 7 0 9 に保持 さ れて い る 前 フ レ ー ム の ラ ベル 7 1 3 を 参 照 し . 参照 ブ ロ ッ ク 7 1 1 の位置 の ラ ベル を 予測 し て こ れ を 予測値 7 1 4 と し て ラ ベ ル符 号化 回 路 7 0 8 に 送 る も の で あ る 。 こ の よ う な構成 の符 号化装置 に お い て 、 ア ル フ ァ マ ッ プの 信 号 7 0 1 は 、 ォブ ジ ヱ ク ト 領域検 出 回 路 7 0 2 に入力 さ れ る 。 オブ ジ ェ ク ト 領域検 出 回路 7 0 2 で は 、 オブ ジ ェ ク ト を 含む 、 プ ロ ッ ク サ イ ズ の倍数で表 さ れ る 領域が符 号化領域 と し て 設 定 さ れ、 符 号化領域 で切 り 出 さ れた ア ル フ ァ マ ッ プ 7 0 3 力 S プ ロ ッ ク イ匕 回 路 7 0 4 に 送 ら れ る 。 ブ ロ ッ ク 化 回 路 7 0 4 で は 、 ァ ル フ ァ マ ッ プ 7 0 3 力 S 1 6 X 1 6 画素構成 の ブ ロ ッ ク 単位 （ マ ク ロ ブ ロ ッ ク 単位） に 分割 さ れ、 ブ ロ ッ ク ィ匕 さ れた ァ ノレ フ ァ マ ッ プ 7 0 5 は 、 ラ ベル付 け 回 路 7 0

6 に 送 ら れ る 。 ラ ベル付 け 回 路 7 0 6 で は 、 例 え ば、 . プ ロ ッ ク 内 に オブ ジ ェ ク ト が含 ま れ な い ： " ラ ベル 。 "

• ブ ロ ッ ク 内 の 一 部 に オブ ジ ェ ク ト が 含 ま れ る ： " ラ ベル 1 "

• ブ ロ ッ ク 内 の 全て が オ ブ ジ ェ ク ト で あ る ： " ラ ベ ノレ 3 "

と い っ た ラ ベ ル情報 7 0 7 ( モ ー ド情報） が ブ ロ ッ ク 毎 に付与 さ れ る 。 ラ ベ ル情報 7 0 7 は ラ ベ ル符 号化 回 路 7 0 8 に 送 ら れ、 ま た ラ ベル メ モ リ 7 0 9 に 記憶 さ れ る 。 こ の ラ ベル メ モ リ 7 0 9 に は そ れま で に符 号化 さ れた ラ ベルが 記憶 さ れて い る 。

一方 、 参照 ブ ロ ッ ク 決定回 路 7 1 0 で は 、 例 え ば前 フ レ ー ム に お レヽ て 符 号化 プ ロ ッ ク と 同 じ位置 に あ る ブ ロ ッ ク 力； 参照 ブ ロ ッ ク 7 1 1 と し て 決定 さ れ 、 予測 回 路 7 1 2 に送 ら れ る 。 予測 回 路 7 1 2 に は 、 ラ ベル メ モ リ 7 0 9 力 ら 前 フ レ ー ム の ラ ベル 7 1 3 も 入力 さ れ， そ の う ち の 参照 ブ ロ ッ ク 7 1 1 の位置 の ラ ベルが 予測 値 7 1 4 と し て ラ ベル符 号化 回路 7 0 8 に 送 ら れ る 。 ラ ベル符 号化 回 路 7 0 8 で は 、 予測値 7 1 4 に よ っ て 符 号化 テ ー ブル を 切 り 替 え て ラ ベル情報 7 0 7 を 符 号 化 し 、 符号 7 1 5 力 S 出 力 さ れ る 。

こ こ で 、 符 号化領域 が 常 に フ レ ー ム と 等 し レ、 時 は 、 参照 ブ ロ ッ ク は一つ に 決 ま る 。 し カゝ し 、 符 号化領域 力 S フ レ ー ム よ り も 小 さ く 、 力、つ 、 前 フ レ ー ム と 現 フ レ ー ム で そ の 符 号化額域 の位置 が 異 な る 場合 は 、 フ レ ー ム の 角 を原点 と す る 座標軸 を用 い る か 、 符 号化領域 の 角 を原点 と す る 座標軸 を 用 い る かで参 照 ブ ロ ッ ク は異 な つ て く る 。

こ の座標軸 の 取 り 扱い に つ い て 詳 し く 説明 す る 。

図 4 9 A お よ び 4 9 B は 、 時刻 n _ 1 と 時刻 n に お け る フ レー ム 画像 F n - 1 ， F n と そ れぞれの フ レ ー ム F n - 1 ， F n に お け る 符 号化領域 C A の 各 マ ク ロ プ ロ ッ ク の モ ー ド情報 M D の例 で あ る 。

先 の 特願平 8 — 2 3 7 0 5 3 号で は 、 一例 と し て 、 現 フ レ ー ム （ 時刻 n ) 内 の符号化領域 の 原点 V c 0 と 、 前 フ レ ー ム （時刻 n — 1 ) 内 の 符 号化領域 の 原点 V p 0 を 一致 さ せて 、 該 ブ ロ ッ ク の モ ー ド情報 を 符 号化す る 際 に参 照 と す る プ ロ ッ ク を 決定す る 実施例 を 提示 し た。 こ れは 、 符 号化領域 の座標軸 に 基づ い て プ ロ ッ ク の 対応付 け を 行 う も の で あ る 。

こ の場合 、 図 5 O A の よ う に 、 前 フ レ ー ム の 符 号化 領域の右端 あ る い は 下端 を " cut" ま た は " no update" す る こ と で 、 現 フ レー ム の 符 号化領域の サ ィ ズ に 一致 さ せて い る 。

図 4 9 A お よ び 4 9 B の 例 で は 、 符 号化領域の左端 お よ び上端が 変化 し て レ、 る 。 こ の よ う な 場合 、 現 フ レ ー ム の モ ー ド情報 に 対応す る ブ ロ ッ ク は 、 図 5 0 A お よ び 5 0 B に示 さ れ る よ う に斜線部 の プ ロ ッ ク （ 2 1 個） が ー致 し て い な い た め 、 こ の値 を用 い て 符 号化す る と 符 号化効率が 低下す る 恐れが あ る 。

図 4 9 A お よ び 4 9 B の よ う な例 で は 、 現 フ レー ム の原点 F c 0 と 前 フ レ ー ム の 原点 F p 0 を 一致 さ せ て フ レ ー ム の座標軸 上 で最 も 近い プ ロ ッ ク 位置 の プ ロ ッ ク を 参照 プ ロ ッ ク と し た方 力 よ レ、。

フ レ ー ム の座標軸 に 基づ い て 参 照 プ ロ ッ ク を 求 め る と ブ ロ ッ ク は図 5 0 B の様 に な る 。 つ ま り 、 図 4 9 A お よ び 4 9 B の例 で は 、 左端 と 上端 で変化 が あ る た め 図 5 0 B の よ う に左端 と 上端 を " cut" ま た は " no update" す る こ と で 、 現 フ レ ー ム の符 号化領域の サ ィ ズ に 一致 さ せ る こ と に な る 。 こ の 場合 、 現 フ レ ー ム の モ ー ド情報 に対応す る ブ ロ ッ ク は 、 図 5 0 B に示 さ れ る よ う に 、 一致 し て い な レ、 ブ ロ ッ ク は 、 斜線部 の ブ ロ ッ ク （ 3 個 ） だ け に な る 。

即 ち 、 状況 に応 じ て 前 フ レ ー ム の ラ ベル を 、 符 号化 領域 の座標軸 に 基づ い て 変 更 す る か 、 フ レ ー ム の 座標 軸 に 基づ レ、 て 変更す る か を 切 り 替 え る こ と に よ り 、 符 号化効率 の 改善が 図 れ る 。 座標軸 の 決定法 は 、 符 号化 装置側 で最適 な方 を 選択 し て 切 り 替 え 情報 を 送っ て も 良 い し 、 符 号化装置 と 複 号化装置 と で共 に既知 の 情報 を 用 レヽ て 決定 し て も よ い。

図 4 5 A お よ び 4 5 B は 、 符 号化領域の座標軸 を 用 レヽ た方 が 良 い例 で あ る 。 こ の 例 は カ メ ラ を右方 向 に振 つ た場合 の よ う に 、 図 4 5 A の フ レ ー ム F n- 1 力 ら 図 4 5 B の フ レ ー ム F n の よ う に フ レ ー ム ；^ 大 き く 移 り 変 わ っ た こ と を示 し て レ、 る 。 こ の 例 の 場合 、 図 力 ら 明 ら か な よ う に 、 フ レ ー ム 内 で の符 号化領域 の位置 が 大 き く ずれて い る た め 、 フ レ ー ム の座標軸 に 基づい て 参照 プ ロ ッ ク を決定す る の は得策 で は な い。

即 ち 、 現 フ レ ー ム （時刻 n 時点 の フ レ ー ム F n ) と 前 フ レ ー ム （ 時刻 n — 1 時点 の フ レ ー ム F n- 1 ) と で フ レ ー ム 内 で の 符 号化領域 C A の位置 が 大 き く ずれ て レ、 る 場合 に は符 号化領域 の座標軸 を用 い た方 が よ く フ レ ー ム 内 で の符 号化領域の位置 が あ ま り ずれて い な い場合 に は フ レ ー ム の座標 軸 を 用 い た方 力 S よ レヽ 。

現 フ レ ー ム F n と 前 フ レ 一 ム F n-1 と で フ レ ー ム 内 で の符 号化領域の位置 が 大 き く ずれで い る か否か は フ レ ー ム 内 に お け る 符 号化領域 の位置 を表す情報 （ベ ク ト ル ） prev_ref scurr_ref と 符 号化領域 の 大 き さ カゝ ら 判 断で き る 。 す な わ ち 、 ア ル フ ァ マ ッ プ を 併用 す る 動 画像符 号化 装置 に お け る 符 号化デー タ 構成 は規格 に よ り 図 5 1 に 示す よ う に な る 。 す な わ ち 、 符 号化デー タ は符 号化領 域の レイ ヤ 、 マ ク ロ ブ ロ ッ ク M B の レイ ヤ 、 2 ィ直开 状 の レイ ヤ を含 み、 符 号化領域 の レイ ヤ は符 号化領域サ ィ ズ情報 、 符号化領域位置情報 、 符 号化領域サ イ ズ変 換率情報 な ど を含 む。 M B の レ イ ヤ は 、 2 値形状情報 ， texture M V 情報 、 多値形状情報 、 t e x t u r e 情報 力 ら な り 、 2 値形状情報 はモ ー ド情報 、 動 き べ ク ト ル情 報 、 サ イ ズ変換率情報 、 ス キ ャ ン方 向 情報 、 2 値符 号 化情報 を含む。

こ れ ら の う ち 、 符 号化領域サ イ ズ情報 は符 号化領域 の サ イ ズ （縦横の 大 き さ ） を 表す情報 を 指 し 、 符 号化 領域位置情報 は符 号化領域 の位置 （ V p 0、 V c 0 の位 置） を表す情報 を 指 し 、 符 号化領域サ イ ズ変換率情報 は符 号化領域単位 で の 2 値画像 の サ イ ズ変換率 （ C R ) 情報 を指す。

ま た 、 M B 符 号化情報 は M B 内 の オブ ジ ェ ク ト を 再 生す る た め の 情報 を 指す。 M B の レイ ヤ に お け る 2 値 形状情報 は M B 内 の 各 画素 が オ ブ ジ ェ ク ト 内 部 か否 か を 表す情報 を指 し 、 texture M V 情報 は M B 内 の輝 度信 号や色差信 号 を 動 き 捕償予測す る た め の 動 き べ ク ト ル情報 を指 し 、 多値形状情報 は ォブ ジ ク ト を 他 の ォブ ジ ェ ク ト と 合成す る 際 の 重みづ け （weighting ) 情報 を 指 し 、 t e X t u r e 情報 は M B 内 の輝度信 号や色 30 差信号の 符 号化情報 を 指す。

ま た 、 2 値形状 の レ イ ヤ に お け る モ 一 ド情報 は M B 内 の 2 値画像 の 属性 を 表す情報 を 指 し 、 動 き べ ク ト ル 情報 は M B 内 の 2 値の 画像 を 動 き 補償予測す る た め の 動 き べ ク ト ル情報 を指 し 、 サ イ ズ変換率情報 は M B 単 位 で の 2 値画像の サ イ ズ変換率 （ C R ) 情報 を 指 し 、 ス キ ヤ ン方 向 情報 は符 号化 の順序 が 水 平方 向 か垂直方 向 か を 示す情報 を 指 し 、 2 値符 号化情報 は 2 値画像 の 符 号化情報 を指す。

符 号化領域の位置 （ V p 0、 V _C 0 の位置） を 表す情 報 は 、 符 号化領域位置情報 に納 め ら れて お り 、 従 っ て こ の 情報 を 用 い る こ と で符 号化領域の位置 （ V p 0、 V c O の位置） を 知 る こ と が で き る 。 こ の 情報 を用 い て フ レ ー ム F n- 1 と フ レ ー ム F n を 比較す る 。 こ の 比較 は フ レー ム の ホ ー ム ポ ジ シ ョ ン か ら 符 号化領域 の ホ ー ム ポ ジ シ ョ ン位置 ま で の べ ク ト ル を そ れぞれ求 め て こ の べ ク ト ノレ に よ っ て 行 う 。

そ の 結果 、 例 え ば、 図 4 5 A お よ び 4 5 B の様 に " rev ref と curr r e f " の 差力 大 き く 、 現 フ レ ー ム と 前 フ レ ー ム と で符 号化領域 の 大 き さ が ほ と ん ど変 化 が な い場合 に は 、 符 号化領域 の座標軸 に 基づ い て た 方 良 レヽ こ と が 分 力、 る 。 こ こ で 、 " prev— ref と curr_ref " お よ び符 号化領域 の 大 き さ の 情報 は 、 符 号化領域 の符号化 に先 立 っ て 符 号化 さ れて お り 、 復 号 装置側 で も 既知 の 情報 で あ る た め 、 ど ち ら の座標 軸 を 用 い た か を識別す る 付加情報 は必要 な い。

ま た 、 図 5 2 A に示す よ う に フ レ ー ム 7 3 0 の 一部 分 と し て 符 号化領域 7 3 1 が 設定 さ れた場合 、 符 号化 領域 7 3 1 の 外側 は ラ ベルが 決 ま ら な レ、 。 し 力、 し 、 次 の フ レ ー ム の符 号化 の 際 に は 、 符 号化領域 7 3 1 の外 側 が 参 照 ブ ロ ッ ク と な る 事 が あ る の で 、 何 ら か の ラ ベ ル を 挿入 し て お く 必要 が あ る 。

図 5 2 D は 、 図 5 2 A に お け る ラ ベル未定の 部 分 に 所定の値、 こ の 場合 は " 0 " を 挿入 し た例 で あ る 。 図 5 2 C は 、 図 5 2 A に お け る ラ ベル未 定部分 につ い て 、 符 号化領域か ら 外揷 し た例 で あ り 、 こ れは 、 ォプ ジ ェ タ ト の 動 き が 大 き 力、 つ た り 、 形状 が激 し く 変化す る な ど し て 、 前 フ レ ー ム で はォブ ジ ェ ク ト 力 無 力ゝ つ た 部分 に次 の フ レ ー ム で は オブ ジ ェ ク ト が 現れ る 確率 が 高 い 場合 に 有効 で あ る 。

図 5 2 B は 、 図 5 2 A の ラ ベル未定部分 に つ い て 、 ラ ベル メ モ リ 7 0 9 の メ モ リ 空間 の う ち 、 次 の フ レー ム の 符 号化領域 7 3 2 の 部分 だ け を 外挿 し 、 そ の他の 部 分 は上書 き し な レ、例 で あ り 、 こ の よ う に す る と 、 2 フ レ ー ム 以 上前 の フ レー ム の ラ ベル を 予測 に 用 レ、 る こ と 力 S で き る 。

以 前 の フ レ ー ム の ラ ベル を 予測 に用 い た い場合 は 、 他 に 、 例 え ば外挿や所定値の 挿入 は全 く 行 わず に 、 メ モ リ 空間 の う ち 、 符 号化領域 だ け を 更新 し て い く 方法 も あ る 。 次 に 、 図 3 7 A な レヽ し 3 7 D を 用 レ、 て 説 明 し た 、 フ レ ー ム の サ イ ズ変換率 （ C R ) が フ レ ー ム 毎 に切 り 替 わ る 場合 の ラ ベ ル の 予測方法 に つ い て 説 明 す る 。

図 5 3 は 、 縮小処理 の例 で あ っ て 、 前 フ レ ー ム 力 S " C R = 1 " で現 フ レ ー ム カ S " C R = 1 / 2 " の 例 で あ り 、 こ の 場合 、 縮小 し て 得 よ う と す る 現 フ レ ー ム の 対象 ブ ロ ッ ク で あ る 例 え ばマ ク ロ ブ ロ ッ ク M B 1 に 対 応す る 前 フ レ一ム の ブ 口 ッ ク は 、 図 に 示 し た よ う に 、 M B 2 〜 M B 5 の 4 つ あ る （ 図 5 4 参 照 ） 。 つ ま り 、 前 フ レ — ム の マ ク π ブ π ッ ク M B 2 , M B 3 , M B 4 M B 5 が縮小後 の マ ク 口 ブ ロ ッ ク M B 1 に な る 。

今 、 現 フ レ — ム の マ ク ロ ブ ロ ッ ク M B 1 の ァ ド レ ス を （ X ， y ) と す る と 、 前 フ レ ー ム の ブ ロ ッ ク M B 2

〜 M B 5 の ァ ド レ ス は （ 2 X , 2 y に ( 2 + 1 , 2 y ) 、 ( 2 X , 2 y + 1 ) 、 （ 2 x + l 、 2 y + 1 ) で得 ら れ る 。

で の係数 " 2 " は 、 前 フ レ ー ム と 現 フ レ ー ム の サイ ズ変換率 C R の値の 比 と し て 与 え ら れ る 。

プ 口 ッ ク M B 1 の ラ ベル の 符 号化 の 予測 に は 、 ブ ロ ッ ク M B 2 、 M B 3 、 M B 4 、 M B 5 の いずれ力 の ラ ベ ノレ 用 い る の が 適 当 で あ る が 、 そ の 決 め 方 に は い く つ か方法が あ る 。

ま ず 、 最 も 簡 単 で演算 量 が 少 な レヽ の は 、 4 つ の う ち の 所定の位置 (例 え ば左 上） に あ る ブ ロ ッ ク の ラ ベノレ を 用 い る 方法 で あ る 。 あ る レ、 は 、 4 つ の ラ ベル に 同 じ も の が あ る 時 は 、 そ の 数が 最 も 多 い ラ ベ ル を 予測値 と し て 用 い る よ う にすれば、 予測 力 S 当 た る 確率 は 高 く な る 。

同 じ 内 容 を 持つ ラ ベ ル の 数が 等 し い場合 、 つ ま り 、 二組ずつ に分 かれて し ま っ た場合 に は 、 出 現頻度 が 高 い順 に 予 め ラ ベル に順序 を 付 け て お き 、 そ の順序 で 上 位 の ラ ベ ル を 予測値 と し て 選択す る 。 フ レ ー ム 内 に矩 形 の 符 号化領域 C A を 設 定す る 場合 、 符 号化領域 C A の 角 を 原 点 と す る 座標軸 を 用 レ、 る と 、 図 5 4 の よ う に 現 フ レ ー ム の ブ ロ ッ ク （符 号化対象 の マ ク ロ ブ ロ ッ ク ） の 境界 は参 照 フ レ ー ム の マ ク ロ ブ 口 ッ ク の 境界 に 重 な る

し か し 、 符 号化対象 の領域 はマ ク ロ ブ 口 ッ ク の 幅 よ り も 小 さ な ス テ ッ プ で位置設 定可能 と し 、 フ レ ー ム の 角 を原 点 と す る 座標軸 を 用 い る と 、 図 5 5 の よ う に 、 一般 に ブ ロ ッ ク の 境界 は重 な ら ず 、 M B 6 〜 M B 1 4 の 計 9 つ の マ ク ロ ブ 口 ッ ク カ S 参 照 さ れ る 。

こ の場合は 、 全体 が 参照 さ れ て い る マ ク ロ ブ 口 ッ ク M B 1 0 の ラ ベル を 用 い る 。

図 5 6 は 、 前 フ レ ー ム が サ イ ズ変換率 C R = 1 / 2 で 現 フ レ ー ム が サ イ ズ変換率 C R = 1 の 例 で あ り 、 こ の 場合 、 マ ク ロ ブ ロ ッ ク M B 1 9 は縮小 フ レ ー ム 中 の マ ク ロ ブ ロ ッ ク M B 1 5 の右 下 の 部分 を 参 照す る こ と に な る 。 こ の 時 は 、 プ ロ ッ ク M B 1 5 の ラ ベル を 予測 値 と す る 力 あ る レ、 は 、 参 照 部分 ブ ロ ッ ク M B 1 6 〜 M B 1 8 と も 近 レヽ こ と 力 ら 、 こ れ ら の プ ロ ッ ク の ラ ベル を 考慮 に入れて 、 例 え ば前述 し た よ う に 多数決 な ど で予測値 を 決 め て も よ い。

図 5 7 に ラ ベル を 予測 に用 レヽ る よ う に し た本発 明 の 復 号化装置 の構成例 を ブ ロ ッ ク 図 で示す。

こ の複 号化装置 は 、 ラ ベル複 号化 回 路 7 1 6 、 ラ ベ ル メ モ リ 7 1 7 、 参 照 ブ ロ ッ ク 決定回 路 7 1 8 、 予測 回 路 7 2 0 と カゝ ら 構成 さ れ る 。

こ れ ら の う ち 、 ラ ベ ル複 号化 回 路 7 1 6 は 、 入力 さ れた復 号対象 の符 号デー タ か ら ラ ベルの デー タ を 復 号 ィ匕す る も の で あ り 、 ラ ベ ル メ モ リ 5 1 7 は 、 こ の 復 号 ィ匕 さ れた ラ ベルの デー タ を 記憶す る も の で あ り 、 参 照 ブ ロ ッ ク 決定回 路 7 1 8 は 、 前 フ レ ー ム に お い て 符 号 ィ匕 ブ 口 ッ ク と 同 じ位置 に あ る プ ロ ッ ク を 参 照 プ ロ ッ ク 7 1 9 と し て 決定す る と い つ た 処理 を 行 う も の で あ る （ ま た 、 予測 回 路 7 2 0 は前 フ レ ー ム の ラ ベ ル 7 2 1 と 参 照 ブ ロ ッ ク 7 1 9 力 ら 予測値 7 2 2 を 求 め 、 ラ ベ ル復 号化 回 路 7 1 6 に 与 え る 機能 を 有す る 。

こ の よ う な構成 の 複 号化装置 に お い て 、 復 号対象 で あ る 符 号化デー タ の ス ト リ ー ム 7 1 5 は ラ ベ ル複 号化 回 路 7 1 6 に入力 さ れ、 ラ ベルが 復 号化 さ れ る 。

一方 、 ラ ベル メ モ リ 7 1 7 に は 、 そ れま で に複 号化 さ れた ラ ベルが 記憶 さ れて い る 。 ま た 、 参 照 ブ ロ ッ ク 決定回 路 7 1 8 で は 、 符 号化装置 で説 明 し た も の と 同 じ ょ う に参 照 プ ロ ッ ク 7 1 9 が 決定 さ れ予測 回 路 7 2 0 に 送 ら れ る 。 予測 回 路 7 2 0 で も 符 号化装置 と 同様 に 前 フ レー ム の ラ ベノレ 7 2 1 と 参 照 ブ ロ ッ ク 7 1 9 力 ら 予測値 7 2 2 が 求 め ら れ、 ラ ベル復 号化 回 路 7 1 6 に送 ら れ る 。 ラ ベル復 号化 回路 7 1 6 で は 、 予測値 7

2 2 に よ つ て 復 号化 テ ― ブノレ を 切 り 替 え て ラ ベル 7 2 3 を 復 号化 し 出 力 す る

ま た 、 あ る ブ ロ ッ ク の モ ー ド " M ( h 、 V 、 t ) ，， ( h 、 V 、 t は各 々 、 水 平 、 垂直 、 時 間 方 向 の座標軸 を 表す） を符 号化す る 際 に 、 例 え ば、 " M ( X — 1 、 y 、 n ) M ( 、 y — 1 、 n ) " 、 " M ( X 、 y 、 n - 1 ) ，' な ど を 参 照 し て 符 号化 テ ー ブ ル を 切 り 替 え る の で あ る が、 こ こ で用 い る モ ー ド に 、 動 き 補償 に用 い る 動 き べ ク ト ルの 情報 の一部 を含 め 、 以 下 に示 すモ ー ド の集合 ( こ れ を モ ー ド集合 A と 呼ぶ こ と にす る 。 ） を用 い る こ と ち で き る 。

[ モ一 ド集合 A ]

( 1 ransparen

( 2 ) opaque

( 3 ) no update (動 き ベ ク 卜 ル

0 )

( 4 ) " no update (動 き べ ク ト ル ！ =

0 ) ，，

( 5 ) coded

こ こ で 、 モ ー ド集合 A の （ 3 ) と （ 4 ) は いずれ も co y モ一 - ド で あ る が 、 モ ー ド集合 A の （ 3 ) は 、 動 き べ ク ト ルが ゼ ロ で あ る こ と を 意味 し 、 モ ー ド集合 A の （ 4 ) は 、 動 き べ ク ト ルが ゼ ロ 以外で あ る こ と を 意 味す る 。 モ ー ド集合 A の （ 4 ) の 場合 は動 き べ ク 卜 ル の値 を別途符 号化す る 必要 が あ る が 、 モ一 ド集合 A の ( 3 ) の 場合 は 、 動 き べ ク ト ル を 符 号化す る 必要 は な レヽ 。 動 き べ ク ト ル ； ^ ゼ 口 で あ る 確率 が 高 い場合 に 、 モ ― ド集合 A を 用 レ、 る と 、 モ ー ド の 符 号量 と 動 き べ ク ト ルの 符 号量の 合計 を 削 減で き る 。

こ の 例 に ぉ レヽ て 、 " no u date 動 さ べ ク ト ル = = 0 ) " と し て 得 ら れ る プ ロ ッ ク の 全て の 画素 が 例 え ば不透 明 の 場合 、 前記 ( 2 ) と （ 3 ) は ど ち ら の モ ー ド で も 同 じ再生画像が 得 ら れ る 。 つ ま り 、 こ れ ら 2 の モ ー ド を 分 け る 必要 は な レヽ。 同様 に 、 co y 動 き べ ク ト ル = = 0 ) " と し て 得 ら れ る ブ 口 ッ ク の 全 て の 画素 が透 明 の 場合 、 前記 （ 1 ) と （ 3 ) は分 け る 必 要 は な い。 そ こ で 、

[ モ ー ド集合 B 」

( 1 ) transparent

( 2 ) o aque

( 3 ) " no update 、動 き べ ク ト ル ！

0 )

( 4 ) " coded"

と し て

ス テ ッ プ A 1 ： " no update 、動 き べ ク ト ル = = 0 ) " " と し た 時 に得 ら れ る 動 き 補償予測画像 が 全て 不透明 で あ る 場合 は 、 ス テ ッ プ A 3 へ 、 そ う で な い場 合 は 、 ス テ ッ プ A 2 へ進 む。

ス テ ッ プ A 2 ： " no update (動 き べ ク ト ル = 0 ) " と し た 時 に得 ら れ る 動 き 補償予測画像 が 全 て 明 で あ る 場合 は 、 ス テ ッ プ A 4 へ 、 そ う で な い場合 は 、 ス テ ッ プ A 5 へ進 む。

ス テ ッ プ A 3 ： 参 照す る " " M ( * 、 氺 、 * ) " が 、 " no update (動 き べ ク ト ル = = 0 ) " の 場合 ¾ " M ( * 、 * 、 * ) " を " o aque" に . 置 き 換 え る 。 ス テ ッ プ A 6 に進 む。

ス テ ッ プ A 4 ： 参 照す る " M ( * 、 * 、 * ) ，， が no update (動 き べ ク ト ル = = 0 ) " の 場合 に は M ( ネ 、 * 、 * ) " を " transparent" に 置 き 換 ん る 。 ス テ ッ プ A 6 に進む。

ス テ ッ プ A 5 : " M ( x 、 y 、 n ) ，， を モ ー ド集

A の 符 号化 テ ー ブル を 用 い て 符 号化す る 符 号化終 了

ス テ ッ プ A 6 ： " M ( X 、 y 、 n ) " を モ ー ド集 A の 符 号化 テ ー ブ ル を用 い て 符 号化す る 。 符 号化終 了

以 上 の A 0 力 ら A 6 の 手順 を 踏む ア ル ゴ リ ズ ム （ 図

5 8 ) を 用 い れば、 同 じ結果 と な る も の に複数の モ 一 ド、が 用 意 さ れ る と い う 無駄 が 無 く な り 、 ブ ロ ッ ク の 属 性情報の符号量 を 削減で き る 。 な ぜ な ら 、 4 つ の モ ー K (モ ー ド集合 B ) を切 り 替 え る 符 号の 平均符 号長 は 38

5 つ の モ ー ド （ モ ー ド集合 A ) を 切 り 替 え る 符 号の 平 均符 号長 よ り も 短 く で き る カゝ ら で あ る 。 但 し 、 モ ー ド 集合 A の み を ブ ロ ッ ク 毎 に 切 り 替 え る 方式 は 、 モ ー ド 集合 A の み を 用 レ、 る 場合 と 比較 し て 、 演算 量 と メ モ リ 量が 多少増加す る の で 、 こ の増加 が 問題 に な ら な い場 合 に用 レ、 る 。

複 号化処理 は 図 5 8 の フ ロ ーチ ャ ー ト と 全 く 同 じ ァ ル ゴ リ ズ ム で符 号化 テ ー ブ ル を モ ー ド集合 A 用 あ る い はモ ー ド集合 B 用 の いずれか に決定 し 、 そ の テ ー ブル を 用 い て 復号化す る 。

上述 の ア ル ゴ リ ズ ム と 同 じ効果が得 ら れ る 別 の ア ル ゴ リ ズム を 図 5 9 に示す。 こ こ で 、

[ モ ー ド集合 C ]

( 1 ) transparent

( 2 ) " no update (動 き べ ク ト ル = =

0 ) "

( 3 ) no u D d a t e (動 ク ト ル

0 )

4 ) coded

[ モ一 ド集合 D ]

丄 ) opaque

2 " no u date (動 さ ク ト ル =

0 )

no update 動 き べ ク ト ル ！ =

0 ) ( 4 ) " coded"

で あ る 。

図 5 9 の フ ロ ー チ ャ ー ト を説 明 す る 。

ス テ ッ プ B 1 ： " no update (動 き べ ク ト ノレ = = 0 ) " と し た 時 に得 ら れ る 動 き 補償予測 画像 が 全て 不 透明 で あ る 場合 は 、 ス テ ッ プ B 3 へ 、 そ う で な い場合 は 、 ス テ ッ プ B 2 へ進む。

ス テ ッ プ B 2 ： " no update (動 き べ ク ト ノレ = = 0 ) " と し た 時 に得 ら れ る 動 き 補償予測 画像 が 全て 透 明 で あ る 場合 は 、 ス テ ッ プ B 4 へ 、 そ う で な い場合 は 、 ス テ ッ プ B 5 へ進 む。

ス テ ッ プ B 3 ： 参 照す る " M ( * 、 * 、 * ) " " カ 、 " opaque" の 場合 に は " M ( * 、 * 、 * ) " を " no update (動 き べ ク ト ル = = 0 ) " に 置 き 換 え る 。 ス テ ツ プ B 6 に進む。

ス テ ッ プ B 4 ： 参 照す る " M ( * 、 * 、 * ) " 力 S 、 " transparent" の 場合 に は " M ( * 、 * 、

* ) " を " " no update (動 き べ ク ト ノレ = = 0 ) " に 置 き 換 え る 。 ス テ ッ プ b 7 に進 む。

ス テ ッ プ B 5 ： " M ( X 、 y 、 n ) ，， を モ ー ド集合

A の符 号化テ ー ブル を 用 い て符 号化す る 。 符 号化終 了 。

ス テ ッ プ B 6 ： " M ( x 、 y 、 n ) " を モ ー ド集合 C の符号化テ ー ブル を用 い て 符 号化す る 。 符 号化終 了 。

ス テ ッ プ B 7 ： " M ( x 、 y 、 n ) ，， を モ ー ド集合 D の 符 号化 テ ー ブル を用 い て 符 号化す る 。 符 号化終 了 。 ま た 、 ブ ロ ッ ク の 属性 と し て は 、 符 号化 の パ ラ メ 一 タ 、 例 え ばプ ロ ッ ク サ イ ズや ブ 口 ッ ク の 縮小率 、 符 号 化 ス キ ャ ン の方 向 、 動 き べ ク ト ル の値 な ど も 必要 に応 じ て含 め る こ と も で き る 。 ス キ ャ ン方 向 を含 め た例 を 示す

Cモ ー ド集合 E ]

、 1 ) transparent

2 ) o aque

( 3 ) " no update (動 さ べ ク ト ル

0 )

( 4 ) no u date ( ク 卜 ノレ

0 )

( 5 ) " coded 力 つ水 平 ス キ ャ ン "

( 6 ) " coded 力 つ垂直 ス キ ャ ン ，，

な お 、 " = = " は左辺 は右辺 の値 と 等 し い 、 " ！ は左辺 は右辺 の値 と 等 し く な い こ と を 示す。

以 上 、 述べて き た よ う に 、 本発 明 で は 、 前 の フ レ ー ム の 参照 ブ ロ ッ ク を 予測 に 用 い る の で あ る が 、 こ の 参 照 プ ロ ッ ク の ラ ベ ル で は な く 、 ア ル フ ァ マ ッ プそ の も の を 予測 に用 い て も 構わ な い。 す な わ ち 、 ア ル フ ァ マ ッ プ を メ モ リ に記億 し て お き 、 各 ブ 口 ッ ク の 属性 を 符 号化す る 度 に 、 そ の 参照 ブ ロ ッ ク の 属性

( " transparent 、 M u 11 i 、 o aque な ど） を 判 定 し 、 そ の 属性 に よ っ て 符 号化テ ー ブル を 切 り 替 え る 。 こ の よ う にす る と 、 前 の フ レ ー ム を 符 号化 し た 時 に 用 い た プ ロ ッ ク と は 、 位 置 が 数画素ずれた も の も 参 照 ブ ロ ッ ク と す る こ と 力 S で き る 。 つ ま り 、 参 照 ブ ロ ッ ク が 前の フ レー ム を 符 号化 し た 時 に用 い た ブ ロ ッ ク と ピ ッ タ リ と 重 な ら な く て も 力 ま わ な く な り 、 よ り 精度 の 高 い 予測 が 可能 と な る 。

ま た 、 参照 プ ロ ッ ク の ア ル フ ァ マ ッ プ を用 い た 予測 と 、 ラ ベル を 用 い た 予測 を組み合 わせ る こ と も 可能 で め O 。

例 え ば、 ま ず、 参 照 ブ ロ ッ ク の ア ル フ ァ マ ッ プ を 用 レヽ て 、 transparent 、 Multi 、 o aque に よ っ て 符 号化テ ー ブル を 切 り 替 え 、 さ ら に 、

" Multi" の も の に っ レ、 て は 、 参照 ブ ロ ッ ク の ラ ベノレ を 用 い て符号化テ ー ブル を 切 り 替 え る よ う にす る 。

前の フ レ ー ム の 参 照す る 部分 に つ い て は 、 プ ロ ッ ク 毎 に 与 え ら れ る 動 き べ ク ト ル を利用 す る 方法 も あ る 。 つ ま り 、 既 に符 号化 の 終わ っ た 、 符 号化 ブ ロ ッ ク に 隣 接す る マ ク ロ ブ ロ ッ ク の 動 き べ ク ト ル に よ っ て 指 し示 さ れ る 部分 を 前 の フ レ ー ム 力、 ら 切 り 出 し 、 そ れが 、 transparent 力 、 Multi 力 、 o aque" 力 に よ っ て 符 号化テ ー ブル を 切 り 替 え る 。

本発 明 は画像 を 符 号化す る 場合 に 、 画 面 内 を 背景 と オブ ジ ェ ク ト と に 分割 し て 符 号化す る 方式 に お い て 、 背景 と オブ ジ ェ ク ト を 分 け る た め に 、 オ ブ ジ ェ ク ト 形 状や画面 内 の位置 を 表す ァ ノレ フ ァ マ ッ プ信 号 を使用 す る 。 そ し て 、 こ の ア ル フ ァ マ ッ プ信 号 を 画像 の 符 号化 情報 と 共 に符 号化 し て ビ ッ ト ス ト リ 一 ム 化 し 、 伝送す る よ う に し た り 蓄積 し た り す る が 、 前者 は放送ゃパ ソ コ ン通信 に 、 そ し て 後者 は ミ ュ ー ジ ッ ク C D な ど の よ う に 、 コ ン テ ン ツ を 納 め た 商 品 と し て 取 り 引 き さ れ る こ と に な る 。

商 品 と し て 記憶媒体 に記録 し た動画像 コ ン テ ン ツ を 提供す る 場合 に 、 蓄積媒体 に 画像 の 符 号化情報 と こ の ア ル フ ァ マ ッ プ信 号の圧縮符 号化 し た も の と を 合 わ せ た ビ ッ ト ス ト リ ー ム で 蓄積 し て 、 一つ の 媒体 で長 時 間 に 亘 る コ ン テ ン ツ を 納 め て 映画 な ど を鑑賞 で き る よ う にす る が 、 こ の よ う な ア ル フ ァ マ ッ プの 画像 を含 む圧 縮符 号化 し た ビ ッ ト ス ト リ ー ム を 格納 し た 蓄積媒体 を 対象 と す る 再生 シ ス テ ム の 例 を 次 に 第 7 の 実施例 と し て説明 す る 。

図 6 0 お よ び図 6 1 を 用 い て 本実施例 を 説 明 す る 。 図 6 0 は 、 図 1 9 の V L C . 多重化 回路 1 8 0 に お レヽ て 多重化 さ れた 、 モ ー ド情報 （ shape mode ) b 0 _N 動 き べ ク ト ル情報 b 1 、 サ イ ズ変換率情報

( convers ion ratio ) b 2 、 ス キ ャ ン方 向 情報

( scan type ) b 3 、 2 値画像符 号化情報 b 4 の 符 号 歹 (J ( bitstreara )の フ ォ 一 マ ツ ト ij を 示 し て レ、 る 。 本 発 明 で は 、 2 値画像符 号化情報 b 4 を復 号す る 際 に 、 b 0 〜 b 3 ま で の 情報 が 復 号 さ れて レ、 る 必要 が あ る 。 ま た 、 モ ー ド情報 b 0 は他 の全て の 情報 b 1 〜 b 4 に 先 だ っ て 復号 さ れて い な い と 、 他 の 情報 を 復 号す る こ と は 出 来 な い。 従 っ て 、 各情報 b 0 〜 b 4 は 、 図 6 0 の よ う に 、 先頭 にモ ー ド情報 、 最後 に 2 値面像符 号化 情報 が 配置 さ れ る 構成 で な け れ ばな ら な い。

図 6 1 は 、 図 6 0 で示 さ れ る 符 号列 が 蓄積 さ れ る 記 録媒体 8 1 0 を用 い て 画像信 号 を 再生す る シ ス テ ム を 示す図 で あ る 。 記録媒体 8 1 0 に は 、 図 6 0 で示 さ れ た符 号列 を含 む符 号列 が 蓄積 さ れて い る 。 デ コ ー ダ 8 2 0 は こ の 蓄積媒体 8 1 0 に 蓄積 さ れて い る 符 号列 か ら 、 画像信号 を 再生す る 。 画像情報 出 力 装置 は 8 3 0 は再生画像 を 出 力 す る 。

こ の よ う な構成 の 本 シ ス テ ム は 、 蓄積媒体 8 1 0 に 図 6 0 に示す如 き の フ ォ ー マ ツ ト の符 号列 を 蓄積 し て あ る 。 デ コ ー ダ 8 3 0 は こ の 蓄積媒体 8 1 0 に 蓄積 さ れて い る 符 号列 か ら 、 画像信 号 を 再生す る 。 す な わ ち デ コ ー ダ 8 2 0 は 、 蓄積媒体 8 1 0 よ り 信 号線 8 0 1 を介 し て 符 号列 を 読み込 み 、 図 6 2 お よ ぴ図 6 3 に 示 す手順 に よ り 再生画像 を 生成す る 。 こ こ で 、 図 6 3 は 図 6 2 の " 2 ィ直画像再生 " の ス テ ッ プ （ S 5 ) の フ ロ — チ ャ ー ト で あ る 。

図 6 2 お よ び図 6 3 に従 っ て 、 デ コ ー ダ 8 2 0 で の 処理 を 内 容 を 説 明 す る 。 す な わ ち 、 ま ず は じ め に モ ー ド情報 が 復 号 さ れ （ ス テ ッ プ S 1 ) 、 そ の 復 号 さ れた モ ー ！" 情報力 transparent ， o p a a u e " ， " no update" の いずれか に該 当 す る か否 か を 調べ る （ ス テ ツ プ S 2 ， S 3 ， S 4 ) 。

そ の結果 、 " transparent" で あ れ ばマ ク ロ プ ロ ッ ク 内 の 画素値 を 全て 透 明 に し て 処理 を 終 え （ ス テ ツ プ S 6 ) 、 ま た 、 " transparent" で な く 、

" o aq e" で あればマ ク ロ ブ ロ ッ ク 内 の 画素ィ直 を 全 て 不透明 に し て 処理 を 終 え （ ス テ ッ プ S 7 ) 、 ま た 、 transparent で t> な \ 、 o aque で も な く 、 " no u date" で あ っ た と すれ ば動 き べ ク ト ノレ を 'If 報 を 復 号 し （ ス テ ッ プ S 8 ) 、 動 き 補償予測 し （ ス テ ッ プ S 9 ) 、 マ ク ロ ブ ロ ッ ク 内 を こ の 求 め た動 き 補償 予測値で コ ピー し （ ス テ ッ プ S 1 0 ) 、 処理 を 終了 す る 。

一方 、 ス テ ッ プ S 2 ， S 3 ， S 4 に お い て

transparent で も な \ 、 o aque で t> な く 、 " no update" で も な カゝ つ た場合 に は 2 値画像再生 の 処理 に移 る （ ス テ ッ プ S 5 ) 。

こ の S 5 で の 処理 は 図 6 3 に示す如 き で あ り 、 ま ず は じ め に " inter" 符 号化 で あ る か否 か を 調べ る （ ス テ ツ プ S 2 1 ) 。 そ の 結果 、 " inter" 符号化 で あ れ ば動 き べ ク ト ル情報 を 復 号 し （ ス テ ッ プ S 2 5 ) 、 動 き 補償予測 し （ ス テ ッ プ S 2 6 ) 、 次 に サイ ズ変換率 情報 を 復 号 し （ ス テ ッ プ S 2 2 ) 、 ス キ ャ ン方 向 情報 を 復 号す る （ ス テ ッ プ S 2 3 ) 。 2 値符 号化情報 を 復 号 し （ ス テ ッ プ S 2 4 ) 、 処理 を 終 了 す る 。

一方 、 ス テ ッ プ S 2 1 で の 判 断の 結果 、 " inter" 符 号化 で な か っ た と き は サ イ ズ変換率情報 を 復 号 し ( ス テ ッ プ S 2 2 ) 、 ス キ ャ ン方 向 情報 を 復 号す る ( ス テ ッ プ S 2 3 ) 。 2 値符 号化情報 を 復 号 し （ ス テ ッ プ S 2 4 ) 、 処理 を 終了 す る 。

こ の よ う 〖こ し て デ コ ー ダ 8 2 0 で は画像 を 再生 し 、 こ の 再生 し た 面像 を 信 号線 8 0 2 を介 し て 画像情報 出 力 装置 8 3 0 に供給す る こ と に よ り 、 当 該再生 面像 が こ の 画像情報 出 力 装置 8 3 0 に表示 さ れ る 。

こ こ で 、 画像情報 出 力 装置 と は 、 例 え ばデ ィ ス プ レ ィ ゃプ リ ン タ 等 を 指す。 な お 、 先 の 実施例 に あ る よ う に 、 フ レ ー ム 単位 の サ イ ズ変換 と 、 小領域単位 の サ イ ズ変換 を組み合 わせ た符 号化 · 復 号化装置 の 場合 、 フ レ ー ム 単位サ イ ズ変換率の 情報 は 、 図 6 0 に示 さ れ る 小領域単位の符 号列 に先 だ っ て 再生 さ れて い な け れ ば な ら な い た め 、 フ レ ー ム 単位サ イ ズ変換率 の 符 号 は該 フ レ ー ム に お け る 全て の 小領域単位 の 符 号列 の 前 に位 置す る 。

こ の よ う に 、 蓄積媒体 に コ ン テ ン ツ と し て の 動画像 と ア ル フ ァ マ ッ プ信 号 と を 、 圧縮符号化 し て ビ ッ ト ス ト リ ー ム と し て 格納 し た場合 に 、 そ の 蓄積媒体 の 再生 シ ス テ ム を提供で き る 。

動 き べ ク ト ル の 予測符 号化 に 関す る 実施例 を 第 8 の 実施例 と し て 説 明 す る 。

図 1 9 お よ び図 2 0 は 、 本発 明 の フ レ ー ム ワ ー ク を 表す 図 で あ る 。 図 1 9 に お い て 、 動 き べ ク ト ル検 出 回 路 1 7 8 で検 出 さ れた動 き べ ク ト ル は 、 信 号線 1 0 7 を介 し て M V 符 号化 回 路 1 7 9 に供給 さ れ 、 符 号化 さ れた 後 、 V L C · 多重化 回 路 1 8 0 に供給 さ れ、 他 の 符 号化情報 と 多重化 さ れて線 3 を 介 し て 出 力 さ れ る 。

図 2 0 に お レヽ て 、 V L D ' 分離化 回 路 2 1 0 に よ つ て 、 信 号線 8 を介 し て 供給 さ れた符 号化情報 か ら 分離 さ れた動 き べ ク ト ル情報 b 1 は 、 動 き べ ク ト ル再生 回 路 2 9 0 に て 動 き べ ク ト ル信号 に 再生 さ れ る 。

本実施例 は 、 前記 の M V 符 号化 回 路 1 7 9 お よ び動 き ベ ク ト ル再生 回 路 2 9 0 に 関 わ る も の で あ る 。

一般的 に 、 動 き べ ク ト ル信号の相 関 が 隣接 ブ ロ ッ ク 間 で強 い た め 、 こ の相 関 を 除去す る た め に 予測符 号化 に よ り 動 き べ ク ト ル は符 号化 さ れ る 。

図 6 4 は 、 動 き べ ク ト ルの 予測符 号化 の 一例 を 説 明 す る た め の 図 で あ る 。

図 6 4 に お い て 、 方形 の 各枠 は マ ク ロ ブ ロ ッ ク を 示 し て お り 、 下地が ド ッ ト ノ、。 タ ー ン で示 さ れた方形枠 は 、 符 号化対象 プ ロ ッ ク で あ る 。 こ の符 号化対象 プ ロ ッ ク の動 き べ ク ト ル を M V s と す る と 、 当 該符 号化対象 ブ ロ ッ ク の M V s に 対す る 予測べ ク ト ノレ M V P s を 求 め る に は 、 当 該符 号化対象 プ ロ ッ ク の 直前 の マ ク ロ ブ 口 ッ ク （ 図 6 4 に お け る 符 号化対象 ブ ロ ッ ク の 左 隣） の ブ ロ ッ ク の 動 き べ ク ト ル M V s 1 と 、 当 該符 号化対象 ブ ロ ッ ク の 直上の マ ク ロ ブ ロ ッ ク （ 図 6 4 に お け る 符 号ィヒ対象 プ ロ ッ ク の 上 隣） の ブ ロ ッ ク の 動 き べ ク ト ノレ M V s 2 、 そ し て 、 直上 の マ ク ロ ブ ロ ッ ク の 右隣の ブ ロ ッ ク の 動 き べ ク ト ル M V s を 用 レ、 る 。

こ の よ う に 、 符 号化対象 ブ ロ ッ ク の 動 き べ ク ト ル M V s に 対す る 予測べ ク ト ル M V P s は 、 一般的 に 、 符 号化対象 プ ロ ッ ク 周 辺 の ブ ロ ッ ク の動 き べ ク ト ノレ M V s 1 、 M V s 2 、 M V s 3 を 用 い て 求 め ら れ る 。

例 え ば、 M V P s の水 平 · 垂直成分 M V P s — h お よ び M V P s V は 、 以 下 の よ う に 求 め ら れ る 。

M V P s h = Median ( M V s 1 ― h 、 M V s

2 _ h M V s 3 _ h )

M V P s v = Median ( M V s 1 ― 、 M V s

2 V 、 M V s 3 _ v )

、 ゝ _ で 、 " Med ian ( ) " と は " ( ) " 内 の値の 中 央値 を 求 め る 処理 で あ り 、 動 き ベ ク ト ル M V s n ( n

2 ， 3 ；) の 水 平 · 垂直成分 を そ れぞれ、 M V s n — h 、 M V s n 一 V

と 表記 し て レヽ る 。

ま た 、 予測べ ク ト ル M V P s を 求 め る 別 の 例 と し て M V s 1 、 M V s 2 、 M V s 3 の I噴 に そ れぞれの プ ロ ッ ク に動 き べ ク 卜 ルが 存在す る カゝ否 カゝ を チ ェ ッ ク し 、 最初 に 動 き べ ク 卜 ルが 存在す る ブ ロ ッ ク の 動 き べ ク ト ル を M V P s と す る 方法 も あ る 。

図 6 5 A お よ び 6 5 B は 、 時刻 n — 1 と 時刻 n に お け る フ レ ー ム 画像 F n — 1 、 F n と そ れぞれの フ レ ー ム に お け る 符 号化領域 C A n — ：！ 、 C A n の例 で あ る こ こ で 、 符 号化対象 ブ ロ ッ ク 周 辺 の ブ ロ ッ ク が ォブ ジ ェ ク ト を含 ま な レ、 ブ ロ ッ ク の 場合 、 そ の ブ ロ ッ ク に は 動 き べ ク ト ル が 存在 し な い。 ま た 、 フ レ ー ム 内符 号化 さ れた ブ ロ ッ ク の場合 に も 、 そ の プ ロ ッ ク に は動 き べ ク ト ル カ S存在 し な い。

例 え ば、 M V s 1 ， M V s 2 , M V s 3 の 全て が 存 在 し な い場合 、 予測べ ク ト ル M V P s に はデ フ ォ ル ト 値 （ベ ク ト ル） を用 レ、 る こ と に な る 。

オブ ジ ェ ク ト の動 き が 小 さ レヽ場合 は 、 こ の デ フ ォ ル ト 値 を零 な る 動 き ベ ク ト ル で あ る "ゼ ロ ベ ク ト ル " と し て も 問題 な い 力 ^s 、 図 6 5 A の フ レ ー ム 力 ら 図 6 5 B の フ レ ー ム へ の遷移 の よ う に 、 フ レ ー ム 内 で の ォブ ジ ェ ク ト の位置 の 動 き が 大 き い場合 に は 、 動 き べ ク ト ル の 予測 が 当 た ら な く な り 、 符 号化効率 が低下す る 。

本発 明 で は こ の デ フ ォ ル ト 値 と し て 、 図 6 5 A に示 さ れたべ ク ト ノレ " prev— ref " と 図 6 5 B に示 さ れた べ ク ト ノレ " curr ref " と の 差分べ ク ト ノレ " of f set" と 、 "ゼ ロ べ ク ト ル " と を 適応的 に切 り 換 え て 用 レヽ る こ と を 特徴 と す る 。

こ こ で 、 " of f set" は以 下 の 式で求 め ら れ る 。

of f set=prev ref -curr ref

デ フ オ ノレ ト イ直 " of f set" と "ゼ ロ べ ク ト ノレ " の 切 り 替 え は 、 例 え ば、 フ レ ー ム の座標軸 に基づ い て 求 め ら れた 時刻 n の オブ ジ ェ ク ト と 時刻 n — 1 の オブ ジ ェ ク ト の 誤差値 と 、 符 号化領域の座標軸 に 基づ い て 求 め ら れた 時刻 n 時点 で の オブ ジ ェ ク ト と 時刻 n — 1 時点 で の オブ ジ ェ ク ト の 誤差値 を 比較 し て 、 前者 が 大 き い 場合 は " of f set" を 、 ま た 、 後者が 大 き い場合 は "ゼ ロ ベ ク ト ル " を 、 デ フ ォ ル ト 値 と し て 用 い る よ う にすれば よ い。

こ の場合 、 切 り 替 え 情報 と し て 1 ビ ッ ト の サ イ ド情 報 を 送 る 必要 が あ る 。 ま た 、 こ の よ う な動 き べ ク ト ル の 予測ィ直の デ フ オ ル ト イ直 と し て 、 " of f set" と "ゼ 口 べ ク ト ル " を 切 り 替 え る こ と は 、 テ ク ス チ ャ 情報 の 動 き べ ク ト ル の 予測符 号化 に も 同様 に適用 で き る 。

次 に 、 図 1 9 に示 し た M V 符 号化 回 路 1 7 9 の 具体 的構成例 と 、 図 2 0 に示す M V 再生回 路 2 9 0 の 具体 的構成例 を 、 第 9 の 実施例 と し て 説明 す る 。

図 6 6 A お よ び 6 6 B は 、 図 1 9 に示 し た シ ス テ ム に お け る M V 符 号化 回 路 1 7 9 及びそ の 付 帯 回 路 の 実 施例 を 示すブ ロ ッ ク 図 で あ り 、 図 6 6 A は付 帯 回 路 と し て の デ フ オ ル ト 値演算 回 路 、 図 6 6 B は M V 符 号化 回路 1 7 9 で あ る 。

図 6 6 A に示す付帯 回 路 と し て の デ フ ォ ル ト 値演算 回 路 は 、 オブ ジ ェ ク ト 領域 に つ い て 、 現時点 で の 処理 フ レー ム と 、 前時点 で の 処理 フ レ ー ム と か ら 、 前時点 か ら 見 た現時点 で の フ レー ム の オブ ジ ェ ク ト の位置移 動 を 、 フ レ ー ム 間 で の 動 き ベ ク ト ル値 と し て 求 め る た め の も の で あ り 、 図 6 6 A に示す よ う に 、 符 号化領域 検 出 回 路 9 1 0 、 デ フ ォ ル ト 値決定回 路 9 1 1 、 領域 情報 メ モ リ 9 1 2 、 オ フ セ ッ ト 算 出 回 路 9 1 3 、 セ レ ク タ 9 1 4 に よ り 構成 さ れ る 。

ま た 、 信号線 9 0 2 は現時点 で の フ レ ー ム デー タ を 入力 す る た め の信 号線で あ り 、 図 1 9 に お け る シ ス テ ム の信 号線 2 に該 当 す る も の で 、 信 号線 2 か ら 入力 さ れ る 現時点 の フ レ ー ム デー タ を 入力 と し て 受 け る た め の も の で あ る 。 ま た 、 図 6 6 A に お け る 信 号線 9 0 2 は 、 フ レ ー ム メ モ リ 1 3 0 に保持 さ れた 前時点 フ レ ー ム デー タ を供給す る た め の信 号線で あ り 、 こ の 信 号線 9 0 2 を 介 し て 、 フ レ ー ム メ モ リ 1 3 0 力 ら 前時点 の フ レ ー ム デー タ の 供給 を 受 け る 。 ま た 、 信 号線 9 0 3 はデ フ ォ ル ト 値決定回 路 9 1 1 力ゝ ら の フ ラ グの 情報 を 出 力す る 信 号線で あ り 、 信 号線 9 0 4 は符 号化領域検 出 回路 9 1 0 か ら の符 号化領域 C A n の 情報 を 供給す る 信号線で あ り 、 信 号線 9 0 6 は領域情報 メ モ リ 9 1 2 カゝ ら 読み 出 さ れ る 符 号化領域 C A n — 1 の位置情報 を供給す る 信号線で あ る 。

ま た 、 前記符 号化領域検 出 回 路 9 1 0 は 、 信 号線 9 0 1 を介 し て 供給 さ れ る 現時点 フ レ ー ム F n - 1 の 画 像信号 を も と に 、 符 号化領域 C A n の サ イ ズお よ び位 置情報 V C 0 を 検 出す る も の で あ り 、 そ の 検 出 結果 は信号線 9 0 4 を 介 し て 、 デ フ ォ ル ト 値決定回 路 9 1 1 、 領域情報 メ モ リ 9 1 2 お よ びオ フ セ ッ ト 算 出 回 路 9 1 3 に供給す る よ う に し て あ る 。

ま た 、 領域情報 メ モ リ 9 1 2 は 、 符 号化領域 C A n - 1 の サ イ ズお よ び位置 の 情報 を 蓄積す る メ モ リ で あ り 、 時刻 n の 時点 で の フ レ ー ム の符 号化 が 終 了 後 、 符 号化領域 C A n の サ イ ズお よ び位置情報 を 蓄積す る こ と に な る 。

オ フ セ ッ ト 算 出 回 路 9 1 3 は 、 信 号線 e 4 を 介 し て 供給 さ れ る 符号化領域 C A n と 、 信 号線 9 0 6 を介 し て 供給 さ れ る 符 号化領域 C A n — 1 の位置情報 を 用 い て 、 べ ク ト ル値 " of f set" を 求 め 、 そ れ を セ レ ク タ 9 1 4 に 与 え る も の で あ る 。

ま た 、 セ レ ク タ 9 1 4 は 、 零 の 動 き ベ ク ト ル値で あ る "ゼ ロ べ ク ト ル " と オ フ セ ッ ト 算 出 回 路 9 1 3 力 ら 与 え ら れ る " of f set" と を入力 と し 、 こ れ ら の いず れか一方 を信 号線 9 0 3 を介 し て デ フ オ ル ト 値決定回 路 9 1 1 か ら 供給 さ れ る フ ラ グ に従 っ て 選択す る 回 路 で あ り 、 こ の セ レ ク タ 9 1 4 の 選択 し たべ ク ト ル値 を デ フ ォ ル ト 値 と し て 信 号線 9 0 5 を 介 し て M V 符 号化 回 路 1 7 9 の セ レ ク タ 9 2 3 に 出 力 す る 回 路 で あ る 。

以 上が 、 デ フ ォ ル ト 値演算 回 路 の構成 で あ る 。

次 に 、 M V 符 号化 回 路 1 7 9 の構成 を 説 明 す る 。 M V 符 号化 回路 1 7 9 は 、 図 6 6 B に 示す よ う に 、

M V メ モ リ 9 2 1 、 M V 予測 回 路 9 2 2 、 セ レ ク タ 9 2 3 、 差分回路 9 2 4 よ り 構成 さ れ る 。

こ れ ら の う ち 、 M V メ モ リ 9 2 1 は 図 1 9 に お け る 信 号線 1 0 7 を 介 し て供給 さ れ る 動 き べ ク ト ル検 出 回 路 1 7 8 力 ら の 動 き べ ク ト ル情報 を保存す る メ モ リ で あ り 、 符 号化対象 ブ ロ ッ ク の 周 囲 の 動 き ベ ク ト ル M V s n ( n - 1 , 2 ， 3 ) カ こ の M V メ モ リ 1 7 9 に保 持 さ れ る 。

M V 予測 回 路 9 2 2 は 、 M V メ モ リ 9 2 1 か ら 供給 さ れ る 符 号化対象 ブ ロ ッ ク の 周 囲 の 動 き べ ク ト ル M V s n ( n - 1 , 2 ， 3 ) を も と に 、 予測ベ ク ト ル M V P s を 求 め る 回 路 で あ る 。 こ こ で 、 M V s n ( n — 1 ， 2 ， 3 ) が 存在 し な い場合 は 、 予測ベ ク ト ル M V P s が 正 常 に 求 め ら れな い た め 、 当 該 M V 予測 回 路 1 Ί 9 2 は 、 予測べ ク ト ル M V P s が 正 常 に 求 め ら れた か否 か を識別す る 信号 を 出 力 す る 機能 を備 え て お り 、 こ の 識別信 号 を信号線 9 2 5 を 介 し て セ レ ク タ 9 2 3 に供 給す る 仕組み と し て あ る 。

セ レ ク タ 9 2 3 は 、 M V 予測 回 路 9 2 2 よ り 供給 さ れ る M V P s と 、 信 号線 9 0 5 を介 し て 与 え ら れ る デ フ ォ ル ト 値 と を 入力 と し 、 前記信 号線 9 2 5 を 介 し て 供給 さ れ る 信号 に従 っ て 、 両者の う ち の 一方 を 選択 し て 、 差分 回 路 9 2 4 に供給す る も の で あ る 。

差分回 路 9 2 4 は 、 動 き べ ク ト ルの 予測誤差信 号 を 求 め る 回 路 で あ っ て 、 信 号線 1 0 7 を 介 し て 供給 さ れ る 動 き べ ク ト ル検 出 回 路 1 Ί 8 力ゝ ら の 動 き べ ク ト ル情 報 と 、 セ レ ク タ 9 2 3 を介 し て 与 え ら れ る M V P s ま た はデ フ ォ ル ト 値 と の 差 を 求 め て 、 そ の結果 を 動 き べ ク ト ル情報 b 1 と し て M V 符 号化 回 路 1 7 9 カゝ ら 出 力 す る も の で あ る 。 次 に こ の よ う な構成 の 符 号化 回路 の 作用 を 説 明 す る _c 図 6 6 A に お レヽ て 、 信 号線 9 0 1 に は フ レ ー ム メ モ リ 1 3 0 に保存 さ れた 前時点 で の 画像信 号 （前時点 で の フ レ ー ム の フ レ ー ム デ ー タ ） で あ る フ レ ー ム F n の 画像信号が供給 さ れ、 信 号線 e 2 に は現時点 で の 画像 信号 （現時点 で の フ レ ー ム の フ レー ム デー タ ） で あ る フ レ ー ム F n — 1 の 画像信 号が 供給 さ れ る 。

そ し て 、 フ レ ー ム F n の 画像信 号は デ フ ォ ル ト 値 決 定回 路 9 1 1 に 入力 さ れ、 フ レ ー ム F n — 1 の 画像信 号 はデ フ ォ ル ト 値決 定 回 路 9 1 1 と 符 号化領域検 出 回 路 9 1 0 に入力 さ れ る 。

符 号化領域検 出 回 路 9 1 0 で は 、 フ レ ー ム F n _ l の 画像信号 を も と に 、 符 号化領域 C A n の サ イ ズお よ び位置情報 V C 0 が 検 出 さ れ、 そ の 検 出 結果 は信 号 線 9 0 4 を介 し て 、 デ フ ォ ル ト 値決定回 路 9 1 1 、 領 域情報 メ モ リ 9 1 2 お よ びオ フ セ ッ ト 算 出 回 路 9 1 3 に供給 さ れ る 。

一方 、 デ フ ォ ル ト 値決定回 路 9 1 1 で は 、 信号線 9 0 4 を介 し て 供給 さ れ る 符 号化領域検 出 回路 9 1 0 か ら の符 号化領域 C A n の 情報 と 、 信 号線 9 0 6 を 介 し て 領域情報 メ モ リ 9 1 2 か ら 供給 さ れ る 符 号化領域 C A n - 1 の サ イ ズお よ び位置情報 を 用 い て 、 フ レ ー ム F n と フ レ ー ム F n _ l と の 誤差量 と 、 符 号化領域 C A n と C A n — 1 と の 誤差量 と の 比較 を行 う 。 そ し て 、 そ の 比較 の結果 、 前者 が 大 き い場合 に はデ フ オ ル ト 値 と し て " of f set" を 用 い 、 そ れ以外の 場合 はデ フ ォ ル ト 値 と し て ゼ ロ ベ ク ト ル を 用 レヽ る よ う に 決 定 し 、 デ フ ォ ル ト 値 と し て " of f set" を 用 レ、 る 力、 、 ゼ ロ べ ク ト ル を用 い る か、 を識別す る フ ラ グ の 情報 を信 号線 9 0 3 を介 し て 出 力 す る 。

信 号線 9 0 3 を 介 し て デ フ ォ ル ト 値決 定回 路 9 1 1 力 ら 出 力 さ れた フ ラ グの 情報 は 、 信 号線 9 0 4 を 介 し て符号化領域検 出 回 路 9 1 0 か ら 出 力 さ れた符 号化領 域 C A n の サ イ ズお よ び位置 の 情報 と 共 に 、 図 5 1 の デー タ フ ォ ーマ ツ ト に お け る 符 号化領域 の レイ ヤ に 多 重化 さ れ る 。 そ し て 、 伝送 あ る い は記録媒体へ の保存 に供 さ れ る 。

一方 、 領域情報 メ モ リ 9 1 2 は 、 符 号化領域 C A n 一 1 の サ イ ズお よ び位置情報 を 蓄積す る メ モ リ で あ り 、 時刻 n の 符号化 が 終了 後 、 符 号化領域 C A n の サ イ ズ お よ び位置情報 を 蓄積す る こ と に な る 。

オ フ セ ッ ト 算 出 回 路 9 1 3 で は 、 信 号線 9 0 4 を 介 し て供給 さ れ る 符 号化領域 C A n と 、 信 号線 9 0 6 を 介 し て 供給 さ れ る 符 号化領域 C A n — 1 の位置情報 を 用 い て 、 べ ク ト ル値 " of f set" を 求 め た 後 、 セ レ ク タ 9 1 4 に供給す る 。

セ レ ク タ 9 1 4 で は 、 信 号線 9 0 3 を 介 し て デ フ ォ ル ト 値決 定回 路 9 1 1 カゝ ら 供給 さ れ る フ ラ グ に 従 っ て 、 " of f set" と ゼ ロ べ ク ト ル と の何れか が選択 さ れ、 こ れ を デ フ ォ ル ト 値 と す る 。 こ の デ フ ォ ル ト 値 は信 号 線 9 0 5 を 介 し て M V 符 号化 回 路 1 7 9 の セ レ ク タ 9 2 3 に 出 力 さ れ る 。

図 6 6 B の M V 符 号化 回 路 1 7 9 に は 、 符 号化対象 ブ ロ ッ ク の動 き べ ク ト ル M V s が 信号線 1 0 7 を 介 し て 供給 さ れ、 M V メ モ リ 9 2 1 お よ び差分 回 路 9 2 4 に供給 さ れ る 。

M V 予測 回路 9 2 2 に は 、 M V メ モ リ 9 2 1 力ゝ ら 符 号ィヒ対象 ブ ロ ッ ク の 周 囲 の 動 き べ ク ト ノレ M V s n ( n — 1 , 2 , 3 ) ； ^ 供給 さ れ、 予測 ベ ク ト ル Μ V Ρ s 力 S 求 め ら れ る 。 こ こ で 、 M V s n ( n — 1 ， 2 ， 3 ) カ 存在 し な い場合 は 、 予測べ ク ト ル M V P s が 正 常 に 求 め ら れな い た め 、 予測べ ク ト ル M V P s が 正 常 に 求 め ら れた か否 か を識別す る 信 号 を 生成 し て こ れ を 信 号線 9 2 5 を 介 し 、 セ レ ク タ 9 2 3 に供給す る 。

セ レ ク タ 9 2 3 で は 、 信 号線 9 2 5 を 介 し て 供給 さ れ る 識別信 号 に従 っ て 、 M V 予測 回 路 9 2 2 よ り 供給 さ れ る M V P s 力、 、 ま た は 、 信号線 9 0 5 の 出 力 で あ る デ フ ォ ル ト 値かが 選択 さ れ、 差分回 路 9 2 4 に供給 さ れ る 。

差分回 路 9 2 4 で は 、 動 き ベ ク ト ル の 予測誤差信 号 が 計算 さ れ、 そ の 計算結果 は動 き べ ク ト ル情報 b 1 と し て M V 符 号化 回 路 1 7 9 カゝ ら 出 力 さ れ る 。

以 上 は動 き べ ク ト ル符 号化 の 処理 内 容 で あ っ た。 次 に こ の よ う に し て 符 号化 さ れた動 き べ ク ト ル の復 号化 処理 に つ い て 説 明 す る 。 図 6 7 A お よ び 6 7 B は 、 本発 明 を 実現す る た め の 復 号化 回 路 の 実施例 を 示す プ ロ ッ ク 図 で あ り 、 M V 符 号化 さ れたデー タ の 再生 を す る た め の 要部構成 を 示 し た ブ ロ ッ ク 図 で あ っ て 、 図 2 0 に示 し た シ ス テ ム に お け る M V 再生回路 2 9 0 及びそ の 付帯 回 路 の 実施例 を 示すブ ロ ッ ク 図 で あ る 。 図 6 7 A は付帯回路 と し て の デ フ ォ ル ト 値演算 回路 、 図 6 7 B は M V 再生 回 路 2 9 0 で あ る 。

図 6 7 A に示す付帯 回 路 と し て の デ フ ォ ル ト 値演算 回 路 は 、 領域情報 メ モ リ 1 0 1 0 、 オ フ セ ッ ト 算 出 回 路 1 0 1 1 、 セ レ ク タ 1 0 1 2 と 力 ら 構成 さ れ る 。 ま た 、 1 0 0 1 は符 号化 さ れて伝送 さ れて き た デー タ あ る い は記憶媒体 に記憶 さ れて 読み 出 さ れたデー タ の 上 位 レイ ヤ に含 ま れて い る デ フ ォ ル ト 値選択識別用 の フ ラ グの 情報 を 与 え る 信 号線、 1 0 0 2 は符 号化 さ れて 伝送 さ れて き た デー タ の 上位 レイ ヤ に含 ま れて い る 領 域 C A n の位置情報 を 与 え る 信 号線で あ り 、 こ れ ら は 符 号化 回 路側 に お け る 1 0 0 3 ， 1 0 0 4 に 対応す る 。

ま た 、 1 0 0 3 は領域 C Λ n — 1 の位置情報 を 与 え る 信号線、 1 0 0 4 はデ フ ォ ル ト 値 を 出 力 す る 信 号線 で あ る 。

前記領域情報 メ モ リ 1 0 1 0 は 、 領域 C A n — 1 の 位置情報 を 蓄積す る メ モ リ で あ り 、 オ フ セ ッ ト 算 出 回 路 1 0 1 1 は 、 信 号線 1 0 0 2 を 介 し て供給 さ れ る 領 域 C A n の位置情報 と 、 信 号線 1 0 0 3 を 介 し て 供給 さ れ る 領域 C A n — 1 の位置情報 と を用 い て べ ク ト ル 値 " o f f set" を 求 め る も の で あ っ て 、 こ の 求 め たベ ク ト ル値 " of f set" はセ レ ク タ 1 0 1 2 に供給す る 構成 と し て あ る 。

ま た 、 セ レ ク タ 1 0 1 2 は予 め 与 え ら れた零 の 動 き べ ク ト ル値 と 、 オ フ セ ッ ト 算 出 回 路 1 0 1 1 に 与 え ら れ る べ ク ト /レ 直 " of f set" と の う ち の 一方 を 、 信 号 線 1 0 0 1 を 介 し て 与 え ら れ る デ フ ォ ル ト 値選択識別 用 の フ ラ グの 情報対応 に選択 し て 出 力 す る も の で あ り こ の セ レ ク タ 1 0 1 2 の 出 力 が デ フ ォ ル ト 値 と し て 信 号線 1 0 0 4 に 出 力 さ れ、 M V 再生回 路 2 9 0 に 与 え ら れ る 構成 で あ る 。

以 上 が復 号側 に お け る デ フ ォ ル ト 値演算 回 路 の構成 で あ る 。

次 に M V 再生回路 1 1 0 0 の構成 を 説 明 す る 。

M V 再生 回路 1 1 0 0 は 、 図 6 7 B に示す よ う に 、 カロ算 回 路 1 1 0 1 、 セ レ ク タ 1 1 0 2 、 M V 予測 回 路 1 1 0 3 、 M V メ モ リ 1 1 0 4 と 力 ら な る 。

こ れ ら の う ち 、 力!]算 回 路 1 1 0 1 は 、 複 号化対象 ブ ロ ッ ク の 動 き べ ク ト ルの 予測誤差信号 で あ る 動 き べ ク ト ル情報 b 1 と セ レ ク タ 1 1 0 2 を介 し て 与 え ら れ る デ フ ォ ル ト 値 と を 受 け て 、 両者 を加算 し て 出 力 す る 回 路 で あ り 、 こ の力 B算 出 力 は M V メ モ リ 1 1 0 4 並び に 図 2 0 の構成 に お け る 信 号線 2 0 3 に 出 力 さ れ る 構成 で あ る 。 ま た 、 M V メ モ リ 1 1 0 4 は 、 前記加算 回 路 1 1 1 0 の加算 出 力 を保持 し て 複 号化対象 プ ロ ッ ク の 周 囲 の 動 き ベ ク ト ル M V s n ( n = l ， 2 ， 3 ) を 供給す る た め の も の で あ り 、 ま た 、 M V 予測 回 路 1 1 0 3 は 、 M V メ モ リ 1 1 0 4 か ら 供給 さ れ る 複 号化対象 ブ ロ ッ ク の 周 囲 の 動 き べ ク ト ノレ M V s n ( n = 1 , 2 ， 3 ) か ら 予測べ ク ト ル M V P s を 求 め 、 セ レ ク タ 1 1 0 2 に 与 え る も の で あ る 。 な お 、 M V s n ( n = 1 , 2 ， 3 ) が 存在 し な い場合 は 、 予測ベ ク ト ル M V P s が 正 常 に求 め ら れな い た め 、 M V 予測 回路 1 1 0 3 に は 、 予測べ ク ト ル M V P s が 正 常 に求 め ら れた か否 力ゝ を識 別す る 信号 を発 生す る 機能 を持たせ て あ り 、 こ の識別 信 号 は 、 信 号線 1 1 0 5 を 介 し て セ レ ク タ 1 1 0 2 に 供給す る 構成 と し て あ る 。

セ レ ク タ 1 1 0 2 は 、 信 号線 1 0 0 4 を 介 し て 与 え ら れ る デ フ ォ ル ト 値 と 、 M V 予測 回 路 1 1 0 3 力ゝ ら 与 え ら れ る 予測べ ク ト ル M V P s を 入力 と し 、 こ れ ら の 一方 を 、 信 号線 1 1 0 5 を 介 し て 供給 さ れ る 識別信 号 に従 っ て 、 選択 し て加算 回 路 1 1 0 1 に 与 え る 回 路 で あ る 。

次 に 、 こ の よ う な構成 の 復 号化側 シ ス テ ム の 作用 を 説 明 す る 。

図 6 7 A に お い て 、 信 号線 1 0 0 1 に はデ フ ォ ル ト 値 と し て " of f set" を 用 レヽ る 力、 、 ゼ ロ べ ク ト ル を 用 い る カゝ を識別す る フ ラ グが 供給 さ れ、 信 号線 1 1 0 ₂ に は領域 C A n の位置情報 が 供給 さ れ る 。

信 号線 1 0 0 2 を 介 し て 供給 さ れた領域 C A n の位 置情報 は 、 領域情報 メ モ リ 1 0 1 0 と オ フ セ ッ ト 算 出 回 路 1 0 1 1 に供給 さ れ る 。 領域情報 メ モ リ 1 0 1 0 は 、 領域 C A n — 1 の位置情報 を 蓄積す る メ モ リ で あ り 、 時刻 n の複 号化 が 終了 後 、 領域 C A n の位置情報 を 蓄積す る こ と に な る 。

オ フ セ ッ ト 算 出 回 路 1 0 1 1 で は 、 信 号線 d 2 を 介 し て 供給 さ れ る 領域 C A n の位置情報 と 、 信 号線 1 0 0 3 を 介 し て 供給 さ れ る 領域 C A n — 1 の位置情報 と を 用 い て ベ タ ト ルィ直 " of f set" を 求 め た 後 、 べ ク ト ル値 " of f set" を セ レ ク タ 1 0 1 2 に供給す る 。

セ レ ク タ 1 0 1 2 で は 、 信 号線 1 0 0 1 を 介 し て 供 給 さ れ る フ ラ グ に従 っ て 、 " of f set" と "ゼ ロ べ ク ト ル " の う ち の何れか一方が 選択 さ れ、 デ フ ォ ル ト 値 と し て 信 号線 1 0 0 4 を 介 し て M V 再生回 路 1 1 0 0 へ と 出 力 す る 。

次 に 図 6 7 B の M V 再生 回 路 1 1 0 0 に お い て は 、 複 号化対象 プ ロ ッ ク の 動 き べ ク ト ルの 予測誤差信 号で あ る "動 き べ ク ト ル情報 b 1 " が 供給 さ れ、 加算 回 路 1 1 0 1 に供給 さ れ る 。

ま た 、 M V 予測 回 路 1 1 0 3 に は 、 M V メ モ リ 1 1 0 4 か ら 複 号化対象 プ ロ ッ ク の周 囲 の 動 き べ ク ト ル M V s n ( n = 1 ， 2 ， 3 ) 力 S 供給 さ れ、 予測ベ ク ト ル M V P s 力 求 め ら れ る 。 こ こ で 、 M V s n ( n = 1 , 2 , 3 ) が存在 し な い場合 は 、 予測べ ク ト ル Μ V P s が 正 常 に 求 め ら れ な い た め 、 予測べ ク ト ル Μ V P s が 正 常 に求 め ら れた か否か を識別す る 信 号 を信 号線 1 1 0 5 を介 し て セ レ ク タ 1 1 0 2 に供給す る 。

セ レ ク タ 1 1 0 2 で は 、 信 号線 1 1 0 5 を 介 し て 供 給 さ れ る 当 該識別信号 に従 っ て 、 Μ V 予測 回 路 1 1 0 3 よ り 供給 さ れ る Μ V P s カゝ 、 ま た は信 号線 1 0 0 4 の 出 力 で あ る デ フ オ ル ト 値の レヽずれかが 選択 さ れ、 力 Π 算 回 路 1 1 0 1 に供給 さ れ る 。

加算 回 路 1 1 0 1 で は 、 動 き べ ク ト ル の 予測誤差信 号 （ "動 き べ ク ト ル情報 b 1 " ) と 予測信 号 M V P s と が加算 さ れ、 こ れ に よ つ て 複 号化対象 ブ ロ ッ ク の動 き ベ ク ト ル M V s が 再生 さ れ る 。 こ の 復 号化対象 ブ ロ ッ ク の動 き べ ク ト ル M V s は信 号線 2 0 3 を 介 し て M V 再生 回路 1 1 0 0 カゝ ら 出 力 さ れ る と 共 に 、 M V メ モ リ 1 1 0 4 に 蓄積 さ れ る 。

こ の よ う に し て 、 図 1 9 に示す構成 で の 必要 な M V 符 号化処理 と 、 図 2 0 に示す構成 で の 必要 な M V 再生 処理が実現で き る 。 産業 上 の利用 可能性

以 上 、 種 々 の 実施例 を 説 明 し た が 、 本発 明 に よ れ ば、 オブ ジ ェ ク ト の 形状や画面 内 の位置 な ど を 表す副 画像 情報 で あ る ア ル フ ァ マ ッ プ の 情報 を 効率 よ く 符 号化 で き る と 共 に 、 そ の 復 号 を 行 う こ と が で き る よ う に し た 画像符 号化装置 お よ び復 号化装置 が得 ら れ る 。

ま た 、 本発 明 に よ れば、 ア ル フ ァ マ ッ プ の符 号量 を 低減す る こ と が で き る た め 、 フ レ ー ム 単位 で符 号化す る 従来の符 号化法 と 比べ て 、 大幅 な符 号化効率 の 低下 な し に オブ ジ ェ ク ト 毎 に別 々 に符 号化す る こ と が で き る よ う に な る 。

な お 、 本発 明 は上述 し た 実施例 に 限定す る こ と な く 種 々 変形 し て 実施 し得 る 。

本発 明 に よ れば、 ア ル フ ァ マ ッ プの符 号量 を 低減す る こ と が で き る た め 、 フ レ ー ム 単位 で符 号化す る 従来 の 符号化法 と 比べ て 、 大幅 な 符 号化効率 の 低下 な し に オ ブ ジ ェ ク ト 毎 に別 々 に符 号化す る こ と が で き る よ う に な る 。

Claims

請 求 の 範 囲

1 . オブ ジ ェ ク ト の 形状お よ びそ の オブ ジ ェ ク ト の 画面 内 で の位置 を 表すア ル フ ァ マ ッ プ信号 を 、 サ イ ズ 変換率 （ s ize convers ion ratio )情報 に従 っ た縮 小率で ダ ウ ン サ ン プルす る 第 1 の ダ ウ ン サ ン プ リ ン グ

( down-sampling ) ID と 、

前記第 1 の ダ ウ ン サ ン プ リ ン グ回 路 に よ っ て ダ ゥ ンサ ン プル さ れた ア ル フ ァ マ ッ プ信 号 を 元 の サ イ ズ に 戻すた め 与 え ら れ る サ イ ズ変換率情報 に従 っ た 拡大 率 で ア ル フ ァ マ ッ プ信 号 を ア ッ プサ ン プル （ u p - sample ) し 、 ア ル フ ァ マ ッ プ局部復 号信 号 を 出 力 す る ア ッ プサ ン プ リ ン グ回 路 と 、

先 の 再生画像信 号 と 動 き べ ク ト ル信 号 と に 基づ い て 動 き 補償信号 を 生成す る 動 き 補償 回 路 と 、

前記動 き 補償信 号 を 前記縮小率 で ダ ウ ン サ ン プ ルす る 第 2 の ダ ウ ン サ ン プ リ ン グ回 路 と 、

前記第 1 の ダ ウ ンサ ン プ リ ン グ回 路 に よ っ て ダ ゥ ン サ ン プル さ れた ア ル フ ァ マ ッ プ信 号 を 前記第 2 の ダ ウ ン サ ン プ リ ン グ回 路 の ダ ウ ン サ ン プル動 き 補償予 測信 号 に従 っ て 2 値画像 に符 号化 し 、 2 値画像符 号化 信号 を 出 力 す る 2 値画像符 号化 回 路 と 、

前記 2 値画像符 号化信 号 と サ イ ズ変換率 の 情報 と を 多重化 し て 出 力 す る 多重化 回 路 と 、

で構成 さ れ る ア ル フ ァ マ ッ プ符 号化装置。

2 . 前記動 き 補償予測 回 路 は 、 先 の 再生画像信号 ( previous decoded ideo signal ) を 格納す る メ モ リ を 有 し 、 こ の メ モ リ に格納 さ れた 前記再生画像信 号 と 動 き べ ク ト ル信 号 に従 っ て 動 き 補償予測信号 を 生 成す る 請求項 1 の ア ル フ ァ マ ッ プ符 号化装置。

3 . 前記第 1 ダ ウ ン サ ン プ リ ン グ回 路 は 、 前記 ア ル フ ァ マ ッ プ信 号 を M X N 画素 （ M : 水 平方 向 の 画素数 、 N : 垂直方 向 の 画素数） の ブ ロ ッ ク 単位 で受 け 、 前記 ア ル フ ァ マ ッ プ信 号 を ブ ロ ッ ク 単位 で符 号化す る 請求 項 1 の ア ル フ ァ マ ッ プ符 号化装置。

4 . 符 号化 ア ル フ ァ マ ッ プ信 号カゝ ら ア ル フ ァ マ ッ プ 符号 と サイ ズ変換率情報符 号 と を 分離す る 分離回 路 と 、 前記ア ル フ ァ マ ッ プ符 号 を 復号 し 、 2 値画像 に 戻す 2 値画像複 号化 回 路 と 、

前記 2 値画像複 号化 回 路 か ら の ア ル フ ァ マ ッ プ 符号で あ る 2 値画像 を 、 前記サ イ ズ変換率情報符 号 に 従 っ て ア ッ プサ ン プル し て 再生画像信 号 と し て 出 力 す る ア ッ プサ ン プ リ ン グ回 路 と 、

先 に復 号化 さ れた 画像信 号 と 動 き べ ク ト ル信号 と 基づ い て 動 き 補償信 号 を 生成す る 動 き 補償 回 路 と 、

前記動 き 補償信 号 を 、 前記サ イ ズ変換率情報 に従 つ て ダ ウ ンサ ン プル し 、 ダ ウ ンサ ン プル さ れた 動 き 補 償信号 を 前記 2 値画像復 号化 回 路 に 出 力 す る ダ ウ ンサ ン プ リ ン グ回 路 と 、

に よ り 構成 さ れ、

前記 2 値画像復 号化 回 路 は前記動 き 補償予測信 号 と 前記サ イ ズ変換率情報 に従 っ て 前記ア ル フ ァ マ ッ プ 符 号 を復 号す る 、

ア ル フ ァ マ ッ プ復号化装匱。

5 . オブ ジ ェ ク ト の形状 を 表すア ル フ ァ マ ッ プ信 号 を M X N 画素 （ M ： 水 平方 向 の 画素数 、 N ： 垂 直方 向 の 画素数） の プ ロ ッ ク 単位 で分割 し て 得 ら れ る 複数 の ア ル フ ァ マ ッ プ信号プ ロ ッ ク を 受 け る 入力 部 と 、

前記ア ル フ ァ マ ッ プ信号 に つ い て 、 ブ ロ ッ ク 近 傍の 再生信号 （ decoded signal )を含 む フ レ ー ム の 再生信 号 と 、 符 号化 が 終了 し た フ レ ー ム の 再生信 号 を 蓄 え る フ レ ー ム メ モ リ と 、

フ レ ー ム メ モ リ 内 のす で に符 号化 が 終了 し た フ レ ー ム の 再生信号 を 用 い て 、 動 き 補償予測値 を 生成す る 動 き 補償予測手段 と 、

プ ロ ッ ク 毎 に 2 値画像 を サ イ ズ変換す る 手段 と 、 サ イ ズ変 率 ( size conversion ratio )を サ イ ド情報 と し て符 号化す る 手段 と 、

プ ロ ッ ク 毎 に縮小 さ れた 2 値画像 を 符 号化す る 2 値画像符 号化手段 と 、

に よ り 構成 さ れ る ア ル フ ァ マ ッ プ符 号化器 ( alpha-map encoder ) ¾r 有 し 、

前記ア ル フ ァ マ ッ プ符 号化器 は前記プ ロ ッ ク の 再生画像 を 、 プ ロ ッ ク 内 を 2 値の 何れか一方 の値 に全 て 置 き 換 え た再生値 と 、 動 き 補償予測値 と 、 ブ ロ ッ ク 毎 に サ イ ズ変換す る こ と に よ り 得 ら れた 再生値 と の う ち の 何れかか ら 選択す る 、 画像符 号化装置。

6 . ォ ブ ジ ェ ク ト を 含 む方形領域 を 、 M X N 画素 ( M : 水 平方 向 の 画素数、 N : 垂直方 向 の 画素数） の 単位 で分割す る こ と に よ っ て 得 ら れ る 複数 の 画像 プ ロ ッ ク を 順次受 け る 画像 プ ロ ッ ク 入力 部 と 、

ブ ロ ッ ク 近傍 の 再生信 号 を 含 む該 フ レ ー ム の 再 生信 号 と 符号化終 了 済 み フ レ ー ム の 再生信号 を 蓄 え る フ レ ー ム メ モ リ と 、

フ レ ー ム メ モ リ 内 の 符 号化終了 済 み フ レ ー ム の 再生信 号 を用 い て 、 動 き 補償予測値 を 生成す る 動 き 補 償予測手段 と 、

プ ロ ッ ク 毎 に 2 値画像 を サ イ ズ変換す る 手段 と 、 サ イ ズ変換率 を サイ ド情報 と し て 符 号化す る 手 段 と 、

ブ ロ ッ ク 毎 に縮小 さ れた 2 値画像 を 符 号化す る 2 値画像符 号化手段 と 、

2 値画像符 号化 の 符 号化順序 を ブ ロ ッ ク 内 で変 更す る 手段 と 、

力 ら な る ア ル フ ァ マ ッ プ符 号化器 を備 え 、 前記ア ル フ ァ マ ッ プ符 号化器 は前記 プ ロ ッ ク の 再生画像 を 、 ブ ロ ッ ク 内 を 2 値 の 何れか一方 の値で全 て 置 き 換 え た再生値 と 、 動 き 補償予測値 と 、 ブ ロ ッ ク 毎 に サ イ ズ変換す る 事 で得 ら れた 再生値の う ち の 何れ かか ら 選択す る 、 画像符 号化装置。

7 . 前記 2 値画像符 号化手段 は 、 切 り 換 え 情報 に応 じ て複数種 の 符 号化手法 の 1 つ を 選択 し 、 前記切 り 換 え 情報 を符 号化 し て 送 る 請求項 6 の 画像符 号化装置。

8 . ア ル フ ァ マ ッ プ符 号化手段 はオブ ジ ェ ク ト を含 む方形領域 を サイ ズ変換す る 手段 と 、 サ イ ズ変換率 を サ イ ド情報 と し て符 号化す る 手段 と を 有 し 、 前記縮小 さ れた方形領域 を 符号化対象 と す る 請求項 6 の 画像符 号化装置。

9 . ブ ロ ッ ク 近傍 の 再生信号 を含 む フ レ ー ム の 再生 信 号 と 、 複 号化済 み フ レ ー ム の 再生信 号 を 蓄 え る フ レ — ム メ モ リ と 、

フ レ ー ム メ モ リ 内 の す で に複 号化 が 終了 し た フ レ ー ム の 再生信 号 を用 い て 、 動 き 補償値 を 生成す る 動 き 補償手段 と 、

プ ロ ッ ク 毎 に 2 値画像 を サ イ ズ変換す る 手段 と 、 ブ ロ ッ ク 毎 に縮小 さ れた 2 値画像 を 複 号化す る

2 値画像複号化 手段 と か ら な る ア ル フ ァ マ ッ プ復 号化 器 を 有 し 、

前記ア ル フ ァ マ ッ プ複 号化器 は 、 前記 ブ ロ ッ ク の 再生画像 を 、 プ ロ ッ ク 内 を 2 値の何れか一方 の値で 全て 置 き 換 え た 再生値 と 、 動 き 補償予測値 と 、 前記縮 小 さ れた 2 値画像 を 拡大す る こ と で得 ら れた 再生値 の う ち の何れかか ら 選択す る 、

画像復 号化装置。

1 0 . プ ロ ッ ク 近傍 の 再生信号 を含 む該 フ レ ー ム の 再 生信 号 と 、 す で に複 号化 が 終了 し た フ レ ー ム の 再生信 号 を 蓄 え る フ レ ー ム メ モ リ と 、

フ レ ー ム メ モ リ 内 の すで に復 号化 が 終了 し た フ レ ー ム の 再生信号 を 用 い て 、 動 き 補償値 を 生成す る 動 き 補償手段 と 、

ブ ロ ッ ク 毎 に 2 値画像 を サ イ ズ変換す る 手段 と 、 プ ロ ッ ク 毎 に縮小 さ れた 2 値画像 を 復 号化す る 2 値面像複 号化手段 と 、

2 値画像復 号化 の複 号化順序 を プ ロ ッ ク 内 で変 更す る 手段 と カゝ ら な る ア ル フ ァ マ ッ プ複 号化器 と 、

を 有 し 、

前記 ア ル フ ァ マ ッ プ復 号化器 は 、 前記 ブ ロ ッ ク の 再生画像 を 、 ブ ロ ッ ク 内 を 2 値の 何れか一方 の値で 全て 置 き 換 え た再生値 と 、 動 き 補償予測値 と 、 プ ロ ッ ク 毎 に サイ ズ変換す る 事 で得 ら れた再生値の う ち の 何 れか か ら 選択す る 、 画像復 号化装置。

1 1 . 前記 ア ル フ ァ マ ッ プ複 号化手段 は 、 複 号化手法 の 異 な る 複数種 の 2 値画像複 号化手段 を 有 し 、 こ れ ら を 切 り 換 え 情報 に よ り 選択切 り 換 え し て使用 す る 請求 項 1 0 の 画像復号化装置。

1 2 . 前記 ア ル フ ァ マ ッ プ複 号化手段 は 、 オブ ジ ェ ク ト を含 む方形領域 を 拡大す る 手段 を備 え 、 縮小 さ れた 方形領域 を 拡大 し て 復 号化す る 請求項 1 0 ま た は 1 1 の 画像復 号化装置。

1 3 · オブ ジ ェ ク ト を含 む 、 ブ ロ ッ ク サ イ ズの倍数で 表 さ れ る 領域 を 設 定す る 手段 と 、 前記領域 を複数の プ ロ ッ ク に 分割す る 手段 と を 有 し 、 各 ブ ロ ッ ク に 対 し て 、 各 々 の 属性 に 固 有 の ラ ベ ル を 割 り 当 て る ラ ベル付 け 手段 と 、

前記 ラ ベル情報 と 領域の サ イ ズ を フ レ ー ム 毎 に 保持す る メ モ リ と 、

前記 メ モ リ に 蓄積 さ れた ラ ベ ル情報 を 、 現 フ レ ー ム の領域 の サ イ ズ に合わせ て 変 更す る サ イ ズ変 更手 段 と 、

該 ブ ロ ッ ク 近傍 の 再生済 み の プ ロ ッ ク の ラ ベノレ 情報 を保持す る メ モ リ と を備 え 、

該ブ ロ ッ ク の ラ ベル情報 を 、 前記サイ ズ変 更 手 段 よ り 供給 さ れ る ラ ベル情報 と 該 ブ ロ ッ ク 近傍 の プ ロ ッ ク の ラ ベル情報 の いずれか を 用 レ、 て 符 号化す る 、 画 像符 号化装置。

1 4 . ブ ロ ッ ク 毎 に ァ ノレ フ ァ マ ッ プ信 号 を プ ロ ッ ク 毎 の 属性 と 共 に符 号化 し て 得 ら れ る 符 号化デー タ を 受 け る 入力 部 と 、

前記符 号化デー タ の ラ ベル情報 と 領域の サ イ ズ を フ レ ー ム 毎 に保持す る メ モ リ と 、

前記 メ モ リ に 蓄積 さ れて い る ラ ベ ル情報 を 、 現 フ レ ー ム の領域 の サイ ズ に 合 わせ て 変 更す る サ イ ズ変 更 手段 と 、

前記ブ ロ ッ ク 近傍の 再生済 み の ブ ロ ッ ク の ラ ベ ル情報 を保持す る メ モ リ と を備 え 、

現 フ レ ー ム の ラ ベ ル情報 を 、 前記サ イ ズ変 更 手 6 9 段 よ り 供給 さ れ る ラ ベル情報 と 該 プ ロ ッ ク 近傍 の ブ ロ ッ ク の ラ ベル情報の いずれか を 用 い て 復 号化す る 画像 複 号化装置

1 5 . 画像 を 、 そ の 画像 の オブ ジ ェ ク ト 領域 と 背景領 域 に 区別す る た め の 情報 で あ る ア ル フ ァ マ ッ プ信 号 を 受 け る 入力 部 と

ォブ ジ ェ ク ト を含 む 、 プ π ッ ク サ イ ズの倍数 で 表 さ れ る 符号化領域 を 設 定す る 手段 と 、

HU 記領域 を複数 の ブ ロ ッ ク に 分割す る 手段 と 、 各 ブ Π -y ク に対 し て 、 各 々 の 属性 に 固 有 の ラ ベ ル を 割 り 当 て る ラ ベル付 け 手段 と 、

nn 記 ラ ベル あ る い は前記ァ ル フ ァ マ ッ プ信 号 を フ レ ー ム 毎 に保持す る 記億手段 と 、

現 フ レ一ム の 符 号化 プ ロ ッ ク に対応す る 前 フ レ ー ム の 参 照 ブ 口 ッ ク を 決定す る 決定手段 と 、

少 な < と も 前記記憶手段 に保持 さ れた 前 フ レ ー ム の ラ ベ /レ あ る い は ァ ノレ フ ァ マ ッ プ と 、 前記参 照 プ ロ ッ ク に よ つ て 予測値 を 決定す る 予測手段 と 、

刖 目己符 号化 プ ロ ッ ク の ラ ベ ノレ情報 を 、 前記予測 値 を用 い て符号化す る 符 号化手段 と

に よ り 構成 さ れ る 画像符 号化装置。

1 6 . プ ロ ッ ク 近傍 の 再生信 号 を含 む フ レ ー ム の 再生 信 号 を 蓄 え る フ レ ー ム メ モ リ と

ブ 口 ッ ク 毎 に 2 値画像 を サ イ ズ変換す る 手段 と プ 口 ッ ク 毎 に縮小 さ れた 2 値画像 を 復 号化す る 2 値画像復 号化手段 と カゝ ら な る ア ル フ ァ マ ッ プ復 号化 器 を 有 し 、

ブ ロ ッ ク の 拡大 に お い て は 、 既 に符号化 し た ブ ロ ッ ク の 再生値 を 参 照 し な が ら 拡大す る 画像復 号化装 置。

1 7 . オブ ジ ェ ク ト を含 む M X N 画素 （ M : 水 平方 向 の 画素数 、 N : 垂直方 向 の 画素数） の 符 号化画像 プ ロ ッ ク を 入力 と す る 入力 部 と 、

ブ ロ ッ ク 近傍 の 再生信 号 を 含 む フ レ ー ム の 再生 信 号 を 蓄 え る フ レ ー ム メ モ リ と 、

ブ ロ ッ ク 毎 に 2 値画像 を サ イ ズ変換す る 手段 と 、 プ ロ ッ ク 毎 に縮小 さ れた 2 値画像 を 複 号化す る 2 値画像復 号化手段 と か ら な る ア ル フ ァ マ ッ プ複 号化 器 を ¾ し 、

前記ア ル フ ァ マ ッ プ複 号化器は 、 ブ ロ ッ ク の 拡 大処理時 、 既 に符 号化 し た プ ロ ッ ク の 再生値 を 参 照 し て 処理す る か 、 若 し く は参 照 し な い で処理す る かいず れか を 切 り 替 え て 処理実行す る 機能 を備 え る 画像復 号 化装置。

1 8 . オブ ジ ェ ク ト を含 む方形領域 を 、 M X N 画素

( M : 水 平方 向 の 画素数 、 N : 垂直方 向 の 画素数） の 単位 で分割す る こ と に よ っ て 得 ら れ る 複数の 画像 プ ロ ッ ク を順次受 け る 画像 プ ロ ッ ク 入力 部 と 、

オ ブ ジ ェ ク ト の 形状 を表す 2 値画像 で あ る ア ル フ ァ マ ッ プ信 号 に つ い て 、 前記各 ブ ロ ッ ク を そ の ブ ロ ッ ク の 水平 · 垂直方 向 共 に l Z 2 ⁿ ( n = 0 , 1 2 3 ， ··· ) に縮小処理す る 手段 と 、

刖記 is小処理 さ れた プ ロ ッ ク を 拡大処理す る 拡 大 回 路 と を 有 し 、 符 号化 に あ た っ て は レ ー ト 制御 の た め に n の値 を 送 る 手段 と 、

を 具備 し

刖 記拡大 回 路 は 、

前記ブ ロ ッ ク の 近傍再生値 を保持す る メ モ リ と 該 ブ 口 ッ ク の 縮小率 に応 じ て 前記 メ モ リ に保持 さ れた 再生値 を 1 Z 2 ⁿ に縮小す る こ と で参 照 画素 値 を 求 め る 手段 と 、

水 平 · 垂直方 向 共 に 2 倍 に 拡大す る 処理 を n 回 繰 り 返す こ と で元 の サ イ ズ に拡大す る 拡大処理手段 と を備 え 、

前記拡大処理手段 に お い て は 、 常 に 1 Z 2 ⁿ に縮小 さ れた 参 照 画素値 を 用 い る 画像符 号化装置。 1 9 . 水 平 · 垂直共 に l / 2 ⁿ ( n = l ， 2 ， 3 ，

… ） に縮小 さ れた 2 値画像 の プ ロ ッ ク を 拡大す る 拡大 回路 で め っ て ゝ

該ブ 口 ッ ク 近傍再生値 を保持す る メ モ リ と 、 該 ブ 口 ッ ク の 縮小率 に応 じ て 前記 メ モ リ に保持 さ れた再生値 を 1 / 2 n に縮小す る こ と で参 照 画素 値 を 求 め る 手段 と 、

水 平 ' 垂直共 に 2 倍 に 拡大す る 処理 を n 回繰 り 返す こ と で元 の サ イ ズ に 拡大す る と 共 に 、 こ の 拡大処理 に 2 お い て は 、 常 に 1 Z 2 ⁿ に縮小 さ れた 参 照 画素値 を 用 い る 拡大処理手段 と 、

を 具備す る 画像複 号化装置。

2 0 . オブ ジ ェ ク ト を 含む方形領域 を 、 M X N 画素 ( M : 水平方 向 の 画素数 、 N : 垂直方 向 の 画素数） の 単位で分割す る こ と に よ っ て 得 ら れ る 複数の 画像 プ ロ ッ ク を 順次受 け る 画像 プ ロ ッ ク 入力 部 と 、

前記 フ レ ー ム 内 に お い て 、 オブ ジ ェ ク ト を含 む プ ロ ッ ク サ イ ズの倍数で表 さ れ る 領域 を設 定す る 設 定 手段 と 、

刖 目 ΰ設 定手段 に よ り 設 定 さ れた領域 内 を プ ロ ッ ク に分割す る 分割手段 と 、

分割 さ れた 前記 プ ロ ッ ク 内 を 動 き 補償予測す る た め に必要 な 動 き べ ク ト ル を 予測符 号化す る 手段 と 、 参 照 フ レ一ム 内 の領域の フ レ ー ム 内 に お け る 位 置 を 表す第 1 の位置べ ク ト ル を保持す る メ モ リ と 、 該 フ レ一ム 内 領域 の フ レ ー ム 内 で の位置 を 表す 第 2 の位置べ ク ト ル を符 号化す る 符 号化手段 と 、

符 号化対象 プ ロ ッ ク 近傍 の 再生済みの プ ロ ッ ク の動 き べ ク ト ル を保持す る 動 き べ ク ト ル メ モ リ と 、 m 記動 き べ ク ト ル メ モ リ に 蓄 え ら れて レ、 る 動 き べ ク ト ル を用 い て 、 符 号化対象 ブ ロ ッ ク の動 き べ ク ト ル を 予測す る 手段 と 、

を 具備 し 、

m 記予測手段 に お い て使用 す る 動 き べ ク ト ルが 前記動 き ク ト ノレ メ モ リ に存在 し な レヽ場合 に はデ フ ォ ル ト の 動 き べ ク ト ル を 予測値 と し 、 こ の デ フ ォ ル ト の 動 き べ ク 卜 ル は 第 1 の位置べ ク ト ル と 第 2 の位置べ ク ト ル と の 差分べ ク ト ノレ と 、 ゼ ロ べ ク ト ル を切 り 換 え て 用 い る 画像符号化装置

2 1 . ォプ ジ ェ ク ト を含 む Μ X Ν 画素 （ Μ : 水 平方 向 の 画素数 、 Ν ： 垂直方 向 の 画素数） の符 号化画像 プ ロ ッ ク を入力 と す る 入力 部 と 、

、 _ 一

刖 己 ブ ロ ッ ク 内 を 動 き 補償予測す る た め に 必要 な 、 予測符 号化 さ れた動 き べ ク ト ル を復 号す る 手段 と 参照 フ レ 一 ム 内 を 動 き 補償予測す る た め に 必要 な 、 予測符号化 さ れた動 き べ ク ト ル を 復 号す る 手段 と 参照 フ レ ー ム 内 の領域 の フ レ ー ム 内 で の位置 を 表す第 1 の位置べ ク ト ル を保持す る メ モ リ と 、

該 フ レ ー ム 内 の領域 の フ レ ー ム 内 で の位置 を 表 す第 2 の位置べ ク ト ノレ を復 号化す る 手段 と 、

復 号化対象 ブ ロ ッ ク 近傍 の補正済 みの プ ロ ッ ク の動 き べ ク ト ル を保持す る 動 き べ ク ト /レ メ モ リ と 、 刖 己動 き べ ク 卜 ノレ メ モ リ に保持 さ れた 動 き べ ク ト ル を 用 い て 、 復 号化対象 プ ロ ッ ク の動 き べ ク ト /レ を 予測す る 予測手段 と を 有 し 、

m 記予測手段 で使用 す る た め の 動 き べ ク ト ルが 刖 sti動 さ ク ト ノレ メ モ リ に存在 し な い場合 に はデ フ ォ ノレ ト の動 き べ ク ト ル を 予測値 と し 、 こ の デ フ ォ ル ト の 動 き べ ク 卜 ルは第 1 の位置べ ク ト ル と 第 2 の位置べ ク ト ノレ と の差分べ ク ト ル と 、 ゼ ロ べ ク ト ノレ の レ、ずれ力 と す る 画像復 号化装置。