WO2008065822A1

WO2008065822A1 - Encoding device and encoding method

Info

Publication number: WO2008065822A1
Application number: PCT/JP2007/070156
Authority: WO
Inventors: Toshihiro Tanaka
Original assignee: Panasonic Corporation
Priority date: 2006-11-28
Filing date: 2007-10-16
Publication date: 2008-06-05
Also published as: CN101502122B; US20090263036A1; CN101502122A; EP2088784A4; US8170359B2; EP2088784A1; JP5231243B2; JPWO2008065822A1; EP2088784B1

Description

明細書

符号化装置及び符号化方法

技術分野

[0001] 本発明は、符号化装置及び方法に関し、特に、算術符号化を適用した符号化装置及び方法に関する。

背景技術

[0002] 算術符号化は、情報源シンボルの発生確率に応じて、情報量を理論的限界まで可逆圧縮できる技術である。算術符号化は、画像符号化の分野において、 JPEG2000 規格 (ISO/lEC15444)、 Η· 264/MPEG4—AVC規格（非特許文献 1参照）等に採用されている。

[0003] 例えば、 H. 264においては、コンテキスト適応算術符号化（CABAC : Context Adaptive Binary Arithmetic Coding)が採用され、シンタックスの確率特十生に応じた効率の高!/、符号化を実現して!/、る。

[0004] H. 264におけるコンテキスト適応算術符号化について説明する。図 9に、従来のコンテキスト適応算術符号化回路を示す。

[0005] 図 9に示すコンテキスト適応算術符号化回路 14において、 2値化回路 130は、変換係数データ、フラグ等の符号化情報力なる多値入力データの 2値化を行う。ここで、 2値化は、制御情報から入力データの種類であるシンタックスエレメント（syntax ele ment)を判別し、データの確率特性によって、ユーナリ一.バイナライゼーシヨン（un ary binarization)や固/ ノィフ'フイセーシヨン (fixed— length binarization といった複数の方式を使い分けながら行われる。 2値化回路 130により 2値化された 2 値シンボル (バイナリ）列は、（2値)算術符号化回路 140に入力される。

[0006] コンテキスト計算回路 520は、シンタックスエレメントを示す制御情報に基づいて、 2 値シンボル列における現在の 1ビットを符号化するために用いるコンテキストインデッタス（ctxldx)の値を、 H. 264規格で定められたテーブルを参照して一意に決定する。コンテキスト計算回路 520は、 ctxldxの値毎に発生確率情報を初期化して記憶する。発生確率情報は、 2値シンボルの「0」又は「1」のうち発生確率の高い方のシンボルを示す MPSと発生確率 pStateの組である。求められた ctxldxの値に対応した発生確率情報を「コンテキスト情報」と呼ぶ。

[0007] コンテキスト計算回路 520はコンテキスト情報 504を生成して算術符号化回路 140 に出力する。このように、算術符号化を行うシンタックスエレメントによって算術符号化回路 140に入力されるシンボルの発生確率すなわちコンテキスト情報 504が適応的に切り替わることにより、 2値シンボルの発生確率が動的に変わる 2値シンボル列 503 に対して、最適な算術符号化が可能となる。

[0008] 以下の説明にお!/、て、 2値シンボル列の総ビット長（シンボル長）を「シンボル量」、算術符号化後の出力符号の総ビット長を「符号量」といい、特に、一定区間の多値入力データを処理した際に発生する、 2値シンボル列の総ビット長を「発生 2値シンボル量」、出力符号の総ビット長を「発生符号量」と呼ぶ。

[0009] 算術符号化回路 140の動作について図 10を用いて説明する。図 10において、シンボル「0」の発生確率が 0. 75 (2進数で 0. 11)、シンボル「1」の発生確率が 0. 25 の情報源から { 0, 0, 0, 1 }のノイナリ列が供給された場合を考える。この場合、現在のコンテキスト情報 504は、発生確率の高い方のシンボルを示す MPS = 0、及び発生確率 pState = 0. 1 1で表される（図 10 (a)参照）。発生確率 pStateは、正規化された整数値で表現されるが、ここでは簡単化のため 2進数の値とする。コンテキスト情報 504は、今回の 2値算術符号化により更新され、コンテキスト計算回路 520に戻される。コンテキスト計算回路 520では、対応する ctxldxの発生確率情報を更新する。この値は、次回に同じコンテキストの符号化が行われる際に再利用される。

[0010] 図 10 (b)を参照し、 1個目の入力バイナリ値「0」が入力されると、 [0, 1]の区間が確率 0. 11で区切られる 0側に区間が狭められ、 [0, 0. 11]になる。 2個目の入力「0」が入力されると、 [0, 0. 11]の区間が [0, 0. 1001]に狭められる。ここで、 0· 1001 = 0. 11 X 0. 11である。同様にして、 3ί固目の人力「0」により区 ΓΡΙカ [0, 0. 011011 ]になる。 4個目の入力「1」が入力されると、 1側に区間に狭められる。最終的な区間 (ま [0. 01010001 , 0. 011011] ίこなる。この最終白勺な区曰こ含まれるィ直のうち、最短の語長を持つものが符号語となる。すなわち、 0. 011は、この区間に含まれるので、小数点以下の値「011」が出力バイナリ列となり、 4ビットの入力値が 3ビットに圧縮されたことになる。実際には、出力するビット（0もしくは 1)が確定した時点で確率値の左ビットシフトを行うリノ一マライゼーシヨン（renormalization)と呼ばれる処理が行われる。

[0011] 一方、動画像符号化においては、特定のビットレートの条件下で画質を最大限に高めるため、各マクロブロックを符号化する際の量子化パラメータを適切に制御して、符号量制御を行う必要がある。符号量制御の精度を高めるため、スライス、フレーム、 GOP (Group Of Pictures)といった単位でパラメータを変更して繰返し符号化を行うことが一般的である。

[0012] 特許文献 1 :特開平 2004— 135251号公報

非特許文献 1 : I≥>〇 IEC14496— 10 Advanced video coding for generic audiovisual services

発明の開示

発明が解決しょうとする課題

[0013] 算術符号化を用いた符号化回路を構成する場合、デコーダにおける最大処理量を規定する目的から、 2値シンボル量の上限値（BinCountsInNALunits)が規定されている（非特許文献 1参照)。この上限値の規定を順守するために、符号量と 2値シンボル量を制御する必要がある。この上限値の規定により、回路の動作時間の上限値を規定すること力 Sできる。例えば、特許文献 1では、算術符号化器に入力する 2値シンボル量の制限監視器を用意し、閾値を超えた場合には符号化し直すか、並列に複数の符号化パラメータを適用する符号化を行うことにより、 2値シンボル量を制御している。

[0014] 符号化し直す場合、前述したように既に更新された算術符号化の発生確率情報を元に戻す必要があり、リアルタイムでの処理が要求される符号化装置においては複雑な回路構成が必要となる。また、並列に複数の符号化パラメータを適用して符号化する場合、算術符号化回路が符号化パラメータの数だけ必要となり、回路規模の増大を招来する。

[0015] 本発明は上記課題を考慮してなされたものであり、その目的とするところは、算術符号化を適用した符号化装置であって、簡単な回路構成で、 2値シンボル量を上限値以下に制御しつつ復号動作の保証された符号化を行い、同時に精度良く符号量制御を実現する符号化装置を提供することにある。

課題を解決するための手段

[0016] 本発明の第 1の態様において、入力信号を量子化し、符号化する装置であって、量子化により生成される 2値シンボルのシンボル量の上限値が定められている符号化装置を提供する。

[0017] 符号化装置は、入力信号に対して所定の信号処理を行う信号処理回路と、第 1の量子化パラメータを生成する量子化パラメータ発生回路と、所定の信号処理がなされた入力信号を、第 1の量子化パラメータに基づき量子化して第 1の量子化データを生成する第 1の量子化回路と、第 1の量子化データに対して 2値化を行い、第 1の 2値シンボルデータを出力する第 1の 2値化回路と、第 1の 2値シンボルデータに対して所定の目標符号量に基づき算術符号化を行い、第 1の符号化データを生成する第 1の算術符号化回路と、第 1の 2値シンボルデータのシンボル量、第 1の符号化データの符号量、第 2の量子化パラメータ、シンボル量の上限値、及び目標符号量に基づいて、第 2の量子化パラメータを生成する量子化パラメータ算出回路と、第 2の量子化ノラメータに基づいて、所定の信号処理がなされた入力信号を量子化し、第 2の量子化データを生成する第 2の量子化回路と、第 2の量子化データに対して 2値化を行い、第 2の 2値シンボルデータを出力する第 2の 2値化回路と、第 2の 2値シンボルデータに対して算術符号化を行い、入力信号に対する符号化データを生成し、出力する第 2の算術符号化回路とを備える。

[0018] 本発明の第 2の態様において、入力信号を量子化し、符号化する方法であって、量子化により生成される 2値シンボルのシンボル量に上限値が定められている符号化方法を提供する。

[0019] 符号化方法は、入力信号に対して所定の信号処理を行うステップと、第 1の量子化ノラメータを生成するステップと、所定の信号処理がなされた入力信号を、第 1の量子化パラメータに基づき量子化して第 1の量子化データを生成するステップと、第 1 の量子化データに対して 2値化を行い、第 1の 2値シンボルデータを出力するステツプと、第 1の 2値シンボルデータに対して所定の目標符号量に基づき算術符号化を行い、第 1の符号化データを生成するステップと、第 1の 2値シンボルデータのシンポル量、第 1の符号化データの符号量、第 2の量子化パラメータ、シンボル量の上限値、及び目標符号量に基づいて、第 2の量子化パラメータを生成するステップと、第 2の量子化パラメータに基づいて、所定の信号処理がなされた入力信号を量子化し、第 2の量子化データを生成するステップと、第 2の量子化データに対して 2値化を行い、第 2の 2値シンボルデータを出力するステップと、第 2の 2値シンボルデータに対して算術符号化を行い、入力信号に対する符号化データを生成し、出力するステップとを含む。

発明の効果

[0020] 本発明によれば、算術符号化を用いた符号化装置において、簡単な回路構成で、発生 2値シンボル量を上限値以下に制御して、同時に精度良く出力ビットストリームの符号量制御を行うことが可能となり、符号量を所定量以内に精度良く収めかつ復号動作の保証されたビットストリームを提供することを可能とする。

図面の簡単な説明

[0021] [図 1]本発明の実施の形態における映像符号化装置の構成図

[図 2]符号化される画像とマクロブロックの関係を説明した図

[図 3]仮量子化パラメータの選択例を示す図

[図 4] (a)代表量子化パラメータの具体例を説明した図、（b)プログレッシブ方式の場合のマクロブロックへの代表量子化パラメータの適用例を示した図、（c)インターレース方式の場合のマクロブロックへの代表量子化パラメータの適用例を示した図

[図 5]2値シンボル量'符号量積算値メモリに格納される、代表量子化パラメータ毎の発生 2値シンボル量と発生符号量の具体例を示した図

[図 6]発生 2値シンボル量に基づく最適量子化パラメータの算出方法を説明するための図

[図 7]発生符号量に基づく最適量子化パラメータの算出方法を説明するための図

[図 8]本発明の思想が適用可能な符号化装置の構成図

[図 9]従来のコンテキスト適応算術符号化回路の構成を示す図

[図 10]2値算術符号化を説明するための図符号の説明

[0022] 100 映像符号化装置

101 第一の符号化回路

102 第二の符号化回路

111 量子化パラメータ発生回路

112 量子化パラメータ算出回路

121、 122 量子化回路

124 逆量子化回路

131、 132 2値化回路

131 コンテキスト選択回路

141、 142 算術符号化回路

151 フレームメモリ

152 予測モードメモリ

153 2値シンボル量.符号量積算値メモリ

161 , 162 プ'ロックィ匕回路

171、 172 イントラ予測生成回路

173 予測モード検出回路

181、 182 DCT回路

184 逆 DCT回路

200 符号化装置

221、 222 量子化回路

251 遅延メモリ

261、信号処理回路

発明を実施するための最良の形態

[0023] 以下、本発明の実施形態について添付の図面を参照しながら説明する。

[0024] 本実施形態では、フレーム内で復号可能なイントラフレームを符号化対象として、符号化により得られる 2値シンボル量を所定の上限値以下に制御しつつ、精度良く符号量制御を行う映像符号化装置について説明する。 [0025] 1. 映像符^ Hh 置の構成

図 1に、本発明の実施の形態における映像符号化装置の構成を示す。図 1において、映像符号化装置 100は、仮符号化を行う第一の符号化回路 101と、正規の符号化を行う第二の符号化回路 102と、フレームメモリ 151と、予測モードメモリ 152と、 2 値シンボル量 .符号量積算値メモリ 153と、 2値シンボル量 '符号量積算回路 154とを備える。

[0026] 第一の符号化回路 101は、入力したディジタル映像信号をブロック化するためのブロック化回路 161と、予測モード検出回路 173と、イントラ予測生成回路 171と、直交変換回路としての DCT回路 181と、量子化回路 121と、量子化パラメータ発生回路 1 11と、 2値化回路 131と、算術符号化回路 141とから構成される。

[0027] 第二の符号化回路 102は、入力したディジタル映像信号をブロック化するためのブロック化回路 162と、イントラ予測生成回路 172と、 DCT回路 182と、量子化回路 12 2と、量子化パラメータ算出回路 112と、 2値化回路 132と、算術符号化回路 142と、逆量子化回路 124と、逆 DCT回路 184とから構成される。

[0028] 2. i の作

以上のように構成された映像符号化装置について、以下その動作を説明する。最初に、 1フレームの映像データに対する符号化処理の流れについて説明する。

[0029] 映像符号化装置 100は 1フレームのディジタル映像信号を入力すると、第一の符号化回路 101により 1フレーム分の映像信号の仮符号化処理を行う。

[0030] 映像符号化装置 100に入力されたディジタル映像信号はまたフレームメモリ 151に格納され、 1フレーム以内の所定時間だけ遅延され、第二の符号化回路 102に出力される。第二の符号化回路 102はフレームメモリ 151からデータを読み出し、読み出したデータに対して正規の符号化処理を行い、符号化された結果としてビットストリームを出力する。

[0031] 第一の符号化回路 101において、予測モード検出回路 173は、イントラ予測の予測モードを検出し、その値を予測モードメモリ 152に格納する。また、 2値化回路 131 及び算術符号化回路 141から出力された 2値シンボル量及び符号量が 2値シンボル •符号量積算値メモリ 153に格納される。 [0032] 第二の符号化回路 102は、予測モードメモリ 152に格納された予測モード値、及び 2値シンボル量.符号量積算値メモリ 153に格納された 2値シンボル量と符号量の積算値を受けて最適な量子化パラメータを決定し、第一の符号化回路 101で処理されたフレームと同じフレームの映像信号に対して正規の符号化処理を行う。

[0033] 2. 1 第一の符号化回路の処理

第一の符号化回路 101の処理を説明する。

ブロック化回路 161は、入力された 1フレームのディジタル映像信号が示す画像を 1 6 X 16画素の複数のマクロブロックに分割する。マクロブロックは DCTやイントラ予測の処理単位となるブロックを複数個含む。

[0034] イントラ予測生成回路 171は、マクロブロック毎に、入力されたディジタル映像信号の画素と、入力されたディジタル映像信号の画像に隣接する画素とから、そのマクロブロックの各画素の値を種々の予測モードで予測する。予測モードには、フィールドマクロブロック復号フラグ（mb— field— decoding— flag)、輝度 4 X 4イントラ予測モード（Intra4x4PredMode)、輝度 8 X 8イントラ予測モード（Intra8x8PredMode) 、色差イントラ予測モード（intra— chroma— pred— mode)が含まれる。イントラ予測は 8 X 8画素ブロックや 4 X 4画素ブロックの単位で行われてもよ!/、。

[0035] 予測モード検出回路 173は、 4つの予測モードの中から最適な予測モードを検出し、その情報を予測モード値として出力する。予測モード値は予測モードメモリ 152に蓄積される。

[0036] 入力されたディジタル映像信号における符号化対象のマクロブロックの各画素値と、イントラ予測生成回路 171により生成された、符号化対象のマクロブロックの各画素の予測値との差分値が計算されて、 16 X 16画素の差分値のブロックが生成され、 D CT回路 181に出力される。

[0037] DCT回路 181は、差分値のブロックに対して DCT処理を行う。 DCT処理は、通常

4 X 4画素や 8 X 8画素のブロック単位で行われ、周波数成分の係数データが出力される。係数データは量子化回路 121に入力される。量子化回路 121は、係数データを量子化パラメータに応じて量子化する。量子化パラメータは量子化パラメータ発生回路 11 1により与えられる。 [0038] 量子化パラメータ発生回路 111は量子化の際の量子化レートを規定する量子化パラメータを発生させる。本実施形態において、量子化パラメータの取り得る値は 0〜5 1とし、その値が小さいほど、より高い量子化レートを示すものとする。量子化パラメ一タ発生回路 111は、発生させる量子化パラメータの候補として、複数の量子化パラメータ（以下「代表量子化パラメータ」とレ、う） qpを有して!/、る。量子化パラメータ発生回路 11 1は、マクロブロック毎に、複数の代表量子化パラメータ qpの中から 1つを選択して、そのマクロブロックの量子化に対する量子化パラメータ QPとして出力する。量子化パラメータ発生回路 1 11の量子化パラメータの決定処理の詳細は後述する。

[0039] 量子化回路 121により量子化された係数データは、 2値化回路 131にて 2値化され、その後、算術符号化回路 141により算術符号化される。 2値シンボル量'符号量積算回路 154は、 2値化回路 131から出力される 2値シンボルのシンボル量と、算術符号化回路 141から出力される符号の符号量とを、同一の量子化パラメータが適用されるマクロブロック群毎に積算し、積算した値を 2値シンボル量 ·符号量積算値メモリ 153に格納する。

[0040] 本実施形態では、仮符号化にお!/、て、イントラ予測の予測画素はディジタル映像信号から得る。 H. 264規格が規定するイントラ予測の予測画素は、デコーダが用いる、復号された値である力 S、以下の理由により、これを用いないのが望ましい。

[0041] 第一に、仮符号化では量子化パラメータを量子化パラメータ発生回路 111により変化させて符号量及び 2値シンボル量を出力するため、復号画素を用いると、量子化パラメータの値が大きい時に復号画素の精度が悪くなり、以降のマクロブロックの予測画素の精度が低下してしまう。第二に、復号画素を用いないことで、仮符号化における逆量子化回路及び逆 DCT回路を省略でき、回路規模を削減できるからである。

[0042] 2. 2 第二の符号化回路の処理

第二の符号化回路 102の処理について説明する。

第一の符号化回路 101により 1フレームの仮符号化が終了すると、フレームメモリ 1 51に蓄積された 1フレームの映像信号が第二の符号化回路 102のブロック化回路 1 62に入力される。ブロック化回路 162は 1フレームの映像信号の画像を 16 X 16画素の複数のマクロブロックに分割する。 [0043] イントラ予測生成回路 172は、予測モードメモリ 152から予測モード値を読み出し、その予測モード値が示す予測モードを用いて符号化対象のマクロブロックの各画素について画素予測値を求める。その際、イントラ予測生成回路 172がイントラ予測に用いる隣接画素の値は逆量子化回路 124及び逆 DCT回路 184により生成される。イントラ予測生成回路 172は、画素予測値と、符号化対象のマクロブロックの画素値との差分値を画素毎に計算して差分値のブロックを求める。

[0044] DCT回路 182は、このようにして求めた差分値のブロックに対して DCT処理を行い、周波数成分の係数データを出力する。係数データは量子化回路 122に入力される

[0045] 量子化回路 121は、係数データを量子化パラメータに応じて量子化する。量子化ノラメータは量子化パラメータ算出回路 112により算出される。量子化回路 121は、量子化した係数データを 2値化回路 132及び逆量子化回路 124に出力する。

[0046] 量子化パラメータ算出回路 112は、 2値シンボル量.符号量積算値メモリ 153から、第一の符号化狩生 101で求められた 2値シンボル量と符号化量を取得し、それらの値に基づいて量子化パラメータを決定する。量子化パラメータ発生回路 112の詳細な動作は後述する。

[0047] 2値化回路 132は量子化された係数データを 2値シンボルに変換する。算術符号化回路 142は、 2値化回路 132からの 2値シンボルを算術符号化し、その結果をビットストリームとして出力する。ここで、算術符号化回路 142については発生符号量の上限値を示す目標符号量が規定されて!/、る。

[0048] 一方、量子化回路 122により量子化された係数データは逆量子化回路 124により逆量子化され、その後、逆 DCT回路 184により逆 DCT処理される。これにより、イントラ予測に用いられる、符号化対象のマクロブロックの隣接画素の値が得られる。

[0049] 2. 3 第一の符号化回路における量子化パラメータ発生回路の動作

第一の符号化回路 101の量子化パラメータ発生回路 111による量子化パラメータの発生動作について説明する。なお、以下では、 1920 X 1080画素の 1フレームの仮符号化において、スライス単位に最適な量子化パラメータを算出する場合を説明する。なお、フレームを分割するスライスは任意の連続するマクロブロックの集合として定義される。

[0050] 図 2に示すように、 1920X1080画素のフレームは 16X16画素のマクロブロックが

8160 ( = 120X68)個で構成される。本例では、 1スライスが 2040個のマクロブロックを含み、 1フレームが 4個のスライスで構成される場合を考える。

[0051] 仮符号化の開始前に、第一の符号化回路 101の量子化回路 121で使用される仮量子化パラメータ QP (n)を決定する。仮量子化パラメータ QP (n)は、マクロブロック

1 1

毎に複数のパラメータ候補 (代表量子化パラメータ）の中から選択された 1つのパラメータに設定される。すなわち 1個のマクロブロックに対する仮量子化パラメータ QP (n

1

)は、任意の異なる Q種類の代表量子化パラメータ qp (X) (x = 0, 1, ···, Q— l)の

1

中から選択された 1つの仮量子化パラメータ qp (m)に設定される。なお、代表量子

1

化パラメータは、規定の量子化パラメータの最大値及び最小値を含むよう決定される

〇

[0052] 例えば、 0と 20の 2種類の代表量子化パラメータ qp (x) = {0, 20}を与える場合を

1

考える。ここで、 F(x) = {A , A , ···, A }(Aは整数）の表記は、 F(0)=A、 F(l)

0 1 Q-l n 0

=A、 ···、 F(Q— 1)=A を意味するものとする。各マクロブロックの仮量子化パラメ

1 Q-1

ータは、各代表量子化パラメータの出現頻度が等しくなるように、 2種類の代表量子化パラメータの中から選択される。この例では、半数のマクロブロックに量子化パラメータ「0」を、残り半数のマクロブロックに量子化パラメータ「20」を与える。また、仮量子化パラメータがスライス内で偏るのを防ぐため、スライス内に交互又はランダムに仮量子化パラメータを配置する。例えば、プログレッシブ走査においては図 3 (a)に示すように、通常のラスタスキャン順に交互に代表量子化パラメータを与え、インターレース走査では、図 3(b)に示すようにマクロブロックの対毎に交互に代表量子化パラメータを与えることができる。

[0053] 次に、仮符号化における代表量子化パラメータ qp (x) (x=0, 1, ···, Q— 1)の数

1

Qと、各値 qp (X)の決定方法について説明する。

1

[0054] 量子化回路 121で用いられる代表量子化パラメータの数 Qは、 1スライスに含まれるマクロブロックの数の約数に設定できる。このような方法で、代表量子化パラメータの数 Qを設定すれば、スライス内で各代表量子化パラメータが出現する回数を一定にできる。その際、走査方式がプログレッシブ方式の場合、代表量子化パラメータの数

Qとして、マクロブロック数の約数を選択できる。また、インターレース方式の符号化を行うためにマクロブロックを対にする場合は、 1スライスに含まれるマクロブロック数の半数の約数に設定できる。例えば、 1スライスに含まれるマクロブロック数が 2040であれば、代表量子化パラメータの数 Qとして、 5、 10、 20が選択できる。それぞれの Qの場合の、 1個のスライス内における各代表量子化パラメータの出現回数はそれぞれ 4 08回、 204回、 102回となる。

[0055] 代表量子化パラメータ qp (X)として、エンコーダで選択できる量子化パラメータの

1

範囲内から異なる値が Q個選択される。この場合、最適な符号化のための符号量予測が行い易くなるように、それらの値を適度に分散させるのが好ましい。

[0056] 例えば、 1スライスに含まれるマクロブロック数が 2040で、エンコーダで選択できる量子化パラメータが 0から 51の範囲である場合、代表量子化パラメータ qp (として、

1 図 4 (a) ίこ示すよう ίこ、 { 0, 4, 8, 12, 16, 22, 28, 34, 42, 51 }の Ιθί固の代表量子化パラメータが選択できる。このとき、プログレッシブ方式の場合は、図 4 (b)に示すように代表量子化パラメータが適用され、インターレース方式の場合は、図 4 (c)に示すように代表量子化パラメータが適用される。

[0057] 2. 4 2値シンボル量 ·符量精簞回路の動作

2値シンボル量.符号量積算回路 154は、第一の符号化回路 101における仮符号化の結果得られる 2値シンボル量と符号量について、同じ代表量子化パラメータを用いたマクロブロック毎に積算し、それぞれの積算した値を積算値メモリ 153に格納する。以下、この動作を具体的に説明する。

[0058] 第一の符号化回路 101による仮符号化処理では、 2040個のマクロブロックを含むスライス 1個に対し、同じ代表量子化パラメータ qp (X)を使用したマクロブロック毎に

1

発生 2値シンボル量 B (n)及び発生符号量 R (n)の総和を計算する。前記総和を Q

1 1

P別発生 2値シンボル量 b (X)、 QP別発生符号量 r (X)とし、 2値シンボル量'符号量

1 1

積算値メモリ 153に蓄積する。

[0059] 例えば、図 5の例では、図 5 (a)に示す代表量子化パラメータ qp (x)のそれぞれに

1

対して、図 5 (b)に示すような、代表量子化パラメータ毎に 2値シンボル量 B (n)の総和を取った QP別発生シンボル量 b (χ)、及び代表量子化パラメータ毎に発生符号

1

量 R (η)の総和を取った QP別発生符号量 r (x)が 2値シンボル量'符号量積算値メ

1 1

モリ 153に蓄積される。

[0060] 2. 5 第二の符号化回路における量子化パラメータ発生回路の動作

第二の符号化回路 102での符号化に適用する最適量子化パラメータ QP の算出

opt 方法を、図 6及び図 7を用いて説明する。ここで、ビットレート、フレームレート、フレームの複雑度、スライスの符号化タイプなどの情報を用いて割り当てたスライスの目標符号量 T及び上限 2値シンボル量 B をそれぞれ以下のように設定する。

max

スライスの目標符号量 T = 300000ビット

上限 2値シンボル量 Β = 595840ビット

max

[0061] 第二の符号化回路 102は、第一の符号化回路 101での仮符号化の結果得られた各代表量子化パラメータ毎の発生シンボル量 b (X)と発生符号量 r (X)と、上限 2値

1 1

シンボル量と目標符号量とに基づいて、最適量子化パラメータ QP を決定する。具

opt

体的には、量子化パラメータ算出回路 112は、 2値シンボル量に基づく最適量子化パラメータの算出と、符号量に基づく最適量子化パラメータの算出とを行い、それらの算出結果を比較し、大きレ、方の量子化パラメータを最適量子化パラメータとして採用する。以下、その詳細を説明する。

[0062] 最初に、図 6を参照して、 2値シンボル量に基づく最適量子化パラメータ候補 QP

bin の算出について説明する。図 6は、代表量子化パラメータ qp (X)と、各量子化パラメ

1

ータ QP別の、発生した 2値シンボル量 b (X)とに基づいて、量子化パラメータ QPと、

1

スライス単位で予測した 2値シンボル量の関係を示した図である。

[0063] QP別の発生 2値シンボル量 b (X)は、同じ量子化パラメータ QPが適用されたマク

1

ロブロックについて 2値シンボル量の総和を、各量子化パラメータ QP ( = x)毎に求めたものである。各量子化パラメータは 204個のマクロブロックに適用されるため、 b (X

1

)は 204個ずつのマクロブロックの 2値シンボル量の総和になっている。各量子化パラメータ QPに対するスライス単位の予測符号量は、 b (X)を 10倍することで求められる

1

[0064] 図 6にお!/、て、プロットしたスライス単位の予測 2値シンボル量を線形補間することで、全ての QP値（0≤QP≤51)に対するスライス予測 2値シンボル量を算出することができる。すなわち、スライスの上限 2値シンボル量 B ( = 595840)に対して図 6に示

max

す関係を用いて線形補間することで、発生する 2値シンボル量を上限 2値シンボル量以下に収める最適な量子化パラメータ QP を求めることができる。最適な量子化パラ

bin

メータ候補 QP は次式で求められる。

bin

QP =

bin

CEIL[q+{QP (q+1)— QP (q)}X{QXb (q)— B }

1 1 1 max

/{QXb (q)-QXb (q+1)}] (1)

1 1

[0065] なお、 CEIL [x]は x以上の最小の整数を返す関数である。 qは 0≤q≤Q— 1の整数であり、 QXb (q+1)≤B ≤QXb (q)を満たす値とする。ここでは、 1スライスを

1 max 1

通じて 1つの最適量子化パラメータを使用することとしている。また、すべての qに対し B 〉QXb (q)となる場合は q = 0、すべての qに対し B <Q Xb (q)となる場合は max 1 max 1

q = Q— lとする。このため、あらかじめ仮量子化パラメータとして QP (0)=min(QP

1

) =0、 QP (Q-l) =max(QP) =51としておくのが望ましい。

1

[0066] B =595840のとき、式（1)を用いて、最適量子化パラメータ候補 QP は 13と求

max bin められる。

QP =CEIL[12+ (16-12) X (623230— 595840)

bin

/(623230-388510)]

=13

[0067] 次に、図 7を参照し、符号量に基づく最適量子化パラメータ候補 QP の算出につ

code

いて説明する。図 7は、代表量子化パラメータ qp (X)と量子化パラメータ QP別の発

1

生した符号量 r (X)とに基づいて、量子化パラメータ QPとスライス予測符号量の関係

1

を示した図である。

[0068] QP別の発生符号量 r (x)は、同じ量子化パラメータ QPが適用されたマクロブロック

1

について符号量の総和を、各量子化パラメータ QP(=x)毎に求めたものである。各量子化パラメータは 204個のマクロブロックに適用されるため、 r (X)は 204個ずつの

1

マクロブロックの符号量の総和になっている。各量子化パラメータ QPに対するスライス予測符号量は、 r (X)を 10倍することで求められる。 [0069] 図 7にお!/、て、プロットしたスライス予測符号量を線形補間することで、全ての QP値 (0≤QP≤ 51)に対するスライス予測符号量を算出することができる。すなわち、スライスの目標符号量 T = 300000に対して図 6に示す関係を用いて線形補間することで、発生する符号量を目標符号量にするのに最適量子化パラメータ候補 QP を求

code めること力 Sできる。 QP の算出は、線形補間により次式で求められる。

code

QP =q+{QP (q+l)-QP (q)}X{QXr (q) -T}

code 1 1 1

/{QXr (q)-QXr (q+1)} (2)

1 1

[0070] なお、 qは 0≤q≤Q— lの整数であり、 QXr (q+l)≤T≤QXr (q)を満たす値と

1 1

する。ここでは、 1スライスを通じてひとつの最適量子化パラメータを使用することとしている。また、すべての qに対し T〉QXr (q)となる場合は q = 0、すべての qに対し T

1

く QXr (q)となる場合は q = Q— 1とする。

1

[0071] 式（2)を用いて最適量子化パラメータ候補 QP を計算すると約 16. 84となるが、

code

量子化パラメータは整数である必要があるので、小数点以下を四捨五入し、 17とす

QP =16+ (22-16) X (317850-300000)

code

/(317850— 190980)

= 16. 84 = 17

[0072] 量子化パラメータ算出回路 112は、以上のようにして求めた 2値シンボル量に基づく最適量子化パラメータ候補 QP と符号量に基づく最適量子化パラメータ候補 QP bin cod のうち、大きい方を選択して最適量子化パラメータ QP とし、量子化回路 122に出 e opt

力する。

[0073] 図 6及び図 7の例では、 QP =13、 QP =17であるから、 QP =17とする。この

bin code opt

ように、 QP 及び QP のうち大きい方を最適量子化パラメータ QP とすることにより

bin code opt

、入力データの統計的性質に応じて符号化を行うことが可能となり、発生符号量をより低く抑えること力 Sできる。つまり、相対的に 2値シンボル量が大きく符号量が小さい場合には QP が選ばれて、符号量は目標符号量よりある程度小さくなるものの 2値

bin

シンボル量の上限値は満たされる。逆に相対的に 2値シンボル量が小さく符号量が大きい場合には QP が選ばれて、 2値シンボル量は上限よりある程度小さく抑えられ目標符号量に近!、値に符号化することができる。

[0074] 3.まめ

以上のように本実施形態の映像符号化装置では、第 1の符号化回路 101による仮符号化において、まず複数の代表量子化パラメータのそれぞれについて、発生する 2値シンボル量及び発生する符号量を求める。その後、第 2の符号化回路 102において、仮符号化で求めた値に基づいて、上限 2値シンボル量及び目標符号量を考慮して最適な量子化パラメータを求める。このような方法により、一方向の処理の流れの中で最適な量子化パラメータを決定できるため、従来のように、更新された算術符号化の発生確率情報を元に戻すための複雑な回路構成が不要となり、また、並列に算術符号化回路を設ける必要もな!/、ので、回路構成が簡単になる。

[0075] また、本実施形態によれば、符号化により得られる 2値シンボル量を所定の上限値以下に抑制しつつ、発生する符号量を所定量以下に抑えることができる。よって、本実施形態の映像符号化装置は特にフレーム単位の符号量を一定にする場合に有効である。例えば、本実施形態の映像符号化装置は、フレーム単位の符号量に制限値がある符号化を行う場合や、フレーム単位の符号量に制限値がない符号化においても、デコーダバッファの状態がクリティカルで現在のフレームの符号量に制限値がある場合に有効である。その理由を以下に説明する。

[0076] 本実施形態の思想を用いずに、 2値シンボル量が所定の上限値を超え、符号量のみが制限値以下に抑制された場合を考える。この場合、非特許文献 1の符号化では、 cabac_zero_wordと呼ばれるスタッフイングを用いて符号量を増加させることで、 2値シンボル量の上限値の規定を順守する必要がある。しかし、符号量を増加させることで符号量が制限値を超えて、符号化を破綻させる可能性が生じてしまう。本実施形態は、制限値に対して計算された 2値シンボル量の上限値以下に 2値シンボル量を制御可能であるため、 cabac__Zer₀__WOrdのスタッフイングが必要となったとしても、符号量は必ず制限値以下に収まり破綻させることはない。よって、本実施形態の思想は前述の場合に特に有効となる。

[0077] (変形例）

なお、本実施の形態では、最適量子化パラメータ QP として固定値を与える例を示したが、例えば QP を N個のマクロブロックの符号化に対する初期値として用い、

opt

それ以降の量子化パラメータはフィードバック制御による 2値シンボル量及び符号量の制御を行い、最適量子化パラメータ QP (n)を動的に変更することが可能である。フィードバック制御は、例えば符号量に基づレ、て制御する場合、マクロブロック番号 mのマクロブロックにおいて、符号化時の発生符号量 R (n)を 0≤n≤mの範囲で加算した累積発生符号量 Bと、ある時点（例えばマクロブロック番号 N— 1)までの目標符号量 Tとの差分である残存符号量 (T— B)を、残存しているマクロブロック n (m<n ≤N— 1)の目標符号量 Sに設定することで実施できる。また、マクロブロックの輝度値や色差値、周波数領域での特徴等に基づいて量子化パラメータ QP (n)を動的に変更する処理も可能である。

[0078] 本実施の形態では、スライス単位で仮符号化及び正規の符号化を行ったが、より小さい単位で仮符号化及び正規の符号化を行って発生符号量 R (n)を得てもよい。その結果を量子化パラメータの選択に反映するような場合や、フィードバック制御を小さ V、単位で行う場合には、数マクロブロック等の小さレ、単位で実施しても効果的である。また、仮符号化及び正規の符号化の処理単位を固定していたが、仮符号化及び正規の符号化の処理単位をフレーム単位又はその他の単位で動的に変更させることも可能である。また、スライス予測符号量を線形補間して求めたが、スプライン補間等、高度な数値補間も利用できる。

[0079] 本実施の形態では QP別発生 2値シンボル量 b (X)及び QP別発生符号量 r (x)を

1 1

2値シンボル量 ·符号量積算値メモリ 153に蓄積する例で説明した力 S、総和を計算する前のマクロブロック毎の発生 2値シンボル量 B (n)及び発生符号量 R (n)を蓄積し

1 1

、 2値シンボル量 ·符号量積算値メモリ 153から読み出した後に総和を計算しても良い。

[0080] 本実施の形態では仮符号化処理を 1回のみ行う例を示したが、リアルタイムの符号化処理が必要でない場合や、仮符号化処理をパイプライン化又は並列化することにより一定の遅延で多くの処理が行える場合には、仮符号化処理を複数回行っても良い。

[0081] なお、本実施の形態では、映像符号化の H. 264規格におけるコンテキスト適応算術符号化を例にとって説明した。しかし、本発明の思想は、量子化された係数データに対して算術符号化を行う場合に適用でき、量子化パラメータを適応的に変更できる符号化装置に適用できる。

[0082] 例えば、図 8に示すよう符号化装置にも適用できる。図 8において、符号化装置 20 0は、入力信号に対して、仮符号化処理を行う第一の符号化回路 201と、正規の符号化を行う第二の符号化回路 202と、入力信号を遅延させる遅延メモリ 151と、 2値シンボル量 .符号量積算値メモリ 253と、 2値シンボル量 '符号量積算回路 254とを備 X·る。

[0083] 第一の符号化回路 201は、入力した信号に対して所定の信号処理を行う信号処理回路 261と、量子化回路 221と、量子化パラメータ発生回路 211と、 2値化回路 231 と、算術符号化回路 241とから構成される。

[0084] 第二の符号化回路 202は、入力した信号に対して所定の信号処理を行う信号処理回路 262と、量子化回路 222と、量子化パラメータ算出回路 212と、 2値化回路 232 と、算術符号化回路 242とから構成される。

[0085] 以上のように構成される符号化装置 200は仮符号化処理時には以下の動作を行う。信号処理回路 261は入力信号に対して所定の信号処理を行い、量子化回路 221 は量子化パラメータ発生回路 211からの仮量子化パラメータに基づき、信号処理回路 261から出力される信号を量子化する。量子化された信号は 2値化回路 231により 2値化され、その後、算術符号化回路 241により算術符号化される。 2値シンボル量- 符号量積算回路 254は、 2値化回路 231から出力される 2値シンボルのシンボル量と、算術符号化回路 241から出力される符号の符号量とを、所定の単位毎に積算し、積算した値を 2値シンボル量.符号量積算値メモリ 253に格納する。 2値シンボル量. 符号量積算回路 254の処理は前述したとおりである。

[0086] その後、第二の符号化回路 202により正規の符号化処理が実施される。信号処理回路 262は、遅延メモリ 251により一定時間遅延された入力信号に対して所定の信号処理を行う。量子化回路 222は所定の信号処理がなされた入力信号を量子化パラメータ算出回路 212からの量子化パラメータを用いて量子化を行う。量子化パラメータ算出回路 212における量子化パラメータの決定方法は前述したとおりである。その後、 2値化回路 232、算術符号化回路 242により処理がなされビットストリームが出力される。

[0087] 本実施の形態を用いて符号化したビットストリームは、テープ、光ディスク、磁気ディスク、半導体メモリ等の記録媒体に記録して再配布可能にすることができる。

[0088] また、図 1及び図 8の符号化装置における各回路の機能をソフトウェアにより実現し、マイクロプロセッサでそのソフトウェアを実行させることで、図 1及び図 8の符号化装置と同様の機能を実現することもできる。

産業上の利用可能性

[0089] 本発明は、ディジタルカメラレコーダや録画装置など小さい回路規模でリアルタイム動作が要求されるデータ記録装置に有効である。

[0090] 本発明は、特定の実施形態について説明されてきたが、当業者にとっては他の多くの変形例、修正、他の利用が明らかである。それゆえ、本発明は、ここでの特定の開示に限定されず、添付の請求の範囲によってのみ限定され得る。なお、本出願は日本国特許出願、特願 2006— 319981号（2006年 11月 28日提出）に関連し、それらの内容は参照することにより本文中に組み入れられる。

Claims

請求の範囲

[1] 入力信号を量子化し、符号化する装置であって、量子化により生成される 2値シンボルのシンボル量の上限値が定められている符号化装置において、

入力信号に対して所定の信号処理を行う信号処理回路と、

第 1の量子化パラメータを生成する量子化パラメータ発生回路と、

前記所定の信号処理がなされた入力信号を、前記第 1の量子化パラメータに基づき量子化して第 1の量子化データを生成する第 1の量子化回路と、

前記第 1の量子化データに対して 2値化を行い、第 1の 2値シンボルデータを出力する第 1の 2値化回路と、

前記第 1の 2値シンボルデータに対して所定の目標符号量に基づき算術符号化を行い、第 1の符号化データを生成する第 1の算術符号化回路と、

前記第 1の 2値シンボルデータのシンボル量、前記第 1の符号化データの符号量、第 2の量子化パラメータ、前記シンボル量の上限値、及び前記目標符号量に基づいて、第 2の量子化パラメータを生成する量子化パラメータ算出回路と、

前記第 2の量子化パラメータに基づいて、前記所定の信号処理がなされた入力信号を量子化し、第 2の量子化データを生成する第 2の量子化回路と、

前記第 2の量子化データに対して 2値化を行い、第 2の 2値シンボルデータを出力する第 2の 2値化回路と、

前記第 2の 2値シンボルデータに対して算術符号化を行い、前記入力信号に対する符号化データを生成し、出力する第 2の算術符号化回路と

を備えたことを特徴とする符号化装置。

[2] 前記量子化パラメータ算出回路は、

前記第 1の量子化パラメータ、前記第 1の 2値シンボルデータのシンボル量、及び前記シンボル量の上限値に基づいて第 1のパラメータ候補を生成し、

前記第 1の量子化パラメータ、前記第 1の符号化データの符号量、及び前記目標符号量に基づレ、て第 2のパラメータ候補を生成し、

前記第 1及び第 2のパラメータ候補を比較し、生成される符号化データの符号量力はり小さくなる方のパラメータ候補を、前記第 2の量子化パラメータに設定する、ことを特徴とする請求項 1に記載の符号化装置。

[3] 前記量子化パラメータ発生回路は、複数の代表量子化パラメータを有し、その複数の代表量子化パラメータの中から一つの代表量子化パラメータを選択して、前記第 1 の量子化パラメータとする、ことを特徴とする請求項 1に記載の符号化装置。

[4] 前記信号処理回路は、前記入力信号に対して所定の信号処理を行!/ \ N個（Nは

2以上の自然数）の信号を生成し、前記複数の代表量子化パラメータの数 Qは Nの約数であり、

前記量子化パラメータ発生回路は、前記信号処理回路から出力される連続した Q 個の前記信号に対して、互いに異なる Q個の代表量子化パラメータを割り当てることで前記第 1の量子化パラメータを生成する、ことを特徴とする請求項 3に記載の符号化装置。

[5] 前記複数の代表量子化パラメータは量子化パラメータの最大値及び最小値を含むことを特徴とする請求項 3記載の符号化装置。

[6] 前記信号処理回路は、映像信号を入力し、周波数成分に変換して係数データを生成し、出力する、ことを特徴とする請求項 1記載の符号化装置。

[7] 前記信号処理回路は、映像の 1フレームを複数ブロックに分割して得られるブロック毎に、そのブロックに含まれる画素及びそのブロックに隣接する画素に基づいて前記係数データを生成し、

前記信号処理回路は、前記第 1の量子化回路に入力される係数データの生成に用いる前記隣接画素は、入力された前記映像信号から抽出し、前記第 2の量子化回路に入力される係数データの生成に用いる前記隣接画素は、前記第 2の量子化デ一タを逆量子化した後に前記周波数成分から逆変換した信号から抽出することを特徴とする請求項 6に記載の符号化装置。

[8] 量子化パラメータ算出回路は、所定数のブロックにおいて前記第 1の 2値シンボルデータのシンボル量を同じ第 1の量子化パラメータ毎に積算した結果と、所定数のブロックにおいて前記第 1の符号化データの符号量を同じ第 1の量子化パラメータ毎に積算した結果とを用いて、第 2の量子化パラメータを生成する、ことを特徴とする請求項 7記載の符号化装置。 [9] 入力信号を量子化し、符号化する方法であって、量子化により生成される 2値シンボルのシンボル量に上限値が定められている符号化方法において、

入力信号に対して所定の信号処理を行うステップと、

第 1の量子化パラメータを生成するステップと、

前記所定の信号処理がなされた入力信号を、前記第 1の量子化パラメータに基づき量子化して第 1の量子化データを生成するステップと、

前記第 1の量子化データに対して 2値化を行い、第 1の 2値シンボルデータを出力前記第 1の 2値シンボルデータに対して所定の目標符号量に基づき算術符号化を行い、第 1の符号化データを生成するステップと、

前記第 1の 2値シンボルデータのシンボル量、前記第 1の符号化データの符号量、第 2の量子化パラメータ、前記シンボル量の上限値、及び前記目標符号量に基づいて、第 2の量子化パラメータを生成するステップと、

前記第 2の量子化パラメータに基づいて、前記所定の信号処理がなされた入力信号を量子化し、第 2の量子化データを生成するステップと、

前記第 2の量子化データに対して 2値化を行い、第 2の 2値シンボルデータを出力前記第 2の 2値シンボルデータに対して算術符号化を行い、前記入力信号に対する符号化データを生成し、出力するステップと

を含むことを特徴とする符号化方法。