CN101090494B - 活动图像编码/解码方法和设备 - Google Patents

Abstract

本发明公开一种视频解码方法和视频解码设备。所述视频解码方法包括：对包括预测误差信号的编码数据进行解码的步骤，所述预测误差信号表示预测图像信号相对于视频信号和运动矢量信息的误差；当在运动补偿预测编码中使用多个参考图像时，针对每一待编码块，根据基于多个参考图像之间的图像-图像间距所计算的预测参数产生第一预测图像信号的步骤；当图像-图像间距为0时或者当图像-图像间距未知或不确定时，根据多个参考图像的像素值的平均产生第二预测图像信号的步骤；以及使用第一和第二预测图像信号产生重放视频信号的步骤。

Description

活动图像编码/解码方法和设备

本发明申请是2003年11月18日提出的发明名称为“活动图像编码/解码方法和设备”、申请号为200380100231.X的发明申请的分案申请。

技术领域

本发明涉及一种对渐隐图像和叠化图像进行有效编码/解码的方法及其设备。

背景技术

在诸如ITU-TH.261、H.263、ISO/IEC MPEG-2和MPEG-4的视频编码标准方案中，运动补偿预测帧间编码被用作编码模式之一。当亮度在时间轴上不变化时，采取一种指示最高预测效率的模型作为运动补偿预测帧间编码中的预测模型。在图像亮度变化的渐隐图像的情况下，例如，在从黑图像到正常图像的淡入情况下，充分根据图像的亮度变化进行预测的方法还未知。因此，所存在的问题在于，为了保持渐隐图像中的图像质量需要大量编码比特。

例如，专利号3166716公开了一种通过检测渐隐图像区和改变其编码比特数的分配来处理这种问题的技术。具体地说，在淡出图像的情况下，为亮度变化的淡出的开始部分分配大量的编码比特。淡出的最后部分通常减少编码比特数的分配，因为这部分通常变成导致容易编码的单色图像。在这种情况下，无需增加总编码比特数就能改善总图像质量。

另一方面，专利号2938412公开了这样一种编码系统，该系统通过根据亮度变化量和对比度变化量两个参数补偿参考图像来处理渐隐图像中的上述问题。

ThomasWiegand和BerandGirod在“Multi-framemotion-compensated prediction for video transmission”(KluwerAcademic Publishers2001)中提供了一种基于多个帧缓冲器的编码系统。该系统打算通过有选择地从帧缓冲器中所保存的多个参考帧产生预测图像来改善预测效率。

专利号3166716的系统通过检测渐隐图像区和改变其编码比特数的分配来改善图像质量，而无需增加对渐隐图像进行编码时的总编码比特数。由于该原因，其优点在于，可以在现有编码系统的框架内实现编码。然而，由于本质上没有改善预测效率，因此，无法期待编码效率的显著改善。

另一方面，专利号2938412的系统的优点在于，针对渐隐图像的预测效率有所改善。然而，针对其中图像从一个图像到另一个图像渐变的所谓叠化图像(称之为交叉渐变图像)，无法得到足够的预测效率。

Thomas Wiegand和Berand Girod的系统无法充分处理渐隐图像和叠化图像，并且，即使准备多个参考帧也无法改善预测效率。

根据上述现有技术，要在高图像质量情况下编码的渐隐图像和叠化图像需要大量的编码比特。所存在的问题在于，无法期待编码效率的改善。

发明内容

本发明的目的在于，提供一种视频编码方法、视频解码方法及其设备，使得可以对其亮度随时间变化的诸如渐隐图像和叠化图像等视频图像进行高效编码，减少计算量。

在本发明的第一方面中，在视频编码方利用至少一个参考图像信号以及输入视频信号与参考图像信号之间的运动矢量对输入视频信号进行运动补偿预测编码的情况下，如果用于运动补偿预测编码的参考图像个数是单个，那么，使用第一预测图像信号产生方法：针对输入视频信号的每一待编码区域，根据从至少一个参考图像编号与预测参数的多个组合中所选择的组合中的参考图像编号与预测参数，产生预测图像信号。

另一方面，当用于运动补偿预测编码的参考图像个数是多个时，使用第二预测信号产生方法：针对每一待编码区域，根据基于多个参考图像的参考图像编号和多个参考图像的图像-图像间距所计算的预测参数，产生预测图像信号。

产生一种表示按这种方法所产生的预测图像信号相对于输入视频信号的误差的预测误差信号，然后，对指示预测误差信号与运动矢量信息的集合和所选组合与多个参考图像的参考图像编号的集合二者之一的索引信息进行编码。

在本发明的另一方面中，当输入视频信号的待编码区域的预测类型是把参考图像用于运动补偿预测编码的第一预测类型时，使用第一预测信号产生方法。当待编码区域的预测类型是双向预测类型而用于运动补偿预测编码的参考图像个数是多个时，使用第二预测信号产生方法。

另一方面，在视频解码方，将含有表示预测图像信号相对于视频信号的误差的预测误差信号、运动矢量信息以及将指示参考图像编号与预测参数的组合和多个参考图像的参考图像编号二者之一的索引信息的编码数据解码。当解码索引信息表示该组合时，根据组合中的参考图像编号与预测参数，产生预测图像信号。当解码索引信息表示多个参考图像的参考图像编号时，根据该参考图像编号和基于多个参考图像的图像-图像间距所计算的预测参数，产生预测图像信号。利用预测误差信号和按这种方法所产生的预测图像信号，产生重放视频信号。

根据这里所述的本发明，提供了：根据参考图像编号与预测参数的组合产生预测图像信号的第一预测图像产生方法，和利用基于所选多个参考图像的帧-帧间距所计算的预测参数产生预测图像信号的第二预测图像产生方法；并且，这两种方法都是根据用于运动补偿预测编码的参考图像个数和预测类型进行选择的。

因此，对于通过普通视频编码的预测系统无法适当地产生预测图像信号的输入视频信号(例如，渐隐图像和叠化图像等)，可以通过具有较高预测效率的预测系统来产生适当的预测图像信号。

此外，由于可以将每一像素的乘法次数设为一次，因此，无论在编码方还是解码方都能减少硬件规模和运算成本。

再者，虽然与参考图像编号和预测参数有关的信息没有从编码方发送到解码方，但在单独发送参考图像编号的情况下，发送了指示参考图像编号与预测参数的组合的索引信息或指示预测参数的组合的索引信息。因此，可以改善编码效率。

附图说明

图1是示出与本发明的第一实施例有关的视频编码设备的配置的框图。

图2是示出该实施例中帧存储器和预测图像发生器的详细配置的框图。

图3是示出用于该实施例的参考图像编号与预测参数的一例组合表的图解。

图4是示出该实施例中两个参考图像与待编码图像之间的第一位置关系的图解。

图5是示出该实施例中两个参考图像与待编码图像之间的第二位置关系的图解。

图6是示出该实施例中两个参考图像与待编码图像之间的第三位置关系的图解。

图7是示出该实施例中两个参考图像与待编码图像之间的第四位置关系的图解。

图8是示出每个宏块的预测方案(参考图像编号与预测参数的组合)选择和编码模式判定的一例过程的流程图。

图9是示出与该实施例相应的视频解码设备的配置的框图。

图10是示出图9中的帧存储器/预测图像发生器的详细配置的框图。

图11是示出针对每个块在对索引信息进行编码情况下的一例语法的图解。

图12是示出在利用单个参考图像产生预测图像的情况下的一例具体编码比特流的图解。

图13是示出在利用两个参考图像产生预测图像的情况下的一例具体编码比特流的图解。

图14是示出与本发明的实施例相应的根据待编码区域的类型来改变预测方案的过程的流程图。

实施本发明的最佳方式

下面将参照附图来描述本发明的实施例。

[第一实施例]

(关于编码方)

图1示出了与本发明的第一实施例有关的视频编码设备的配置。本例中，视频信号100例如以帧为单位输入到视频编码设备。该视频信号100输入到减法器101，通过得到与预测图像信号212的差来产生预测误差信号。预测误差信号和输入视频信号100二者之一通过模式选择开关102来选择，并通过正交变换器103进行正交变换，例如，离散余弦变换(DCT)。正交变换器103产生正交变换系数信息，例如，DCT系数信息。正交变换系数信息通过量化器104被量化，然后，量化正交变换系数信息210被输入到可变长度编码器111。

此外，量化正交变换系数信息210还被输入到本地解码器。在本地解码器中，量化正交变换系数信息210通过去量化器105和逆正交变换器106进行与量化器104和正交变换器103的过程相逆的过程，以重建一个与预测误差信号类似的信号。然后，利用加法器107将重建信号与通过开关109输入的预测图像信号212相加，以产生本地解码图像信号211。本地解码图像信号211输入到帧存储器/预测图像发生器108。

帧存储器/预测图像发生器108从预先准备的参考帧编号与预测参数的多个组合中选择一种组合。对所选组合中的参考帧编号所指示的参考帧的图像信号(本地解码图像信号211)根据所选组合中的预测参数进行线性和的计算。此外，本例中，根据预测参数，将偏移量与该线性和相加来产生帧单位的参考图像信号。然后，帧存储器/预测图像发生器108利用运动矢量对参考图像信号进行运动补偿，以产生预测图像信号212。

在该过程中，帧存储器/预测图像发生器108产生运动矢量信息214和指示所选择的参考帧编号与预测参数的组合的索引信息215，再将选择编码模式所必需的信息发送到模式选择器110。运动矢量信息214和索引信息215被输入到可变长度编码器111。帧存储器/预测图像发生器108如稍后所详述。

模式选择器110以宏块为单位根据来自帧存储器/预测图像发生器108的预测信息P选择编码模式，即选择帧内编码和运动补偿预测帧间编码二者之一，以输出开关控制信号M和S。

在帧内编码模式中，开关102和109被开关控制信号M和S切换到A侧，于是，输入视频信号100被输入到正交变换器103。在帧间编码模式中，开关102和109被开关控制信号M和S切换到B侧，于是，来自减法器101的预测误差信号被输入到正交变换器103，而来自帧存储器/预测图像发生器108的预测图像信号212被输入到加法器107。模式信息213从模式选择器110输出并被输入到可变长度编码器111。

在可变长度编码器111中，对正交变换系数信息210、模式信息213、运动矢量信息214和索引信息215进行可变长度编码。按这种方式产生的每一可变长度代码被复用，然后再经输出缓冲器115进行过滤。于是，输出缓冲器115输出的编码数据116被发送到传输系统或存储系统(未示出)。

编码控制器113对编码器112的控制(具体地说，例如输出缓冲器115的缓冲量)进行监测，并且，为了保持缓冲量不变，对编码参数比如量化器104的量化步长进行控制。

(关于帧存储器/预测图像发生器108)

图2示出了图1中的帧存储器/预测图像发生器108的详细配置。在图2中，图1中的加法器107所输入的本地解码图像信号211在存储器控制器201的控制下被保存在帧存储器组202中。帧存储器组202包括多个(N个)帧存储器FM1至FMN，用于暂时保存作为参考帧的本地解码图像信号211。

预测参数控制器203预先以表的形式准备了参考帧编号与预测参数的多个组合。预测参数控制器203选择基于输入视频信号100产生预测图像信号212所用的参考帧的参考帧编号与预测参数的组合，并输出指示所选组合的索引信息215。

多帧运动评估器204每个都根据预测参数控制器203所选择的参考帧编号与索引信息的组合产生参考图像信号。多帧运动评估器204根据该参考图像信号和输入图像信号100评估出运动量和预测误差，并输出使预测误差最小的运动矢量信息214。多帧运动补偿器205通过根据运动矢量对多帧运动评估器204针对每个块所选择的参考图像信号进行运动补偿，产生预测图像信号212。

(关于预测图像的产生)

下列公式(1)、(2)和(3)每一个都说明了使用预测参数控制器203所准备的参考图像编号和预测参数的一例预测公式。这里所示的例子说明了适用于以下情况的预测公式：情况一，利用单个参考图像(参考图像)对称之为所谓P图像的待编码图像进行运动补偿预测，以产生预测图像信号；情况二，只利用两个参考图像之一对称之为所谓B图像的待编码图像进行运动补偿预测，以产生预测图像信号。

$Y=\mathrm{clip}((D_1\left(i\right)\×R_Y\left(i\right)+2^{L_Y-1})>>L_Y+D_2\left(i\right))$

                            (1)

$\mathrm{Cb}=\mathrm{clip}((E_1\left(i\right)\×(R_{\mathrm{Cb}}\left(i\right)-128)+2^{L_C-1})>{>L}_C+E_2\left(i\right)+128)$

                            (2)

$\mathrm{Cr}=\mathrm{clip}((F{\left(i\right)}_1\×(R_{\mathrm{Cr}}\left(i\right)-128)+2^{L_C-1})>>L_C+F_2\left(i\right)+128)$

                            (3)

Y表示预测图像信号的亮度信号，Cb和Cr表示预测图像信号的两个色差信号，而RY(i)、RCb(i)和RCr(i)表示索引为i的参考图像信号的亮度信号和两个色差信号的像素值。D1(i)和D2(i)分别表示索引为i的亮度信号的预测系数和偏移量。E1(i)和E2(i)分别表示索引为i的色差信号Cb的预测系数和偏移量。F1(i)和F2(i)分别表示索引为i的色差信号Cr的预测系数和偏移量。索引i表示从0到(参考图像的最大个数-1)的值，并且，针对每个待编码块(例如每个宏块)被编码并由视频解码设备所发送。

预测参数D1(i)、D2(i)、E1(i)、E2(i)、F1(i)和F2(i)是预先在视频编码设备与解码设备之间所确定的值，或者是预定编码单位(比如帧、场或片段)，并且，通过与编码数据一起被编码并从视频编码设备被发送到解码设备，由这两个设备所共享。

公式(1)、(2)和(3)是预测公式，这些公式通过选择乘以参考图像信号的预测系数的分母，例如取2的幂，即2，4，8，16，...，使得可以避免除法处理，并且可以通过算术移位来计算。据此，可以避免由于除法处理所带来的计算成本的增加。

换言之，当公式(1)、(2)和(3)中的>>假定是a>>b时，它将是一个使整数a向右算术移位b比特的运算符。函数clip()是一种截取函数：当()中的值小于0时被设定为0，而当()中的值大于255时被设定为255，并从0回到255的整数。

L_Y是亮度信号的移位量，而L_C是色差信号的移位量。这些移位量L_Y和L_C采用预先由视频编码设备和解码设备所确定的值。或者，这些移位量可以按视频编码设备中所预定的编码单位(比如帧、场或片段)通过与表和编码数据一起被编码并被发送到视频解码设备，由这两个设备所共享。

在本实施例中，在图2中的预测参数控制器203中准备了如图3中所示的参考图像编号与预测参数的组合表。当参考图像个数为1时使用该表。图3中，索引i与针对每个块所能选择的预测图像相应。本例中，具有索引i相应为0-3的四种预测图像。参考图像编号是作为参考图像的本地解码图像的编号。图3中所示的表包括与公式(1)、(2)和(3)相应的指定给一个亮度信号和两个色差信号的预测参数D1(i)、D2(i)、E1(i)、E2(i)、F1(i)和F2(i)。

Flag是一种指示使用预测参数的预测公式是否应用于索引i所指定的参考图像编号的标志。

如果Flag为“0”，那么，利用索引i所指定的参考图像编号的本地解码图像而无需利用预测参数来进行运动补偿预测。

如果Flag为“1”，那么，通过利用预测参数和索引i所指定的参考图像编号的本地解码图像，根据公式(1)、(2)和(3)产生预测图像来进行运动补偿预测。Flag信息使用预先由视频编码设备和解码设备所确定的值。或者，该信息可以按视频编码设备中所预定的编码单位(比如帧、场或片段)通过与表和编码数据一起被编码并被发送到视频解码设备，由这两个设备所共享。

在这些例子中，当索引为i＝0(对于参考图像编号105)时，利用预测参数产生预测图像。在i＝1的情况下，无需利用预测参数来进行运动补偿预测。如这里所述，对于同一参考图像编号，可以有多个预测方案。

下列公式(4)、(5)和(6)示出了当利用两个参考图像产生预测图像信号时用于由预测参数控制器203所准备的参考图像编号和预测参数的一例预测公式。

P＝clip((W₀(i，j)×R(i)+W₁(i，j)×R(j)+2^L-1)>>L)

                                       (4)

W₀(i，j)＝2^L-W₁(i，j)     (5)

$W_1(i,j)=\left\{\begin{array}{cc}\mathrm{clip}2\left(\frac{U(n,i)\×2^L}{U(j,i)}\right),& U(i,j)\≠0\\ 2^{L-1},& U(i,j)=0\end{array}\right.---\left(6\right)$

由于建立了公式(5)的关系，因此，公式(4)可以变换成如下：

P＝clip((R(i)<<L+W(i，j)×(R(j)-R(i))+2^L-1)>>L)

                                            (7)

$W(i,j)=\left\{\begin{array}{cc}\mathrm{clip}2\left(\frac{U(n,i)\&times;2^L}{U(j,i)}\right),& U(i,j)\&NotEqual;0\\ 2^{L-1},& U(i,j)=0\end{array}\right.---\left(8\right)$

这表示在所谓B图像的情况下进行双向预测时的一例预测公式。存在两个索引i和j，R(i)和R(j)分别表示与索引i和j相应的参考图像。因此，假定两个信息项i和j作为索引信息被发送。W(i，j)表示索引i和j时的预测系数。用于计算预测系数的函数U是一种表示图像-图像间距的函数，于是U(i，j)表示索引i所指定的参考图像与索引j所指定的参考图像之间的间距。n表示当前所要编码的图像位置。

在本实施例中，假定较早的图像具有较小值的位置信息。因此，如果索引i所指定的参考图像在时间上比索引j所指定的参考图像更晚，那么U(i，j)>0。如果索引i和j在时间上表示同一参考图像，那么U(i，j)＝0。如果索引i所指定的参考图像在时间上比索引j所指定的参考图像更早，那么U(i，j)<0。当U(i，j)为0时，预测系数W假定为2L-1。

具体地，当前所要编码的待编码图像与两个参考图像之间的时间位置关系利用索引i和j可表示为如图4-7所示。图4说明了索引i所指定的参考图像与索引j所指定的参考图像之间插入待编码图像的一个例子。

Tn、Ti和Tj分别表示待编码图像、索引i所指定的参考图像和索引j所指定的参考图像的位置。越向右值越大。因此，建立了Ti<Tn<Tj的关系。用于计算预测系数W的函数U利用U(n，i)＝Tn-Ti和U(j，i)＝Tj-Ti获得，其中，U(n，i)>0，且U(j，i)>0。

图5说明了索引i所指定的参考图像和索引j所指定的参考图像两者在时间上与待编码图像n相比都处于过去位置的一个例子。换言之，U(n，i)>0，而U(j，i)≤0。

图6说明了索引i所指定的参考图像和索引j所指定的参考图像两者在时间上与待编码图像n相比都处于过去位置的另一个例子。换言之，U(n，i)>0，而U(j，i)≥0。

图7说明了索引i所指定的参考图像和索引j所指定的参考图像两者在时间上与待编码图像n相比都处于未来位置的一个例子。换言之，U(n，i)<0，且U(j，i)≥0。

L是公式(4)-(8)中的移位量。这些移位量采用预先在视频编码设备和解码设备之间所确定的值，或者可以通过按所预定的编码单位(比如帧、场或片段)与编码数据一起被编码从视频编码设备被发送到解码设备，并由这两个设备所共享。此外，公式(6)和(8)中的clip2的函数是这样一种函数：通过对利用clip2()的()中的值(简称为值)(即，图像-图像间距)进行计算得到的加权因子的最大值和最小值进行限定而返回一个整数。下文中将说明关于该函数clip2的多种配置例子。

函数clip2的第一配置是这样一种截取函数：当值小于-2^M时，使其为-2^M，而当值大于(2^M-1)时，使其为(2^M-1)。返回一个不小于-2^M且不大于(2^M-1)的整数。利用这种配置，如果像素为8比特，那么表示(R(j)-R(i))的值需要9比特，而表示预测系数W需要(M+10)比特。因此，可以计算运算精度为(M+10)比特的预测图像值。M假定是不小于L的非负整数。

函数clip2的第二配置假定是这样一种函数：具有如下规则，当值小于-2^M时，被设定为2^L-1，而当值大于(2^M-1)时，被设定为2^L-1，并返回一个不小于-2^M且不大于(2^M-1)的整数。利用这种配置，当两个参考图像之间的间距关系异常时，可以对所有图像都进行平均预测。

函数clip2的第三配置是这样一种截取函数：当值小于1时，设定为1，而当值大于2^M时，设定为2^M；和这样一种函数：返回一个不小于1且不大于2^M的整数。与函数clip2的第一配置相比其不同之处在于：预测系数W的值不会变成负数，从而使参考图像的位置关系有更多限制。因此，即使组合两个完全相同的参考图像，也能通过倒转索引i和j所指定的情况(如图5和6的关系)，对基于预测系数W的预测和平均预测进行相互转换。

函数clip2的第四配置是这样一种截取函数：当值小于0时，设定为0，而当值大于2^L时，被设定为2^L；和这样一种函数：返回一个不小于0且不大于2^L的整数。利用这种配置，预测系数W的值始终是不大于2^L的非负值，这样，就禁止了外推法预测。或者，也可以在双向预测中使用两个参考图像二者之一进行预测。

函数clip2的第五配置是这样一种截取函数：当值小于1时，设定为2^L-1，而当值大于2^L时，设定为2^L-1；和这样一种函数：返回一个不小于1且不大于2^L-1的整数。利用这种配置，预测系数W的值始终是不大于2^L-1的非负值，这样，就禁止了外推法预测。或者，可以用它来进行两个参考图像的平均预测。

当两个参考图像之间的间距未知或不明确时，例如，当参考图像二者之一或二者都是背景和存储的参考图像时，预测系数W假定被设定为值2^L-1。预测系数W可以预先按编码单位(比如帧、场或片段)进行计算。因此，即使当利用两个参考图像来产生预测图像信号时，针对每一像素也能经一次乘法完成计算。

P＝clip(R(i)+(W(i，j)×(R(j)-R(i))+2^L-1)>>L)

                                             (9)

公式(9)是对公式(4)修改后的另一例子。在公式(7)中，需要预先对R(i)进行向左算术移位L比特的运算。然而，在公式(9)中，通过将其从括号中引出而省略了算术移位。因此，可以从运算量中有效地减少该算术移位的运算量。代之以，进行移位时的舍入方向随R(i)和R(j)的值的大小关系而变。因此，得不到与公式(4)相同的结果。

可以利用下列公式(10)-(20)取代公式(4)-(8)。这是一种与利用单个参考图像产生预测图像的方法类似的方法，即一种通过产生索引i的单个参考图像的预测图像和索引j的单个参考图像的预测图像并对它们进行平均来产生最终预测图像的方法。由于在过程的中途步骤之前可以使用与利用单个参考图像的过程例程相同的过程例程，因此，该方法的优点在于，使得可以减少硬件量和代码量。

$P_Y\left(i\right)=(W_0\left(i\right)\&times;R_Y\left(i\right)+2^{L_Y-1})>>L_Y---\left(10\right)$

$P_Y\left(j\right)=(W_1\left(j\right)\&times;R_Y\left(j\right)+2^{L_Y-1})>>L_Y---\left(11\right)$

$P_{\mathrm{Cb}}\left(i\right)=(W_0\left(i\right)\&times;(R_{\mathrm{Cb}}\left(i\right)-128)+2^{L_C-1})>>L_C+128$

                                   (12)

$P_{\mathrm{Cb}}\left(j\right)=(W_1\left(j\right)\&times;(R_{\mathrm{Cb}}\left(j\right)-128)+2^{L_C-1})>>L_C+128$

                                   (13)

$P_{\mathrm{Cr}}\left(i\right)=(W_0\left(i\right)\&times;(R_{\mathrm{Cr}}\left(i\right)-128)+2^{L_C-1})>>L_C+128$

                                   (14)

$P_{\mathrm{Cr}}\left(j\right)=(W_1\left(j\right)\&times;(R_{\mathrm{Cr}}\left(j\right)-128)+2^{L_C-1})>>L_C+128$

                                   (15)

Y＝clip(P_Y(i)+P_Y(j)+1)>>1    (16)

Cb＝clip(P_Cb(i)+P_Cb(j)+1)>>1 (17)

Cr＝clip(P_Cr(i)+P_Cr(j)+1)>>1 (18)

$W_0(i,j)=\left\{\begin{array}{cc}{2}^{L+1}-\mathrm{clip}2\left(\frac{U(n,i)\&times;2^{L+1}}{U(j,i)}\right),& U(i,j)\&NotEqual;0\\ 2^L,& U(i,j)=0\end{array}\right.$

                         (19)

$W_1(i,j)=\left\{\begin{array}{cc}\mathrm{clip}2\left(\frac{U(n,i)\&times;2^{L+1}}{U(j,i)}\right),& U(i,j)\&NotEqual;0\\ 2^L,& U(i,j)=0\end{array}\right.$

                         (20)

(关于预测方案选择和编码模式判定的过程)

下面将参照图8描述本实施例中每个宏块的预测方案(参考图像编号与预测参数的组合)选择和编码模式判定的一例具体过程。

将可设定的最大值设为变量min_D(步骤S101)。LOOP1(步骤S102)表示在帧间编码时选择预测方案所用的重复过程。变量i表示图3中所示的索引的值。每一索引(参考图像编号与预测参数的组合)的评估值D根据与运动矢量信息214有关的编码比特的个数(可变长度编码器111输出的与运动矢量信息214相应的可变长度代码的编码比特的个数)和预测误差绝对值和来计算，使得可以得出每种预测方案的最佳运动矢量。选择使评估值D成为最小值的运动矢量(步骤S103)。将该评估值D与min_D进行比较(步骤S104)。如果评估值D小于min_D，那么设定评估值D为min_D，并用min_i代替索引i(步骤S105)。

计算帧内编码情况下的评估值D(步骤S107)。将该评估值D与min_D进行比较(步骤S108)。如果作为该比较的结果，min_D较小，那么将模式MODE判定为帧间编码(INTER)，并用min_i代替索引信息INDEX(步骤S109)。如果评估值D较小，那么将模式MODE判定为帧内编码(INTRA)(步骤S108)。评估值D设定是同一量化步长的编码比特个数的估算值。

(关于解码方)

下面将描述与图1中所示的视频编码设备相应的视频解码设备。图9示出了与本实施例相应的视频解码设备的配置。从图1中所示配置的视频编码设备发出的并通过传输系统或存储系统传送的编码数据300一度被保存在输入缓冲器301中。输入缓冲器301的编码数据300由去复用器302针对每一帧根据语法进行分解，然后被输入到可变长度解码器303。可变长度解码器303对编码数据300的每一语法的可变长度代码进行解码，以再现量化正交变换系数、模式信息413、运动矢量信息414和索引信息415。

再现信息的量化正交变换系数通过去量化器304进行去量化。去量化系数通过逆正交变换器305进行逆正交变换。当模式信息413指示帧内编码模式时，重放图像信号从逆正交变换器305输出，并通过加法器306作为最终重放图像信号310输出。当模式信息413指示帧间编码模式时，预测误差信号从逆正交变换器305输出，此外接通模式选择开关309。通过加法器306将预测误差信号与帧存储器/预测图像发生器308输出的预测图像信号412相加，输出重放图像信号310。重放图像信号310作为参考图像信号被保存在帧存储器/预测图像发生器308中。

模式信息413、运动矢量信息414和索引信息415被输入到帧存储器/预测图像发生器308。模式信息413被输入到模式选择开关309，该选择开关在帧间编码模式情况下被接通而在帧内编码模式情况下被断开。

帧存储器/预测图像发生器308准备了与图1中所示的帧存储器/预测图像发生器108类似地所准备的参考图像编号与预测参数的多个组合的一个表，并从表中选择索引信息415所指定的一种组合。所选组合中的参考图像编号所指定的参考图像的图像信号(重放图像信号310)根据所选组合的预测参数进行线性和。此外，将根据预测参数的偏移量与再现图像信号310相加。结果，产生参考图像信号。此后，通过利用运动矢量信息414所指示的运动矢量对所产生的参考图像信号进行运动补偿，产生预测图像信号212。

(关于帧存储器/预测图像发生器308)

图10示出了图9中的帧存储器/预测图像发生器308的详细配置。在图10中，图9中的加法器306所输出的再现图像信号310在存储器控制器401的控制下被保存在帧存储器组402中。帧存储器组402包括多个(N个)帧存储器FM1至FMN，用于暂时保存作为参考图像的重放图像信号310。

预测参数控制器403如图3中那样预先以表的形式准备了参考图像编号与预测参数的组合，并选择产生预测图像信号412所用的参考图像的参考图像编号与基于来自图9中的可变长度解码器303的索引信息415的预测参数的组合。多帧运动补偿器404根据预测参数控制器403所选择的参考图像编号与索引信息的组合产生参考图像信号。通过根据来自图9中的可变长度解码器303的运动矢量信息414所指示的运动矢量以块为单位对参考图像信号进行运动补偿，产生预测图像信号412。

(关于索引信息的语法)

图11示出了针对每个块在对索引信息进行编码时的一例语法。每个块都有模式信息MODE。根据模式信息MODE判断是否对指示索引i的值的索引信息IDi和指示索引j的值的索引信息IDj进行编码。在编码索引信息之后，对用于索引i的运动补偿预测的运动矢量信息MVi和用于索引i和索引j的运动补偿预测的运动矢量信息MVj进行编码，作为每个块的运动矢量信息。

(关于编码比特流的数据结构)

图12示出了针对每个块在利用单个参考图像产生预测图像时的一例具体编码比特流。在模式信息MODE之后，处理索引信息IDi，然后再处理运动矢量信息MVi。运动矢量信息MVi通常是二维矢量信息。此外，可以根据模式信息所指定的块的运动补偿方法，发送多个二维矢量。

图13示出了针对每个块在利用两个参考图像产生预测图像时的一例具体编码比特流。在模式信息MODE之后，处理索引信息IDi和索引信息IDj，然后再处理运动矢量信息MVi和运动矢量信息MVj。运动矢量信息MVi和运动矢量信息MVj通常是二维矢量信息。此外，可以根据模式信息所指定的块的运动补偿方法，发送多个二维矢量。

根据上述的本实施例，当利用单个参考图像产生预测图像时，将预测系数和偏移量作为预测参数，通过线性预测来产生预测图像。这种方法使得可以为与通过组合单色图像所得到的图像相应的场图像产生适当的预测图像。在从参考图像编号与预测参数的多个组合中简单地选择一种组合的方法中，当存在多个参考图像时，针对每一像素必须进行多次乘法运算。这增加了计算量。然而，在本实施例中，每一像素的必要乘法可以是一次。

另一方面，当利用两个参考图像产生预测图像信号时，利用根据两个参考图像之间的间距所得到的加权因子和偏移量，通过得到这两个参考图像的加权平均来产生预测图像。这种方法使得可以为混有两个图像的叠化图像产生适当的预测图像。此时，如果使用本实施例中所用的公式，那么，每一像素的必要乘法可以是一次。

根据这里所述的本实施例，可以通过对每一像素进行一次乘法来为渐隐图像以及叠化图像产生适当的预测图像。由于每一像素进行一次乘法，因此，无论在编码方还是解码方都能减少硬件规模和运算成本。

在以上描述中，产生预测图像的方法可以根据参考图像的个数而变。然而，产生预测图像的方法还可以以图像为单位或以片段为单位根据称之为所谓图像类型或片段类型的预测类型的不同而不同。当只利用参考图像中的二者之一时(例如在B图像的情况下)，不是利用预测参数产生预测图像，而是利用常规本地解码图像进行运动补偿预测。

参照图14，描述了一种预测图像产生过程，该过程采用以下方法：根据预测类型的不同以及参考图像的个数来改变预测图像产生方法。本例中，以片段为单位来改变产生预测图像的方法。

判定作为待编码区域的待编码片段的预测类型(称为片段类型)，将其划分成三个片段，即：对待编码片段进行帧内编码(帧内预测)的I片段；利用单个参考图像进行预测(单向预测)的P片段；和利用最多两个参考图像进行预测(双向预测)的B片段(步骤S201)。

如果作为步骤S201的判定结果，待编码片段是I片段，那么，进行帧内编码(帧内编码)(步骤S202)。如果待编码片段是P片段，那么，采用如上所述的基于一个参考图像与预测参数的组合的预测方案(步骤S203)。

如果待编码片段是B片段，那么，检查参考图像的个数(步骤204)，并根据检查结果改变预测方案。换言之，如果待编码片段是B片段，且参考图像是单个，那么，采用常规运动补偿预测(步骤205)。如果待编码片段是B片段，且使用两个参考图像，那么，采用与这两个参考图像的图像-图像间距相应的预测方案(步骤206)。

[第二实施例]

下面将描述本发明的第二实施例。本实施例中的视频编码设备和视频解码设备的整个配置基本上与第一实施例的情况类似。因此，只描述与第一实施例的不同之处。本实施例说明了当第一实施例与其他方案相结合时的一个例子。

下面的公式(21)是使用两个参考图像进行所谓B图像的双向预测的预测公式，并且是对两个参考图像的运动补偿预测图像进行简单平均的第一方法。

P＝(R(i)+R(j)+1)>>1                           (21)

在第一方法中，用于在公式(4)-(6)、公式(7)-(8)、公式(9)或公式(10)-(20)任一所示的预测公式与公式(21)所示的预测公式之间进行变化的变化信息(变化标志)按预定编码单位(比如帧、场或片段)与编码数据一起被编码，并从视频编码设备被发送到解码设备，以便由这两个设备所共享。换言之，公式(4)-(6)、公式(7)和(8)、公式(9)或公式(10)-(20)任一中所示的预测公式和公式(21)所示的预测公式根据需要而变。

根据第一方法，取决于图像-图像间距的加权平均和参考图像的简单平均可以适应地变化，从而可以期待预测效率的改善。由于公式(21)不含乘法，因此，不会增加计算量。

公式(22)-(27)和公式(28)-(33)说明了一种利用参考图像为单个时的预测参数来产生两个参考图像的预测参数的方法。本实施例说明了这些方法与第一实施例相结合的一个例子。首先，公式(22)-(27)说明了通过对参考图像为单个时的预测公式的值进行平均来得到预测值的第二方法。

$P_Y\left(i\right)=(D_1\left(i\right)\&times;R_Y\left(i\right)+2^{L_Y-1})>>L_Y+D_2\left(i\right)$

                                      (22)

$P_{\mathrm{Cb}}\left(i\right)=(E_1\left(i\right)\&times;(R_{\mathrm{Cb}}\left(i\right)-128)+2^{L_C-1})>>L_C+E_2\left(i\right)+128$

                                      (23)

$P_{\mathrm{Cr}}\left(i\right)=(F{\left(i\right)}_1\&times;(R_{\mathrm{Cr}}\left(i\right)-128)+2^{L_C-1})>>L_C+F_2\left(i\right)+128$

                                      (24)

Y＝clip((P_Y(i)+P_Y(j)+1)>>1)     (25)

Cb＝clip((P_Cb(i)+P_Cb(j)+1)>>1)  (26)

Cr＝clip((P_Cr(i)+P_Cr(j)+1)>>1)  (27)

PY(i)、PCb(i)和PCr(i)分别是亮度信号Y、色差信号Cb和色差信号Cr的预测值的中间结果。

在第二方法中，用于在公式(4)-(6)、公式(7)-(8)、公式(9)或公式(10)-(20)任一所示的预测公式与公式(22)-(27)所示的预测公式之间进行变化的变化信息(变化标志)按预定编码单位(比如帧、场或片段)与编码数据一起被编码，并从视频编码设备被发送到解码设备，以便由这两个设备所共享。如这里所述，公式(4)-(6)、公式(7)和(8)、公式(9)或公式(10)-(20)任一中所示的预测公式和公式(22)-(27)所示的预测公式根据需要而变。

根据第二方法，取决于图像-图像间距的加权平均和基于简单地利用两个参考图像的线性预测的预测图像可以适应地变化，从而可以期待预测效率的改善。然而，根据公式(22)-(27)中所示的预测类型，尽管每一像素的乘法次数为两次，但仍有预测系数的自由度提高的优点。因此，可以期待预测效率的进一步改善。

公式(28)-(33)作为另一种预测公式说明了使用单个参考图像情况下利用两个预测参数所产生的两个参考图像的线性预测公式的一个例子。

$P_Y(i,j)=(D_1\left(i\right)\&times;R_Y\left(i\right)+D_1\left(j\right)\&times;R_Y\left(j\right)+2^{L_Y})>>(L_Y+1)$

$+(D_2\left(i\right)+D_2\left(j\right)+1)>>1$

                              (28)

$P_{\mathrm{Cb}}(i,j)=(E_1\left(i\right)\&times;(R_{\mathrm{Cb}}\left(i\right)-128)+{E_1\left(j\right)\&times;(R_{\mathrm{Cb}}\left(j\right)-128)+2}^{L_C})>>$

$(L_C+1)+(E_2\left(i\right)+E_2\left(j\right)+1)>>1+128$

                               (29)

$P_{\mathrm{Cr}}(i,j)=(F_1\left(i\right)\&times;R_{\mathrm{Cr}}\left(i\right)-128)+F_1\left(j\right)\&times;(R_{\mathrm{Cr}}\left(j\right)-128)+2^{L_C}>>$

$(L_C+1)+(F_2\left(i\right)+F_2\left(j\right)+1)>>1+128$

                                (30)

Y＝clip(P_Y(i，j))            (31)

Cb＝clip(P_Cb(i，j))          (32)

Cr＝clip(P_Cr(i，j))          (33)

在第三方法中，用于在公式(4)-(6)、公式(7)-(8)、公式(9)或公式(10)-(20)任一所示的预测公式与公式(28)-(33)所示的预测公式之间进行变化的变化信息(变化标志)按预定编码单位(比如帧、场或片段)与编码数据一起被编码，并从视频编码设备被发送到解码设备，以便由这两个设备所共享。如这里所述，公式(4)-(6)、公式(7)和(8)、公式(9)或公式(10)-(20)任一中所示的预测公式和公式(28)-(33)所示的预测公式根据需要而变。

根据第三方法，取决于图像-图像间距的加权平均和基于利用两个参考图像的线性预测的预测图像可以适应地变化，从而可以期待预测效率的改善。然而，根据公式(28)-(33)中所示的预测类型，尽管每一像素的乘法次数为两次，但仍有预测系数的自由度提高的优点。因此，可以期待预测效率的进一步改善。

以上实施例作为一个以块为单位采用正交变换的视频编码/解码系统的例子进行了说明。然而，以上实施例中所述的本发明的方法可以适用于采用别的变换技术(比如子波变换)的情况。

与本发明有关的视频编码和解码的过程可以实现成硬件(设备)，并可以由使用软件的计算机来执行。过程的一部分可以用硬件来实现，而其另一部分可以用软件来执行。因此，根据本发明，可以提供使计算机执行视频编码或解码过程的程序或存储该程序的存储媒体。

如上所讨论，根据本发明，通过对其亮度随时间而变的视频图像(尤其诸如渐隐图像和叠化图像)进行适当的预测，可以高效且小计算量地实现视频编码/解码。

Claims (2)

1.一种用于待解码图像的待解码块的视频解码方法，包括：

第一步骤，对待解码图像的编码数据进行解码以获得量化的正交变换系数、运动矢量信息和索引信息；

第二步骤，计算在由索引信息所指示的第一参考图像和待解码图像之间的第一距离以及在第一参考图像和由索引信息所指示的第二参考图像之间的第二距离；

第三步骤，基于第一距离对第二距离的比率计算第一参考图像的第一加权因子和第二参考图像的第二加权因子；

第四步骤，根据第一加权因子和第二加权因子，通过计算第一参考图像中的运动矢量信息所指定的图像区域和第二参考图像中的运动矢量信息所指定的图像区域的线性和，产生预测图像；

第五步骤，通过使量化的正交变换系数信息进行去量化和逆正交变换来计算预测误差；以及

第六步骤，通过使预测误差和预测图像相加而产生重放图像信号，

其中第三步骤通过如下的预测公式实现：

W₀(i，j)＝2^L-W₁(i，j)          (1)

其中，

clip2函数对应于：当第二加权因子大于上限值或第二加权因子小于下限值时，将第一加权因子和第二加权因子两者的值设置成平均预测值，并且：

W₀(i，j)表示第一加权因子，

W₁(i，j)表示第二加权因子，

U(n，i)表示第一距离， 

U(i，j)表示第二距离，

i，j为索引，

n为待解码图像的位置，

L为移位量。

2.一种用于待解码图像的待解码块的视频解码装置，包括：

解码单元，对待解码图像的编码数据进行解码以获得量化的正交变换系数、运动矢量信息和索引信息；

距离计算单元，计算在由索引信息所指示的第一参考图像和待解码图像之间的第一距离以及在第一参考图像和由索引信息所指示的第二参考图像之间的第二距离；

加权因子计算单元，基于第一距离对第二距离的比率计算第一参考图像的第一加权因子和第二参考图像的第二加权因子；

预测图像产生单元，根据第一加权因子和第二加权因子，通过计算第一参考图像中的运动矢量信息所指定的图像区域和第二参考图像中的运动矢量信息所指定的图像区域的线性和，产生预测图像；

预测误差计算单元，通过使量化的正交变换系数进行去量化和逆正交变换来计算预测误差；以及

重放单元，通过使预测误差和预测图像相加而产生重放图像信号，

其中加权因子计算单元通过如下的预测公式实现：

W₀(i，j)＝2^L-W₁(i，j)           (1)

其中，

clip2函数对应于：当第二加权因子大于上限值或第二加权因子小于下限值时，将第一加权因子和第二加权因子两者的值设置成平均预测值，并且： 

W₀(i，j)表示第一加权因子，

W₁(i，j)表示第二加权因子，

U(n，i)表示第一距离，

U(i，j)表示第二距离，

i，j为索引，

n为待解码图像的位置，

L为移位量。 

Images