CN1897701A - 视频编码方法和装置以及视频解码方法和装置 - Google Patents

Abstract

通过自适应地在使用多个解码的视频信号作为参考帧并且为每个宏块从多个参考帧产生一个预测宏块图像的操作、从多个参考帧提取参考宏块并且使用该宏块的平均值作为一个预测宏块图像的操作、以及从多个参考帧提取参考宏块并且通过根据该参考帧和要被编码的帧之间的帧间距离进行线性外推或线性插值而产生一个预测宏块图像的操作之间切换，而解码一个视频图像。

Description

视频编码方法和装置以及视频解码方法和装置

本发明是申请日为2003年1月20日、申请号为03800160.8、发明名称为“视频编码方法和装置以及视频解码方法和装置”的发明专利申请的分案申请。

技术领域

本发明涉及一种运动补偿预测帧间编码方法装置和运动补偿预测帧间的解码方法和装置，其使用多个参考帧。

背景技术

作为运动补偿预测帧间编码方法，MPEG-1(ISO/IEC11172-2)、MPEG-2(ISO/IEC13818-2)、MPEG-4(ISO/IEC14496-2)等等方法已经被广泛地使用。在这些编码方法中，通过帧内编码图像(I图像)、向前预测增帧间编码图像(P图像)、以及双向预测编码图像(B图像)。

一个P图像通过使用紧接着在前的P或I图像作为一个参考图像而被编码。一个B图像通过使用紧接着在前后和在后的P或I图像作为参考图像而被编码。在MPEG中，一个预测图像可以从一个或多个图像帧中对每个宏块有选择地产生。在P图像的情况中，一个预测图像通常根据一个宏块从一个参考帧产生。在B图像的情况中，通过从正向参考图像和反向参考图像之一产生一个预测图像的方法，或者从由一个正向参考图像和一个反向参考图像所提取的参考宏块的平均值产生一个预测图像的方法而产生一个预测图像。

但是，在这些预测编码方法中，当相同的图像在等于或大于每个宏块大的尺寸大的一个区域中在帧之间随着时间水平运动时，可以获得良好的预测结果。但是对于图像随时间而放大/缩小和选择或信号幅度随时间而抖动，例如淡入和淡出，通过上述预测编码方法不能够总是获得较高的预测效率。在以固定的比特率编码中，特别地，如果具有较差预测效率的图像被输入到编码装置中，则可能出现较大的图象质量下降。在以仿佛变化的比特率编码中，较大的代码量被分配给具有较差预测效率的图像，以抑制图像质量的下降，导致编码数位的总数增加。

另一方面，通过视频信号的仿射变换可以近似地进行图像的淡入/淡出。因此，使用仿射变换的预测将大大地提高用于这些图像的预测效率。为了估计用于仿射变换的参数，在编码时需要大量的参数估计计算。

更加具体来说，参考图像必须通过使用多个变换参数来变换，并且必须确定表现出最小预测剩余误差的一个参数。这需要大量的变换计算。这导致大量的编码计算或者大大增加的硬件成本等等。另外，一个变换参数本身以及一个预测剩余误差必须被编码，因此编码的数据变大。另外，在解码时需要反向的仿射变换，导致大量的解码计算或者非常高的硬件成本。

如上文所述，在例如MPEG这样的常规视频解码方法中，对于除了平移之外的在视频图像中随时间改变不能够获得足够的预测效率。另外，在使用仿射变换的视频编码和解码方法中，尽管的预测效率本身可以被提高，但是用于编码数据的开销增加并且编码和解码成本大大增加。

发明内容

本发明的一个目的是提供一种视频编码方法和装置以及视频解码方法和装置，其可以抑制计算量的增加以及用于编码数据的开销，并且特别对于淡入图像大大提高预测效率，其中例如MPEG这样的常规视频编码方法具有一个弱点。

根据本发明的第一方面，在此提供一种视频编码方法，其通过参照用于每个宏块的多个参考帧，执行对一个要被编码的帧的运动补偿预测帧间编码，其中包括从多个参考帧中产生多个宏块；选择使用多个参考宏块、多个参考宏块的平均值或多个参考宏块之一通过线性插值预测或者线性外推预测所获得的一个宏块作为一个预测宏块；以及编码所选择的预测宏块和一个要被编码的宏块之间的预测误差信号、预测模式信息和运动矢量。

根据本发明第二方面，在此提供一种视频解码方法，通过参照用于每个宏块的多个参考帧解码运动补偿预测帧间编码数据，其中包括接收编码的运动矢量数据、编码的预测模式信息、以及编码的预测误差信号，根据运动矢量数据和预测模式信息选择是否(a)从多个参考帧的一个特定参考帧产生一个预测宏块；(b)从多个参考帧产生多个宏块，以产生作为一个预测宏块的多个参考帧的平均值；或者(c)通过线性外推预测或线性插值预测产生一个预测宏块；以及通过把所产生的预测宏块与该预测误差信号相加而产生一个解码的帧。

在例如MPEG这样的常规视频编码制方法中，为了从多个参考帧产生一个预测宏块，从各个参考帧提取参考宏块，以及使用所提取的宏块的信号的平均值。但是，根据这种常规的视频编码方法，当由于淡入等等而导致图像信号的幅度随时间而改变时，预测效率下降。相反，根据本发明第一或第二方面的视频编码方法，由于通过基于线性预测的外推或插值从多个帧产生一个预测图像，因此当图像信号的幅度随时间而单调变化时，可以大大地提高预测效率。这可以实现较高的图像质量和较高效率的编码。

在帧间编码中，通常，编码的图像被用作为在编码方的参考帧，并且解码的图像被用作为在解码方的参考帧。因此，在参考帧中的编码噪声的影响变为使得预测效率下降的一个因素。从多个参考层提取的参考宏块的平均表现出噪声消除效果，因此有助于提高编码效率。该效果与在预测编码中被称为循环滤波器的技术相等效。

根据本发明的第一和第二方面，可以根据输入的图像选择具有高的环路滤波器效果的多个参考帧的平均处理、对于淡入图像等等有效线性插值、或者用于线性插值的最佳预测模式。这可以提高用于任何输入图像的编码效率。

根据本发明第三方面，在此提供一种视频编码方法，其中在通过参照用于每个宏块的多个参考帧而执行的运动补偿预测帧间编码中，多个参考帧是紧接着在要被编码的帧之前被编码的两个帧，以及在基于多个参考宏块的线性外推预测中，通过从把由紧接着在前的参考帧产生的参考宏块的信号幅度加倍所获得的信号减去从相对于紧接着在前的参考帧提前一个帧的参考帧所产生的参考宏块信号而产生该预测宏块。

根据本发明第四方面，在此提供一种视频解码方法，其中在通过参照用于每个宏块的多个视频帧所执行的运动补偿预测帧间解码中，多个参考帧是紧接着在要被编码的帧之前解码的两个帧，并且在基于参考宏块的线性外推预测中，通过从把由紧接着在前的参考帧产生的参考宏块的信号幅度加倍所获得的信号减去从相对于紧接着在前的参考帧提前一个帧的参考帧所产生的参考宏块信号而产生该预测宏块。

如上文所述，在例如MPEG这样的常规视频解码方案中，但由于淡入等等似的图像信号的幅度随着时间而改变时，预测效率下降。例如，假设V(t)是在时间 t的一个图像帧，并且V’(t)是已经受到淡化处理的在时间t的一个图像帧，可以通过方程(1)和(2)实现淡入和淡出。在方程(1)中，(a)标是一个淡化周期；淡入在时间t＝0开始，并且在时间T结束。在方程(2)中，(b)表示一个淡化周期；淡出在时间T0开始并且在时间T0+T结束。

$Y^{\&prime;}\left(t\right)=\left\{\begin{array}{ccc}Y\left(t\right)\&times;t/T& (0\&le;t<T)& \left(a\right)\\ Y\left(t\right)& (t\&GreaterEqual;T)& \left(b\right)\end{array}\right.---\left(1\right)$

$Y^{\&prime;}\left(t\right)=\left\{\begin{array}{ccc}Y\left(t\right)& (t\&le;T0)& \left(a\right)\\ Y\left(t\right)\&times;(T-t+T0)/T& (T0<t<T0+T)& \left(b\right)\\ 0& (t\&GreaterEqual;T0+T)& \left(c\right)\end{array}\right.---\left(2\right)$

假设在执行淡化处理时在时间 t的一个帧Y’(t)是一个要被编码的帧，并且在时间t-1和t-2受到相同淡化处理的两个帧Y’(t-1)和Y’(t-2)是参考帧。

首先考虑一种情况，其中从这两个帧的平均值产生一个预测图像P(t)，如方程(3)所示。

P(t)＝{Y′(t-1)+Y′(t-2)}/2                (3)

考虑在方程(1)和(2)中的淡化周期(a)和(b)，由方程(3)所获得的预测图像由如下方程(4)和(5)所表示：

P(t)＝{Y(t-1)×(t-1)

      /T+Y(t-2)×(t-2)/T}/2                (4)

P(t)＝{Y(t-1)×(T-t+1+T0)

      /T+Y(t-2)×(T-t+2+T0)/T}/2           (5)

如果在淡化之前在原始信号Y(t)中没有时间抖动，即Y(t)＝C(常量)，假设Y(t)是与 t无关的常量，方程(4)和(5)被改变为方程(6)和(7)：

P(t)＝C×(2t-3)/2T                         (6)

P(t)＝C×(2T-2t+3+2T0)/2T                  (7)

另一方面，要被编码的信号Y’(t)由方程(8)和(9)所表示：

Y′(t)＝C×t/T                             (8)

Y′(t)＝C×(T-t+T0)/T                      (9)

通过从由方程(8)和(9)给出的Y’(t)减去由方程(6)和(7)所给出的预测图像P(t)所获得的预测误差信号D(t)由方程(10)和(11)所表示：

D(t)＝C×3/2T                              (10)

D(t)＝-C×3/2T                             (11)

根据本发明第三和第四方面的视频编码方法，产生由方程(12)所表示的预测图像P(t)。

P(t)＝2×Y′(t-1)-Y′(t-2)                 (12)

在上述情况中假设Y(t)＝C，在由方程(1)所表达的淡入中的预测图像和由方程(2)所表达的淡出中的预测图像由如下方程所表达：

P(t)＝C×t/T                        (13)

P(t)＝C×(T-t+T0)/T                 (14)

方程(13)和(14)与由方程(8)和(9)所表示的要被编码的图像相一致。在任何一种情况中，通过从被编码图像减去预测图像所获得的预测误差信号D(t)变为0。如上文所述，对于淡化图像，例如MPEG这样的常规运动补偿技术造成剩余误差信号。相反，显然根据本发明第三和第四方面，没有产生剩余误差信号，并且大大提高预测效率。

在方程(1)和(2)中，1/T表示在淡入和淡出中的速度改变。从方程(10)和(11)显然可以看出，在常规的运动过程中，剩余误差随着淡化中的改变速度增加而增加，导致编码效率的下降。根据本发明第三和第四方面的视频编码方法，可以获得较高的预测效率而与淡化改变速度无关。

根据本发明第五方面，除了对本发明第一和第三方面的视频编码方法之外，在此提供一种视频编码方法，其中要被编码的运动矢量是与多个参考帧中的的另一个参考帧相关的运动矢量。

除了本发明第二和第四方面的视频编码方法之外，根据本发明第六方面，在此提供一种视频编码方法，其中所接收的运动矢量数据是与多个参考帧中的一个特定参考帧相关的运动矢量，并且该运动矢量数据被根据要被解码的帧和参考帧之间的帧间距离而缩放/转换，以产生用于剩余的参考帧的运动矢量。

通过根据本发明第一至第四方面的方法，通过使用多个参考图像可以对于淡化图像等等获得比现有技术更高的预测效率。但是，如果用于多个参考图像的运动矢量被复用到用于每个编码宏块的编码数据，该编码开销增加。根据例如ITU-TH.263这样的编码方案，可以使用被称为直接模式的一种编码方法，其中没有用于B图像的运动矢量被发送，并且根据参考图像和要被编码的图像之间的帧间距离，通过缩放跨过B图像的用于P图像的运动矢量而获得用于B图像的运动矢量。这种直接模式编码方法是这样一种模式，其中在对应于几个帧的短时间周期中观看时，要被编码的视频图像被近似为运动矢量几乎为常量或者为0的一个图像。在许多情况中，该方法可以减小运动矢量的编码位数。

根据本发明第五和第六方面的方法，与用于B图像的直接模式相同，在P图像的情况中，仅仅用于多个参考帧的运动矢量的其中一个运动矢量被编码，并且在解码方，可以根据相对于一个参考图像的帧间距离而缩放所接收的运动矢量。这样可以获得与根据本发明第一至第四方面的方法所获得的相同的编码效率的改进，而不增加编码开销。

除了根据本发明第五方面的方法之外，在此提供一种根据本发明第七方面的方法，其中与特定参考帧相关的运动矢量是根据参考帧之间的帧间距离和要被编码的帧而归一化的一个运动矢量。

除了根据本发明第六方面的方法之外，在此提供一种根据第八方面的方法，其中与所接收的特定参考帧相关的运动矢量是根据在该参考帧和要被编码的帧之间的帧间距离而归一化的一个运动矢量。

根据本发明第七和第八方面，用于要被编码的一个运动矢量的基准标度是常量，而与帧间距离是否改变无关，并且用于各个参考帧的运动矢量的缩放处理可以通过仅仅使用每个参考帧和要被编码的帧之间的帧间距离的信息而计算来实现。需要执行除法运算来执行任意缩放操作。但是，对要用帧间距离而编码的一个运动矢量的归一化使得仅仅通过乘法来执行缩放处理成为可能。这可以减小编码和解码的成本。

除了根据本发明第一和第三方面的方法之外，在此提供一种根据本发明第九方面的方法，其中要被编码的运动矢量包括与多个参考帧中的的另一个参考帧相关的第一运动矢量和用于剩余的参考帧的多个运动矢量，并且多个运动矢量被编码为在该多个运动矢量和通过根据要被解码的帧和多个参考帧之间的帧间距离缩放第一运动矢量而获得的运动矢量之间的差分矢量。

除了根据第二和第四方面的方法之外，在此提供一种根据本发明第十方面的方法，其中所接收的运动矢量数据包括与多个参考帧中的一个特定参考帧相关的运动矢量和与剩余的参考帧相关的差分矢量。该运动矢量数据被根据要被解码的帧和该参考帧之间的帧间距离而缩放/转换。然后，所获得的数据被添加到该差分矢量，以产生预取除了该特定一个帧之外的多个参考帧相关的运动矢量。

根据本发明第五和第六方面的方法，在具有恒定运动速度的静态图像的情况中，可以通过使用多个参考层来提高预测效率，而不增加用于运动矢量信息的编码开销。但是，如果该运动速度不为常量，则仅仅通过简单地缩放运动矢量不能够获得足够的预测效率。

根据作为在MPEG2视频编码中的一种预测模式的对偶素预测(dual-prime prediction)，在使用中两个连续区域的运动预测中，用于一个区域的运动矢量和通过根据区域间距离对该运动矢量进行缩放所获得的一个运动矢量与用于其它区域的一个运动矢量之间的差分矢量被编码。一个运动矢量由一个1/2像素分辨率所表示。通过对两个区域平均该参考宏块，由一个自适应时空滤波器(spatiotemporal filter)产生环路滤波器效果。另外，可以抑制编码开销的增加。这大大地有助于提高编码效率。

根据本发明第九和第十方面的方法，除了类似于由对偶素预测所获得的效果之外，即由一个自适应时空滤波器所产生的环路滤波器效果，可以提高用于淡化图像等等的预测效率。这可以获得比现有技术更高的编码效率。

除了第一、第三、第五、第七和第九方面的方法之外，在此提供根据本发明第11方面的一种方法，其中预测模式信息包括第一标志和第二标志，第一标志表示使用一个特定参考帧的预测或者表示使用多个参考帧的预测，以及第二标志表示使用多个参考帧的预测是根据多个参考宏块的平均值的预测或根据多个参考宏块的线性外推或线性插值的预测，并且该第二标志被包含在一个编码帧的标头数据或者多个编码帧标头数据中。

除了第二、第四、第六、第八和第十方面的方法之外，在此提供一种根据本发明第十方面的方法，其中预测模式信息包括第一标志和第二标志，第一标志表示使用一个特定参考帧的预测或者表示使用多个参考帧的预测，以及第二标志表示使用多个参考帧的预测是根据多个参考宏块的平均值的预测或根据多个参考宏块的线性外推或线性插值的预测，并且该第二标志被接收作为一个编码帧的标头数据或作为多个编码帧的标头数据的一部分。

如上文所述，实线本发明，通过自适应地在对于一个编码帧的每个宏块从多个参考帧中的仅仅一个特定参考帧产生一个预测宏块的操作、从多个参考图像的平均值产生一个预测宏块的操作、以及通过多个参考图像的线性外推或线性插值产生一个预测宏块的操作之间切换，可以实现较高图像质量的编码。

例如，仅仅从多个参考帧中的一个特定参考帧的预测(在这种情况中为预测模式1)对于其背景随时间交替地出现和消失的单个帧中的一个图像部分是有效的。对于具有较小的时间抖动的一个图像部分，从多个参考图像的平均值的预测(在这种情况中为预测模式2)可以获得消除参考图像中的编码失真的环路滤波器效果。当例如一个淡化图像这样的图像信号的幅度随时间变化时，通过多个参考图像的线性外推或线性插值可以提高预测效率(在这种情况中为测试模式3)。

通常，在常规的编码方案中，当最佳预测模式是按照这种方式有选择地对每个宏块进行切换时，为每个宏块对表示一个预测模式的标志进行编码，并且包含在每个宏块的标头数据中。如果有选择地使用许多预测模式，则用于表示与该预测模式的标志的编码开销增加。

根据本发明第11和12方面的方法，要被使用的预测模式的组合被限制为每个编码生的预测模式1和2组合或用于预测模式1和3的组合。与表示预测模式1、预测模式2或预测模式3的第一标志一同准备表示上述组合之一的第二标志。表示预测模式的组合的该第二标志被包含在一个编码帧的标头数据中。表示预测模式的第二标志可以对每个宏块改变，并且包含在该宏块的标头数据中。这可以减小与在编码数据中的预测模式相关的开销。

当例如淡化图像这样的图像信号的幅度随时间改变时，该幅度均匀地在该帧内随时间改变。因此，不需要在用于每个宏块的预测模式2和预测模式3之间切换；即使对每个帧固定一个预测模式也不会出现预测效率的下降。

一个背景等等随时间交替地出现和消失，而与图像信号的幅度随时间改变无关。因此，如果一个背景对每个帧固定，则预测效率下降。这需要使用第一标志对每个宏块切换最佳预测模式。按照上述方式在一个帧和宏块的标头中分离地设置表示预测模式的标志，可以减小编码开销，而不降低预测效率。

根据本发明第十三方面，在此提供一种视频编码方法，其中在通过参照用于每个宏块的多个视频帧执行运动补偿帧间编码中，通过线性预测从多个参考帧产生一个预测宏块，对于每个宏块编码预测宏块和一个编码宏块之间的一个预测误差信号和一个运动矢量，并且对于每个帧编码用于线性预测的预测系数的组合。

除了根据第十三方面的方法之外，根据本发明第十四方面，在此提供一种方法，其中多个参考帧相对于要被编码的帧是过去帧。

根据本发明第十五方面，在此提供一种视频解码方法，其中在通过参照用于每个宏块的多个视频帧解码运动补偿预测帧间编码数据中，接收对每个宏块编码的运动矢量数据和预测误差信号以及对每个帧编码的预测系数的组合，根据该运动矢量和预测系数从多个参考帧产生一个预测宏块，并且所产生的预测宏块和预测误差信号被相加。

除了根据第五方面的方法之外，根据本发明第十六方面，在此提供一种方法，其中多个参考帧相对于要被编码的帧是过去帧。

根据本发明第十三至十六方面的方法，由于预测系数可以被设置在一个任意时间方向上，因此不但与淡化图像的情况相同当图像信号的幅度随时间改变时而且当在幅度图像信号的幅度中出现任意时间抖动时，通过在编码方使用预测系数的最佳组合可以提高预测效率。另外，在编码数据上复用之后，发送上述预测系数使得与编码操作中相同的线性预测被在解码操作中执行，导致高效率的预测编码。

根据本发明，通过从多个参考帧进行预测可以获得编码效率的改进。但是，与MPEG中的B图像的情况相同，通过使用多个过去和将来帧作为参考可以执行对时间连续的帧的预测。另外，与MPEG中的I和P图像的情况相同，仅仅过去帧被用作为参考帧。另外，多个过去P和I图像可以被用作为参考图像。

这种方案可以实现用比常规的MPEG编码更高的图像质量实现编码。特别地，与现有技术不同，在仅仅使用过去帧编码P图像中，与通过使用多个过去参考帧的现有技术相比可以大大地提高编码效率。在不使用B图像的编码操作中，不需要提供用于重新排列编码帧的延迟的。这样可以实现小延迟编码。因此，根据本发明，可以获得编码效率的更大改进，甚至获得比现有技术更小延迟的编码。

特别地，本发明提供了一种一种视频解码方法，通过参照用于每个宏块的多个参考帧解码运动补偿预测帧间编码数据，其中包括：接收编码的运动矢量数据、编码的预测模式信息、以及编码的预测误差信号；根据运动矢量数据和预测模式信息选择如下之一：(a)从多个参考帧的一个特定参考帧产生一个预测宏块；(b)从多个参考帧产生多个宏块，以产生作为一个预测宏块的多个参考帧的平均值；或者(c)通过线性外推预测或线性插值预测产生一个预测宏块；以及通过把所产生的预测宏块与该预测误差信号相加而产生一个解码的帧；其中所接收的预测模式信息包括表示使用该特定参考帧的单一预测或使用多个参考帧的复合预测的第一标志，以及表示该复合预测是否为基于多个参考宏块的平均值的预测或线性外推预测或线性插值预测的第二标志，该第二标志被接收为一个编码的帧的标头数据或者多个编码的帧的标头数据的一部分。

此外，本发明还提供一种视频解码装置，通过参照用于每个宏块的多个参考帧解码运动补偿预测帧间编码数据，其中包括：接收单元，用于接收编码的运动矢量数据、编码的预测模式信息、以及编码的预测误差信号；选择器，用于根据运动矢量数据和预测模式信息选择如下之一：(a)从多个参考帧的一个特定参考帧产生一个预测宏块；(b)从多个参考帧产生多个宏块，以产生作为一个预测宏块的多个参考帧的平均值；或者(c)通过线性外推预测或线性插值预测产生一个预测宏块；以及加法器，用于把所产生的预测宏块与该预测误差信号相加；其中所接收的预测模式信息包括表示使用该特定参考帧的单一预测或使用多个参考帧的复合预测的第一标志，以及表示该复合预测是否为基于多个参考宏块的平均值的预测或线性外推预测或线性插值预测的第二标志，该第二标志被接收为一个编码的帧的标头数据或者多个编码的帧的标头数据的一部分。

附图说明

图1为示出根据本发明第一实施例的视频编码方法的方框图；

图2为示出根据本发明第一实施例的视频解码方法的方框图；

图3为示出根据本发明第二实施例的视频编码和解码方法的帧间预测关系的示意图；

图4为示出根据本发明第三实施例的视频编码和解码方法中的帧间预测关系的示意图；

图5为示出根据本发明第四实施例的视频编码和解码方法中的帧间预测关系的示意图；

图6为示出用于说明根据本发明第五实施例的矢量信息编码和解码方法的示意图；

图7为示出用于说明根据本发明第六实施例的矢量信息编码和解码方法的示意图；

图8为示出用于说明根据本发明第七实施例的矢量信息编码和解码方法的示意图；

图9为示出根据本发明第八实施例的用于执行视频编码方法的视频编码装置的方框图；

图10为示出根据本发明第九实施例的在视频编码方法中的一个程序的流程图；

图11为示出在第九实施例中的要被编码的视频数据的图像标头和片断标头的数据结构的一个例子的示意图；

图12为示出在第九实施例中的要被编码的视频数据的宏块的数据结构的一个例子的示意图；

图13为示出根据第九实施例的要被编码的视频数据的整体数据结构的示意图；

图14为示出根据第九实施例的视频解码方法中的一个程序的流程图；

图15为示出用于说明在第九实施例中的时间线性插值的示意图；

图16为用于说明在第九实施例中的时间线性插值的示意图；

图17为示出根据第一和第八实施例的线性预测系数表的一个例子的示意图；

图18为示出根据第一和第八实施例的线性预测系数表的一个例子的示意图；

图19为示出根据第一和第八实施例的表示参考帧的表格的一个例子的示意图；

图20为示出根据本发明第十实施例的视频编码装置的方框图；

图21为示出根据本发明第十实施例的视频解码装置的方框图；

图22为示出根据本发明的实施例的表示线性预测系数的语法的一个例子的示意图；

图23为示出根据本发明的实施例的示出参考帧的一个表格的例子的示意图；

图24为用于说明根据本发明的实施例的运动矢量信息预测编码方法的示意图；

图25为用于说明根据本发明的实施例的运动矢量信息预测编码方法的示意图；

图26为示出根据本发明第四实施例的一个视频编码装置的结构的方框图；

图27为用于说明根据本发明的实施例的线性预测系数确定方法的一个例子的示意图；

图28为用于说明根据本发明的实施例的线性预测系数确定方法的一个例子的示意图；

图29为用于说明根据本发明的实施例的线性预测系数确定方法的一个例子的示意图；

图30为用于说明根据本发明的实施例的线性预测系数确定方法的一个例子的示意图；

图31为用于说明根据本发明的实施例的线性预测系数确定方法的一个例子的示意图；

图32为用于说明根据本发明的实施例的运动矢量搜索方法的示意图；

图33为用于说明根据本发明的实施例的运动矢量搜索方法的示意图；

图34为用于说明根据本发明的实施例的运动矢量编码方法的示意图；

图35为用于说明根据本发明的实施例的运动矢量编码方法的示意图；

图36为示出根据本发明的实施例的帧间预测关系的示意图；

图37为用于说明根据本发明的实施例的运动矢量编码方法的示意图；

图38为用于说明根据本发明的实施例的运动矢量编码方法的示意图；

图39为用于说明根据本发明的实施例的运动矢量编码方法的示意图；

图40为示出根据本发明的实施例的用于视频编码的程序的流程图；

图41为用于说明根据本发明的实施例的加权预测的示意图；

图42为示出根据本发明的实施例的图像标头和片断标头的数据结构的示意图；

图43为示出根据本发明的实施例的加权预测系数表的数据结构的第一例子的示意图；

图44为示出根据本发明的实施例的加权预测系数表的数据结构的第二例子的示意图；

图45为示出根据本发明的实施例的要被编码的视频数据的数据结构的示意图；以及

图46为示出根据本发明的实施例的用于视频解码的程序的流程图。

具体实施方式

图1为示出执行根据本发明一个实施例的视频编码方法的视频编码装置的方框图。根据该装置，预测宏块产生单元119从存储在第一参考帧存储器117和第二参考帧存储器118中的帧产生一个预测图像。预测宏块选择单元120从该预测图像选择一个最佳预测宏块。减法器110通过计算输入信号100和预测信号106之差而产生预测误差信号101。DCT(离散余弦变换)单元112对于预测误差信号101执行DCT变换，以把该气浮DCT信号发送到量化器113。量化器113把该DCT信号量化，以把量化的信号发送到可变长编码器114。该可变长编码器114把量化的信号进行可变长编码，以输出编码数据102。该可变长编码器114对运动矢量信息和预测模式信息(将在下文中描述)并且把结果数据与编码数据102一同输出。由该量化器113所获得的量化信号还被发送到一个反量化器115，以被反量化。一个加法器121把反量化的信号与预测信号106相加，以产生一个本地解码图像103。该本地解码图像103被写入在第一参考帧存储器117中。

在本实施例中，预测误差信号101通过DCT变换、量化和可变长编码而被编码。但是，DCT变换可以由小波变换来代替，或者可变长编码可以由算术编码来代替。

在本实施例中，紧接着在前编码的帧的本地解码图像被存储在第一参考帧存储器117中，并且在上述帧之前被进一步编码的帧的本地解码图像被存储在第二参考帧存储器118中。预测宏块产生单元119产生一个预测宏块信号130、预测宏块信号131、预测宏块信号132和预测宏块信号133。该预测宏块信号130是仅仅从在第一参考帧存储器117中的图像提取的一个信号。该预测宏块信号131是仅仅从在第二参考帧存储器118中的图像提取的一个宏块信号。预测宏块信号132是通过对从第一和第二参考帧存储器提取的参考宏块信号求平均所获得的信号。该预测宏块信号133是通过从把由第一参考帧存储器117提取的参考宏块信号的幅度加倍所获得的信号减去由第二参考帧存储器118提取的参考宏块信号所获得的一个信号。这些预测宏块信号被从各个帧中的多个位置提取，以产生多个预测宏块信号。

该预测宏块选择单元120计算由预测宏块产生单元119所产生的多个预测宏块信号的每一个信号与从输入视频信号100提取的要被编码的宏块信号之间的差值。该预测宏块选择单元120然后选择该预测宏块信号，其对每个要被编码的宏块表现出最小误差，并且把所选择的一个信号发送到减法器110。该减法器110计算所选择的预测宏块信号和输入信号100之间的差值，并且输出预测误差信号101。所选择的预测宏块相对于要被编码的宏块的位置以及用于所选择的预测宏块信号(在图1中的一个信号130至133)的产生方法被分别编码为一个运动矢量和用于每个要被编码的块的预测模式。

可变长编码器114编码通过DCT变换器112和量化器113所获得的编码的DCT系数数据102，以及包含从预测模式选择单元120输出的运动矢量信息和预测模式信息的侧面信息107，并且把该结果数据作为编码数据108输出。该编码数据108被发送到一个存储系统或者发送系统(未示出)。

在这种情况中，当一个视频信号由亮度信号和色度信号所形成时，该预测信号106通过把相同的运动矢量和预测模式施加到各个宏块的信号分量而产生。

图2为一个视频解码装置的方框图，其执行根据本发明一个实施例的视频解码方法。该图2中的视频解码装置接收和解码根据图1中所示的第一实施例由视频编码装置所编码的数据。

更加具体来说，一个可变长解码单元214解码输入编码数据200的可变长代码，以提取预测误差信号201和预测模式信息202。该预测误差信号201在反量化单元215和反DCT单元216中受到反量化和反DCT。该结果数据被添加到一个预测信号206，以产生一个解码图像203。

该解码图像203被写入在第一参考帧存储器217中。该预测信号206由预测宏块产生单元219和预测宏块选择单元220从图像信号204和205根据由编码数据200提取的运动矢量和预测模式而产生。该图像信号204是紧接着在编码数据200之前解码并且记录在第一参考帧存储器217上的图像信号。该图像信号205是在图像信号204之前解码并且存储在第二参考帧存储器218中的一个图像信号，该预测信号206是与在编码时所用的预测宏块信号相同的预测信号。

图3示意地示出在根据本发明第二实施例的视频编码和解码方法中使用两个参考帧的一个帧间预测的关系。图3示出一个要被编码的帧302、紧接着在要被编码的帧302之前的帧301、以及进一步在帧302之前的帧300。当帧302被编码或解码时，帧301的一个解码图像被存储在图2中的第一参考帧存储器117或图2中的第一参考帧存储器217中，并且帧300被存储在图1中的第二参考帧存储器118或图2中的第二参考帧存储器218中。

在图3中的一个宏块305是要被编码的宏块，其通过使用在参考帧300中的一个参考宏块303和在参考帧301中的一个参考宏块304而产生。矢量306和307是运动矢量，其分别表示参考宏块303和304的位置。在编码操作中，搜索用于要被编码的宏块305的最佳运动矢量和预测模式。在解码操作中，一个预测宏块信号通过使用包含在编码数据中的运动矢量和预测模式而产生。

图4和5示出根据本发明第三和第四实施例使用三个或更多个参考帧的帧间预测的例子。图4示出使用多个过去参考帧的一个例子，即，线性外推预测。图5示出使用多个过去和将来参考帧的一个例子，即，线性插值预测。

参见图4。一个帧404是要被编码的帧，并且帧400和403是用于帧404的参考帧。在图4中的参考数字413表示一个编码宏块413。在编码操作中，参考宏块(在图4中的409至412)被根据用于各个参考帧的运动矢量(在图4中的405至408)从用于每个要被编码的宏块的各个参考帧中提取。通过线性外推预测从多个参考宏块产生一个预测宏块。

选择在根据线性预测用于一个预测宏块的一个预测模式中表现出最小预测误差的一个预测模式和多个参考宏块之一的组合。从帧之间随着时间等等而改变的平均亮度，对于每个要被编码的帧确定线性预测系数的一个组合。该所确定的预测系数的组合被编码为用于要被编码的帧的标头数据。对每个宏块编码每个宏块的运动矢量、预测模式和预测误差信号。

在解码操作中，最每个帧所接收的线性预测系数的组合被用于根据运动矢量和预测模式信息从多个参考帧产生用于每个宏块的一个预测宏块。通过把该预测宏块添加到预测误差信号而解码该编码数据。

参照图5，帧502是一个要被编码的帧，并且帧500、501、503和504是参考帧。在图5中所示的情况中，在编码操作和解码操作中，帧500、501、503、504和502被按照该次序重新排列。在编码的情况中，多个本地解码图像帧被用作为参考帧。在解码的情况中，多个编码帧被用作为参考帧。对于一个要被编码的宏块511，基于宏块选择和编码参考宏块509、510、512和513之一或者通过线性插值预测从它们获得的一个预测信号，这与图4中所示的实施例相同。

图6示出根据本发明第五实施例用于运动矢量信息的编码和解码方法。假设与图3中所示的实施例相同，在使用多个参考帧的帧间编码操作中，通过使用多个参考宏块信号对每个要被编码的宏块产生一个预测宏块信号。在这种情况中，必须对每个宏块编码多个运动矢量信息。因此，随着要被引用的宏块数目的增加，用于运动矢量信息的开销增加。这导致编码效率的下降，根据图6中所示的方法，当一个预测宏块信号通过分别从两个参考帧提取参考宏块信号而产生一个预测宏块信号，使用一个运动矢量和通过根据帧间距离缩放该运动矢量所获得的运动矢量。

一个帧602是要被编码的帧，并且帧601和600是参考帧。矢量611和610是运动矢量。每个黑点表示在垂直方向上的一个像素位置，并且每个白点表示具有1/4像素精度的一个插值点。图6示出用1/4像素精度执行运动补偿预测的情况。对于每个编码方案确定一个运动补偿像素精度为1像素、1/2像素、1/8像素等等。通常，一个运动矢量由一个运动补偿精度所表达。一个参考图像通常通过对参考帧的图像数据的插值而产生。。

参见图6，对于在要被编码的帧602中的一个像素605，与在参考帧600中对应于像素605的一个像素垂直相距2.5个像素的一个点603被引用，并且表示2.5像素的偏移的运动矢量610被编码。另一方面，通过根据帧间距离缩放该编码的运动矢量610而把一个运动矢量从该像素605延伸到参考帧601。在这种情况中，从像素605延伸到该帧601的运动矢量611是考虑到帧间距离相对于在帧601中对应于像素605的一个像素偏移2.5/2＝1.25像素的一个矢量。在该参考帧601中的一个像素604被用作为在要被编码的帧602中用于像素605的一个参考像素。

由于运动矢量在编码和解码操作中以相同精度而被缩放，因此即使当要被编码的宏块引用多个帧时，对于每个宏块仅仅有一个运动矢量需要被编码。在这种情况中，如果利用该运动矢量补偿精度在任何采样点上不存在运动矢量缩放结果，则通过把其分数取整到最近的一个整数而对该缩放的运动进行舍入。

图7示出根据本发明第六实施例的运动矢量信息编码和解码方法，其不同于图6中所示的实施例。在图6中所示的实施例中，当一个视频图像的时间运动速度为常量时，对于编码数据用于运动矢量的开销可以被有效地减小。在一种情况中，其中一个视频图像的时间运动是单调的，但是运动速度不为常量，简单缩放运动矢量的使用可能导致预测效率的减小，因此导致编码效率的减小。在图7中所示的情况中，与图6中所示的情况相同，通过使用一个像素706作为一个参考像素，从两个参考帧700和产生一个预测像素。假设在该帧700中的一个像素703和在帧701中的一个像素705被引用。

与图6中所示第五实施例相同，对于该帧700的一个运动矢量710被编码。在对于帧701的一个运动矢量711与通过缩放该运动矢量710所获得的矢量之间的差分矢量720被编码。也就是说，通过把该运动矢量710缩放为1/2所产生的矢量在该帧701中表示一个像素704，并且表示预测像素705和像素704之间的差值的差分矢量720被编码。通常，上述差分矢量的幅度瞬时的单调运动减小。因此，即使该运动速度不为常量，该预测效率不减小，并且用于运动矢量的开销增加被抑制。这可以执行有效的编码。

图8示出根据本发明第七实施例的另一个运动矢量信息编码和解码方法。在图8中所示的实施例中，一个帧803是要被编码的帧，并且帧801和800被用作为参考帧，而跳过帧802。对于一个像素805，在该参考帧800中的一个像素804和在该参考帧801中的一个像素805被用作为参考像素，以产生一个预测像素。

与图6或7中所示的实施例相同，对于参考帧800的一个运动矢量811被编码，对于参考帧801的一个运动矢量还可以通过使用缩放该运动矢量所获得的运动矢量来产生。但是，在图8中所示的情况中，该运动矢量811必须考虑到该参考帧和要被编码的帧之间的距离而被缩放到2/3。在图8中所示的实施例和其他实施例中，为了执行任意缩放，需要执行除法操作，因为分母变为除了2的次幂之外的一个任意整数。必须在编码操作和解码操作中缩放运动矢量。特别地，除法在硬件和软件方面需要大量成本和计算时间，这导致编码和解码成本的增加。

在图8中所示的实施例中，通过用帧间距离对要被编码的运动矢量811进行归一化所获得的一个运动矢量810被编码，通过缩放该归一化的运动矢量810所获得的运动矢量与原始运动矢量之间的差分矢量被根据要被编码的帧和每个参考帧之间的距离而编码。也就是说，该参考像素804从把该归一化的运动矢量810乘3倍所获得的运动矢量和一个差分矢量820而产生。该参考像素805从通过把该归一化的运动矢量810加倍所获得的运动矢量和一个差分矢量821产生。图8中所示的方法避免用于运动矢量的编码开销的增加，而不减小预测效率。另外，由于仅仅通过乘法可以执行一个运动矢量的缩放，因此还可以抑制用于编码和解码的计算成本的增加。

图9为根据本发明第八实施例执行视频编码方法的一个视频编码装置的方框图。在第八实施例中，用于输入图像900的淡化检测单元900被根据图1中所示的宏块添加到该视频编码装置。该淡化检测单元900对于该输入视频信号的每个帧计算一个平均亮度值。如果亮度随时间的变化具有预定斜率，则确定该图像是一个淡化图像。一个结果901被通知到一个预测模式选择单元120。

如果淡化检测单元900确定该输入图像是一个淡化图像，则一个预测模式被限于从一个参考帧预测，或者根据多个参考帧的线性外推或线性插值进行预测。然后对每个宏块确定一个最佳运动矢量和预测模式。表示所确定的运动矢量和预测模式的第一标志被写入在一个宏块的标头，并且一个预测误差信号被编码。同时，表示一个可能的预测模式组合的第二标志被写入到该帧的标头数据中。

如果该淡化检测单元900确定该图像不是一个淡化图像，则一个预测模式被限于从一个参考帧执行预测，或者根据多个参考帧的平均值执行预测。然后确定一个最佳运动矢量和预测模式。该运动矢量、预测模式和预测误差信号101被编码。

当由图9中所示的实施例的方法编码的数据要被解码时，从表示一个预测模式的第一和第二标志确定用于每个宏块的预测模式。一个预测宏块信号从为每个宏块和所确定预测模式发送的一个运动矢量产生。该编码预测误差信号被解码和添加到该对该编码数据解码的预测信号。该方法可以减小用于预测模式信息的编码开销。

下面将参照图10描述根据本发明第九实施例的视频编码方法的一个程序。

要被编码的视频帧被一个接一个地输入到一个视频编码装置(未示出)。对从整个帧或在该帧中的多个像素块形成的每个片断，根据帧内平均亮度值随时间等等的变化，检测一个淡化图像(步骤S1)。选择单帧预测模式或线性求和预测模式用于在一个帧中的每个像素块。该单帧预测模式是通过从多个参考帧选择一个最佳参考帧而产生一个预测像素块信号的预测模式。该线性求和预测模式是通过根据两个参考像素块信号的线性和进行预测产生一个预测像素块的预测模式。

在线性求和预测模式中，当一个输入视频图像被检测为一个淡化图像时，执行时间线性插值(基于一个帧间时间距离的插值或外推)预测，以产生一个预测像素块。如果该输入视频图像不是一个淡化图像，则一个预测图像块从两个参考像素块信号的平均值产生。表示使用多个帧的线性求和预测是否为一个平均值预测或时间线性插值预测的第二要被编码的模式信息被编码作为一个帧(图像)或片断的标头数据(步骤S2)。

检查该输入视频图像是否为一个淡化图像(步骤S3)。如果该输入视频图像是一个淡化图像，则从在多个参考帧中选择单个预测块的一个编码模式(步骤S5)和基于时间线性插值预测的一个编码模式(步骤S4)中对每个像素块确定表现出较高编码效率和较少编码位数的一个编码模式(步骤S8)。

包含表示单帧预测模式或线性求和预测模式的第一编码模式信息以及关于所选择的编码模式(例如，要用于预测和运动矢量的参考帧的标识信息)的一个宏块被编码(步骤S10)。最后，在所选择预测块信号和要被编码的块的信号之间的差分信号(预测误差信号)被编码(步骤S11)，并且输出编码数据(S12)。

如果在步骤S3中为“否”，则从单帧预测模式选择一个最佳编码模式(步骤S6)和平均值预测模式(步骤S7)(步骤S9)。然后，按照相同的方式，执行关于编码模式的信息的编码(步骤S10)和差分信号的编码(步骤S11)。

当在一个帧或片断中的每个块被根据在步骤S1中的淡化检测结果而编码，并且在一个帧(图像)或一个片断中的所有像素块的编码完成时(步骤S12)，对于要被接着编码的帧或片断执行淡化检测(步骤S1)。通过类似的步骤执行编码。

根据上文的描述，一个帧被编码为一个图像。但是，一个帧可以基于区域地被编码为一个图像。

图11和12示出根据本实施例的要被编码的视频数据的结构。图11示出该数据结构的一部分，其中包括一个图像或片断的标头数据。图12示出宏块数据的一部分。在该图像或片断的标头区域中，如下信息被编码：关于要被编码的帧的显示时间的信息“要被显示的时间信息”，以及作为表示一个平均值预测是否被选择的第二编码模式信息。在这种情况中，“线性加权预测标志”＝0表示一个平均值预测，以及“线性加权预测标志”＝1表示时间线性插值预测。

该图像或片断的编码数据包含多个编码宏块数据。每个宏块数据具有类似于图12中所示的结构。在该宏块数据的标头区域中，表示基于所选择单个帧的单帧预测或者基于多个帧的线性求和的预测的信息(第一编码模式信息)被与关于参考帧、运动矢量信息等等的选择信息一同编码为“宏块类型”。

图13示出包含图11和12中所示的结构的要被编码的视频数据的整个时间序列结构。在要被编码的数据的开头，例如图像尺寸这样的在一个编码序列中保持恒定的多个编码参数的信息被编码为一个序列标头(SH)。

每个图像帧或区域被编码为一个图像，并且每个图像被顺序地编码为一个图像标头(PH)和图像数据的组合。在该图像标头(PH)中，关于图11中所示的要被编码的帧的显示时间的信息“要被显示的时间信息”和第二编码模式信息“线性加权预测标志”被分别编码为DTI和LWP。该图像数据被分为一个或多个片断(SLC)，并且该数据被对每个片断顺序编码。在每个片断SLC中，与在该片断中的每个像素块相关的编码参数被编码为一个片断标头(SH)，并且一个或多个宏块数据(MB)在该片断标头SH之后被顺序地编码。该宏块数据MB包含作为图12中所示第一编码模式信息的“宏块类型”的编码数据MBT、例如运动矢量信息(MV)这样关于在该宏块中的每个像素的编码的编码信息、以及通过执行要被编码的像素信号或者预测误差信号的正交变换(例如，离散余弦变换)并且对它编码所获得的正交变换系数(DCT)。

在这种情况中，包含在该图像标头HP中的第二编码模式信息“线性加权预测标志”可以通过用于每个片断的片断标头SH进行编码。

下面将参照图14描述根据第九实施例的视频解码方法中的一个程序。

在本实施例的视频编码方法中，通过图10中所示视频解码方法进行编码并且具有类似于图11和12中所示的数据结构的编码数据被输入和解码。包含在该输入编码数据中的一个图像或片断的标头信息被解码。更加具体来说，关于一个要被编码的帧的显示时间的信息“要被显示的时间信息”和第二编码模式信息“线性加权预测标志”被解码(步骤S30)。

另外，在该图像或片断中的每个宏块的标头信息被解码。也就是说，包含一个参考帧、运动矢量信息和第一编码模式信息等等的标识信息的“宏块类型”被解码(步骤S31)。

如果所解码的第一编码模式信息表示单帧预测，则根据参考帧的标识信息和例如运动矢量信息这样的预测模式信息产生一个预测块信号(步骤S34)。假设该第一编码模式信息表示基于多个增的线性和的预测。在这种情况中，根据该解码的第二编码模式信息(步骤S33)，通过平均预测方法(步骤S35)或时间线性插值预测方法(步骤S36)产生一个预测信号。

该编码的预测误差信号被解码和添加到该预测信号。通过该操作，产生一个解码的图像(步骤S37)。当在该图像或片断中的每个宏块被顺序地解码时，从每个宏块标头开始，并且在该图像或片断中的所有宏块被完全解码(步骤S38)，从一个图像或片断标头开始再次顺序执行解码。

如上文所述，根据本实施例，关于编码模式的信息被分为表示单帧预测或者基于多个帧的线性和的预测的第一编码模式信息，以及表示基于一个线性和的预测是否为时间线性差值预测或平均预测的第二编码模式信息。该第一编码模式信息被对每个宏块编码。该第二编码模式信息被对每个图像或片断编码。这可以减小用于要被编码的模式信息的编码开销，并且保持编码效率。

也就是说，该第二编码模式信息表示在例如淡化图像这样的一个帧中的广泛的特性。因此，如果第二编码模式信息被对于每个片断或帧编码，则可以抑制在编码该编码模式信息本身所需的代码量的增加，并且与编码用于每个宏块的信息的方法相比可以抑制编码效率的下降。

对用于每个宏块的第一编码模式信息进行编码使得根据每个像素块的各自特性确定适当的模式成为可能(例如，随时间部分地出现和消失的一个图像。)这可以进一步提高编码效率。

在本实施例中，由于该第一编码模式信息和第二编码模式信息的编码频率被考虑到视频图像的特性而确定，因此可以完成高效、高图像质量的编码。

下面将参照图15和16详细描述在本实施例中的一个时间线性差值预测。

在图15中的参考符号F0、F1和F2和在图16中的参考符号F0、F2和F1表示时间上连续的帧。参照图15和16，帧F2是一个要被编码或要被解码的帧，并且帧F0和F1是参考帧。假设，在图15和16中所示的实施例中，从两个参考帧的线性和预测在一个要被编码的帧或一个要被解码的帧中的一个给定像素块。

如果该线性求和预测是一个平均值预测，则从由各个参考帧提取的参考块的简单平均产生一个预测像素块。假设ref0和refl分别是从帧F0和F1提取的参考像素块信号，则在图15和16中的每个预测像素块信号pred2由下式给出：

pred2＝(ref0+ref1)/2                (15)

如果该线性求和预测是一个时间线性差值预测，则根据一个要被编码的帧或一个要被解码的帧与每个参考帧之间的时间差计算一个线性和。如图11中所示，关于在一个图像或片断标头区域中的显示时间的信息“要被显示的时间信息”被对于每个要被编码的帧编码。在解码时，每个帧的显示时间被根据该信息而计算。假设帧F0、F1和F2的显示时间分别由Dt0、Dt1和Dt2所表示。

图15中所示的实施例示出用于从两个过去帧预测当前帧的一个线性外推预测。图16中所示的实施例示出从将来和过去帧进行线性差值预测。参见图15和16，假设Rr为两个参考帧之间的时间距离，并且Rc为从相对于要被编码的帧的最早参考帧到要被编码的帧之间的时间距离，该时间距离Rr由下式给出：

Rr＝Dt1-Dt0，Rc＝Dt2-Dt0                    (16)

在图15和16中所示的情况中，基于上述时间距离的线性外推预测和线性差值预测通过下式计算：

pred2＝{(Rr-Rc)*ref0+Rc*ref1}/Rr     (17)

方程(17)可以被转换为方程(18)：

Pred2＝ref0+(ref1-ref0)*Rc/Rr        (18)

在例如淡化图像或信号幅度随时间在帧之间变化的交叉淡化图像中，在信号幅度中的时间抖动可以在非常短的时间内被近似为线性(例如，等效于三个帧)。因此，如在本实施例中，通过根据要被编码的帧和两个参考帧中的每个帧之间的时间距离执行时间线性插值(线性外推或线性差值)可以产生一个更加精确的预测图像。结果，提高帧间预测效率。这可以减小所产生的代码量，而不降低图像质量。另外，这可以用相同位率执行较高质量的编码。

在本发明中的上述编码和解码处理可以用硬件实现，或者部分或所有处理可以用软件实现。

图17和18分别示出用于在基于多个参考帧的线性和的第一和第八实施例中的一个预测模式的预测系数表的一个例子。在第一实施例中，预测系数基于宏块而改变，并且在第八实施例中，基于帧而改变。存在两个系数“平均”和“线性外推”的组合。

图17和18中所示的一个指标(代码号(Code_number))被编码为用于每个宏块或帧的标头数据。在该第八实施例中，由于一个线性预测系数对每个帧是恒定的，可以仅仅通过使用一个帧的标头数据而执行编码。在图17中所示的预测系数表中，明确定义该系数的数值。图18中所示的预测系数表表示“平均值”或者“线性预测(插值或外推)”。通过对这个指标进行编码，可以减小要被编码的信息量，因此与直接编码线性预测系数的情况相比可以减小编码开销。

图19为示出与本发明第一和第八实施例中的各种预测模式相关的参考帧(Reference_frame)的组合。参见图19，代码号＝0表示在从紧接着在前的帧预测的预测模式(一帧后(one frame back))中的参考帧组合；代码号＝1表示在基于前两帧(两帧后(two frame back))的预测模式中的参考帧组合。在代码号＝2的情况中，使用上述线性预测系数的预测模式被使用。

在第一和第八实施例中，参考帧的组合可以基于宏块而改变，并且在图19中的表格内的指标可以基于宏块而编码。

图20和21示出根据本发明第十实施例的视频编码装置和视频解码装置的结构。在第一和第八实施例中，基于两个参考帧的最大值的线性和执行预测。与此相反，第十实施例可以基于对每个宏块选择一个特定帧通过使用三个或更多的参考帧或多个参考帧的线性和而执行预测。

图20中所示视频编码装置包括对应于最大参考帧计数值(n)的参考帧存储器117、118和152。类似地，在图21中的视频解码装置包括对应于最大参考帧计数值(n)的参考帧存储器217、218和252。在本实施例中，在基于线性和的预测中，每个预测宏块产生器151和251通过计算预测系数W1至Wn的预测系数的乘积与从各个参考帧提取的参考宏块之和，并且把该结果向右偏移Wd位。可以对每个帧改变要被选择的参考帧。线性预测系数的组合被编码为用于一个帧的标头数据，并且参考帧的选择信息被编码为用于每个宏块的标头数据。

图22示出根据本实施例通过使用一个线性预测系数作为用于一个帧的标头进行编码的数据语法。在编码线性预测系数中，参考帧的最大数被首先编码为最大参考的数目(Number_Of_Max_References)。然后编码表示线性预测系数的计算精度的加权因子分母指数(在图20和21中的Wd)。对应于与最大参考的数目的各个参考帧的系数“加权因子分母指数[i]”(在图20和21中的W1至Wn)被编码。对应于第i个参考帧的线性预测系数由下式给出：

W_i/2^Wd                              (19)

图23示出表示根据本实施例对于每个宏块编码的参考帧的组合的表格。代码号＝0表示基于所有参考帧的线性和的预测。代码号＝1表示一个参考帧是一个特定的帧，并且是把在其之前的特定数目的帧作为一个参考帧的帧。基于所有参考帧的线性和的预测通过使用图22中所示预测系数来执行。这种情况中，一些预测系数被设置为0，使得基于任意参考帧的组合的线性预测可以在线性预测模式中基于帧而切换。

在本发明的这一实施例中，通过按照如下方式在运动矢量之间使用空间或时间相关关系对运动矢量和差分矢量进行编码，以进一步减小运动矢量代码量。

首先参照图24描述使用一个空间相关关系的运动矢量压缩方法。参见图24，参考标号A、B、C、D和F表示在一个帧中的相邻宏块。当宏块A的运动矢量或差分矢量要被编码时，从相邻宏块B、C、D和F的运动矢量产生一个预测矢量。仅仅预测矢量的运动矢量和该宏块A的运动矢量之间的误差被编码。在解码方，按照与编码操作相同的方式计算预测矢量。该宏块A的运动矢量或差分矢量通过把该预测矢量与编码的误差信号相加而产生。

通过可变长编码或算术编码方法对一个运动矢量误差进行编码可以高效率地压缩该图像。一个运动矢量例如可以通过使用该宏块B、C、D和F的运动矢量的中值或平均值作为一个预测矢量。

下面将参照图25描述使用时间相关性的运动矢量压缩方法。图25示出两个连续帧(F0、F1)。参见图25，参考符号A、B、C、D和E表示在帧F1中的相邻宏块，以及在帧F0中与宏块A、B、C、D和E相同位置的宏块a、b、c、d和e。当宏块A的运动矢量或差分矢量要被编码时，在与宏块A相同位置处的宏块a的运动矢量被设置为一个预测矢量。可以通过仅仅对该预测矢量和宏块A的矢量之间的误差进行编码而压缩该运动矢量信息。

通过使用时空相关性和在帧F1中的宏块B、C、D和E以及在帧F0中的宏块a、b、c、d和e的运动矢量，可以进一步对宏块A的运动矢量进行一个三维预测。该运动矢量可以通过仅仅编码该预测矢量和要被编码的矢量之间的误差而压缩。

通过从该多个时空相邻的运动矢量的中值、平均值等等产生一个预测矢量可以实现对一个运动矢量的三维预测。

下面将描述根据本发明宏块跳过的一个实施例。假设在运动补偿预测编码中具有宏块，其中通过DCT和量化，所有预测误差信号变为0。在这种情况中，为了减小编码开销，满足预定条件的宏块不被编码，包括该宏块的标头数据，例如，预测模式和运动矢量。在视频宏块的标头中，仅仅对应于被连续跳过的宏块数目的宏块被编码。在解码操作中，被跳过的宏块被根据预定模式而解码。

在根据本发明的实施例的宏块跳过的第一模式中，宏块跳过被定义为满足如下条件，即，要被用于预测的参考帧是一个预定帧，所有运动矢量单元为0，并且所有预测误差信号为0。在解码操作中，与运动矢量为0的情况相同，一个预测宏块被从预定参考帧中产生。所产生的预测宏块被重构为一个解码宏块信号。

假设作为参考帧的紧接着在前的两个帧的线性和是用于一个参考帧的跳过条件。在这种情况中，与淡化图像相同，即使对于信号强度随时间改变的图像也可以实现宏块跳过，从而提高编码效率。另外，可以通过把作为跳过条件的参考帧的指标作为每个帧的标头数据而发送，以改变每个帧的跳过条件。通过对每个帧改变帧的跳过条件，可以根据一个输入图像的属性设置最佳跳过条件，从而减小编码开销。

在根据本发明的实施例的宏块跳过的第二模式中，一个运动矢量被预测地解码。假设一个宏块跳过条件是一个运动矢量的误差信号为0。其他条件与在上述第一模式中用于宏块跳过的条件相同。在第二模式中，在解码一个被跳过的宏块时，首先产生一个预测运动矢量。通过使用所产生的预测运动矢量，从预定参考帧产生一个预测图像，并且产生该宏块的解码信号。

在根据本发明的实施例宏块跳过的第三模式中，一个跳过条件是要被编码的运动矢量信息与紧接着在前的宏块中编码的运动矢量信息相同。当一个运动矢量要被预测编码时，要被编码的运动矢量信息是一个预测误差矢量。剩余条件与上述第一模式相同。

在宏块跳过的第三模式中，当被跳过的宏块要被解码时，要被编码的运动矢量信息被作为0，并且该运动矢量被重构。一个预测图像被根据重构的运动矢量从预定参考帧产生，并且产生该宏块的解码信号。

假设在宏块跳过的第四模式中，要用于预测的参考帧的组合与用于被立即编码的宏块相同。则其他跳过条件与上述第一模式中相同。

假设在宏块跳过的第五模式中，用于预测的参考帧的组合与用于被立即编码的宏块相同。剩余跳过条件与上述第一模式中相同。

假设在宏块跳过的第六模式中，用于预测的参考帧组合与用于被立即编码的宏块的参考帧相同。其他跳过条件与上述第三模式中的条件相同。

根据上述第一至第六模式中的跳过条件，通过使用相邻宏块之间的运动相关性或信号强度随时间改变较快的属性，通过有效地进行宏块跳过可以实现编码开销的减小和高效率的编码。

图26示出一个实施例，其中线性预测系数701被添加到根据图20中所示的实施例的视频解码装置。在该线性预测系数701中，用于线性预测的预测系数被根据从每个参考帧到一个视频帧的距离、在一个输入帧中的直流分量的时间变化等等，从多个参考帧确定。下面将描述与特定预测系数的确定相关的多个实施例。

图27示出从两个过去帧的线性和预测一个增的预测方法。参考帧F0和F1被用于视频帧F2。参考符号Ra和Rb表示在各个参考帧F0和F1与视频帧F2之间的帧间距离。假设，W0和W1是用于参考帧F0和F1的线性预测系数。第一线性预测系数的组合是(0.5，0.5)。也就是说，可以从两个参考帧的简单平均获得该组合。第二线性预测系数通过线性外推根据帧间距离而确定。在图27(20)中所示的情况中，线性预测系数由方程(20)给出。如果，例如帧间间隔为常量，Rb＝2×Ra，并且线性预测系数由下式给出：

$(W_0,W_1)=(\frac{-\mathrm{Ra}}{\mathrm{Rb}-\mathrm{Ra}},\frac{\mathrm{Rb}}{\mathrm{Rb}-\mathrm{Ra}})---\left(20\right)$

得出(W0，W1)＝(-1，2)。

根据方程(20)，即使每个参考帧和视频帧之间的帧间距离任意改变，也可以执行适当地线性预测。即使，例如通过使用帧跳过等等执行可变帧率的编码或者两个任意的过去帧被选择作为参考帧，也可以保持较高的预测效率。在一个编码操作中，第一和第二预测系数之一可以永久使用，或者第一或第二预测系数可以自适应地选择。作为自适应选择的预测系数的一种实践方法，可以使用通过使用在每个帧中的平均亮度值(DC值)选择预测系数的方法。

假设在帧F0、F1和F2中的平均亮度值分别为DC(F0)、DC(F1)和DC(F2)。对于一个帧内的DC分量，通过使用各个线性预测系数所获得的预测误差的幅度由方程(21)和(22)来计算：

$|\mathrm{DC}\left(F2\right)-\left(\frac{\mathrm{DC}\left(F0\right)+\mathrm{DC}\left(F1\right)}{2}\right)|---\left(21\right)$

$|\mathrm{DC}\left(F2\right)-(\frac{\mathrm{Rb}}{\mathrm{Rb}-\mathrm{Ra}}\mathrm{DC}\left(F1\right)-\frac{\mathrm{Ra}}{\mathrm{Rb}-\mathrm{Ra}}\mathrm{DC}\left(F0\right))|---\left(22\right)$

如果算术表达式(21)的数值小于算术表达式(22)的数值，则第一预测系数被选择。如果算术表达式(22)的数值小于算术表达式(22)的数值，则第二预测系数被选择。通过改变用于每个视频帧的预测系数，可以根据视频信号的特性执行光学线性预测。还可以根据方程(23)或(24)在该帧中使用DC数值的比率而确定第三和第四预测系数来实现有效线性预测：

$(W_0,W_1)=(\frac{1}{2}\&CenterDot;\frac{\mathrm{DC}\left(F2\right)}{\mathrm{DC}\left(F0\right)},\frac{1}{2}\&CenterDot;\frac{\mathrm{DC}\left(F2\right)}{\mathrm{DC}\left(F1\right)})---\left(23\right)$

$(W_0,W_1)=(\frac{-\mathrm{Ra}}{\mathrm{Rb}-\mathrm{Ra}}\&CenterDot;\frac{\mathrm{DC}\left(F2\right)}{\mathrm{DC}\left(F0\right)},\frac{\mathrm{Rb}}{\mathrm{Rb}-\mathrm{Ra}}\&CenterDot;\frac{\mathrm{DC}\left(F2\right)}{\mathrm{DC}\left(F1\right)})---\left(24\right)$

由方程(23)给出的该第三线性预测系数是考虑到在该帧中的DC值的比率而计算的加权平均。由方程方程(24)所给出的第四线性预测系数是考虑到在该帧中的DC值的比率和帧间距离而计算的线性预测系数。在使用上述第二至第四线性预测系数中，线性预测需要除法。但是，把在编码时的计算精度与解码时的计算精度相匹配允许基于除法和数位偏移来执行线性预测，而不需要任何除法。

一个实际语法可以被设置为使得每个线性预测系数由一个作为2的次幂的分母和一个整数分子来表达，如图22中所示的情况。图28示出从两个时间相邻的帧的线性和预测一个帧的方法。参见图28，参考符号F1表示要被编码的帧；F0和F2表示参考帧；以及Ra和Rb表示在各个参考帧和视频帧之间的帧间距离。另外，用于参考帧F0和F2的线性预测系数分别由W0和W2所表示。各个帧的亮度值的帧内平均值分别由DC(F0)、DC(F1)和DC(F2)所表示。类似于图27(20)中的四种预测系数的组合由方程(25)至(28)给出：

(W₀，W₂)＝(0.5，0.5)                            (25)

$(W_0,W_2)=(\frac{\mathrm{Ra}}{\mathrm{Rb}+\mathrm{Ra}},\frac{\mathrm{Rb}}{\mathrm{Rb}+\mathrm{Ra}})---\left(26\right)$

$(W_0,W_2)=(\frac{1}{2}\&CenterDot;\frac{\mathrm{DC}\left(F1\right)}{\mathrm{DC}\left(F0\right)},\frac{1}{2}\&CenterDot;\frac{\mathrm{DC}\left(F1\right)}{\mathrm{DC}\left(F2\right)})---\left(27\right)$

$(W_0,W_2)=(\frac{\mathrm{Ra}}{\mathrm{Rb}+\mathrm{Ra}}\&CenterDot;\frac{\mathrm{DC}\left(F1\right)}{\mathrm{DC}\left(F0\right)},\frac{\mathrm{Rb}}{\mathrm{Rb}+\mathrm{Ra}}\&CenterDot;\frac{\mathrm{DC}\left(F1\right)}{\mathrm{DC}\left(F2\right)})---\left(28\right)$

方程(25)表示一个简单平均预测；方程(26)表示基于帧间距离的加权平均预测；方程(27)表示基于DC值比率的加权平均预测；以及方程(28)表示基于DC值比率和帧间距离的加权预测。

图29示出根据三个过去帧的线性和执行预定预测的方法。参考符号W0、F1和F2表示参考帧；F3表示视频帧；以及Rc、Rb和Ra表示各个参考帧F0、F1和F2与视频帧F3之间的帧间距离。在图29中所示的情况中，可以设想多个线性预测系数的组合。下面是一个具体例子。假设用于各个参考帧的线性预测系数由W0、W1和W2所表示。

第一预测系数的组合由方程(29)所给出。第一预测系数用于根据三个参考帧的简单平均预测。基于第一预测系数的一个预测图像F₃ ⁰¹²由方程(30)所表达：

$(W_0,W_1,W_2)=(\frac{1}{3},\frac{1}{3},\frac{1}{3})---\left(29\right)$

${\mathrm{aF}}_3^{012}=\frac{1}{3}(F1+F2+F3)---\left(30\right)$

与基于方程(20)进行预测的情况相同，第二、第三和第四预测系数是用于通过从三个参考帧选择两个帧根据线性外推执行外推预测的系数。假设eF₃ ¹²是从参考帧F2和F1预测的视频帧F3的预测图像，eF₃ ⁰²是从参考帧F2和F0预测的视频帧F3的预测图像，以及eF₃ ⁰¹是从参考帧F1和F0预测的视频帧F3的预测图像，这些预测图像分别由方程(31)、(32)和(33)所表达：

${\mathrm{eF}}_3^{12}=\frac{\mathrm{Rb}}{\mathrm{Rb}-\mathrm{Ra}}F2-\frac{\mathrm{Ra}}{\mathrm{Rb}-\mathrm{Ra}}F1---\left(31\right)$

${\mathrm{eF}}_3^{02}=\frac{\mathrm{Rc}}{\mathrm{Rc}-\mathrm{Ra}}F2-\frac{\mathrm{Ra}}{\mathrm{Rc}-\mathrm{Ra}}F0---\left(32\right)$

${\mathrm{eF}}_3^{01}=\frac{\mathrm{Rc}}{\mathrm{Rc}-\mathrm{Rb}}F1-\frac{\mathrm{Rb}}{\mathrm{Rc}-\mathrm{Rb}}F0---\left(33\right)$

假设eF₃ ⁰¹²是通过对由方程(31)至(33)所给出的数值求平均而获得的预测数值，该预测数值eF₃ ⁰¹²可以由方程(34)的第五预测系数所给出：

${\mathrm{eF}}_3^{012}=\frac{1}{3}\frac{2\mathrm{RaRb}-\mathrm{RaRc}-\mathrm{RbRc}}{(\mathrm{Rc}-\mathrm{Ra})(\mathrm{Rc}-\mathrm{Rb})}F0$

$+\frac{1}{3}\frac{\mathrm{RaRb}-2\mathrm{RaRc}+\mathrm{RbRc}}{(\mathrm{Rc}-\mathrm{Rb})(\mathrm{Rb}-\mathrm{Ra})}F1---\left(34\right)$

$+\frac{1}{3}\frac{-\mathrm{RaRb}-\mathrm{RaRc}+2\mathrm{RbRc}}{(\mathrm{Rc}-\mathrm{Ra})(\mathrm{Rb}-\mathrm{Ra})}F2$

可以使用第一至第五线性预测系数之一。另外，可以计算帧F0、F1、F2和F3的帧内平均亮度值DC(F0)、DC(F1)、DC(F2)和DC(F3)，并且可以通过使用上述五个预测系数中的每个系数预测视频帧F3的帧内平均亮度值。表现出最小预测误差的一个预测系数可以被有选择地用于每个视频帧。后一种方案的使用允许根据输入图像的属性基于帧而自动选择最佳线性预测，并且可以实现高效率的编码。

另外，可以使用通过把第一至第五线性预测效率乘以各个帧的平均亮度值的比率而获得该预测系数。如果，例如该第一预测系数乘以该平均亮度值的比率，则由下列方程方程(35)给出一个预测系数。这应用于其他预测系数。

$(W_0,{W_1,W}_2)=(\frac{1}{3}\&CenterDot;\frac{\mathrm{DC}\left(F3\right)}{\mathrm{DC}\left(F0\right)},\frac{1}{3}\&CenterDot;\frac{\mathrm{DC}\left(F3\right)}{\mathrm{DC}\left(F1\right)},\frac{1}{3}\&CenterDot;\frac{\mathrm{DC}\left(F3\right)}{\mathrm{DC}\left(F2\right)})---\left(35\right)$

图30示出根据两个过去帧和一个将来帧的线性和执行预测的方法。参考符号F0、F1和F3表示参考帧；F2表示一个视频帧；以及Rc、Rb和Ra表示参考帧F0、F1和F3与视频帧之间的帧间距离。在这种情况中，与图29中所示的情况相同，多个预测系数组合可以通过使用在各个帧中的帧间距离和DC值的比率来确定。另外，可以从在该帧中的DC值的预测误差确定一个最佳的预测系数组合。

对应于在图30中的预测方法中的方程(30)至(35)的线性预测表达式或预测系数由方程(36)至(41)来表达：

${\mathrm{aF}}_2^{013}=\frac{1}{3}(F0+F1+F3)---\left(36\right)$

${\mathrm{eF}}_2^{13}=\frac{\mathrm{Rb}}{\mathrm{Rb}+\mathrm{Ra}}F3+\frac{\mathrm{Ra}}{\mathrm{Rb}+\mathrm{Ra}}F1---\left(37\right)$

${\mathrm{eF}}_2^{03}=\frac{\mathrm{Rc}}{\mathrm{Rc}+\mathrm{Ra}}F3+\frac{\mathrm{Ra}}{\mathrm{Rc}+\mathrm{Ra}}F0---\left(38\right)$

${\mathrm{eF}}_2^{01}=\frac{\mathrm{Rc}}{\mathrm{Rc}-\mathrm{Rb}}F1-\frac{\mathrm{Rb}}{\mathrm{Rc}-\mathrm{Rb}}F0---\left(39\right)$

${\mathrm{eF}}_2^{013}=\frac{1}{3}\frac{-2\mathrm{RaRb}+\mathrm{RaRc}-\mathrm{RbRc}}{(\mathrm{Rc}+\mathrm{Ra})(\mathrm{Rc}-\mathrm{Rb})}F0$

$+\frac{1}{3}\frac{-\mathrm{RaRb}+2\mathrm{RaRc}+\mathrm{RbRc}}{(\mathrm{Rc}-\mathrm{Rb})(\mathrm{Rb}+\mathrm{Ra})}F1---\left(40\right)$

$+\frac{1}{3}\frac{-\mathrm{RaRb}+\mathrm{RaRc}+2\mathrm{RbRc}}{(\mathrm{Rc}+\mathrm{Ra})(\mathrm{Rb}+\mathrm{Ra})}F3$

$(W_0,{W_1,W}_3)=(\frac{1}{3}\&CenterDot;\frac{\mathrm{DC}\left(F2\right)}{\mathrm{DC}\left(F0\right)},\frac{1}{3}\&CenterDot;\frac{\mathrm{DC}\left(F2\right)}{\mathrm{DC}\left(F1\right)},\frac{1}{3}\&CenterDot;\frac{\mathrm{DC}\left(F2\right)}{\mathrm{DC}\left(F3\right)})---\left(41\right)$

图31示出在根据本发明的实施例的视频编码中的运动矢量搜索的第一例子。图32示出在通过使用两个连续帧作为参考帧而进行预测的情况中的一种情况中的运动矢量搜索方法，并且一个代表性的运动矢量被编码，如图6中所示。在图中的参考符号F2表示一个视频帧；以及F0和F1表示参考帧。参考数字10表示一个视频宏块；以及12、14、16和18表示在该参考帧中的一些参考宏块候选项。

为了获得用于该宏块10的最佳运动矢量，用于在一个运动矢量搜索范围内的参考帧F1的运动矢量候选项(在图31中的运动矢量候选项11和15)以及通过根据帧间距离缩放运动矢量候选项所获得的运动矢量(在图31中通过缩放运动矢量候选项11所获得的运动矢量13以及通过缩放运动矢量候选项15所获得的运动矢量17)被用作为用于参考帧F0的运动矢量。从两个参考帧F0和F1提取的参考宏块14和12或16和18的线性和产生一个预测宏块。在该预测宏块和要被编码的宏块10之间的差值被计算。当该差值变为最小值时，相应的运动矢量被确定为用于每个宏块的运动矢量搜索结果。然后通过使用所确定的运动矢量对每个宏块执行运动补偿预测编码。

可以考虑到用于每个运动矢量本身的编码开销以及上述差值而确定一个运动矢量。可以选择一个运动矢量，其表现出实际编码一个差分信号和运动矢量所需最小代码量。如上文所述，该运动矢量搜索方法可以利用比对参考帧F0和F1分别搜索最佳运动矢量的方法更小的计算量而获得一个精确的运动矢量。

图32示出在根据本发明的实施例的视频编码中的运动矢量搜索的第二例子。图32示出在通过使用两个连续帧作为参考帧预测一个当前帧的情况中的一个运动矢量搜索方法，并且通过与图31相同的方法，一个代表性的运动矢量被编码，或者一个代表性的运动矢量和一个差分矢量被编码，如图6中所示。参见图32，参考符号F2表示一个视频帧；以及F0和F1表示参考帧。参考数字10表示一个视频宏块；以及12、14、16和18表示在该参考帧中的参考宏块候选项。

在第二运动矢量搜索中，与第一运动矢量搜索相同，对两个参考帧进行一个运动矢量的搜索。参见图32，运动矢量11和通过缩放该运动矢量11所获得的运动矢量13被选择作为光学运动矢量。在运动矢量13附近的区域中，对于来自帧F0的一个参考宏块，对一个运动矢量进行重新搜索。在重新搜索操作中，通过使用该运动矢量11从帧F1提取的参考帧12被固定。从帧F0的运动矢量13附近的一个区域提取的参考帧12和参考帧14的线性和产生一个预测宏块。对于该帧F0重新搜索一个运动矢量，以使得在该预测宏块和要被编码的宏块之间的差值最小化。

假设，一个视频信号被设置为恒定的帧率，并且在帧F2和F1之间的间隔以及在帧F1和F0之间的间隔相等，在这种情况中，为了搜索一个恒定运动，对于参考帧F0的搜索范围的面积比率比对于参考帧F1的搜索范围大四倍。利用相同的精度对于两个参考帧F0和F1的运动矢量的搜索的计算量比在仅仅从该参考帧F1进行预测中搜索一个运动矢量所需的计算量大四倍。

根据该第二运动矢量搜索方法，首先，以全精度(full precision)对参考帧F1搜索一个运动矢量。然后对该参考帧F0搜索通过把该运动矢量缩放两倍而获得的运动矢量。利用全精度重新搜索该参考帧F0。这种两步骤的搜索操作可以把用于运动矢量搜索的计算量减小到大约1/4。

在该第二运动矢量搜索方法中，分别获得用于参考帧F0和F1的运动矢量。在编码这些运动矢量中，首先，用于参考帧F1的运动矢量11被编码。在通过缩放该运动矢量11所获得的运动矢量13与作为重新搜索该参考帧F0所获得的运动矢量之间的差分矢量被编码。这可以减小用于每个运动矢量的编码开销。

对于在±1的重新搜索范围中缩放该运动矢量11所获得的运动矢量13被搜索，即，以1/2的粗略精度进行搜索。仅仅利用全精度对该运动矢量13进行重新搜索。在这种情况中，对于重新搜索的参考帧F0的运动矢量被缩放为1/2。这可以唯一地对该参考帧F1重构该运动矢量11，而与重新搜索结果无关。因此，仅仅可以对参考帧F0的运动矢量进行编码，在解码操作中，对于该参考帧F1的运动矢量11可以通过把所接收的运动矢量缩放为1/2而获得。

图33示出第三运动矢量搜索方法。在该运动矢量搜索方法中，与图31中所示的方法相同，通过使用两个连续帧作为参考帧而预测一个当前帧，如图6中所示。一个代表性的运动矢量被编码，或者一个代表性的运动矢量和差分矢量被编码。参见图33，参考符号F2表示一个视频帧；以及F0和F1表示参考帧。参考数字10表示一个视频宏块；以及12、14、16和18表示在该参考帧中的一些参考宏块候选项。

在第三运动矢量搜索中，与第一或第二例子相同，对于参考帧F0和F1搜索运动矢量，并且对于参考帧F1重新搜索一个运动矢量。通常，在一个视频图像中，在时间上相互接近的帧之间的相关性较强。根据该属性，在第三运动矢量搜索中，可以通过对于时间上最接近该参考帧F2的参考帧F1，以更高的精度获得获得在时间上最接近于该参考帧F2的参考帧F1而提高预测效率。

图34示出根据本发明的实施例的一个运动矢量编码方法。在图中，F2示出一个视频帧，F1示出紧接着在帧F2之前被编码的一个帧，30和31示出要被分别编码的宏块。32和33示出处于与帧F1中的宏块30和31相同位置处的宏块。34和35示出该宏块30和31的要被编码的运动矢量，以及36和37是该宏块32和33的被编码的运动矢量。

在该实施例中，如果要被编码的运动矢量与用于在该紧接着在前的视频帧中处于相同位置处的宏块的运动矢量相同，则该运动矢量不被编码，并且表示该运动矢量与用于在该紧接着在前的视频帧中的相同位置处的宏块的运动矢量相同的标志被编码作为一个预测模式。如果该运动矢量不与用于在该紧接着在前的视频帧中的相同位置处的宏块的运动矢量相同，则该运动矢量信息被编码，在图34中所示的方法中，该运动矢量34和36是相同的。因此，该运动矢量34不被编码。另外，由于该运动矢量35不同于该运动矢量37，则该运动矢量35被编码。

按照上述方式编码运动矢量减小对于静止图像或进行匀速运动的图像的运动矢量的冗余度，因此可以提高编码效率。

图35示出根据本发明的实施例的另一个运动矢量编码方法。在图35中所示的方法中，与图34中所示的方法相同，如果用于该紧接着在前的视频帧中的相同位置处的宏块的运动矢量与用于一个视频帧的运动矢量相同，则该运动矢量不被编码。运动矢量是否互为相同是根据它们的运动角度是否相同而确定的。参见图35，通过把一个紧接着在前的视频帧F2设置为一个参考帧，并且使用运动矢量44和45，可以对一个视频帧F3中的宏块40和41执行运动补偿预测。对于在紧接着在帧F1之前的视频帧F2中与宏块40相同位置处的宏块42，通过把一个帧F0设置为相对于作为参考帧的帧F2为基于前两帧并且使用一个运动矢量46而执行运动补偿预测。

尽管运动矢量46和44表现出相同的角度，该运动矢量46的大小是运动矢量44的两倍。因此，运动矢量44可以通过根据帧间距离缩放该运动矢量46而重构。因此，运动矢量44不被编码，并且表示使用一个运动矢量用于紧接着在前的帧的模式的预测模式信息被设置。

宏块41的运动矢量45表现出与在前帧中相同位置处的宏块43的运动矢量47相同的角度，因此与宏块40的情况相同，该运动矢量45不被编码。通过根据视频帧和参考帧之间的帧间距离缩放在先前帧中的相同位置处的运动矢量所获得的运动矢量，与上述情况相同运动矢量不被编码的宏块受到运动补偿预测帧间编码和解码。

图36为用于说明根据本发明的实施例对表示参考帧的指标的宏块跳过和预测编码的示意图。参见图36，参考符号F3表示一个视频帧；A表示一个视频宏块；B、C、D和E表示已经被编码的相邻宏块；以及F0、F1和F2表示参考帧，其中一个或多个参考帧被选择并且对每个宏块受到运动补偿预测编码。对于宏块A，通过使用帧F1作为一个参考帧根据一个运动矢量50执行预测。对于宏块B、C和E，分别通过使用帧F2、F1和F0作为参考帧根据运动矢量51、52和55执行预测。通过使用该参考帧F1和F2预测宏块D。当宏块A的运动矢量50要被编码时，一个预测矢量被从相邻宏块B、C、D和E的运动矢量中选择，并且在该预测矢量和运动矢量50之间的差分矢量被编码。

例如通过选择对应于相邻宏块B、C和E的运动矢量的中值的运动矢量的方法或者选择表现出最小剩余误差信号的一个相邻宏块B、C、D和E的运动矢量作为一个预测矢量的方法而确定一个预测矢量。

假设在该预测矢量和要被编码的宏块的运动矢量之间差值变为0，具有其预测矢量被选择的宏块的参考帧与具有要被编码的视频宏块的参考帧相一致，并且所有要被编码的预测误差变为0。在这种情况中，该宏块被跳过而不被编码。被连续跳过的宏块数目被编码为要被接着编码的视频宏块的标头信息，而不被跳过。假设用于宏块A的一个预测矢量变为宏块C的运动矢量52。在这种情况中，该宏块A在参考帧方面与宏块C相同，并且运动矢量50与运动矢量52相一致。如果宏块A的所有预测误差信号为0，则该宏块被跳过而不被编码。在解码时，一个预测矢量由与在编码时所用的方法相同的方法而选择，并且通过使用其预测矢量被选择的宏块的参考帧而产生一个预测图像。所产生预测图像是被跳过的宏块的解码图像。

如果上述宏块跳过条件之一不被满足，则该视频宏块的预测矢量和运动矢量之间的差分矢量、预测误差信号和表示参考帧的一个指标被编码。

作为表示该参考帧的指标，在其预测矢量被选择的一个相邻宏块的参考帧指标和该视频帧的参考帧指标之间的差值被编码。

与上述情况相同，当该宏块C的运动矢量52被选择作为该宏块A的预测矢量时，在该运动矢量50和运动矢量52之间的差分矢量和该宏块A的预测误差信号被编码。另外，例如，根据图23中所示的表格，一个参考帧由一个指标(代码号)所表达。在表示用于两帧后的宏块C的参考帧的指标2和宏块A的指标2之间的差值，即0，被编码为一个参考帧指标差值。

图37示出根据本发明的实施例的另一个运动矢量编码方法。参见图37，帧F2是要被编码的视频帧，其是被从时间上相邻的帧执行运动补偿预测的B图像。对于在帧F2中的一个宏块61，帧F3被用作为用于向后预测的一个参考帧，并且帧F1被用作为用于向前预测的一个参考帧。因此，在帧F2被编码或解码之前，帧F3被编码或解码。

在用于该视频宏块61的向后预测的参考帧F3中，在与视频宏块61在该帧中的位置相同的位置处的宏块60将被考虑。如果基于该帧F0和F1的线性和的运动补偿预测被使用，则对应于用于该视频宏块61的向前预测的参考帧F1的宏块60的运动矢量(在图中为62)被根据帧间距离而缩放，并且该结果矢量被用作为用于该视频宏块61的向前和向后预测的一个矢量。

假设R1是从帧F1到帧F2的帧间距离，并且R2是从帧F2到帧F3的帧间距离，通过把该运动矢量62乘以R1/(R1+R2)所获得的运动矢量变为对该宏块61进行向前预测的一个运动矢量64。通过把该运动矢量乘以-R2/(R1+R2)所获得的运动矢量变为对该宏块61进行反向预测的一个运动矢量65。

对于该视频宏块61，上述运动矢量信息不被编码，并且仅仅表示上述预测模式，即通过运动矢量缩放而执行双向预测，的一个标志被编码。

在一个解码操作中，该帧F3被首先解码。该解码帧F3的各个宏块的运动矢量被暂时存储。在该帧F2中，对于其表示上述预测模式的标志被设置的宏块，通过缩放在帧F3的相同位置处的宏块的运动矢量，在该宏块60用于向前和向后预测的运动矢量被计算，从而执行双向预测解码。

图38示出图37中所示的双向预测的另一个例子。参见图38，帧F0是用于一个视频帧F2的视频宏块71的向前预测的一个参考帧，并且其他结构与图37中所示的相同。在这种情况中，通过根据帧间距离对于处在与视频宏块71相同位置处的帧F3的宏块70的运动矢量73缩放到帧F0，而获得用于该视频宏块71的向前和向后运动矢量。

假设R1为从帧F0到帧F2的帧间距离，R2为从帧F3到帧F2的帧间距离，以及R3为从帧F0到F3的帧间距离，通过把该运动矢量73乘以R1/R3所获得的矢量是用于该视频宏块71的向前运动矢量74。通过把该运动矢量73乘以-R2/R3所获得的矢量是用于视频宏块71的向后运动矢量75。通过使用运动矢量74和75执行该视频宏块71的双向预测编码和解码。

在图37和38中所示的方法中，在用于要被编码的双向预测视频宏块的参考帧中，在该帧中与视频宏块相同位置处的一个宏块将被考虑。当该宏块使用多个向前参考帧时，通过对于与用于双向预测视频宏块的向前参考帧相同的参考帧缩放一个运动矢量而产生用于视频宏块的向前和向后运动矢量。

如上文所示，通过按照上述方式进行缩放而产生运动矢量可以减小用于该运动矢量的编码开销，并且提高编码效率。另外，如果存在作为缩放的依据的多个运动矢量，则通过选择在向前参考帧方面具有一致性的运动矢量并且对它进行缩放而提高预测效率。这可以实现高效率的编码。

图39示出用于图37和38中所示双向预测的另一个方法。参见图39，帧F3是一个要被编码的视频帧，并且通过使用一个帧F4作为向后参考帧和使用帧F2作为一个向前参考帧进行双向预测而预测一个要被编码的视频宏块81。在位于与视频宏块81相同位置处的帧F4中的一个宏块80通过两个向前帧F0和F1的线性和而预测。因此，在图39中所示的方法中，相同向前参考帧不被用于宏块80和视频宏块81，这与图37和38中所示的方法不同。

在这种情况中，根据帧间距离缩放对于时间上接近于用于视频宏块81的向前参考帧F2的用于宏块80的向前参考帧F0和F1之一的运动矢量。通过该操作，用于该视频宏块81的向前和向后矢量被产生。假设R1为从帧F2到帧F3的帧间距离，R2为从帧F4到帧F3的帧间距离，以及R3为从帧F1到F4的帧间距离，通过把对于帧F1的宏块80的运动矢量82乘以R1/R3而获得用于该视频宏块81的向前运动矢量84。通过把该运动矢量82乘以-R2/R3获得用于要被编码的宏块81的一个向后运动矢量85。通过使用缩放所获得的运动矢量84和85对该视频宏块81执行双向预测。

如上文所示，通过按照上述方式缩放而产生运动矢量可以减小用于该运动矢量的编码开销，并且提高编码效率。另外，如果存在作为缩放的依据的多个运动矢量，则不存在在向前参考帧方面具有一致性的运动矢量，对应于在时间上最接近用于该视频宏块的向前参考帧的一个运动矢量被选择和缩放。这可以提高预测效率并且实现高效率的编码。

图40为根据本发明的实施例的视频编码方法的流程图。图41为用于说明根据本发明的实施例的一种加权预测的示意图。下面将参照图41说明根据该实施例的一种加权预测方法。然后将参照图40描述一种加权因子确定方法。

参见图41，参考符号F0、F1、F2和F3表示时间上连续的帧。帧F3是要被编码的视频帧。帧F0、F1和F2是用于视频帧F3的参考帧。

在视频帧F3的要被编码的像素块A、B、C和D中，对于快A、B和C，具有运动补偿的参考像素块信号分别被从帧F1、F0和F2产生。对于这些参考像素块信号，通过加权因子的乘法和DC偏移值的加法而产生一个预测像素块信号。计算在该预测像素块信号和要被编码的像素块信号之间的差值，以及该差分信号与参考帧的识别信息和运动矢量信息被编码。

对于快D，具有运动补偿的参考块信号被分别从帧F0和F1产生。一个预测像素块信号通过把一个DC偏移值加到该参考像素块的线性补偿而产生一个预测像素块信号。在该要被编码的像素块信号和该预测像素块信号之间的差分信号与该参考帧的识别信息和运动矢量信息一同被编码。

另一方面，在一个解码操作中，该参考帧的识别信息和运动矢量信息被解码。上述参考像素块信号被根据这些解码信息块而产生。通过对所产生的参考像素块信号执行加权因子的乘法和DC偏移值的加法而产生一个预测像素块信号。该编码的差分信号被解码，并且解码的差分信号被添加到该预测像素块信号，以解码该视频图像。

通过如下计算在编码和解码操作中产生预测像素块信号。假设predA是一个用于像素块A的预测信号，并且ref[1]是一个从帧F1提取的参考像素块信号，该信号predA被计算如下：

predA＝w[1]·ref[1]+d[1]                         (42)

其中w[1]是用于该参考像素块信号的加权因子，并且d[1]是一个DC偏移值。这些数值被在一个系数表中编码为用于每个视频帧或片断的标头数据。为对应于每个视频帧的多个参考帧分别确定加权因子和DC偏移值。例如，对于在图41中的像素块B，由于参考像素块信号ref[0]被从帧F0中提取，通过如下方程给出一个预测信号predB：

predB＝w[0]·red[0]+d[0]                          (43)

对于像素块D，从帧F0和F1分别提取参考像素块。这些参考像素块被乘以加权因子，并且DC偏移值被添加到该乘积。所获得的信号然后被平均，以产生一个预测信号predD

predD＝{w[0]·ref[0]+w[1]·ref[1]+(d[0]+d[1])}/2    (44)

在本实施例中，按照这种方式，对于每个参考帧确定一个加权因子和DC偏移值。

下面将参照图40描述在根据本实施例的编码操作中确定上述加权因子和DC偏移值的方法。下面将参照图40的流程图描述确定加权因子和DC偏移值的方法，假设图41中所示的帧间预测关系被保持，即，帧F3是一个视频帧，并且帧F0、F1和F2是参考帧。

对于多个参考帧，加权因子和DC偏移值被作为独立数值，并且对每个视频帧或片断编码加权因子/DC偏移数据表数据。例如，对于在图41中的视频帧F3，编码对应于帧F0、F1和F2的加权因子和DC偏移值(w[0]，d[0])、(w[1]，d[1])和(w[2]，d[2])。这些数值可以对于在该视频帧中的每个片断改变。

首先，如下计算在整个要被编码的帧F3或在该帧中的每个片断中的平均值DCcur(被称为DC分量的DC分量强度)(步骤S10)。

$\mathrm{DCcur}=\frac{\underset{x,y}{\mathrm{\&Sigma;}}F3(x,y)}{N}---\left(45\right)$

其中F3(x，y)是在该帧F3中的一个坐标位置(x，y)处的一个像素值，并且N是在该帧或片断中的像素数目。然后如下计算在整个视频帧F3或在该帧中的每个片断中的AC分量强度(在下文中称为AC分量值)(步骤S11)：

$\mathrm{ACcur}=\frac{\underset{x,y}{\mathrm{\&Sigma;}}|F3(x,y)-\mathrm{DCcur}|}{N}---\left(46\right)$

在测量AC分量值中，可以使用类似于下文中所用的标准偏差。在这种情况中，在获得一个AC分量值中的计算量增加。

$\mathrm{ACcur}=\sqrt{\frac{\underset{x,y}{\mathrm{\&Sigma;}}{(F3(x,y)-\mathrm{DCcur})}^2}{N}}$ $---\left(47\right)$

从方程(46)和(47)之间的比较显然可以看出，基于方程(46)的AC分量值测量方法在减小获得一个AC分量值中的计算量方面有效。

假设“ref_idx”是表示一个参考帧号的指标，根据方程(45)和(46)计算第(ref_idx)个的DC分量值DCref[ref_idx]和AC分量值ACref[ref_idx](步骤S13和S14)。

根据上述计算结果，对于第(ref_idx)个参考帧的一个DC偏移值d[ref_idx]被确定为在DC分量之间的差值如下(步骤S15)：

d[ref_idx]＝DCcur-DCref[ref_idx]            (48)

一个加权因子w[ref_idx]被确定为一个AC增益(步骤S16)。

w[ref_idx]＝ACcur/ACref[ref_idx]            (49)

上述计算对于所有参考帧执行(从ref_idx＝0到MAX_REF_IDX)(步骤S17和S18)。MAX_REF_IDX表示参考帧的数目。当所有加权因子和DC偏移值被确定时，它们被编码为用于每个视频帧或片断的表数据，并且各个像素块的加权预测编码被根据编码的加权因子和DC偏移值而执行。在编码和解码操作中的预测像素块信号被根据上述方程(42)至(44)而产生。

如上文所示，通过使用加权因子和对于每个参考帧变化的DC偏移值并且按照上述方式执行预测编码而产生预测信号，甚至对于每个帧或片断随时间改变信号幅度或改变DC偏移值的视频信号，可以适当地从多个参考帧产生预测信号，以及实现具有更高效率和高图像质量的高预测效率的编码。

下面将描述编码加权因子和DC偏移值的方法的具体例子。图42、43和44示出与加权因子和DC偏移值的信息的编码相关的数据结构。

图42示出要被编码的视频帧或片断的标头数据结构的一部分。表示用于该视频帧或片断的参考帧的最大指标计数值“number_of_max_ref_idx”和表示加权因子和DC偏移值的信息的表数据“weighting_table()”被编码。最大指标计数值“number_of_max_ref_idx”与图40中的MAX_REF_IDX相等效。

图43示出包含加权因子/DC偏移数据表的编码数据结构的第一例子。在这种情况中，对应于每个参考帧的加权因子和DC偏移数据的数据被根据作为增或片断的标头数据而发送的最大指标计数值“number_of_max_ref_idx”而编码。与第i个参考帧相关的DC偏移值d[i]被直接编码为一个整数像素值。

另一方面，与第i个参考帧相关的加权因子w[i]通常不被编码为一个整数。因此，如方程(50)所示，加权因子w[i]由一个有理数w’[i]来近似，该有理数的分母变为2的次幂，以被编码为用整数形式表达的分子[i]和2的w_exponential_denominator次幂的分母。

$w^{\&prime;}\left[i\right]=\frac{w\_\mathrm{numerator}\left[i\right]}{2^{w\_\mathrm{exponential}\_\mathrm{deno}\min \mathrm{ator}}}---\left(50\right)$

该分子和2的次幂的分母的数值可以通过如下方程(51)来获得：

$w\_\mathrm{numerator}\left[i\right]=\left(\mathrm{int}\right)w\left[i\right]\&times;2^{w\_\mathrm{exponential}\_\mathrm{deno}\min \mathrm{ator}}$

$w\_\mathrm{exponential}\_\mathrm{deno}\min \mathrm{ator}=\left(\mathrm{int}\right){\log }_2\left(\frac{255}{\underset{i}{\max \left(w\right[i\left]\right)}}\right)---\left(51\right)$

在编码和解码操作中，一个预测图像通过使用上述编码的近似值w’[i]来产生。根据方程(50)和(51)，可以获得如下优点。

根据基于方程(50)的加权因子表达式，该加权因子的分子对于每个视频帧为常量，而分子对于每个参考帧改变。该编码方法可以减小要被编码的加权因子的数据量，并且与把用于每个参考帧的加权因子独立编码为分母和分子的方法相比，提高编码效率。

如果分母被设置为2的次幂，由于通过整数乘法和数位偏移可以实现对于参考像素块信号的加权因子的乘法，因此不需要浮点运算或除法。这可以减小硬件规模和用于编码和解码的计算量。

上述计算将在下文中进一步详细描述。方程(52)表示通过归纳由方程(42)和(43)表示的预测表达式所获得的一个预测表达式，并且用于为对应于一个参考帧号i的像素块产生一个预测像素块信号。假设Pred_i是一个预测信号，ref[i]是从第i个参考帧提取的参考像素块信号，并且w[i]和d[i]是用于从第i个参考帧提取的参考像素块的加权因子和DC偏移值。

Pred_i＝w[i]·ref[i]+d[i]                        (52)

在方程(52)中的加权因子w[i]由方程(50)所示的有理数所表示的情况中，方程(53)是一个预测表达式。在这种情况中，wn[i]在方程(50)表示w_numerator[i]，并且wed表示w_exponential_denominator。

Pred_i＝((wn[i]·ref[i]+1＜＜(wed-1))＞＞wed)+d[i]

                                                (53)

通常，由于对于任意淡化图像等等有效的加权因子w[i]不是整数，因此在方程(52)中需要浮点乘法。另外，如果w[i]由一个任意有理数所表达，则需要整数乘法和除法。如果由方程(50)所表示的分母由作为2的次幂的一个有理数所表达，则通过如方程(53)中所示使用整数系数wn[i]的整数乘法、考虑到舍入的偏移量的加法、wed数位的向右位移、以及DC偏移值的整数加法，可以实现加权预测计算。

并且，表示一个分母的大小的2的次幂通常对每个视频帧或片断设置，而与一个参考帧号i无关。因此，即使该参考帧号i对每个视频帧采用多个数值，可以抑制编码加权因子中的代码量的增加。

方程(54)表示一种情况，其中基于方程(50)的加权因子表达式被应用到基于由方程(44)所表示的两个参考帧的线性和的预测，如方程(53)的情况中所示。

Pred＝((wn[0]*ref[0]+wn[1]·ref[1]+1＜＜wed)＞＞(wed+1))

      +(d[0]+d[1]+1)＞＞1

                                                (54)

在上述基于两个参考帧的线性和的预测中，由于一个加权因子通常不被编码为一个整数，则根据方程(44)需要两个浮点乘法。但是，根据方程(54)，可以通过仅仅执行整数乘法、数位偏移和整数加法而通过两个参考帧的线性和产生一个预测信号。另外，由于关于分母的大小的信息wed也被一般化，因此可以抑制在编码加权因子中的代码量的增加。

并且，根据方程(54)，一个加权因子的分子由8个数位所表达。因此，如果一个像素信号值由8个数位所表达，则可以用16位的固定计算精度而实现编码和解码。

另外，在相同视频帧中，一个分母，即偏移量，为常量，而与参考帧无关。因此，在编码或解码中，即使对于每个像素块切换参考帧，不需要改变偏移量，从而减小计算量或硬件规模。

如果用于所有参考帧的加权因子满足：

w_numerator[i]＝2ⁿ×K_i                      (55)

则通过方程(54)计算的要被编码的加权因子的分母和分子可以被变换为如下：

w_numerator[i]＝w_numerator[i]＞＞n

w_exponential_denominator                   (56)

             ＝w_exponential_denominator-n

方程(56)具有把由一个有理数所表达的每个加权因子简化为一个不可约分数。在这种变换之后的编码可以减小加权因子的编码数据的动态范围，而不降低加权因子的精度，并且可以进一步减小在编码加权因子中的代码量。

图44示出与一个加权因子/DC偏移数据表相关的视频数据结构的第二例子。在图44中所示的情况中，按照与图43中所示的形式相同的方式编码一个DC偏移值。但是，在编码加权因子中，与图43中所示的形式不同，表示一个分母的2的次幂不被编码，并且仅仅由一个有理数所表达的加权因子的分子被编码，并且该分子被设置为一个常量。按照图44中所示的形式，例如一个加权因子可以由一个有理数所表达，并且仅仅一个分子w_numerator[i]可以被编码如下。

$w^{\&prime;}\left[i\right]=\frac{w\_\mathrm{numerator}\left[i\right]}{2^4}---\left(57\right)$

$w\_\mathrm{numerator}\left[i\right]=\left\{\begin{array}{cc}1& ,\mathrm{ifw}\left[i\right]\&le;\frac{1}{16}\\ 255& ,\mathrm{ifw}\left[i\right]\&GreaterEqual;16\\ \left(\mathrm{int}\right)w\left[i\right]\&times;2^4& ,\mathrm{else}\end{array}\right.$

$w\_\mathrm{exponential}\_\mathrm{deno}\min \mathrm{ator}=4---\left(58\right)$

在本实施例中，由于由2的次幂表示加权因子的分母，因此不需要对每个视频帧把关于该分母的信息编码为2的次幂，因此进一步减小在编码一个加权因子表中的代码量。

假设使得一个有理数由一个常量分子(在上述情况中为“16”)所表示，该分子的数值被省略为8位。在这种情况中，例如如果一个像素信号由8位所表达，则可以用16位的固定计算精度执行编码和解码。

另外，在本实施例中，由于关于一个加权因子的乘法的偏移量为常量，因此不需要在编码和解码中最每个帧加载偏移量。这可以减小一个编码或解码装置的实现成本或软件或硬件的规模。

图45示意地示出包括图42至44中所示的数据结构的要被编码的视频数据的整个时间序列结构。在要被编码的视频数据的头部，在一个编码序列中保持为常量的多个编码参数的信息，例如图像尺寸，被编码为一个序列标头(SH)。每个图像帧或区域被编码为一个图像，并且每个图像被顺序地编码为一个图像标头(PH)和图像数据(Picture data)的组合。

在该图像标头(PH)中，在图42中所示的表示参考帧的最大指标计数值“number_of_max_ref_idx”和加权因子/DC偏移数据表“weighting_table()”被分别编码为MRI和WT。在“weighting_table()”(WT)中，表示对图43中所示的各个加权因子共同的分母的大小的2的w_exponential_denominator次幂被编码为WED，并且表示每个加权因子的分子大小的w_nominator[i]和DC偏移值在w_exponential_denominator之后被分别编码为WN和D、

对于加权因子分子和DC偏移值的组合，WN和D的多个组合被根据由包含在该图像标头中的“number_of_max_ref_idx”所表示的数字而编码，每个图像数据被分为一个或多个片断(SLC)，以及该数据被对于每个片断顺序编码。在每个片断中，与该片断中的每个像素块相关的一个编码参数被编码为一个片断标头(SH)，并且一个或多个宏块数据(MB)被在该片断标头之后顺序编码。

对于宏块数据，关于在该宏块中的每个像素的编码的信息被编码，例如在该宏块中的一个像素块的预测模式信息(MBT)和运动矢量信息(MV)。最后，通过计算要被编码的像素信号或预测误差信号的正交变换(例如，离散余弦变换)所获得的编码的正交变换系数(DCT)被包含在该宏块数据中。在这种情况中，包含在该图像标头中的两个或一个“number_of_max_ref_idx”和“weighting_table()”(WT)可以被编码在该片断标头(SH)中。

在图44中所示的加权因子表数据的结构中，由于表示一个加权因子的分母的大小的数据的编码可以被省略，因此可以省略在图45中的WED的编码。

图46为示出根据本发明的实施例的一个视频解码程序的流程图。下面将描述用于输入由视频编码装置根据参照图40所述的实施例编码的该编码数据并且对该数据解码的程序。

包括参照图42至44描述的一个编码帧或片断的标头数据被从该输入的编码数据解码(步骤S30)。包括用于对每个编码块识别一个参考帧的帧指标的编码块的标头数据被解码(步骤S31)。

从用于每个像素块的参考帧指标所表示的参考帧提取一个参考像素块信号(步骤S32)。通过参照基于编码块的参考帧指标的解码的加权因子/DC偏移数据表确定一个加权因子和DC偏移值。

通过使用按照这种方式确定的该加权因子和DC偏移值，从该参考像素块信号产生一个预测像素块信号(步骤S33)。编码的预测误差信号被解码，并且解码的预测误差信号被添加到该预测像素块信号，以产生一个解码的图像(步骤S34)。

当顺序解码各个编码的像素块并且在编码帧或片断中的所有像素块被解码时，下一个图像标头或片断标头被连续解码。

即使对于信号幅度随时间变化或者DC偏移值随时间变化的视频信号，在上述程序之后的编码和解码方法可以在编码和解码操作中产生适当的预测图像，从而以较高的预测效率实现高效、高图像质量的视频编码和解码。

下面将依次描述在上述实施例中公开的本发明的优选形式。

(1)在通过使用多个参考帧和要被编码的宏块与至少一个参考帧之间的运动矢量的预定组合执行视频图像的要被编码的宏块的运动补偿预测帧间编码的视频编码方法中，(a)至少一个参考宏块被从多个参考帧的每个参考帧中提取，(b)通过使用加权因子的预定组合计算多个所提取的参考宏块而产生一个预测宏块，以及(c)产生该预测宏块和要被编码的宏块之间的预测误差信号，以编码该预测误差信号、表示多个参考帧的组合的第一指标、表示该加权因子的组合的第二指标以及该运动矢量的信息。

<效果>

按照这种方式用可变线性和加权因子根据多个参考帧的线性和执行预测能够对例如淡化这样的信号强度随时间改变进行正确地预测，这可以提高编码的预测效率。另外，例如在暂时出现遮蔽(occlusion)(出现和消失)的部分中，通过选择适当的参考帧可以提高预测效率。对这些线性预测系数和参考帧的组合进行编码作为指标可以抑制开销。

(2)在(1)中，表示线性和加权因子的组合的一个指标被编码为用于每个帧或每组帧的标头数据，以及对每个宏块编码预测误差信号、表示参考帧的组合的指标和运动矢量。

<效果>

通常，在整个帧中出现例如淡化这样信号强度随时间改变的情况，并且在该帧的局部位置出现遮蔽等等。根据(2)，对每个帧编码对应于信号强度随时间的改变的线性预测系数的组合，并且表示参考帧的组合的一个指标对每个宏块是变化的。这可以提高编码效率，并且减小编码开销，因此实现包括开销在内的编码效率的改进。

(3)在(1)或(2)中，要被编码的运动矢量是与多个参考帧中的特定一个参考帧相关的运动矢量。

<效果>

在对每个宏块使用多个参考帧执行运动补偿预测编码中，当用于每个宏块的运动矢量被分别编码时，编码开销增加。根据(3)，用于特定参考帧的运动矢量被发送，并且通过根据要被编码的帧和各个参考帧之间的帧间距离缩放所发送的运动矢量而获得用于其他帧的运动矢量。这样可以避免编码开销的增加并且提高编码效率。

(4)在(3)中，与特定参考帧相关的运动矢量是根据参考帧和要被编码的帧归一化的运动矢量。

<效果>

由于用单位帧间距离归一化的运动矢量被用作为要按照这种方式编码的运动矢量，则通过乘法或位移计算和加法处理可以低成本地执行对任意参考帧的运动矢量缩放。假设时间上均匀的运动，用一个单位帧间距离进行归一化可以减小参考矢量的信息量，因此获得减小编码开销的效果。

(5)在(3)中，与特定参考帧相关的运动矢量是用于多个参考帧中对应于相对要被编码的帧具有最大帧间距离的一个参考帧的运动矢量。

<效果>

根据(3)，该运动矢量代码量减小并且可以低成本地实现运动矢量的缩放。另一方面，当一个参考帧和要被编码的帧之间的帧间距离增加时，运动补偿的精度下降。与此相反，根据(5)，用于与最大帧间距离相对应的多个参考帧之一的运动矢量被编码，并且可以根据帧间距离通过编码的运动矢量的内部分割而产生用于剩余参考帧的运动矢量。这可以对于每个参考帧抑制运动补偿精度的下降。这可以提高预测效率并且执行高效编码。

(6)在(1)或(2)中，要被编码的运动矢量是与多个参考帧的一个特定参考帧相关的第一运动矢量和用于另一个或其他参考帧的运动矢量，用于另一个或其他参考帧的运动矢量被编码为另一个或其他运动矢量和通过根据要被编码的帧与一个或多个参考帧之间的帧间距离缩放该第一运动矢量而获得的运动矢量。

<效果>

如果在图像中的局部变化可以通过平移来近似，可以使用一个运动矢量和通过根据帧间距离对其进行缩放所获得的运动矢量，多个参考帧做出预测。但是，如果在图像中的速度改变在时间上不是常量，则难以仅仅通过缩放而执行适当的运动补偿。根据(6)，作为用于多个参考帧的运动矢量，一个代表性的矢量和通过缩放该代表性的矢量所获得的运动矢量和用于每个参考帧的最佳运动矢量之间的差分矢量被编码。这与多个运动矢量被编码的情况相比可以减小运动矢量的代码量。因此可以减小编码开销，并且提高预测效率。

(7)在(6)中，该第一运动矢量是根据参考帧和要被编码的帧之间的帧间距离而归一化的一个运动矢量。

(8)在(6)中，第一运动矢量是用于多个参考帧中与要被编码的帧之间具有最大帧间距离的一个参考帧的运动矢量。

(9)在(1)至(8)之一中，当表示多个参考帧的组合的指标为一个预定值时，编码被跳过而不对宏块输出任何编码数据，所有要被编码的运动矢量的元素为0，并且所有要被编码的预测误差信号为0。对于要被下一个编码的宏块，被跳过的宏块数目被编码。

<效果>

如果上述条件在发送方和接收方相一致作为用于跳过宏块的条件，则可以在接收方上回放一个图像，而不发送表示参考帧、具有0数值的运动矢量以及一个0误差信号的组合的一个指标，它们在被编码之后作为用于每个宏块的编码信息。这可以减小对应于这些数据编码数据量并且提高编码效率。另外，根据一个图像信号的特性，对与用于每个帧的信号强度的时间变化相对应的预测系数进行编码可以实现自适应宏块跳过，而不增加编码开销。

(10)在(1)至(8)之一中，当表示多个参考帧的组合的一个指标是一个预定值时，编码被跳过而不对一个宏块输出任何编码数据，要被编码的运动矢量与用于紧接着在前编码的宏块的运动矢量相一致，并且所有要被编码的预测误差信号为0。对于要被下一个编码的宏块，被跳过的宏块数目被编码。

<效果>

例如当比在一个帧中的宏块更大的一个区域平移时，对应的宏块可以被编码为一个跳过宏块，而不发送任何运动矢量信息。这可以减小编码开销并且提高编码效率。

(11)在(9)或(10)中，表示参考帧的预定组合的一个指标表示使用两个紧接着在前编码的帧作为参考帧。

<效果>

当两个紧接着在前编码的帧的使用被设置为一个宏块跳过条件，则即使在由于淡化等等使得信号强度随时间改变的情况中，通过线性预测可以容易地产生一个精确的预测图像。尽管信号强度随时间改变，可以忽略宏块的编码。这两个效果，即预测效率的提高和编码开销的减小，可以提高编码效率。

(12)在(9)或(10)中，表示参考帧的预定组合的一个指标可以对每个要被编码的帧改变，并且表示参考帧的预定组合的指标被编码作为用于要被编码的帧的标头数据。

<效果>

该宏块跳过条件可以根据图像信号随时间的变化而改变。通过根据图像适当地改变用于每个帧的跳过条件，以在编码时容易地进行宏块跳过，可以减小编码开销，并且可以实现高效编码。

(13)在(1)至(8)之一中，当表示多个参考帧的组合的指标与用于紧接着在前编码的宏块的指标相同时，编码被跳过，而不对一个宏块输出任何编码数据，并且所有要被编码的预测误差信号为0。对于要被下一个编码的宏块，被跳过的宏块数目被编码。

<效果>

当与用于紧接着在前的宏块的参考帧的相同组合的使用被设置为一个宏块跳过条件时，可以通过利用在与一个视频信号相邻的区域之间的时空特性而有效地执行宏块跳过。这可以提高编码效率。

(14)在(1)至(8)之一中，当表示多个参考帧的组合的指标与用于紧接着在前编码的宏块的指标相同时，编码被跳过而不对一个宏块输出任何编码数据，要被编码的运动矢量与用于紧接着在前编码的宏块的运动矢量相一致。对于要被接着编码的宏块，所跳过的宏块数目被编码。

<效果>

把(14)中的结构添加到(13)中，可以减小编码开销并且提高编码效率。

(15)在任何(1)至(8)之一中，从用于在该帧中的一个或多个相邻宏块的一个运动矢量预测要被编码的运动矢量，并且要被编码的运动矢量和该预测运动矢量之间的差分矢量被编码。

<效果>

通过考虑到运动矢量之间的空间相关性从在该帧中的相邻宏块预测要被编码的运动矢量，并且仅仅编码差分矢量，与(1)至(8)相比，可以减小用于运动矢量的编码开销并且可以提高编码效率。

(16)在(1)至(8)之一中，在紧接着在前编码的帧中，对于在相同位置处的一个宏块，从一个运动矢量预测要被编码的运动矢量，并且编码要被编码的运动矢量和该预测运动矢量之间的差分矢量。

<效果>

通过考虑到在运动矢量之间的时间相关性，从用于在紧接着在前编码的帧中在相同位置处的宏块的运动矢量预测要被编码的运动矢量，可以减小用于运动矢量的编码开销，以及可以进一步提高编码效果。

(17)在(1)至(8)之一中，要被编码的运动矢量从用于该帧中的一个或多个宏块的运动矢量和用于在紧接着在前编码的帧中在相同位置处的宏块的运动矢量预测，并且要被编码的运动矢量和预测的运动矢量之间的差分矢量被编码。

<效果>

通过考虑到运动矢量之间的时空特性相关性预测在一个帧内和在帧之间的一个运动矢量，可以获得在(15)和(16)中的特性。这可以进一步提高用于运动矢量的编码效率

(18)在(15)至(17)之一中，当表示多个参考帧的组合的一个指标是一个预定数值时，编码被跳过，而不对一个宏块输出任何编码数据，该要被编码的运动矢量的差分矢量为0，并且所有要被编码的预测误差信号为0。对于要被接着编码的宏块，被跳过的宏块数目被编码。

<效果>

与(15)至(17)之一的结构相配合，可以进一步减小编码开销，以提高编码效率。

(19)在(15)至(17)之一中，当表示多个参考帧的组合的一个指标是一个预定数值时，编码被跳过，而不对一个宏块输出任何编码数据，该要被编码的运动矢量与用于紧接着在前编码的宏块的差分矢量相一致，并且所有要被编码的预测误差信号为0。对于要被接着编码的宏块，被跳过的宏块数目被编码。

<效果>

与(15)至(17)之一以及(10)的结构相配合，可以进一步减小编码开销，以提高编码效率。

(20)在(18)或(19)，表示参考帧的预定组合的一个指标表示使用两个紧接着在前编码的帧作为参考帧。

<效果>

与(18)或(19)以及(11)的结构相配合，可以进一步减小编码开销，以提高编码效率。

(21)在(18)或(19)中，表示参考帧的预定组合的一个指标可以对每个要被编码的帧改变，并且表示参考帧的预定组合被编码为用于要被编码的帧的标头数据。

<效果>

与(18)或(19)和(12)的结构相配合，可以进一步减小编码开销，以提高编码效率。

(22)在(15)至(17)之一中，当表示多个参考帧的组合的一个指标与用于紧接着在前编码的宏块相同，则编码被跳过，而不对一个宏块输出任何编码数据，要被编码的运动矢量的差分矢量的所有元素为0。并且所有要被编码的预测误差信号为0。对于要被接着编码的宏块，被跳过的宏块数目被编码。

<效果>

与(15)至(17)之一和(13)的结构相配合，可以进一步减小编码开销，以提高编码效率。

(23)在(15)至(17)之一中，当表示多个参考帧的组合的一个指标与用于紧接着在前编码的宏块相同，则编码被跳过，而不对一个宏块输出任何编码数据，要被编码的运动矢量的差分矢量与用于紧接着在前编码的宏块的差分矢量相一致，并且所有要被编码的预测误差信号为0。对于要被接着编码的宏块，被跳过的宏块数目被编码。

<效果>

与(15)至(17)之一和(14)的结构相配合，可以进一步减小编码开销，以提高编码效率。

(24)在(1)或(2)中，根据要被编码的帧和多个参考帧之间的帧间距离确定线性求和加权因子的组合。

<效果>

可以根据要被编码的帧和多个参考帧之间的帧间距离，通过对于例如淡化这样的信号强度的时间抖动执行线性插值和线性外推，而容易地容易地以低成本产生适当的预测图像。这样可以通过高的预测效率实现高效率的编码。

(25)在(1)或(2)中，在一个输入视频信号中的一个帧或区域中的平均DC值被计算，并且根据在多个参考帧和要被编码的帧中的DC值确定线性和加权因子。

<效果>

通过从在一个要被编码的帧和多个参考帧中的DC值的时间改变计算线性预测系数，不但可以对信号强度的恒定时间改变，而且还可以对信号强度任意时间抖动产生一个适当的预测图像。

(26)在(1)或(2)中，假设一个输入视频信号具有可变的帧率，或者准备一个编码器，用于减小输入视频信号的任意帧，使其具有可变的帧率。在这种情况中，在编码具有可变的帧率的视频信号中，根据要被编码的帧和多个参考帧之间的帧间距离的改变确定线性和加权因子的组合。

<效果>

通过根据帧间距离对于用可变的帧率编码使用适当的线性预测系数，其中一个要被编码的帧和多个参考帧之间的帧间距离动态改变，可以保持高预测效率，以执行高效编码。

(27)在通过使用多个参考帧和要被编码的宏块与至少一个参考帧之间的运动矢量的预测组合，执行一个视频图像的要被编码的宏块的运动补偿预测帧间编码的视频编码方法中，(a)对应于用于该运动矢量的候选项的第一参考宏块被从该第一参考帧中提取，(b)根据至少一个第二参考帧和要被编码的帧缩放用于该运动矢量的候选项，(c)从第二参考帧提取对应于通过缩放所获得的用于该运动矢量的候选项的至少一个第二参考宏块，(d)通过使用用于第一和第二参考宏块的加权因子的预定组合计算一个线性和而产生一个预测宏块，(e)产生该预测宏块和要被编码的宏块之间的预测误差信号，(f)根据第一和第二参考宏块的线性和与要被编码的宏块之间的预测误差信号的大小确定运动矢量，以及(g)编码该预测误差信号、表示第一和第二参考帧的第一指标、表示加权因子的组合的第二指标、以及所确定的运动矢量的信息。

<效果>

假设对于一个要被编码的宏块从多个参考帧提取多个参考宏块，并且从该线性和产生一个预测宏块。在这种情况中，如果对每个参考帧确定一个最佳运动矢量，则计算量变大。根据(27)的结构，由于用于第一参考帧存储器的运动矢量被缩放，以获得用于其他参考帧的运动矢量，则可以用非常小的计算量搜索多个最佳运动矢量。这可以大大地减小编码成本。

(28)在(27)中，根据各个参考帧和要被编码的帧之间的距离缩放所确定的运动矢量，并且用于至少一个参考帧参考宏块被再次独立地搜索，以减小在被缩放的运动矢量附近的适当误差信号。然后通过使用作为重新搜索的结果所获得的运动矢量执行运动补偿预测。

<效果>

在缩放的运动矢量候选项附近重新搜索运动矢量可以用较小的计算量实现更高效率的运动矢量搜索，并且用略为增加的计算量实现高效率的运动补偿预测。这可以执行高效编码。

(29)在通过使用至少一个过去参考帧和要被编码的宏块与该参考帧之间的运动矢量执行一个视频图像的要被编码的宏块的运动补偿帧间编码的视频编码方法中，对每个要被编码的宏块，在使用用于与紧接着在包含要被编码的宏块的要被编码的帧之前编码的帧中的要被编码的宏块相同的帧内位置处的一个要被编码的宏块的运动矢量的操作，与新确定和编码该运动矢量的操作之间切换。

<效果>

如上文所述，在运动补偿预测编码中，用于运动矢量编码的开销影响编码效率。特别地，当具有高预测效率的图像要被编码或者由于小宏块尺寸导致许多运动矢量要被编码时，运动矢量的代码量可能变为主导地位。根据(29)的结构，在图像运动之间的时间相关性被使用，使得如果可以使用该宏块而没有任何改变，则用于与紧接着在前的帧中要被编码的宏块相同位置处的宏块的运动矢量不被编码，并且当用于紧接着在前的帧的运动矢量被使用时，仅仅用于受到预测效率下降的宏块的运动矢量被编码。这可以减小用于运动矢量编码的开销，并且实现高效编码。

(30)在通过使用至少一个参考帧和要被编码的宏块与该参考帧之间的运动矢量执行视频图像的要被编码的宏块的运动补偿预测帧间编码的视频编码方法中，在对于每个要被编码的宏块切换(a)使用至少一个编码的过去帧作为参考帧的第一预测模式，(b)使用一个编码的将来帧作为参考帧的第二预测模式，(c)使用编码的过去帧和将来帧的线性和作为参考帧的第三预测模式，以及(d)使用多个编码的过去参考帧作为参考帧的第四预测模式之后，执行运动补偿预测帧间编码。

<效果>

在用于MPEG2视频编码的B图像(双向预测编码)的情况中，对于每个宏块切换从一个向前帧预测、从一个向后帧预测、以及从向前和向后帧平均预测。在平均预测中，平均处理函数作为一个环路滤波器，以在一个参考帧中除去原始图像噪声或编码噪声，从而提高预测效率。但是，请注意难以在一个场景改变之前和之后执行双向预测，因此从一个向前帧或向后帧进行预测。在这种情况中，环路滤波器效应不起作用，因此预测效率下降。根据(30)的结构，即使仅仅从一个向前帧预测，由于从多个参考帧的线性和产生一个预测图像，因此通过环路滤波器效应可以提高预测效率。

(31)在(30)中，基于线性和的预测包括对应于帧间距离的线性插值和线性外推。

<效果>

即使由于淡化等等使得信号强度随时间改变，通过从多个帧执行线性插值或线性外推可以容易地产生适当的预测图像。这可以获得高的预测效率。

(32)在通过使用多个参考帧和要被编码的宏块与至少一个参考帧之间的运动矢量的预定组合执行要被解码的宏块的运动补偿预测帧间解码的视频解码方法中，(a)包括用于要被解码的宏块的预测误差信号的编码数据、表示多个参考帧的组合的第一指标、表示用于参考宏块的线性和加权因子的组合的第二指标、以及运动矢量的信息被解码，(b)根据运动矢量的解码信息和第一指标的解码信息，从多个参考帧中提取多个参考宏块，(c)通过使用第二指标的解码信息所表示的加权因子的组合计算多个所提取的参考帧的线性和而产生一个预测宏块，以及(d)通过把该预定宏块和用于每个要被解码的宏块的解码预测误差信号相加而解码一个视频信号。

<效果>

可以解码在(1)中编码的数据，并且可以获得与(1)相同的提高编码效率的效果。

(33)在(32)中，表示线性求和加权因子的组合的指标被接收作为用于每个帧或每组多个帧的标头数据，并且对于每个宏块接收和解码该预测误差信号、表示参考帧的组合的指标、以及运动矢量。

<效果>

可以解码在(2)中编码的数据，并且可以获得与(2)相同的提高编码效率的效果。

(34)在(32)或(33)中，所接收的运动矢量是与多个参考帧中的一个特定参考帧相关的运动矢量，所接收的运动矢量被根据要被解码的帧和该参考帧之间的帧间距离而缩放，并且通过使用缩放的运动矢量产生用于另一个或其他参考帧的运动矢量。

<效果>

可以解码在(3)中编码的数据，并且可以获得与(13相同的提高编码效率的效果。

(35)在(34)中，与特定参考帧相关的运动矢量是根据该参考帧和要被编码的帧之间的帧间距离而归一化的运动矢量。

<效果>

可以解码在(4)中编码的数据，并且可以获得与(4)相同的提高编码效率的效果。

(36)在(34)中，与特定参考帧相关的运动矢量是用于多个参考帧中与该要被编码的帧相距最大帧间距离相对应的一个参考帧的运动矢量。

<效果>

可以解码在(5)中编码的数据，并且可以获得与(5)相同的提高编码效率的效果。

(37)在(32)或(33)中，所接收的运动矢量是与多个参考帧中的特定参考帧相关的第一运动矢量和另一个或其他参考帧的运动矢量之间的差分矢量。该第一运动矢量被根据一个要被编码的帧和一个或多个参考帧之间的帧间距离而缩放。通过把该缩放的运动矢量和用于所选择的一个或多个参考帧的差分矢量相加而产生用于另一个或其他参考帧的运动矢量。

<效果>

可以解码在(7)中编码的数据，并且可以获得与(7)相同的提高编码效率的效果。

(38)在(37)中，所接收的第一运动矢量是根据参考帧和要被编码的帧之间的帧间距离而归一化的运动矢量。

<效果>

可以解码在(7)中编码的数据，并且可以获得与(7)相同的提高编码效率的效果。

(39)在(37)中，所接收的第一运动矢量是用于与特定参考帧相关的运动矢量是用于多个参考帧中与该要被编码的帧相距最大帧间距离相对应的一个参考帧的运动矢量。

<效果>

可以解码在(8)中编码的数据，并且可以获得与(8)相同的提高编码效率的效果。

(40)在(32)至(39)之一中，当对于每个宏块接收与被跳过的宏块数目相关的信息，并且一个或多个宏块被跳过时，解码每个被跳过的宏块所需的所有运动矢量元素被作为0。通过使用参考帧的预定组合，从多个参考帧提取参考宏块。通过基于表示所接收线性和加权因子的组合的指标的线性和，从多个参考宏块产生一个预测宏块。该预测宏块被用作为一个解码图像。

<效果>

可以解码在(9)中编码的数据，并且可以获得与(9)相同的提高编码效率的效果。

(41)在(32)至(39)之一中，当对于每个宏块接收与被跳过的宏块数目相关的信息，并且一个或多个宏块被跳过，则通过使用用于不被跳过的紧接着在前编码的帧的运动矢量和多个参考帧的预定组合，对每个被跳过的宏块，从多个参考帧中提取参考宏块。通过根据表示所接收线性和加权因子的组合的指标的线性和，从多个参考帧产生一个预测宏块。该预测宏块然后被用作为一个解码图像。

<效果>

可以解码在(10)中编码的数据，并且可以获得与(10)相同的提高编码效率的效果。

(42)在(40)或(41)中，该参考帧的预定组合包括紧接着在前解码的两个帧。

<效果>

可以解码在(11)中编码的数据，并且可以获得与(11)相同的提高编码效率的效果。

(43)在(40)或(41)中，表示参考帧的预定组合的一个指标被接收作为用于一个编码帧的标头数据，并且根据该指标解码被跳过的宏块。

<效果>

可以解码在(12)中编码的数据，并且可以获得与(12)相同的提高编码效率的效果。

(44)在(32)至(39)之一中，当对于每个宏块接收与被跳过的宏块数目相关的信息，并且跳过一个或多个宏块时，解码每个被跳过的宏块所需的所有运动矢量元素被作为0。通过使用表示在被编码而不被跳过的紧接着在前的宏块中的多个参考帧的组合的指标，从多个参考帧提取参考宏块，并且通过基于所接收的线性和加权因子的组合的线性和，从多个参考宏块产生一个预测宏块。该预测宏块被用作为一个解码图像。

<效果>

可以解码在(13)中编码的数据，并且可以获得与(13)相同的提高编码效率的效果。

(45)在(32)至(39)之一中，当对于每个宏块接收与被跳过的宏块的数目相关的信息，并且一个或多个宏块被跳过时，对于每个被跳过的宏块，通过使用用于紧接着在前编码而不被跳过的宏块的运动矢量以及表示在被编码而不被跳过的紧接着在前编码的宏块中的多个参考帧的组合的指标，从多个参考帧提取参考宏块。通过基于表示所接收的线性和加权因子的组合的指标的线性和，从多个参考帧产生一个预测宏块。然后该预测宏块被用作为一个解码图像。

<效果>

可以解码在(14)中编码的数据，并且可以获得与(14)相同的提高编码效率的效果。

(46)在(32)至(39)之一中，对于从在一帧内的一个或多个相邻宏块预测一个运动矢量，所接收的运动矢量被编码为一个差分矢量。对于多个相邻宏块从一个解码的运动矢量产生一个预测运动矢量。该预测运动矢量被添加到所接收的运动矢量，以解码用于相应宏块的运动矢量。

<效果>

可以解码在(15)中编码的数据，并且可以获得与(15)相同的提高编码效率的效果。

(47)在(32)至(39)之一中，下面是第47个特定特征。所接收的运动矢量被编码为相对于从在紧接着在前的帧中在相同位置处的一个宏块中的一个运动矢量预测的运动矢量的一个差分运动矢量。通过把所接收的运动矢量和从在与紧接着在前解码的帧相同位置处的宏块中的解码运动矢量预测的运动矢量相加，用于相应宏块的运动矢量被解码。

<效果>

可以解码在(16)中编码的数据，并且可以获得与(16)相同的提高编码效率的效果。

(48)在(32)至(39)之一中，所接收的运动矢量被编码为相对于从用于在一帧中的一个或多个相邻宏块的运动矢量预测的一个运动矢量以及用于在紧接着在前的帧中在相同位置处的宏块的一个运动矢量的差分矢量。从用于多个相邻宏块的一个解码的运动矢量和用于在紧接着在前解码的帧中在相同位置处的一个宏块的一个解码的运动矢量产生一个预测运动矢量。通过把该预测运动矢量与所接收运动矢量相加，解码用于相应宏块的运动矢量。

<效果>

可以解码在(17)中编码的数据，并且可以获得与(17)相同的提高编码效率的效果。

(49)在(46)至(48)之一中，当对每个宏块接收与被跳过的宏块数目相关的信息，并且一个或多个宏块被跳过时，对于每个被跳过的宏块，通过使用作为用于被跳过的宏块的运动矢量的预测运动矢量和多个参考帧的预定组合，从多个参考帧提取参考宏块。根据表示所接收线性和加权因子的组合的指标的线性和，从多个参考帧产生一个预测宏块。然后该预测宏块被用作为一个解码图像。

<效果>

可以对在(18)中编码的数据进行解码，并且可以获得与(18)中相同的提高编码效率的效果。

(50)在(46)至(48)之一中，当对每个宏块接收与被跳过的宏块数目相关的信息，并且一个或多个宏块被跳过时，则通过使用把用于紧接着在前编码而不被跳过的宏块的运动矢量与该预测运动矢量相加所获得的运动矢量以及多个参考帧的预定组合，对每个被跳过的宏块，从多个参考帧中提取参考宏块。通过基于表示所接收线性和加权因子的组合的一个指标的线性和，从多个参考帧产生一个预测宏块。该预测宏块然后被用作为一个解码图像。

<效果>

可以对在(19)中编码的数据进行解码，并且可以获得与(19)中相同的提高编码效率的效果。

(51)在(49)或(50)中，参考帧的预定组合包括两个紧接着在前解码的帧。

<效果>

可以对在(20)中编码的数据进行解码，并且可以获得与(20)中相同的提高编码效率的效果。

(52)在(49)或(50)中，表示参考帧的预定组合的一个指标被接收作为用于一个编码的帧的标头数据，并且一个被跳过的宏块被根据所接收的指标而解码。

<效果>

可以对在(21)中编码的数据进行解码，并且可以获得与(21)中相同的提高编码效率的效果。

(53)在(46)至(48)之一中，当对每个宏块接收与被跳过的宏块数目相关的信息，并且一个或多个宏块被跳过时，则通过使用作为用于紧接着在前编码而不被跳过的宏块的运动矢量的预测运动矢量以及表示在紧接着在前编码而不被跳过的多个参考帧的组合的一个指标，从多个参考帧中提取参考宏块。通过基于表示所接收线性和加权因子的组合的一个指标的线性和，从多个参考帧产生一个预测宏块。该预测宏块然后被用作为一个解码图像。

<效果>

可以对在(22)中编码的数据进行解码，并且可以获得与(22)中相同的提高编码效率的效果。

(54)在(46)至(48)之一中，当对每个宏块接收与被跳过的宏块数目相关的信息，并且一个或多个宏块被跳过时，则通过使用把用于紧接着在前编码而不被跳过的宏块的运动矢量与该预测运动矢量相加所获得的运动矢量以及表示在紧接着在前编码而不被跳过的宏块中的多个参考帧的组合的指标，对每个被跳过的宏块，从多个参考帧中提取参考宏块。通过基于表示所接收线性和加权因子的组合的一个指标的线性和，从多个参考帧产生一个预测宏块。该预测宏块然后被用作为一个解码图像。

<效果>

可以对在(23)中编码的数据进行解码，并且可以获得与(23)中相同的提高编码效率的效果。

(55)在通过使用预定多个参考帧的组合和要被解码的宏块与至少一个参考帧之间的运动矢量执行一个视频图像的要被解码的宏块的运动补偿预测帧间解码的视频解码方法中，(a)编码数据包括用于每个要被解码的宏块的一个预测误差信号，第一指标表示多个参考帧的组合，第二指标表示一个编码帧的帧号，(b)根据运动矢量的解码信息以及第一指标的解码信息从多个参考帧提取多个参考宏块，(c)根据第二指标的解码信息，计算在多个参考帧和编码帧之间的帧间距离，(d)通过使用根据所计算的帧间距离确定的加权因子计算多个所提取的参考宏块的线性和，产生一个预测宏块，以及(e)通过把预测宏块和预测误差信号相加而解码一个视频信号。

<效果>

可以对在(24)中编码的数据进行解码，并且可以获得与(24)中相同的提高编码效率的效果。

(56)在通过使用至少一个过去参考帧和要被解码的宏块与至少一个参考帧之间的运动矢量执行一个视频图像的要被解码的宏块的运动补偿预测帧间解码的视频解码方法中，(a)接收和解码包括用于每个要被解码的宏块和编码的第一运动矢量或表示用于在与紧接着在前编码的帧中相同帧内位置处的宏块的第二运动矢量的使用的标志的编码数据，(b)通过使用用于被接收第一运动矢量的信息的要被解码的宏块的解码的第一运动矢量，以及使用用于被接收该标志的要被解码的宏块的第二运动矢量，产生一个预测宏块，(c)通过把该预测宏块和预测误差信号相加而解码一个视频信号。

<效果>

可以对在(29)中编码的数据进行解码，并且可以获得与(29)中相同的提高编码效率的效果。

(57)在通过使用在要被解码的宏块和至少一个参考帧之间的运动矢量执行视频图像的要被解码的宏块的运动补偿预测帧间解码的视频解码方法中，(a)包括用于每个要被解码的宏块的预测误差信号的信息；表示使用至少一个要被编码的过去帧作为参考帧的第一预测模式、使用要被编码的将来帧作为参考帧的第二模式、使用要被编码的过去帧和将来帧的线性和作为参考帧的第三预测模式、以及使用多个要被编码的过去帧的线性和作为参考帧的第四预测模式之一的预测模式信息；以及该运动矢量的信息的编码数据被接收和解码，(b)通过把该预测宏块信号与解码的预测误差信号相加而解码一个视频信号。

<效果>

可以对在(30)中编码的数据进行解码，并且可以获得与(30)中相同的提高编码效率的效果。

(58)在(57)中，基于线性和的预测包括对应于帧间距离的线性插值和线性外推。

<效果>

可以对在(31)中编码的数据进行解码，并且可以获得与(31)中相同的提高编码效率的效果。

(59)在通过使用从多个参考帧中选择的至少一个参考帧以及要被编码的宏块和至少一个参考帧之间的运动矢量执行视频图像的要被编码的宏块的运动补偿预测帧间编码的视频编码方法中，当该运动矢量与从用于与该视频图像的要被编码的宏块相邻的多个宏块的运动矢量中选择的一个预测矢量相一致时，该运动补偿预测帧间编码被跳过，至少一个为要被编码的宏块选择的参考帧与被选择该预测矢量的宏块相一致，并且在该运动补偿预测帧间编码中的所有要被编码的预测误差信号为0，并且在执行下一个要被编码的宏块的运动补偿预测帧间编码中其运动补偿预测帧间编码被跳过的宏块数目被编码。

<效果>

与(22)中相同，通过在相邻宏块之间的帧间预测中使用运动矢量/参考帧选择互相关而有效地执行宏块跳过。这可以减小编码开销，并且提高编码效率。另外，当与用于运动矢量的预测的相邻宏块相同的参考帧的使用被设置为一个跳过条件，则通过使用基于运动矢量和参考帧的组合的相邻宏块之间的相关性，可以更加有效地跳过宏块。

(60)在通过使用至少一个选自多个参考帧的第一参考帧和要被编码的宏块与第一参考帧之间的运动矢量执行一个视频图像的要被编码的宏块的运动补偿预测帧间编码的视频编码方法中，通过运动补偿预测帧间编码所获得的预测误差信号、用于运动补偿预测帧间编码的运动矢量和选自第二参考帧和与要被编码的宏块相邻的多个宏块之间的多个运动矢量的一个预测矢量之间的差分矢量、以及在表示第一参考帧的指标和表示第二参考帧的指标之间的差分值被编码。

<效果>

与(15)至(17)中相同，运动矢量信息是通过使用相邻宏块之间的运动矢量之间的相关性编码的效率。另外，对于与每个宏块所引用的多个参考帧中的一个帧相关的指标，在表示被选择一个预测矢量的相邻宏块中的一个参考帧的指标与表示在要被编码的宏块中的参考帧的指标之间的差值被编码。这可以通过使用基于运动矢量的相邻宏块和参考帧之间的相关性提高表示一个参考帧的指标的编码效率。这可以减小编码开销并且执行高效视频编码。

(61)在通过使用要被编码的宏块和选自多个参考帧的至少一个参考帧之间的运动矢量执行一个视频图像的要被解码的宏块的运动补偿预测帧间解码的视频解码方法中，(a)包括用于每个通过运动补偿预测帧间编码所获得的要被解码的宏块的预测误差信号、紧接着在前被跳过的宏块数目以及表示至少一个被选择的参考帧的指标信息的编码数据被接收和解码，(b)对与被跳过的宏块相邻的多个宏块从运动矢量中选择一个预测矢量，(c)根据用于被选择的预测矢量的宏块的至少一个参考帧和该预测矢量，产生一个预测宏块，以及(d)该预测宏块被输出作为被跳过的宏块的解码图像信号。

<效果>

可以对在(59)中编码的数据进行解码，并且可以获得与(59)中相同的提高编码效率的效果。

(62)在通过使用要被编码的宏块和选自多个参考帧的至少第一参考帧之间的运动矢量执行一个视频图像的要被解码的宏块的运动补偿预测帧间解码的视频解码方法中，(a)包括通过运动补偿预测帧间编码所获得的预测误差信号、在用于运动补偿预测帧间编码的运动矢量和在与要被解码的宏块相邻的多个宏块和第二参考帧之间的运动矢量中选择的预测矢量之间的差分矢量、以及在表示第一参考帧的第一指标和表示第二参考帧的第二指标之间的差值的编码数据被接收和解码，(b)从与要被解码的宏块相邻的多个宏块中选择该预测矢量，(c)通过把所选择的预测矢量和解码的差分矢量相加而重构该运动矢量，(d)通过把用于被选择该预测矢量的宏块的参考帧的指标与解码的差值相加而重构该第一指标，(e)根据重构的运动矢量和重构的第一指标产生一个预测宏块，以及(f)通过把所产生的预测宏块和解码的预测误差信号相加而产生要被解码的宏块的解码重构图像信号。

<效果>

可以对在(60)中编码的数据进行解码，并且可以获得与(60)中相同的提高编码效率的效果。

如上文所述，视频编码和解码处理可以作为硬件(装置)而实现，或者可以通过软件使用计算机来实现。该处理的一部分可以通过硬件实现，并且其他部分可以通过软件实现。因此，根据本发明，也可以提供用于使计算机执行(1)至(62)中所述的视频编码或解码处理的程序。

工业应用性

如上文所述，根据本发明，可以提供具有用于编码数据的较低开销的高图像质量、高效率的视频编码和解码方案，其可以大大地提高例如在MPEG这样在处理时具有困难的常规视频编码方案中用于淡入/淡出图像等等的预测效率，而不明显增加用于编码和解码的计算量和成本。

Claims (10)

1.一种视频解码方法，通过参照用于每个宏块的多个参考帧解码运动补偿预测帧间编码数据，其中包括：

接收编码的运动矢量数据、编码的预测模式信息、以及编码的预测误差信号；

根据运动矢量数据和预测模式信息选择如下之一：(a)从多个参考帧的一个特定参考帧产生一个预测宏块；(b)从多个参考帧产生多个宏块，以产生作为一个预测宏块的多个参考帧的平均值；或者(c)通过线性外推预测或线性插值预测产生一个预测宏块；以及

通过把所产生的预测宏块与该预测误差信号相加而产生一个解码的帧；

其中所接收的预测模式信息包括表示使用该特定参考帧的单一预测或使用多个参考帧的复合预测的第一标志，以及表示该复合预测是否为基于多个参考宏块的平均值的预测或线性外推预测或线性插值预测的第二标志，该第二标志被接收为一个编码的帧的标头数据或者多个编码的帧的标头数据的一部分。

2.根据权利要求1所述的视频解码方法，其中该多个参考帧包括紧接着在要被编码的帧之前编码的帧，以及在线性外推预测中，通过在把从紧接着在前的参考帧产生的参考宏块信号的幅度加倍所获得的信号中减去从相对于该要被编码的帧提前两个帧的参考帧所产生的参考宏块信号而产生该预测宏块。

3.根据权利要求1所述的视频解码方法，其中所接收的运动矢量数据包括与多个参考帧的特定参考帧相关的一个运动矢量，以及通过根据一个要被解码的帧和参考帧之间的帧间距离缩放/转换该运动矢量数据而产生用于其他参考帧的运动矢量。

4.根据权利要求3所述的视频解码方法，其中与该特定参考帧相关的运动矢量包括根据该参考帧和一个要被编码的帧之间的帧间距离而归一化的运动矢量。

5.根据权利要求1所述的视频解码方法，其中所接收的运动矢量数据包括与该特定参考帧相关的一个运动矢量和与另一个参考帧相关的一个差分矢量，并且通过根据一个要被解码的帧和该参考帧之间的帧间距离缩放/转换该运动矢量并且把通过缩放/转换所获得的转换的运动矢量与该差分矢量相加而产生与除了该特定参考帧之外的一个参考帧相关的运动矢量。

6.一种视频解码装置，通过参照用于每个宏块的多个参考帧解码运动补偿预测帧间编码数据，其中包括：

接收单元，用于接收编码的运动矢量数据、编码的预测模式信息、以及编码的预测误差信号；

选择器，用于根据运动矢量数据和预测模式信息选择如下之一：(a)从多个参考帧的一个特定参考帧产生一个预测宏块；(b)从多个参考帧产生多个宏块，以产生作为一个预测宏块的多个参考帧的平均值；或者(c)通过线性外推预测或线性插值预测产生一个预测宏块；以及

加法器，用于把所产生的预测宏块与该预测误差信号相加；

其中所接收的预测模式信息包括表示使用该特定参考帧的单一预测或使用多个参考帧的复合预测的第一标志，以及表示该复合预测是否为基于多个参考宏块的平均值的预测或线性外推预测或线性插值预测的第二标志，该第二标志被接收为一个编码的帧的标头数据或者多个编码的帧的标头数据的一部分。

7.根据权利要求6所述的视频解码装置，其中该多个参考帧包括紧接着在要被编码的帧之前编码的帧，以及在线性外推预测中，通过在把从紧接着在前的参考帧产生的参考宏块信号的幅度加倍所获得的信号中减去从相对于该要被编码的帧提前两个帧的参考帧所产生的参考宏块信号而产生该预测宏块。

8.根据权利要求6所述的视频解码装置，其中所述接收单元所接收的运动矢量数据包括与多个参考帧的特定参考帧相关的一个运动矢量，以及通过根据一个要被解码的帧和参考帧之间的帧间距离缩放/转换该运动矢量数据而产生用于其他参考帧的运动矢量。

9.根据权利要求8所述的视频解码装置，其中所述接收单元接收的与该特定参考帧相关的运动矢量包括根据该参考帧和一个要被编码的帧之间的帧间距离而归一化的运动矢量。

10.根据权利要求6所述的视频解码装置，其中所述接收单元接收的运动矢量数据包括与该特定参考帧相关的一个运动矢量和与另一个参考帧相关的一个差分矢量，并且通过根据一个要被编码的帧和该参考帧之间的帧间距离缩放/转换该运动矢量并且把通过缩放/转换所获得的转换的运动矢量与该差分矢量相加而产生与除了该特定参考帧之外的一个参考帧相关的运动矢量。

Images