CN1450813A - 视频编码方法和装置，以及视频解码方法和装置 - Google Patents

Abstract

本申请公开了一种视频编码方法和装置，以及视频解码方法和装置。具体地，公开了一种使用参考块对视频块进行编码的方法，包括：将视频块分配给第一和第二预测组中的一个，并使用取决于被分配了所述视频块的第一和第二预测组中的一个的参考块按照运动补偿预测编码方式对视频块进行编码，这些参考块中的一个是解码块，其中第一预测组是通过使用属于第一预测组的参考块进行的预测得到的，而第二预测组是通过使用属于第二预测组和第一预测组中的至少一个的参考块进行的预测得到的。

Description

视频编码方法和装置， 以及视频解码方法和装置

技术领域

本发明涉及一种使用运动补偿预测帧内编码的视频编码方法和装置以及视频解码方法和装置。

背景技术

作为视频压缩编码技术，MPEG1(ISO/IEC 11172-2)、MPEG 2(ISO/IEC13818-2)、MPEG 4(ISO/IEC 14496-2)得到了广泛地实际应用。这些视频编码方式通过帧内编码、正向预测帧内编码、编码和双向预测帧间编码的组合而实现。由这些编码方式编码的帧被称为I图像、P图像和B图像。使用在先的P图像之前的P或I图像作为参考帧对P图像进行编码。使用B图像之前或之后的P或I图像作为参考帧对B图像进行编码。正向预测帧间编码和双向预测帧间编码称作运动补偿预测帧间编码。

当基于MPEG方式的视频编码数据以快进方式播放时，传统的方法是，只播放不需要参考帧的I图像；或利用B图像不能被用作参考帧的性质，只对I图像和P图像解码而跳过B图像。然而，当只有I图像被播放时，如果I图像的周期长，则可以进行高速快进播放而不能实现流畅的快进播放。在使用I图像和P图像的快进播放中，由于通过帧间预测编码对P图像进行了编码，则必须对所有的I图像和P图像解码。出于这种原因，随意地改变快进的速度是困难的。

在传统的MPEG方式的视频编码中，B图像不被用作参考帧。因此，在多个B图像连续的预测结构的情况下，则必须使用与B图像相对于一个时刻分离的P图像作为参考帧对B图像编码。这导致了一个问题，就是B图像的编码效率的降低。另一方面，当已解码的B图像被用作P图像中的参考帧时，在快进播放时，就需要对所有的帧进行解码，包括B图像，而播放时又跳过了B图像。结果，有效地进行快进播放变得困难。

如上面所介绍的，当通过包括运动补偿预测帧间编码的编码方式(例如MPEG)所得到的视频编码数据以快进方式播放时，利用仅播放I图像的方式实现以自由的播放速度进行流畅地快进播放是困难的。当通过跳过B图像而不对其进行解码的方式进行快进播放时，难以使用解码B图像作为参考帧。出于这个原因，存在这样一个问题，就是在B图像连续的预测结构中编码效率的降低。

发明内容

本发明的一个目的是，提供一种使用运动补偿预测帧间编码的视频编码和解码方法及其装置，其可以实现高编码效率的快进播放和在解码侧的高自由度。

根据本发明的一个方面，提供一种用于利用参考块对视频块(video block)进行编码的方法，该方法包括：将视频块分配给多个预测组中的一个，该多个预测组包括至少第一和第二预测组；并且，使用取决于多个预测组中的被分配了视频块的那个预测组的参考块，按照运动补偿预测编码方式对视频块进行编码，这些参考块中的一个是已解码块，其中第一预测组通过使用属于第一预测组的参考块所进行的预测而获得，而通过使用属于第二预测组和第一预测组中的至少一个的参考块进行的预测而获得第二预测组。

附图说明

图1表示按照本发明的一个实施例的视频编码装置的框图；

图2是表示视频编码中关于运动补偿预测帧间编码的主过程的流程的框图；

图3表示按照本发明的一个实施例的运动图象解码装置的结构图；

图4表示用于对运动补偿预测帧间编码的结果进行解码的主过程的流程；

图5是用于上述实施例的视频编码装置和视频解码装置的运动补偿预测单元的框图；

图6是表示按照本发明的一个实施例的帧间预测结构和参考帧控制的例子的示意图；

图7是表示根据本发明的一个实施例的帧间预测结构和参考帧控制的例子的示意图；

图8是表示根据本发明的一个实施例的帧间预测结构和参考存储器控制的例子的示意图；

图9是表示根据本发明的一个实施例的帧间预测结构和参考存储器控制的例子的示意图；

图10是表示根据本发明的一个实施例的帧间预测结构和参考存储器控制的例子的示意图；

图11是表示根据本发明的一个实施例的帧间预测结构和参考存储器控制的例子的示意图；

图12表示根据本发明的实施例的变型的视频编码装置的框图；

图13表示根据本发明的实施例的变型的运动图象解码装置的框图；

具体实施方式

下面将参照附图对本发明的实施例进行说明。

(编码)

图1是本实施例的视频编码装置的框图。图2是表示由运动补偿预测帧间编码执行的过程的步骤的流程图。图1中示出的视频编码装置可以由硬件实现，也可以利用计算机通过软件实现。该过程的一部分由硬件执行而剩余部分由软件执行。

本实施例基于这样一种视频编码方式，该编码方式是运动补偿预测、正交变换和可变长度编码的组合，该视频编码方式的代表是传统的MPEG方案。现在将介绍根据包括两个级层(hierarchical layers)的预测组的视频编码方法。

视频信号100(视频帧)按帧输入到视频编码装置中。首先，视频信号100的视频帧由运动补偿预测单元111分配给两个级层的预测组中的任何一个(步骤S11)。使用至少一个参考帧，对该视频帧按照运动补偿预测帧间编码进行编码，该参考帧属于低于该视频帧所分配的预测组的级层的至少一个级层的预测组(步骤S12)。在这一实施例中，使用了存储在帧存储装置118中的参考帧。

视频帧向每个级层的预测组的分配在各帧间随时间变化。例如，偶数帧被分配给第一级层的预测组，而奇数帧被分配给第二级层的预测组。根据属于与用作参考帧的已编码帧相应的视频帧的预测组，确定属于每一个级层的预测组的参考帧。换句话说，如果视频帧被分配给一个级层的预测组，对视频帧进行编码和本地解码得到的编码帧属于同一级层的预测组。对步骤S11和S12的处理过程进行了详细的说明。

如上所述，多个属于第一和第二级层的预测组的已编码帧作为参考帧。两个参考存储装置118和119用于临时储存作为参考帧的已编码帧。属于第一级层(即，最底层的级层)的预测组的已编码帧作为参考帧被临时储存在第一参考存储装置118中。属于第二级层(即，较高级层)的预测组的已编码帧作为参考帧被临时储存在第二参考存储装置119中。

利用属于第一级层的预测组并存储在第一参考存储装置118中的参考帧，对分配给第一级层的预测组的视频帧进行运动补偿预测帧间编码。另一方面，利用属于第一和第二级层的预测组并储存在第一和第二参考存储装置118和119中的参考帧，对分配给第二级层的预测组的视频帧进行运动补偿预测帧间编码。

下面将具体说明运动补偿预测帧编码。当相应于视频信号100的视频帧属于第一级层的预测组时，临时存储在第一参考存储装置118中的一个或多个参考帧被从其中读出，并输入到运动补偿预测单元111中。此时，开关120断开，所以来自第一参考存储装置119的参考帧不会输入到运动补偿预测单元111中。利用一个或多个从参考存储装置118中读出的参考帧，运动补偿预测单元111进行运动补偿预测，以产生预测图像信号104。预测图像信号104被输入到减法器110中以产生预测误差信号101，预测误差信号101是预测图像信号104相对于输入视频信号100的误差信号。

当相应于输入视频信号100的视频帧属于第二级层的预测组时，开关120为闭合。此时，一个或多个临时储存在第一和第二参考存储装置118和119中的参考帧被从其中读出，并输入到运动补偿预测单元111。运动补偿预测单元111产生预测图像信号104并与上面所述类似地提供给减法器110。减法器110产生预测误差信号101。

通过DCT(离散余弦变换)变换器112对预测误差信号101进行离散余弦变换。由量化器113对来自DCT变换器112的DCT系数进行量化。经量化的DCT系数数据102被分成两路，并且其中一路由可变长度编码器114进行编码。在另一路上，由去量化器115和反DCT变换器116将DCT系数数据102再生为预测误差信号。这一再生的预测误差信号与预测图像信号104相加以产生本地解码图像信号103。

根据与输入的视频信号100对应的视频帧所分配的级层的预测组，相应于本地已解码图像信号103的已编码帧被暂时保存在第一和第二参考存储装置118和119中的一个里(步骤S13)。换句话说，当视频帧属于第一级层的预测组时，已编码帧被临时储存在第一参考存储装置118中。当视频帧属于第二级层的预测组时，已编码帧就被临时储存在第二参考存储装置119中。

从运动补偿预测单元111中输出所谓的辅助信息105，包括：用于运动补偿预测的运动向量、用于识别视频帧所属的预测组的索引(第一识别信息)以及指定用于运动补偿预测帧间编码的参考帧的索引(第二识别信息)。由可变长度编码单元114对辅助信息进行编码(步骤114)。在这种情况下，用于识别预测组的索引就被编码为代表例如一种预测结构的图像类型。按每个宏块对指定参考帧的索引进行编码。

这些辅助信息与量化DCT系数数据一起作为可变长度编码的数据106输出(步骤S15)，量化DCT系数数据是运动补偿预测帧间编码的结果。例如，辅助信息作为标题信息被编码到编码数据106中。此外，如果采用第二参考帧数量设置方法，代表帧的最大数量的信息被作为标题信息编码到编码数据106中。第二参考帧数量设置方法是一种通过预定属于每个级层的预测组的参考帧的总量来设置分配给每个级层的预测组的参考帧的最大数量的方法。编码数据106被传送给存储介质或传输介质(未示出)。

新的已解码帧作为参考帧被连续写入参考存储装置118和119中。以帧为单位进行所谓的FIFO(先进先出)型控制，即，所储存的帧从最旧的参考帧开始被依次删除。然而，在读取参考帧时，在每个参考存储装置118和119中，对任意的参考帧进行随机访问。

参考帧的数量分别临时储存在参考储存装置118和119中，换句话说，包括在每个参考存储装置118和119中的参考存储器的数量是通过下面的两种方法中的任一个来确定的。

在第一参考帧数量设置方法中，属于每个级层的预测组的参考帧的最大数量是根据编码方法或编码规范(例如配置文件(profile)、级别)预先确定的。在视频编码装置和视频解码装置中，为每个预测组确定了由上述方法确定的参考帧的最大数量，并进行编码和解码。在这种情况下，通过使视频编码装置和视频解码装置之间的编码规范相一致，参考帧的必要数量可以自动地确定。

在第二参考帧数量设置方法中，属于每一个级层的预测组的参考帧的总数是根据编码方法或编码规范(例如配置文件(profile)、级别)预先确定的，而有多少参考帧被分配给每个级层的预测组的信息，也就是指示了帧的最大数量的信息，作为标题信息被编码到编码数据106中。

如此所述，在第二参考帧数量设置方法中，在编码侧，最适于每个级层的预测组的最大数量的参考帧被动态地分配给预测组。

通过对代表着所分配的帧的最大数量的信息进行的编码，可以使得属于每个级层的预测组的参考帧的最大数量在编码侧和解码侧之间彼此一致。因此，属于每个级层的预测组的参考帧的最大数量与参考帧的总数的比例可以根据输入视频信号100的图像性质的变化而适当地改变。结果，编码效率得到了提高。

在上面的说明中，编码是以帧为单位进行的。编码是以块(宏块)为单位进行的。换句话说，将视频块分配给至少包含有第一和第二预测组的多个预测组中的一个。按照运动补偿预测编码方式，利用从属于被分配了视频块的多个预测组中的一个的参考块，对视频块进行编码，参考块中的一个为解码块。通过使用属于第一预测组的参考块进行的预测得到第一预测组。通过使用属于第一和第二预测组中的至少一个的参考块进行的预测得到第二预测组。

通过帧内编码方式、正向预测帧间编码方式以及双向预测帧间编码方式中的一种对视频块进行编码。通过帧内编码方式和正向预测帧间编码方式对第一视频块编码、相应于第一视频块的参考块被分配给第一预测组。通过双向预测帧间编码方式对第二视频块编码、相应于第二视频块的参考块被分配给第一和第二预测组中的至少一个。(解码)

图3是与图1所示的视频编码装置相应的视频解码装置的结构图。图4是说明涉及与运动补偿预测帧间编码相应的解码的处理步骤的流程图。附图3中所示的视频解码装置可以通过硬件实现，也可以由软件实现。另一方面，处理过程的一部分可由硬件执行而剩下的部分由软件执行。

由图1中所示的视频编码装置输出的编码数据106通过存储介质或传输介质输入到图3中所示的视频解码装置中。由可变长度解码器214对所输入的编码数据200进行可变长度解码，从而输出量化的DCT系数数据201和辅助信息202。由去量化器215和反DCT变换器216对量化的DCT系数数据201进行解码，从而再生预测误差信号。

另一方面，对包含有按每宏块编码的运动向量、识别属于每个视频帧的预测组的索引(第一识别信息)以及指定参考帧的索引(第二识别信息)的辅助信息202进行解码(步骤21)。根据辅助信息进行类似于编码过程的参考帧选择和运运动补偿，以产生预测图像信号203。换句话说，根据第一识别信息和第二识别信息来选择参考帧(步骤S22)。根据所选取的参考帧对运动补偿预测帧间编码的结果进行解码(步骤S23)。预测图像信号203与来自反DCT变换器216的预测误差信号相加得到解码图像信号204。

根据相应于解码帧的编码帧所属的预测组，相应于解码图像信号204的解码帧被临时存储在第一和第二参考存储装置218和219的任一个中(步骤S24)。解码帧被用作参考帧。类似于视频编码装置，按照FIFO方式对这些参考存储装置218和219进行控制。按照在视频编码装置中所介绍的第一和第二参考帧数量设置方法，对属于每一级层的预测组的参考帧的数量进行设置。

换句话说，当按照第一参考帧数量设置方法和编码规范预定了属于每个级层的预测组的参考帧的最大数量时，对于每种编码规范，将属于每个级层的预测组的参考帧的数量设置为固定值。当按照第二参考帧数量设置方法和编码规范预定了属于每个级层的预测组的参考帧的总数时，则最大数量的参考帧被分配给每个级层的预测组。只有参考帧的总数量是固定的，根据指示按照编码数据的标题信息解码的参考帧的最大数量的信息对从属于每个级层的预测组的参考帧的数量进行动态控制。

图5表示图1所示的视频编码装置中的运动补偿预测单元111或图3中所示的视频解码装置中的运动补偿预测单元211的结构。

如上面所提到的，按照将被编码的帧或将被解码的帧所属的级层的预测组，可用的参考帧是不同的。假设图5中的帧存储器302到304存储了可用作从属于一个级层的预测组的编码帧的参考帧的参考帧。

运动补偿预测单元对每个宏块从可用的参考帧中选择一个参考帧，或通过线性预测器301计算可用参考帧的线性和，以基于该线性和预测一个参考帧，由此，执行了一次运动补偿以产生一个预测宏块。

视频编码装置对每个宏块选择参考帧和运动向量，以便选择具有小的预测误差和最高的编码效率的预测宏块。所选择的参考帧的信息和运动向量的信息按每宏块编码。

在视频解码装置中，运动补偿单元根据所接收到的运动向量和参考帧的信息产生一个预测宏块并对其解码。当基于线性和进行预测时，关于线性预测系数的信息被编码为编码数据的标题信息，以使编码和解码之间在线性预测器系数上保持一致。

图6到11表示用于说明本实施例中的帧间预测结构和参考存储控制的示意图。

图1示出了由I和P图像构成的并且在预测组a和预测组b之间交替转换每个帧的例子。假设预测组b具有比预测组a高的级层。而且，假设预测组a和预测组b的每一个的参考储存器是一个帧。

具有下标a(例如Ia0、Pa2、Pa4)的图像属于预测组a，而具有下标b(例如Pb1、Pb3、Pb5)的图像属于预测组b。这些预测组的属性被编码为图像类型的扩展(extension)或独立索引并被用作视频帧的标题信息。属于预测组a的视频帧只能使用属于预测帧a并且已经解码为参考帧的帧。

至于更高级层的预测帧b，使用一个属于预测组a和预测组b中的任一个的并且已解码的帧或者两个已解码帧的线性和，来产生预测图像。

每个级层的预测组具有一个相应于一个帧的参考存储器。因此，预测组a的视频帧的参考帧的数量最大为1。最多两个参考帧可以被用于预测组b的视频帧。属于，例如，预测组a的帧Pa2仅使用解码帧Ia0作为参考帧。属于预测组b的帧Pb3使用两个帧，即，属于预测组a的解码帧Pa2和属于预测组b的解码帧Pb1作为参考帧。

在图6中，FM1、FM2和FM3表示物理参考存储器。DEC、REFa和REFb分别表示逻辑参考存储器。换句话说，DEC、REFa和REFb是由虚拟地址表示的帧存储器。FM1、FM2和FM3是由物理地址表示的帧存储器。以虚拟地址表示，DEC是用于临时存储当前解码帧的帧存储器。REFa和REFb分别表示预测组a和预测组b的参考存储器。因此，属于预测组a的解码帧被依次地且临时地存储在参考存储器REFa中。属于预测组b的解码帧被依次地且临时地存储在参考存储器REFb中。

在图6的例子中，可以放弃属于较高级层的预测组b的视频帧而只对属于预测组a的帧进行解码。这样，如果有两个参考存储器，例如，用于临时存储当前解码帧的帧存储器DEC和预测组a的参考存储器REFa，则解码是可能的。

通过仅对属于预测组a的帧进行解码，能够不用破坏预测结构按半个帧周期对帧进行解码。以例如两倍帧频播放属于预测组a的解码帧可以实现流畅的快进播放。而且，当传输信道的带宽随视频信号流中的时间波动时，所有的编码数据以正常状态发送。当传输信道的有效带宽减小时，则放弃属于属于预测组b的编码数据而只发送属于较低级层的预测组a的编码数据。这样，在接收端就不会不能再现解码帧。

图7表示对图6的改进，图示了两个属于预测组b的帧被插入到属于预测组a的帧之间的预测结构。每个级层的预测组的参考存储是一个帧。对于这种情况，可以通过对三个帧使用一个帧存储器进行类似于图6的解码。在图7所示的例子中，通过仅对，例如，预测组a的帧进行解码并以原始帧频播放编码帧，可以实现流畅的三倍速快进播放。

图8表示由I和P图像构成的预测结构，其预测组包括三个级层a、b、c。预测组a的帧按每四个输入帧进行分配。预测组b的一个帧和预测组c的两个帧被插入到预测组a的帧之间。

各级层的预测组a、b、c的参考帧是一个帧。层次按照a、b、c的顺序增加。换句话说，属于预测组a的帧可以仅使用解码预测组a的一个帧作为参考帧。属于预测组b的帧可以使用解码预测组a和b的两个帧作为参考帧。属于预测组c的帧可以使用解码预测组a、b、c的三个帧作为参考帧。

在图8中，DEC、REFa、REFb、REFc表示用于临时储存解码帧的帧存储器、分别用于存储预测组a的参考帧、预测组b的参考帧、预测组c的参考帧的逻辑帧存储器。FM1、FM2、FM3和FM4分别表示用于上述四种帧的物理帧存储器。在当前帧之前已经被解码的一个帧被临时存储在参考存储器REFa、REFb和REFc中。当前解码帧被写入解码帧存储器DEC中。

在图8的结构中，预测组包括三个级层。因此，当不超过预测组c的所有的编码帧被解码时，实现正常播放。当不超过预测组b的编码帧被解码时，帧正常数量的1/2的帧被解码。当不超过预测组a的编码帧被解码时，帧正常数量的1/4的帧被解码。在任一解码过程中，可从预测结构无误地产生正常解码图像。通过动态控制所要解码的级层，可以实现流畅的可调速快进播放。或者，通过动态控制所传输的级层，可以动态改变传输比特率。

在附图9中，预测结构包括I、P和B图像，I和P图像分配给预测组a而B图像分配给预测组b。预测组b采用比预测组a更高的级层。预测组a包括两个帧，即，两个参考存储器，而预测组b包括一个帧，即，一个参考存储器。

在图9所示的例子中，预测组a的I和P图像的参考存储器的数量是2。因此，可以使用两个帧作为参考帧，两个帧中的一个是在当前的P图像之前被编码或解码的I或P图像，而另一个是在当前P图像之前的两个帧的I或P图像。在B图像中，预测组b有一个参考帧。因此，在当前帧之前编码或解码的B图像的一个帧被用作参考帧。此外，可以使用由B图像和包含在相应于较低级层的预测组中的两个在先的帧的I和P图像组成的三个帧的参考帧。

类似于图6到8，FM1、FM2、FM3和FM4表示物理帧存储器，而DEC、REFa1、REFa2和REFb表示逻辑帧存储器。DEC表示用于在解码期间临时存储一个帧的帧存储器。REFa1和REFa2表示相应于预测组a的两个帧的参考存储器。REFb表示相应于预测组b的一个帧的参考存储器。

图9中的Idx0和Idx1表示在解码过程中为帧指定参考帧的索引。在解码过程中，例如，帧Pa6，在帧Pa6之前的并属于预测组a的两个帧Pa3和Ia0是备选的参考帧。参考帧的索引被顺序地分配给时间上更接近视频帧的各帧。指示参考帧的索引被按宏块编码并且对每个宏块都选择参考帧。对于索引为0的宏块，通过在相应于该宏块的图像之前的I或P图像产生预测图像。对于索引为1的宏块，通过在相应于该宏块的图像前面的两个帧的I或P图像产生预测图像。当通过当前图像之前的I或P图像以及当前图像之前的两个帧的I或P图像的线性和产生预测图像时，识别一对索引0和1的索引被编码为宏卷的标题信息。

图9中的BWref表示用于B图像的反向预测的参考帧。在图9的例子中，用于图像Bb1和Bb2的反向参考帧是图像Pa3，而用于图像Bb4和Bb5的反向参考帧是图像Pa6。由于帧的分类的限制，反向预测的参考帧限于之前编码或解码的I或P图像。因此，参考帧被唯一地确定。从而，反向预测的参考帧BWref不应被编码为标题信息。

在图9所示的例子中，可以通过最多两个可选的帧进行B图像的正向预测。在例如图像Bb4的编码和解码过程中，图像Pa2和Bb2可以被用作参考帧，其中图像Pa3是时间上在图像Bb4之前并且属于预测组a的帧，图像Bb2是先于图像Bb4两个帧并且属于预测组b的帧。指示对于每个宏块选择了哪个参考帧或是否根据两个参考帧的线性和进行预测的索引被编码。类似于图像Bb5，两种图像Bb4和Pa3被用作参考帧。

至于参考帧的索引，对于正向预测，以与参考帧时间上更相近的顺序按视频帧给参考帧加上编号。在图9的例子中，在P图像的编码和解码过程中，存储在参考存储器中的I或P图像以时间顺序排列并编号。在B图像的编码和解码过程中，存储在参考存储器中的所有参考帧，除了在用作反向预测的参考帧之前编码或解码的I或P图像之外，都以时间顺序排列并编号。附图9中的Idx0和Idx1代表按照上述规则产生的索引。

图10是图9的改进，表示一种对于预测组b，即，B图像，将参考帧的数量设置为2而参考存储器的总数设置为5的情况。FM1到FM5表示物理参考帧。DEC表示在解码过程中临时储存一个图像的缓存器。REFa1和REFa2表示预测组a，也就是，用于I和P图像的参考存储器。REFb1和REFb2表示预测组b，也就是，分别用于B图像的逻辑参考存储器。Idx0、Idx1和Idx2代表在正向预测中分配的参考帧索引。BWref表示用于B图像的反向预测的参考帧。类似于图9所示的例子，对于每个宏块，正向预测中的参考帧索引被编码为标题信息。

在图6到10所示的例子中，每个级层的预测组的参考存储器的数量是固定的。然而，在参考帧的总数恒定的情况下，每个级层的预测组的参考帧的数量可以是动态变化的。在例如附图6所示的结构中，预测组b的参考存储器的数量被设置为0，而同时预测组a的参考存储器的数量被设置为2。这一改变可以通过编码数据的标题信息由编码侧告知解码侧。此时，控制运动补偿预测的选择，以致可以在编码侧采用根据预测组a的两个在先的帧进行的预测，而禁止根据预测组b的在先帧进行的预测，尽管进行了根据预测组a的两个在先帧的预测。

在上面的说明中，解码是以帧为单位进行的。解码是以块(宏块)为单位进行的。换句话说，编码数据包括编码视频块数据、代表被分配了所述视频块数据的第一和第二预测组的第一编码识别信息和代表在运动补偿预测帧间编码中使用的参考块数据的第二编码识别信息。对第一编码识别信息和第二编码识别信息进行解码以产生第一解码识别信息和第二解码识别信息。使用属于第一预测组的参考块数据和属于第一和第二预测组的至少一个的参考块数据，根据第一解码识别信息和第二解码识别信息，对视频块数据进行解码。

图11表示一个预测结构，以及当参考存储器的分配变为上面所述的图6的例子那样时，如何使用帧存储器。

上述的方法动态地实现在有限数量的参考帧中设置适用于输入视频图像的最优预测结构。而且，该方法可以实现预测效率得到提高的高效编码。

图12和13表示使用分别不少于三个级层的预测组的视频编码装置和视频解码装置。据此，参考帧装置118或218属于最低级层。属于较高级层的两个或更多参考帧装置119以及两个或更多开关117和120配置在视频编码装置中。属于较高级层的两个或更多参考帧装置219以及两个或更多开关217和220配置在视频解码装置中。当开关117和120或开关217和220根据级层的数量被闭合时，参考帧的数量增加。换句话说，根据级层的增加，开关117和120或开关217和220依次闭合。具体地，分配给多个预测组的多个视频帧从最低级层的预测组到比最低级层更高的级层的至少一个预测组依次分层。使用属于最低级层的预测组和比被分配了视频帧的预测组的级层更低的级层的预测组的参考帧，对视频帧进行运动补偿预测帧间编码。

如上所述，帧间预测结构构成为分层的预测组结构。根据较高级层的预测组的参考帧的帧间预测被禁止。此外，在参考帧的总数恒定的前提下，每一级层的预测组的参考帧的数量被动态地改变，其结果是改善了编码效率，可以以高自由度实现快进播放。

当增加层级时，可以在快进播放中实现平缓的播放。而且，由于帧周期即帧频增加，在以快进方式播放时，图像品质得到了提高。

当使用家用电视播放上面所述的多级层视频图像时，所有的级层都可以播放。当使用蜂窝电话播放该多级层视频图像时，为了减轻硬件的负担，可以通过适当的跳跃来播放该多级层视频图像。也就是说，可以根据接收端的硬件选择级层。

其它的优点和改进对本领域的技术人员来说是显而易见的。因此，本发明的范围更宽，不局限于这里所示出和说明的具体细节和典型实施例。因此，可以进行各种修改而不会超出由所附的权利要求和它们的等价内容所限定的总的发明构思的精神或范围。

Claims (12)

1.一种使用参考块对视频块进行编码的方法，特征在于包括：

将视频块分配给多个预测组中的一个，该多个预测组包括至少第一和第二预测组；和

利用取决于被分配了所述视频块的所述一个预测组的参考块，按照运动补偿预测编码方式对视频块进行编码，这些参考块中的一个是解码块，

其中第一预测组是通过利用属于第一预测组的参考块进行的预测得到的，而第二预测组是通过利用属于第二预测组和第一预测组中的至少一个的参考块进行的预测得到的。

2.一种按照权利要求1的视频编码方法，特征在于，对指示第一预测组的第一识别信息和指示用于运动补偿预测帧间编码的参考帧的第二识别信息进行编码，以产生辅助信息，并将该辅助信息与按照运动补偿预测帧间编码方案编码的视频块一起输出。

3.一种按照权利要求1或2的视频编码方法，特征在于，使用相应数量的参考块对每一个预测组进行预测。

4.一种按照权利要求2的视频编码方法，特征在于，将分配给预测组的参考块的总数设置为一个恒定值，将表示分配给每个预测组的参考块的数量的参考块数量信息编码，并且将编码参考块数量信息包括到辅助信息中。

5.一种按照权利要求1、2或4中任何一项的视频编码方法，特征在于，对视频块进行分配包括通过帧内编码方式、正向预测帧间编码方式和双向预测帧间编码方式中的每种方式对视频块进行编码，并且对视频块进行分配包括将通过帧内编码方式和正向预测帧间编码方式编码的第一视频块和相应于第一视频块的参考块分配给第一预测组，以及将由双向预测帧间编码方式编码的第二视频块和相应于第二视频块的参考块分配给第一和第二预测组中的至少一个。

6.一种使用参考块对视频块进行编码的视频编码装置，特征在于包括：

将视频块分配给多个预测组中的一个的分配单元，和

编码单元，使用取决于被分配了所述视频块的所述一个预测组的参考块，按照运动补偿预测帧间编码方式对视频块进行编码，这些参考块中的一个是解码块，该编码单元包括利用属于第一预测组的参考块产生第一预测组、并利用属于第二预测组和第一预测组中的至少一个的参考块产生第二预测组的预测器。

7.一种按照权利要求6的视频编码装置，特征在于，编码单元包括对指示被分配了所述视频块的预测组的第一识别信息和指示用于运动补偿预测帧间编码中的参考块的第二识别信息进行编码以产生辅助信息、并且将辅助信息与由运动补偿预测帧间编码所获得的编码视频块一起输出的编码器。

8.一种按照权利要求6或7的视频编码装置，特征在于，每个预测组是通过使用相应数量的参考块进行的预测得到的。

9.一种按照权利要求7的视频编码装置，特征在于，设有设置装置，用于将分配给预测组的参考块的总数设置为恒定值的设置装置，所述编码器对指示分配给每个预测组的参考块的数量的参考块数量信息进行编码并且输出包括编码参考块数量信息的辅助信息。

10.一种按照权利要求6、7或9的视频编码装置，特征在于，所述编码设备包括通过帧内编码方式、正向预测帧间编码方式和双向预测帧间编码方式中的每一种对视频块进行编码的编码器，所述分配装置将通过帧内编码方式和正向预测帧间编码方式编码的第一视频块和相应于第一视频块的参考块分配给第一预测组、并且将由双向预测帧间编码方式编码的第二视频块和相应于第二视频块的参考块分配给第一和第二预测组中的至少一个。

11.一种对由运动补偿预测帧间编码得到的编码数据进行解码的方法，该方法的特征在于包括：

接收包括编码视频块数据、指示被分配了该视频块数据的第一和第二预测组的第一编码识别信息以及指示用在运动补偿预测帧间编码中的参考块数据的第二编码识别信息的编码数据；

对第一编码识别信息和第二编码识别信息进行解码以产生第一解码识别信息和第二解码识别信息；和

使用属于第一预测组的参考块数据和属于第一和第二预测组中的至少一个的参考块数据，按照第一解码识别信息和第二解码识别信息，对视频块数据进行解码。

12.一种对由运动补偿预测帧间编码得到的编码数据进行解码的视频解码装置，该装置的特征在于包括：

接收单元，接收包括编码视频块数据、指示被分配了该视频块数据的第一和第二预测组的第一编码识别信息以及指示用在运动补偿预测帧间编码中的参考块数据的第二编码识别信息的编码数据；

第一解码单元，对第一编码识别信息和第二编码识别信息进行解码以产生第一解码识别信息和第二解码识别信息；和

第二解码单元，使用属于第一预测组的参考块数据和属于第一和第二预测组中的至少一个的参考块数据，按照第一解码识别信息和第二解码识别信息对视频块数据进行解码。

Images