CN1297149C - 运动图像编码/解码方法和装置 - Google Patents

Abstract

一种运动图像编码/解码装置包括图像存储器/预测图像产生器(108)，该图像存储器/预测图像产生器(108)用于从预先准备的至少一个基准图像号码和预测参数之间的多个组合中选择一个组合，并且根据所选组合的基准图像号码和预测参数来产生预测图像信号(212)。该装置使用变长编码器(111)来编码关于预测图像信号(212)对于输入运动图像信号(100)的预测误差信号的正交变换系数信息(210)、指示编码模式的模式信息(213)、运动矢量信息(214)以及指示所选基准图像号码和预测参数的组合的索引信息(215)。

Description

运动图像编码/解码方法和装置

                       技术领域

本发明涉及一种编码/解码衰减(fade)视频和渐隐(dissolving)视频，尤其是以高效率编码/解码衰减视频和渐隐视频的视频编码/解码方法和装置。

                       背景技术

运动补偿预测帧间编码用作视频编码标准方案例如ITU-TH.261，H.263，ISO/IEC MPEG-2，或MPEG-4中的编码模式之一。作为运动补偿预测帧间编码中的预测模型，使用当亮度在时间方向上没有发生改变时表现出最高预测效率的模型。在图像亮度改变的衰减视频的情况下，至今不存在已知的方法，当例如正常图像从黑色图像淡入时，其对图像亮度的变化做出正确的预测。为了保持衰减视频的图像质量，因此许多位是必需的。

为了解决这个问题，例如，在日本专利3166716号，“抗衰减对策视频编码器和编码方法”中，衰减视频部分被检测，以改变位数的分配。更具体地，在渐隐视频的情况下，许多位分配给亮度改变的渐隐的起始部分。一般地，渐隐的最后部分变成单色图像，因此可以容易地编码。出于这个原因，分配给该部分的位数减少。这使得能够提高整体图像质量，而不过分地增加位的总数。

在日本专利2938412号，“视频亮度改变补偿方法，视频编码装置，视频解码装置，视频编码或解码程序记录于其上的记录介质，以及视频的已编码数据记录于其上的记录介质”中，提出一种通过根据两个参数，即亮度变化量和对比度变化量补偿基准图像来完全解决衰减视频的编码方案。

在Thomas Wiegand和Berand Girod，“视频传输的多帧运动补偿预测”，Kluwer学术出版社2001中，提出一种基于多个帧缓冲器的编码方案。在该方案中，已经试图通过从保存于帧缓冲器中的多个基准帧选择性地产生预测图像来提高预测效率。

根据传统的技术，为了编码衰减视频或渐隐视频同时保持高的图像质量，许多位是必需的。因此，不能期待编码效率的提高。

                       发明内容

本发明的目的在于提供一种视频编码/解码方法和装置，其能够编码随着时间的过去亮度改变的视频，例如衰减视频或渐隐视频，尤其是以高效率编码这种视频。

根据本发明的第一方面，提供一种视频编码方法，通过使用代表至少一个基准图像的基准图像信号和输入视频信号与基准图像信号之间的运动矢量，来使输入视频信号经受运动补偿预测编码，包括：从多个组合中为输入视频信号的每个块选择一个组合的步骤，其中多个组合中的每一个包括预测参数和预先为基准图像而确定的至少一个基准图像号码；根据所选组合的基准图像号码和预测参数来产生预测图像信号的步骤；产生代表输入视频信号和预测图像信号之间误差的预测误差信号的步骤；以及编码预测误差信号、运动矢量的信息、和指示所选组合的索引信息的步骤；其中，预测参数包括加权因子和偏移量的信息，并且产生预测图像信号的步骤包括根据加权因子，计算由包含于所选组合中的基准图像号码所指示的基准图像信号的线性和，然后将偏移量加到线性和的步骤。

根据本发明的第二方面，提供一种视频编码方法，通过使用基准图像和输入视频信号与基准图像之间的运动矢量，来使输入视频信号经受运动补偿预测编码，包括：从预先准备的预测参数的多个组合中，为输入视频信号的每个块选择一个组合的步骤；指定设置到至少一个基准图像的至少一个基准图像号码的步骤；根据与指定的基准图像号码相对应的基准图像和所选组合的预测参数来产生预测图像信号的步骤；产生代表输入视频信号和预测图像信号之间误差的预测误差信号的步骤；以及编码预测误差信号、运动矢量的信息、指定的基准图像号码、和指示所选组合的索引信息的步骤；其中，预测参数包括加权因子和偏移量的信息，并且产生预测图像信号的步骤包括根据加权因子，计算与指定的基准图像号码相对应的基准图像信号的线性和，然后将偏移量加到线性和的步骤。

根据本发明的第三方面，提供一种视频编码方法，通过使用代表至少一个基准图像的基准图像信号和输入视频信号与基准图像信号之间的运动矢量，来使输入视频信号经受运动补偿预测编码，包括：从多个组合中为输入视频信号的每个块选择一个组合的步骤，其中多个组合中的每一个包括预测参数和预先为基准图像而确定的至少一个基准图像号码；根据所选组合的基准图像号码和预测参数来产生预测图像信号的步骤；产生代表输入视频信号和预测图像信号之间误差的预测误差信号的步骤；以及编码预测误差信号、运动矢量的信息、和指示所选组合的索引信息的步骤；其中，输入视频信号是包括为逐行信号的每个帧而输入的图像信号、为通过合并交错信号的两个场所获得的每个帧而输入的图像信号、以及为交错信号的每个场而输入的图像信号的信号，当输入视频信号是为每个帧而输入的图像信号时，基准图像信号是以帧为基础的图像信号，而当输入视频信号是为每个场而输入的图像信号时，基准图像信号是以场为基础的图像信号。

根据本发明的第四方面，提供一种视频编码方法，通过使用基准图像和输入视频信号与基准图像之间的运动矢量，来使输入视频信号经受运动补偿预测编码，包括：从预先准备的预测参数的多个组合中，为输入视频信号的每个块选择一个组合的步骤；指定设置到至少一个基准图像的至少一个基准图像号码的步骤；根据与指定的基准图像号码相对应的基准图像和所选组合的预测参数来产生预测图像信号的步骤；产生代表输入视频信号和预测图像信号之间误差的预测误差信号的步骤；以及编码预测误差信号、运动矢量的信息、指定的基准图像号码、和指示所选组合的索引信息的步骤；其中，输入视频信号是包括为逐行信号的每个帧而输入的图像信号、为通过合并交错信号的两个场所获得的每个帧而输入的图像信号、以及为交错信号的每个场而输入的图像信号的信号，当输入视频信号是为每个帧而输入的图像信号时，基准图像信号是以帧为基础的图像信号，而当输入视频信号是为每个场而输入的图像信号时，基准图像信号是以场为基础的图像信号。

根据本发明的第五方面，提供一种视频编码装置，通过使用基准图像和输入视频信号与基准图像之间的运动矢量，来使输入视频信号经受运动补偿预测编码，包括：选择单元，用于从多个组合中为输入视频信号的每个块选择一个组合，其中多个组合中每个包括预测参数和预先为基准图像而确定的至少一个基准图像号码；产生器，用于根据所选组合的基准图像号码和预测参数来产生预测图像信号；减法器，用于产生代表输入视频信号和预测图像信号之间误差的预测误差信号；以及编码单元，用于编码预测误差信号、运动矢量的信息、和指示所选组合的索引信息；其中，预测参数包括加权因子和偏移量的信息，并且产生器包括计算单元，用于根据加权因子计算由包含于所述组合中的基准图像号码所指示的基准图像信号的线性和、然后将偏移量加到线性和上。

如上所述，根据本发明，使用基准图像号码和预测参数的组合或者与指定的基准图像号码相对应的多个预测参数的组合准备有多个不同的预测方案。这使得能够基于具有较高预测效率的预测方案，对于正确的预测图像信号不能由视频编码例如衰减视频或渐隐视频的一般预测方案产生的这种视频信号，产生正确的预测图像信号。

另外，视频信号是包括为逐行信号的每个帧而获得的图像信号，为通过合并交错信号的两个场而获得的每个帧而获得的图像信号，以及为交错信号的每个场而获得的图像信号的信号。当视频信号是以帧为基础的图像信号时，基准图像信号号码指示以帧为基础的基准图像信号。当视频信号是以场为基础的图像信号时，基准图像信号号码指示以场为基础的基准图像信号。

这使得能够基于具有较高预测效率的预测方案，对于正确的预测图像信号不能由视频编码例如衰减视频或渐隐视频的一般预测方案产生、包括帧结构和场结构的这种视频信号，产生正确的预测图像信号。

此外，基准图像号码或预测参数本身的信息并不从编码端发送到解码端，但是指示基准图像号码和预测参数的组合的索引信息发送，或者基准图像号码独立地发送。在这种情况下，编码效率可以通过发送指示预测参数的组合的索引信息来提高。

                       附图说明

图1是显示根据本发明第一实施方案的视频编码装置方案的框图；

图2是显示图1中帧存储器/预测图像产生器的详细方案的框图；

图3是显示第一实施方案中使用的、基准帧号码和预测参数的组合的表格的实例的视图；

图4是显示第一实施方案中为每个宏块选择预测方案(基准帧号码和预测参数的组合)并且确定编码模式的顺序的实例的流程图；

图5是显示根据第一实施方案的视频解码装置方案的框图；

图6是显示图5中帧存储器/预测图像产生器的详细方案的框图；

图7是显示根据本发明第二实施方案，在基准帧的号码为一并且基准帧号码作为模式信息发送的情况下预测参数的组合的表格的实例的视图；

图8是显示根据第二实施方案，在基准帧的号码为二并且基准帧号码作为模式信息发送的情况下预测参数的组合的表格的实例的视图；

图9是显示根据本发明第三实施方案，在基准帧的号码为一的情况下基准图像号码和预测参数的组合的表格的实例的视图；

图10是显示根据第三实施方案仅亮度信号的表格的实例的视图；

图11是显示当索引信息将被编码时每个块的语法的实例的视图；

图12是显示当预测图像将通过使用一个基准图像来产生时，已编码位流的具体实例的视图；

图13是显示当预测图像将通过使用两个基准图像来产生时，已编码位流的具体实例的视图；

图14是显示根据本发明第四实施方案，当待编码信息是前场(topfield)时，基准帧号码，基准场号码，和预测参数的表格的实例的视图；以及

图15是显示根据本发明第四实施方案，当待编码信息是后场(bottom field)时，基准帧号码，基准场号码，和预测参数的表格的实例的视图。

                     具体实施方式

本发明的实施方案将参考附随附图的几个视图在下面描述。

[第一实施方案]

(关于编码端)

图1显示根据本发明第一实施方案的视频编码装置的方案。视频信号100例如以帧为基础输入到视频编码装置。视频信号100输入到减法器101。减法器101计算视频信号100和预测图像信号212之间的差，以产生预测误差信号。模式选择开关102选择预测误差信号或视频信号100。正交变换器103使所选信号经受正交变换，例如离散余弦变换(DCT)。正交变换器103产生正交变换系数信息，例如DCT系数信息。正交变换系数信息由量化器104量化，并分支成两路。分支成两路的一个量化正交变换系数信息210导向到变长编码器111。

分支成两路的另一个量化正交变换系数信息210继续由解量化器或反向量化器105和反向正交变换器106经受与量化器104和正交变换器103中相反的处理，以重构成预测误差信号。之后，加法器107将重构的预测误差信号加到通过开关109输入的预测图像信号212，以产生局部解码视频信号211。局部解码视频信号211输入到帧存储器/预测图像产生器108。

帧存储器/预测图像产生器108选择准备的基准帧号码和预测参数的多个组合中的一个。由所选组合的基准帧号码所指示的基准帧的视频信号(局部解码视频信号211)的线性和根据所选组合的预测参数来计算，并且作为结果的信号加到基于预测参数的偏移量。通过该操作，在这种情况下，基准图像信号以帧为基础产生。接着，帧存储器/预测图像产生器108通过使用运动矢量来运动补偿基准图像信号，以产生预测图像信号212。

在该过程中，帧存储器/预测图像产生器108产生运动矢量信息214和指示基准帧号码与预测参数的所选组合的索引信息125，并且将选择编码模式所必需的信息发送到模式选择器110。运动矢量信息214和索引信息215输入到变长编码器111。帧存储器/预测图像产生器108随后将详细描述。

模式选择器110基于来自帧存储器/预测图像产生器108的预测信息P选择以宏块为基础的编码模式，即选择帧内编码模式或运动补偿的预测帧间编码模式，并且输出开关控制信号M和S。

在帧内编码模式中，开关102和112由开关控制信号M和S切换到A端，并且输入视频信号100输入到正交变换器103。在帧间编码模式中，开关102和112由开关控制信号M和S切换到B端。因此，来自减法器101的预测误差信号输入到正交变换器103，并且来自帧存储器/预测图像产生器108的预测图像信号212输入到加法器107。模式信号213从模式选择器110输出，并且输入到变长编码器111。

变长编码器111使量化正交变换系数信息210，模式信息213，运动矢量信息214，和索引信息215经受变长编码。由该操作产生的变长码由乘法器114多路复用。然后，作为结果的数据由输出缓冲器115平滑。从输出缓冲器115输出的已编码数据116发送出，到传输系统或存储系统(没有显示)。

编码控制器113控制编码部件112。更具体地，编码控制器113监控输出缓冲器115的缓冲量，并且控制编码参数例如量化器104的量化步长，以使得缓冲量恒定。

(关于帧存储器/预测图像产生器108)

图2显示图1中的帧存储器/预测图像产生器108的详细方案。参考图2，从图1中的加法器107输入的局部解码视频信号211在存储控制器201的控制下存储在帧存储器组202中。帧存储器组202具有用于暂时保存作为基准帧的局部解码视频信号211的多个(N个)帧存储器FM1～FMN。

在预测参数控制器203中，准备有预先作为表格的、基准帧号码和预测参数的多个组合。预测参数控制器203基于视频信号100，选择基准帧的基准帧号码和用来产生预测图像信号212的预测参数的组合，并且输出指示所选组合的索引信息215。

多帧运动评估器204根据由预测参数控制器203选择的、基准帧号码和索引信息的组合来产生基准图像信号。多帧运动评估器204从该基准图像信号和输入视频信号100估算运动量和预测误差，并且输出使预测误差达到最小的运动矢量信息214。多帧运动补偿器205使用由多帧运动评估器204选择的基准图像信号根据运动矢量对每个块执行运动补偿，以产生预测图像信号212。

存储控制器201将基准帧号码设置到每个帧的局部解码视频信号，并且将每个帧存储在帧存储器组202的帧存储器FM1～FMN的一个中。例如，各个帧从最靠近输入图像的帧开始顺序编号。相同的基准帧号码可以为不同的帧而设置。在这种情况下，例如，使用不同的预测参数。靠近输入图像的帧从帧存储器FM1～FMN中选择，并且发送到预测参数控制器203。

(关于基准帧号码和预测参数的组合的表格)

图3显示在预测参数控制器203中准备的、基准帧号码和预测参数的组合的表格的实例。“索引”对应于可以为每个块选择的预测图像。在这种情况下，存在有八种类型的预测图像。基准帧号码 n是用作基准帧的局部解码视频的号码，并且在这种情况下，指示与 n个过去的帧相对应的局部解码视频的号码。

当预测图像信号212通过使用存储在帧存储器组202中的多个基准帧的图像信号来产生时，多个基准帧号码被指定，并且(基准帧的数目+1个)系数为亮度信号(Y)和色差信号(Cb和Cr)的每个而指定作为预测参数。在这种情况下，如由等式(1)～(3)所指示的， n假设基准帧的数目，n+1个预测参数Di(i＝，...，n+1)为亮度信号Y而准备；n+1个预测参数Ei(i＝，...，n+1)为色差信号Cb而准备；并且n+1个预测参数Fi(i＝，...，n+1)为色差信号Cr而准备：

$Y_t=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{D}_i{Y}_{t-i}+D_{n+1}---\left(1\right)$

${\mathrm{Cb}}_t=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{E}_i{\mathrm{Cb}}_{t-i}+E_{n+n}---\left(2\right)$

${\mathrm{Cr}}_t=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}{F}_i{\mathrm{Cr}}_{t-i}+F_{n+1}---\left(3\right)$

该操作将参考图3更详细地描述。参考图3，每个预测参数的最后一个数代表偏移量，并且每个预测参数的第一个数代表加权因子(预测系数)。对于索引0，基准帧的数目由n＝2给出，基准帧号码是1，并且预测参数对于亮度信号Y和色差信号Cr和Cb的每个是1和0。如在这种情况下预测参数是1和0表示，与基准帧号码“1”相对应的局部解码视频信号乘以1并且加上偏移量0。换句话说，与基准帧号码1相对应的局部解码视频信号变成基准图像信号而没有任何改变。

对于索引1，作为与基准帧号码1和2相对应的局部解码视频信号的两个基准帧被使用。根据亮度信号Y的预测参数2，-1，和0，与基准帧号码1相对应的局部解码视频信号加倍，并且与基准帧号码2相对应的局部解码视频信号从作为结果的信号中减去。然后，偏移量0加到作为结果的信号。即，外推法预测从两个帧的局部解码视频信号执行，以产生基准图像信号。对于色差信号Cr和Cb，因为预测参数是1，0，和0，与基准帧号码1相对应的局部解码视频信号用作基准图像信号，而没有任何改变。与索引1相对应的该预测方案对于渐隐视频特别有效。

对于索引2，根据预测参数5/4和16，与基准帧号码1相对应的局部解码视频信号乘以5/4并且与偏移量16相加。对于色差信号Cr和Cb，因为预测参数是1，色差信号Cr和Cb变成基准图像信号而没有任何改变。该预测方案对于从黑色帧的淡入视频特别有效。

如此，基准图像信号可以基于具有待使用基准帧的号码和预测参数的不同组合的多个预测方案来选择。这使得该实施方案能够完全解决因缺乏正确的预测方案而已经经受图像质量的退化的衰减视频和渐隐视频。

(关于选择预测方案和确定编码模式的顺序)

该实施方案中为每个宏块选择预测方案(基准帧号码和预测参数的组合)并且确定编码模式的具体顺序的实例将紧接着参考图4来描述。

首先，最大可假定值设置到变量min_D(步骤S101)。LOOP1(步骤S102)表示帧间编码中预测方案的选择的重复，并且变量 i代表图3中“索引”的值。在这种情况下，为了获得每个预测方案的最佳运动矢量，每个索引(基准帧号码和预测参数的每个组合)的估计值D从与运动矢量信息214相关的位数(从变长编码器111输出的变长码中与运动矢量信息214相对应的位数)和预测误差绝对值总和来计算，并且选择使估计值D达到最小的运动矢量(步骤S103)。估计值D与min_D相比较(步骤S104)。如果估计值D小于min_D，估计值D设置到min_D，并且索引 i赋值到min_i(步骤S105)。

然后计算帧内编码的估计值D(步骤S106)。估计值D与min_D相比较(步骤S107)。如果该比较指示min_D小于估计值D，模式MODE确定为帧间编码，并且min_i赋值到索引信息INDEX(步骤S108)。如果估计值D较小，模式MODE确定为帧内编码(步骤S109)。在这种情况下，估计值D设置为具有相同量化步长的位数的估计值。

(关于解码端)

与图1中所示的视频编码装置相对应的视频解码装置将紧接着描述。图5显示根据该实施方案的视频解码装置的方案。从图1中所示的视频编码装置发送出并且通过传输系统或存储系统发送的已编码数据300暂时存储在输入缓冲器301中，并且由多路分解器302基于语法对每个帧多路分解。作为结果的数据输入到变长解码器303。变长解码器303解码已编码数据300的每个语法的变长码，以再现量化正交变换系数，模式信息413，运动矢量信息414，和索引信息415。

在再现的信息中，量化正交变换系数由解量化器304解量化，并且由反向正交变换器305反向地正交变换。如果模式信息413指示帧内编码模式，再现视频信号从反向正交变换器305输出。然后，该信号通过加法器306作为再现视频信号310输出。

如果模式信息413指示帧间编码模式，预测误差信号从反向正交变换器305输出，并且模式选择开关309导通。从帧存储器/预测图像产生器308输出的预测图像信号412由加法器306加到预测误差信号。结果，再现视频信号310输出。再现视频信号310作为基准图像信号存储在帧存储器/预测图像产生器308中。

模式信息413，运动矢量信息414，和索引信息415输入到帧存储器/预测图像产生器308。模式信息413也输入到模式选择开关309。在帧内编码模式中，模式选择开关309关闭。在帧间编码模式中，开关导通。

像图1中编码端上的帧存储器/预测图像产生器108一样，帧存储器/预测图像产生器308包括作为表格的、基准帧号码和预测参数的多个准备的组合，并且从表格中选择由索引信息415所指示的一个组合。由所选组合的基准帧号码所指示的基准帧的视频信号(再现视频信号210)的线性和根据所选组合的预测参数来计算，并且基于预测参数的偏移量加到作为结果的信号。通过该操作，基准图像信号产生。接着，产生的基准图像信号通过使用由运动矢量信息414所指示的运动矢量来运动补偿，从而产生预测图像信号412。

(关于帧存储器/预测图像产生器308)

图6显示图5中的帧存储器/预测图像产生器308的详细方案。参考图6，从图5中的加法器306输出的再现视频信号310在存储控制器401的控制下存储在帧存储器组402中。帧存储器组402具有用于暂时保存作为基准帧的再现视频信号310的多个(N个)帧存储器FM1～FMN。

预测参数控制器403预先具有作为像图3中所示的表格的、基准帧号码和预测参数的组合。预测参数控制器403基于来自图5中的变长解码器303的索引信息415，选择基准帧的基准帧号码和用来产生预测图像信号412的预测参数的组合。多个多帧运动补偿器404根据由预测参数控制器403选择的、基准帧号码和索引信息的组合来产生基准图像信号，并且根据由来自图5中的变长解码器303的运动矢量信息414所指示的运动矢量，使用该基准图像信号对每个块执行运动补偿，从而产生预测图像信号412。

[第二实施方案]

本发明的第二实施方案将紧接着参考图7和8来描述。因为该实施方案中的视频编码装置和视频解码装置的整体方案几乎与第一实施方案中相同，将仅描述与第一实施方案的差别。

在该实施方案中，描述了基于能够根据宏块基础的模式信息指定多个基准帧号码的方案来表示预测参数的方法的实例。基准帧号码由每个宏块的模式信息来区别。因此，该实施方案使用如图7和8中所示的预测参数的表格，代替使用如第一实施方案中的、基准帧号码和预测参数的组合的表格。即，索引信息不指示基准帧号码，而仅有预测参数的组合被指定。

图7中的表格显示当基准帧的数目为一时预测参数的组合的实例。作为预测参数，(基准帧的数目+1个)参数，即两个参数(一个加权因子和一个偏移量)为亮度信号(Y)和色差信号(Cb和Cr)的每个而指定。

图8中的表格显示当基准帧的数目为二时预测参数的组合的实例。在这种情况下，作为预测参数，(基准帧的数目+1个)参数，即三个参数(两个加权因子和一个偏移量)为亮度信号(Y)和色差信号(Cb和Cr)的每个而指定。该表格为编码端和解码端而准备，其中编码端和解码端每个都像第一实施方案中一样。

[第三实施方案]

本发明的第三实施方案将参考图9和10来描述。因为该实施方案中的视频编码装置和视频解码装置的整体方案几乎与第一实施方案中相同，下面将仅描述与第一和第二实施方案的差别。

在第一和第二实施方案中，视频以帧为基础管理。但是，在该实施方案中，视频以图像为基础管理。如果逐行信号和交错信号都作为输入图像信号而存在，图像不一定以帧为基础编码。考虑到这一点，图像假设(a)逐行信号的一个帧的图像，(b)通过合并交错信号的两个场而产生的一个帧的图像，或者(c)交错信号的一个场的图像。

如果待编码图像是具有像(a)或(b)的帧结构的图像，运动补偿预测中使用的基准图像也作为帧来管理，不管作为基准图像的已编码图像具有帧结构还是场结构。基准图像号码分配给该图像。类似地，如果待编码图像是具有像(c)的场结构的图像，运动补偿预测中使用的基准图像也作为场来管理，不管作为基准图像的已编码图像具有帧结构还是场结构。基准图像号码分配给该图像。

等式(4)，(5)，和(6)是在预测参数控制器203中准备的、基准图像号码和预测参数的预测等式的实例。这些实例是使用一个基准图像信号由运动补偿预测来产生预测图像信号的预测等式。

$Y=\mathrm{clip}((D_1\left(i\right)\×R_Y\left(i\right)+2^{L_Y-1})>>L_Y+D_2\left(i\right))---\left(4\right)$

$\mathrm{Cb}=\mathrm{clip}((E_1\left(i\right)\×(R_{\mathrm{Cb}}\left(i\right)-128)+2^{L_C-1})>>L_C+E_2\left(i\right)+128)---\left(5\right)$

$\mathrm{Cr}=\mathrm{clip}((F_1\left(i\right)\×(R_{\mathrm{Cr}}\left(i\right)-128)+2^{L_C-1})>>L_C+F_2\left(i\right)+128)---\left(6\right)$

其中，Y是亮度信号的预测图像信号，Cb和Cr是两个色差信号的预测图像信号，R_Y(i)，R_Cb(i)，和R_Cr(i)是具有索引 i的基准图像信号的亮度信号和两个色差信号的像素值，D₁(i)和D₂(i)是具有索引 i的亮度信号的预测系数和偏移量，E₁(i)和E₂(i)是具有索引 i的色差信号Cb的预测系数和偏移量，F₁(i)和F₂(i)是具有索引 i的色差信号Cr的预测系数和偏移量。索引 i表示从0(基准图像的最大号码-1)，并且为待编码的每个块(例如为每个宏块)编码的值。然后，作为结果的数据传送到视频解码装置。

预测参数D₁(i)，D₂(i)，E₁(i)，E₂(i)，F₁(i)和F₂(i)由预先在视频编码装置和视频解码装置之间确定的值或者编码单位例如帧，场或片段来代表，并且与待从视频编码装置传送到视频解码装置的已编码数据一起来编码。通过该操作，这些参数由两个装置共享。

等式(4)，(5)，和(6)是预测等式，其中2的幂，即，2，4，6，8，16，...选作与基准图像信号相乘的预测系数的分母。预测等式可以消除除法的必要，并且可以通过算术移位来计算。这使得能够避免因除法而导致的计算成本的大量增加。

在等式(4)，(5)，和(6)中，a＞＞b的“＞＞”代表将整数 a向右算术移位b位的操作符。函数“clip”代表用于将“()”中的值设置为0当它小于0时，并且将该值设置为255当它大于255时的裁减函数。

在这种情况下，假设L_Y是亮度信号的移位量，并且L_C是色差信号的移位量。作为这些移位量L_Y和L_C，使用预先在视频编码装置和视频解码装置之间确定的值。视频编码装置以预先确定的编码单位，例如帧，场，或片段，与表格和已编码数据一起来编码移位量L_Y和L_C，并且将作为结果的数据传送到视频解码装置。这使得两个装置能够共享移位量L_Y和L_C。

在该实施方案中，像图9和10中所示的、基准图像号码和预测参数的组合的表格在图2中的预测参数控制器203中准备。参考图9和10，索引 i对应于可以为每个块选择的预测图像。在这种情况下，四种类型的预测图像与索引 i的0～3对应地存在。换句话说，“基准图像号码”是用作基准图像的局部解码视频信号的号码。

“标记(flag)”是指示使用预测参数的预测等式是否应用于由索引 i所指示的基准图像号码的标记。如果标记为“0”，运动补偿预测通过使用与由索引 i所指示的基准图像号码相对应的局部解码视频信号来执行，而不使用任何预测参数。如果标记为“1”，预测图像通过使用与由索引 i所指示的基准图像号码相对应的局部解码视频和预测参数根据等式(4)，(5)，和(6)来产生，从而执行运动补偿预测。该标记信息也通过使用预先在视频编码装置和视频解码装置之间确定的值，或者以预先确定的编码单位，例如帧，场或片段，与表格和已编码数据一起在视频编码装置中编码。作为结果的数据传送到视频解码装置。这使得两个装置能够共享标记信息。

在这些情况下，当索引i＝0时，关于基准图像号码105，预测图像通过使用预测参数来产生，而当i＝1时，运动补偿预测执行而不使用任何预测参数。如上所述，对于同一基准图像号码，可能存在多个预测方案。

图9中所示的表格具有与等式(4)，(5)，和(6)相一致地分配给亮度和两个色差信号的预测参数D₁(i)，D₂(i)，E₁(i)，E₂(i)，F₁(i)和F₂(i)。图10显示预测参数仅分配给亮度信号的表格的实例。一般地，与亮度信号的位数相比较，色差信号的位数不是非常大。出于这个原因，为了减少产生预测图像所需的计算量以及表格中传输的位数，表格被准备，其中色差信号的预测参数被省略，如图10中所示，并且预测参数仅分配给亮度信号。在这种情况下，仅等式(4)用作预测等式。

等式(7)～(12)是使用多个(在这种情况下，两个)基准图像的情况下的预测等式。

$P_Y\left(i\right)=(D_1\left(i\right)\×R_Y\left(i\right)+2^{L_Y-1})>>L_Y+D_2\left(i\right)---\left(7\right)$

$P_{\mathrm{Cb}}\left(i\right)=(E_1\left(i\right)\×(R_{\mathrm{Cb}}\left(i\right)-128)+2^{L_C-1})>>L_C+E_2\left(i\right)+128---\left(8\right)$

$P_{\mathrm{Cr}}\left(i\right)=(F_1\left(i\right)\×(R_{\mathrm{Cr}}\left(i\right)-128)+2^{L_C-1})>>L_C+F_2\left(i\right)+128---\left(9\right)$

Y＝clip((P_Y(i)+P_Y(j)+1)＞＞1)                          (10)

Cb＝clip((P_Cb(i)+P_Cb(j)+1)＞＞1)                       (11)

Cr＝clip((P_Cr(i)+P_Cr(j)+1)＞＞1)                       (12)

预测参数D₁(i)，D₂(i)，E₁(i)，E₂(i)，F₁(i)，F₂(i)，L_Y和L_C以及标记的信息件数是预先在视频编码装置和视频解码装置之间确定的，或者以编码单位例如帧，场或片段、与已编码数据一起编码的值，并且从视频编码装置传送到视频解码装置。这使得两个装置能够共享这些件的信息。

如果待解码图像是具有帧结构的图像，用于运动补偿预测的基准图像也作为帧来管理，不管作为基准图像的已解码图像具有帧结构还是场结构。基准图像号码分配到该图像。类似地，如果待编程图像是具有场结构的图像，用于运动补偿预测的基准图像也作为场来管理，不管作为基准图像的已解码图像具有帧结构还是场结构。基准图像号码分配到该图像。

(关于索引信息的语法)

图11显示索引信息在每个块中编码的情况下语法的实例。首先，模式信息MODE对于每个块而存在。根据模式信息MODE确定指示索引 i的值的索引信息IDi和指示索引 j的值的索引信息IDj是否被编码。在已编码的索引信息之后，索引 i的运动补偿预测的运动矢量信息MVi和索引 j的运动预测补偿的运动矢量信息MVj的已编码信息相加，作为每个块的运动矢量信息。

(关于已编码位流的数据结构)

图12显示当预测图像通过使用一个基准图像来产生时，每个块的已编码位流的具体实例。索引信息IDi在模式信息MODE之后设置，并且运动矢量信息MVi在其后设置。运动矢量信息MVi通常是二维矢量信息。依赖于由模式信息所指示的块中的运动补偿方法，多个二维矢量可以进一步发送。

图13显示当预测图像通过使用两个基准图像来产生时，每个块的已编码位流的具体实例。索引信息IDi和索引信息IDj在模式信息MODE之后设置，并且运动矢量信息MVi和运动矢量信息MVj在其后设置。运动矢量信息MVi和运动矢量信息MVj通常是二维矢量信息。依赖于由模式信息所指示的块中的运动补偿方法，多个二维矢量可以进一步发送。

注意，语法和位流的上述结构可以同样应用于所有实施方案。

[第四实施方案]

本发明的第四实施方案将紧接着参考图14和15来描述。因为该实施方案中的视频编码装置和视频解码装置的整体方案几乎与第一实施方案中相同，将仅描述与第一，第二和第三实施方案的差别。在第三实施方案中，以帧为基础的编码和以场为基础的编码对于每个图像而切换。在第四实施方案中，以帧为基础的编码和以场为基础的编码对于每个宏块而切换。

当以帧为基础的编码和以场为基础的编码对于每个宏块而切换时，相同的基准图像号码指示不同的图像，即使在同一图像中，依赖于宏块是以帧为基础编码还是以场为基础编码。出于这个原因，使用第三实施方案中使用的图9和10中所示的表格，正确的预测图像信号可能不会产生。

为了解决这个问题，在该实施方案中，像图14和15中所示的、基准图像号码和预测参数的组合的表格在图2中的预测参数控制器203中准备。假设当宏块将以场为基础编码时，与当宏块以帧为基础编码时所使用的基准图像号码(基准帧索引号码)相对应的预测参数相同的预测参数被使用。

图14显示当宏块以场为基础编码并且待编码图像是前场时所使用的表格。每个场索引列的上排和下排分别对应于前场和后场。如图14中所示，帧索引 j与场索引 k相关，使得在前场中k＝2j，在后场中k＝2j+1。基准帧号码 m与基准场号码 n相关，使得在前场中n＝2m，在后场中n＝2m+1。

图15显示当宏块以场为基础编码并且待编码图像是后场时所使用的表格。像图14中所示的表格中一样，每个场索引列的上排和下排分别对应于前场和后场。如图15中的表格中，帧索引 j与场索引 k相关，使得在前场中k＝2j+1，在后场中k＝2j。这使得能够将作为场索引 k的小值指定到同相后场。基准帧号码 m与基准场号码 n之间的关系与图14中的表格中相同。

当宏块将以场为基础编码时，帧索引和场索引通过使用图14和15中所示的表格编码作为索引信息。当宏块将以帧为基础编码时，仅有图14和15中的表格共有的帧索引被索引编码作为索引信息。

在该实施方案中，预测参数通过使用一个表格分配给帧和场。但是，帧的表格和场的表格可以为一个图像或片段而单独准备。

上述每个实施方案已经示例以块为基础使用正交变换的视频编码/解码方案。但是，即使使用另一种变换技术例如子波变换，已经在上面的实施方案中描述的本发明的技术也可以使用。

根据本发明的视频编码和解码处理技术可以作为硬件(装置)或作为软件使用计算机来实现。一些处理技术可以由硬件来实现，而其他处理技术可以由软件来实现。根据本发明，可以提供一种用于使计算机执行上面的视频编码或视频解码的程序，或者一种存储程序的存储介质。

                      工业适用性

如上所述，根据本发明的视频编码/解码方法和装置适合于随着时间的过去，亮度改变的视频，例如尤其是衰减视频或渐隐视频被编码和解码的图像处理领域。

Claims (15)

1.一种视频编码方法，通过使用代表至少一个基准图像的基准图像信号和输入视频信号与基准图像信号之间的运动矢量，来使输入视频信号经受运动补偿预测编码，包括：

从多个组合中为输入视频信号的每个块选择一个组合的步骤，其中多个组合中的每一个包括预测参数和预先为基准图像而确定的至少一个基准图像号码；

根据所选组合的基准图像号码和预测参数来产生预测图像信号的步骤；

产生代表输入视频信号和预测图像信号之间误差的预测误差信号的步骤；以及

编码预测误差信号、运动矢量的信息、和指示所选组合的索引信息的步骤；

其中，预测参数包括加权因子和偏移量的信息，并且产生预测图像信号的步骤包括根据加权因子，计算由包含于所选组合中的基准图像号码所指示的基准图像信号的线性和，然后将偏移量加到线性和的步骤。

2.根据权利要求1的视频编码方法，其中加权因子具有2的幂作为分母。

3.根据权利要求1的视频编码方法，其中输入视频信号具有亮度信号和两个色差信号，并且预测参数为亮度信号和两个色差信号的每一个而准备。

4.根据权利要求3的视频编码方法，其中所述亮度信号和两个色差信号如下确定：

$Y=\mathrm{clip}((D_1\left(i\right)\×R_Y\left(i\right)+2^{L_Y-1})>>L_Y+D_2\left(i\right))$

$\mathrm{Cb}=\mathrm{clip}((E_1\left(i\right)\×(R_{\mathrm{Cb}}\left(i\right)-128)+2^{L_C-1})>>L_C+E_2\left(i\right)+128)$

$\mathrm{Cr}=\mathrm{clip}((F_1\left(i\right)\×(R_{\mathrm{Cr}}\left(i\right)-128)+2^{L_C-1})>>L_C+F_2\left(i\right)+128)$

其中，Y是亮度信号的预测图像信号，Cb和Cr是两个色差信号的预测图像信号，R_Y(i)，R_Cb(i)，和R_Cr(i)是具有索引i的基准图像信号的亮度信号和两个色差信号的像素值，D₁(i)和D₂(i)是具有索引i的亮度信号的预测系数和偏移量，E₁(i)和E₂(i)是具有索引i的色差信号Cb的预测系数和偏移量，F₁(i)和F₂(i)是具有索引i的色差信号Cr的预测系数和偏移量，索引i表示从0开始的值，基准图像的最大号码-1。

5.根据权利要求1的视频编码方法，其中输入视频信号是为逐行信号的每个帧而输入的图像信号，或者为通过合并交错信号的两个场所获得的每个帧而输入的图像信号，并且基准图像信号是以帧为基础的图像信号。

6.根据权利要求1的视频编码方法，其中输入视频信号是为交错信号的每个场而输入的图像信号，并且基准图像信号是以场为基础的图像信号。

7.一种视频编码方法，通过使用基准图像和输入视频信号与基准图像之间的运动矢量，来使输入视频信号经受运动补偿预测编码，包括：

从预先准备的预测参数的多个组合中，为输入视频信号的每个块选择一个组合的步骤；

指定设置到至少一个基准图像的至少一个基准图像号码的步骤；

根据与指定的基准图像号码相对应的基准图像和所选组合的预测参数来产生预测图像信号的步骤；

产生代表输入视频信号和预测图像信号之间误差的预测误差信号的步骤；以及

编码预测误差信号、运动矢量的信息、指定的基准图像号码、和指示所选组合的索引信息的步骤；

其中，预测参数包括加权因子和偏移量的信息，并且产生预测图像信号的步骤包括根据加权因子，计算与指定的基准图像号码相对应的基准图像信号的线性和，然后将偏移量加到线性和的步骤。

8.根据权利要求7的视频编码方法，其中加权因子具有2的幂作为分母。

9.根据权利要求7的视频编码方法，其中输入视频信号具有亮度信号和两个色差信号，并且预测参数为亮度信号和两个色差信号的每一个而准备。

10.根据权利要求9的视频编码方法，其中所述亮度信号和两个色差信号如下确定：

$Y=\mathrm{clip}((D_1\left(i\right)\×R_Y\left(i\right)+2^{L_Y-1})>>L_Y+D_2\left(i\right))$

$\mathrm{Cb}=\mathrm{clip}((E_1\left(i\right)\×(R_{\mathrm{Cb}}\left(i\right)-128)+2^{L_C-1})>>L_C+E_2\left(i\right)+128)$

$\mathrm{Cr}=\mathrm{clip}((F_1\left(i\right)\×(R_{\mathrm{Cr}}\left(i\right)-128)+2^{L_C-1})>>L_C+F_2\left(i\right)+128)$

其中，Y是亮度信号的预测图像信号，Cb和Cr是两个色差信号的预测图像信号，R_Y(i)，R_Cb(i)，和R_Cr(i)是具有索引i的基准图像信号的亮度信号和两个色差信号的像素值，D₁(i)和D₂(i)是具有索引i的亮度信号的预测系数和偏移量，E₁(i)和E₂(i)是具有索引i的色差信号Cb的预测系数和偏移量，F₁(i)和F₂(i)是具有索引i的色差信号Cr的预测系数和偏移量，索引i表示从0开始的值，基准图像的最大号码-1。

11.根据权利要求7的视频编码方法，其中输入视频信号是为逐行信号的每个帧而输入的图像信号，或者为通过合并交错信号的两个场所获得的每个帧而输入的图像信号，并且基准图像信号是以帧为基础的图像信号。

12.根据权利要求7的视频编码方法，其中输入视频信号是为交错信号的每个场而输入的图像信号，并且基准图像信号是以场为基础的图像信号。

13.一种视频编码方法，通过使用代表至少一个基准图像的基准图像信号和输入视频信号与基准图像信号之间的运动矢量，来使输入视频信号经受运动补偿预测编码，包括：

从多个组合中为输入视频信号的每个块选择一个组合的步骤，其中多个组合中的每一个包括预测参数和预先为基准图像而确定的至少一个基准图像号码；

根据所选组合的基准图像号码和预测参数来产生预测图像信号的步骤；

产生代表输入视频信号和预测图像信号之间误差的预测误差信号的步骤；以及

编码预测误差信号、运动矢量的信息、和指示所选组合的索引信息的步骤；

其中，输入视频信号是包括为逐行信号的每个帧而输入的图像信号、为通过合并交错信号的两个场所获得的每个帧而输入的图像信号、以及为交错信号的每个场而输入的图像信号的信号，当输入视频信号是为每个帧而输入的图像信号时，基准图像信号是以帧为基础的图像信号，而当输入视频信号是为每个场而输入的图像信号时，基准图像信号是以场为基础的图像信号。

14.一种视频编码方法，通过使用基准图像和输入视频信号与基准图像之间的运动矢量，来使输入视频信号经受运动补偿预测编码，包括：

从预先准备的预测参数的多个组合中，为输入视频信号的每个块选择一个组合的步骤；

指定设置到至少一个基准图像的至少一个基准图像号码的步骤；

根据与指定的基准图像号码相对应的基准图像和所选组合的预测参数来产生预测图像信号的步骤；

产生代表输入视频信号和预测图像信号之间误差的预测误差信号的步骤；以及

编码预测误差信号、运动矢量的信息、指定的基准图像号码、和指示所选组合的索引信息的步骤；

其中，输入视频信号是包括为逐行信号的每个帧而输入的图像信号、为通过合并交错信号的两个场所获得的每个帧而输入的图像信号、以及为交错信号的每个场而输入的图像信号的信号，当输入视频信号是为每个帧而输入的图像信号时，基准图像信号是以帧为基础的图像信号，而当输入视频信号是为每个场而输入的图像信号时，基准图像信号是以场为基础的图像信号。

15.一种视频编码装置，通过使用基准图像和输入视频信号与基准图像之间的运动矢量，来使输入视频信号经受运动补偿预测编码，包括：

选择单元，用于从多个组合中为输入视频信号的每个块选择一个组合，其中多个组合中每个包括预测参数和预先为基准图像而确定的至少一个基准图像号码；

产生器，用于根据所选组合的基准图像号码和预测参数来产生预测图像信号；

减法器，用于产生代表输入视频信号和预测图像信号之间误差的预测误差信号；以及

编码单元，用于编码预测误差信号、运动矢量的信息、和指示所选组合的索引信息；

其中，预测参数包括加权因子和偏移量的信息，并且产生器包括计算单元，用于根据加权因子计算由包含于所述组合中的基准图像号码所指示的基准图像信号的线性和、然后将偏移量加到线性和上。

Images