CN1083213C - 传送图像信号的方法和设备 - Google Patents

Abstract

一种指示图像内编码(一个I-图像)、前向或后向预测编码(一个P-图像)及双向预测编码(一个B-图像)中的一种的图像类型标识当一个图像信号被编码或被解码时包含在该图像信号中。每个最初的和接着的编码和解码都是所含图像类型信号的函数。

Description

传送图像信号的方法和设备

本发明涉及传输图像信号的编码和解码，更具体地说，涉及使施加在图像信号的图像上的预测编码类型相匹配。

例如，在电视会议系统或可视电话系统中，通过采取帧内和帧间相关的优点对运动的图像信号压缩和编码，以使它们能经通信信道更有效地传送到远处。

通过正交变换，例如离散余弦变换(DCT)，能够利用帧内相关。

通过连续图像之间的预测编码，能够利用帧间相关。正如这里使用的，一个图像一般地称为由一帧表示的图像。当一帧的一场以非隔行方式编码时，即分别地，则每场可称为一个图像。

如像图1A所示，例如，在时间点t1，t2和t3产生帧图像PCl，PC2和PC3。如图1B中阴影所示，得到的帧图像PC1和PC2之间的差为差值图像数据PC12和得到帧图像PC2和PC3之间的差为差值图像数据PC23。因为在瞬间临近帧的信号之间只有相当小的变化，所以利用传输信道仅传输差值图像数据作为编码图像信号而降低传输的数据量。

但是，如果仅仅传送差值信号，不能恢复原始图像。有时传送一个设有预测编码的图像作为差值图像数据的参考是有利的，因为有时候比传送一个预测编码图像更有效。

仅利用帧内相关和帧间不相关编码的图像在这里称为内-图像即I-图像。

用相对于一个前面的编码图像的预测编码的图像，在这里被称为预测图像即P-图像。前面的编码图像可能是I-图像或P-图像，和暂时在先的P-图像。

用相对至多两个图像(暂时在先和暂时随后的图像)预测编码的图像在这里称为双向预测编码图像即B-图像。这两上图像每一个图像可能是一个I-图像或一个P-图像。当使用二者时，得到两个图像的平均值，而用作为编码图像的参考图像。

一系列图像可认为是具有预定数量帧，例如F1……F17的图像组。前导帧F1的亮度和色度图像信号被编码为I-图像，第二帧F2的图像信号被编码为B-图像，而第三帧F3的图像信号编码为P-图像。第四帧和后面的帧F4至F17交替地编码为B-图像和P-图像。图2A表示用于编码P-图像的参考图像，而图2B表示用于编码B-图像的参考图像。

如图3A和3B所示，有四种方法用于编码一个图像的宏块(下面讨论)，当多种方法都适合的时候，将在一个宏块上基于宏块使用给出最小编码数据量的方法。图3A实线箭头表示运动矢量X1……X6相关的帧。所示的SP1第一种方法是不使用预测编码，即仅使用帧内相关。这对于I-图像，P-图像和B-图像的任何宏块是适合的。换句话说，如果不用预测编码产生较少编码数据，那么就选择这种方法。

所示的SP2第二种方法是相对于暂时地继当前图像之后的图像预测编码，称为后向预测编码。所示的PS3第三种方法是相对于暂时在当前图像之前图像的预测编码，称为前向预测编码。第二种方法仅适合于B-图像的宏块。第三种方法适合于P-像和B-图像的宏块。

所示的SP4第四种方法是相对于两个图像的平均值的预测编码，一个图像暂时地在当前图像之前而一个图像暂时地在当前图像之后。这种方法仅适合于B-图像的宏块。

现在描述编码的顺序。

使用第一种方法编码第一帧F1，作为I-图像，以便该图像作为编码的FIX直接地经传输信道传送。

第三帧F3被编码为P-图像。当第三方法，即前向预测编码被用于一个宏块时，计算与用于参考图像暂时在先的帧F1的差信号，用虚线箭头SP3表示，和计算参考图像F1和当前图像F3之间的运动矢量X3，并编码为那个宏块的数据F3X。另一方面，在P-图像的这个和另一个宏块中，如果对于编码的P图像的宏块产生较少数量的编码数据，可使用第一种方法，其中原始帧F3的数据直接地利用作为那个宏块的传输数据F3X。

第二帧F2被编码为B-图像。

当第四种方法用于编码帧F2的宏块时，根据像素基础用像素计算暂时在先帧F1的平均值与暂时随后帧F3平均值之间的差值。该差值数据和运动矢量X1和X2被编码为数据F2X。

当使用第一处理方法SP1编码帧F2的宏块时，原始帧F2的数据构成编码数据F2X。

当使用第二或第三方法SP2，SP3的之一方法编码帧F2的宏块时，计算暂时随后帧F3和当前帧F2之间的差和暂时在先帧F1和当前F2之间的差之一差值，该差值数据和运动矢量X1、X2之一被编码为数据F2X。

以上述的类似方法处理用于B-图像的帧F4和用于P-图像的帧F5，以便产生传送的数据F4X和F5X。

图4表示根据上述预测编码方案用于编码和解码运动图像信号的安排。如图4所示，一个编码装置1编码输入图像信号并发送编码的信号至记录介质3作为传输信道进行记录。解码装置2重放记录介质3上的记录信号并解码这些信号作为输出信号。

编码设备1包括一个输入端10，一个预处理电路11，A/D变换器12和13，一个帧存储器14，该存储器包括一个亮度信号帧存储器15和色差信号帧存储器16，一个格式变换电路17和一个编码器18。

输入端10适于接收视频信号并把该信号VD加至预处理电路11，该电路的功能是分离视频信号VD为亮度信号和彩色信号，在这里色度或色差信号，并把这些信号分别加到模/数(A/D)变换器12和13。由A/D变换器12和13进行模-数变换的数字视频信号被加到具有存储器15、16的帧存储器14，存储器15、16的功能是分别存储亮度信号和色差信号，并在这里读存储信号到格式变换电路17。

变换器17运行变换在帧存储器部件14中存储的帧格式信号为块格式信号。如图5A所示，在帧存储器部件14中存储的图像为具有V行每行由H点构成的帧格式数据。变换电路17划分每帧为N部分，每一部分包括多个16行。如图5B所示，该变换器17划分每部分为M个宏块。如图5C所示，每个宏块代表相应于16×16像素即点的亮度信号Y和相关的色度Cr，Cb信号。这些亮度信号细分为块Y1至Y4，每个决由8×8点构成。16×16点亮度信号与8×8点Cb信号和8×8点Cr信号相关。变换器17还运行供给方块格式信号至编码器18，该编码器将在下面结合图6详细描述。

编码器18运行编码块格式信号并供给该编码的信号作为传输信道上的比特流在记录介质3上记录。

解码设备2包括一个解码器31，一个格式变换电路32，一个包括一个亮度信号帧存储器34和一个色差信号帧存储器35的帧存储器部件33，数/模变换器36和37，一个后处理电路38和一个输出端30。

解码器31的操作是要从记录介质3再生编码数据并解出该编码的数据，(如下面参见图9详细的描述)并把该解码数据信号加至格式变换电路32，该电路运行变换解码的数据信号为帧格式数据信号并提供帧格式数据信号作为亮度信号和色差信号到存储器33。存储器33的存储器34，35的功能是分别存储亮度和色度信号，并把这些信号分别加到D/A变换器36和37。由后处理电路38合成来自变换器36，37的模拟信号，后处理电路的作用是形成输出的图像信号，并输出它们至输出端30，然后输出到一个显示单元，例如CRT(未画出)进行显示。

图6表示了图4所示的编码器18。

一般地，编码器18存储三种图像，即当前的图像和暂时在先的图像和暂时在当前图像之后的图像。根据当前图像在图像组中的顺序位置对每个图像选择图像编码类型(P，I或B)。该图像类型的顺序由用户使用图像类型输入装置65来确定，而与加在输入端49的图像无关。

如将参见图7所说明的，编码器18还选择基于帧和基于场预测编码之一，和如将参见图8所说明的，进一步选择基于帧和基于场DCT编码之一。对每个图像，得到适当的运动矢量，而且相对于零预测编码该图像，本地已被解码的一个或两个前面的编码图像作为形成差值数据信号的参考图像。该差值数据信号被正交变换为系数数据方块，该数据被量化可变长度编码并作为编码数据传送。

在编码器18，量化的数据被解除量化，反正交变换并作为参考信号存储。预测编码把从当前图像得到的运动矢量施加到参考图像，以便产生一个预测图像，该预测图像与当前图像相减产生差值数据。

编码器18的元件现将详细说明。

用于编码的图像数据逐个宏块被施加到输入端49，然后到运动矢量检测电路50，该运动检测电路50的作用是根据如图2A，2B所示的例子以每个图像组的预定顺序处理各个帧，如I-图像，P-图像或B-图像的图像数据。该电路50施加当前帧的图像数据到具有帧存储器51a，51b，51c的帧存储器51，帧存储器51a，51b，51c分别用于存储暂时在先的图像，当前的图像和暂时在后的图像。

更具体地说，在存储器51a，51b，51c分别存储帧F1，F2，F3。然后在存储器51c中存储的图像被转移到存储器51a。在存储器51b，51c中分别存储帧F4，F5。转移存储器51c的图像到存储器51a和在存储器51b，51c中存储其次两个图像的工作被重复进行，以便保持图像组的图像。

在这些图像被读到存储器并暂时地存储之后，它们被读出并施加到一个预测方式转换电路52，该电路适合于处理用于基于帧和基于场预测编码之一的当前图像。在处理图像组中作为I-图像的第一帧图像数据之后和在处理作为B-图像的第二帧图像数据之前，运动矢量检测电路50处理第三帧P-图像。该处理顺序与施加图像的顺序不同的，因为B-图像可能包括后向预测，可能需要接着解，即暂时地在B-图像之后的P-图像预先地解码。

运动矢量检测电路50计算对每个宏块帧内编码的估计值，对每个宏块帧预测方式预测误差绝对值的和，及对每个宏块场预测方式预测误差绝对值的和，并施加这些和至预测判决电路54，该电路比较这些和并根据这些值最小值选择帧预测方式或场预测方式，提供所选择的方式至预测方式转换电路52。

如果选择了帧预测方式，该预测方式转换电路52输出四个亮度块Y1至Y4和两个色度或色差块Cb，Cr，这些块是从运动矢量检测电路50接收不处理的每个宏块的块。如图7A所示，从运动矢量检测电路50接收的每个亮度和色差方块交替，奇数或第一场的行数据，用实线表示，和偶数或第二场行数据，用虚线表示。在图7A中表示用于补偿的单元。在帧预测方式中，用作为一个单元的四个亮度块(宏方块)和与该四个亮度块Y1至Y4相关的单个运动矢量执行运动补偿。

如果选择场预测方式，预测方式转换电路52处理从运动矢量检测电路50接收信号，以便四个亮度块的每一个块包括来自单个场的数据，和两个色差方块具有非交替的奇和偶数场数据。具体如图7B所示，亮度方块Y1和Y2具有奇数场数据和亮度方块Y3和Y4具有偶数场数据，而色差方块Cb，Cr的上半部代表亮度方块Y1和Y2的奇数场色差数据，而色差块Cb，Cr的下半部代表亮度块Y3和Y4的偶数场色差数据。在图7B中b表示用于运动补偿的单元。在场预测方式中，分别对奇数场方块和偶数场方块执行运动补偿，以便一个运动矢量与两个亮度方块Y1和Y2相关而另一个运动矢量与两个亮度方块Y3和Y4相关。

预测方式转换电路52提供当前的图像，作为对基于帧或基于场的预测编码到图6的运算单元53。该运算单元53运行执行图像内预测、前向预测、后向预测或双向预测之一。预测判决电路54依赖于与当前图像信号有关的预测误差信号适于选择最好类型的预测。

运动矢量检测电路50对当前图像计算在Aij和Aij在各宏块中∑|Aij-(Aij的平均值)|的平均值之间差值的绝对值的和并供给该和作为图像帧内编码的估计值到预测判决电路54。

运动矢量检测电路50对每个帧预测方式和场预测方式计算当前图像宏块的信号Aij与预测图像∑|Aij-Bij|宏块的信号Bij之间差值(Aij-Bij)的绝对值(或平方和)的和。如上所述，当前图像的运动矢量被施加于参考图像产生预测图像。当该参考图像暂时在当前图像之前时，数量∑|Aij-Bij|称为前向预测误差信号，而当参考图像暂时在当前图像之后时，数量∑|Aij-Bij|称为后向预测误差信号。当预测图像是暂时在前和暂时在后参考图像的平均值时，作为运动补偿，数量∑|Aij-Bij|称为双向预测误差信号。

电路50把前向帧预测、前向场预测、后向帧预测、后向场预测、双向帧预测和双向场预测的误差信号加至预测判决电路54。

预测判决电路54根据对帧内编码和前向帧、前向场、后向帧、后向场、双向帧和双向场预测误差信号估值的最小量选择帧内编码、前向图像间预测、后向图像间预测或双向图像间预测之一及帧预测方式或场预测方式之一。运算单元53根据由预测判决电路54选择的预测方式预测地编码当前的图像，通过帧或场转换电路52进行处理。

运动矢量检测电路50用于计算并提供与选择的预测方式相关的运动矢量到可变长度编码电路58和运动补偿电路64，下面将说明。

以上面描述的方法，在宏块基础上的帧间差值(预测误差)的绝对值的和从运动矢量检测电路50施加到预测方式转换电路52和预测判决电路54。

运算单元53对当前图像施加预测编码数据，也称为差值数据，到DCT方式转换电路55，该电路适于对基于帧或基于场的正交变换之一处理当前图像。

DCT转换电路运行比较编码效率，当用奇数场数据替换偶数场数据执行对图像宏块DCT操作，即如图8A所示用于基于帧的正交变换时的编码效率当用与偶数场数据分离的奇数场数据执行对图像宏块DCT操作，如图8B所示用于基于场的正交变换时的效率。电路55的作用是选择具有较高编码效率的方式。

为了评价对基于帧正交变换的编码效率，该DCT方式转换电路55放置亮度宏方块数据为隔行形式，如图8A所示，并计算垂直互相相邻的奇数场行信号和偶数场行信号之间的差值，并求出差值EFM的绝对值的和或该差值平方值的和。 $\mathrm{EFM}=\underset{j=1}{\overset{16}{\mathrm{\Σ}}}\underset{i=1}{\overset{16}{\mathrm{\Σ}}}|o(i,j)-e(i,j)|+\underset{j=1}{\overset{16}{\mathrm{\Σ}}}\underset{i=1}{\overset{16}{\mathrm{\Σ}}}|e(i,j)-o(i+i,j)|\mathrm{Eq}.1$

为了评价基于正交变换的编码效率，该DCT方式转换电路55设置亮度宏方块数据为非隔行形式，如图8B所示，并计算垂直相邻奇数场行信号之间的差值和垂直相邻偶数场行信号之间的差值，并求出差值EFD的绝对值的和或该差值平方值的和。 $\mathrm{EFD}=\underset{j=1}{\overset{16}{\mathrm{\Σ}}}\underset{i=1}{\overset{16}{\mathrm{\Σ}}}|o(i,j)-o(i+1,j)|+|e(i,j)-e(i+1,j)|\mathrm{Eq}.2$

该DCT转换电路55把基于帧和基于场绝对值和之间的差值与预定的门限进行比较，如果差值EFM-EFD小于预定门限，选择基于帧的DCT变换。

如果在预测方式转换电路52中选择帧预测方式，则在DCT方式转换电路55中选择帧DCT方式的概率是高的。如果在预测方式转换电路52中选择场预测方式，则在DCT方式转换电路55中选择场DCT方式的概率是高的。然而，因为这是不必要的情况，预测方式转换电路52设置这样一种方式，该方式将输出预测误差绝对值之和的最小值，而DCT方式转换电路55设置这样一种方式，该方式将给出最佳正交变换的编码效率。

如果选择基于帧的正交变换，也称为帧DCT方式，则该DCT方式转换电路55运行保证四个亮度方块Y1至Y4和两个色差方块Cb，Cr表示交替的或隔行的奇数和偶数场的行，如图8A所示。

如果选择基于场的正交变换，称为场DCT方式，则该DCT方式转换电路55运行保证每个亮度方块仅表示一场，而且每个色差方块具有隔开的，或非隔行的奇数和偶数场和行，如图8B所示。

该DCT方式转换电路55运行输出具有与选择的DCT方式有关的结构数据和输出指示选择DCT方式的DCT标记符到可变长度编码电路58和运动补偿电路64。

该DCT方式转换电路55适当地供给配置不同的图像数据到图6所示的DCT电路56，该电路用作于正交变换，它使用离散的余弦变换为DCT系数，并提供DCT系数数据到量化电路57，该电路根据传输缓冲器59中存储的数据量选择量化级，量化该系数数据，并施加量化的数据到可变长度编码电路58。

可变长度编码电路58还施加有来自量化电路57的一量化级或量化标度数据，来自预测判决电路54的预测方式数据，该数据指示所使用的图像内预测、前向预测、后向预测或双向预测的那一种，和来自运动矢量检测电路50运动矢量数据。编码电路58还从预测判决电路54接收预测标记符数据，该标记符数据包括指示使用的是帧预方式或场预测方式的那一种方式的标记符，和从DCT方式转换电路55接收预测标记符数据，该标记符数据包括指示使用的是帧DCT方式或场DCT方式的那一种方式的标记符。该信息被放置在编码数据流的首部。

可变长度编码电路58用于根据从量化电路57提供的量化级数据，编码量化的数据和使用可变长度码(例如霍夫曼码)的首部信息，并输出产生的数据至传输缓冲器59。

量化的数据和量化级还提供给解除量化电路60，该电路用于使用量化级解除量化的数据，并提供供恢复的DCT系数数据到反DCT电路61，该电路运行反变换DCT系数数据，产生恢复的差值数据并提供该恢复的差值数据到运算单元62。

该运算单元62把用以前编码恢复的差值数据和作为运动补偿的解码的参考图像相组合，产生用于重建图像的解码数据，该图像将被用于作为参考图像，该图像读入到两个帧存储器63a，63b之一。存储器63a，63b适于读取该存储在其内的参考图像数据到运动补偿电路64，该电路使用来自运动矢量检测电路50的运动矢量从参考图像中产生预测图像。具体地，该电路50使用运动矢量改变从存储器63a或63b读出的参考图像的地址。

对于一组图像来说，在第一帧I-图像数据和第三帧P-图像数据，被分别存储在前向和后向预测图像存储器或单元63a，63b中，第二帧B-图像数据由运动矢量检测电路50处理。当设定预测方式为帧内预测方式、前向预测方式、后向预测方式和双向预测方式之一，相应于根据宏方块预测误差绝对值的和，预测判决电路54选择帧或场预测方式。

因为不使用重构成B-图像作为其它图像的参考图像，它不被存储在帧存储器63中。

应当明白，帧存储器63有其前向和后向预测图像单元62a，63b存储单元根据需要交换，以使在单元63a，63b之一中存储的图像解被输出作为一个前向预测或后向预测。

运动补偿电路63运行提供作为预测图像的运动补偿数据至运算单元62和运算单元53，该运算单元从当前预测编码P-图像或B-图像减去预测的图像。

更具体地，当运动矢量检测电路50从前向原始图像单元51a接收对于I-图像图像数据，预测判决电路选择帧内预测方式并设置运算单元53的并关53d到输入接点a。这样使得I-图像数据直接地输入到DCT方式转换电路55。在这种情况下，不希望从运动补偿电路64来预测图像，该I-图像数据还施加到前向预测图像单元63a。

当由预测判决电路54选择前向预测方式时，电路54还设置开关53d到输入接点b，该接点使得运算单元53a从存储器51读出的图像中减去由运动补偿电路64产生的预测图像，对于以逐像基础各宏块产生差值数据。在编码和本地解码之后，P-图像被施加到单元63a，63b的其中之一。例如，如果P-图像立即跟随I-图像，那么P-图像被存储在后向预测图像单元63b。

对于前向预测编码来说，预测图像是从帧存储器63的前向预测图像单元63a读出的参考I-图像或P-图像，并根据从运动矢量检测电路50输出的运动矢量由运动补偿电路64进行运动补偿。更具体地，对于每个宏块，运动补偿电路64以相应于由运动矢量检测电路50当前输出的运动矢量的量值移位前向预测图像单元63a的读出地址。

当由预测判决电路54选择后向预测方式时，该电路54还设置开关53d至输入接点C，该接点使得运算电路53b从存储器51读出的图像中，以逐像素为基础，减去由运动补偿电路64产生的预测图像，以便产生差值数据。

对于后向预测编码来说，预测图像是从帧存储器63的后向预测图像单元63b读出的P-图像并根据从运动矢量检测电路50输出的运动矢量由运动补偿电路64，进行运动补偿的。更具体地，对于每个宏块，运动补偿电路64以相应于由运动矢量检测电路50当前输出运动矢量的量值移位后向预测图像单元63b的读出地址。

当由预测判决电路54选择双向预测方式时，电路54设置并关53d至输入接点d，使得运算单元53c从从存储器51读出的图像中，以逐像素的基础，减去预测图像，以便产生差值数据。该预测图像是前向预测图像和后向预测图像的平均值。

在双向预测的情况下，在前后预测图像单元63a存储的图像和在后向预测图像单元63b存储的图像被读出并由运动补偿电路64根据从运动矢量检测电路50输出的运动矢量进行运动补偿。更具体地，对于每个宏块，运动补偿电路64以相应于由运动矢量检测电路50当前输出的运动矢量适当的一个运动矢量的量值，移位前向和后向预测图像单元63a，63b的读出地址。

传输缓冲器39暂时地存储施加到其上的数据，产生一个指示在其上存储数据量的控制数据并提供该控制信号到量化电路57。当在该传输缓冲器内存储的数据量达到预定的上限值时，来自传输缓冲器59的控制数据使得量化电路57的量化标度增加，以便降低量化数据的量值。类似地，当传输缓冲器59中存储的数据量达到预定的低限值时，来自传输缓冲器59的控制数据使得量化电路的量化标度降低，以便增加量化数据的量值。以这种方法，传输缓冲器59防止加到其上的数据上溢或下溢其容量。在传输缓冲器59中存储的数据以预定的时序读出到输出端69，并且然后到作为记录中，例如记录介质3上的传输信道。

虽然主要参照亮度方块已进行了前面的描述，而色差方块类似地被处理，并利用运动矢量传送，该运动矢量相应于在垂直和水平方向两个方向平分的亮度方块运动矢量。

图9表示图4所示的解码器31。

从记录介质3传送的再生编码图像被施加到接收电路(未示出)或到输入端80，该输入端80施加编码的图像数据到接收缓冲器81，该缓冲器用于暂时地存储编码的图像数据，并提供该数据到解码电路90的可变长度解码电路82。

可变长度解码电路82作用于可变长度解码编码的数据，以输出恢复的运动矢量、预测方式数据、预测标记符和DCT标记符到运动补偿电路87，并输出量化级数据和可变长度解码图像数据，包括预测方式、运动矢量、预测标记符、DCT标记符的可变长度解码的图像数据和量化图像数据到反量化电路83。

反量化电路83适于根据从可变长度解码电路82提供的量化级数据解除从可变长度解码电路82提供的图像数据，并输出这样的恢复的系数数据到反变换IDCT电路84。

该IDCT电路84适于根据恢复的系数数据执行反变换，产生恢复的差值数据，并提供恢复的差值数据到运算单元85。

如果从IDCT电路84提供的恢复的差值数据代表I-图像，则运算单元85就不处理该数据，并简单地通过输出端91施加到图4所示的格式变换电路32，和帧存储器86的前向预测图像单元86a。

如果从IDCT电路84提供的恢复的差值数据代表前向预测方式产生的P-图像的一个宏块，存储在帧存储器86的前向预测图像存储器86a中前面帧的参考图像数据被读出并由运动补偿电路87来自可变长度解码电路82输出的运动矢量进行运动补偿，产生预测图像，具体地，运动补偿电路87使用运动矢量改变施加到存储器86a的读出地址。运算单元85加预测图像到恢复的差值的数据，产生解码的或重构的图像，该图像存储在帧存储器86的后向预测图像存储器86b中。解码的P-图像保持在解码器31中，并且在下一个B-图像被解码并输出之后输出，以使把这些图像恢复到他们被加至图4编码器18的次序。

甚至如果P-图像的宏块被编码为场帧内编码方式数据，解码的P-图像也直接地被存储在后向预测图像单元86b，而无需通过运算单元85输出到输出端91。

如果从IDCT-电路84提供的恢复的差值数据代表图像内预测方式编码的B-图像的宏块，根据从可变长度解码电路82提供到运动补偿电路87的预测方式确定，则产生预测图像。

如果从IDCT电路84提供的恢复的差值数据代表前向预测方式中编码的B-图像的宏块，根据从可变长度解码电路82提供到运动补偿电路87的预测方式确定，在帧存储器86的前向预测图像单元86a中存储的数据被读出并且由运动补偿电路87使用从可变长度解码电路82提供的运动矢量进行运动补偿，以便形成预测图像。运算单元85把恢复的差值数据与预测图像相加，以便形成恢复的B-图像。

如果从IDCT电路84提供恢复的差值数据代表后向预测方式中编码的B-图像的宏块，根据从可变长度解码电路82提供到运动补偿电路87的预测方式确定，在后向预测像单元86b中存储数据被读出并且由运动补偿电路87使用从可变长度解码电路82提供的运动矢量进行运动补偿，以便形成预测图像。运算单元85把恢复的差值数据与预测图像相加，便形成恢复的B-图像。

如果从IDCT电路84提供的恢复的差值数据代表双向预测方式中编码的B-图像的宏块，根据从可变长度解码电路82提供到运动补偿电路87的预测方式确定，在前向和后向预测图像存储器86a，86b存储的数据被读出并且由运动补偿电路87使用从可变长度编码电路82提供的运动矢量分别进行运动补偿，然后平均形成预测图像。运算单元85把恢复的差值数据与预测图像相加，以便形成恢复的B-图像。

恢复的B-图像经输出端91提供到格式变换电路32。但是，因为B-图像不被用于产生其它图像的预测图像，所以它未被存储在帧存储器86中。

在B-图像输出之后，存储在后向预测图像单元86b中的P-图像数据被读取，并且经运动补偿电路87提供到运算单元85上。这时，运动补偿不被执行。

与图6的编码器18中的预测模式变换电路52和DCT模式变换电路55相对应的电路在解码器31中未示出。由这些电路执行的处理过程可由运动补偿电路87来执行，这个处理即为使奇场行信号和偶场行信号相互分离的结构恢复成奇场行信号和偶场行信号相互交替的结构。

亮度信号的处理在前面已作解释，本领域普通技术人员将能理解，色差信号的处理将能以相似的方式得以执行。但是，用在这种情况下的运动矢量是用于亮度信号的运动矢量在垂直方向和在水平方向上的一半。

图10示出了采用上述技术发送的图像的信噪比(SNR)。从图中可以看出，对于I-图像，可以获得最佳质量的发送；以对于P-图像，可以获得良好质量的发送对于B-图像，只能得到最差质量发送。这样，如果发送路径的容量是足够的，最好将一图像作为I-图像来发送。

如果所有图像不能作为I-图像来发送，那么，最好发送如图10所示的那样的一串图像，而不采用一个平均图像质量用于所有图像这种方式。图10中的技术利用了人类视觉的这样一个特征，即对于一预定发送速率而言，人类感觉一串变化着的图像的质量，如图10所示的图像的质量比一串不变化的图像的质量更高。

所以，在图6的结构中，利用一个量化器57执行发送速率控制以获得更好的可感觉到的图像质量。

为了复制(dub)图像，串联使用两个编码器-解码器(编-解码器)。但是，下面将会解释，从第二个编-解码器得到的图像质量实际上比从第一个编-解码器得到的图像质量差。

图11示出的是用一种模拟连接方式连接的两个编-解码器的结构，即编码器201、解码器202、编码器203和解码器204，以串联方式联接。

在图11中，一个模拟的视频信号被提供到一个输入端子200上作为一个输入信号a。该输入端子200的作用在于将该模拟视频信号施加到编码器201的A/D转换器211上。该转换器211用于将模拟视频信号转换成数字视频信号，并将该数字视频信号施加到编码电路212上，该编码电路用于对这个信号进行编码(如前面所述)以产生一个已编码的数字视频信号。

由编码器201的编码电路212已编码的数字视频信号被提供到解码器202的解码电路213上，该解码器202被采用来对所述已编码的数字视频信号解码并将该已解码的视频信号施加到D/A转换器214上。

由解码器202的D/A转换器产生的模拟视频信号作为一个输出信号b被送到编码器203，该编码器以与编码器201相似的方式起作用。

由编码器203产生的数字视频信号被送到解码器204，该解码器以与解码器202相似的方式起作用。解码器204传递一个模拟视频信号作为一输出信号C到端子205，它可将该信号C传送到另一个编码器(未示出)等。

图12示出的显示于图11中的输出信号b，c的SNR。可以看出，输出信号C的SNR实质上比输出信号b的SNR差。

图像质量的变劣是由于施加在第一编-解码器上的图像类型和施加在第二编-解码器上的图像类型之间的不匹配造成的。即，如果一个在第一编码器/解码对上编码成B图像的图像在第二编码器/解码器对上编码成P图像，那么，会产生图像质量的巨大劣化，这是因为图像质量作为图像类型的一个函数来变化。

由于图像质量的劣化是由于各级编-解码器之间图像类型原不匹配造成的，那么，当数字式连接用于各级编-解码器之间时，也会类似地发生这样的劣化。

图13示出了通过数字式连接方式连接的两个编-解码器，即编码器302，解码器303，编码器304和解码器305，串接而成。

一个模拟视频信号被送到端子300，该端子将该模拟视频信号作为一个输入信号a送到A/D转换器301，该A/D转换器用于使信号a数字化，并提供该数字信号到编码器302的一个数字接口311。该数字数口311将提供到此的信号送到一个编码电路312上，该编码电路312对该数字视频信号编码或压缩成一个已编码的数字视频比特流。

来自该编码电路312的已编码的数字视频信号被送到解码器303的解码电路313上，该解码器303对提供到此的信号解码，并将已解码信号加到数字接口314上。接口314的作用是输出所述的已解码信号作为一个输出信号b。

输出信号b被送到编码器304，该编码器起着与编码器302相似的作用，以产生一个提供到解码器305上的已编码信号，解码器305起着与解码器303相似的作用。从解码器303输出的数字信号送到D/A转换器，该D/A转换器用于提供到此的信号转换成模似信号并将该模拟信号作为一个输出信号C送到输出端子307上。

图12也说明了示于图13中的输出信号b、c的SNC。

因此，本发明的一个目的是要提供一种用于对图像信号进行编码和解码的方法和装置，它避免了现有技术中的不足。

本发明的另一目的是提供一种用于以一系列步骤发送和接收图像信号的方法和装置，它能使每个步骤中图像质量的劣化降为最低。

本发明的还一个目的是使在一系列处理步骤中施加在一个图像信号的图像上的编码类型匹配，每个步骤包括编码和解码。

按照本发明的一个方面，通过接收一个图像类型信号来对一个图像信号加以处理，这个图像类型信号对于由所述图像信号代表的各个图像来说，指示图像帧内编码、预测编码和双向预编码中的一种。所述图像信号被编码作为图像类型信号的一个函数以产生一个已编码的图像信号。

按照本发明的另一个方面，通过使一个已编码图像信号解码来处理所述的已编码图像信号，以产生一个图像类型信号和一个已解码的图像信号。该图像类型信号和已解码的图像信号被复用以产生一个输出信号。本发明的上述的和其它的目的、特征及优点可以从下面对一发明的优选实施例的详细说明中及参照本发明的附图得出，附图中相对应的部分用相同的标号表示。

图1A和1B是说明帧之间的关系的示意图；

图2A和2B说明用于预测编码中的图像类型；

图3是一个示意图，说明图像信号如何被转换成已编码的数据用于发迭；

图4是一个框图，说明用于对图像信号进行编码和解码的一般装置；

图5是用来说明示于图4中的格式转换电路的操作图；

图6是一个框图，说明图4所示装置中的编码器；

图7是一个曲线，用于解释图6所示编码器的预测编码操作；

图8是一个曲线，用于解释图6所示编码器的正交变换操作；

图9是一个框图，说明图4所示装置的解码器；

图10是一个曲线，说明在一个已发送的信号中图像质量作为图像类型的函数；

图11是一个框图，说明用模拟方式串行连接的两个普通视频编-解码器；

图12是一个曲线，说明图11所示编-解码器输出信号的图像质量；

图13是一个框图，说明以数字方式串联的两个普通视频编-解码器；

图14是一个框图，说明本发明的采用模拟连接方式串联的两个视频编-解码器；

图15是一个曲线，说明由图14的编-解码器输出的信号的图像质量；

图16是一个框图，说明本发明的采用数字连接方式串联的两个视频编-解码器；

图17是一个框图，说明按照本发明的一个编码器电路；以及

图18是一个框图，说明按照本发明一个解码电路。

本发明包含图像类型识别码，它在所有时候，即当信号被编码和当信号被解码时，都包含在图像信号上。所述图像类型指示图像帧内编码(一个I-图像)、预测编码(一个P-图像)和双向预测编码(一个B-图像)。一个I-图像包括仅仅通过帧内编码来进行编码的宏块。一个P-图像包括通过帧内编码来进行编码的宏块。一个B-图像包括通过帧内编码来进行编码的宏块和/或通过向前预测编码来进行编的宏块和/或通过后向预测编码来进行编码的宏块和/或通过双向预测编码来进行编码的宏块。

首先，一个图像信号的每个图像被编码作为一个相关图像类型的函数，然后适当地解码。被解码的图像信号包括所述相关的图像类型，最好在每个被解码图像的垂直消隐期中。该已解码的图像信号可能被进一步处理，例如被复制。

当该解码的图像信号的图像被再次编码时，再编码就成为包括在所述解码的图像信号中的图像类型的函数。该再编码信号包括所述的图像类型。被再编码图像的再次解码是该图像类型原涵数。该再解码图像信号的每个图像包括它相关的图像类型。

这样，本发明利用用来处理图像信号的串联设置的编码器为使施加在一个图像信号中的多个图像上的预测编码类型相匹配。

本发明促成最佳的图像质量。一个图像，原先是编码成一个I-图像、P-图像或B-图像。一个图像的编码，原先被编码成为B-图像，要防止再编码成一个I-图像或一个P-图像。这样，信号质量在多次编码和解码操作之后的劣化会降为最低。

现在参照附图，特别是图14，说明了本发明的编码和解码单元(编一解码器)，它们之间用模拟连接方式连接。第一个编-解码器包括编码器120和解码器121，而第二个编-解码器包括编码器122和解码器123。本领域普通技术人员可以理解附加的编-解码器也可以串联在图14上。

在图14中，一个模拟视频信号要送到一个输入端100上作为一个输入信号a，一个图像类型信号被送到一输入端108上。所述图像类型指图像帧内编码(I-图像)、预测编码(P-图像)和双向预测编码(B-图像)中的一种。

输入端100、108的作用在于将模拟视频信号和图像类型信号分别送到编码器120的A/D转换器101和编码电路102。该A/D转换器用于将所述的模拟视频信号转换成一数字视频信号，并将该数字视频信号送到编码电路102。

该编码电路102用于对数字视频信号编码以作为图像类型信号的函数，这样可产生一个已编码的数字视频信号，对于每一个编码的图像而言，该已编码的数字视频信号包括其由图像类型信号确定的图像类型。具体地说，如果对于一个图像来冰，图像类型指的是图像帧内编码，那么，该编码电路102将该图像编码成一个I-图像。如果对于一个图像来说，图像类型指的是预测编码，那么，编码电路102将该图像编码成一个P-图像。如果对于一个图像来说，图像类型指的是双向预测编码，那么该编码电路102将该图像编码成B-图像。

编码单元120可以有选择地采取图6所示的结构，其中，不参照外部提供的图像类型来执行编码。就像这里所使用的，一个外部提供的图像类型意指一个图像类型通常来源于与数字视频信号同样的出处，而不是如图6所示的来源于另一个分开的出处，即图像类型输入装置65。

来自图14中的编码电路102的已编码的数字视频信号被送到解码器121的解码电路103，它用于将所述已编码的数字视频信号解码成为包括图像类型的函数，该图像类型包括在编码信号中，并将已解码的视频信号送到D/A转换器104上。该解码电路103还用于将从编码的数字视频信号中解码出的图像类型送到复用器105上。

复用器105用于使图像类型信息与已解码的视频信号复用，以产生一个复用的模拟视频信号作为一个输出信号b，其中，图像类型信息被包含在已解码的视频信号中。较优选的是复用器105将用于已解码的视频信号的一个图像的图像类型(信息)插入到图像的垂直消隐期中。就象上面所提到的这样，一个图像可能要么是一帧视频信号，要么是一场视频信号。

输出信号b从复用器105送到编码器122的分离电路106上。该分离电路用于从输出信号b中分离出模拟视频信号和图像类型信息或使模拟视频信号和图像类型信息去复用，并将已分离的模视频信号送到A/D转换器107，而用将已分离的图像类型信息送到一个编码电路108上。转换器107用于使分离的模拟视频信号转换成数字视频信号并将该数字视频信号送到编码电路108上。

编码电路108用于将数字视频信号编码成分离的图像类型的函数以生成一个再编码的数字视频信号，对于每一个再编码图像来说，再编码的数字视频信号包括由分离的图像类型信号标识的图像类型。

来自编码电路108的再编码数字视频信号被送到解码器123，该解码器123，以与解码器121相似的方式工作。

解码器123的解码电路110对再编码数字视频信号进行解码以产生一个再解码的数字视频信号及一个相应的图像类型信号。该再解码的数字视频信号由D/A转换器109转换成一个模拟信号，并送到复用器111上，复用器111使该模拟信号与来自解码电路110的图像类型信号相复用，以产生一个复合的模拟视频信号作为输出信号C。较优选的是该复用器111将用于一个图像的图像类型插入到该图像的垂直消隐期中。复用器111将它的输出信号C送到输出端119。

由于在信号b和c中包含有图像类型标识，图14的编-解码器以同样的方式处理视频信号b和c各自的图像，即对I-图像、P-图像、或B-图像的处理是同样的方式。

图15示出了图14中输出信号b、c的信噪比。从图中可以看出输出信号C的SNR只是稍微劣于输出信号b的SNR。

也就是说，由于施加在每一图像上的预测编码的类型的串联的编-解码器的每一个编-解码器中是一样的，所以，即使由于从一个图像到另一个图像的预测编码类型引起图像之间图像质量的变化，在每一个编-解码器上图像质量的劣化也会减到最小。

图16示出了按照本发明的编-解码器，其间是串行数字联接。第一个编-解码器包括编码器142和解码器143，而第二个编-解码器包括编码器144和解码器145。

在图16中，一个模拟视频信号被送到一个输出端140作为一输入信号a，一个图像类型信号被送到输入端148。输入端140、148的作用在于将所述的模拟视频信号的图像类型信号分别送到编码器142的A/D转换器141和编码电路152上转换器141适用于将模拟视频信号转换成一个数字视频信号并将该数字视频信号送到编码器142的一数字接口。

编码电路152用于将该数字视频信号编码或图像类型依赖的函数以产生一个已编码的数字视频信号，该已编码的数字视频信号对每一已编码的图像来说包括由图像类型信号标识的图像类型。具体地说，如果用于一个图像的图像类型是图像帧内编码，那么编码电路152将该图像编码成一个I-图像。如果用于一个图像的图像类型是预测编码，那么，编码电路152将该图像编码成一个P-图像，如果用一个图像的图像类型是双向预测编码，那么编码电路152将该图像编码成B-图像。

编码单元120可以有选择地采用图6所示的结构，其中不参照外部提供的图像类型来执行编码。

来自编码电路152的已编码的数字视频信号被送到解码器143的解码电路153上，该解码器适用于将已编码的视频信号解码成包括在已编码信号中的图像类型的函数，并将已解码的视频信号送到数字接口154上。解码电路153还可以将已从编码的数字视频信号中解码出的图像类型送到一个复用器155上。

复用器155用于将图像类型信息复用到已解码的视频信号上的产生一个复合的数字视频信号作为一个输出信号b，其中，图像类型信息被包括在所述已解码的视频信号中。较优选的是，复用器105将图像类型复用以用于解码视频信号的一个图像，以此作为在各自图像中的一个标志。

输出信号b从复用器155送到编码器144的分离电路156上。该分离电路用于从输出信号b中使数字视频信号和图像类型信息分离或去复合，并将已分离的数字视频信号送到编码电路158。接口157用于将分离的数字视频信号送到编码电路158上。

编码电路158用于使已分离的数字视频信号编码成分离的图像类型的函数以产生一个再编码的数字视频信号，该再编码的数字视频信号包括由分离的图像类型信号标识的用于每一再编码图像的图像类型。

来自编码电路158的再编码数字视频信号被送到解码器145，解码器145以与解码器143相似的方式工作。

解码器145的解码电路160对再编码的数字视频信号解码以产生一个再解码的数字视频信号及相应的图像类型信号。该再解码的数字视频信号被送到一个数字接口149然后送到复用器161，该复用器使该再解码的视频信号与来自解码电路160的图像类型信号相复用以产生一个复用的数字视频信号。复用器使图像类型信号作为一个标识复用到再解码的数字视频信号中。

复用器161将复合数字视频信号送到A/D转换器146上，A/D转换器146用于将复合的数字视频信号转换成模拟的视频信号，也称为输出信号C。转换器146将输出信号C送到输出端147上。

由于在输出信号b和c中含有图像类型标识，那么，图16的编-解码器可以以相同方式处理视频信号b和c的各自的图像，也就是说对I-图像、P-图像或B-图像的处理方式是相同的。结果，即使从一个图像到另一个图像所采用的预测编码的类型引起的从一个图像到另一个图像的图像质量的变化，在每个编-解码器上图像质量的变劣也会减到最小程度。

图17较详细地示出图14和图15的编码电路。在图17中，与图6相类同的元件采取同样的编号，其详细解释则从略。

在图17中，一个图像类型信号送到输入端70，该输入端用于将图像类型信号送到运动矢量检测器450、预测判定电路454和可变长度编码电路458。由电路450、454和458执行的处理过程相似，只是图17中的电路所执行的处理是根据外部的图像类型信号所标识的图像类型进行的，所述外部的图像类型信号指的是用于在前编码中的图像类型。可变长度编码电路包括基于外部图像类型信号作为部分标题信息的图像类型。

图18更详细地说明了图14和16中的解码电路。中图18中，与图9中相似的元件用同样的标号表示，对它们的详细解释在此省略。

图18的可变长度解码电路492与图9的可变长度解码电路82相似，只是电路482将从编码信号中分离出来的图像类型不仅仅送到运动补偿器487上，还送到输出端92。

尽管在此已参照附图详细说明了本发明的说明性实施例及各种改型，但是可以理解本发明并不局限于此，本专业技术人员在不背离本发明的如后面权利要求所述的范围和精神下可以有效地完成本发明的各种变化和进一步的改型。

Claims (18)

1.一种用于处理图像信号的装置，包括：

用于接收一个图像类型信号的装置，所述图像类型信号指示图像帧内编码、预测编码和双向预测编码中的一种，用于由所述图像信号代表的各个图像，所述接收装置包括用于从所述图像信号中分离所述图像类型信号的装置；

编码装置，用于把所述图像信号编码成所述图像类型信号的函数，以产生一个已编码的图像信号。

2.按照权利要求1所述的装置，其特征在于，还包括用于把所述的已编码图像信号解码成所述图像类型信号函数的装置。

3.按照权利要求1所述的装置，其特征在于，所述图像信号是一个数字信号。

4.按照权利要求1所述的装置，其特征在于，所述编码装置包括运动矢量检测装置，用于检测由所述图像信号代表的图像之间的运动矢量作为所述图像类型信号的函数；预测判定装置，用于逐个宏块地选择出帧内编码、前向预测编码、后向预测编码和双向预测编码中的一种作为所述图像类型信号的函数；以及可变长度编码装置，用于对所述已编码的图像信号中的所述图像类型信号编码。

5.一种用于处理一个已编码图像信号的装置，包括：

用于所述对已编码的图像信号解码的装置，以产生一个图像类型信号和一个已解码的图像信号；以及

用于使所述图像类型信号和所述已解码的图像信号复用以产生一个输出信号的装置。

6.按照权利要求5所述的装置，其特征在于，所述已解码图像信号的每一图像包括一个垂直消隐期中；以及所述用于复用的装置将所述图像类型信号插入到所述解码图像信号的垂直消隐期中。

7.按照权利要求5所述的装置，其特征在于，还包括用于对所述已解码的图像信号编码成为所述图像类型信号的函数的装置。

8.按照权利要求5所述的装置，其特征在于，所述已解码的图像信号是一个信号。

9.按照权利要求5所述的装置，其特征在于，所述用于解码的装置包括用于使所述图像类型信号从所述输出信号中分离出来的可变长度解码装置，以及其中所述用于复且的装置用于使已分离的图像类型信号复用。

10.用于处理一个图像信号的方法，包括如下步骤：

接收一个图像类型信号，该图像类型信号指示图像帧内编码、预测编码和双向预测编码中的一种，用于由所述图像信号表示的各个图像，所述接收步骤还包括把所述图像类型信号从所述图像信号中分离出来；

对所述图像信号编码作为所述图像类型的函数，以产生一个已编码的图像信号。

11.按照权利要求10所述的方法，其特征在于，13.按照 10所述的方法，其特征在于，还包括使所述已编码的图像信号解码作为所述图像类型信号函数的步骤。

12.按照权利要求10所述的方法，其特征在于，所述图像信号是一个数字信号。

13.按照权利要求10所述的方法，其特征在于，编码步骤包括检测由所述图像信号表示的所述图像之间运动矢量，作为所述图像类型信号的函数；逐个宏块地选择帧内编码、前向预测编码、后向预测编码、双向预测编码中的一种作为所述图像类型信号的函数；对所述已编码的图像信号中的所述图像类型信号编码。

14.用于处理一个已编码的图像信号的方法，包括

对所述已编码的图像信号解码以产生一个图像类型信号和一个已解码的图像信号；以及

使所述图像类型信号和所述已解码的图像信号复用产生一个输出信号。

15.按照权利要求14所述的方法，其特征在于，所述解码的图像信号的每一图像包括一个垂直消隐期；复用步骤包括将所述图像类型信号插入到所述已解码图像信号的垂直消隐期中。

16.按照权利要求14所述的方法，其特征在于，还包括一个对所述已解码的图像信号编码作为所述图像类型信号函数的步骤。

17.按照权利要求14所述的方法，其特征在于，所述已解码的图像信号是一个数字信号。

18.按照权利要求14所述的方法，其特征在于，解码步骤包括使所述图像类型信号从所述输出信号中分离出来，以及其中复用步骤使已分离的图像类型信号复用。

Images