CN1784906A

CN1784906A - 编码和/或解码画面组的方法

Info

Publication number: CN1784906A
Application number: CNA2004800124206A
Authority: CN
Inventors: 爱德华·弗朗索瓦; 多米尼克·索罗; 纪尧姆·布瓦松
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2003-05-23
Filing date: 2004-05-12
Publication date: 2006-06-07
Anticipated expiration: 2024-05-12
Also published as: WO2004107761A1; CN100591127C; FR2855356A1; JP2007503782A; EP1636996A1; KR101011894B1; JP4990622B2; TWI339071B; US7864863B2; KR20060027796A; US20060233256A1; MY135286A; TW200509702A

Abstract

本发明涉及一种编码和/或解码画面组的方法。根据本发明，在3D小波处理的框架内、对画面流进行时间分解期间，适配每个GOP型画面序列的画面数(GOP1、GOP2、…)、基准画面(R)的选择和时间分解的方向(S)，以最小化未连接像素的数量。

Description

编码和/或解码画面组的方法

技术领域

本发明涉及一种编码和/或解码画面组的方法。

本发明应用于基于3D小波分解的视频压缩上下文中。

背景技术

在现有技术中，已经提出使用3D小波画面分解技术，其中根据将小波分解应用于二维或2D画面的处理，分解画面组或GOP。在此基础上，沿着作为第三维度的时间维度，执行数据流的压缩。

在现有技术中，难点发生在小波时间分解期间。当已经执行过时间分解时，已经给通过GOP画面序列中的运动矢量连接的像素加上了标签。现在，应当意识到在沿着时间维度执行压缩操作时，丢失了没有运动矢量通过的像素。

为了解决此问题并避免处理期间的信息丢失，因此需要对这些像素应用特定的处理，由此降低了小波处理的效率。

在通常的视频编码方案中，按照块来描述运动，例如16像素宽乘以16像素高。于是，上述问题转移到块的边界处。

为了解决此问题，考虑像素在画面序列的两个运行方向上的轨迹：GOP画面序列的自然方向和相反方向。但是，相对于传统技术，使运动信息量加倍。

发明内容

为了补救现有技术的这些缺点，本发明在于选择针对每个序列的配置数据和最佳判据，使其能够减少每个GOP画面序列中的未连接像素的数量。

于是，极大地减少了未连接像素的数量，而无需根据3D小波分解的其他处理。

具体地，本发明涉及一种根据3D小波处理、编码和/或解码画面序列的方法。本发明的方法包括编码阶段，其包括以下步骤：

-根据预定的最佳判据，确定用于配置3D小波编码的至少一个信息项，作为针对随后画面序列的基准画面的选择；然后，

-产生包括针对所述画面序列的基准画面的数据的配置信息单元；以及最后，

-根据所述配置信息，执行3D小波编码，

以如下方式进行：产生包括配置信息单元的每个画面序列的联合的已编码数据流和/或针对画面序列的画面的3D小波编码数据流。

根据本发明的方案，用于确定至少一个配置信息项的步骤包括以下步骤：在作为基准画面的至少一个测试画面中进行小波分解；然后，进行运动估计；然后，确定画面序列中、在运动估计步骤期间、未连接像素的数量最小的画面，作为基准画面。

根据本发明的方案，用于确定至少一个配置信息项的步骤包括以下步骤：确定至少一个测试画面中的运动幅度；然后，确定画面序列中、画面中的运动幅度最小的画面，作为基准画面。

根据本发明的方案，用于确定至少一个配置信息项的步骤包括以下步骤：在至少一个测试画面中，通过测量高频分量，确定纹理信息项；然后，确定画面序列中、纹理信息项最丰富的画面，作为基准画面。

根据本发明的方案，用于确定至少一个配置信息项的步骤还包括以下确定所述画面序列中的画面的数量。

根据本发明的方案，用于确定至少一个配置信息项的步骤还包括确定针对画面序列的时间分解的至少一个方向。

根据本发明的方案，用于确定至少一个配置信息项的步骤包括：

-在第一步骤中：构造预定尺寸的画面序列GOP，

-在第二步骤中：针对每个画面序列，根据最小化未连接像素的数量的选择，选择画面序列的第一个画面，作为基准画面，且时间分解的方向为前向；或者选择画面序列的最后一个画面，作为基准画面，且时间分解的方向为后向。

-在第一步骤中：构造预定尺寸的画面序列GOP，

-在第二步骤中：执行基准画面的选择，以及针对跟随所选基准画面的画面序列的画面，确定时间分解的方向为前向，以及针对所选基准画面之前的画面序列的画面，确定时间分解的方向为后向。

根据本发明的方案，用于确定至少一个配置信息项的步骤包括以下步骤：

-沿画面间的前向：对运动进行估计；构造前向运动估计中、运动点的轨迹；以及计算构造轨迹的步骤期间、未连接像素的数量；

-沿画面间的后向：对画面间的后向运动进行估计；构造后向运动估计中、运动点的轨迹；以及计算构造轨迹的步骤期间、未连接像素的数量；

-根据最小的未连接像素数量，选择最佳基准画面。

-对画面间的前向运动进行估计，同时对画面间的后向运动进行估计；然后，

-针对正在进行适配的GOP序列的每个画面，进行循环，在其过程中，顺序执行构造轨迹的步骤和计算未连接像素的数量的步骤；然后，

-根据最小的未连接像素数量，选择正在进行适配的GOP画面序列中的最佳基准画面。

根据本发明的方案，所述方法包括解码阶段，其包括：

-对确定了在给定二进制数据流上执行的3D小波编码的特性的配置信息单元进行解码；然后，

-执行3D小波解码处理电路的更新；以及最后，

-执行对表示画面序列的二进制数据流的解码，从而在输出处产生包含在给定二进制数据流中的至少一个画面序列。

根据本发明的方案，将所述方法集成在基于3D小波的视频压缩器/解压缩器方案中。

根据本发明的方案，将所述方法集成在MPEG^TM编码/解码方案中。

作为通过运动连接的像素的数量的函数，执行基准画面和时间分解的方向的选择，其中根据所述基准画面，执行对GOP中的运动的计算，所述像素数量信息可以与运动矢量场纹理或运动数据进行组合。利用时间连接的像素的数量，改善了2D+T小波分解的效率。

附图说明

通过以下描述和附图，本发明的其他特征和优点将更加显而易见，其中：

图1到5是示出了现有技术的解决方案的图；

图6到9示出了本发明方法的多个步骤；

图10和11示出了实现本发明方法的设备的特定实施例。

具体实施方式

图1所示为根据现有技术的3D小波压缩方案的实施例。应当注意，此3D小波压缩方案也可以用在执行过本发明的方法之后。还应当注意，按照方法进行描述的方案也可以按照用于处理画面序列的计算机中的处理模块的形式来实现。

在步骤1，获取或合成包括N个连续画面的画面序列GOP。然后，将GOP序列传输到小波分解步骤2，且并行地传输到估计画面间的运动的步骤3。

小波分解步骤包括：时域分析步骤2a和空间域分析步骤2b(图案重复频率等)。

实际上，在现有技术中，运动估计步骤3以选择GOP画面序列中的基础画面(该序列的最后一个画面)作为开始。通过画面之间的差别(画面2与画面1之间，然后是画面3与画面2之间等)，进行运动估计。当完成此运动估计时，通过运动估计信息项8，将运动估计信息项传输到针对小波分解的时域分析步骤2a，从而沿运动方向进行一维小波分解。

在此小波分解期间，产生与不同时间频率相对应的变换画面序列。然后，在空间分解步骤2b期间，通过2D小波变换处理被变换为时间频率的画面序列。

在运动估计步骤3的结尾，将表示GOP画面序列中的运动矢量的运动系数传输到对表示GOP画面序列中的运动的矢量场进行编码的步骤。

在空间分析步骤2b的结尾，将表示画面序列的每个画面中的空间频率的系数传输到熵编码电路的输入。

在步骤4中执行的熵编码包括两个阶段：先验建模和适当编码。建模使其能够将概率分配给要处理的数据流中的每个符号。编码为每个符号分配其长度依赖于关联概率的二进制字。为此，使用如哈夫曼编码或算术编码等编码方案。

将得自熵编码4的编码系数传输到数据流整形处理电路6的第一输入，其第二输入接收得自步骤3的运动矢量场的分量。因此，其全部构成了3D小波系数数据流，按照产生可以对其应用任何适当后续处理(如加密、存储或传输处理)的二进制数据串7的方式使其串行化。

图2所示为在四个画面的GOP画面序列的情况下、示出了一维变换技术的示意图。沿着在运动估计步骤3期间被选择出的基础画面的每个点的轨迹，执行时间滤波。对应于一维小波变换的传统方案，以其像素的串行形式，示出了图2中表示为画面1、画面2、…的每个画面。因此，在图2中，所考虑的轨迹通过分别在画面1中以x1、在画面2中以x2等作为其标签的位置。箭头F1、F2和F3表示连续的画面间位移，并使其能够针对整个GOP画面序列，标识出与所考虑的轨迹相对应的小波系数。

图3所示为图1的步骤2中所提及的一维小波分解步骤。在此示例中，考虑长度为4的GOP、时间滤波长度为2的两级分解。如果将这种分解应用于系数序列[x1，x2，x3，x4]，则首先应用步骤10，进行低通滤波，并以2进行子采样，产生低频系数对[L1，L2]。并行地，应用步骤11，进行高通滤波，并以2进行子采样，产生高频系数对[H1，H2]。

然后，针对低频系数对[L1，L2]，再次应用步骤12，进行低通滤波，并以2进行子采样，产生表示最低时间频率分量的系数[LL]，且并行地，应用步骤13，进行高通滤波，并以2进行子采样，产生表示中间频率分量的系数[LH]。因此，获得了四个时间频率小波变换系数的组[LL，LH，H1，H2]。此外，在针对3D小波画面压缩的最新方案中，并不估计画面2和3之间的场F2，实际上利用L1和L2之间所估计出的场进行滤波12和13。

针对得自基准画面的每个轨迹，进行此变换，从而使其能够产生被变换为时间频率的画面，如图4所示，分别为画面H1、画面H2、画面LH和画面LL。与在画面(图2中的画面1、画面2、…)中进行了标签的运动点相对应的四个系数为时间频率调换的形式，分别为画面H1中的H1、画面H2中的H1、画面LH中的LH和画面LL中的LL。因此，所考虑的轨迹位于图4所示的时间频率图上。

如本申请背景技术中所述，在完成图4所示的时间分解时，在图5所示的时间频率域上，并未给没有运动矢量通过的像素分配任何数值。在现有技术中，将其称作未连接像素。正确地处理了分配给运动矢量的所有其他像素。但是，在最终变换8中，如果对于图5左侧表示为“画面1”的示意图上标记为“X”的未连接像素(其中连接序列图{画面1、画面2、画面3、画面4}的其他像素的运动矢量并未到达)，不添加任何信息，则对于该序列的重构将难以忠实于开始的GOP画面序列。

本发明的方法精确地借用了现有技术的元素，其如上定义。数据流由“自然”画面流构成，例如借助于摄像机产生的画面，或借助于合成画面生成器产生的画面。简单地说，本发明的方法在于将3D小波编码的配置信息单元与传统编码器的输出7处所描述的数据流相关联。针对编码的配置信息确保了对编码方案成本判据的最佳响应。

可以实现两种模式：

-单向模式，或前向/后向模式。在此模式中，运动补偿的方向必须在GOP内恒定。在此模式中，只有GOP的第一个和最后一个画面是选择基准画面时的候选画面；

-双向模式，对于这种模式，GOP的所有画面都是选择基准画面时的候选画面。在此模式中，可以在基准画面的任意一侧，使用运动补偿的两个方向。图6和7示出了单向模式，或“前向/后向”模式；图8和9示出了双向模式。

图6所示为单向模式下、对画面流的分解，其中每个GOP画面序列，允许补偿的单一方向。在时域中，以垂直的记号表示每个画面。在画面的时间序列中，将画面流从左至右分隔为三个GOP画面序列，按时间顺序指定为GOP1、GOP2和GOP3。

根据本发明，每个序列GOP1、GOP2、GOP3、…的画面数与每个GOP的未连接像素数的上限有关。

根据本发明，按照给定的判据，进行以粗记号标记的基准画面R的选择。下面，将给出判据的一些示例。

第一判据是GOP中的未连接像素数量最小。在这种情况下，针对运动补偿的两个方向中的每一个，计算GOP中的未连接像素数量。然后，选择使整个GOP中未连接像素的数量最小的方向和基准画面。

第二判据是运动的幅度最小。在这种情况下，针对两个方向中的每一个，测量整个GOP中的运动幅度，例如，通过计算每个场的每个运动矢量的分量的平方和。然后，选择表现出最小运动幅度的方向和基准画面。

第三判据是基准画面的信息丰富度。在这种情况下，通过其相应小波分解的高频的幅度，测量第一个和最后一个画面的纹理信息项，并选择最丰富的作为基准画面。

在图6所示的示例中，应当注意，按照如下方式定义画面流中的画面序列，如下表所示：

序列	尺寸	基准画面	方向
序列	尺寸	基准画面	方向	GOP1GOP2GOP3	4画面8画面4画面	最后一个画面最后一个画面第一个画面	《后向》《后向》《前向》

图7所示为本发明方法的实施例，为单向模式，利用了未连接像素数量的最小化。可以在可标识的处理器或可标识的处理器的一部分上，以用于执行所述方法的电路的形式，执行所示出的每一个步骤，并且可以从中直接得出实施设备。

在步骤20，获得画面流，并传输到步骤21，对画面间的正向运动进行估计，并同时传输到步骤22，对画面间的负向运动进行估计。

然后，在步骤24，针对前向运动估计21，执行运动点轨迹的构造，以及在步骤25，针对后向运动估计22，执行运动点轨迹的构造。

然后，在步骤26，针对步骤24的轨迹构造，执行未连接像素数量的计算，以及在步骤27，针对步骤25的轨迹构造，执行未连接像素数量的计算。

最后，在步骤28，选择运动补偿的最佳方向，以便在步骤29中，产生表示这样适配的GOP画面序列的空间变换的二进制流。

在步骤28中，通过选择步骤26或步骤27中所记录的未连接像素数量中最小的一个，进行运动补偿的最佳方向的选择。

应当注意，如果检测到正向使未连接像素的数量最小，则所选择的基准画面是正在进行适配的GOP画面序列中的最后一个画面。相反，如果检测到负向使未连接像素的数量最小，则所选择的基准画面是正在进行适配的GOP画面序列中的第一个画面。

通过允许GOP的所有画面作为选择基准画面时的候选画面，可以拓宽本发明。这是双向模式。于是，可以针对同一GOP画面序列，采用时间分解的两个方向，在基准画面的任意一侧。

图8所示为被分为三个GOP画面序列的画面流的一部分，借用了与参照图6所解释的相同的编码。但是，每个GOP序列包括分解的一个或两个方向S和S’。当提供分解的两个方向S和S’时，确定基准画面在GOP序列的内部。

在此模式中，可以根据与单向模式相同的判据来完成对基准画面R的选择，也就是说，整个GOP中未连接像素的数量最小、整个GOP中运动的幅度最小、以及画面的选择。

图9所示为本发明方法的实施例，为双向模式，即在GOP的所有画面均为选择基准画面时的候选画面的情况下，以未连接像素数量最小为判据。再一次，可以在可标识的处理器或可标识的处理器的一部分上，以用于执行所述方法的电路的形式，执行所示出的每一个步骤，并且可以从中直接得出实施设备。

在步骤30，获得画面流，并传输到步骤31，对画面间的正向运动进行估计，并同时传输到步骤32，对画面间的负向运动进行估计。

然后，针对正在进行适配的GOP序列的每个画面，执行循环33，在其过程中，顺序执行构造轨迹的步骤34和计算未连接像素的数量的步骤35。

然后，执行选择正在进行适配的GOP画面序列中的最佳基准画面R的步骤。在图9中，选择最佳基准画面的判据是最小的未连接像素数量。

将本发明的方法集成在3D小波视频压缩器/解压缩器方案中。在这种应用中，可以在三个不同的地方实现本发明的方法：

-实现编码步骤的地方；

-包括配置信息单元和3D小波编码数据的二进制数据流存在的状态为已记录数据的传输信号或载波的形式的地方；以及

-实现解码步骤的地方。

根据本发明的方案，将所述方法集成在MPEG^TM编码/解码方案中。此设置尤其与MPEG-7标准的实施框架相关。

图10所示为详细描述了实现本发明方法的3D小波编码设备的实施例的方框图。

该设备包括：针对视频数据流106的输入端100，与画面组分析器电路101的输入相连；画面组分析器电路101的第一输出端107，与产生针对3D小波编码的配置信息单元的电路103的输入端109’相连，以及与3D小波编码器102的输入端109适当相连，从而根据上述本发明的方法，向其提供定义了要应用的3D小波处理的配置数据。电路101最后包括第二输出端，用于适当地继续3D小波编码器102上的3D小波处理。

编码器102的输出端110和产生电路103的输出端111与电路104的对应输入相连，电路104对要呈现在其输出105的二进制数据流FDB进行整形，根据确定的协议，其包括以下序列：

-与GOP画面序列相关联的3D小波编码配置信息；以及

-与相应GOP画面序列的3D小波编码的结果相对应的二进制数据流。

可以将这样构造的数据流传输到新的处理电路、记录设备或传输线。

图11所示为详细描述了实现本发明方法的3D小波解码设备的实施例的方框图。

该设备包括：与鉴别电路121相连的输入端120，鉴别电路121的输出端126和127分别与3D解码配置信息产生电路122和3D小波解码电路123相连。当得自图10所示的电路的二进制数据流传输到输入端120时，鉴别器121分析数据，从而在鉴别器121的第一输出端126上，呈现应用于二进制数据流的3D小波编码的信息特性。

然后，二进制数据流呈现在鉴别器的输出127上，并被加载到解码器123中。解码器123包括配置输入端，接收得自根据包含在每个配置信息单元中的信息、产生配置信息的电路122的接线端128的配置信息，如基准画面的数据、分解的方向和/或数据流120中所表示的画面序列的画面数。在输出端124呈现已解码GOP画面序列。

本发明可应用于基于3D小波分解的视频压缩领域。因此，可以将其集成在基于3D小波的视频压缩器/解压缩器方案中。

本发明可应用于传统的混合编码方案中，尤其是其中I型画面和P型画面用作基准画面的MPEG型方案中。在这种情况下，将本发明的方法集成在MPEG编码/解码方案中。

Claims

1、一种根据3D小波处理来编码和/或解码画面序列的方法，其特征在于所述方法包括编码阶段，其包括以下步骤：

-根据所述配置信息，执行3D小波编码，

2、根据权利要求1所述的方法，其特征在于用于确定至少一个配置信息项的步骤包括以下步骤：在作为基准画面的至少一个测试画面中进行小波分解；然后，进行运动估计；然后，确定画面序列中、在运动估计步骤期间、未连接像素的数量最小的画面，作为基准画面。

3、根据权利要求1所述的方法，其特征在于用于确定至少一个配置信息项的步骤包括以下步骤：确定至少一个测试画面中的运动幅度；然后，确定画面序列中、画面中的运动幅度最小的画面，作为基准画面。

4、根据权利要求1所述的方法，其特征在于用于确定至少一个配置信息项的步骤包括以下步骤：在至少一个测试画面中，通过测量高频分量，确定纹理信息项；然后，确定画面序列中、纹理信息项最丰富的画面，作为基准画面。

5、根据权利要求1所述的方法，其特征在于用于确定至少一个配置信息项的步骤还包括确定所述画面序列中的画面的数量。

6、根据权利要求1所述的方法，其特征在于用于确定至少一个配置信息项的步骤还包括确定针对画面序列的时间分解的至少一个方向。

7、根据权利要求1所述的方法，其特征在于用于确定至少一个配置信息项的步骤包括：

-在第一步骤中：构造预定尺寸的画面序列GOP，

8、根据权利要求1所述的方法，其特征在于用于确定至少一个配置信息项的步骤包括：

-在第一步骤中：构造预定尺寸的画面序列GOP，

9、根据权利要求8所述的方法，其特征在于用于确定至少一个配置信息项的步骤包括以下步骤：

-沿画面间的前向：对运动进行估计(21)；构造前向运动估计中、运动点的轨迹(24)；以及计算构造轨迹的步骤(24)期间、未连接像素的数量(26)；

-沿画面间的后向：对画面间的后向运动进行估计(22)；构造后向运动估计中、运动点的轨迹(25)；以及计算构造轨迹的步骤(25)期间、未连接像素的数量(27)；

-根据最小的未连接像素数量，选择最佳基准画面(28)。

10、根据权利要求1所述的方法，其特征在于用于确定至少一个配置信息项的步骤包括以下步骤：

-对画面间的前向运动进行估计(31)，同时对画面间的后向运动进行估计(32)；然后，

-针对正在进行适配的GOP序列的每个画面，进行循环(33)，在其过程中，顺序执行构造轨迹的步骤(34)和计算未连接像素的数量的步骤(35)；然后，

-根据最小的未连接像素数量，选择正在进行适配的GOP画面序列中的最佳基准画面(R)(36)。

11、根据前述权利要求之一所述的方法，其特征在于所述方法包括解码阶段，其包括：

-执行3D小波解码处理电路的更新；以及最后，

12、根据前述权利要求之一所述的方法，其特征在于将所述方法集成在基于3D小波的视频压缩器/解压缩器方案中。

13、根据权利要求1到12之一所述的方法，其特征在于将所述方法集成在MPEG^TM编码/解码方案中。