CN101268475B - 用于时间预测的分类滤波 - Google Patents

Abstract

一种执行时间预测的方法包括使用不规则的滤波器抽头来产生目标图像的预测，以及将规则的滤波器抽头应用到所述预测以产生增强预测。

Description

用于时间预测的分类滤波

技术领域

本发明涉及视频压缩领域。

背景技术

时间预测滤波器(temporal prediction filter)在视频压缩过程中被用于从一组先前解码的参考图像(reference image)中预测出目标图像(targetimage)。时间预测过程在去除大量时间冗余时是有效的，其一般产生较高的编码效率。预测过程使用一组运动向量和对运动向量进行操作的滤波器来预测目标图像。

例如，预测方法将参考图像110划分成多个固定尺寸的块120，如图1所示。每个块具有相关的运动向量，用于描述该块相对于目标图像的运动。运动向量由图像110中的白点示出。时间预测滤波器使用相关的运动向量来对参考图像中的每个块执行简单的运动补偿技术，以预测该块在目标图像中的位置。因此，目标图像中的每个块通过使用单个运动向量根据参考图像中的块被估计出。但是，这种方法独立对待每个运动向量，并且不适应用于图像特征。

传统的时间滤波器使用单个运动向量来预测相关块的位置或者依赖于针对规则的运动向量模式(pattern)定义的滤波器，这些传统时间滤波器需要规则分布的运动向量以执行时间预测。因此，它们无法使得预测过程适应于不规则的运动向量模式。存在对于可以使得滤波器的抽头(tap)和滤波器系数局部适应于不规则的运动向量模式的变化的滤波器的需求。还存在对于具有适应于对象边界(object boundary)和空间纹理(spatialtexture)的灵活性的时间滤波器的需求。

发明内容

执行时间预测的方法包括使用不规则滤波器抽头产生目标图像的预测，并将规则滤波器抽头应用到该预测以产生增强预测。

附图说明

本发明以示例方式示出，并且可以通过结合附图参考以下描述来更好地理解，其中：

图1示出传统的基于块的时间滤波器的示例。

图2示出两级适应性时间滤波过程的示例。

图3示出不规则的运动向量模式的示例以及用在适应性时间滤波过程中的影响区域单元(area of influence cell)的示例。

图4示出对于不同目标像素形成不同局部邻域(local neighborhood)的不规则运动向量模式的示例，其被适应性时间滤波过程所处理。

图5示出利用适应性时间滤波器执行的预测的示例。

图6示出用于生成最小二乘分类滤波器(least squared classified filter)的方法的示例。

图7示出由最小二乘分类滤波过程产生的分类图(classification map)的示例。

图8示出用于预测目标图像的第一级和第二级滤波器的示例。

图9示出使用适应性时间滤波器的视频压缩编码过程的示例。

图10示出使用适应性时间滤波器的解码过程的示例。

图11示出使用适应性时间滤波器的系统的示例。

具体实施方式

在以下描述中，参考构成说明书一部分的附图，附图中以图示方式示出可用来实施本发明的特定实施例。将会理解，在不脱离本发明的范围的情况下，其他实施例可被利用，并且结构改变可能发生。例如，本领域技术人员将会理解，用来描述各个实施例的术语场或帧或图像在参考视频数据使用时可以互换。

最小二乘分类时间滤波器在预测目标图像时自动适应于不规则的运动向量模式、对象特征和空间纹理。该最小二乘分类滤波器在时域中作用于经运动补偿的信号，这不同于其他方法，其他方法试图直接对运动向量进行滤波(例如运动向量域中的三角滤波)。例如，由于该最小二乘分类时间滤波方法在时域中操作，因此更易修改以适应于对象和空间纹理。在一个实施例中，最小二乘分类时间滤波器执行两级过程(two stageprocess)。第一级使得滤波器适应于不规则的运动向量采样模式、对象形状以及对象边界。第二级使得滤波器适应于图像的空间纹理。

最小二乘分类时间滤波过程的示例如图2所示。在210，针对图像生成不规则的运动向量采样模式。这种不规则模式的生成可以利用本领域技术人员已知的方法以各种方式进行。不规则的运动向量模式的示例如图3的块310所示。图像310中的白点代表运动向量。对于这种适应性采样模式，运动向量更集中在难以根据参考图像预测的区域中(即具有更复杂运动的图像区域，例如运动边界附近的区域)。很少的运动向量被置于简单运动区域(例如图像背景区域)中。

不规则的运动向量模式的另一示例如图4所示。阴影圆圈代表运动向量，并且每个x代表一个要预测的像素。像素420位于密集填充并且不规则分布的运动向量的局部邻域中，像素410位于具有准规则分布(quasi-regular distribution)的运动向量的局部邻域中，像素430位于稀疏填充的运动向量的局部邻域中。由于要预测的像素具有不同的运动向量局部邻域，即每个局部邻域具有不同的运动向量分布，因此适应于该变化分布的滤波器结构被用于预测像素。

返回图2，在220，图像被分成多个单元(称之为影响区域单元(AOI单元))，其中每个AOI单元具有一个运动向量作为其节点。例如，图3的图像310被如块320所示划分成多个AOI单元。每个AOI单元代表这样的区域，该区域受该单元内运动向量的影响比图像中任何其他运动向量的影响要强。由于针对每个运动向量生成一个AOI单元，因此AOI单元的尺寸可能与图像中的对象的特征(例如边界区域)相关。例如，对象之间的边界区域附近的AOI单元可能小于图像背景区域中的AOI单元。而且，AOI单元的形状可以局部修改以适应于对象边界的形状。用于生成AOI单元的方法的一个实施例是距离最近运动向量划分方法。其他划分方法可被使用，例如块或三角方法。如下所述，在第二级最小二乘滤波器过程中，AOI单元被用作自然图像分块(segmentation)，基于该分块限定分类图(即每个AOI单元可以使用不同的滤波器)。

返回图2，在230，第一级适应性时间预测滤波器被生成，以用于利用不规则的运动向量模式和影响区域单元来预测目标图像中的像素。滤波器级预测滤波器在时域中作用于经运动补偿的信号。具体而言，滤波器通过使用不同运动补偿信号的加权和来预测目标像素，其中每个运动补偿信号是通过应用不同运动向量预测目标像素来获得的。滤波器系数和抽头结构根据变化的运动向量模式而针对每个像素变化。而且，滤波器的支撑(support)是局部的。这意味着用于补偿目标像素的运动向量是从该像素的局部邻域中获得的。

第一级滤波器具有以下结构。令{vj}表示N个运动向量的集合，并且I(x)表示参考图像(先前解码的图像)。令S(x)表示围绕像素x的位置的运动向量的某个集合。该目标像素x的预测可以按如下方式生成：

$I^{\mathrm{pred}}\left(x\right)=\underset{i\∈S\left(x\right)}{\mathrm{\Σ}}{f}_i{I}^{\mathrm{ref}}(x+v_i)$

其中{fi}是滤波器系数的集合，并且x+vi是当运动向量vi被应用到像素x时经运动补偿的像素。滤波器的支撑或抽头由集合S(x)定义。抽头支撑S(x)和滤波器系数{fi}一般是像素位置x及其相邻运动向量的函数。就是说，滤波器系数可以针对每个像素改变，这是因为运动向量分布在整幅图像中变化。因此，滤波器局部地适应于变化的运动向量模式。

在240，第一级预测滤波器被应用到目标图像以执行针对目标图像的时间预测。该滤波器在时域中被应用，以在给定运动向量值的集合和采样模式的情况下生成对目标图像的预测结果。滤波器使用由重叠区域的面积限定的滤波器抽头和滤波器系数来捕获与要预测的像素相邻的运动向量的相关性(relevance)。这类预测滤波器的示例是在如下专利申请中公开的影响区域滤波器：Marco Paniconi等人的题为“ADAPTIVE AREA OFINFLUENCE FILTER”的未决美国申请No.XX/XXX,XXX(代理案卷号50U6045)，该申请与本申请同时递交并且通过引用被结合于此；另一示例是用于运动补偿信号的三角滤波器(triangulation filter)。

应用第一级滤波器生成时间预测的示例如图5所示。参考图像510中的像素被用于预测目标图像520中的像素。参考像素由参考图像510中的实线圆圈代表，要预测的目标像素由目标图像520中的虚线圆圈代表。滤波器利用局部运动向量v1到v5的抽头结构来形成对于目标图像520中的像素x的预测。运动向量对于像素x是局部的，因为它们各自的AOI单元中的每一个与像素x的AOI单元的至少一部分重叠。抽头结构中的每个运动向量{v_i}映射到参考图像510中的图像数据{Ii}。适应性时间预测滤波器利用滤波器权重{f_i}来调整参考数据{I_i}以预测像素x。

在一个实施例中，预测滤波器使用抽头结构和滤波器权重来根据下式生成预测：

预测＝I₁*f₁+I₂*f₂+I₃*f₃+I₄*f₄+I₅*f₅

其中由局部运动向量限定的滤波器抽头和滤波器系数{f_i}是在滤波器在230处生成时确定的。

返回图2，在250，第二级滤波器被生成，并被应用于来自第一级滤波器的预测。由于从第一级滤波器输出的预测具有规则模式采样数据的形式，因此最小二乘(LS)训练滤波器被用于预测，以增强目标图像的预测的空间纹理。在260，如果需要减小预测误差，则方法返回240。否则，在270处，方法结束。

更详细地参考250，图6示出用于生成第二级滤波器的方法的示例。第一级滤波器处理不规则的运动向量模式以形成在每个像素处定义的预测图像P°。每个运动向量与一个影响区域单元{A_i，i＝1，...S}相关联，其中S是影响区域单元的总数。在605，由第一级滤波器生成的预测被输入到第二级。

在610，通过对目标图像执行最小二乘训练，一组最小二乘滤波器系数{f_j ^o，j＝1...N}被初始化，其中N是用在第二级中的滤波器类的数目。例如，最小二乘训练可以对图3所示目标图像执行。

在620，分类图{C^o(i)，i＝1，...S}被生成，以将每个影响区域单元映射到一个最小二乘滤波器索引(index)。最初，分类将所有单元映射到每个滤波器索引。然后，在给定最小二乘滤波器系数{f_j ⁱ}的情况下，分类图按如下方式生成。对于每个节点单元A_i，选择使单元A_i中的预测误差最小化的滤波器。这产生新的分类图C^t+1(i)。

被生成以映射每个影响区域单元到一个适当的滤波器的分类图的一个示例如图7所示。目标图像710具有不规则的运动向量分布。在该示例中，每个运动向量具有一个相关联的矩形影响区域单元，如720所示。用于该示例的滤波器具有四类，并且每个影响区域单元被映射到这四类之一。在720处，每个滤波器类由影响区域单元的分类图中的特定阴影示出。

返回图6，在630，一组新的最小二乘滤波器系数被生成。这是通过使用分类图利用来自目标图像的各个影响区域单元重新训练最小二乘滤波器系数来执行的。就是说，最小二乘训练被用于针对每个单元k＝C^t+1(i)，i＝1，...S产生新的滤波器系数f_k ⁱ⁺¹。结果是一组新的最小二乘滤波器系数f_k ⁱ⁺¹，k＝1...N。

在640，最小二乘滤波器系数和分类图被应用到第一级生成的预测图像P^o，以形成目标图像的增强预测Pⁱ⁺¹。

在650，目标图像和增强预测图像Pⁱ⁺¹之间的预测误差被计算出。在660，该方法判断最小二乘预测误差是否饱和。如果没有，方法则设置计数器t＝t+1并返回620，其中分类图被修改并且滤波器系数被重新训练。

如果最小二乘预测误差饱和，该方法则继续到670，以判断总预测误差是否饱和。如果没有，在680，增强预测图像被用作反馈以将AOI单元修改为只包括具有类似空间纹理的那些像素。然后，方法返回605。否则，方法在685处结束。

图8示出用于预测目标图像的第一级和第二级滤波器的示例。第一级滤波器820在预测每个目标像素x时作用于不规则的运动向量模式和参考图像810，以生成目标图像830的预测。第一级滤波器820使用不规则的滤波器抽头结构(如820中方框所示)来生成预测。第二级滤波器840使用以目标像素为中心的规则滤波器抽头结构来增强预测图像。例如，第二级滤波器840使用最小二乘滤波器842来预测目标图像850中的目标像素，并使用最小二乘滤波器844来预测目标图像850中的目标像素x，以形成补偿图像860。

在一个实施例中，最小二乘分类滤波器被时间预测滤波过程用于编码视频数据的图像(或帧，或场)，如图9所示。在910，编码器接收输入目标图像。(在编码过程期间，编码器可获得一组包含与目标图像相关的解码图像数据的参考图像，并且在解码过程期间，解码器也可获得这组参考图像。)在920，编码器生成与目标图像相关联的运动向量的采样或分布。就是说，在给定N个运动向量的情况下，这N个运动向量被置于目标图像中。运动向量的位置一般适应于图像内容中的运动区域，从而产生不规则的运动向量模式，如图3所示。在930，采样模式信息(例如代表模式的比特)被发送到解码器。很多方法可被用于生成适应性采样模式。

在940，时间预测滤波过程被应用到不规则的运动采样模式。这个带有最小二乘分类训练的两级适应性滤波过程使用运动向量、不规则的采样模式和参考图像来生成目标图像的预测。在950，运动向量值被编码并被发送到解码器。在960，生成残差(residual)，该残差是目标图像的实际目标数据减去来自适应性滤波过程的预测误差。在970，残差被编码，并且在980，残差被发送到解码器。

在另一实施例中，最小二乘分类滤波器被用于解码视频数据的图像(或帧，或图像)，如图10所示。在1010，经编码的残差被接收。在1020，解码器对接收的编码残差进行解码。在1030，解码器接收采样模式信息，参考图像和运动向量值。然后，在1040，解码器应用两级适应性时间滤波器过程以生成时间预测。在1050，通过将解码的残差添加到时间预测生成经解码的目标图像。

图11示出使用适应性时间预测滤波器的系统的示例。数字视频照相机1110捕获电子形式的图像，并利用压缩设备1120对图像进行处理，压缩设备1120在压缩和编码过程期间使用该适应性时间滤波过程。经编码的图像通过电子传输介质1130被发送到数字重放设备1140。图像通过解码设备1150被解码，解码设备1150在解码过程期间使用该滤波器。照相机1110例如是包括本发明的实施例的各种图像处理装置(例如其他图像捕获设备、图像编辑器、图像处理器、个人和商业计算平台等等)。类似地，解码设备1150例如是解码图像数据的各种设备。

虽然就特定系统环境中的实施例描述了本发明，但是本领域技术人员将会意识到，本发明经过修改可以在其他不同的硬件和软件环境中实施，它们均落在所附权利要求书的精神和范围内。

Claims (11)

1.一种用于执行时间预测的方法，包括：

使用不规则的滤波器抽头来产生整个目标图像的预测，所述预测包括预测系数，其中所述不规则的滤波器抽头是从不规则的运动向量模式和多个影响区域单元生成的；

对所述预测系数执行最小二乘训练，以针对所述整个目标图像产生一组最小二乘滤波器系数；

通过针对每个影响区域单元选择对于该影响区域单元具有最小预测误差的最小二乘滤波器系数来生成分类图，其中每个影响区域单元被映射到相应的最小二乘滤波器系数；

利用映射到每个影响区域单元的最小二乘滤波器系数来针对每个影响区域单元单独地重新训练所述预测系数；以及

使用经重新训练的预测系数来增强所述目标图像的预测。

2.如权利要求1所述的方法，还包括：

重新生成所述分类图并且重新训练所述经重新训练的预测系数，直到最小二乘预测误差饱和为止。

3.如权利要求1所述的方法，还包括：

使用增强的预测来修改所述多个影响区域单元，以包括具有类似空间纹理的像素。

4.一种用于执行时间预测的装置，包括：

不规则滤波器抽头，其产生整个目标图像的预测，所述预测包括预测系数，其中所述不规则滤波器抽头是从不规则的运动向量模式和多个影响区域单元生成的；

最小二乘训练器，其对所述目标图像的预测执行最小二乘训练，以针对所述整个目标图像产生一组最小二乘滤波器系数；

图生成器，其生成分类图，该分类图针对每个影响区域单元选择对于该影响区域单元具有最小预测误差的最小二乘滤波器系数，其中每个影响区域单元被映射到相应的最小二乘滤波器系数；

重训练器，其利用映射到每个影响区域单元的最小二乘滤波器系数来针对每个影响区域单元单独地重新训练所述预测系数；以及

预测增强器，其使用经重新训练的预测系数来增强所述目标图像的预测。

5.如权利要求4所述的装置，其中所述重训练器还包括：

最小二乘误差减小器，其重新训练所述经重新训练的预测系数，直到最小二乘预测误差饱和为止。

6.如权利要求4所述的装置，还包括：

单元修改器，其使用增强的预测来修改所述多个影响区域单元，以包括具有类似空间纹理的像素。

7.如权利要求6所述的装置，还包括：

预测误差减小器，其使用经修改的影响区域单元和所述不规则滤波器抽头来减小所述目标图像的预测的预测误差。

8.一种用于执行时间预测的装置，包括：

用于使用不规则的滤波器抽头来产生整个目标图像的预测的装置，所述预测包括预测系数，其中所述不规则的滤波器抽头是从不规则的运动向量模式和多个影响区域单元生成的；

用于对所述预测系数执行最小二乘训练，以针对所述整个目标图像产生一组最小二乘滤波器系数的装置；

用于通过针对每个影响区域单元选择对于该影响区域单元具有最小预测误差的最小二乘滤波器系数来生成分类图的装置，其中每个影响区域单元被映射到相应的最小二乘滤波器系数；

用于利用映射到每个影响区域单元的最小二乘滤波器系数来针对每个影响区域单元单独地重新训练所述预测系数的装置；以及

用于使用经重新训练的预测系数来增强所述目标图像的预测的装置。

9.如权利要求8所述的装置，还包括：

用于重新训练所述经重新训练的预测系数，直到最小二乘预测误差饱和为止的装置。

10.如权利要求8所述的装置，还包括：

用于使用增强的预测来修改所述多个影响区域单元，以包括具有类似空间纹理的像素的装置。

11.如权利要求10所述的装置，还包括：

用于使用经修改的影响区域单元和所述不规则的滤波器抽头来减小所述目标图像的预测的预测误差的装置。

Images