CN1378385A

CN1378385A - 用于共同实施数据的后处理和解码的设备

Info

Publication number: CN1378385A
Application number: CN02118094A
Authority: CN
Inventors: C·米罗; 索罗拉; A·格斯诺特; J·E·卡维德斯
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Koninklijke Philips NV
Priority date: 2001-03-27
Filing date: 2002-03-23
Publication date: 2002-11-06
Anticipated expiration: 2022-03-23
Also published as: US20020196856A1; FR2823050A1; JP2002354481A; EP1246471A1; KR20020076166A; US6909751B2; CN1213609C

Abstract

本发明涉及一种用于处理包括在一序列根据一种基于块编码技术编码的数字图象(ES)中的已编码数据块的设备,所述设备包括一个后处理电路DFD(33)。这样一种设备在最小化所使用的带宽的同时,有效地校正该分块失真,因为该解码器直接地向该后处理电路传输已解码的数据块(B)。此外,这样一种设备在解码期间没有引入任何偏差,或者少量引入,因为该解码器在运动补偿步骤期间沿用参考图像(RB)。这是因为当该后处理电路位于该解码回路中时,该参考图像不再是已解码图像,而是已完全处理的图象。

Description

用于共同实施数据的后处理和解码的设备

发明领域

本发明涉及一种用于处理编码数据块的方法和设备，该编码数据块被包括在一序列根据一种基于块的编码技术编码的数字图像内。

这出现在分块校正的应用中，该分块校正出现在根据一种基于块编码技术例如MPEG(运动图象专家组)标准先被编码的、然后被解码的一序列数字图像中，该校正减少了由基于块编码技术所引起的这种失真的可见度。

现有技术

由Hoon Paek和Sang-UK Lee在1996年9月16日于瑞士洛桑市举办的第三届IEEE图像处理国际会议记录(Proceedings of 3rd IEEE International Conferenceon Image Processing)12卷的53页一56页公开的题为“A projection-basedpost-processing post-processing technique to reduce blocking artifacts using a priorinformation on DCT coefEcients of adjacent blocks”的文章中描述了一种对包括在一数字图象内的数据进行处理的方法。

这样一种数据处理方法包括下列步骤，在图1中示出，也就是：

-利用该例子中使用的N＝8计算一个N个像素的第一部分(u)的第一离散余弦变换DCT1(11)，结果产生一个第一变换部分U，

-计算一个N个像素的第二部分(v)的第一离散余弦变换DCT1(12)，该第二部分邻接于该第一部分，结果产生第二变换部分V，

-以U和V的最大频率ku和kv的一个函数确定一个预测的最大频率(kpred)的步骤(13)，如下：kpred＝2.max(ku，kv)+2

其中，ku＝max(k∈{0，…，N-1}/U(k)≠0)，

kv＝max(k∈{O，…，N-1}/V(k)≠O)，而且

max是给出一组给定值中的最大值k的函数，

-步骤(15)，处理一个包括2N个像素即我们例子中的16个像素的连接部分(w)，并且相应于第一部分(u)和第二部分(v)的该连接(14)，所述处理步骤包括以下子步骤：

-计算该连接部分(w)的第二离散余弦变换DCT2(16)，结果产生一个已变换的连接部分W，

-通过调零校正(17)该已变换的数据W(k)，其频率k是奇数的、并且大于该预测的最大频率(kpred)，从而提供一个已校正的已变换连接部分Wc，

-计算该已校正的已变换部分Wc的一个逆离散变换IDCT2(18)，从而提供一个已校正的连接部分(cw)。

发明概要

本发明的一个目的是提出一种允许一种对包括在一序列根据一种基于块编码技术编码的数字图象中的编码数据块进行处理的体系结构，它在处理期间使用了较低容量的数据传输。

实际上，现有技术中描述的该处理方法意图是在解码器的输出端实施。在相应于对一个被称为B图像的使用双向预测编码的图像进行解码的最不利场合中，使用参考图2所描述的这样一种方法的体系结构的运行，要求两个参考图像(RP)，它们通过一条数据总线从一个接口存储器(22)传送给一个解码器(21)。该解码器根据一个已编码图像(ES)向该接口存储器提供一个已解码图像(DP_k+1)。在解码的同时，由一个实施现有技术的该方法的后处理电路(22)处理一个已经被解码的图像(DP_K)，所述电路向该接口存储器提供一个已处理图象(CP_k)。在该处理的同时，一个已经存储在该接口存储器的图像(CP_k-1)由一个显示设备(DIS)显示在一个屏幕上。这样一种体系结构就传输容量而言是代价很高的，因为该数据总线的带宽至多是6个图像(一个图像，以一种4∶2∶2编码格式，相应于216Mbit/s的带宽)，即由该解码器读取的两个参考图像，一个由该解码器解码的图像，一个由该后处理电路读取的已解码图像，一个已处理的图像和一个由该显示设备读取的图像。

为了缓和这些缺点，如开头段落所描述的这种编码数据块处理设备特征在于它包括：

-一个后处理电路，能实行对一个图像的数据块的一个水平处理，与对所述块的一个垂直处理相联系，该水平或者垂直处理包括对第一块的一个统一处理、对与所述第一块邻接的第二块的一个统一处理、以及对第一和第二块的连接的一个双重处理，该后处理电路能够提供包括已完全处理、已部分处理和预处理数据块的已处理数据的连接块，该预处理数据用于由该后处理电路再使用，

-一个解码单元，能接收该已编码数据块并向后处理电路提供已解码数据块，

--一个存储器接口，能向该后处理电路提供已经被部分处理的数据块，并存储用于由该后处理电路执行后续处理的该部分已处理数据块、以及用于显示在一个屏幕上的该完全已处理数据块。

这样一种设备在最小化所使用的带宽的同时使有效地校正该分块失真成为可能，因为该解码器直接地向该后处理电路传输该已解码数据块。此外，这样一种设备在解码期间没有引入任何偏差，或者仅仅是轻微地引入，因为该解码器在运动补偿期间沿用参考图像。这是因为，该后处理电路位于解码回路内，该参考图像不再是已解码图像而是已完全处理的图象。

在本发明的一个尤其有利的实施例中，该数据处理设备还包括：

-一个内部输入存储器，能进一步加载已解码的和已部分处理的数据块，用于由该后处理电路作进一步处理，

-一个内部输出存储器，能存储过去的由该后处理电路已处理的和已部分处理的数据块，该后处理电路能实行对包含在内部输入存储器中的已解码、已部分处理的和预处理的数据的当前块的一种当前处理。

因此，这种根据一种流水线原理运行的数据处理设备，以一种最佳方式使用内部存储器的很微少的资源，所述存储器是相当昂贵的。所以这样一种解决方案是特别经济的。

附图简要说明

将参照附图中示出的实施例进一步说明本发明，但本发明并不局限于此，其中：

图1示出了相应于现有技术的一种分块失真校正方法；

图2描述了一个直接实施现有技术中定义的该分快失真校正方法的例子；

图3描述了根据本发明实行一种数据处理的一个体系结构，其中一个实行分块失真校正方法的后处理电路能够直接处理自解码器流出的数据；

图4描述了根据本发明实行一种数据处理的一个体系结构，其中该后处理电路能直接处理自解码器流出的亮度数据；

图5描述了一种根据流水线原理运行的数据处理体系结构的一个有利的

实施例；

图6图示了根据本发明的该后处理电路的运行；以及

图7示出了在由根据本发明的该后处理电路执行的一个数据处理周期期间内，属于一个图像的数据块的连续状态。

本发明的至少一个实施例的详细公开

本发明涉及一种被称为DFD(“DCT频率分块”)方法的数据块后处理方法的实施。如前面所见到的，该方法为了校正由于编码技术而引起的视觉失真，实行对一序列根据一种基于块编码技术编码的图像的一种完全处理。该后处理方法可以根据现有技术中描述的原理来实施。

在本发明的一个最佳实施例中，它是通过引入根据以下原理得到的滤波阈值来实施的：

kumax＝max(k({0，……，N-1}/abs(U(k))＞T)

kumax＝max(k({0，……，N-1}/abs(V(k))＞T)

其中T是一个不为零的阈值。

因此，该确定步骤(13)从该阈值T的引入中实行对所预测的最大频率(kpred)的更多精确的计算，这允许对分块失真作更有效的校正。该阈值T的值是部分U和v的尺寸的函数。这是因为可能仅仅处理该部分U和v的一些像素，例如偶数列或者奇数列的像素。

该校正步骤COR(17)最好包括一个子步骤，根据初始部分u和v以及已变换部分U和V的像素值检测自然轮廓。该子步骤使得辨别分块失真的自然轮廓成为可能。为此，如果满足以下两个条件就检测到了一个自然轮廓：

-在一个块边界的每个边上的部分u和v的像素的平均值与一个高位值不同，大于M，

-该部分U和V具有低活跃性的性质，这产生一个事实即该值Ku和kv是低的并且小于一个值k0。

该数据块后处理方法还至少包括对一个图像的一个水平处理H，与对所述图像的至少一个垂直处理V相联系。这是因为分块失真可以在块的边界即在该块垂直或者水平划界的四个部分上出现，一个根据MPEG标准编码的数据块通常包括8个有8个像素的行。如果该图像被沿水平方向处理，则将检测到垂直方向的分块失真；相反，如果图像被沿垂直方向处理，则将检测到水平方向的分块失真。

如果该图像由两个帧组成，该数据块后处理方法被连续应用到组成该图像的两个帧中的每一个上。它最好是被应用到该数字图象所包含的亮度数据。就一切情况而论，该数据块后处理方法根据处理方向被逐行或逐列地应用到第一数据块和与它邻接的第二数据块上。

实施该后处理方法的体系结构包括四个主要步骤：

-一个N个像素的部分的第一离散余弦变换DCT1，相当于N²次乘法和N²次加法，

-一个2N个像素的部分的第二离散余弦变换DCT2，相当于4N²次乘法和4N²次加法，

-对长度为2N的已变换部分的一个校正COR，相当于4次加法，以及

-一个2N个像素的部分的一个逆离散余弦变换IDCT2，相当于4N²次乘法和4N²次加法。

为了获得对该图像的一个完全处理，使得既校正水平块失真又校正垂直块失真成为可能，为每一块进行：

-四次第一离散余弦变换DCT1，两个在水平方向而两个在垂直方向，即为一个完整图像进行203,328次变换，相当于每秒钟5.09百万次基本操作，

-两次第二离散余弦变换DCT2，一个在水平方向而一个在垂直方向，即为一个完整图像进行101,664次变换，相当于每秒钟2.55百万次基本操作，

-两次已变换部分的校正COR，每一个方向一次，即为一个完整图像进行101,664次校正，相当于每秒钟2.55百万次基本操作，

-两次逆离散余弦变换IDCT2，同样是每一个方向一次，即为一个完整图像进行101,664次变换，相当于每秒钟2.55百万基本操作。

图3描述了根据本发明实行一个数据处理的体系结构(30)。这样一个体系结构包括：

-一个实行对分块失真的校正的后处理电路DFD(33)，能实行对一个图像的数据块的一个水平处理，与对所述块的一个垂直处理相联系，该水平或者垂直处理包括对第一块的一个统一处理、对与所述第一块邻接的第二块的统一处理、以及对第一和第二块的连接的双重处理，该后处理电路能够提供包括已完全处理数据块(Bc)、已部分处理数据块(Bi_k+1)和预处理数据块(Bb)的已处理数据的连接块，该预处理数据用于由该后处理电路再使用，

-一个解码单元DEC(21)，能接收已编码数据块，并直接向后处理电路提供包含已解码数据块的宏块，

-一个存储器接口MI(32)，能向解码单元提供相应于由后处理电路完全处理的块的参考数据块(RB)，用于对一个当前宏块解码，能向该后处理电路提供已部分处理的数据块(Bi_k)，并存储该用于由该后处理电路进行后续处理的已部分处理数据块(Bi_k+1)、以及用于显示在一个屏幕DIS(24)上的该已完全处理数据块(Bc)。

在图4中描述的本发明的一个最佳实施例中，通过宏块实行对宏块解码的解码单元DEC(21)，能够向后处理电路传输4个亮度数据块(YB)，以及向存储器接口MI(32)传输就一个4∶2∶2图象格式来说是4个的色度块。

该后处理电路DFD(33)能够提供已处理的亮度数据的连接块，它包括4个已完全处理数据块(YBc)，2个已部分处理数据块(YBi_k+1)，和2个由该后处理再使用预处理数据块(YBb)。

该存储器接口能够向解码单元提供参考数据块(RB)，而向后处理电路提供两个已部分处理的亮度数据块(YBi_k)，并存储用于由后处理单元进行的后续处理的2个已部分处理数据(YBi_k+1)以及用于显示在一个屏幕DIS(24)上的4个已完全处理的数据块(YBc)。

由此，在仅仅处理亮度数据的例子中，所使用的带宽最大值为4.5个图像，而在处理亮度和色度数据的例子中为5个图像，即如本发明的公开中所描述的，将给出略微小于直接处理所用带宽的带宽。

此外，这样一种数据处理体系结构向解码单元提供对应于已由后处理电路完全处理的块的参考数据块，以使它能实行一种运动补偿。在解码期间使用已完全处理的数据块有时可能回引起一种轻微的偏差。于是一种在这里没有示出的控制设备可以禁止该后处理电路使用由该解码单元提供的对图象类型的指示。例如该控制设备可以禁止该后处理电路处理一序列包括一定数目的连续预测编码图像P的图像，这样一种体系结构可以在解码期间成为偏差源。

图5描述了一个根据本发明的数据处理体系结构的有利的实施例。该体系结构根据一种流水线原理运行。当该后处理电路DFD(33)处理存储在一内部输入存储器(51)中的该当前数据块(Bi_k，B，Bb)时，自解码单元(21)和存储器接口(32)流出的进一步的数据块(nB，nBi_k)被存储在该内部输入存储器中。

在该后处理电路的输出端，一个内部输出存储器(52)包含已由该后处理电路处理的(pBc)和部分处理的(pBi_k+1)过去的数据块，目的在于将它们传输给该存储器接口。

图6图示了在一个处理周期期间内，根据本发明的该后处理电路的运行。

从时间t到时间(t+1)，该后处理电路DFD将以所指示的顺序实行以下处理：

-对4个块BH[i-1，j]、BH[i-1，j+1]、BH[i，j]和BH[i，j+1]的第一水平处理H1，从而提供块BHH[i-1，j]，BHH[i-1，j+1]，BHH[i，j]和BHH[i，j+1]，

-对4个块BH[i，j]、BH[i，j+1]、BH[i+1，j]和BH[i+1，j+1]的第二水平处理，从而提供块BHH[i，j]、BHH[i，j+1]、BHH[i+1，j]和BHH[i+1，j+1]，

-对4个块BHHV[i-1，j-1]、BHHV[i，j-1]、BHHV[i-1，j]和BHHV[i，j]的第一垂直处理V1，从而提供块BHHVV[i-1，j-1]、BHHVV[i，j-1]、BHHVV[i-1，j]和BHHVV[i，j]，以及

-对4个块BHHV[i-1，j]、BHHV[i，j]、BHHV[i-1，j+1]和BHHV[i，j+1]的第二垂直处理V2，提供块BHHVV[i-1，j]、BHHVV[i，j]、BHHVV[i-1，j+1]和BHHVV[i，j+1]。

图7示出了在由根据本发明的后处理电路执行一个数据处理周期期间内，属于一个图像的数据块的连续状态。

该内部输入存储器在相应于第一状态(S1)的时间t包含下列14个块：

-4个用于加载来自于解码器的块：B[i+1，j]，B[i+3，j]B[i+2，j+1]和B[i+3，j-1]，

-2个用于加载来自于接口存储器的数据的块：BHHV[i+1，j-1]和BHHV[i+2，j-1]，

-4个用于由该DFD处理的块：B[i，j]，B[i+1，j]，B[i，j+1]和B[i+1，j+1]，

-2个预处理的块，即在前一时间(t-1)被水平处理的，用于由该DFD执行的一个新的处理：BHHV[i-1，j-1]和BHHV[i，j-1]，以及

-2个用于由该DFD处理、已经在前一行处理过的块：BHHV[i-1，j-1]和BHHV[i，j-1]。

该内部输出存储器同时包含以下6个块：

-2个由该DFD垂直处理V1后的块：BHHVV[i-3，j-1]和BHHVV[i-2，j-1]，用于被发送给该显示装置，

-1个由DFD水平处理H1和垂直处理V1和V2后的块BHHVV[i-3，j]，用于被发送给该显示装置，

-1个由DFD水平处理H1和垂直处理V2后的块BHHV[i-3，j+1]，用于被发送给该接口存储器，

-1个由DFD水平处理H1和H2以及垂直处理V1和V2后的块BHHVV[i-2，j]，用于被发送给该显示装置，以及

-1个由DFD水平处理H1和H2以及垂直处理V2后的块BHHV[i-2，j+1]，用于被发送给该接口存储器。

根据本发明的该数据处理设备在这个结构中使用最优化的存储器资源，在最佳实施例中该内部输入存储器具有7千字节，而该内部输出存储器具有3千字节。

在第一水平处理H1以后，相应于第二状态(S2)，获得块BHH[i-1，j]，BHH[i-1，j+1]，BH[i，j]和BH[i，j+1]。

在第二水平处理H2以后，相应于第三状态(S3)，获得块BHH[i，j]，BHH[i，j+1]，BH[i+1，j]和BH[i+1，j]。

在第一垂直处理V1以后，相应于第四状态(S4)，获得块BHHVV[i-1，j-1]，BHHVV[i，j-1]，BHHV[i-1，j]和BHHV[i，j]。

最后，在第二垂直处理V2以后，相应于第五状态(S1’)，获得块BHHVV[i-1，j]，BHHVV[i，j]，BHHV[i-1，j+1]和BHHV[i，j+1]。

如先前描述的，根据本发明的该数据处理体系结构(30，40)可以以集成电路的形式生产，或者以加载在一个或多个电路上的软件形式生产。该软件使用一种已编码数据块处理方法，它重复图3中的功能块。因此所述方法包括以下步骤：

-一个后处理步骤(33)，实行对一个图像的数据块的一个水平处理，与对所述块的一个垂直处理相联系，该水平或者垂直处理包括对第一块的一个统一处理、对与所述第一块邻接的第二块的统一处理、以及对第一和第二块的连接的双重处理，该后处理步骤能够提供包括已完全处理(Bc)、已部分处理(Bik+1)和预处理(Bb)数据块的已处理数据的连接块，该预处理数据用于由该后处理步骤再使用，

-解码步骤(21)，接收已编码数据块，并在后处理步骤提供已解码数据块(B)，

-存储步骤(32)，用于提供在后处理步骤已部分处理的数据块(Bi_k)，并存储用于由该后处理步骤进行后续处理的该部分已处理数据块(Bi))、以及用于显示在一个屏幕(24)上的该完全已处理数据块(Bc)。

因此这样一种数据处理方法最小化访问一存储器需要的时间，从而最优化该方法执行时间。

存在许多用软件方式实施所描述功能的方法。在这点上，图3和4被高度示意化，每一幅图仅仅描述了一个实施例。所以，虽然一个图以单独的块的形式示出不同的功能，这并没有排除执行若干功能的单一软件。也没有排除能够由一组软件执行的功能。

可以通过一个视频解码器电路或者一机顶盒电路来实施这些功能，所述电路被适宜地编程。包含在一个程序存储器中的一组指令可以令该电路执行如上参照图3和4所述的不同操作。还可以通过读取一个数据载体例如一个包含该组指令的磁盘将一组指令存入该程序存储器。还可以通过一个通信网络比如因特网来实行该读取操作。在这种情况下，一个服务供应商将使当事人可以使用该组指令。

在本文中不应该局限的理解括弧内任何附图标记。该动词“包括”和它的动词的词形变化没有排除那些列在句子中的元件或者步骤以外的其它步骤或者元件的存在。在一元件或者一步骤之前的词“一”没有排除若干这样的元件或者步骤的存在。

Claims

1.一种用于处理包括在一序列根据一种基于块编码技术编码的数字图象(ES)中的已编码数据块的设备，所述设备包括：

-一个后处理电路(33)，能实行对一个图像的数据块的一个水平处理，与对所述块的一个垂直处理相联系，该水平或者垂直处理包括对第一块的一个统一处理、对与所述第一块邻接的第二块的统一处理、以及对第一和第二块的连接的双重处理，该后处理电路能够提供包括已完全处理(Bc)、已部分处理(Bi_k+1)和预处理(Bb)的数据块的已处理数据的连接块，该预处理数据用于由该后处理电路再使用，

-一个解码单元DEC(21)，能接收已编码数据块，并向后处理电路提供已解码数据块，

-一个存储器接口(32)，能向该后处理电路提供已部分处理的数据块(Bi_k)，并存储用于由该后处理电路执行后续处理的部分已处理数据块(Bi_k+1)、以及用于显示在一屏幕(24)上的已完全处理数据块(Bc)。

2.一种如权利要求1所述的数据处理设备，还包括：

-一个内部输入存储器(51)，能加载用于由该后处理电路(33)进一步处理的进一步的已解码的数据块(nB)和已部分处理的数据块(nBi_k)，以及

-一个内部输出存储器(52)，能存储过去的已由该后处理电路处理的数据块(pBc)和部分处理的数据块(pBi_k+1)，该后处理电路能够实行一种对包含在该内部输入存储器中的已解码的(B)、部分已处理的(Bi_k)和预处理的(Bb)数据的当前块进行当前处理。

3.一种用于处理自一个解码单元(21)流出的数据块的电路(33)，能实行对这些数据块的一个水平处理，与对所述块的一个垂直处理相结合，该水平或者垂直处理包括对第一块的一个统一处理、对与所述第一块邻接的第二块的统一处理、以及对第一和第二块的连接的双重处理，该后处理电路能够提供包括已完全处理(Bc)、部分已处理(Bi_k+1)和预处理(Bb)的数据块的已处理数据的连接块，该预处理数据用于由该处理电路再使用，并且该已处理数据块(Bc，Bi_k+1)用于被传输给一个接口存储器(32)。

4.一种用于对包括在一序列根据一种基于块编码技术编码的数字图象(ES)中的已编码数据块进行处理的方法，所述方法包括步骤：

-后处理步骤(33)，用于实行对一个图像的数据块的一个水平处理，与对所述块的一个垂直处理相联系，该水平或者垂直处理包括对第一块的一个统一处理、对与所述第一块邻接的第二块的统一处理、以及对第一和第二块的连接的双重处理，该后处理步骤能够提供包括已完全处理(Bc)、部分已处理(Bi_k+1)和预处理(Bb)数据块的已处理数据的连接块，该预处理数据yy被由该后处理步骤再使用，

-解码步骤(21)，用于接收该已编码的数据块，并用于在后处理步骤提供已解码数据块(B)，

-存储步骤(32)，用于在后处理步骤提供已部分处理的数据块(Bi_k)，并存储用于由该后处理步骤执行后续步骤的部分已处理数据块(Bi_k+1)、以及用于显示在一个屏幕(24)上的已完全处理数据块。

5.一种用于一个视频解码器的“计算机程序”产品，该产品包括一组指令，当它们被载入该视频解码器时，使视频解码器实行如权利要求4所述的处理已编码数据块的方法。

6.一种用于一个机顶盒的“计算机程序”产品，该产品包括一组指令，当它们被载入该机顶盒时，使机顶盒实行如权利要求4所述的处理已编码过程码数据块的方法。