CN101507277B - 图像编码/解码方法和设备 - Google Patents

Abstract

提供一种图像编码/解码方法和设备，其中，使用颜色分量图像之间的相关性从不同的颜色分量图像预测输入图像的多个颜色分量图像中的一个，并且根据输入图像的特性自适应地确定多个颜色分量图像的编码顺序。在图像编码方法和设备中，比较根据编码顺序使用先前编码的颜色分量图像预测的剩余颜色分量图像的预测误差或产生的比特量，以确定最佳编码顺序，并且根据确定的编码顺序使用颜色分量图像之间的相关性执行编码。

Description

图像编码/解码方法和设备

技术领域

与本发明一致的设备和方法涉及图像编码和解码，更具体地说，涉及图像编码和解码，其中，使用颜色分量图像之间的相关性从不同颜色分量图像预测输入图像的多个颜色分量图像中的一个，并且根据输入图像的特性自适应地确定所述多个颜色分量图像的编码顺序。

背景技术

通常，当捕获图像时，捕获的原始图像是红、绿和蓝(RGB)颜色格式。为了对RGB颜色格式图像进行编码，将RGB颜色格式图像变换为YUV(或YCbCr)颜色格式。Y是黑-白图像，并且具有亮度分量，U(或Cb)和V(或Cr)具有颜色分量。在RGB图像的R、G和B中，信息均匀地分布，但是在YUV(或YCbCr)图像中，信息集中在Y中，并且U(或Cb)和V(或Cr)中的信息量少。因此，能够以高压缩率压缩YUV(或YCbCr)图像。为了进一步提高压缩率，通常使用通过以1∶4的比率对YUV(或YCbCr)图像的颜色分量U(或Cb)和V(或Cr)进行采样获得的YUV(或YCbCr)4:2:0图像。

然而，由于在YUV(或YCbCr)4:2:0图像中U(或Cb)和V(或Cr)的1/4采样引起了颜色失真，因此不适合提供高显示质量。因此，期望一种对YUV(或YCbCr)4:4:4图像进行有效编码而不对U(或Cb)和V(或Cr)进行采样的方法。近来，已经提出了直接对RGB 4:4:4图像进行编码以去除将RGB图像变换成YUV(或YCbCr)图像中出现的颜色失真的残余颜色变换(residual color transform，RCT)。

当使用现有技术中的编码方法直接对类似于YUV(或YCbCr)4:4:4图像和RGB 4:4:4图像的其颜色分量具有相同分辨率的图像进行编码时，编码效率降低。因此，在对YUV(或YCbCr)4:4:4图像进行编码或在RGB域中对RGB图像进行编码而不变换成YUV(或YCbCr)格式的情况下，期望一种在通过基于图像的统计特性的预测来保持高显示质量的同时提高编码效率的方法。

发明内容

技术方案

本发明提供一种图像编码/解码方法和设备，其中，当使用RGB颜色分量图像之间的相关性从不同颜色分量图像预测形成输入RGB颜色格式图像的多个RGB颜色分量图像中的一个而不将RGB颜色格式图像变换为另一颜色格式时，根据RGB颜色格式图像的特性以预定的编码单元确定所述RGB颜色分量图像的编码顺序，从而提高编码效率。

有益效果

根据本发明的示例性实施例，使用形成单个图像的多个颜色分量图像之间的相关性执行预测编码，从而提高编码效率。

此外，根据本发明的示例性实施例，在RGB域对RGB输入图像执行编码而不变换为YUV域，从而防止在将RGB图像变换为另一颜色格式期间中的颜色失真，因此提高显示质量。

附图说明

图1A至图1C示出单个颜色图像的红(R)颜色分量图像、绿(G)颜色分量图像和蓝(B)颜色分量图像；

图2A是示出图1B的G颜色分量图像和图1C的B颜色分量图像之间的相关性的示图；

图2B是示出图1A的R颜色分量图像和图1B的G颜色分量图像之间的相关性的示图；

图3是根据本发明的示例性实施例的图像编码设备的框图；

图4是示出根据本发明的示例性实施例的图像编码方法的流程图；

图5A示出包括在输入图像中的G颜色分量图像的16×16像素块；

图5B示出包括在输入图像中的B颜色分量图像的16×16像素块；

图5C示出包括在输入图像中的R颜色分量图像的16×16像素块；

图6A示出G颜色分量图像的16×16像素块以及所述16×16像素块的邻近像素块的像素值；

图6B示出B颜色分量图像的16×16像素块以及所述16×16像素块的邻近像素块的像素值；

图6C示出R颜色分量图像的16×16像素块以及所述16×16像素块的邻近像素块的像素值；

图7A示出使用检测的边缘划分G颜色分量图像的16×16像素块的示例；

图7B示出使用检测的边缘划分B颜色分量图像的16×16像素块的示例；

图7C示出使用检测的边缘划分R颜色分量图像的16×16像素块的示例；

图8A示出使用检测的边缘划分的G颜色分量图像的16×16像素块及其邻近像素值；

图8B示出使用检测的边缘划分的B颜色分量图像的16×16像素块及其邻近像素值；

图8C示出使用检测的边缘划分的R颜色分量图像的16×16像素块及其邻近像素值；

图9A示出根据本发明的在图像编码方法和设备中8×8像素块的处理顺序；

图9B示出根据本发明的在图像编码方法和设备中4×4像素块的处理顺序；

图10是根据本发明的另一示例性实施例的图像编码设备的框图；

图11是示出根据本发明的另一示例性实施例的图像编码方法的流程图；

图12是根据本发明的示例性实施例的图像解码设备的框图；以及

图13是示出根据本发明的示例性实施例的图像解码方法的流程图。

最佳模式

根据本发明的一方面，提供一种用于对包括在输入图像中的多个颜色分量图像进行编码的图像编码方法。所述图像编码方法包括：根据预定的编码顺序使用与先前编码的颜色分量图像的相关性，产生多个颜色分量图像之中首先编码的第一颜色分量图像之后的剩余颜色分量图像的每一个的预测图像；计算剩余颜色分量图像和与其相应的产生的预测图像之间的预测误差，以确定与最小预测误差相应的编码顺序；以及根据确定的编码顺序对所述多个颜色分量图像进行编码。

根据本发明的另一方面，提供一种用于对包括在输入图像中的多个颜色分量图像进行编码的图像编码方法。所述图像编码方法包括：根据预定的编码顺序使用与先前编码且重建的颜色分量图像的相关性，产生多个颜色分量图像之中首先编码的第一颜色分量图像之后的剩余颜色分量图像的每一个的预测图像；将对第一颜色分量图像的残余进行编码时产生的比特量以及对与剩余颜色分量图像的每一个和产生的每个编码顺序的预测图像之间的差相应的残余进行编码时产生的比特量求和；以及比较与编码顺序相应的求和结果以确定与最小求和结果相应的编码顺序。

根据本发明的另一方面，提供一种用于对包括在输入图像中的多个颜色分量图像进行编码的图像编码设备。所述图像编码设备包括编码顺序确定单元和编码单元。所述编码顺序确定单元根据预定的编码顺序使用与先前编码的颜色分量图像的相关性，产生多个颜色分量图像之中首先编码的第一颜色分量图像之后的剩余颜色分量图像的每一个的预测图像，计算剩余颜色分量图像和与其相应的产生的预测图像之间的预测误差，以确定与最小预测误差相应的编码顺序。所述编码单元根据确定的编码顺序对所述多个颜色分量图像进行编码。

根据本发明的另一方面，提供一种用于对包括在输入图像中的多个颜色分量图像进行编码的图像编码设备。所述图像编码设备包括相关性预测单元和编码顺序确定单元。所述相关性预测单元根据预定的编码顺序使用与先前编码且重建的颜色分量图像的相关性，产生多个颜色分量图像之中首先编码的第一颜色分量图像之后的剩余颜色分量图像的每一个的预测图像。所述编码顺序确定单元将对第一颜色分量图像的残余进行编码时产生的比特量以及对与剩余颜色分量图像的每一个和产生的每个编码顺序的预测图像之间的差相应的残余进行编码时产生的比特量求和，并且比较与编码顺序相应的求和结果以确定与最小求和结果相应的编码顺序。

根据本发明的另一方面，提供一种用于对包括在比特流中的多个编码的颜色分量图像进行解码的图像解码方法。所述图像解码方法包括：接收包括多个编码的颜色分量图像的比特流；从所述比特流提取所述多个颜色分量图像的编码顺序信息；根据提取的编码顺序信息使用与先前解码的颜色分量图像的相关性，产生所述多个颜色分量图像之中首先编码的第一颜色分量图像之后的剩余颜色分量图像的每一个的预测图像；以及将包括在比特流中的剩余颜色分量图像的残余与产生的预测图像相加，从而对剩余颜色分量图像进行解码。

根据本发明的另一方面，提供一种用于对包括在比特流中的多个编码的颜色分量图像进行解码的图像解码设备。所述图像解码设备包括相关性预测单元和加法器单元。所述相关性预测单元根据从比特流提取的多个颜色分量图像的编码顺序信息使用与先前编码且重建的颜色分量图像的相关性，产生所述多个颜色分量图像之中首先编码的第一颜色分量图像之后的剩余颜色分量图像的每一个的预测图像。所述加法器单元将包括在比特流中的剩余颜色分量图像的残余与产生的预测图像相加，从而对剩余颜色分量图像进行解码。

具体实施方式

以下，参照附图来详细说明本发明的示例性实施例。

图1A至图1C示出单个颜色图像的R颜色分量图像、G颜色分量图像和B颜色分量图像，图2A是示出图1B的G颜色分量图像和图1C的B颜色分量图像之间的相关性的示图，图2B是示出图1A的R颜色分量图像和图1B的G颜色分量图像之间的相关性的示图。

通常，当对颜色图像进行编码时，对颜色分量图像的每一个执行预测编码，以去除每个颜色分量中的冗余信息。参照图1A至图1C，在相同位置，单个颜色图像的RGB颜色分量图像的像素具有相似的像素值，这还可以从图2A和图2B示出的示图中看出。

因此，根据本发明的示例性实施例，在形成图像的多个颜色分量图像中，根据预定的编码顺序，基于所述多个颜色分量图像之间的相关性，使用先前编码的颜色分量图像来预测已经首先编码的第一颜色分量图像之后的剩余颜色分量图像的每一个，以产生预测图像，并且基于与产生的预测图像和原始图像之间的差相应的预测误差以及在对颜色分量图像的每一个的残余进行编码期间产生的比特量，确定所述多个颜色分量图像的编码顺序。

图3是根据本发明的示例性实施例的图像编码设备的框图。为了解释方便，假设输入图像包括RGB的三基色图像。然而，根据本发明的示例性实施例的图像编码设备还可被应用到对包括多个颜色分量图像的其它颜色格式图像进行编码，而不限于对RGB颜色格式图像进行编码。

参照图3，图像编码设备包括：编码顺序确定单元310和编码单元320。编码顺序确定单元310包括相关性预测单元311、预测误差计算单元312和比较单元313。

为了对包括n个颜色分量图像的输入图像进行编码(其中，n是整数)，_nP_n编码顺序可用于对n个颜色分量图像进行编码。例如，对于在图1A至图1C中示出的包括RGB的三个颜色分量图像的输入图像，可根据₃P₃编码顺序(即，总共包括，GBR、GRB、BGR、BRG、RGB和RBG 6个编码顺序)对颜色分量图像进行编码。

相关性预测单元311根据可用预定编码顺序，使用在剩余颜色分量图像的每一个之前编码的颜色分量图像，对首先编码的第一颜色分量图像之后的剩余颜色分量图像的每一个，产生预测图像。稍后将更加详细地描述预测图像的产生。

预测误差计算单元312计算剩余颜色分量图像的每一个的原始图像与其预测图像之间的预测误差。对原始图像的像素值和预测图像的相应像素值，可使用绝对差的和(SAD)计算预测误差。

比较单元313比较与预定编码顺序相应的预测误差，以确定与最小预测误差相应的编码顺序。

编码单元320根据确定的编码顺序对颜色分量图像的每一个进行编码，以产生比特流。编码单元320可以是符合H.264和运动图像专家组(MPEG)标准的编码器。编码单元320将关于确定的编码顺序的信息和关于剩余颜色分量图像的每一个已经参照了哪个先前编码的颜色分量图像的信息插入到比特流的头，以允许解码器对所述比特流依次解码。

图4是示出根据本发明的示例性实施例的图像编码方法的流程图。

图5A示出包括在输入图像中的G颜色分量图像的16×16像素块510，图5B示出包括在输入图像中的B颜色分量图像的16×16像素块520，图5C示出包括在输入图像中的R颜色分量图像的16×16像素块530。值g_i，j、b_i，j和r_i，j指示G、B和R颜色分量图像的每一个的16×16像素块的第i行和第j列中的像素值。

当对G颜色分量图像、B颜色分量图像和R颜色分量图像依次进行编码时，相关性预测单元311使用首先被编码的G颜色分量图像作为参考图像产生B颜色分量图像的预测图像。相关性预测单元311使用先前编码的颜色分量图像(即，G颜色分量图像或B颜色分量图像)产生R颜色分量图像的预测图像，并且确定具有较小预测误差的预测图像作为R颜色分量图像的最终预测图像。例如，将描述使用G颜色分量图像产生R颜色分量图像的预测图像的处理。

如果G颜色分量图像的16×16像素块的第i行和第j列中的像素的像素值是g_i，j，与g_i，j相应的B颜色分量图像的像素块的第i行和第j列中的像素的像素值是b_i，j，指示G颜色分量图像和B颜色分量图像之间的相关性的预定权值是a，并且预定偏移值是b，则相关性预测单元311建立G颜色分量图像的像素值和B颜色分量图像的像素值之间的相关性模型，作为预测与G颜色分量图像的像素值相应的B颜色分量图像的像素值的第一顺序函数，所述第一顺序函数如下：

[等式1]

b_i，j＝a×g_i，j+b

(1)

当以八位表示图像的像素值时，通过等式1获得的预测像素值可被分成0至255之间的整数。等式1中的值a和b可根据像素的位置(i，j)而改变，但是在本发明的当前示例性实施例中假设预定块内值a和b为常数。例如，将a和b确定为使得B颜色分量图像的16×16像素块的原始像素值b_i，j与使用等式1预测的B颜色分量图像的预测像素值之间的差的和Sum of diff(r_B)最小化的值，Sum of diff(r_B)如下所示：

[等式2]

$\mathrm{Sum\; of\; diff}\left(r_B\right)=\underset{i,j=0}{\overset{15}{\mathrm{\Σ}}}{|b_{i,j}-(a\·g_{i,j}+b)|}^p---\left(2\right)$

其中，p是大于1的整数。或者，为了确定等式1中的a和b，可将a确定为1，可将b确定为B颜色分量图像的16×16像素块的原始像素值b_i，j与G颜色分量图像的像素块的像素值g_i，j之间的差的平均，b如下所示：

[等式3]

$b=\frac{\underset{i=0}{\overset{15}{\mathrm{\Σ}}}\underset{j=0}{\overset{15}{\mathrm{\Σ}}}(b_{i,j}-g_{i,j})}{256}---\left(3\right)$

一旦确定等式1中的常数a和b，相关性预测单元311就将G颜色分量图像的像素块的像素值g_i，j代入等式1，以预测B颜色分量图像的像素块的相应像素值。

可选地，为了确定等式2中的a和b，可使用基于统计学领域广泛使用的方法的线性回归模型。

与从G颜色分量图像预测B颜色分量图像类似，可使用先前编码的颜色分量图像(即，G颜色分量图像或B颜色分量图像)预测R颜色分量图像。G颜色分量图像和B颜色分量图像中引起较小预测误差的一个被确定为R颜色分量图像的最终参考图像。在这种情况下，编码的比特流必须包括关于R颜色分量图像已经参考G颜色分量图像和B颜色分量图像中的哪一个的信息。

尽管在如上所述产生预测图像的过程中使用当前像素块的像素值来确定等式1中的常数a和b，但是可使用在当前像素块之前处理的邻近像素块的像素值代替当前像素块的像素值来确定常数a和b。

图6A示出包括在图像中的G颜色分量图像的16×16像素块610以及所述16×16像素块610的邻近像素块的像素值，图6B示出包括在图像中的B颜色分量图像的16×16像素块620以及所述16×16像素块620的邻近像素块的像素值，图6C示出包括在图像中的R颜色分量图像的16×16像素块630以及所述16×16像素块630的邻近像素块的像素值。在图6A至图6C中，阴影部分的像素指示在当前像素块之前处理的邻近像素块的像素。

当对G颜色分量图像、B颜色分量图像和R颜色分量图像依次进行编码时，可将用于产生B颜色分量图像的预测图像的等式1中的常数a和b确定为能够最小化使用G颜色分量图像的邻近像素块的像素值预测的B颜色分量图像的邻近像素块的预测像素值与B颜色分量图像的邻近像素块的像素值之间的差的值。换句话说，可将常数a和b确定为使得B颜色分量图像的邻近像素块的像素值b_i，j与使用等式1预测的B颜色分量图像的邻近像素块的相应预测像素值b_i，j之间的差的和最小化的值，常数a和b的值如下所示：

[等式4]

$(a,b)=\begin{array}{c}\arg \\ a,b\end{array}\underset{i=0}{\overset{15}{\mathrm{\Σ}}}|b_{-1,i}-(a\·g_{-1,i}+b)|+\underset{j=-1}{\overset{15}{\mathrm{\Σ}}}|b_{j,-1}-(a\·g_{j,-1}+b)|---\left(4\right)$

为了确定等式4中的a和b，可将a确定为1，可将b确定为B颜色分量图像的邻近像素块的像素值与G颜色分量图像的邻近像素块的像素值之间的差的平均，b的值如下所示：

[等式5]

$b=\frac{\underset{i=0}{\overset{15}{\mathrm{\Σ}}}(b_{-1,i}-g_{-1,i})+\underset{j=0}{\overset{15}{\mathrm{\Σ}}}(b_{j,-1}-g_{j,-1})}{32}---\left(5\right)$

一旦确定等式1中的a和b，相关性预测单元311就将G颜色分量图像的像素块的像素值g_i，j代入等式1，以预测B颜色分量图像的像素块的相应像素值。

相关性预测单元311还可检测输入图像中的边缘，使用检测的边缘划分输入图像，并且对于通过划分输入图像获得的区域使用具有不同a和b值的预测因子来产生预测图像。为了边缘检测，可使用各种边缘检测算法，诸如sobel算子和canny边缘检测算法。

图7A示出使用检测的边缘划分G颜色分量图像的16×16像素块710的示例，图7B示出使用检测的边缘划分B颜色分量图像的16×16像素块720的示例，图7C示出使用检测的边缘划分R颜色分量图像的16×16像素块730的示例。参照图7A至图7C，如果首先编码的G颜色分量图像的像素块710中存在边缘，则相关性预测单元311确定在B颜色分量图像的像素块720和R颜色分量图像的像素块730中存在同样的边缘，并且使用检测的边缘将G颜色分量图像的像素块710、B颜色分量图像的像素块720和R颜色分量图像的像素块730的每一个划分为两个区域I和II。

相关性预测单元311使用G颜色分量图像的像素块710的区域I和II中的每一个的像素值来预测B颜色分量图像的像素块720的区域I和II的每一个的像素值，以及R颜色分量图像的像素块730的区域I和II的每一个的像素值。换句话说，相关性预测单元311使用G颜色分量图像的像素块710的第一区域I中的像素值g_i，j来预测B颜色分量图像的像素块720的第一区域I的像素值，以及R颜色分量图像的像素块730的第一区域I的像素值。类似地，相关性预测单元311使用G颜色分量图像的像素块710的第二区域II中的像素值g_i，j来预测B颜色分量图像的像素块720的第二区域II的像素值，以及R颜色分量图像的像素块730的第二区域II的像素值。

更具体地说，如果每个颜色分量图像的像素块被划分成n个区域，G颜色分量图像的像素块的第k(k＝1，2，...，n)区域中的像素值是g_(k)i，j，与g_(k)i，j相应的B颜色分量图像的像素块的第k区域中的像素的预测像素值是b_(k)i，j，指示G颜色分量图像的第k区域与B颜色分量图像的第k区域之间的相关性的预定权值是e，并且预定偏移值是f，则B颜色分量图像的像素块的像素值可如下面的等式6被预测：

[等式6]

b_(k)i，j＝e×g_(k)i，j+f

(6)

其中，常数e和f可被确定为使得B颜色分量图像的像素块中的第一区域I和第二区域II的每一个的预测像素值与相应原始像素值之间的差最小化的值，或者可将e固定为1，并且通过计算B颜色分量图像的像素块的原始像素值与G颜色分量图像的像素块的相应像素值之间的差的平均值来确定f。

与预测B颜色分量图像的像素块中的第一区域I和第二区域II的每一个的像素值类似，可使用G颜色分量图像或B颜色分量图像来预测R颜色分量图像的像素块中的第一区域I和第二区域II的每一个的像素值。

可使用剩余颜色分量图像的每一个的像素块的邻近像素块的像素值确定等式6中的预测因子，在使用检测的边缘预测剩余颜色分量图像的每一个的像素块的像素值时使用所述预测因子。

图8A示出使用检测的边缘划分的G颜色分量图像的像素块及其邻近像素值，图8B示出使用检测的边缘划分的B颜色分量图像的像素块及其邻近像素值，图8C示出使用检测的边缘划分的R颜色分量图像的像素块及其邻近像素值。

相关性预测单元311可使用检测的边缘使用当前像素块的邻近像素块的像素值来确定等式6中的常数e和f。换句话说，在等式6中，常数e和f可被确定为使得与使用G颜色分量图像的邻近像素块的像素值预测的B颜色分量图像的像素块的第k区域相邻的B颜色分量图像的邻近像素块的预测像素值和与B颜色分量图像的像素块的第k区域相邻的B颜色分量图像的邻近像素块的重建像素值之间的差最小化的值。

例如，可将e确定为1，并且可使用与B颜色分量图像的像素块的第k区域相邻的B颜色分量图像的邻近像素块的像素值和与B颜色分量图像的像素块的第k区域相邻的G颜色分量图像的邻近像素块的像素值之间的差的平均值来确定f。参照图8A和图8B，可使用与当前像素块的第一区域I相邻的G颜色分量图像的邻近像素块的像素810的像素值以及B颜色分量图像的邻近像素块的相应像素812的像素值，限定应用到第一区域I的等式6的f，如下所示：

[等式7]

$f=\frac{\underset{i=-1}{\overset{8}{\mathrm{\Σ}}}(b_{-1,i}-g_{-1,i})+\underset{j=0}{\overset{10}{\mathrm{\Σ}}}(b_{j,-1}-g_{j,-1})}{21}---\left(7\right)$

类似地，使用与当前像素块的第二区域II相邻的G颜色分量图像的邻近像素块的像素820和像素830的像素值以及B颜色分量图像的邻近像素块的相应像素822和像素832的像素值，限定应用到第二区域II的等式6的f，如下所示：

[等式8]

$f=\frac{\underset{i=9}{\overset{15}{\mathrm{\Σ}}}(b_{-1,i}-g_{-1,i})+\underset{j=11}{\overset{15}{\mathrm{\Σ}}}(b_{j,-1}-g_{j,-1})}{12}---\left(8\right)$

与预测B颜色分量图像的像素块的第一区域I和第二区域II的每一个的像素值类似，还可使用先前编码的G颜色分量图像和B颜色分量图像来预测R颜色分量图像的像素块的第一区域I和第二区域II的每一个的像素值。

简要地，相关性预测单元311使用当前像素块的像素块或其邻近像素块来产生与等式1类似的预测因子，并且将先前处理的颜色分量图像的像素值代入该预测因子，以产生剩余颜色分量图像的每一个的预测图像。相关性预测单元311还检测图像中的边缘，产生通过检测的边缘划分的第一区域I和第二区域II的每一个的独立的预测因子，并且将先前处理的颜色分量的像素值代入预测因子，从而产生剩余颜色分量图像的每一个的预测图像。相关性预测单元311还根据剩余的5个可用编码顺序以及上述GBR顺序来产生剩余颜色分量图像的每一个的预测图像。

再参照图4，在操作420，预测误差计算单元312计算根据可用编码顺序产生的剩余颜色分量图像的预测图像与剩余颜色分量图像的原始图像之间的差，以计算预测误差。

在操作430，比较单元313比较计算的预测误差，以确定具有最小预测误差的编码顺序。比较单元可以以从宏块、片、画面、画面组(GOP)和场景改变中选择的一个为单元来计算预测误差，并且对于每个选择的单元确定与最小预测误差相应的编码顺序。换句话说，根据本发明的示例性实施例的图像编码设备可将不同的编码顺序应用到宏块单元、片单元、GOP单元和场景改变单元，以对颜色分量图像进行编码。

在操作440，编码单元320根据预定的编码顺序依次对剩余颜色分量图像进行编码。当编码单元320对剩余颜色分量图像进行编码时，编码单元320通过对残余执行变换、量化和熵编码来产生比特流，所述残余与相关性预测单元311预测的剩余颜色分量图像的每一个的预测图像和剩余颜色分量图像的每一个的原始图像之间的差相应。编码单元320可将关于确定的编码顺序的信息以及关于剩余颜色分量图像的每一个参照哪个先前编码的颜色分量图像的信息插入编码的比特流的头。

图9A示出根据本发明的示例性实施例的在图像编码方法和设备中8×8像素块的处理顺序，图9B示出根据本发明的示例性实施例的在图像编码方法和设备中4×4像素块的处理顺序。

参照图9A，当在8×8模式下处理B颜色分量图像的像素块时，从左到右并从上到下依次预测B颜色分量图像的4个8×8像素块。以与上述预测B颜色分量图像的16×16像素块的像素值相似的方式，使用等式1预测B颜色分量图像的8×8像素块的像素值。

参照图9B，当在4×4模式下处理B颜色分量图像的像素块时，从左到右并从上到下依次预测B颜色分量图像的16个4×4像素块。以与上述预测B颜色分量图像的16×16像素块或8×8像素块的像素值相似的方式，使用等式1预测B颜色分量图像的4×4像素块的像素值。

可以以宏块(16×16)、16×16块、8×8块或4×4块为单元执行相关性预测。作为适应的示例性实施例，以三种块模式中的一个为单元执行对每个宏块的相关性预测。

图10是根据本发明的另一示例性实施例的图像编码设备1000的框图。

根据本发明的另一示例性实施例的图像编码设备1000与根据本发明的示例性实施例的图像编码设备的相似之处在于：使用包括在输入图像中的多个颜色分量图像之间的相关性产生预测图像，但是与根据本发明的示例性实施例的图像编码设备的不同之处在于：使用先前编码的图像和之后重建的图像产生预测图像。

参照图10，图像编码设备1000包括：运动估计单元1002、运动补偿单元1004、帧内预测单元1006、减法器单元1007、变换单元1008、量化单元1009、重新排列单元1010、熵编码单元1011、逆量化单元1012、逆变换单元1013、相关性预测单元1014、加法器单元1015、滤波器1016、帧存储器1017、控制单元1018以及编码顺序确定单元1020。

运动估计单元1002和运动补偿单元1004执行帧间预测，其中，在之前或之后的参考画面中搜索每个颜色分量图像的当前像素块的预测值。帧内预测单元1006执行帧内预测，其中，在当前画面中搜索每个颜色分量图像的当前像素块的预测值。

减法器单元1007通过从根据预定编码顺序首先编码的第一颜色分量图像的像素块减去根据帧间预测或帧内预测而预测的预测像素块来产生第一残余。通过变换单元1008将产生的第一残余变换到频域，并且通过量化单元1009对其进行量化。重新排列单元1010对量化的第一残余的变换系数进行重新排列，然后，熵编码单元1014对其进行编码，接着以比特流的形式输出。

逆量化单元1012对变换和量化的第一残余进行逆量化，并且逆变换单元1013对其进行逆变换。加法器单元1015将经过逆量化和逆变换的第一残余与第一颜色分量图像的预测像素块相加，从而重建第一颜色分量图像的像素块。重建的第一颜色分量图像通过执行解块滤波的滤波器1016，并且被存储在帧存储器1017中，以用于下一画面的帧间预测。将重建的第一颜色分量图像的像素块输入到帧内预测单元，用作下一像素块的帧内预测的参考值。还将重建的第一颜色分量图像的像素块输入到相关性预测单元1014，用于预测除了第一颜色分量图像之外的剩余颜色分量图像的像素块。

相关性预测单元1014从根据预定编码顺序编码且使用包括在颜色图像中的多个颜色分量图像之间的相关性重建的先前颜色分量图像产生相应的另一颜色分量图像的预测图像。相关性预测单元1014使用以与上述本发明的示例性实施例相似的方式编码且随后重建的当前像素块的像素值来产生剩余颜色分量图像的预测图像。换句话说，在本发明的示例性实施例中，使用包括在输入图像中的每个颜色分量图像的像素值来产生预测因子，但是在本发明的另一示例性实施例中，使用先前编码且重建的颜色分量图像来产生预测因子。

减法器单元1007从相关性预测单元1014预测的剩余颜色分量图像的预测像素块减去原始颜色分量图像的像素块，从而产生第二残余和第三残余。与第一残余类似，通过变换、量化和熵编码对第二残余和第三残余进行编码，然后以比特流的形式被输出。

控制单元1018控制图像编码设备1000的部件，并且确定当前像素块的预测模式。更具体地说，根据本发明的示例性实施例，控制单元1018计算帧间预测图像、帧内预测图像和使用颜色分量图像之间的相关性预测的图像的成本，并且确定具有最小成本的预测模式作为最终预测模式。如果根据本发明的示例性实施例的预测的图像的成本大于预定的阈值，则控制单元1018选择现有技术的帧间预测或帧内预测来代替根据本发明的示例性实施例的预测编码，对颜色分量图像的每一个进行编码。

控制单元1018还计算指示颜色分量图像之间的相关性的参考值，并且如果参考值小于预定阈值，则控制单元1018可选择现有技术的帧间预测或帧内预测来代替根据本发明的示例性实施例的预测编码，对颜色分量图像的每一个进行编码。这里，参考值可以是指示颜色分量图像之间的离散度的离散值或标准偏差。

将预测模式信息插入到通过根据本发明的示例性实施例的图像编码方法编码的图像的比特流的头中，以执行根据本发明的示例性实施例的基于颜色分量图像之间的相关性的解码。

编码顺序确定单元1020计算根据每个编码顺序对颜色分量图像的第一残余、第二残余和第三残余进行编码时产生的比特量的和，比较根据编码顺序产生的比特量的和，并且确定与产生的最小比特量相应的编码顺序。编码顺序确定单元1020以从宏块、片、画面、GOP和场景改变选择的一个为单元来计算产生的比特量，以改变每个选择的单元的编码顺序。编码顺序确定单元1020还可根据编码顺序和预测误差中的每一个基于产生的比特量来确定具有最小失真率成本的编码顺序。

图11是示出根据本发明的另一示例性实施例的图像编码方法的流程图。

参照图11，在操作1110，根据预测编码顺序使用与先前编码且重建的颜色分量图像的相关性产生已经编码的第一颜色分量图像之后的剩余颜色分量图像的每一个的预测图像。

在操作1120，对于每一种编码顺序，将对第一颜色分量图像进行编码时产生的比特量以及对与剩余颜色分量图像的每一个和其预测图像之间的差相应的残余进行编码时产生的比特量进行求和。

在操作1130，比较根据编码顺序产生的比特量，以确定与产生的最小比特量相应的编码顺序。

在操作1140，根据确定的编码顺序对包括在输入图像中的多个颜色分量图像依次进行编码。

图12是根据本发明的示例性实施例的图像解码设备1200的框图。

参照图12，图像解码设备1200包括：熵解码单元1210、重新排列单元1220、逆量化单元1230、逆变换单元1240、帧内预测单元1250、运动补偿单元1260、相关性预测单元1270和滤波器1280。

熵解码单元1210和重新排列单元1220接收压缩的比特流并执行熵解码，从而产生量化的系数。逆量化单元1230和逆变换单元1240对量化的系数执行逆量化和逆变换，以提取每个颜色分量图像的残余信息、运动向量信息、预测模式信息和编码顺序信息。这里，预测模式信息可包括指示压缩的比特流是否是根据本发明的示例性实施例编码的比特流的预定句法。如果根据本发明的示例性实施例对压缩的比特流进行编码，则预测模式信息可包括用于预测剩余颜色分量图像的像素块的像素值的预测因子信息。

如果当前像素块是帧间预测像素块，则运动补偿单元1260通过运动补偿和估计产生当前像素块的预测像素块。如果当前像素块是帧内预测像素块，则帧内预测单元1250通过执行帧内预测产生当前像素块的预测像素块。

加法器单元1275将根据提取的编码顺序信息首先编码的第一颜色分量图像的预测像素块与从逆变换单元1240输出的第一残余相加，以对第一颜色分量图像的像素块进行解码。

将解码的第一颜色分量图像的像素块输入到相关性预测单元1270。相关性预测单元1270使用解码的第一颜色分量图像的像素块对另一颜色分量图像的相应像素块进行解码。

更具体地说，与图3的相关性预测单元311类似，相关性预测单元1270将解码的第一颜色分量图像的像素块的像素值代入等式1，从而预测另一颜色分量图像的像素块的像素值。如果使用包括在编码的比特流中的第二颜色分量图像来预测包括在编码的比特流中的第三颜色分量图像，则可使用重建的第二颜色分量图像的像素块的像素值来预测第三颜色分量图像的像素块的像素值。

通过将从逆变换单元1240输出的第二残余和第三残余与相关性预测单元1270预测的剩余颜色分量图像的预测像素块相加，对剩余颜色分量图像的像素块进行解码。

当根据本发明的另一示例性实施例检测到像素块中的边缘且对通过检测的边缘划分的区域的每一个进行编码的比特流解码时，图像解码设备1200还可包括：边缘检测单元(未示出)，用于从接收的包括多个编码的颜色分量图像的比特流检测第一颜色分量图像的像素块中的边缘；以及区域划分单元(未示出)，用于使用检测的边缘划分颜色分量图像的每一个的像素块。在这种情况下，相关性预测单元1270使用解码的G颜色分量图像的像素块来预测B颜色分量图像和R颜色分量图像的相应像素块的每个区域中的像素值。可使用重建的邻近像素块的像素值或包括在比特流中的预测模式信息来确定在预测剩余颜色分量图像的像素值时使用的预测因子的常数。

图13是示出根据本发明的示例性实施例的图像解码方法的流程图。

参照13，在操作1310，接收到包括多个编码的颜色分量图像的比特流。

在操作1320，从接收的比特流提取多个颜色分量图像的编码顺序信息。

在操作1330，对根据提取的编码顺序信息编码的第一颜色分量图像进行解码。

在操作1340，根据提取的编码顺序信息使用与先前解码的颜色分量图像的相关性，产生第一颜色分量图像之后的剩余颜色分量图像的每一个的预测图像。

在操作1350，将剩余颜色分量图像的每一个的残余与剩余颜色分量图像的每一个的产生的预测图像相加，从而对剩余颜色分量图像进行解码。

本发明的示例性实施例也可实现为计算机可读记录介质上的计算机可读代码。所述计算机可读记录介质是能够存储其后能够由计算机系统读取的数据的任何数据存储装置。所述计算机可读记录介质的例子包括：只读存储器(ROM)、随机存取存储器(RAM)、CD-ROM、磁带、软盘和光学数据存储装置。所述计算机可读记录介质还可分布于联网的计算机系统上，以便所述计算机可读代码能够以分布方式被存储和执行。

如上所述，根据本发明的示例性实施例，使用形成单个图像的多个颜色分量图像之间的相关性执行预测编码，从而提高了编码效率。

此外，根据本发明的示例性实施例，在RGB域进行RGB输入图像的编码，而不将RGB域变换成YUV域，从而防止将RGB图像变换成另一种颜色格式期间的颜色失真，从而提高了显示质量。

尽管已经参照本发明的示例性实施例具体显示并描述了本发明，但是本领域的普通技术人员将理解，在不脱离权利要求限定的本发明的精神和范围的情况下，可以对其形式和细节进行各种改变。

Claims (34)

1.一种用于对输入图像中的多个颜色分量图像进行编码的图像编码方法，所述图像编码方法包括：

(a)根据预定编码顺序使用与先前编码的颜色分量图像的相关性，产生多个颜色分量图像之中首先编码的第一颜色分量图像之后的剩余颜色分量图像的每一个的预测图像；

(b)计算剩余颜色分量图像和与其相应的产生的预测图像之间的预测误差，以确定与最小预测误差相应的编码顺序；以及

(c)根据确定的编码顺序对所述多个颜色分量图像进行编码。

2.如权利要求1所述的图像编码方法，其中，步骤(a)包括如下预测

[等式9]

$\stackrel{\‾}{Y_{i,j}}=a\×X_{i,j}+b$

其中，i和j是整数，i×j是在剩余颜色分量图像中的每一个之前编码的先前编码的颜色分量图像的输入像素块的大小，X_i，j是先前编码的颜色分量图像的像素块的第i行第j列中的像素值，

与X_i，j相应，并且是剩余颜色分量图像的每一个的预测像素块的第i行第j列中的预测像素值，a是指示先前编码的颜色分量图像与剩余颜色分量图像的每一个之间的相关性的权值，b是偏移值。

3.如权利要求2所述的图像编码方法，其中，基于线性回归模型确定a和b。

4.如权利要求2所述的图像编码方法，其中，a和b被确定为使得使用先前编码的颜色分量图像的输入像素块的像素值预测的剩余颜色分量图像的每一个的像素块的预测像素值与剩余颜色分量图像的每一个的输入像素块的像素值之间的差最小化的值。

5.如权利要求2所述的图像编码方法，其中，a和b被确定为使得使用先前编码的颜色分量图像的邻近像素块的像素值预测的剩余颜色分量图像的每一个的像素块的预测像素值与先前编码的颜色分量图像的邻近像素块的原始像素值之间的差最小化的值。

6.如权利要求1所述的图像编码方法，其中，步骤(a)包括：

检测第一颜色分量图像中的边缘；

使用检测的边缘将多个颜色分量图像中的每一个划分成多个区域；以及

使用与先前编码的颜色分量图像的相关性预测剩余颜色分量图像的每一个的所述多个区域中的每一个中的像素值。

7.如权利要求1所述的图像编码方法，其中，所述计算步骤包括：使用剩余颜色分量图像的每一个的像素值与剩余颜色分量图像的每一个的预测图像的像素值之间的绝对差的和来计算预测误差。

8.如权利要求1所述的图像编码方法，其中，步骤(b)包括：以从宏块、片、画面、画面组和场景改变中选择的一个为单元计算预测误差，并且确定每个选择的单元的编码顺序。

9.一种用于对输入图像中的多个颜色分量图像进行编码的图像编码方法，所述图像编码方法包括：

(a)根据预定编码顺序使用与先前编码且重建的颜色分量图像的相关性，产生多个颜色分量图像之中首先编码的第一颜色分量图像之后的剩余颜色分量图像的每一个的预测图像；

(b)确定对第一颜色分量图像的残余进行编码时产生的比特量以及当对与剩余颜色分量图像的每一个和产生的每个预定编码顺序的预测图像之间的差相应的残余进行编码时产生的比特量的和；以及

(c)比较与预定编码顺序相应的确定的和以确定与最小的和相应的编码顺序。

10.如权利要求9所述的图像编码方法，其中，步骤(a)包括如下预测

[等式10]

$\stackrel{\‾}{Y_{i,j}}=a\×{X^{\′}}_{i,j}+b$

其中，i和j是整数，i×j是在剩余颜色分量图像中的每一个之前编码的先前编码且重建的颜色分量图像的像素块的大小，X′_ij是先前编码且重建的颜色分量图像的像素块的第i行第j列中的像素值，

与X′_ij相应，并且是剩余颜色分量图像的每一个的预测像素块的第i行第j列中的预测像素值，a是指示先前编码且重建的颜色分量图像与剩余颜色分量图像的每一个之间的相关性的权值，b是偏移值。

11.如权利要求10所述的图像编码方法，其中，基于线性回归模型确定a和b。

12.如权利要求10所述的图像编码方法，其中，a和b被确定为使得使用先前编码且重建的颜色分量图像的像素块的像素值预测的剩余颜色分量图像的每一个的像素块的预测像素值与剩余颜色分量图像的每一个的输入像素块的像素值之间的差最小化的值。

13.如权利要求10所述的图像编码方法，其中，a和b被确定为使得使用先前编码且重建的颜色分量图像的邻近像素块的像素值预测的剩余颜色分量图像的每一个的邻近像素块的预测像素值与剩余颜色分量图像的每一个的邻近像素块的原始像素值之间的差最小化的值。

14.如权利要求9所述的图像编码方法，其中，步骤(a)包括：

检测第一颜色分量图像中的边缘；

使用检测的边缘将多个颜色分量图像中的每一个划分成多个区域；以及

使用与先前编码且重建的颜色分量图像的相关性预测剩余颜色分量图像的每一个的所述多个区域中的每一个中的像素值。

15.如权利要求9所述的图像编码方法，其中，在步骤(a)中，如果存在在当前编码的颜色分量图像之前编码且重建的至少两个颜色分量图像，则使用先前编码且重建的颜色分量图像产生预测图像，并且选择用于产生与当前编码的颜色分量图像具有较小差别的预测图像的先前编码且重建的颜色分量图像中的一个，以产生最终预测图像。

16.如权利要求9所述的图像编码方法，还包括步骤(d)：将关于确定的编码顺序的信息和关于剩余颜色分量图像的每一个使用的先前编码且重建的颜色分量图像的信息插入到编码的比特流的头中。

17.如权利要求9所述的图像编码方法，其中，步骤(c)包括以从宏块、片、画面、画面组和场景改变中选择的一个为单元计算预测误差，并且确定每个选择的单元的编码顺序。

18.一种用于对输入图像中的多个颜色分量图像进行编码的图像编码设备，所述图像编码设备包括：

编码顺序确定单元，根据预定编码顺序使用与先前编码的颜色分量图像的相关性，产生多个颜色分量图像之中首先编码的第一颜色分量图像之后的剩余颜色分量图像的每一个的预测图像，并且计算剩余颜色分量图像和与其相应的产生的预测图像之间的预测误差，以确定与最小预测误差相应的编码顺序；

编码单元，根据确定的编码顺序对所述多个颜色分量图像进行编码。

19.如权利要求18所述的图像编码设备，其中，编码顺序确定单元如下预测

[等式11]

$\stackrel{\‾}{Y_{i,j}}=a\×X_{i,j}+b$

其中，i和j是整数，i×j是在剩余颜色分量图像中的每一个之前编码的先前编码的颜色分量图像的输入像素块的大小，X_i，j是先前编码的颜色分量图像的像素块的第i行第j列中的像素值，

与X_i，j相应，并且是剩余颜色分量图像的每一个的预测像素块的第i行第j列中的预测像素值，a是指示先前编码的颜色分量图像与剩余颜色分量图像的每一个之间的相关性的权值，b是偏移值。

20.如权利要求18所述的图像编码设备，其中，编码顺序确定单元包括：

边缘检测单元，检测第一颜色分量图像中的边缘；

区域划分单元，使用检测的边缘将多个颜色分量图像中的每一个划分成多个区域，

其中，使用与先前编码的颜色分量图像的相关性预测剩余颜色分量图像的每一个的所述多个区域中的每一个中的像素值。

21.如权利要求18所述的图像编码设备，其中，编码顺序确定单元使用剩余颜色分量图像的每一个的像素值与剩余颜色分量图像的每一个的预测图像的像素值之间的绝对差的和来计算预测误差。

22.如权利要求18所述的图像编码设备，其中，编码顺序确定单元以从宏块、片、画面、画面组和场景改变中选择的一个为单元计算预测误差，并且确定每个选择的单元的编码顺序。

23.一种用于对输入图像中的多个颜色分量图像进行编码的图像编码设备，所述图像编码设备包括：

相关性预测单元，根据预定编码顺序使用与先前编码且重建的颜色分量图像的相关性，产生多个颜色分量图像之中首先编码的第一颜色分量图像之后的剩余颜色分量图像的每一个的预测图像；

编码顺序确定单元，确定对第一颜色分量图像的残余进行编码时产生的比特量以及对与剩余颜色分量图像的每一个和产生的每个预定编码顺序的预测图像之间的差相应的残余进行编码时产生的比特量的和，并且比较与预定编码顺序相应的和以确定与最小的和相应的编码顺序。

24.如权利要求23所述的图像编码设备，其中，相关性预测单元如下预测

[等式9]

$\stackrel{\‾}{Y_{i,j}}=a\×{X^{\′}}_{i,j}+b$

其中，i和j是整数，i×j是在剩余颜色分量图像中的每一个之前编码的先前编码且重建的颜色分量图像的像素块的大小，X′_i，j是先前编码且重建的颜色分量图像的像素块的第i行第j列中的像素值，

与X′_i，j相应，并且是剩余颜色分量图像的每一个的预测像素块的第i行第j列中的预测像素值，a是指示先前编码且重建的颜色分量图像与剩余颜色分量图像的每一个之间的相关性的权值，b是偏移值。

25.如权利要求24所述的图像编码设备，其中，基于线性回归模型确定a和b。

26.如权利要求23所述的图像编码设备，其中，相关性预测单元使用与先前编码且重建的颜色分量图像的相关性预测剩余颜色分量图像的每一个的多个区域中的每一个中的像素值，所述多个区域通过第一颜色分量图像中的边缘被划分。

27.如权利要求23所述的图像编码设备，其中，如果在当前编码的颜色分量图像之前已经编码且重建至少两个颜色分量图像，则相关性预测单元使用先前编码且重建的颜色分量图像产生预测图像，并且选择用于产生与当前编码的颜色分量图像具有较小差别的预测图像的先前编码且重建的颜色分量图像中的一个，以产生最终预测图像。

28.如权利要求23所述的图像编码设备，其中，编码顺序确定单元以从宏块、片、画面、画面组和场景改变中选择的一个为单元计算预测误差，并且确定每个选择的单元的编码顺序。

29.一种用于对比特流中的多个编码的颜色分量图像进行解码的图像解码方法，所述图像解码方法包括：

(a)接收包括多个编码的颜色分量图像的比特流；

(b)从所述比特流提取所述多个颜色分量图像的编码顺序信息；

(c)根据提取的编码顺序信息使用与先前解码的颜色分量图像的相关性，产生所述多个颜色分量图像之中首先编码的第一颜色分量图像之后的剩余颜色分量图像的每一个的预测图像；以及

(d)将比特流中的剩余颜色分量图像的残余与产生的预测图像相加，从而对剩余颜色分量图像进行解码。

30.如权利要求29所述的图像解码方法，其中，步骤(d)包括如下预测

[等式13]

$\stackrel{\‾}{Y_{i,j}}=a\×X_{i,j}+b$

其中，i和j是整数，i×j是在剩余颜色分量图像中的每一个之前编码的先前编码的颜色分量图像的输入像素块的大小，X_i，j是先前编码的颜色分量图像的像素块的第i行第j列中的像素值，

与X_i，j相应，并且是剩余颜色分量图像的每一个的预测像素块的第i行第j列中的预测像素值，a是指示先前编码的颜色分量图像与剩余颜色分量图像的每一个之间的相关性的权值，b是偏移值。

31.如权利要求29所述的图像解码方法，其中，以从用于传输的宏块、片、画面、画面组和场景改变中选择的一个为单元设置编码顺序信息。

32.一种用于对比特流中的多个编码的颜色分量图像进行解码的图像解码设备，所述图像解码设备包括：

相关性预测单元，根据从比特流提取的多个颜色分量图像的编码顺序信息使用与先前编码且重建的颜色分量图像的相关性，产生所述多个颜色分量图像之中首先编码的第一颜色分量图像之后的剩余颜色分量图像的每一个的预测图像；

加法器单元，将比特流中的剩余颜色分量图像的残余与产生的预测图像相加，从而对剩余颜色分量图像进行解码。

33.如权利要求32所述的图像解码设备，其中，相关性确定单元如下预测

[等式14]

$\stackrel{\‾}{Y_{i,j}}=a\×X_{i,j}+b$

其中，i和j是整数，i×j是在剩余颜色分量图像中的每一个之前编码的先前编码的颜色分量图像的输入像素块的大小，X_i，j是先前编码的颜色分量图像的像素块的第i行第j列中的像素值，与X_i，j相应，并且是剩余颜色分量图像的每一个的预测像素块的第i行第j列中的预测像素值，a是指示先前编码的颜色分量图像与剩余颜色分量图像的每一个之间的相关性的权值，b是偏移值。

34.如权利要求32所述的图像解码设备，其中，以从用于传输的宏块、片、画面、画面组和场景改变中选择的一个为单元设置编码顺序信息。

Images