CN1159122A - 用于在一被发送的视频信号中隐藏错误的方法和装置 - Google Patents

Abstract

为了在一被分成多个M×N象素的块的图象信号中隐藏信道误差，M和N分别是正整数，检测一丢失区，其中该丢失区是一具有多条边的多边形并包括一个或多个相连的丢失块，每一丢失块包含一信道误差。然后，找到一包括多个第一和第二象素组的参考区。然后，确定具有非0值的边缘幅度的边缘象素并检测边缘点。然后，通过根据该边缘点和该参考区的象素补偿该丢失区内的象素而纠正该丢失区的信道误差。

Description

用于在一被发送的视频信号中隐藏错误的方法和装置

本发明涉及一种用于一视频信号的错误隐藏的方法和装置；而且，更具体地，涉及一种用于通过利用包含在围绕丢失块的那些块中的边缘信息来补偿丢失块数据的方法和装置。

在一诸如电视电话、电话会议或高清晰度电视系统的数字电视系统中，需要大量的数字数据来定义每一视频帧信号，因为视频信号中的视频行信号包括一序列称为象素值的数字数据。然而，由于传统发送信道的可用频率带宽有限，为了通过其发送大量的数字数据，就需要通过利用各种数据压缩技术压缩或减少数据量。

在传统发送系统中，通过使用例如DCT(离散余弦变换)和运动补偿技术，将视频信号在逐块的基础上压缩；而且该经压缩的视频信号通过一噪声发送信道被发送到接收端，该噪声发送信道可能招致被发送视频信号中的诸如数据损失或毁坏的信道误差。然而该发送系统并不提供足够的头端机构来检索所有误差，而是为了提供接近该丢失数据的代替数据而在接收端依赖于误差的隐藏。

在一传统误差隐藏方案中，首先在被发送的视频信号中检测一丢失块和其邻接块。即如图1所示确定一丢失块，例如块0，和围绕该丢失块的邻接块，例如块1至块8。然后，通过定义如下的加权中间值SB来补偿该丢失块内的每一象素值： $\mathrm{SB}=W_1(\stackrel{-}{B_1}+\stackrel{-}{B_3}+\stackrel{-}{B_6}+\stackrel{-}{B_8})+W_2(\stackrel{-}{B_2}+\stackrel{-}{B_4}+\stackrel{-}{B_5}+\stackrel{-}{B_7})$ (W₁+W₂＝1/4)其中W₁和W₂表示预定正权因子；而 B_i表示第i个邻接块的所有象素值的平均值，i由1至8。

然而，由于上述误差隐藏技术产生丢失块数据的代替数据是通过只平均邻接块的所有象素值而没有考虑可能存在于邻接块中的诸如边缘的图象细节，因而该代替数据不能忠实地反映该丢失块的原始图象数据。

因此，本发明的主要目的是提供一种用于根据包含在被发送的视频信号中的边缘信息纠正被发送的视频信号中的信道误差的改进的方法和装置。

根据本发明，提供了一种用于在一图象信号中隐藏信道误差的方法，其中该图象信号相分成多个M×N象素的块，M和N分别是正整数，该方法包括以下步骤：(a)检测一丢失区域，其中该丢失区域是一具有多条边的多边形并且包括一个或多个相连接的丢失块，每一丢失块包含一信道误差；(b)找出象素的一参考区域，其中该参考区域包括多组第一象素和相应数目组的第二象素，每一组第一象素与该丢失区域的一条边相邻，而每一组第二象素与一组第一象素相邻，一组第一象素放置于一组第二象素和该丢失区域之间；(c)在参考区域内的象素中确定边缘象素，每一边缘象素具有一非0值的边缘幅度，一边缘象素的该边缘幅度表示与该边缘象素相邻的象素之间的差；(d)检测边缘点，每一边缘点表示一在包含于该丢失区域一条边的一组第一象素和一组第二象素中的边缘象素中具有最大边缘幅度的边缘象素；及(e)通过根据该参考区域的边缘点和象素补偿该丢失区域内的所有象素来纠正该丢失区域的信道误差。

本发明的以上和其它目的和特征将从下述结合附图给出的优选实施例的描述中变得显而易见，其中：

图1表示一用于解释传统误差隐藏方案的块布局；

图2说明具有本发明的一误差隐藏块的解码装置的方框图；

图3描述了图2中误差隐藏块方案的详细方框图；

图4显示了一丢失区域和用于纠正信道误差包含块的其参考区域；及

图5给出了根据本发明的一子区域形成图。

参考图2，说明了一包括本发明的一误差隐藏块的解码装置10的方框图。一被发送的视频信号从发送端(未示出)被发送到信道解码器21。通过利用基于块的源编码方案，例如：DCT(离散余弦变换)和运动补偿，以及诸如RS(瑞得索罗门)编码技术的各种信道编码方法之一，该被发送的视频信号在发送端被编码成压缩的形式。在信道解码器21，在发送过程期间发生的大多数信道误差可以根据在发送端使用的信道编码方案附加的冗余位纠正。然而，如果信道误差数超过该信道编码方案提供的纠错能力极限，包含该误差的一个块的数据就不可被恢复了，而且识别该块的附加位由该信道解码器21附于其后。然后一信道解码的视频信号经线路L10和L20被分别用于一误差检测器22及一源解码器23。

该误差检测器22响应于该信道解码的视频信号而产生表示包含未被纠正的信道误差的块的位置的误差块信息以将其经过一线路L50提供给一误差隐藏块24。在源解码器23，没有任何未被纠正信道误差的信道解码的视频信号的诸部分通过利用诸如运动补偿和IDCT(反离散余弦变换)方法被转换成一图象信号，其中该图象信号被分成多个M×N象素的块，M和N分别是正整数，由源解码器23提供的图象信号被送入帧存储器25并被存储于此。

在本发明的一优选实施例中，一参考区域包括围绕一丢失区的块并包括多个第一邻接象素组和第二邻素象素组，其中一第一邻接象素是邻接该丢失区的一条边的象素，而一第二邻接象素是一邻接第一邻接象素组的象素。换句话说，该第一邻接象素表示沿该丢失区和该参考区之间的边界存在的象素，而第二邻接象素表示在其本身和该丢失区域的边之间具有第一邻接象素的象素。

响应于经线路L50提供的来自误差检测器22的误差块信息，该误差隐藏块24为包含信道误差的块检索参考区象素数据。然后该参考区象素数据被经线路L30提供至帧存储器25，并存于此。帧存储器25中的包括来自源解码器23的图象信号               和来自误差隐藏块24的误差隐藏块数据的一被纠正图象信号被发送至例如一显示器(未示出)。

参考图3，说明了图2中所示的误差隐藏块24的细节。响应于经线路L50从图2所示的误差检测器22接收的误差块信息，一参考区选择块31检测丢失区，其中每一丢失区包括一个或多个连接在一起的包含信道误差块而且每一丢失区是具有多条边的多边形。之后，该参考区选择块31为每一丢失区确定一参考区并且经线路L40为该参考区从帧存储器25检索象素数据。然后将该参考区的被检索的象素数据送入梯度计算块32和数据补偿块36。

  在梯度计算块32，计算参考区内的每一象素的边缘梯度。在本发明的一优选实施例中，通过利用分别定义如下的苏贝尔算子g_x、g_y和罗伯特算子g_a、g_b沿水平、垂直和二对角方向计算每一象素位置处的边缘梯度： $g_x=\frac{1}{4}\×\left[\begin{array}{ccc}1& 0& -1\\ 2& 0& -2\\ 1& 0& -1\end{array}\right]$ $g_y=\frac{1}{4}\×\left[\begin{array}{ccc}-1& -2& -1\\ 0& 0& 0\\ 1& 2& 1\end{array}\right]$ $g_a=\left[\begin{array}{ccc}0& 0& -1\\ 0& 1& 0\\ 0& 0& 0\end{array}\right]$ $g_b=\left[\begin{array}{ccc}-1& 0& 0\\ 0& 1& 0\\ 0& 0& 0\end{array}\right]$

将计算出的参考区内的每一象素的边缘梯度G_x、G_y、G_a和G_b提供到边缘幅度计算块33，其中可按下式计算参考区内的每一象素的边缘幅度Gmag： $G_{\mathrm{mag}}=\sqrt{G_x^2+G_y^2+G_a^2+G_b^2}$

被计算出的边缘幅度Gmag然后被送入一比较器34，其中将参考区内的象素的边缘幅度和存于此的预定阈值TH进行比较。如果边缘幅度小于阈值TH，则将其置为0，因此，参考区内的象素的边缘梯度要么等于0，要么是大于或等于TH的非0值边缘幅度。将参考区内的每一象素的边缘幅度分配至边缘线确定块35。

在边缘线确定块35，通过连接一组参考区中的具有非0值的边缘幅度的象素来形成边缘线。参考图4，说明形成于围绕一丢失区LR的一参考区RR中的示例性边缘线ED1至ED6，其中该丢失区LR包括三个包含信道误差的块CB1至CB3；而该参考区RR包括12个围绕该丢失区域LR的块RB1至RB12。

然后，检查该边缘线是否穿过该丢失区，并将穿过该丢失区的那些边缘线定义成穿越边缘线。在图4中，边缘线ED2的走向平行于该丢失区的一条边S1，但是，边缘线ED1和ED3至ED6被认为是穿越边缘线。在确定了穿越边缘线之后，选择组成该穿越边缘线并且位于从丢失区的边开始的预定范围以内的象素作边缘象素。具体地，在本发明的优选实施例中，在组成该穿越边缘线的象素中，那些包含在该丢失区的第一和第二邻接象素组中的象素被认为是边缘象素。

随后，在包含于一组第一邻接象素和一组第二邻接象素的边缘象素中选择具有最大边缘幅度的一边缘象素，如果有的话，给该丢失区的每一条边，并且将被选择的边缘象素定义为该边的一边缘点。在此方法中，小于两个的边缘点被分配至该丢失区的每一条边。

然后，若为该丢失块确定了两个或更多的边缘点，则将具有一第一和一第二最大边缘幅度的两个边缘点选作二个初级边缘点。例如，如图5所示，该丢失区LR有5个边缘点EP1至EP5，并且边缘点EP1和EP5在其中具有第一和第二最大边缘幅度，则选择边缘点EP1和EP5作为该丢失区LR的二初级边缘点。在图5中，FP1至FP6和SP1至SP6分别代表该丢失区LR的第一邻接象素组和第二邻接象素组。

一旦确定了初级边缘点，则画出穿过该初级边缘点的一条初级线，例如图5中所示的LL1，而该丢失区LR被该初级线LL1分成二个或更多的子区，例如SR1和SR2。在另一方面，若检测出了小于两个边缘点，则假设无初级线穿过该丢失区LR，且该丢失区未被分成子区，但是，将该区本身定义为一子区。在如上述确定了该丢失区内的一个或多个子区之后，将表示每一子区的位置和形状的子区信息提供至一数据补偿块36。

在数据补偿块36，响应于来自边缘线确定块35的子区信息和参考区的象素数据，通过利用任何公知的插入技术根据该参考区的象素数据就可获得每一子区的象素数据。在本发明的优选实施例中，通过插入邻接于子区的边的第一邻接象素来估计一子区中的象素值。例如，如图5所示，通过插入邻接于子区的边SR1-1至SR1-3的第一邻接象素值来获得该子区SR1中的象素值；而子区SR2中的象素值是根据邻接边SR2-1至SR2-5的第一邻接象素来确定的。如上述所获得的代表每一子区的象素值的代替数据被经线路L30提供至帧存储器25并存储于此。

虽然本发明的描述参考了具体实施例，对于本领域技术人员来说显而易见，在不背离如所定义的权利要求的范围的前提下可作各种修改和改变。

Claims (19)

1、一种用于隐藏一图象信号中的信道误差的方法，其中该图象信号被分成多个M×N象素的块，M和N分别为正整数，该方法包括以下步骤：

(a)检测一丢失区，其中该丢失区是一具有多条边的多边形并且包括一个或多个相连接的丢失块，每一丢失块包含一信道误差；

(b)找到象素的一参考区，其中该参考区包括多组第一象素和一相应数量的组的第二象素，每一组第一象素邻接于该丢失区的一条边，并且每一组第二象素相邻于一组第一象素，一组第一象素被置于一组第二象素和该丢失区之间；

(c)在该参考区内的象素中确定边缘象素，每一边缘象素具有一非0值的边缘幅度，一边缘象素的边缘幅度代表邻接于该边缘象素的象素之间的差；

(d)检测边缘点，每一边缘点代表包含于该丢失区的一条边的一组第一象素的和一组第二象素中的边缘象素中的具有最大边缘幅度的一边缘象素；及

(e)通过根据该参考区的边缘点和象素补偿该丢失区内的所有象素而纠正该丢失区的信道误差。

2、根据权利要求1的方法，其中所述参考区包括包围该丢失块的块。

3、根据权利要求1的方法，其中用于确定边缘象素的所述步骤(c)包括以下步骤：

(c1)为该参考区中的象素计算边缘幅度；

(c2)将每一边缘幅度和一预定阈值T H比较；

(c3)将每一小于TH的边缘幅度置为0；

(c4)找到边缘线，每一条边缘线是通过连接一组具有非0值的边缘幅度的象素形成的；

(c5)检测穿过该丢失区的边缘线；

(c6)将不是组成该穿越边缘线的那些象素的边缘幅度置为0；及

(c7)将具有非0值的边缘幅度的象素定义为边缘象素。

4、如权利要求1的方法，其中所述纠正步骤(e)包括以下步骤：

(e1)若检测到两个或更多的边缘点，则将两个具有第一和第二最大边缘幅度的边缘点作为初级边缘点，并且通过一条穿过该初级边缘点的初级直线将该丢失区域分成两个或更多的子区；

(e2)若检测出的初级边缘点少于两个，则将该丢失区本身设置为一子区；及

(e3)通过根据该参考区的象素补偿每一子区内的象素来纠正该信道误差。

5、根据权利要求4的方法，其中每一子区内的象素由根据第一象素组获得的替换数据补偿。

6、根据权利要求5的方法，其中所述替换数据是根据与每一子区的边相邻的第一象素获得。

7、根据权利要求6的方法，其中所述替换数据是通过插入邻接于每一子区的边的第一象素获得的。

8、一种用于隐藏一图象信号中的信道误差的方法，其中该图象信号被分成多个M×N象素的块，M和N分别是正整数，该方法包括下述步骤：

(a)检测一丢失区，其中该丢失区包括一个或多个连接在一起的丢失块，每一丢失块包含一信道误差；

(b)找到象素的一参考区，其中该参考区是一组位于该丢失区之外的象素；

(c)在参考区中获得边缘线，每一边缘线由连接在一起的边缘象素构成；

(d)在边缘线中确定初级线，每一初级线是一条穿过该丢失区的边缘线；及

(e)通过根据初级线和该参考区的象素补偿该丢失区的象素来纠正该丢失区的信道误差。

9、根据权利要求8的方法，其中所述丢失区是一具有多条边的多边形，而所述参考区包括第一和第二邻接象素组，一第一邻接象素组相邻于该丢失区的一条边，而一第二邻接象素组相邻于一第一邻接象素组，一组第一邻接象素被置于一组第二邻接象素和该丢失区之间。

10、根据权利要求9的方法，其中用于获取边缘线的所述步骤(c)包括下列步骤：

(c1)计算该参考区内的象素的边缘幅度，一象素的边缘幅度表示与该象素相邻的象素之间的差；

(c2)将具有大于一预定阈值TH的边缘幅度的象素设置成边缘象素；及

(c3)将相邻边缘象素连接成一条边缘线以由此获得该边缘线。

11、根据权利要求8的方法，其中用于确定该初级线的所述步骤(d)包括下列步骤：

(d1)将具有第一和第二邻接象素中的边缘象素的边缘线确定为初级线；

(d2)估计接近所述每一初级线的该丢失区的一条边处的每一初级线的方向；及

(d3)检测该初级线，每一初级线的方向不平行于在其处估计该方向的一条边。

12、根据权利要求8的方法，其中，所述纠正步骤(e)包括下列步骤：

(e1)找出边缘点，一边缘点表示在包含于该丢失区的一条边的一组第一邻接象素中的初级线的边缘象素中具有最大边缘幅度的一边缘象素；

(e2)如果边缘点数小于2，则将该丢失区设置为一子区，而如果边缘点数大于1，则用一条穿过两个初级边缘点的初级线将该丢失区分成两个或更多的子区，该初级边缘点是具有第一和第二最大边缘幅度的边缘点；及

(e3)用根据该参考区的象素获取的替换数据补偿每一子区的象素，由此纠正该丢失区的信道误差。

13、根据权利要求12的方法，其中所述每一子区的替换数据是根据与每一子区的边相邻的第一邻接象素获取的。

14、一种用于解码一包含信道误差的被发送的视频信号的装置，包括：

用于解码该被发送的视频信号以提供一图象信号的装置，该图象信号被分成多个M×N象素的块，M和N分别为正整数；

用于存储该图象信号的装置；

用于为一丢失区检测一参考区并从该存储装置检索参考区数据的装置，其中该丢失区表示一组连接在一起的包含信道误差的块，而该参考区数据表示该参考区的象素值，该丢失区是一具有多条边的多边形；

用于在参考区域中找出穿越该丢失区的边缘线的装置；及

装置，用于根据该参考区数据和该穿越边缘线来确定该丢失区的象素数据以由此将被确定的象素数据存储在存储装置中。

15、根据权利要求14的装置，其中所述寻找装置包括：

用于为该参考区中的每一个象素计算一边缘幅度的装置；

用于将该边缘幅度与一预定阈值进行比较的装置；

用于确定边缘象素的装置，该边缘象素具有大于该预定阈值的边缘幅度；

用于产生边缘线的装置，每一边缘线包含连接在一起的边缘象素；及

装置，用于根据在该丢失块的边处的边缘线的方向在边缘线中选择穿越边缘线。

16、根据权利要求14的装置，其中确定装置包括：

用于为丢失区中的每条边获取一边缘点的装置，该边缘点表示在位于离所述每条边一预定范围之内的穿越边缘线的边缘象素中具有最大边缘幅度的一边缘象素；

装置，用于在所获得的边缘点少于两个时将该丢失区设置为一子区；

装置，用于在所获得的边缘点是两个或更多时将具有第一和第二最大边缘幅度的两个边缘点设置为初级边缘点，并用穿过该初级边缘点的一条初级线将该丢失区分成两个或更多的子区。

装置，用于根据与所述每一子区的边相邻的参考区的象素来估计每一子区的象素数据并将该子区的象素数据确定为该丢失区的象素数据以使其被存储于存储装置中

17、根据权利要求16的装置，其中每一子区的所述象素数据由插入邻接象素而算出。

18、根据权利要求15的装置，其中用于计算边缘幅度的所述装置包括：

装置，用于为该参考区中的每一象素计算一垂直和一水平及两对角的边缘梯度；及

装置，用于根据该边缘梯度计算边缘幅度。

19、根据权利要求18的装置，其中所述预定范围相当于两个象素。

Images