CN1636393A - 用于改进从sd到hdtv转换的方法和设备 - Google Patents

Abstract

图像增强通过线性和非线性技术组合来获得。线性技术优选地是建峰，而非线性技术优选地是LTI。建峰适用于图像的非边缘区域。LTI适用于图像的边缘区域。LTI是子像素类的。图像增强设备优选地是一种用于将标准清晰度信号转换成高清晰度信号的设备的一部分。

Description

用于改进从SD到HDTV转换的方法和设备

相关申请

一个题为“METHOD AND APPARATUS FOR EDGEDETECTION(用于边缘检测的方法和设备)”并与本申请具有相同附图和详述描述的相关申请由本申请的同一发明人与本申请同时提交。

由本申请的同一发明人提出且题为“SYSTEM AND METHODFOR IMPROVING THE SHARPNESS OF A VIDEO IMAGE(用于提高视频图像锐度的系统和方法)”(ID 701025)的第二专利申请被与本申请同时提交，并被在此引入以供参考。

本申请要求于2000年1月12日提交的序列号为60/175,777，US000010^P的临时专利申请和2000年3月7日提交的序列号为60/187,422，US000058^P的临时专利申请的利益，它们也被在此引入以供参考。

发明背景

发明领域

本发明涉及图像增强的领域。

相关技术

专利号为5,666,164的美国专利示出了一种用于将标准清晰度(“SD”)信号转换成高清晰度电视(“HDTV”)信号的图像增强技术。

发明概述

本发明的目的是获得关于图像增强的进一步的改进。

此目的通过一种设备来实现，该设备包括一个边缘检测单元，一个用于增强由边缘检测单元检测到的边缘的非线性增强单元和一个用于增强由边缘检测单元标识出的非边缘区域的线性增强设备。

所述的线性设备有利地是一个建峰单元。同时所述的非线性设备有利地是一个LTI单元。

优选地，该LTI单元是一个子像素级单元。

按照本发明的设备能被用于改进SD到HDTV的转换。

从下面可以明显地看到另外的目的和优点。

附图简述

现在将参考下面的附图利用非限制性的示例来描述本发明。

图-1示出一个用于将一个SD信号转换成一个HDTV信号的转换单元的概况。

图-2示出上抽样单元的更多细节。

图-3到图-8示出线性内插器的操作。

图-9示出一个用于实现锐度增强的设备。

图-10是一个与边缘检测有关的流程图。

图-11示出标准拉普拉斯算子和低通拉普拉斯算子的效果间的差别。

图-12示出门限2取不同值时的效果。

图-13A-F和图-14A-F示出边缘链接的规则。

优选实施方案的详述

图-1示出了依照本发明的一个设备的概况。一个SD信号被送进一个隔行到逐行转换器110。关于隔行到逐行转换器的更多信息可以在G.De Haan和E.B.Bellers提出的“De-Interlacing-an overview(去隔行-概述)”，Proc.IEEE，vol.86，第1839-1857页(1998年9月)中找到。在框111处，上抽样通过线性内插实现。上抽样可以在锐度增强之前分别在水平和垂直方向进行。之后，在框112处，对该信号进行锐度增强。这之后，在框113处，逐行到隔行转换器对每帧仅隔一行取一行，将该信号转换成一个HDTV信号。图-1中的框可以用硬连线电路实现，或作为一个通用处理器中的代码来实现。

图-2示出框111结构的更多的细节。该框包括一个传统的零插入单元201和一个传统的防混叠滤波器202。该防混叠滤波器优选地有下面的系数：

$[\frac{-3}{32},0,\frac{19}{32},1,\frac{19}{32},0,\frac{-3}{32}]$

图-3到图-8示出线性内插器的操作。图-3a示出具有不同幅值的0到n个抽样的、输入到线性内插器的信号的一个时域形式。图-3b示出同一输入信号的频域形式。该频域形式在f_SO/2处降为零，这里f_SO是初始抽样频率。

图-4a示出零插入器201在时域的动作。图-4b示出零插入器在频域作用的结果。该零插入器使得在频域中出现第二个峰值，在f_sn/2处有一个截止，这里f_sn是内插导致的新抽样频率，换句话说，在此示例中放大因子为2。

图-5示出理想防混叠滤波器在频域上的性能。

图-6a示出在时域上理想防混叠滤波器作用于零插入器输出的结果。图-6b示出与图-6a相同的信号，只是是在频域上的结果。

图-7示出一个实际的防混叠滤波器在频域上的轮廓线。

图-8a示出在时域上实际防混叠滤波器作用于零插入器输出的结果。图-8b示出实际防混叠滤波器在频域上的结果。该曲线在801处示出了混叠。

图-9示出框112的更多细节。输入901来自一个信噪比计算器。优选类型的噪声检测在2000年3月6日提交的序列号为09/519,548、题为“Subjective Noise Measurement on Active Video Signal(对活动视频信号的主观噪声测量)”的美国专利申请中公开，该申请被在此引入以供参考。输入908来自框111。边缘检测器902和建峰单元904都要用到输入908和输入901。该边缘检测器902将在下面作进一步的描述。该建峰单元904可以是任何常规的建峰单元，例如在欧洲专利文档EP0257129中示出的一个建峰单元。该建峰单元在检测到边缘时会被关闭。子像素级亮度瞬态改进(“LTI”)903从边缘检测器902和框111同时获取输入。单元903在由本申请的同一发明人与本申请同时提交的、题为“SYSTEM AND METHOD FOR IMPROVING THESHARPNESS OF A VIDEO IMAGE(用于提高视频图像锐度的系统和方法)”(ID 701025)的专利申请中被描述，该申请被在此引入以供参考。输出906和输出907都是以YUV 4∶2∶2的格式。之后这些输出在加法器905处相加。从加法器905出来的信号在加法器909处与来自框111的908处的输入信号相加。加法器909的输出进到图-1中的框113。在线908上的信号是以YUV 4∶2∶2的格式。

概念上，图-9的设备组合了线性技术(即建峰技术)和非线性技术(即LTI)以改进内插结果。

建峰单元904通过将一个高通信号加到初始信号上来增强高频成分。建峰作为一种图像处理技术有其优势也有其弱点。建峰之后，瞬态的幅度被增加；但是建峰处理很容易作过头，而导致大瞬态的大边框。而且，建峰对噪声图像缺乏鲁棒性。避免非自然信号所要求的“智能”控制可能尝试使用更复杂的建峰算法；然而，建峰的线性特性意味着即使用这些更复杂的建峰算法也不能引入新的频率。

LTI将像素移向边缘中心。边缘检测决定哪些像素需要使用LTI来移动。所以在边缘周围生成比正常频率更高的频率，并且该瞬态的斜率增加。当边缘检测可靠时，LTI在存在噪声的情况下是鲁棒的。优选地，边缘检测与输入视频信号的信噪比有关。当边缘检测依赖于信噪比时，输出控制也依赖于信噪比。优选地，同样，当瞬态幅度小时，LTI的主观效果不如建峰的主观效果强。

在优选的实施方案中，建峰和LTI被组合起来以使得建峰作用于小瞬态，而LTI作用于大瞬态。换句话说，对小瞬态，幅度将被提高，而对大瞬态，斜率将被增大。这种技术区分了LTI不适用的软边缘和LTI适用的较尖锐边缘。

通常，会产生令人烦恼的非自然信号的溢出/下溢问题只在有大的瞬态处才出现，即在边缘处出现。因此，在建峰单元中不必防止下溢/溢出问题，这节省了大量的电路或计算时间。

尽管本公开内容的大部分与一维图像处理有关，但却作用于两个路径，一个水平和一个垂直；但是也可以使用2D技术，例如对图像的纹理部分可以使用2D建峰。

图10说明了用在框902中的优选边缘检测过程的流程；但是，可以由本领域的那些普通技术人员来设计用于提供输入到单元903的其它边缘检测器。图10的过程可以在任何类型的处理器中执行，例如，或者通过硬连线的硬件或者通过编程的多用途处理器。例如框1003-1005每个都可以由一个独立的专用电路实现。

在一个二维图像中，按照图10的边缘检测最好在各维独立地执行。换句话说，图10的流程被执行两次。这有两个理由是优选的。第一，人眼通常对水平和垂直方向的线条和边缘更敏感。第二，对角线型边缘表现为水平和垂直方向的边缘。

可以按任一顺序(先垂直或者先水平)扫描各维。在垂直扫描期间，仅检测到水平边缘并将其标记为边缘。在水平扫描期间，仅检测到垂直边缘并将其标记为边缘。

框1001示出了对输入新像素的请求。在框1002，执行测试以查看该最后的像素是否已经通过。如果已通过，则开始一个边缘链接过程1007。如果未通过，则在1003，测试是否低通二阶导数过零。如果框1002的测试结果是肯定的，则在像素级已检测到边缘并且控制被交给1004。如果是否定的，则控制被交给框1001。

在1004，确定低通一阶导数是否大于一个被称为“门限1”的值。在导数的最大值为255的情况下，门限1的优选值为20，但是本领域的那些普通技术人员可以使用其它值以便得到不同的期望效果。如果框1004的测试未被满足，则这是一个由噪声导致的假边缘，故控制被返回给1001。如果测试被满足，则假边缘的可能性已被排除且控制被交给框1005。

在1005，测试低通三阶导数是否大于被称为“门限2”的值与低通一阶导数的乘积。门限2的优选值是0.45，但是本领域的那些普通技术人员又可能使用其它值以便得到不同的期望效果。通常，改变门限1和门限2的值将决定图片是更锐化还是更模糊。如果这两个门限低，则通常会使得图像更锐化。期望哪一种效果可能是个人喜好的问题。如果框1005的测试没有被满足，则推定的边缘太软以致不能应用LTI，并且控制被返回给框1001。如果被满足，则在1006将该像素标记为边缘。

确定低通二阶导数是否过零。

现在将描述要在框1003中执行的运算。可以根据以下等式来定义低通二阶导数：

$\mathrm{SD}\left(n\right)\stackrel{\mathrm{\Δ}}{=}L(n-m)-2\×L\left(n\right)+L(n+m)---\left(1\right)$

这里

·n是代表当前像素的整型变量

·m是与放大因子有关的整型变量。对于放大因子2，m的典型值将为4，但是本领域的那些普通技术人员可以根据在实验中工作最佳的情况而导出其它值。

·L(n)是像素n的亮度值

·SD(n)是像素n的低通二阶导数

· 意指“定义为”

拉普拉斯算子被如下定义：

$S\left(n\right)\stackrel{\mathrm{\Δ}}{=}L(n-1)-2\×L\left(n\right)+L(n+1)---\left(2\right)$

这里函数S(n)代表像素n的拉普拉斯变换。有关拉普拉斯算子的更多内容可以在序列号为5,852,470的美国专利，特别是在图14A-E及伴随的文本中得到，该专利被在此引入以供参考。

为了排除如图8b所示的混叠的影响，低通二阶导数是优选的。按照优选实施方案的低通二阶导数使用向量[-1，0，0，0，2，0，0，0，-1]，这与更常用于二阶导数，即拉普拉斯算子的向量[-1，2，-1]形成对比。这个优选向量可以通过低通滤波器[1，2，3，4，3，2，1]与传统拉普拉斯算子的卷积导出。

图11示出了当与防混叠滤波器组合时传统和低通拉普拉斯算子在频域的频谱。该低通拉普拉斯算子产生了更低频率的曲线。

所以该低通二阶导数也可以按照下列等式计算：

SD(n)＝[1，2，...，m，...，2，1]S(n)               (3)

这里[1，2，...，m，...，2，1]是低通滤波器的脉冲响应。这样等式(3)等价于等式(1)。

与单独使用拉普拉斯算子相比，使用低通二阶导数的优点在于在面对噪声和混叠时提高了鲁棒性。零交叉最好被确定，这里

     SD(n)·SD(n-1)＜0                       (4)

这个零交叉计算识别了候选的边缘像素。

确定低通一阶导数是否大于门限1

现在将描述在框1004中执行的运算。

该低通一阶导数最好按照下列等式确定：

$\mathrm{FD}\left(n\right)\stackrel{\mathrm{\Δ}}{=}L(n-m)-L\left(n\right)---\left(5\right)$

这里函数FD(n)代表像素n的低通一阶导数。

梯度算子可以如下计算：

$F\left(n\right)\stackrel{\mathrm{\Δ}}{=}L(n-1)-L\left(n\right)---\left(6\right)$

然后，类似地用前面低通二阶导数的计算，可以如下计算低通一阶导数：

FD(n)＝[1，1，1，...，1]F(n)                   (7)

这里[1，1，1，...，1]是m比特向量并且是低通滤波器的脉冲响应。这样该低通一阶导数和该低通二阶导数都基于标准算子的低通形式。在各种情况中选定向量以简化卷积后产生的系数。本领域的那些普通技术人员可能设计出其它向量以得到对于这些导数的低通效果。

如果

        |FD(n)|＞门限1                 (8)

则该候选像素被保留。这种计算有助于区分噪声和实际边缘。

确定低通三阶导数是否大于门限2乘以低通一阶导数

现在将描述框1005内的运算。这个框的作用是此处所谓的“边缘频率计算”。这个计算确定了边缘的斜率。在视频信号中，一些边缘有陡斜率，而一些边缘有较缓的斜率。通常，人们不希望锐化有较缓斜率的边缘。这些边缘可能已经被故意地软化，例如使一张脸看起来更柔和或者更光滑。这些软边缘一般有较低的频率成分。因此，具有较高频率成分的边缘才应被锐化。

由于很难定位一个边缘的开始或结束，所以单单从一阶导数计算边缘的斜率是不准确的。因此建议使用低通三阶导数和低通一阶导数之比作为边缘频率的指示。

该低通三阶导数可以按照下列等式根据低通二阶导数计算：

$\mathrm{TD}\left(n\right)\stackrel{\mathrm{\Δ}}{=}\mathrm{SD}\left(n\right)-\mathrm{SD}(n-1)---\left(9\right)$

这里函数TD(n)是像素n的低通三阶导数。由于使用了低通二阶导数，所以TD将是低通三阶导数。

可以执行下面的计算：

如果条件成立，则边缘频率高，这样该边缘成为锐度增强的候选者。由于从实现的角度看除法运算相当昂贵，所以方程式10的计算最好被表示为该低通三阶导数是否大于该低通一阶导数与门限2乘积的测试。这个乘积计算完全等价于执行该等式(10)的比率计算。因此，这里当出现该三阶与一阶导数之比大于门限的情况时，这将包括三阶导数与门限和一阶导数的乘积相比的可能性。当在这里使用术语导数而不用术语“低通”时，其意图是包括低通形式作为可能的实施方案。

让我们称低通三阶和低通一阶导数之比为 图12A-C示出了对于不同

的值边缘检测的效果。图12A是

的情形；图12B是 的情形；图12C是

的情形。这些图中每个图都显示了频率增加的模式。图下的小箭头1201，1202，1203示出了在哪里开始检测到边缘。在各种情况下，在箭头右边和箭头右方的所有边缘被检测为边缘，而在其左方的值被认为是软边缘。LTI不适用于软边缘，仅适用于箭头右边和右方的边缘。

边缘链接

图13A-F和14A-F说明分别用于垂直和水平扫描的优选边缘链接规则。本领域的那些普通技术人员也可能设计其它类型的边缘链接技术与上述的边缘检测一起使用。

图中所说明的规则脱离了被指示为边缘的孤立的像素可能不是真正边缘的假设。边缘通常要扩展到几个像素。

该规则被说明为考虑当前像素的邻域。在各种情况中该当前像素都被用‘x’标记。为简单起见，该邻域已被选为3×3，但是本领域的那些普通技术人员可能使用其他尺寸的邻域，以得到更好的结果。本领域的那些普通技术人员可能设计非方形的领域。

用于不同尺寸和形状的邻域的边缘链接规则将不同于这里针对3×3情形所说明的。

在图中，最深阴影的方块代表已经被明确确定为边缘的像素。较深阴影的方块代表根据所讨论的规则要被忽略的像素。图13A-D和14A-D的规则与重构其中有中断的线条有关，而图13E-F和14E-F的规则与消除假边缘有关。

图13A和B说明了用于垂直边缘检测扫描的规则1。图13A示出了左上和右上方块已知为边缘的情形。在这种情形中，按照图13B，边缘链接器应将整个最上一行像素标记为边缘，而当前像素不作为边缘。

图13C和D说明了用于垂直边缘检测扫描的规则2。图13C示出了与图13A相反的情形。现在左下和右下像素已被识别为边缘。在这种情形中，按照图13D，边缘链接模块应将整个最下一行像素标记为边缘，而当前像素不作为边缘。

图13E和F说明了用于垂直边缘检测扫描的规则3。图13E说明了其中当前像素周围的所有像素都已知不是边缘的情形。在这种情形中，边缘链接器将当前像素标记为不是边缘。

图14A和B说明了用于水平边缘检测扫描的规则1。这是图13A-D的规则的90度旋转。在图14A中，左上和左下的像素被标记为边缘。图14B示出作为边缘链接的结果，整个左列像素被标记为边缘，而当前像素被标记为不是边缘。

图14C和D说明了用于水平边缘检测扫描的规则2。在图14C中，右上和右下的像素被标记为边缘。图14D示出了边缘链接器产生的动作。在图14D中，整个右列像素被标记为边缘而中心像素被标记为不是边缘。

图14E和F示出了用于水平扫描的规则3。用于水平扫描的规则3与用于垂直扫描的规则3相同。

通过阅读本公开内容，其他的修改对于本领域的技术人员是显而易见的。这种修改可能涉及到在图像增强技术的设计、制造和使用中已知的其他特征，且其可能被用来取代或者附加到此处已描述的特征。特别地，在示出硬件实施方案处，可能用软件来替代；并且，在示出软件实施方案处，可能用硬件来替代。尽管在本申请中权利要求已经被表述成特征的特定组合，但是应当理解，本申请的公开范围也包括此处或者是明确地，或者是隐含地公开的任何新颖特征或特征的新颖组合，或者是对其的任何推广，不管它是否如本发明所做的那样也缓和了任何或者所有的同样的技术问题。由此申请人通知新的权利要求可以被表述成在本申请或者任何另外的从其派生出的申请处理过程中的这样的特征。

此处使用的单词“包含”不应被视为排除了另外的单元。此处使用的单数冠词“一个”不应被视为排除了多个单元。

Claims (23)

1.一种图像增强设备包括；

一个边缘检测单元(902)；

一个用于增强由边缘检测单元检测到的边缘的非线性增强单元(903)；

一个用于增强由边缘检测单元标识出的非边缘区域的线性增强设备(904)。

2.权利要求1的设备，其中所述的非线性增强单元(903)包括一个LTI单元。

3.权利要求2的设备，其中所述的LTI单元(903)操作于一个子像素级上。

4.权利要求1的设备，其中所述的线性增强设备(904)包括一个建峰单元。

5.权利要求1的设备，其中非线性增强(903)单元包括一个操作于子像素级上的LTI单元以及线性增强单元包括一个建峰单元。

6.权利要求1的设备，还包括一个被安排用于将线性和非线性增强单元的结果组合起来的单元(905)。

7.一种SD到HDTV的信号转换装置，包括依照权利要求1的图像增强单元。

8.权利要求7的装置进一步包括

一个隔行到逐行转换器(110)；

一个上抽样单元(111)；以及

一个逐行到隔行转换器(113)。

9.一种图像增强方法包括：

检测一个边缘；

非线性增强由边缘检测单元检测到的边缘；以及

线性增强由边缘检测单元标识出的非边缘区域。

10.权利要求9的方法，其中非线性增强包括应用一个LTI操作。

11.权利要求10的方法，其中所述的LTI操作是在一个子像素级。

12.权利要求9的方法，其中线性增强包括应用一个建峰操作。

13.权利要求9的方法，其中非线性增强包括在子像素级上应用一个LTI操作和线性增强包括应用一个建峰操作。

14.权利要求9的方法，进一步包括将线性和非线性增强的结果组合起来。

15.权利要求9的方法，进一步包括

第一次隔行到逐行地转换SD信号；

上抽样该第一次转换的结果；以及

第二次逐行到隔行地转换线性和非线性增强的结果。

16.一种可由一个数据或信号处理设备读取的媒体，包含适合于产生下列操作的代码：

检测一个边缘；

非线性增强由边缘检测单元检测到的边缘；以及

线性增强由边缘检测单元标识出的非边缘区域。

17.权利要求16的媒体，其中非线性增强包括应用一个LTI操作。

18.权利要求17的媒体，其中所述的LTI操作是在一个子像素级。

19.权利要求16的媒体，其中线性增强包括应用一个建峰操作。

20.权利要求16的媒体，其中非线性增强包括在子像素级上应用一个LTI操作和线性增强包括应用一个建峰操作。

21.权利要求16的媒体，其中所述的代码还适合于使得线性和非线性增强的结果组合起来。

22.权利要求16的媒体，其中所述的操作是SD到HDTV信号转换的一部分，该代码还适合于执行下列操作：

第一次隔行到逐行地转换SD信号；

上抽样该第一次转换的结果；以及

第二次逐行到隔行地转换线性和非线性增强的结果。

23.一种图像处理方法，包括在一个数据或信号处理设备中执行下列操作：

接收一个图像信号；

增大相对较小的瞬态的幅度；

增大相对较大的瞬态的斜率；以及

响应该增大操作而提供一个增强的图像信号。

Images