CN1656510A - 减小与边缘有关的运动模糊 - Google Patents

Abstract

本发明涉及减小在非频闪显示装置上(具体地，在液晶显示板(LCD)、薄膜晶体管显示器(TFT)、彩色顺序显示器、等离子体显示板(PDP)、数字微镜面装置或有机发光二极管(OLED)显示器上)显示的图像的运动模糊的方法和电路安排，在其中计算依赖于输入视频信号的每个图像中的运动部分的运动矢量，其中根据所计算的运动矢量对输入视频信号进行抗运动模糊滤波以产生输出视频信号，以及其中根据所述输出视频信号在所述显示装置上生成图像。为了提供具有较小的噪声增强和较小的噪声调制的改进的空间滤波，提出：确定在输入视频信号的每个图像中的边缘特性，以及根据所述确定的边缘特性进行抗运动模糊滤波。这样，空间滤波只集中在图像的重要的部分，以及噪声增强和噪声调制得以减小。

Description

减小与边缘有关的运动模糊

本发明涉及减小在非频闪显示装置上(具体地，在液晶显示板(LCD)、薄膜晶体管显示器(TFT)、彩色顺序显示器、等离子体显示板(PDP)、数字微镜面装置或有机发光二极管(OLED)显示器上)显示的图像的运动模糊的方法，在其中计算依赖于输入视频信号的每个图像中的运动部分的运动矢量，其中根据所计算的运动矢量进行输入视频信号的抗运动模糊滤波以产生输出视频信号，以及其中根据所述输出视频信号在所述显示装置上生成图像。本发明还涉及提供抗运动模糊功能的电路装置。

非频闪显示器(诸如，液晶显示器(LCD)、等离子体板显示器(PDP)、薄膜晶体管显示器(TFT)、彩色顺序显示器、数字微镜面装置或有机发光二极管(OLED)显示器)包含具有用于调制光的画面单元(像素)的行和列阵列的显示板、用于从前面和后面照射显示板的装置和用于按照所施加的输入视频信号驱动像素的驱动装置。

在现有技术的阴极射线管(CRT)中，所显示的图像的每个像素以脉冲的形式被生成，该脉冲比起画面周期T来说是非常短的。不同于这些现有技术的CRT，在新的平坦的、高质量的、低成本的显示装置中，每个像素在大部分画面周期期间被显示。当然，这种非频闪特性对于其像素(例如慢的磷光体微粒)在与图像周期相比不可忽略的时间内处于激活状态的那种CRT也成立。在这个说明后面，我们因此将只区分频闪和非频闪显示器，在非频闪显示器的情形下，我们将使用术语“像素”用于光调制阵列的单元和CRT型显示器的激活的(慢的)微粒。

在非频闪显示器上显示的图像的任何部分包含运动的情形下，观众将跟踪这个运动。由于每个像素几乎在整个画面周期内被显示，显示运动的像素的强度沿着运动轨迹如下地被积分：

$F_{\mathrm{out}}(\stackrel{\→}{x},n)=\frac{1}{t_i}\underset{0}{\overset{t_i}{\∫}}F(\stackrel{\→}{x}+\frac{t}{T}\stackrel{\→}{D},n)\mathrm{dt}---\left(1\right)$

其中t_i是每个图像的显示时间，F是输入视频信号，F_out是输出视频信号，以及T是画面周期。运动矢量 $\stackrel{\→}{D}=\stackrel{\→}{v}T$ 是物体速度 与图像周期T的乘积。在t_i是常数的情形下，积分等同于

与采样保持函数h(α)的卷积：

$F_{\mathrm{out}}(\stackrel{\→}{x},n)=\frac{T}{t_i}\underset{0}{\overset{\frac{t_i}{T}}{\∫}}F(\stackrel{\→}{x}+\mathrm{\α}\stackrel{\→}{D},n)\mathrm{d\α}---\left(2\right)$

$=\underset{-\∞}{\overset{\∞}{\∫}}F(\stackrel{\→}{x}+\mathrm{\α}\stackrel{\→}{D},n)\·h\left(\mathrm{\α}\right)\mathrm{d\α}$

其中

$h\left(\mathrm{\α}\right)=\left\{\begin{array}{cc}T/t_i,& 0\≤\mathrm{\α}\≤t_i/T\\ 0,& \mathrm{otherwise}\end{array}\right.---\left(3\right)$

是沿着运动矢量 取向的一维方块函数。所以，它实际上是二维函数

其在线段 $\stackrel{\→}{x}=k\stackrel{\→}{D},$ 0≤k≤t_i/T外具有零值，而二维积分区域被归一化为1。二维空间付立叶变换是

$=F(\stackrel{\→}{f},n)\·H\left(\stackrel{\→}{f}\right)$

其中

是原始信号

的二维空间付立叶变换，以及是

的二维空间付立叶变换：

$H\left(\stackrel{\→}{f}\right)=\frac{\sin \left(\mathrm{\π}\stackrel{\→}{D}\frac{t_i}{T}\stackrel{\→}{f}\right)}{\mathrm{\π}\stackrel{\→}{D}\frac{t_i}{T}\stackrel{\→}{f}}.----\left(5\right)$

显然，运动跟踪/时间采样保持特性的效果是在运动方向上具有正弦形状频率响应的低通滤波，其截止频率反比于数值

从EP 0 657 860 A2可以获知，在非频闪显示器中的运动模糊可以通过对于驱动显示板的像素的输入视频信号进行抗运动模糊滤波而被预补偿。在EP 0 657 860 A2中，这个抗运动模糊是用根据所估计的运动矢量的高空间频率提升滤波器实施的。当矩阵显示器上移动物体的观众沿着运动轨迹积分像素的强度时，这按照公式(5)相应于在空间频率域中的低通滤波，运动模糊可以通过增强运动物体高空间频率而被减小。运动部分的速度越高，需要增强的频谱的部分越大。

所建议的解决方案的一个缺点是在运动矢量不可靠的区域中(即，在存在很小的对比度的区域中)，执行滤波可能不改进画面。而且，滤波甚至可能引起噪声调制。在这种情形下，画面的平坦部分被滤波，其中滤波不能改进重要的细节。然而，它会导致噪声图案的可见差别，即，噪声调制。

因此，本发明的目的是提供具有较少噪声增强和较少噪声调制的改进的空间滤波。

为了达到本发明的目的，提出：确定在输入视频信号的每个图像中的边缘特性，以及进一步根据所述确定的边缘特性进行抗运动模糊滤波。这样，空间滤波只集中在图像的重要的部分，以及噪声增强和噪声调制得以减小。

对于本发明的一个优选实施例，还提出诸如边缘矢量的长度和/或取向和/或边缘的存在之类的边缘特性。

所述边缘特性优选地从图像信号在两个正交方向上的一阶导数的绝对值减去固定的阈值后的过零点而得出，以减小对噪声的灵敏度。

在所述边缘矢量的长度和取向的计算中，优选地不考虑低的和窄的边缘。

边缘的存在优选地是通过将边缘矢量采样成二进制信号而被检测的。

按照本发明的另一个优选实施例，边缘的存在可以通过扩张和/或侵蚀和/或低通滤波所述二进制信号而在空间上平滑。

本发明的另一个优选实施例提出：通过用空间滤波器滤波输入视频信号，通过随后组合滤波的输入视频信号与输入视频信号本身以产生中间视频信号，通过把中间视频信号乘以增益因子以产生放大的中间信号，以及通过组合所述放大的中间信号与所述输入视频信号以产生输出视频信号，而执行抗运动模糊滤波。在所述的相乘中，所施加的增益因子可以是像素特定的或也可以对于一组像素是恒定的。

被应用于输入视频信号的空间滤波器可以被有利地实现为高空间频率提升滤波器。这个滤波器可被实现为一维滤波器，以节省成本和简化信号处理，可被实现为标准二维滤波器或甚至实现为3维滤波器，如果在滤波处理过程中也使用来自以前的或下一个图像的图像数据的话。

在本发明的另一个有利的实施例中，确定诸如低通、中通或高通等的滤波器特性的类型的高空间频率提升滤波器的滤波器系数以及这个空间滤波器的频率特性的方向取决于运动矢量，而增益因子取决于运动矢量的长度和边缘的存在。通过抑制在其中得不到改进的对图像的低细节部分的图像处理，可以减小噪声增强和噪声调制。通过使用边缘特性作为感兴趣的点的选择器，可以区分对于图像的各个部分的处理量。

在另一个优选实施例中，高频提升滤波器的滤波器系数和滤波器的频率特性的方向取决于运动矢量，而增益因子取决于对于边缘矢量的长度进行归一化的边缘矢量与运动矢量的内积。

通过增益控制，于是图像处理被集中在其中运动矢量与边缘矢量之间角度较小的图像部分，这反映了：如果相应的运动矢量取水平方向，则具有相应的垂直边缘矢量的垂直亮度瞬变将不受运动模糊的影响。

本发明的再一个有利的实施例提出：滤波器的频率特性的方向取决于边缘矢量的取向，高空间频率提升滤波器的滤波器系数取决于运动矢量和/或边缘矢量，而增益因子取决于运动矢量和/或边缘矢量。图像处理的这个方向控制考虑到：由于孔径问题，运动矢量可能是不可靠的，说明对于平行于边缘的运动矢量分量发生大的估计误差。平行于边缘的运动估计是困难的，因为与垂直于边缘不同，对于平行于边缘的情况只有很少的细节或没有细节可提供给运动矢量估计算法以进行处理。通过在边缘矢量方向上而不是在运动矢量方向上执行抗运动模糊滤波，因此运动模糊被减小而同时具有较小的噪声增强和噪声调制。

本发明的一个低成本的实施例是通过提出下列建议而得到的：使用高空间频率提升滤波器的一组固定的滤波器系数，空间滤波器的频率特性的方向取决于边缘矢量的取向，以及增益因子取决于运动矢量和/或边缘矢量。高空间频率提升滤波器于是被大大地简化，因为只有空间滤波器的频率特性的方向取决于局部图像特性。规定在其中进行图像处理的图像部分的增益由运动和边缘矢量来控制。

增益因子对于运动矢量和/或边缘矢量的依赖性优选地可以与运动矢量的长度和边缘的存在有关。

增益因子对于运动矢量和/或边缘矢量的依赖性优选地还可以与相对于边缘矢量的长度归一化的边缘矢量和运动矢量的内积有关。然后，抗运动模糊滤波主要是在其中运动矢量与边缘矢量之间角度较小的图像部分执行，即，只有穿过边缘的运动矢量部分被使用于清晰度增强。

本发明还包括非频闪显示装置，尤其是液晶显示器(LCD)、薄膜晶体管显示器(TFT)、彩色顺序显示器、等离子体显示板(PDP)、数字微镜面装置或有机发光二极管(OLED)显示器，所述各种显示装置具有用来计算输入视频信号的每个图像中的运动矢量的装置、用来根据所述计算的对矢量对输入视频信号进行滤波以产生输出视频信号的装置、以及用来在显示板上显示输出视频信号的图像的装置，其中提供了确定输入视频信号的每个图像的边缘特性的装置，以及其中提供了根据所计算的运动矢量和所确定的边缘特性对输入视频信号进行滤波的装置。

通过参照此后描述的各实施例，将明白和阐述本发明的这些和其他方面。图上显示：

图1是带有与边缘有关的运动模糊减小的显示系统的第一实施例的示意图，以及

图2是带有与边缘有关的运动模糊减小的显示系统的第二实施例的示意图。

图1显示带有所建议的与边缘有关的运动模糊减小的显示系统的第一实施例。输入视频信号1被抗运动模糊滤波器2滤波，产生输出视频信号3。为此，输入视频信号1被馈送到运动估计步骤4和边缘估计步骤5。运动估计步骤4产生输入视频信号1的每个图像的运动矢量的估计。边缘估计步骤计算边缘矢量和/或确定在输入视频信号1的每个图像中边缘的存在。运动估计步骤4和边缘估计步骤5的输出被馈送到抗运动模糊滤波器2中。

输入视频信号的每个图像中的边缘可以通过识别亮度瞬变而被确定。为此，计算亮度信号在水平方向的一阶导数

$Y_h^{\′}\left(\stackrel{\→}{x}\right)=\frac{d}{d{x}_1}Y\left(\stackrel{\→}{x}\right),---\left(6\right)$

和在垂直方向上的一阶导数

$Y_v^{\′}\left(\stackrel{\→}{x}\right)=\frac{d}{{\mathrm{dx}}_2}Y\left(\stackrel{\→}{x}\right),---\left(7\right)$

其中

$Y\left(\stackrel{\→}{x}\right)=Y(x_1,x_2)---\left(8\right)$

是二维亮度(图像)信号。

然后通过测量在导数信号的过零点之间的距离可以计算在这些方向上的边缘宽度(即，在两个方向上的瞬变宽度)。为了减小对于噪声的灵敏度，可以从绝对值导数信号中减去阈值T_h和T_v。

水平边缘宽度 是以下信号的过零点之间的距离：

$\left|Y_h^{\′}\left(\stackrel{\→}{x}\right)\right|-T_h---\left(9\right)$

以及垂直边缘宽度 是以下信号的过零点之间的距离：

$\left|Y_v^{\′}\left(\stackrel{\→}{x}\right)\right|-T_v,---\left(10\right)$

垂直于边缘的边缘宽度由下式给出：

$\left|\stackrel{\→}{e}\left(\stackrel{\→}{x}\right)\right|=\frac{h\left(\stackrel{\→}{x}\right)\·v\left(\stackrel{\→}{x}\right)}{\sqrt{h^2\left(\stackrel{\→}{x}\right)+v^2\left(\stackrel{\→}{x}\right)}}.---\left(11\right)$

这些宽度被指定给边缘内的所有的点(在过零点内)。

为了进一步提高边缘检测算法中对抗噪声的鲁棒性，可以使用对于

的条件和对于

的类似的条件：

$h\left(\stackrel{\→}{x}\right)=\left\{\begin{array}{c}h\left(\stackrel{\→}{x}\right),\max \left(Y_h^{\′}\left(\stackrel{\→}{x}\right)\right)>\frac{T_r}{h\left(\stackrel{\→}{x}\right)}\∀\stackrel{\→}{x}\∈[\stackrel{\→}{x}-\frac{h\left(\stackrel{\→}{x}\right)}{2},\stackrel{\→}{x}+\frac{h\left(\stackrel{\→}{x}\right)}{2}]\\ 0,\mathrm{otherwise},\end{array}\right.---\left(12\right)$

其中T_r表示固定的阈值。

这个公式说明，边缘的宽度应当与高度成反比，这导致丢弃低的和窄的边缘(或许是噪声)。在知道水平和垂直边缘宽度后，结合所述边缘在两个方向上(白到黑或黑到白)的梯度，有可能计算边缘的取向角度

连同边缘宽度

一起，然后可以确定边缘矢量

如果抗运动模糊滤波器是根据高空间频率提升滤波器(HFBF)6被实现的(如图1所示)，则输入视频信号被处理如下：

输入视频信号1首先被用HFBF 6滤波以产生滤波的输入视频信号。这个滤波的视频信号然后被与输入视频信号1相组合以产生中间信号。中间信号随后被与增益因子k相乘以产生放大的中间信号，然后把它与输入视频信号1相组合以产生输出视频信号3。输出视频信号3然后驱动显示板的行和列像素。

如果中间信号是通过从滤波的输入视频信号中减去输入视频信号而产生的，则显然，两个信号的差只在进行滤波的空间频率具有非零的分量。增益因子k允许选择是否想要进行这个滤波和滤波到什么程度，例如，减小放大的中间信号的动态范围。

HFBF 6现在可以由HFBF的一组滤波器系数f和频率特性的方向表征。按照图1，滤波器系数 $f=f(\stackrel{\→}{v},\stackrel{\→}{e})$ 和频率特性的方向

由滤波器系数和方向控制步骤7根据运动估计步骤4和边缘估计步骤5的输出确定。同样地，增益因子 $k=k(\stackrel{\→}{v},\stackrel{\→}{e})$ 由增益控制步骤8根据运动估计步骤4和边缘估计步骤5的输出确定。

图1描述运动有关的和边缘有关的运动模糊减小的最一般的情形。滤波器系数 $f=f(\stackrel{\→}{v},\stackrel{\→}{e}),$ 滤波器的频率特性的方向

和增益因子 $k=k(\stackrel{\→}{v},\stackrel{\→}{e})$ 可以取决于运动估计步骤4和边缘估计步骤5的输出。例如，如果抗运动模糊滤波只是对于图像上某些感兴趣的点是想要的，则滤波器系数 $f=f(\stackrel{\→}{v},\stackrel{\→}{e})$ 取决于运动矢量和/或边缘矢量，滤波器的频率特性的方向 取决于运动矢量的取向，以及增益因子 $k=k\left(\right|\stackrel{\→}{v}|,p)$ 取决于边缘的存在 $p\left(\stackrel{\→}{x}\right)=p\left(\stackrel{\→}{e}\left(\stackrel{\→}{x}\right)\right)$ 和运动矢量的长度 这样，抗运动模糊滤波只在图像中有边缘时才执行。边缘的存在 $p\left(\stackrel{\→}{x}\right)=p\left(\stackrel{\→}{e}\left(\stackrel{\→}{x}\right)\right)$ 代表边缘矢量的函数，以及可以通过将边缘矢量采样成一比特信号(有边缘或没有边缘)以及可能扩张和侵蚀这些信号而得到。

相当类似地，在增益控制的滤波中，滤波器系数 $f=f(\stackrel{\→}{v},\stackrel{\→}{e})$ 取决于运动矢量和/或边缘矢量，滤波器的频率特性的方向 取决于运动矢量，但增益因子 $k=k(\stackrel{\→}{v},\stackrel{\→}{e})$ 取决于对于边缘矢量的长度归一化的边缘矢量与运动矢量的内积，即， $k=k(\frac{\stackrel{\→}{e}\·\stackrel{\→}{v}}{\left|\stackrel{\→}{e}\right|\·\left|\stackrel{\→}{v}\right|}\·|\stackrel{\→}{v}\left|\right)=k\left(\frac{\stackrel{\→}{e}\·\stackrel{\→}{v}}{\left|\stackrel{\→}{e}\right|}\right),$ 这样，滤波只在边缘矢量与运动矢量之间的角度段小时才执行。

相反，在方向控制的滤波中，滤波器的频率特性的方向

取决于边缘矢量的取向，以避免如果必须执行平行于边缘的运动矢量估计所遇到的运动矢量的估计误差。滤波器系数 $f=f(\stackrel{\→}{v},\stackrel{\→}{e})$ 和增益因子 $k=k(\stackrel{\→}{v},\stackrel{\→}{e})$ 再次可能取决于运动矢量和/或边缘矢量。对于增益因子 $k=k(\stackrel{\→}{v},\stackrel{\→}{e}),$ 可以想像对于边缘的存在与运动矢量的长度的依赖性 $k=k\left(\right|\stackrel{\→}{v}|,p)$ 或对于运动矢量与边缘矢量的归一化内积的依赖性 $k=k\left(\frac{\stackrel{\→}{e}\·\stackrel{\→}{v}}{\left|\stackrel{\→}{e}\right|}\right).$

图2显示带有与边缘有关的运动模糊减小的显示系统的第二实施例，具体地是低成本的版本。与图1相反，一组固定的滤波器系数 $f\≠f(\stackrel{\→}{v},\stackrel{\→}{e})$ 被使用于HBEF 6，以使得滤波器系数和滤波器方向控制步骤7简化成滤波器方向控制装置。而且，运动估计步骤4的输出只影响增益因子控制步骤8而不再影响滤波器方向控制步骤7。这个设置确保：抗运动模糊滤波只在运动模糊实际上发生的边缘矢量的方向上执行。不改进图像清晰度但是增强噪声和调制噪声的平行于边缘的滤波因此被省略。为了进一步减小噪声的增强，增益因子 $k=k(\stackrel{\→}{v},\stackrel{\→}{e})$ 根据运动矢量和边缘矢量而被控制，例如，通过选择正比于这两个矢量的内积的增益因子 $k=k\left(\frac{\stackrel{\→}{e}\·\stackrel{\→}{v}}{\left|\stackrel{\→}{e}\right|}\right).$

滤波器系数 $f\≠f(\stackrel{\→}{v},\stackrel{\→}{e})$ (其在这个设置中被保持为固定的，而不管当前图像中运动的量)可以是基于运动的量的平均值，或可以用几个图像周期的停留时间被更新。作为这样的低成本滤波器的一维的例子，具有抽头[-1 2-1]的FIR滤波器可以被应用于相邻的像素，以达到所需要的、对于公式(5)的滤波器的逆滤波器。这个低成本版本的HFBF确实有利地避免理论上需要的、对于公式(5)的滤波器的逆滤波器的极点，以及只包括几个滤波器抽头。

Claims (16)

1.减小在非频闪显示装置上显示的图像的运动模糊的方法，所述显示装置尤其是液晶显示板(LCD)、薄膜晶体管显示器(TFT)、彩色顺序显示器、等离子体显示板(PDP)、数字微镜面装置或有机发光二极管(OLED)显示器，在其中计算依赖于输入视频信号的每个图像中的运动部分的运动矢量，其中根据所计算的运动矢量对输入视频信号进行抗运动模糊滤波以产生输出视频信号，以及其中根据所述输出视频信号在所述显示装置上生成图像，其特征在于，确定输入视频信号的每个图像中的边缘特性以及进一步根据所述确定的边缘特性进行抗运动模糊滤波。

2.按照权利要求1的方法，其特征在于，所述边缘特性是边缘矢量的长度和/或取向和/或边缘的存在。

3.按照权利要求2的方法，其特征在于，边缘矢量的所述长度和/或取向是从图像信号在两个正交方向上的一阶导数的绝对值减去固定的阈值后的过零点而得出的。

4.按照权利要求3的方法，其特征在于，在计算所述边缘矢量的长度和取向时不考虑低的和窄的边缘。

5.按照权利要求2到4的方法，其特征在于，边缘的存在是通过将边缘矢量采样成二进制信号而被检测的。

6.按照权利要求5的方法，其特征在于，边缘的存在通过扩张和/或侵蚀和/或低通滤波所述二进制信号而在空间上被平滑。

7.按照权利要求1到6的方法，其特征在于，抗运动模糊滤波如下地被执行：

通过用空间滤波器滤波输入视频信号，

通过随后组合滤波的输入视频信号与输入视频信号本身，以产生中间视频信号，

通过把中间视频信号乘以增益因子，以产生放大的中间信号，以及

通过组合所述放大的中间信号与所述该输入视频信号，以产生输出视频信号。

8.按照权利要求7的方法，其特征在于，被应用于输入视频信号的空间滤波器是高空间频率提升滤波器。

9.按照权利要求8的方法，其特征在于，高空间频率提升滤波器的滤波器系数和这个滤波器的频率特性的方向取决于运动矢量，以及

增益因子取决于运动矢量的长度和边缘的存在。

10.按照权利要求8的方法，其特征在于，高频提升滤波器的滤波器系数和该滤波器的频率特性的方向取决于运动矢量，以及

增益因子取决于对于边缘矢量的长度归一化的边缘矢量与运动矢量的内积。

11.按照权利要求8的方法，其特征在于，高空间频率提升滤波器的频率特性的方向取决于边缘矢量的取向，

高空间频率提升滤波器的滤波器系数取决于运动矢量，

以及增益因子取决于运动矢量和/或边缘矢量。

12.按照权利要求8的方法，其特征在于，高空间频率提升滤波器的频率特性的方向取决于边缘矢量的取向，

高空间频率提升滤波器的滤波器系数取决于边缘矢量，

以及增益因子取决于运动矢量和/或边缘矢量。

13.按照权利要求8的方法，其特征在于，使用高空间频率提升滤波器的一组固定的滤波器系数，该空间滤波器的频率特性的方向取决于边缘矢量的取向，以及增益因子取决于运动矢量和/或边缘矢量。

14.按照权利要求11到13的方法，其特征在于，增益因子取决于运动矢量的长度和边缘的存在。

15.按照权利要求11到13的方法，其特征在于，增益因子取决于相对于边缘矢量长度归一化的边缘矢量与运动矢量的内积。

16.非频闪显示装置，尤其是液晶显示器(LCD)、薄膜晶体管显示器(TFT)、彩色顺序显示器、等离子体显示板(PDP)、数字微镜面装置或有机发光二极管(OLED)显示器，

具有用来计算输入视频信号的每个图像中的运动矢量的装置，

具有用来根据所述计算的运动矢量对输入视频信号进行滤波以产生输出视频信号的装置，以及

具有用来在显示板上显示输出视频信号的图像的装置，

其特征在于，提供有确定输入视频信号的每个图像的边缘特性的装置，以及

提供有根据所计算的运动矢量和所确定的边缘特性对输入视频信号进行滤波的装置。

Images