CN101981911A

CN101981911A - 图像处理方法和装置

Info

Publication number: CN101981911A
Application number: CN2008801250647A
Authority: CN
Inventors: A·扎姆菲尔; A·德里姆巴雷安; F·阿尔布; C·弗罗雷亚
Original assignee: Tessera Technologies Ireland Ltd
Current assignee: Fotonation Ltd
Priority date: 2008-01-18
Filing date: 2008-01-18
Publication date: 2011-02-23
Anticipated expiration: 2028-01-18
Also published as: EP2249556A3; JP2011510547A; CN101981911B; US7995855B2; WO2009089847A1; IES20080497A2; US20090185753A1; US20110243439A1; KR20100102623A; EP2249556A2; US8155468B2; JP5337818B2; KR101454609B1; EP2158754A1

Abstract

一种处理图像的方法，包括：在对图像的单次通过中，遍历图像的每个像素；对每个像素应用取反函数；对每个取反的像素值应用递归滤波器，所述滤波器具有根据图像的先前遍历的像素值导出的参数；以及将像素值与用于所述像素的所述滤波器参数组合，以提供经处理图像的像素值。

Description

图像处理方法和装置

技术领域

本发明涉及用于改进获取的图像质量的图像处理方法和装置。

背景技术

对图像应用滤波器以改进其特性是公知的。

在US 7,072,525中，Covell公开了一种自适应滤波器，用于对通过处理可视图像原始版本而产生的可视图像目标版本进行滤波，该自适应滤波器的特性按照可视图像原始版本的一个或多个特性来确定。基于原始图像的局部属性来调整该自适应滤波器的滤波的朝向和/或强度，这可以使自适应滤波器避免跨图像中的真实边缘而引入模糊。

在US 6,823,086中，Dolazza公开了一种系统，用于对图像进行自适应滤波从而降低与该图像相关联的噪声分量。该系统包括图像分析器，用于确定与图像有关的图像参数。该系统还包括空间滤波器，其具有响应于图像参数的可调节内核，用于对图像序列进行滤波。图像分析器根据图像参数来操纵滤波器内核，使得系统根据未滤波图像、外部规则、预定约束或其组合，来产生可实时自适应的已滤波图像。该空间滤波器包括非时变部分和自适应部分。非时变部分对图像应用多个滤波器，每个滤波器具有不同的频率响应，从而产生多个不同的已滤波输出。自适应部分利用相应的不同加权值来缩放该多个不同已滤波输出中的每一个，以产生多个经过缩放的已滤波输出，并且组合该多个经过缩放的已滤波输出，从而产生合成的已滤波输出。

在Covell和Dolazza中，对图像应用多个2-D低通滤波器，每个2-D低通滤波器具有不同的频率响应，并且对输出进行加权，以产生合成的已滤波输出。

由此，US 7,072,525和US 6,823,086的复杂性较高。而且，这些专利需要图像分析器或者另一图像来确定自适应滤波器的行为，也即，需要对原始图像和目标图像的至少一轮通过(one pass)。

在US 6,335,990中，Chen等公开了利用滤波系数在单个步骤中在空间域和时间域中进行滤波，其中滤波系数可以根据视频的复杂性以及相邻帧之间的运动而变化。滤波器包括：IIR滤波器、阈值单元以及系数寄存器。IIR滤波器和阈值单元相耦合，以接收视频数据。IIR滤波器还与系数寄存器以及阈值单元相耦合。IIR滤波器从系数寄存器接收系数a，并且使用这些系数对接收的视频数据进行滤波。IIR滤波器在单个步骤中在垂直维度、水平维度和时间维度中对数据进行滤波。由IIR滤波器输出的已滤波数据被发送到阈值单元。阈值单元将已滤波数据与未加工视频数据之间差的绝对值与来自系数寄存器的阈值进行比较，继而输出未加工视频数据或者已滤波数据。

Chen使用IIR滤波器和阈值单元，并且输出未加工视频数据或者已滤波数据。由此，IIR滤波器对其先前的输出和像素值进行操作。

参考图1，在US 2004/0213478中，Chesnokov公开了一种图像处理方法，包括步骤：处理输入信号以生成经调节的输出信号，其中按照以下公式对图像的不同位置(x，y)的强度值I(x，y)进行调节，以生成经调节的强度值I’(x，y)：

I_out＝∑_i＝0^Nα_i(I)LPFΩ_i[P_i(F(I)]·Q_i(F(I)+(1-α_i)I，其中P_i(γ)是定义在范围0＜γ＜1中的γ的函数的正交基；Q_i(.)是P_i(.)的反导数：Q_i(F(I))＝∫₀ ^F(I)P_i(η)dη或其近似；LPF_Ω[.]是低通空间滤波算子；Ω_i是低通滤波器的截断频率；F(.)是加权函数；并且其中0＜α＜1。

加权函数F(.)的输出随着较高的像素值而单调递减。存在来自已滤波序列的输出的反馈，并且该方法可以从除图像之外的其他地方接收信息。例如，可以向线性或者对数乘法块添加放大因子，并且该放大因子可以根据使用整个图像的预览来计算。由此，在Chesnokov中，对输入信号应用重要的处理步骤，这使得该方法相当复杂，并且输出图像是原始图像和经处理图像的加权和。

发明内容

按照本发明，提供一种根据权利要求1的处理图像的方法。

本发明提供一轮通过的图像技术，其仅使用一个图像以及通过对处理器资源的有效使用，使用IIR滤波器来改进图片的质量。

本发明的第一实施方式提供了对图像的前景/背景中的不均匀照度的自动修正。该实现改进了质量，特别是在背景比前景更亮和/或更暗的情况下。

第一实施方式的优选实现提供对红、绿和蓝通道的平均的估计，而另一递归滤波器对具有与每个颜色平面像素值或者强度值成反比的分量的项进行滤波。其输出与取决于颜色通道并且优选地由两个阈值加以限制的一个或多个修正项相乘。通过使用线性或者对数模型，获得增强的像素值。

使用此实施方式以及对前景/背景中的不均匀照度的自动修正，还获得了颜色增进。

在第一实施方式中，每个颜色通道的平均值不用于比较目的，并且其可以由结束在正在处理的像素上的滑动平均窗口来替代。在任何情况下，这些平均值被用来确定修正项，修正项继而被用来避免对红通道或者蓝通道的过度放大。

与现有技术不同，IIR滤波器的系数是固定的，而不是采用自适应滤波器。由此，本方法仅需要对图像进行一轮通过，并且一个滤波器的输出无须被用作对另一滤波器的输入。

附图说明

现在将参考附图，以示例的方式来描述本发明的实施方式，在附图中：

图1是现有技术的图像增强系统的框图；以及

图2是按照本发明一个实施方式的图像增强系统的框图。

具体实施方式

现在参考图2，按照本发明，提供获取的图像G以用于滤波。尽管实施方式是按照在RGB空间中处理图像来描述的，但是本发明可以仅应用于照度通道，或者应用于其他颜色空间。

仅仅使用一个输入图像G，并且在读取每个像素值时，计算(20)每个颜色通道上的移动平均。因此，对于每个平面k＝1...3的每个像素G(i，j，k)，计算：

\overset{&OverBar;}{R} = β \cdot \overset{&OverBar;}{R} + (1 - β) \cdot G (i, j, 1)

\overset{&OverBar;}{G} = β \cdot \overset{&OverBar;}{G} + (1 - β) \cdot G (i, j, 2)

\overset{&OverBar;}{B} = β \cdot \overset{&OverBar;}{B} + (1 - β) \cdot G (i, j, 3),

其中β是0到1之间的系数。

另一变量是在每个颜色通道上计算像素G(i，j，k)周围的2N+1个像素值的和，并且除以2N+1。

根据移动平均值

在步骤25如下计算修正项γ_R，γ_B：

γ_{R} = \frac{\overset{&OverBar;}{G}}{\overset{&OverBar;}{R}} \cdot \frac{[(1 - a) \cdot \overset{&OverBar;}{R} + 255 \cdot a]}{[(1 - a) \cdot \overset{&OverBar;}{G} + 255 \cdot a]}

以及

γ_{B} = \frac{\overset{&OverBar;}{G}}{\overset{&OverBar;}{B}} \cdot \frac{[(1 - a) \cdot \overset{&OverBar;}{B} + 255 \cdot a]}{[(1 - a) \cdot \overset{&OverBar;}{G} + 255 \cdot a]}

优选地，两个修正项γ_R和γ_B值都限制在选定的区间内(例如，在0.95到1.05之间；如果γ_R和γ_B值中任何一个小于0.95，则将其值设为0.95；如果γ_R和γ_B值中任何一个大于1.05，则将其值设为1.05)。这防止了在进一步处理中对红通道和蓝通道的过度放大。

与生成移动平均值并行地，在行或列上对像素进行解析，并且对于颜色平面的每个像素G(i，j，k)，如下计算系数H(i，j)：

H (i, j) = αH (i, j - 1) + (1 - α) (1 - a + \frac{255 \cdot a}{\max (δ, (G (i, j, 1) + G (i, j, 2) + G (i, j, 3)) / 3)})

在图2中，该过程被分解为步骤30：

f (G (i, j, k), a, δ) = (1 - a + \frac{255 \cdot a}{\max (δ, (G (i, j, 1) + G (i, j, 2) + G (i, j, 3)) / 3)})

此后是递归滤波器，步骤40：

H(i，j)＝αH(i，j-1)+(1-α)(f(G(i，j，k)，a，δ))

其中：

a是小于1的正值(例如，a＝0.125)；并且

α是相应递归滤波的极点(例如，α可以具有0.05到0.8之间的值)。

使用与δ的比较来避免除零，以及放大暗像素(例如，δ＝15)。初始值H(1，1)可以具有1到2之间的值。

使用该滤波器，由于取反值平均，对较暗区域的放大比明亮区域要大，并因此获得了对前景/背景中不均匀照度的自动修正。

通过上文将会看到，递归滤波器H不对像素值进行滤波。例如，如果a＝α＝1/8且δ＝15，则滤波器30/40对数目在1到3之间变化的序列进行滤波，这取决于实际的像素值G(i，j，k)以及图像的先前值。如果滤波器40简单地使用像素值G(i，j，k)作为输入，则其生成简单的经过低通滤波的图像，不进行照度修正。

在实施方式的一个实现中，在步骤50，通过滤波器参数H与修正项γ_R、γ_B的线性组合，给出经修改的像素值G₁(i，j，k)：

G₁(i，j，1)＝G(i，j，1)·H(i，j)·γ_R

G₁(i，j，2)＝G(i，j，2)·H(i，j)

G₁(i，j，3)＝G(i，j，3)·H(i，j)·γ_B.

线性模型的一个较为复杂的备选是对数模型。在这种实现中，对应于增强颜色平面(R/G/B颜色平面)的输出像素G₁(i，j，k)如下：

G_{1} (i, j, 1) = D - D {(1 - \frac{G (i, j, 1)}{D})}^{ϵH (i, j) γ_{R}},

G_{1} (i, j, 2) = D - D {(1 - \frac{G (i, j, 2)}{D})}^{ϵH (i, j)},

G_{1} (i, j, 3) = D - D {(1 - \frac{G (i, j, 3)}{D})}^{ϵH (i, j) γ_{B}}

其中：

D是最大允许的值(例如，对于8位图像表示来说是255)；并且ε是常数，其表示的值在1到3之间。

对上述公式的研究表明：只能获得小于D的值。在此实现中，通过改变极值(α)和对数模型因子(ε)来获得颜色和照度增进的程度。

可以针对YCC或者其他颜色空间来调整计算。例如，当在图2的实施方式中使用YCC颜色空间时，无需计算修正项γ_R、γ_B，并且如果使用对数模型，则对于Y通道而言ε＝1。因此，Y通道的取反函数是：

f (Y (i, j), a, δ) = (1 - a + \frac{255 \cdot a}{\max (δ, Y (i, j))}) .

线性模型可以应用于照度通道，并且使用在照度通道上计算的H(i，j)系数，对数模型可以用于色度通道。

通过在计算新的色度值时使用ε的不同正值(例如，ε＝0.9)，该方法得到了计算上的节省，并且增加了调节颜色饱和度的可能性。通过将Y通道与正因子ε相乘，可以改变增强图像的亮度，其中ε的值可以与用于色度通道的ε值不同。

在本发明的第二实施方式中，可以使用图2的处理结构来锐化图像。

在此实施方式中，图像优选地以YCC格式提供，并且处理仅针对Y通道执行。在步骤40，计算下一像素与当前像素值的比，并且利用单极IIR滤波器(例如，α＝1/16)对其进行滤波。可以对相继的或者单独的行或列执行这些操作。初始H系数设为1，并且在对行i进行操作的情况下，有：

H (i, j) = αH (i, j - 1) + (1 - α) \frac{Y (i, j + 1)}{\max (δ, Y (i, j))},

其中：

α是IIR滤波器的极点。

再一次，该处理可以分解为步骤30：

f (Y (i, j), δ) = \frac{Y (i, j + 1)}{\max (δ, Y (i, j))}

此后是递归滤波器，步骤40：

H(i，j)＝αH(i，j-1)+(1-α)(f(Y(i，j)，δ))

再一次，使用与δ的比较来避免除零(δ通常设为1)。H(i，j)是与原始图像的当前像素位置(i，j)对应的系数。在第一行的开始或者在每行的开始，初始系数可以设为1。在第一种情况中，在一行结尾处计算的系数被用来计算与下一行的第一个像素对应的系数。

增强的像素值Y₁(i，j)由以下公式给出：

Y₁(i，j)＝Y(i，j)[1+ε(i，j)·(1-H(i，j))]

其中ε(i，j)可以是常数增益因子或者可变增益，这取决于H系数。针对ε(i，j)的另一备选是使用连续像素之间的差或者相继像素值的比。例如，如果相继像素之间的差较小(或者连续像素值的比接近1)，则ε(i，j)的值应当较低，因为像素有可能位于平滑区域中。如果该差较大(或者该比远高于或远低于1)，则像素可能位于边缘上，因此ε(i，j)的值应当接近0，以便避免可能处理过度或者处理不足的问题。对于中间值，增益函数应当在0与最大选定增益之间变化。按照这些要求的ε(i，j)的示例具有瑞利分布。

在某些实施方式中，在选择变量ε(i，j)的情况下可以使用查找表(LUT)，因为连续像素之间的绝对差具有有限的整数值。

此方法是高度可并行化的，并且其复杂性非常低。如果使用LUT并且利用移位来替换某些乘法，则复杂性可以进一步降低。

此外，该第二实施方式也可以适用于RGB空间中的图像。

该第二实施方式可以通过锐化每个个体视频帧或者已标识的轻微模糊帧来应用于锐化视频帧。

在每个实施方式中，可以使用任何空间填充曲线(例如，Hilbert曲线)来解析像素，而不是仅可通过行或者列。经过修正的图像可以被认为是通过连续移动点的路径而逐个像素地连续修改的图像。

还将看到，可以在第一实施方式的照度修正之后应用第二实施方式的图像锐化图像处理，以便为经过滤波的图像提供甚至比单独实现的任一方法更好的特性。

实际上，任一方法都可以按照需要与其他图像处理方法结合应用，例如遵循在PCT申请号PCT/EP2007/009939(卷号：FN204PCT)中描述的处理。

Claims

1.一种处理图像的方法，包括：

a)在对所述图像的单次通过中，遍历所述图像的每个像素；

b)对每个像素应用取反函数；

c)对每个取反的像素值应用递归滤波器，所述滤波器具有根据所述图像的先前遍历的像素值导出的参数；以及

d)将所述像素值与用于所述像素的所述滤波器参数组合，以提供经处理图像的像素值。

2.根据权利要求1所述的方法，其中所述图像是YCC或者RGB格式之一。

3.根据权利要求2所述的方法，其中所述图像是RGB格式，并且其中所述取反函数对像素的每个颜色平面值的组合进行取反。

4.根据权利要求2所述的方法，其中所述图像是YCC格式，并且其中所述取反函数对像素的强度值进行取反。

5.根据权利要求1所述的方法，其中所述遍历是以下之一：行方向；列方向；或者遍历跨所述图像的任何路径。

6.根据权利要求3所述的方法，进一步包括：

根据所述图像的先前遍历的像素值，提供对红、绿和蓝平面的平均的估计；

提供用于所述平面中一个或多个的修正项，所述修正项取决于所述颜色通道平均估计；以及

其中所述组合包括将像素值与修正项相乘。

7.根据权利要求6所述的方法，其中所述修正项由相应的高阈值和低阈值来限制。

8.根据权利要求1所述的方法，其中所述组合包括线性组合或者对数组合之一。

9.根据权利要求8所述的方法，其中所述组合包括将所述像素值、修正项与用于所述像素的所述滤波器参数相乘，以提供经处理图像的像素值。

10.根据权利要求6所述的方法，其中所述提供对所述红、绿和蓝通道的平均的估计如下：

\overset{&OverBar;}{R} = β \cdot \overset{&OverBar;}{R} + (1 - β) \cdot G (i, j, 1)

\overset{&OverBar;}{G} = β \cdot \overset{&OverBar;}{G} + (1 - β) \cdot G (i, j, 2)

\overset{&OverBar;}{B} = β \cdot \overset{&OverBar;}{B} + (1 - β) \cdot G (i, j, 3),

其中：

G(i，j，k)是相应的红(R)、绿(G)或者蓝(B)颜色平面的像素值；并且β是0到1之间的系数。

11.根据权利要求6所述的方法，其中用于所述红颜色平面和蓝颜色平面中每一个的所述修正项γ_R，γ_B如下：

γ_{R} = \frac{\overset{&OverBar;}{G}}{\overset{&OverBar;}{R}} \cdot \frac{[(1 - a) \cdot \overset{&OverBar;}{R} + 255 \cdot a]}{[(1 - a) \cdot \overset{&OverBar;}{G} + 255 \cdot a]}

以及

γ_{B} = \frac{\overset{&OverBar;}{G}}{\overset{&OverBar;}{B}} \cdot \frac{[(1 - a) \cdot \overset{&OverBar;}{B} + 255 \cdot a]}{[(1 - a) \cdot \overset{&OverBar;}{G} + 255 \cdot a]}

其中：

是所述颜色通道平均估计；以及

a是小于1的正值。

12.根据权利要求11所述的方法，其中γ_R、γ_B限制在0.95到1.05之间。

13.根据权利要求1所述的方法，其中所述递归滤波器参数H(i，j)是：

H(i，j)＝αH(i，j-1)+(1-α)(f(G(i，j，k)))

其中：

α是所述滤波器的极点；

G(i，j，k)是相应的红(R)、绿(G)或者蓝(B)颜色平面的像素值；并且

f(G(i，j，k))是所述取反函数。

14.根据权利要求13所述的方法，其中α在0.05到0.8之间。

15.根据权利要求13所述的方法，其中所述取反函数是：

f (G (i, j, k), a, δ) = (1 - a + \frac{255 \cdot a}{\max (δ, (G (i, j, 1) + G (i, j, 2) + G (i, j, 3)) / 3)})

其中：

a是小于1的正值；并且

δ用来防止除零以及放大暗像素。

16.根据权利要求4所述的方法，其中所述取反函数是：

f (Y (i, j), a, δ) = (1 - a + \frac{255 \cdot a}{\max (δ, Y (i, j))})

其中：

Y(i，j)是所述像素强度值；

a是小于1的正值；并且

δ用来防止除零以及放大暗像素。

17.根据权利要求6所述的方法，其中组合包括：

G₁(i，j，1)＝G(i，j，1)·H(i，j)·γ_R

G₁(i，j，2)＝G(i，j，2)·H(i，j)

G₁(i，j，3)＝G(i，j，3)·H(i，j)·γ_B

其中：

γ_R，γ_B是所述修正项；

H(i，j)是所述滤波器参数；以及

G(i，j，k)是相应的红(R)、绿(G)或者蓝(B)颜色平面的像素值。

18.根据权利要求6所述的方法，其中组合包括：

G_{1} (i, j, 1) = D - D {(1 - \frac{G (i, j, 1)}{D})}^{ϵH (i, j) γ_{R}},

G_{1} (i, j, 2) = D - D {(1 - \frac{G (i, j, 2)}{D})}^{ϵH (i, j)},

G_{1} (i, j, 3) = D - D {(1 - \frac{G (i, j, 3)}{D})}^{ϵH (i, j) γ_{B}}

其中：

γ_R，γ_B是所述修正项；

H(i，j)是所述滤波器参数；

G(i，j，k)是相应的红(R)、绿(G)或者蓝(B)颜色平面的像素值；

D是最大允许像素值；以及

ε是常数，其值在1到3之间。

19.根据权利要求1所述的方法，其中所述图像是YCC格式，并且所述递归滤波器参数H(i，j)是：

H(i，j)＝αH(i，j-1)+(1-α)(f(Y(i，j)))

其中：

α是IIR滤波器的极点；

Y(i，j)是所述像素强度值；并且

f(Y(i，j))是所述取反函数。

20.根据权利要求19所述的方法，其中所述取反函数是：

f (Y (i, j), δ) = \frac{Y (i, j + 1)}{\max (δ, Y (i, j))}

其中：

δ用来防止除零。

21.根据权利要求19所述的方法，其中所述组合包括：

Y₁(i，j)＝Y(i，j)[1+ε(i，j)·(1-H(i，j))]

其中：

H(i，j)是所述滤波器参数；并且

ε(i，j)是增益因子。

22.根据权利要求21所述的方法，其中ε(i，j)是常数或者针对所述图像变化。

23.一种方法，包括对一个或多个相继处理的图像迭代应用步骤a)到d)，步骤b)、c)和d)中的每一个分别适于改进图像照度或者图像锐度之一。

24.一种图像处理设备，包括：

图像获取装置；以及

处理器，用于：

在单次通过中遍历图像的每个像素；

对每个像素应用取反函数；

对每个取反的像素值应用递归滤波器，所述滤波器具有根据所述图像的先前遍历的像素值导出的参数；以及

将所述像素值与用于所述像素的所述滤波器参数组合，以提供经处理图像的像素值。