CN101421748A

CN101421748A - 自动检测并校正非红眼闪光缺陷

Info

Publication number: CN101421748A
Application number: CNA2007800134818A
Authority: CN
Inventors: 米哈伊·丘克; 弗洛林·纳努; 斯特凡·彼得雷斯库; 阿德里安·卡帕塔; 康斯坦丁·韦尔坦; 彼得·科科伦; 彼得罗内尔·比焦伊; 埃兰·斯坦伯格
Original assignee: Fotonation Vision Ltd
Current assignee: Fotonation Ltd
Priority date: 2006-02-14
Filing date: 2007-02-13
Publication date: 2009-04-29
Anticipated expiration: 2027-02-13
Also published as: IES20060558A2; US7868922B2; JP2009527156A; EP1984892B1; WO2007093199A2; CN101416219B; JP5004972B2; CN101568908B; CN101416219A; CN101568908A; US20110102628A1; DK1984892T3; US20090273685A1; CN101421748B; IES20060559A2; WO2007093199A3; EP1984892A2

Abstract

公开了一种用于检测图像中的大非红眼闪光缺陷和小非红眼闪光缺陷的技术。该方法包括：选择其亮度高于阈值的图像的像素；以及将相邻已选像素标记为明亮图区。对该明亮图区应用许多几何滤波器，以去除不真实的候选明亮图区。

Description

自动检测并校正非红眼闪光缺陷

优先权

本专利申请根据35USC§119要求2006年2月14日提交的第60/773,714号美国临时专利申请以及2007年2月13日提交的第11/674,633号美国专利申请的优先权，在此引用这两个专利申请供参考。

技术领域

本发明涉及一种用于自动检测并校正图像中的非红眼闪光缺陷，特别是白眼闪光缺陷，的系统和方法。

背景技术

已公开的、给予Pixology的第WO 03/071484 A1号PCT专利申请披露了在数字图像中进行红眼检测和校正的各种技术。特别是，Pixology披露了检测红眼缺陷的“闪耀”，然后，分析周围区域，以确定该眼缺陷的最大可能范围。

授予Steinberg的第6,873,743号美国专利披露了一种类似技术，这种技术根据红色色度分量和亮度分量进行初始图像分割。

白眼缺陷(白眼)不呈现更普遍的红眼缺陷中的红色色调。仅仅在与红眼同样的条件下，即，在差的照明条件下利用闪光拍摄图片的情况中，白眼更很少发生。在某些情况下，通过采集微黄色调，白眼显现稍许金色。

白眼有两种主要类型，小白眼和大白眼。如图1中参考编号10所示的小白眼出现在远距离目标上。它们类似于明亮点，而且，在它们附近关于其它人面特征的信息贫乏并因此不可靠。如图2所示大白眼20被很好地限定，并且人们可以信赖其周围的信息。通常，如果白眼占据了包括150个像素以上(对于1600×1200像素的图像)的图区，属于大白眼。

希望有一种用于检测和/或者校正白眼缺陷的技术。

发明内容

提供了一种用于检测图像中的非红眼闪光缺陷的方法。确定所述图像中的一个或者多个明亮图区。每个图区至少具有一个其亮度高于亮度阈值而其红度低于红色阈值的像素。至少一个滤波器应用于对应于每个明亮图区的图区。计算对应于每个明亮图区的图区的圆度。根据该滤波和该圆度，确定该图区是否对应于非红眼闪光缺陷。

该确定可以包括：选择其亮度高于亮度阈值而其红度低于红色阈值的图像的像素；以及将相邻的已选像素编组在该一个或者多个明亮图区内。

该方法可以进一步包括校正该非红眼闪光缺陷。可以使检测缺陷图区的一个或者多个像素变暗。可以决定不使检测缺陷图区内其光强值大于阈值的像素变暗。对于检测缺陷图区的每个像素，该校正可以包括将其光强值设置为基本上等于位于该缺陷图区边界上的各像素光强值的平均值的光强值。进行校正之后，可以对该图区应用平均值滤波器。

该至少一个滤波器可以包括如下之任一：用于确定所述图区是否大于所述非红眼闪光缺陷的预期尺寸的尺寸滤波器；用于对由该明亮图区定位的并且其亮度低于亮度阈值或者其红度高于该红色阈值的明亮图区附加像素的滤波器；用于确定该图区是否位于皮肤图像特征图区内的皮肤滤波器；或者用于确定该图区是否位于人面图像特征图区内的人面滤波器，或者它们的任意组合。

利用滤波器执行圆度计算，以确定该图区是否是非红眼闪光缺陷。

对于每个明亮图区，可以如下确定相应聚集图区：确定明亮图区内的聚集图区的种籽像素；以及对该聚集图区反复附加非谷相邻像素，直到不剩余与该聚集图区邻接的非谷相邻像素。对应于每个明亮图区的图区可以是对应于该明亮图区的聚集图区。通过计算所述聚集图区边界上的像素的平均光强值与该种籽像素的光强值的比值，可以计算聚集图区的对比度。可以确定每个聚集图区是否具有高于黄色阈值的黄度。可以对每个聚集图区计算平均饱和度，并且可以确定该饱和度是否超过阈值。可以对该明亮图区应用该至少一个滤波器。可以对每个明亮图区计算光强梯度。可以对每个光强梯度执行霍夫变换。可以确定每个变换图区上的最具代表性的圆形，然后，校验每个圆形。还提供了一种用于检测图像中的非红眼闪光缺陷，并且包括用以限定该图像中的一个或者多个明亮图区的控制器的数字图像处理设备。每个图区至少具有一个其亮度高于亮度阈值而其红度低于红色阈值的像素。至少一个滤波器应用于对应于每个明亮图区的图区。计算对应于每个明亮图区的图区的圆度。根据该滤波和该圆度，确定该图区是否对应于非红眼闪光缺陷。该设备可以是数字照相机或者可拍照手机(camera phone)、通用便携式计算机或者手持计算机、打印机或者数字扫描仪，或者它们的任意组合。

提供了一种进一步用于校正数字图像中的白眼缺陷的方法。该方法包括：采集数字图像；以及确定该数字图像中的像素的亮度。选择其亮度高于特定阈值的这些像素作为用于校正白眼缺陷的候选图区。对该已选像素进行滤波，以及对候选图区中的未滤波像素进行白眼缺陷校正。

滤波可以包括基于已选像素图区的尺寸或者形状或者它们二者对像素进行几何滤波。例如，已选像素图区可以大于阈值尺寸。对于没有皮肤色调或者其它人脸特征的已选像素图区，像素的皮肤色调或者人脸滤波可以基于相邻像素进行。

可以计算已选像素图区的圆度，如果该圆度未超过特定圆度阈值，可以校正该圆度。

校正可以包括计算已选像素图区的对比度，如果该对比度未超过特定对比度阈值，可以校正该对比度。

该滤波可以包括检查已选像素图区的平均饱和度是否超过特定阈值饱和度，以及仅当超过该阈值时校正该已选像素图区。可以选择亮像素作为种籽像素。通过从该种籽像素向外聚集，以将不是谷点的这些像素与该种籽像素组合为聚集图区，直到剩余最少数量的非谷相邻像素、或者达到阈值尺寸或者它们的组合，可以确定候选图区。该最少数量可以是零。可以将该聚集图区上点的光强设置为对该图区划界的谷点的平均光强。可以对该聚集图区进行平滑。

该滤波可以包括确定并分析候选图区的边缘。可以计算一个或者多个候选图区的光强梯度。可以限制具有所计算的光强梯度的一个或者多个候选图区，以仅包括具有最小尺寸的候选图区。可以对对应于每个候选图区的光强梯度图像执行霍夫变换。可以确定霍夫变换产生的候选圆形，并且在该种籽像素未被包括在候选圆形中时，或者在沿该圆形的平均梯度低于阈值时，或者在这二者同时出现时，可以对该候选图区进行滤波，但不进行校正。

可以对仅是闪耀的候选图区进行滤波。

该方法还可以包括检测并校正该数字图像中的红眼缺陷。

还提供了一种或者多种数字存储器件，在该数字存储器件中嵌入了用于对一个或者多个处理器进行编程以执行在此描述的方法的可执行程序代码。

附图说明

关于彩色附图的声明

本专利申请文件至少含有一幅彩色绘制的附图。根据要求并且支付了必要费用，本局可以提供包括(各)彩色附图的本专利公开或者本专利申请公开的拷贝。

现在将利用例子参考附图描述实施例，附图中：

图1(a)和(1b)(下面称为“图1”)示出具有小白眼缺陷的图像；

图2(a)和(2b)(下面称为“图2”)示出具有大白眼缺陷的图像；

图3示出自动检测并校正小白眼缺陷的流程图；

图4示出自动检测并校正大白眼缺陷的流程图；

图5(a)示出待校正图像的灰度级图；

图5(b)示出利用索贝尔(Sobel)梯度获得的图5(a)所示图像的边缘图像；以及

图5(c)示出利用霍夫变换产生的图5(b)所示图像的最具代表性的圆形。

具体实施方式

提供了一种用于自动检测并校正小白眼的方法。图3示出说明一个实施例的流程图。在该实施例中，如果眼缺陷是亮的，则该眼缺陷被认为是白色或者金黄色的，例如，在Lab彩色空间中，局部平均亮度高于100，并且不太饱和，例如，在Lab彩色空间中，参数a和b的绝对值不超过15。

首先，确定待校正的采集图像250的每个像素的亮度，并且在300，选择其亮度大于阈值的所有像素。在该优选实施例中，该采集图像在RGB空间内，并利用I＝max[R，G]计算光强，而且该光强阈值为220。此外，为了避免出现高饱和色(例如，纯红色或者纯绿色)，将利用abs(R-G)计算的饱和值与阈值35进行比较，并舍弃较大者。如此，仅保留高亮度像素，这样为进一步的图区形成过程提供种籽。

在可替换的实施中，可以采用亮度公式作为YCbCr空间中图像的Y值。然而，应该知道，可以取亮度作为CIE—Lab空间中图像的L值，或者说，实际上可以采用其它任意适当的测量值。

然后，在310，标记已选像素。这包括识别与其它已选像素相邻的已选像素，以及将它们标记为连通的已选像素的亮图区。然后，这些亮图区经过多个几何滤波器320，以去除不适合作为白眼候选对象的亮图区。

在该优选实施例中，该图区首先通过尺寸滤波器321，以去除其尺寸大于上限的图区。该上限取决于该图像的尺寸，而且在实施例中，对于2兆像素的图像，该上限是100个像素。

然后，滤波后的图区通过形状滤波器322，形状滤波器322去除所有被认为不够圆的适当尺寸的明亮图区。通过将沿两个主轴的两个方差的比值与给定阈值进行比较，估计明亮图区的圆度。免除诸如包括大约少于5至10个像素的图区通过形状滤波器，因为对于这种小图区，形状无关紧要。

填充因子323是一种处理过程，即，如果满足特定判据，则去除明亮图区包围的空图区。在该优选实施例中，确定明亮图区的面积与所包围的空图区的面积之比，并且如果该比值小于特定阈值，例如在一个实施例中是0.5，则去除该明亮图区。

最后，剩余的明亮图区通过皮肤滤波器324和人面滤波器325，用以根据它们相邻的某些不属于人脸或者皮肤颜色的特征，防止将白点错误地检测为白眼。

白眼周围的皮肤常常受照不足，因此，变得稍许微红。为了与明亮图区的像素进行比较，保持皮肤原型的宽调色板。对于每个明亮图区，计算边界框内表征人皮肤的像素与不表征人皮肤的像素之比，然后，将它与阈值进行比较。在该优选实施例中，该阈值完全限制在85—90％。

同样，为了与明亮图区的像素进行比较，保持可能的人面颜色的宽调色板。对于每个明亮图区，计算边界框内表征人脸的像素与不表征人脸的像素之比，然后，将它与阈值进行比较。在该优选实施例中，该阈值完全限制在85—90％。如果满足或者超过采用的百分比，该图区继续进行图区生长步骤330。

图区生长330是以选择每个被成功滤波的明亮图区的最亮像素作为种籽开始的。检验该种籽像素的每个相邻像素，以确定它是否是谷点。谷点是至少具有两个有较高光强值、并且在其四个主要方向(水平、垂直及其两个对角线)之一上位于该给定像素两侧的相邻像素的像素。如下表1所示，光强为99的中心像素是谷点，因为它具有两个位于给定方向上并且均具有较大光强值的相邻像素。表2列出了由于在四个主要方向之一上没有鞍形结构，所以不是谷点的中心像素99。

表1 表2

从该种籽开始，聚集处理检验种籽像素的邻者，而且如果它们不是谷点，则将这些附加到聚集图区上。该检验与聚集处理连续进行，直到不剩余未检查的非谷相邻像素，或者达到最大阈值尺寸。如果达到最大阈值尺寸，则认为该图区不是白眼，而且无须对该图区进行进一步检验。

该步骤输出的是从每个先前限定并滤波的明亮图区的最亮点生长的、并且根据该谷点算法聚集的许多聚集图区。然而，看来在可替换的实施过程中，可以在滤波之前进行聚集，并且因此可以不对明亮图区而对聚集图区应用滤波器320。

然后，在340，对这些聚集图区执行若干计算。

在341，利用R＝周长2/(4·π·面积)，其中R≥1，计算聚集图区的圆度。对于理想圆形，R＝1，因此，R值越大，则该形状越细长。白眼应该是圆形的，因此，必须利用不超过特定阈值的R值表征白眼。在该优选实施例中，R的阈值是眼睛尺寸的函数。因此，我们希望，随着其尺寸的增大，眼睛更圆(眼睛越小，利用圆形表示其形状的近似性就越差，并且离散平面上该圆形表示法的精度越低)。在该优选实施例中，使用了三个阈值(对于2兆像素图像—这些阈值对于较大/较小的图像尺寸应该线性缩放)：

对于大眼，取R＝1.1(即，对于2兆像素图像，尺寸在65至100个像素之间)；

对于中等大小的眼，取R＝1.3(尺寸在25至65个像素之间)；以及

对于小眼，取R＝1.42(尺寸小于25个像素)。

然后，在342，利用用于界定聚集图区的谷点的平均光强与该图区内的最大光强值，即，来自步骤330的最亮种籽点的光强的比值，计算该聚集图区的对比度。由于小白眼通常出现在弱照明情况下，所以该对比度高。

大多数小白眼都具有微黄色调，这意味着，它们至少具有一些利用Lab空中的大值b分量表征的像素。因此，b的最大值，bmax，是实际白眼与例如眼闪耀或者其它点形明亮反射之间的良好鉴别值(discriminator)。

在一个实施例中，被处理的像素在RGB彩色空间内。为了获得b分量的值，将该聚集图区从RGB彩色空间变换为Lab彩色空间。

然后，在343，计算Lab彩色空间内的b分量的最大值b_max，并且，将它与阈值b_threshold进行比较。如果b_max≥b_threshold，则在344，计算该图区内的平均饱和度。否则，认为该聚集图区不是白眼。在344，利用：

S = \sqrt{(a 2 + b 2)}

计算该聚集图区内的平均饱和度。白眼比其它图区的色彩更丰富，因此，为了在350将候选图区宣布为白眼，该图区的平均饱和度就必须超过阈值。将通过上面所述检验的聚集图区标记为白眼，并且，根据本发明的优选实施例，在399，对其执行校正过程。

该校正过程包括将聚集图区上的点在LAB空间内的光强I设置为用于界定在342的对比度计算过程中使用的图区的谷点的平均光强。在该优选实施例中，然后，通过应用3×3平均滤波器，使整个聚集图区平滑。

根据另一个实施例，提供了一种如图4的流程图描述的，用于自动检测并校正大白眼的方法。大白眼的主要特征是，通过被适当限定，它们的形状是圆的，而且它们与虹膜可以充分地分开。

参看图4，可以看出，大白眼自动检测过程的头5个步骤，即，阈值比较(thresholding)400、标记410、尺寸滤波器430、形状滤波器440以及填充因子450，与上面描述的小白眼自动检测过程中的步骤相同。然而，可以看出，尺寸滤波器430中采用的阈值大于步骤322采用的阈值，而且对于其它步骤，还可以要求不同的参数。

然而，明亮图区一通过几何滤波器420，下一个步骤就确定并分析可疑大白眼的边缘。

首先，在460，计算每个明亮图区的光强梯度。如图5(a)所示，由每个明亮图区的灰度级图像计算该梯度。梯度是在图像变化显著的点处具有高响应的任意函数。相反，均匀区域中该梯度的响应小。在该优选实施例中，利用具有两个核的线性滤波，计算该梯度，一个核用于计算水平梯度，Gx，同时，一个核用于计算垂直梯度，Gy。然后，利用G＝sqrt(Gx2+Gy2)计算该梯度的模，并且进一步进行阈值比较，以获得边缘点并产生如图5(b)描述的二值边缘图像。在该优选实施例中，利用简单索贝尔梯度，执行步骤460。然而，应该明白，可以采用诸如Prewitt或者Canny这样的任意梯度函数。

一旦确定了可疑大白眼图区的边缘，在470，就可以对每个梯度图像执行霍夫变换。霍夫变换检测可以参数化的形状、例如，线、圆、椭圆等，并且霍夫变换可以应用于通常由光强图像计算作为边缘图的二值图像。霍夫变换基于到该图像空间的变换空间，即，所谓积累空间(accumulator space)。原始图像中的每个点(x，y)都对该积累空间内的，在这种情况下，对应于所形成的包括(x，y)点的可能圆形的所有点产生影响。因此，对应于原始边缘图像中的现有圆形的所有点均对对应于该特定圆形的积累空间内的点产生影响。

接着，在480，必须对每个图区检测由霍夫变换产生的最具代表性的圆形。该步骤包括探测霍夫积累空间内的、具有显著值的点。该值取决于原始边缘图像中的、对该积累空间内的每个点产生影响的点的数量。如果没有发现代表性圆形，则认为该图像的该图区内不存在大白眼。

然而，如果发现其值大的点，则检查该原始图像中的相应圆形，然后，在490，验证该圆形。

这包括检查例如是否最具代表性的圆形包围该明亮图区的原始种籽点和/或者是否沿该圆形的平均梯度超过阈值。

如果验证了明亮图区的圆形，则在499，通过使该圆形内部的像素变暗，校正该图区。在该优选实施例中，将该像素的光强设置为50，并且，应用平均值滤波器。

然而，该校正还应该优选考虑不会变暗的明亮图区包括闪耀的可能性。在RGB空间内，选择闪耀候选对象，作为高亮像素(min(R，G)>＝220，而max(R，G)＝＝255)。如果在明亮图区内存在非常圆的(在宽高比和伸度(elongation)上)、明亮的而且饱和度减小的图区，则从待校正的明亮图区像素中去除其像素。

在更多的眼睛颜色信息可用的情况下，例如，在利用先前捕获图像的数据库可以执行个人识别过程的情况下，可以在校正大白眼和小白眼的过程中，方便地引入利用该个人信息存储在数据库中的附加彩色信息。

在根据在此描述的优选实施例可以执行的、并且上面已经描述的和/或者下面提出权利要求的方法中，以选择的排印顺序描述了各种操作。但是，选择该顺序，并且为了排印方便这样排列该顺序，而无意暗示任何用于执行各操作的特定顺序。

此外，正如公开可替换的实施例及部件一样，在此上面以及本发明的背景技术和发明内容中列举的所有参考编号被引入该优选实施例的详细描述中供参考。还引用了下面的参考文献供参考：

第11/462,035号、第11/282,955号美国专利申请，以及

第2002/0136450号、第2005/0047655号、第2004/0184670号、第2004/0240747号、第2005/0047656号、第2005/0041121号、第2005—0140801号、第2005—0031224号美国专利申请公开；以及

第6,407,777号美国专利。

本发明并不局限于在此描述的实施例，在不脱离本发明范围的情况下，可以对该实施例进行修改或者调整。

Claims

1.一种用于检测图像中的非红眼闪光缺陷的方法，所述方法包括：

(a)在所述图像中限定一个或者多个明亮图区，每个图区具有至少一个亮度高于亮度阈值而其红度低于红色阈值的像素；

(b)对于对应每个明亮图区的图区应用至少一个滤波器；

(c)计算对应于每个明亮图区的图区的圆度；以及

(d)根据所述滤波和所述圆度，确定所述图区是否对应于非红眼闪光缺陷。

2.根据权利要求1所述的方法，其中所述限定包括：

(i)选择具有亮度高于亮度阈值而红度低于红色阈值的图像的像素；以及

(ii)将相邻已选像素编组为所述一个或者多个明亮图区内。

3.根据权利要求1所述的方法，进一步包括校正所述非红眼闪光缺陷。

4.根据权利要求1所述的方法，其中所述至少一个滤波器包括：

(i)尺寸滤波器，其用于确定所述图区是否大于所述非红眼闪光缺陷的预期尺寸；

(ii)用于向利用所述明亮图区定位的、并且其亮度低于所述亮度阈值或者其红度高于所述红色阈值的明亮图区附加像素的滤波器；

(iii)皮肤滤波器，其用于确定所述图区是否位于具皮肤图像特征的图区内；或者

(iv)用于确定所述图区是否位于人脸图像特征图区内的人脸滤波器，或者它们的组合。

5.根据权利要求1所述的方法，其中利用所述至少一个滤波器计算所述圆度，以确定所述图区是否为非红眼闪光缺陷。

6.根据权利要求1所述的方法，进一步包括：

对于每个明亮图区，如下所述确定相应的聚集图区：

(i)在明亮图区内确定对于所述聚集图区的种籽像素；以及

(ii)将非谷相邻像素反复地附加到所述聚集图区，直到相邻于所述聚集图区的非谷相邻像素没有剩余为止。

7.根据权利要求1所述的方法，进一步包括对所述明亮图区应用所述至少一个滤波器。

8.根据权利要求1所述的方法，进一步包括计算每个明亮图区的光强梯度。

9.一种可操作的以检测图像中的非红眼闪光缺陷并包括控制器的数字图像处理设备，其被配置用以：

(a)在所述图像中限定一个或者多个明亮图区，每个图区具有至少一个亮度高于亮度阈值而红度低于红色阈值的像素；

(b)对于对应每个明亮图区的图区应用至少一个滤波器；

(c)计算对应于每个明亮图区的图区的圆度；以及

10.根据权利要求9所述的设备，包括：数字照相机或者可拍照手机(camera phone)、通用便携式计算机或者手持计算机、打印机或者数字扫描仪，或者它们的组合。

11.一种或多种数字存储器件，其上嵌入有用于对一个或多个处理器进行编程的可执行程序代码，以执行校正数字图像中的白眼缺陷的方法的，该方法包括：

(a)采集数字图像；

(b)在该数字图像中确定像素的亮度；

(c)选择亮度高于特定阈值的像素，作为用于校正白眼缺陷的候选图区；

(d)对已选像素进行滤波；以及

(e)对已选像素中未滤波的像素校正白眼缺陷。

12.根据权利要求11所述的一种或者多种存储器件，其中该滤波包括基于已选像素图区的尺寸或者形状或者它们二者，对像素进行几何滤波。

13.根据权利要求11所述的一种或者多种存储器件，其中该滤波包括基于大于阈值尺寸的已选像素图区的尺寸对像素进行几何滤波。

14.根据权利要求11所述的一种或者多种存储器件，其中该校正包括计算已选像素图区的圆度，以及如果它没有超过特定圆度阈值，则校正该圆度。

15.根据权利要求11所述的一种或者多种存储器件，其中该滤波包括检查已选像素图区的平均饱和度是否超过特定阈值饱和度，以及仅当超过该阈值时，校正该已选像素图区。

16.根据权利要求11所述的一种或者多种存储器件，该方法进一步包括：

(i)选择亮像素作为种籽像素；以及

(ii)从该种籽像素向外聚集，以将不是谷点的那些像素与该种籽像素组合为聚集图区，直至剩余最少量非谷相邻像素，或者直至达到阈值尺寸，或者它们的组合。

17.根据权利要求16所述的一种或者多种存储器件，该方法进一步包括使该聚集图区平滑。

18.根据权利要求16所述的一种或者多种存储器件，该方法进一步包括计算一个或者多个候选图区的光强梯度。

19.根据权利要求11所述的一种或者多种存储器件，该方法进一步包括对仅包括闪耀的候选图区进行滤波。

20.根据权利要求11所述的一种或者多种存储器件，该方法进一步包括检测并校正该数字图像中的红眼缺陷。