CN101071473A

CN101071473A - 检测特征点的设备及检测特征点的方法

Info

Publication number: CN101071473A
Application number: CNA2007100855315A
Authority: CN
Inventors: 武口智行; 小坂谷达夫; 西浦正英; 山口修; 汤浅真由美
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-03-07
Filing date: 2007-03-07
Publication date: 2007-11-14
Also published as: US20070211944A1; EP1833004A2; JP2007241579A; EP1833004B1; JP4585471B2; US7848547B2; EP1833004A3

Abstract

本发明涉及检测特征点的设备及检测特征点的方法，具体公开了用来检测特具体征点的设备，包括：图像输入单元，用于输入目标对象的图像；三维形状信息存储单元，用于存储包含与目标对象相关的模型参考特征点的三维形状信息；对应关系获取单元，用于获取输入图像与三维形状信息之间的对应关系；搜索区域获取单元，用于基于对应关系获取在输入图像上搜索区域的图像信息，该区域对应于包含与模型中具体特征点对应的点的一个区域；以及特征点检测单元，用于从图像信息检测输入图像中具体特征点的位置。

Description

检测特征点的设备及检测特征点的方法

相关申请的交叉参考

本申请基于2006年3月7日提交的先前的日本专利申请No.2006-61917，并要求其优先权之权益；该文献的整个文本在此通过参考并入其中。

技术领域

本发明涉及一种用来检测特征点的设备，该设备从输入图像检测目标对象的特征点，并涉及一种检测特征点的方法。

背景技术

在相关技术中一种用于检测特征点设备中，有一种方法是检测少量特征点，诸如面部图像上的鼻子和眼睛，并然后使用检测的特征点的位置设置新的不同的特征点，如日本申请Kokai 2004-265267中所公开的。

还有一种使用在图像上检测的面部特征点的位置，限制搜索不同特征点范围的方法，如日本申请Kokai 10-86696中所公开的。

在这些方法中，第二特征点的检测是使用与已检测的在存储的二维图像上的第一特征点的相对位置关系而实现的。然而，存在第二特征点就不能被正确检测这样的问题，因为当脸朝向前方时计算的特征点相对位置关系不能指示在脸的朝向已改变时的正确位置。

作为上述问题的例子，将考虑检测对应于嘴中心的点的方法，嘴中心是嘴的左端和右端之间的中点。如在日本申请Kokai 2003-187247中所公开的，有一种检测嘴唇区域的方法，该方法对颜色组件分类并把嘴唇区域两端定义为嘴唇端，及嘴唇端的中点定义为嘴中心.当脸朝向前方时，嘴中心几乎就与嘴端之间的中点相同。然而，当脸的朝向已改变时，或当因为脸部表情改变而嘴周围部分形状已改变时，嘴中心的位置不与中点匹配，因而不能正确获得嘴中心的位置。

如上所述，在检测特征点的背景中，有检测第一特征点并使用第一检测的结果检测第二特征点的方法。然而由于在第一特征点检测中获得的特征点与第二特征点检测中获得的特征点之间相对位置关系是在二维图像中定义的，当目标对象的朝向在相对位置关系被定义的时刻不同于目标对象实际的朝向时，就不能实现特征点正确的检测。

发明内容

为了解决上述相关技术中的问题，本发明的目的是要提供一种用于检测特征点的设备及检测特征点的方法，其中即使在目标对象的朝向改变时也能正确地检测特征点。

根据本发明的实施例，这一实施例是一种检测特征点的设备，该设备从包含目标对象的图像检测特征点，包括：用来从包含目标对象的图像检测特具体征点的设备，该设备包括：图像输入单元，用于输入目标对象的图像；三维形状信息存储单元，用于存储模型的三维形状信息及模型中参考点的三维位置信息，每一个参考点不同于具体特征点；对应的参考点输入单元，用于输入在输入图像上参考特征点的对应的参考点的位置信息；对应的特征点获取单元，用于获取模型中具体特征点的对应的特征点的位置信息；对应关系获取单元，用于使用对应参考点的位置信息及参考点的三维位置信息，获取输入图像与三维形状信息之间的对应关系；搜索区域设置单元，通过基于对应关系把包含模型的表面上对应的特征点的对应区域投影到输入图像，对输入图像上的具体特征点设置搜索区域；图像信息获取单元，用于从输入的图像获取搜索区域的图像信息；以及特征点检测单元，用于从图像信息检测输入图像中具体特征点的位置。

根据本发明的实施例，能够对应于目标对象朝向的三维改变或目标对象形状的改变，检测特征点。

附图说明

图1是一框图，表示根据本发明第一实施例用于检测特征点的设备的配置；

图2是一流程图，表示根据第一实施例用于检测特征点的设备的操作；

图3的图示表示相关技术中特征点检测中的问题；

图4的图示表示根据第一实施例对应关系获取单元中进行的过程；

图5的图示表示根据第一实施例搜索区域获取单元中进行的过程；

图6的图示表示根据第一实施例特征点检测单元中进行的过程。

具体实施方式

现将说明根据本发明的一个实施例用于检测特征点的设备。

第一实施例

参见图1到6，将说明根据第一实施例用于检测特征点的设备。在这实施例中，将说明采用脸作为目标对象及从脸图像检测嘴的中点的情形。

(1)用于检测特征点的设备的配置

图1是一框图，表示根据第一实施例用于检测特征点的设备。

用于检测特征点的设备包括图像输入单元110，其获取被处理的脸图像，三维形状信息保存单元200，其保存脸的平均三维形状，对应关系获取单元120，其估计脸图像与三维形状之间的对应关系，搜索区域获取单元130，其使用获取的对应关系对输入图像上的嘴中心设置搜索区域，以及特征点检测单元140，其从搜索区域确定嘴中心的位置。

这些单元110到140和220的功能是通过存储在计算机中的程序实现的。

(2)用于检测特征点的设备的操作

现在参见图1和图2，将说明用于检测特征点的设备的操作。图2是一流程图，表示用于检测特征点的设备的操作。

(2-1)步骤A1

在图像输入单元110中，通过数字摄像机，扫描仪等获取包含作为特征检测目标的人脸区域的数字图像。

(2-2)步骤A2

在对应关系获取单元120中，从由图像输入单元110获取的脸图像获取除嘴中心以外的特征点，它们被称为参考特征点。参考特征点可包括例如瞳孔、鼻孔、嘴端。然而，参考特征点的位置和数目是不受限制的，只要至少有不同平面上的四个点即可。作为获取参考特征点的方法，它们可通过人工输入获取，其中位置是通过嘴人工规定的，或者通过如日本专利No.3279913中公开的自动检测方法，该文献通过参考结合在本申请中。

(2-3)步骤A3

当这里作为参考特征点获得嘴的左和右端点时，可通过在上述日本申请Kokai 2003-187247中所公开的方法作为嘴的左和右端点两者的中点检测嘴的中心，该文献全部内容在此结合以作参考。如图3所示，当脸朝向前方时，嘴中心的坐标几乎与嘴端之间的中点坐标匹配。然而，当脸的朝向改变时，嘴中心坐标就不与嘴端之间的中点坐标匹配。当脸的表情改变诸如微笑时，嘴的形状变为弓形，以致容易想象，嘴中心的坐标不同于嘴端之间的中点的坐标。

因而本实施例中，使用在获取的脸图像上的参考特征点和存储在三维形状想象保存单元200中的脸形状参考特征点的位置的坐标，计算脸图像和三维形状之间的关系。

首先，如图4左上所示，在三维形状信息保存单元200中准备关于脸的三维形状信息及三维形状上的参考特征点的位置。可通过在输入图像中测量人的三维形状获得脸的三维形状信息，或可以是例如通过对若干三维形状求平均或通过使用建模软件准备而获得脸的代表性三维形状。

然后，使用日本申请Kokai 2003-141552(该文献的全部内容通过引用结合到本申请中)中所公开的采用因子分解的方法，从形状矩阵S及度量矩阵W计算表示该对应关系的运动矩阵M，在形状矩阵中布置了三维形状信息上的参考特征点的位置，在度量矩阵中布置了输入图像上的参考特征点的位置。

例如如图4所示，当从脸的输入图像获得了六个特征点时，当这六个点的坐标以向量a1，a2，...a6表示时，度量矩阵W为W＝[a1，a2，...a6]，即是一个2×6的矩阵。当由向量b1，b2，...b6表示对应的三维模型上的特征点的位置的坐标时，形状矩阵S为S＝[b1，b2，...b6]，就是一个3×6矩阵。于是，表示三维模型与输入脸图像之间对应关系的运动矩阵M为一个2×3矩阵，该矩阵可从表达式(1)计算。

M＝WS^T(SS^T)^-1...(1)

(2-4)步骤A4

当使用获得的运动矩阵M时，可从表达式(2)计算二维图像(二维向量)上对应于三维形状(三维向量)上任意点“b”的点“a”的位置。

A＝Mb...(2)

这里，通过把三维形状上嘴中心的坐标投影到输入图像，还能够唯一地确定输入图像上嘴中心位置。然而，当代表性的脸的三维形状被用作为三维形状时，由于输入图像中人的脸与该脸的三维形状之间的差别，不能保证其精确地投影到嘴中心。此外，由于脸是非刚性的对象，如果脸的表情改变，即使使用所述人的三维形状，也不能保证三维形状上的嘴中心位置精确投影到输入图像中嘴中心。

因而，如图5所示，在搜索区域获取单元130中，通过使用对应关系获取单元120获取的运动矩阵M把脸的中心线投影到三维形状获得的位置，被确定为搜索区域。即使三维形状不同于输入图像中人的实际形状，预期嘴中心位置在脸的中心线上任何地方。即使当脸的表情改变时，嘴中心几乎也在脸的中心线上。

(2-5)步骤A5

最后，如图5中所示，在特征点检测单元140中，位于输入的脸部图像中脸的中心线(即脸的横向对称轴)上的象素的亮度表示为一维波形，并从这波形检测嘴中心的位置。

作为从获取的一维波形检测嘴中心的该方法，例如有图6所示的方法。首先，亮度阵列通过高斯的拉谱拉斯滤波器(LoG滤波器)滤波。嘴中心落入嘴的区域内，并能够想象，嘴区域的亮度低于嘴周围皮肤的颜色。因而，从已经由拉谱拉斯滤波器和高斯滤波器滤波后的波形获取值等于或小于零并表示最小值的位置，作为嘴中心位置的候选。

(2-6)步骤A6

当在嘴中心候选获取中没有获得嘴中心的候选时，该过程可通过定义为未能检测而终止，或如果嘴端包含在参考特征点中，可在已经输出嘴端之间中点作为嘴中心位置之后终止。

(2-7)步骤A7

当在嘴中心候选获取中有多个嘴中心候选时，在每一嘴中心候选计算表示嘴中心可能性的估计值。例如，这种情形下，采用已由高斯拉谱拉斯滤波器滤波后的波形上的候选位置处值的反数作为估计值。

(2-8)步骤A8

其估计值为嘴中心各候选的估计值中的最高者的点被确定为嘴中心的初始位置。

(2-9)步骤A9

由于从已经过由高斯拉谱拉斯滤波器滤波后的波形获得被检测的嘴中心的初始位置，在原始波形与最小值之间有一误差。逐步降低高斯滤波器的定标参数，每一步嘴中心的初始位置向最近的局部最小值的位置移动，并确定嘴中心最终的位置。

(3)效果

这样，使用根据第一实施例检测特征点的设备，通过估计输入图像与三维形状信息之间的关系，并在定义脸的中心线上的位置作为搜索范围之后检测特征点，能够对应于脸的朝向变化或脸的表情变化检测嘴中心。

(4)修改

本实施例中被检测的特征点不限于嘴中心。

例如，能够获得脸的中心线上的上和下嘴唇轮廓的点。通过找出关于脸的中心线上亮度阵列波形上与零的交叉点，并以高斯拉谱拉斯滤波器对其滤波，并检测与它们之间嘴中心的中间部分的最近的两个零交叉点，能够实现脸中心线上的上下嘴唇轮廓上的点的检测。

能够检测作为鼻根点的鼻根。检测鼻根点是这样实现的，通过事先检测两瞳孔的位置，获得关于脸的中心线的亮度阵列，并以高斯拉谱拉斯滤波器对其滤波，找出关于脸中心线亮度阵列最小值作为鼻根候选点，并抽取最靠近两瞳孔位置的重心的候选点。

第二实施例

现将说明根据第二实施例用于检测特征点的设备。这一实施例中，采用心脏作为目标对象，并基于通过X-射线心动图作为二维图像测量的心脏的X-射线图像描述。

心脏的X-射线图像是一种投影图像，例如是通过使用碘制剂对血管成像获得的，该制剂在目标血管中是正对比剂。在冠状动脉血管造影术的情形下，使用对比剂观察到围绕心脏的动脉。这种情形下，可易于检测到粗的主血管的分支点作为参考特征点，另一方面，从所观察的X-射线图像不易估计细血管的分支点的位置，或由于血栓不能成像的分支点。因而，这一实施例是要检测血管的分支点的特征点。

(1)用于检测特征点的设备的配置

本实施例中用于检测特征点的设备与第一实施例类似，并包括图像输入单元110，获取被处理的X-射线图像，三维形状信息保存单元200，保存心脏和冠状动脉平均的三维形状模型，对应关系获取单元120，估计X-射线图像与心脏的三维形状之间的对应关系，搜索区域获取单元130，使用获取的对应关系设置搜索输入图像上血管分支点的区域，以及特征点检测单元140，从搜索区域确定血管分支点的位置。

这些单元110到140的功能是通过存储在计算机中的程序实现的。

(2)用于检测特征点的设备的操作

以下将说明用于检测特征点的设备的操作。

首先，图像输入单元110输入X-射线图像。

然后，对应关系获取单元120检测粗血管的至少四个分支点，这些分支点能够易于从由图像输入单元110获取X-射线图像作为参考特征点被检测，并估计心脏和冠状动脉对于三维形状模型之间的对应关系。可采用第一实施例中所述的方法作为估计的方法。

然后，关于从X-射线图像难以检测的特征点，搜索区域获取单元130把难以检测的特征点的位置投影到模型，并把其周围的三维平面区域投影到X-射线图像的二维平面区域上。

接下来，X-射线图像的投影平面区域对应于搜索特征点的区域，并在搜索区域中进行对亮度校正到优化值等。这是为便于从下一步的继续检测。

最后，在特征点检测单元140，通过边缘检测规定按角检测方法在搜索区域中看似为血管分支的位置。

这样，使用根据第二实施例检测特征点的本设备，通过估计X-射线图像与三维形状信息之间的对应关系，并确定X-射线图像上平面小区域，该X-射线图像是通过在三维形状上投影作为搜索区域包含特征点的平面小区域获得的，能够检测在亮度有小范围变化因而难以规定位置的特征点。

修改

本发明不限于上述实施例，并在实现阶段不背离本发明范围之下实施例可被修改和实施。

此外，在需要时通过组合上述实施例中公开的多种组件，这些实施例可被修改为各种形式。例如，某些组件可从实施例中所示的全部组件中去除。此外，实施例中的组件可按需要组合。

Claims

1.一种用于从包含目标对象的图像检测具体特征点的设备，包括：

图像输入单元，用于输入目标对象的图像；

三维形状信息存储单元，用于存储模型的三维形状信息及模型中参考点的三维位置信息，每一个参考点不同于具体特征点；

对应的参考点输入单元，用于输入在输入图像上参考特征点的对应的参考点的位置信息；

对应的特征点获取单元，用于获取模型中具体特征点的对应的特征点的位置信息；

对应关系获取单元，使用对应的参考点的位置信息及参考点的三维位置信息，获取输入图像与三维形状信息之间的对应关系；

搜索区域设置单元，通过基于对应关系把包含模型表面上对应的特征点的对应区域投影到输入图像，对输入图像上的具体特征点设置搜索区域；

图像信息获取单元，用于从输入的图像获取搜索区域的图像信息；以及

特征点检测单元，用于从图像信息检测输入图像中具体特征点的位置。

2.如权利要求1所述的设备，其中所述对应区域是模型表面上弯曲的或直线的区域，且图像信息是输入图像上一维排布的象素信息。

3.如权利要求2所述的设备，其中所述模型是人脸的模型，且对应区域是通过模型表面上的具体特征点的区域。

4.如权利要求3所述的设备，其中所述对应的特征点是嘴中心，其对应于模型嘴唇的左端和右端之间的中点，且对应区域是通过模型表面上的嘴中心的人脸的中心线。

5.如权利要求1所述的设备，其中所述对应区域是模型表面上的平面区域，且图像信息是输入图像上的二维象素信息。

6.如权利要求5所述的设备，其中所述模型是心脏及其冠状动脉的模型，对应区域是包含在中心的对应特征点的三维区域，且图像信息是输入图像上二维排布的象素信息。

7.一种从包含目标对象的图像检测具体特征点的方法，包括：

输入目标对象的图像；

存储模型的三维形状信息及模型中参考点的三维位置信息，每一个参考点不同于具体特征点；

输入在输入图像上参考特征点的对应的参考点的位置信息；

获取模型中具体特征点的对应的特征点的位置信息；

使用对应的参考点的位置信息及参考点的三维位置信息，获取输入图像与三维形状信息之间的对应关系；

通过基于对应关系把包含模型表面上对应的特征点的对应区域投影到输入图像，对输入图像上的具体特征点设置搜索区域；

从输入的图像获取搜索区域的图像信息；以及

从图像信息检测输入图像中具体特征点的位置。

8.如权利要求7所述的方法，其中所述对应区域是模型表面上弯曲的或直线的区域，且图像信息是输入图像上一维排布的象素信息。

9.如权利要求8所述的方法，其中模型是人脸的模型，且对应区域是通过模型表面上的具体特征点的区域。

10.如权利要求9所述的方法，其中所述对应的特征点是嘴中心，其对应于模型嘴唇的左端和右端之间的中点，且对应区域是通过模型表面上的嘴中心的人脸的中心线。

11.如权利要求7所述的方法，其中所述对应区域是模型表面上的平面区域，且图像信息是输入图像上的二维象素信息。

12.如权利要求11所述的方法，其中所述模型是心脏及其冠状动脉的模型，对应区域是包含在中心的对应的特征点的三维区域，且图像信息是输入图像上二维排布的象素信息。

13.一种计算机可读记录介质，包含用来从存储在其中的目标对象检测具体特征点的程序，该程序包括用来引起计算机执行以下步骤的指令：

输入目标对象的图像；

输入在输入图像上参考特征点的对应的参考点的位置信息；

获取模型中具体特征点的对应的特征点的位置信息；

从输入的图像获取搜索区域的图像信息；以及

从图像信息检测输入图像中具体特征点的位置。

14.如权利要求13所述的计算机可读记录介质，其中对应区域是模型表面上弯曲的或直线的区域，且图像信息是输入图像上一维排布的象素信息。

15.如权利要求14所述的计算机可读记录介质，其中模型是人脸的模型，且对应区域是通过模型表面上的具体特征点的区域。

16.如权利要求15所述的计算机可读记录介质，其中对应的特征点是嘴中心，其对应于模型嘴唇的左端和右端之间的中点，且对应区域是通过模型表面嘴中心的人脸的中心线。

17.如权利要求13所述的计算机可读记录介质，其中对应区域是模型表面上的平面区域，且图像信息是输入图像上的二维象素信息。

18.如权利要求17所述的计算机可读记录介质，其中模型是心脏及其冠状动脉的模型，对应区域是包含在中心的对应的特征点的三维区域，且图像信息是输入图像上二维排布的象素信息。