CN101419498B

CN101419498B - 操作输入装置

Info

Publication number: CN101419498B
Application number: CN2008102133290A
Authority: CN
Inventors: 西田好宏; 辻雅之; 大塚功; 冈田玲子; 松谷清志
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2007-10-22
Filing date: 2008-08-22
Publication date: 2011-05-04
Anticipated expiration: 2028-08-22
Also published as: CN101419498A; US20130162535A1; DE102008048325A1; US8378970B2; US8681099B2; DE102008048325B4; JP5228439B2; US20090102788A1; JP2009104297A

Abstract

操作输入装置。在通过照相机对用户的手势或姿态进行拍摄来进行汽车导航的操作时，随着设备和操作对象数量的增加，分别对应的手形状和手动作相应地增加。因此，存在对于用户来说操作变复杂的问题。并且，在通过照相机来对手进行检测的情况下，在照相机拍摄图像中存在颜色信息相近的脸等时、或者太阳光或照明等的外界光发生变化时，存在检测精度下降的问题。本发明的操作输入装置具有手操作判定单元和菜单显示单元，由此能够简单地进行操作，并且能够准确地对操作进行判定。并且，本发明使用多台照相机并从两个以上的判定单元中选择一个结果，由此提高检测精度。

Description

操作输入装置

技术领域

本发明涉及通过手的操作来对以车辆信息设备为代表的各种信息设备进行输入的操作输入装置。

背景技术

近年来，在汽车上安装有以汽车导航仪为代表的音频和空调等多种设备，对驾驶员来说，在操作这些设备时进行的按钮操作和操作面板的显示确认是非常麻烦的，存在增加视线移动的问题。

作为对此进行改善的方法，考虑了使用手势或者姿态的方法，例如，提出有如下的装置(例如，参考专利文献1、专利文献2)：利用照相机对手的形状和手的动作进行检测，来分别作为形状姿态和方向姿态，并通过一个姿态来选择操作模式，而通过另一个姿态来变更该操作模式内的参数。

【专利文献1】日本特开2001-216069号公报

【专利文献2】日本特开2005-50177号公报

在使用这样的装置的情况下，随着设备和操作对象的数量的增加，分别对应的手的形状和手的动作也增加，因此存在用户记忆姿态的负担增大的问题。

并且，在使用照相机所拍摄的图像来检测姿态的情况下，亮度等的周围环境对检测精度影响很大。尤其汽车的周围环境变化很大，因此，存在很难始终高精度地检测姿态的问题。

发明内容

本发明是为了解决上述问题而提出的，其目的在于，提供即使设备和操作对象增加也能够简单地进行姿态操作的操作输入装置。

并且，本发明的目的在于，提供能够针对各种各样的周围环境，从照相机所拍摄到的图像中高精度地检测姿态的操作输入装置。

本发明第一方面的操作输入装置具有：摄像单元，其由可见光照相机构成；手区域检测单元，其根据上述摄像单元所拍摄到的影像检测人体的手区域；手操作判定单元，其根据所检测出的手区域的形状和动作来判定手的操作；以及选择菜单提示单元，其向用户告知根据所判定的操作而选择的菜单，上述手区域检测单元构成为包括：肤色区域提取单元，其从可见光照相机所拍摄的影像中提取肤色区域；差分区域提取单元，其对由上述摄影单元所拍摄的背景图像与当前影像之间的差分区域进行提取；二值化校正单元，其使上述肤色区域提取单元和上述差分区域提取单元所提取的区域的图像数据二值化并对其进行校正；距离计算单元，其计算从上述二值化校正单元所得到的二值化图像区域内部的点到轮廓之间的最短距离，并检测计算出的最短距离的值为最大的距离最大点作为手的中心；中央重点校正单元，其对距离最大点的距离值加上校正值，其中，上述距离最大点的位置越靠近摄像画面的中央部则该校正值越大，并且上述距离最大点的位置越靠近摄像画面的边缘则该校正值越小；手区域候选检测单元，其从二值化图像区域中检测手区域候选，该二值化图像区域包含以下所述的数值为最大的点，其中，该数值是对距离最大点的距离值加上上述校正值而得到的；轮廓长度/面积计算单元，其计算上述手区域候选的轮廓的长度和面积；以及手区域确定单元，其根据所计算出的轮廓长度和面积来确定上述手区域候选是否为手。

本发明第二方面的操作输入装置具有：摄像单元，其由红外线照相机构成；手区域检测单元，其根据上述摄像单元所拍摄到的影像检测人体的手区域；手操作判定单元，其根据所检测出的手区域的形状和动作来判定手的操作；以及选择菜单提示单元，其向用户告知根据所判定的操作而选择的菜单，上述手区域检测单元构成为包括：差分区域提取单元，其对由上述摄影单元所拍摄的背景图像与当前影像之间的差分区域进行提取；二值化校正单元，其使上述差分区域提取单元所提取的区域的图像数据二值化并对其进行校正；距离计算单元，其计算从上述二值化校正单元所得到的二值化图像区域内部的点到轮廓之间的最短距离，并检测计算出的最短距离的值为最大的距离最大点作为手的中心；中央重点校正单元，其对距离最大点的距离值加上校正值，其中，上述距离最大点的位置越靠近摄像画面的中央部则该校正值越大，并且上述距离最大点的位置越靠近摄像画面的边缘则该校正值越小；手区域候选检测单元，其从二值化图像区域中检测手区域候选，该二值化图像区域包含以下所述的数值为最大的点，其中，该数值是对距离最大点的距离值加上上述校正值而得到的；轮廓长度/面积计算单元，其计算上述手区域候选的轮廓的长度和面积；以及手区域确定单元，其根据所计算出的轮廓长度和面积来确定上述手区域候选是否为手。

本发明第三方面的操作输入装置具有：由可见光照相机和红外线照相机构成的两个以上的摄像单元；两个以上的手区域检测单元，其根据上述两个以上的摄像单元所拍摄到的影像检测人体的手区域；两个以上的手操作判定单元，其根据所检测出的手区域的形状和动作利用不同方法来判定手的操作；手操作判定选择单元，其从上述两个以上的手操作判定单元所判定的两个以上的结果中选择一个判定结果；以及选择菜单提示单元，其向用户告知根据上述手操作判定选择单元所选择的操作而选择的菜单，上述两个以上的手区域检测单元分别构成为包括：可见光图像差分区域提取单元，其对由上述可见光照相机所拍摄的背景图像与当前影像之间的差分区域进行提取；肤色区域提取单元，其从上述可见光照相机所拍摄的影像中提取肤色区域；红外线图像差分区域提取单元，其对由上述红外线照相机所拍摄的背景图像与当前影像之间的差分区域进行提取；二值化校正单元，其使上述红外线图像差分区域提取单元或者上述肤色区域提取单元和上述可见光图像差分区域提取单元所提取的区域的图像数据二值化并对其进行校正；距离计算单元，其计算从上述二值化校正单元所得到的二值化图像区域内部的点到轮廓之间的最短距离，并检测计算出的最短距离的值为最大的距离最大点作为手的中心；中央重点校正单元，其对距离最大点的距离值加上校正值，其中，上述距离最大点的位置越靠近摄像画面的中央部则该校正值越大，并且上述距离最大点的位置越靠近摄像画面的边缘则该校正值越小；手区域候选检测单元，其从二值化图像区域中检测手区域候选，该二值化图像区域包含以下所述的数值为最大的点，其中，该数值是对距离最大点的距离值加上上述校正值而得到的；轮廓长度/面积计算单元，其计算上述手区域候选的轮廓的长度和面积；以及手区域确定单元，其根据所计算出的轮廓长度和面积来确定上述手区域候选是否为手。

本发明具有如下这样的效果：通过构成如上所述的结构，可以向用户告知通过简单的操作所选择的菜单，因此即使设备和操作对象增加，也不会增加操作输入所需要的手的形状和手的动作的数量，从而可简单地进行操作。

并且，本发明具有如下这样的效果：由于构成为使用两个以上的照相机来从两个以上的手操作判定单元的判定结果中选择一个判定结果，所以能够在各种周围环境中得到较高的检测精度。

附图说明

图1是示出本发明的实施方式1的操作输入装置的框图。

图2是本发明实施方式1中的手区域检测单元的框图。

图3是示出本发明实施方式1中的设备结构例的图。

图4是说明本发明实施方式1中的图像和检测区域的图。

图5是本发明实施方式1中的手操作判定单元的框图。

图6是说明本发明实施方式1中的轮廓方向直方图的图。

图7是本发明实施方式1中的另一手操作判定单元的框图。

图8是说明本发明实施方式1中的手方向判定单元的图。

图9是说明本发明实施方式1中的搜索候选的显示和操作的图。

图10是本发明实施方式2中的手区域检测单元的框图。

图11示出本发明实施方式2中的设备结构例的图。

图12是说明本发明实施方式2中的图像和检测区域的图。

图13是示出本发明实施方式3的手操作输入装置的框图。

图14示出本发明实施方式3的设备结构例的图。

符号说明

11摄像单元；12手区域检测单元；12A手区域检测单元；13手操作判定单元；13A手操作判定单元；14选择菜单提示单元；20可见光照相机；21肤色区域提取单元；22差分区域提取单元；23二值化校正单元；24距离计算单元；25中央重点校正单元；26手区域候选检测单元；27轮廓长度/面积计算单元；28手区域确定单元；51轮廓方向直方图计算单元；52手方向判定单元；53判定结果存储单元；54时序数据判定单元；71中心轮廓间距离计算单元；72手方向判定单元；73判定结果存储单元；74时序数据判定单元；110红外线照相机；111差分区域提取单元；112二值化校正单元；113距离计算单元；114中央重点校正单元；115手区域候选检测单元；116轮廓长度/面积计算单元；117手区域确定单元；131手操作判定选择单元。

具体实施方式

实施方式1

图1是示出用于实施本发明的实施方式1中的操作输入装置的框图，该操作输入装置包括以下部分：例如用于对驾驶员向方向盘旁边伸出的手进行拍摄的可见光照相机或红外线照相机等的摄像单元11；手区域检测单元12，其根据摄像单元11所拍摄到的影像的影像信号来检测手区域；手操作判定单元13，其根据手区域检测单元12所检测出的手区域的形状和动作来判定手的操作；选择菜单提示单元14，其向用户告知根据手操作判定单元13所判定的操作而选择的菜单。

图2是示出将可见光照相机20用作摄像单元11的情况下的手区域检测单元12的结构的框图，该手区域检测单元12包括以下部分：肤色区域提取单元21，其根据可见光照相机20所拍摄的影像的影像信号来提取肤色区域；差分区域提取单元22，其根据同一个可见光照相机20所拍摄的影像的影像信号生成背景图像，并提取该背景图像与当前影像之间的差分区域；二值化校正单元23，其使肤色区域提取单元21和差分区域提取单元22所提取的区域的图像数据二值化并对其进行校正；距离计算单元24，其计算从二值化校正单元23所得到的二值化图像区域内部的点到轮廓之间的最短距离，并检测该值为最大的距离最大点作为手的中心；中央重点校正单元25，其对距离最大点的距离值加上校正值，其中，距离最大点的位置越靠近摄像画面的中央部则该校正值越大，并且距离最大点的位置越靠近摄像画面的边缘则该校正值越小；手区域候选检测单元26，其从二值化图像区域中检测从上述距离最大点起预定距离内的范围，作为手区域候选，其中该二值化图像区域包含加上校正值后的值为最大的点；轮廓长度/面积计算单元27，其对手区域候选检测单元26所检测出的手区域候选的轮廓进行跟踪，并计算轮廓的长度和区域的面积；以及手区域确定单元28，其根据轮廓长度/面积计算单元27所得出的轮廓的长度和面积来判定手区域候选是否为手。

图3示出了设备结构的示例，通过可见光照相机20来对方向盘附近一带进行拍摄，并根据此处的手的操作来由挡风玻璃上的影像重叠单元33进行菜单显示。在离方向盘很近的地方以较小的动作来进行手势和姿态的操作是安全的。并且，对手进行拍摄的可见光照相机20优选设置在这样的位置，即：使进行操作的手位于图像的中央部、不会照到构成干扰的人脸和窗外景色、并且不会形成逆光。例如，如图3所示设置在仪表盘31的中央下方附近，并从那里对斜上方的方向盘附近一带进行拍摄。

来自可见光照相机20的摄像图像被输出为图4(a)所示的图像，当驾驶员在方向盘附近的操作区域内伸出手时，会输出图4(b)所示的图像。此时通过肤色区域提取单元21提取肤色区域，并提取出图4(c)所示的脸和手的区域。这里，作为能够减小亮度的影响的肤色提取，转换到HSV(Hue、Saturation、Value：色相、饱和度、亮度)颜色空间来进行提取。

在转换到HSV颜色空间后，能够对由逆光等所引起的亮度和肤色的变化进行宽范围的检测。但是，在肤色区域中除了希望检测到的手之外，还包含不希望检测到的驾驶员和其他乘客的脸等，并且当在车座或车顶棚上存在与肤色相近的颜色时这些区域也会被检测出来。

另一方面，在差分区域提取单元22中，检测图4(a)所示的背景图像与图4(b)所示的当前图像之间的差别较大的如图4(d)所示的区域。在该示例中，由于在图4(a)和图4(b)中手的位置发生了变化，所以作为这些图像之间的差分，检测出了动作前后的两个手。在差分区域提取中存在这样的问题，即：如果对象物暂时没有动作，则不希望作为背景的对象物也会成为背景，并且在背景与对象物的图像信号水平相近的情况不能够顺利地进行提取。

因此，在二值化校正单元23中，根据肤色区域提取单元21和差分区域提取单元22的输出来对检测区域进行校正。具体而言，求出这两个区域的逻辑和，并通过膨胀处理、收缩处理和滤波处理，来对小孔区域进行填充或去除微小的突起区域和噪声。通过这些处理，能够得到例如图4(e)所示的区域。利用该二值化校正单元23可以得到一个或两个以上的二值化图像区域。

在距离计算单元24中，计算在二值化校正单元23所得到的二值化图像区域中、从各区域内部的点到轮廓之间的最短距离，并检测该值为最大的距离最大点，并将该位置作为手中心的候选。在图4(f)中，提取区域内的两个以上的闭合曲线是上述最短距离相等的点的集合，黑点所表示的距离最大点是手中心的候选。这里，不以区域的重心作为手的中心是因为，例如图4(g)所示，在服装没有袖子从而检测到手臂区域时，区域的重心不是手而是位于手臂上。

在中央重点校正单元25中，对距离最大点的距离值加上校正值，其中，距离最大点的位置越靠近摄像画面的中央部则该校正值越大，并且距离最大点的位置越靠近摄像画面的边缘则该校正值越小。这样进行中央重点校正来检测手区域的候选是因为，在画面的中央拍摄到作为检测对象的手的可能性较高，而在图像的边缘则拍摄到作为干扰的物体(比如脸)的可能性较高。例如图4(h)所示，对于在画面的中央附近检测到手，而在画面的右侧检测到脸区域的情况，仅依靠距离计算单元24而得到的单纯的距离最大点位于脸一方的可能性高，从而会错误地将其判断为手的候选，但是通过利用中央重点校正单元25来进行校正，能够检测出靠近中央的手区域作为手的候选。

通过追加中央重点校正单元25，具有这样的效果，即：即使在画面的边缘检测到的干扰区域较大，也能够检测出画面中央部的手。另外，在上述示例中，对距离最大点的距离计算结果加上校正值，但对该计算结果乘以校正值也能够获得同样的效果。

接着，在手区域候选检测单元26中，检测经中央重点校正单元25校正后的距离最大点的距离值为最大的点，将包含该点的二值化图像区域中的、手的中心即距离最大点上方的区域部分作为手区域的候选。作为其他手区域候选检测方法，也可以将与距离最大点相距预定距离内的范围作为手区域的候选。

在轮廓长度/面积计算单元27中，针对由手区域候选检测单元26所得到的区域，对二值化图像区域的轮廓进行跟踪，并计算轮廓的长度和区域的面积。

在手区域确定单元28中，对由轮廓长度/面积计算单元27所计算出的轮廓的长度和区域的面积是否进入了预定的范围进行调查，在进入了预定的范围时，判断为手的区域，作为手区域检测单元12的输出。

图5是示出手操作判定单元13的结构例的框图，其由以下部分构成：轮廓方向直方图计算单元51，其针对从手区域检测单元12得到的区域，对轮廓方向进行编码，计算表示轮廓方向的频度分布的直方图；手方向判定单元52，其根据由轮廓方向直方图计算单元51计算出的直方图来求出轮廓的方向成分的频度，并根据该结果来检测手区域的倾斜；判定结果存储单元53，其将手方向判定单元52的判定结果保存预定时间；以及时序数据判定单元54，其根据积蓄在判定结果存储单元53中的预定时间的判定结果来判定包括动作信息在内的手的操作。

在轮廓方向直方图计算单元51中，针对由手区域检测单元12所得到的二值化图像区域的轮廓，例如根据如6(a)所示的方向码来对轮廓的方向进行编码，并生成其直方图。例如，对于图6(b)所示的为了简单而对像素进行了放大的区域，沿着逆时针方向对轮廓(在该图中为全部涂为黑色的像素)进行跟踪，并对全周求出直方图，从而成为图6(c)所示的那样。

在手方向判定单元52中，根据由轮廓方向直方图计算单元51所计算出的直方图来判定手的倾斜。如果针对图6(c)所示的直方图将方向相反的代码相加，则直方图被变换为图6(d)所示的直方图。通过检测该直方图的多数成分来判定手的方向。例如，如图6(e)所示，在右上斜成分(方向码6)和左下斜成分(方向码2)多的情况下，判定为手向右上方倾斜；如图6(f)所示，在上下成分(方向码3和7)多的情况下，判定为手笔直地竖起；如图6(g)所示，在左上斜成分(方向码0)和右下斜成分(方向码4)多的情况下，判定为手向左上方倾斜；如图6(h)所示，在所有成分都大致相等的情况下，判断为手指弯曲。这样，能够使用轮廓方向直方图检测出手的倾斜状态以及手指的弯曲伸直动作。

手方向判定单元52的判定结果保存在判定结果存储单元53中，时序数据判定单元54根据判定结果存储单元53的预定时间的判定结果来判定手的操作。虽然用1帧图像即可进行一次判定，但是作为几帧的时序信息进行判断可以提高检测精度，还可以检测出摆手操作那样的动作信息。并且，通过对多帧进行判定，对于例如出于其他目的而仅仅一瞬间地将手伸出或者存在对面车的前照灯照射过来这样的干扰的情况，也能够可靠地进行判定。

图7是示出手操作判定单元13的另一结构例的框图，其由以下部分构成：中心轮廓间距离计算单元71，其计算从由手区域检测单元12所得到的手区域的中心到上述手区域的轮廓上的所有点之间的距离；手方向判定单元72，其根据从中心轮廓间距离计算单元71所计算出的距离为最大的点和距离为最小的点连接到上述手区域中心的两条线段的距离和方向，来判定手的方向；判定结果存储单元73，其将手方向判定单元72的判定结果保存预定时间；以及时序数据判定单元74，其根据存储在判定结果存储单元73中的预定时间的判定结果来判定包括动作信息在内的手的操作。

在中心轮廓间距离计算单元71中，对由手区域检测单元12所得到的二值化图像区域的轮廓进行跟踪，计算从手中心到轮廓线的距离为最大的点及其距离值，并且计算从手中心到轮廓线的距离为最小的点及其距离值。例如，如图8(a)所示，在伸出食指的情况下，相对于手中心(A)，距离最大的点被检测为指尖(B)，距离最小的点被检测为拳头的位置(C)。

在手方向判定单元72中，能够根据由中心轮廓间距离计算单元71所计算出的点和距离来判定手的操作，具体而言，能够利用A-B间距离与A-C间距离的比率来判定手指的曲伸，以及根据A-B的方向矢量来判定手指的方向。例如，如图8(b)所示，在A-B间距离小于A-C间距离的2倍的情况下，判定为收回手指；如图8(c)所示，在A-B间距离大于A-C间距离的2倍、并且(B)在(A)的右上方的情况下，判定为手向右上方倾斜。像这样，能够根据手的中心、指尖的位置、以及拳头的位置来检测手的倾斜状态以及手指的曲伸动作。

此后的判定结果存储单元73和时序数据判定单元74与图5中的判定结果存储单元53和时序数据判定单元54相同。

手操作判定单元13或13A所判定的操作优选为，无论在任何状况和任何层级的菜单中，都可以一样地进行操作，而且操作是直观的。在上述两个手操作判定单元中，例如，能够执行以下操作：通过伸出食指并使食指倾斜的操作，来依次变更选择菜单的候选；通过使手指弯曲、像按下按钮一样的操作来执行所选择的菜单；在希望返回时，通过左右摇动手指以表示否定的操作来进行取消操作。用户通过这些手的操作至少可以移动菜单候选的层级、选择所期望的菜单、并执行。因此，即使设备和操作对象增加，也能够利用上述的手操作判定单元13或13A来简单地进行操作，而不会增加操作输入所需的手形状和手动作的数量。

以上，对两个手操作判定单元进行了说明，但是，即可以利用它们双方，也可以利用其中的任一方。

图1的选择菜单提示单元14根据手操作判定单元13所判定的操作，通过声音或者图像来表示所选择的菜单以告知用户。在通过图像进行显示的情况下，例如，通过图3的挡风玻璃上的影像重叠显示装置33来显示选择菜单。

本发明的操作输入装置能够与带有语音识别功能的汽车导航装置组合在一起。例如，在带有语音识别功能的汽车导航装置中具有这样的功能：当说出“附近的便利店”时，对便利店进行检索并在汽车导航仪上显示候选，通过触摸面板或按钮来选择目的地。与之相对，例如如图9(a)所示的那样来显示候选，用户不需要触摸触摸面板或按钮，而例如通过使手向右倾斜来使候选滚动到图9(b)所示的画面，并通过使手指弯曲的操作来确定目的地。

实施方式2

图10是示出用于实施本发明的实施方式2中的操作输入装置的框图，该操作输入装置具有：差分区域提取单元111，其根据红外线照相机110所拍摄的影像的影像信号生成背景图像，并提取该背景图像与摄像单元所拍摄的当前影像之间的差分区域；二值化校正单元112，其根据差分区域提取单元111的信息来使手区域的图像数据二值化并对其进行校正；距离计算单元113，其计算从二值化校正单元112得到的手区域的二值化图像区域的像素到摄像画面区域的边缘之间的最短距离；中央重点校正单元114，其对距离计算单元113所输出的计算结果加上校正值，其中，越靠近画面中央则该校正值越大，并且越靠近画面边缘则该校正值越小；手区域候选检测单元115，其将中央重点校正单元114的输出为最大的位置作为手的中心，并检测包含该点的二值化图像区域作为手位置的候选；轮廓长度/面积计算单元116，其对手区域候选检测单元115所得到的二值化图像区域的轮廓进行跟踪，并计算轮廓的长度和区域的面积；以及手区域确定单元117，其根据轮廓长度/面积计算单元116所得出的轮廓长度和面积来判定二值化图像区域是否为手。

图11是示出实施方式2中的设备结构的示例的图。在实施方式1的情况下，摄像单元是可见光照相机20，而在本实施方式中，摄像单元是红外线照相机110，并追加了作为发光部的红外线LED 104。

虽然来自红外线照相机110的拍摄图像也取决于周围的亮度，但是在与周围的红外线水平相比红外线LED 104能够发出足够强的红外线的情况下，能够得到这样的图像，即：如图12(a)所示，与红外线LED 104和红外线照相机110距离较近的手的部分对红外线的反射成分较多，从而成为高亮度水平，而由于背景对红外线的反射量较少，所以成为低亮度水平。

在差分区域提取单元111中，检测图12(b)的背景图像与图12(a)的图像之间的差别较大的图12(c)所示的区域。虽然与可见光照相机20的情况相同，存在如果手暂时不进行动作则作为检测对象物的手会成为背景图像的问题，但是与可见光照相机20不同的是具有这样的优点：即使在背景中存在与手的颜色和亮度相同的物体，也能够根据距红外线LED 104和红外线照相机110的距离的不同，而与手区别开。

在二值化校正单元112中，对差分区域提取单元111的检测区域进行校正处理来得到图12(d)所示的区域，其中，该校正处理是通过膨胀处理、收缩处理和滤波处理，来对小孔区域进行填充或去除微小的突起区域和噪声等的处理。

此后的距离计算单元113、中央重点校正单元114、手区域候选检测单元115、轮廓长度/面积计算单元116、手区域确定单元117分别与图2中的距离计算单元24、中央重点校正单元25、手区域候选检测单元26、轮廓长度/面积计算单元27、手区域确定单元28相同。

但是，像本实施方式那样，在摄像单元11是红外线照相机110的情况下，可以省去中央重点校正单元114。这是因为，通过将红外线LED的照射方向设定为手的操作位置，即使脸进入到红外线照相机110所拍摄的图像的边缘，由于照射到脸上并被脸反射的红外线的水平低于画面中央部的手部分的红外线水平，因此，脸的图像信号的水平较低。

在红外线LED 104的红外线水平低于周围的红外线水平的情况下，例如，在夕阳直接从窗户射入等，即使红外线LED 104位于手的附近，但入射的红外线仍然强于其反射成分的情况下，可以通过将红外线LED104熄灭，从而得到如图12(e)所示的背景为高亮度、手的部分为低亮度的图像，并利用差分区域提取单元111来对手进行检测。可以通过差分区域提取单元111所保持的背景图像的平均亮度水平、或者将重点设置在周边部的亮度水平，来进行周围的红外线水平的判定。

在本实施方式中，使用近红外线作为红外线，但是，使用远红外线也能够实现相同的动作。但是，在使用远红外线的情况下，不需要作为发光部的红外线LED 104。

实施方式3

图13是示出用于实施本发明的实施方式3中的操作输入装置的框图。该操作输入装置具有可见光照相机20和红外线照相机110来作为摄像单元11，并且该操作输入装置还具有以下部分：手区域检测单元12，其根据可见光照相机20所得到的影像信号来检测手的区域；手操作判定单元13和13A，它们利用彼此不同的方法，根据手区域检测单元12所得到的手的区域来对操作进行判定；手区域检测单元12A，其根据红外线照相机110所得到的影像信号来检测手的区域；手操作判定单元13和13A，它们利用彼此不同的方法，根据手区域检测单元12A所得到的手的区域来对操作进行判定；手操作判定选择单元131，其从基于可见光照相机20的两个以上的手操作判定单元的判定结果和基于红外线照相机110的两个以上的手操作判定单元的判定结果中，选择一个判定结果；以及选择菜单提示单元14，其向用户告知根据手操作判定单元131所选择的操作而选择的菜单。

图14是具有可见光照相机20和红外线照相机110双方的情况下的设备结构的示例。从可见光照相机20到两个以上的手操作判定单元13和13A的处理、以及从红外线照相机110到两个以上的手操作判定单元13和13A的处理，与实施方式1和实施方式2相同。

本实施方式3具有对由可见光照相机20和红外线照相机110所得到的两个以上的判定结果进行选择的手操作判定选择单元131。手操作判定选择单元131中的最简单的选择方法是判定结果的多数原则，但是，可见光照相机20的检测在白天比较明亮时检测精度较高，在夜晚比较暗时检测精度下降；而红外线照相机110的检测在背景的红外线水平较高的白天检测精度较低，在夜晚检测精度升高。因此，可以通过在白天选择可见光照相机20的判定结果，而在夜晚选择红外线照相机110的判定结果，由此提高检测的精度。可以通过时钟的时刻信息或者是否亮灯来对白天和夜晚进行判定。

并且，是否具有用于由可见光照相机20进行高精度的检测的充分亮度与红外线照相机110所拍摄的图像的红外线水平有很大关系，在红外线水平较高时，具有用于由可见光照相机20进行高精度的检测的充分亮度。因此，在红外线照相机110所得到的红外线水平低于预定值时，选择基于红外线照相机110的判定，相反，在红外线水平高于预定值时，选择基于可见光照相机20的判定，由此能够提高检测的精度。

并且，在无法准确地进行手区域检测的情况下，也无法准确地判定手操作判定单元的判定结果，从而两个以上的手操作判定单元的判定结果彼此不同。因此，选择手操作判定单元的结果差异小的摄像单元的判定结果来提高可靠性。

在本实施方式中，将可见光照相机20和红外线照相机110的安装位置如图14所示的那样共同安装在仪表盘中央的下部，但是也可以将这些照相机都安装在后视镜或者室内镜的附近，并也可以将它们分别安装在不同的位置。

Claims

1.一种操作输入装置，其特征在于，该操作输入装置具有：

摄像单元，其由可见光照相机构成；

手区域检测单元，其根据上述摄像单元所拍摄到的影像检测人体的手区域；

手操作判定单元，其根据所检测出的手区域的形状和动作来判定手的操作；以及

选择菜单提示单元，其向用户告知根据所判定的操作而选择的菜单，

上述手区域检测单元构成为包括：

肤色区域提取单元，其从可见光照相机所拍摄的影像中提取肤色区域；

差分区域提取单元，其对由上述摄影单元所拍摄的背景图像与当前影像之间的差分区域进行提取；

二值化校正单元，其使上述肤色区域提取单元和上述差分区域提取单元所提取的区域的图像数据二值化并对其进行校正；

距离计算单元，其计算从上述二值化校正单元所得到的二值化图像区域内部的点到轮廓之间的最短距离，并检测计算出的最短距离的值为最大的距离最大点作为手的中心；

中央重点校正单元，其对距离最大点的距离值加上校正值，其中，上述距离最大点的位置越靠近摄像画面的中央部则该校正值越大，并且上述距离最大点的位置越靠近摄像画面的边缘则该校正值越小；

手区域候选检测单元，其从二值化图像区域中检测手区域候选，该二值化图像区域包含以下所述的数值为最大的点，其中，该数值是对距离最大点的距离值加上上述校正值而得到的；

轮廓长度/面积计算单元，其计算上述手区域候选的轮廓的长度和面积；以及

手区域确定单元，其根据所计算出的轮廓长度和面积来确定上述手区域候选是否为手。

2.根据权利要求1所述的操作输入装置，其特征在于，

上述手操作判定单元构成为包括：

轮廓方向直方图计算单元，其计算表示所检测出的手区域的轮廓方向频度分布的直方图；

手方向判定单元，其根据上述轮廓方向直方图计算单元所得到的直方图的大小来判定手的方向；

判定结果存储单元，其保存上述手方向判定单元所得到的判定结果；以及

时序数据判定单元，其根据保存在上述判定结果存储单元中的预定时间的判定结果来判定当前的手操作。

3.根据权利要求1所述的操作输入装置，其特征在于，

上述手操作判定单元构成为包括：

中心轮廓间距离计算单元，其计算从手区域检测单元所得到的手区域的中心到上述手区域的轮廓上的所有点之间的距离；

手方向判定单元，其根据从所计算出的距离为最大的点和距离为最小的点连接到上述手区域中心的两条线段的距离和方向，来判定手的方向；

4.根据权利要求1所述的操作输入装置，其特征在于，

上述手操作判定单元根据手区域检测单元的检测结果，至少进行菜单的候选变更、执行、取消的判定。

5.一种操作输入装置，其特征在于，该操作输入装置具有：

摄像单元，其由红外线照相机构成；

上述手区域检测单元构成为包括：

二值化校正单元，其使上述差分区域提取单元所提取的区域的图像数据二值化并对其进行校正；

6.根据权利要求5所述的操作输入装置，其特征在于，

上述手操作判定单元构成为包括：

7.根据权利要求5所述的操作输入装置，其特征在于，

上述手操作判定单元构成为包括：

8.根据权利要求5所述的操作输入装置，其特征在于，

9.根据权利要求5所述的操作输入装置，其特征在于，

在上述红外线照相机所拍摄的图像的平均红外线水平低于预定值时，点亮红外线LED，在高于预定值时，熄灭红外线LED。

10.一种操作输入装置，其特征在于，该操作输入装置具有：

由可见光照相机和红外线照相机构成的两个以上的摄像单元；

两个以上的手区域检测单元，其根据上述两个以上的摄像单元所拍摄到的影像检测人体的手区域；

两个以上的手操作判定单元，其根据所检测出的手区域的形状和动作利用不同方法来判定手的操作；

手操作判定选择单元，其从上述两个以上的手操作判定单元所判定的两个以上的结果中选择一个判定结果；以及

选择菜单提示单元，其向用户告知根据上述手操作判定选择单元所选择的操作而选择的菜单，

上述两个以上的手区域检测单元分别构成为包括：

可见光图像差分区域提取单元，其对由上述可见光照相机所拍摄的背景图像与当前影像之间的差分区域进行提取；

肤色区域提取单元，其从上述可见光照相机所拍摄的影像中提取肤色区域；

红外线图像差分区域提取单元，其对由上述红外线照相机所拍摄的背景图像与当前影像之间的差分区域进行提取；

二值化校正单元，其使上述红外线图像差分区域提取单元或者上述肤色区域提取单元和上述可见光图像差分区域提取单元所提取的区域的图像数据二值化并对其进行校正；

11.根据权利要求10所述的操作输入装置，其特征在于，

上述手操作判定单元构成为包括：

12.根据权利要求10所述的操作输入装置，其特征在于，

上述手操作判定单元构成为包括：

13.根据权利要求10所述的操作输入装置，其特征在于，

14.根据权利要求10所述的操作输入装置，其特征在于，

15.根据权利要求10所述的操作输入装置，其特征在于，

在各摄像单元中，通过上述两个以上的手操作判定单元来进行手操作的判定，上述手操作判定选择单元选择基于如下摄像单元的判定结果：对于同一摄像单元，两个以上的手操作判定单元的判定结果之间的差别小。

16.根据权利要求10所述的操作输入装置，其特征在于，

在上述红外线照相机所拍摄的图像的平均红外线水平低于预定值时，上述手操作判定选择单元选择基于红外线照相机的手操作判定结果，在上述红外线照相机所拍摄的图像的平均红外线水平高于预定值时，上述手操作判定选择单元选择基于可见光照相机的手操作判定结果。