CN100464344C - 图像处理装置及其方法 - Google Patents

Abstract

本发明提供一种图像处理装置及其方法。该图像处理装置具有图像传感单元和被摄体检测单元，该被摄体检测单元进行用于检测在从所述图像传感单元输入的图像中的被摄体的处理，该图像处理装置具有：检测大小操作单元，其设置由被摄体检测单元检测的目标对象的分辨率；以及图像转换单元，其基于由检测大小操作单元设置的目标对象的分辨率，对输入图像的分辨率进行转换。被摄体检测单元进行检测在已由图像转换单元转换了分辨率的图像中的被摄体的处理。

Description

图像处理装置及其方法

技术领域

本发明涉及一种图像处理装置及其方法，尤其涉及一种用于从数字照相机等图像输入设备输入的图像中检测预定目标对象(被摄体)的图像处理装置及其方法。

背景技术

传统上，已提出了用于检测输入图像中的人物或面部等特定被摄体并进行适于所检测到的被摄体的处理的数字照相机或数字摄像机(digital video)。

在日本特许第3164692号公报中，已提出了一种照相机，其包括：人物识别单元，用于识别被摄体是人物；以及距离检测单元，用于检测到该被摄体的距离。该照相机包括如下单元：用于基于所检测到的到该被摄体的距离来调节焦距、焦点位置和光圈，并控制人物的整个面部大致在景深(depth of field)内。

在日本特开2001-309225号公报中，提出了一种为了改善图像质量，检测包括在该图像中的多个人脸的照相机。

在日本特开2003-107555号公报中，提出了一种图像传感装置，其具有用于从图像数据中检测人物面部的面部检测单元，并且基于该检测结果来控制曝光。该图像传感装置包括：测光单元，用于对设置为由面部检测单元所检测到的人物面部的测光区域进行测光；以及曝光控制单元，用于基于人物面部的测光结果计算曝光量，并基于所计算出的曝光量进行曝光控制。

作为用于检测图像中的面部的面部检测处理方法，已提出了各种方法。

例如，在“Rapid object Detection using a Boosted Cascadeof Simple Features”，P.Viola，M.Jones，Proc.of IEEE Conf.CVPR，1，pp.511-518，2001中，提出了一种高速面部检测方法。而且，在“Convolutional Spiking Neural Network Model forRobust Face Detection”，M.Matsugu，K.Mori，et.al，2002，International Conference On Neural Information Processing(ICONIP02)和“Neural Network-Based Face Detection”，H.A.Rowley，S.Baluja，T.Kanade，1996，Computer Vision andPattern Recognition(CVPR′96)中，提出了用于进行面部检测的神经网络。

在利用数字照相机传感图像的情况下，其中，在图像中存在多大和多少个面部基本上依赖于传感条件而变化。因而，需要安装在数字照相机上的面部检测处理方法不依赖于图像中面部的位置、大小或数量。

从图像中检测如面部等特定图案(以下称之为“检测图案)的基本概念如下。首先，从图像中切出特定大小的区域，对该区域的特征与检测图案的特征进行比较和研究。如果这些特征相似，则判断出所切出的区域是检测图案，且在该区域中存在如面部等特定图案。

因而，如图14中所示，通过从图像1401中依次切出特定大小的区域并分别对这些切出的区域进行研究，可以进行不依赖于输入图像中的面部位置和数量的检测。而且，如图15所示，为了进行不依赖于面部大小的检测，准备通过离散转换输入图像的分辨率所获得的被称为金字塔图像的多个图像，并从各分辨率的图像中切出和研究该区域。

而且，还可以准备特定不同大小的多种类型的检测图案并进行检测，而不对图像进行分辨率转换。

切出位置、各移位即由于分辨率转换而引起的位置间隔、以及分辨率的间隔依赖于各检测方法的位置鲁棒性(robust)和大小鲁棒性。例如，在对于一个切出的区域进行图案检测并且未检测到检测图案，除非在该区域的中心存在检测图案的情况下，需要逐像素地移动切出位置。这里，如果该方法具有±2像素的位置鲁棒性，则可以以5像素移动切出位置。换句话说，可以降低计算量。另外，类似地，在大小方面，在对于一个区域具有2倍大小鲁棒性的检测方法中，如果准备了1/1倍和1/2倍的两个分辨率的图像，则可以接受四倍大小的变化。另一方面，在具有约1.4倍大小鲁棒性的检测方法中，需要准备1/1倍、

倍、1/2倍和

倍的四个分辨率的图像，并增大了计算量。

然而，通常，如果鲁棒性提高，则检测精确度趋于降低。换句话说，即使当在图像中存在如面部等检测图案时，也可能检测不到该检测图案，或者可能将完全不同于该检测图案的如背景等图案错误检测为检测图案。如果发生这样的检测错误，则当如日本特开2003-107555号公报中所提出的那样根据图像中的面部控制曝光时，可能根据被错误检测的面部以外的区域例如背景等来控制曝光。

相反，如果鲁棒性降低，则需要使切出位置间隔和分辨率间隔变密，在这种情况下增大了计算量。当计算量增大时，可能需要花费时间对图像进行检测处理。

发明内容

考虑以上情况做出了本发明，本发明的目的是在检测图像中的特定图案时，简化利用对用户所需且足够的检测性能进行检测的设置。

根据本发明，提供一种图像处理装置，其具有图像输入单元和检测单元，该检测单元进行用于检测从所述图像输入单元输入的图像中的预定目标对象的处理，该图像处理装置包括：大小改变单元，其设置由所述检测单元从输入图像检测的该目标对象的大小；显示单元，其显示表示由所述大小改变单元设置的该目标对象的大小的信息；分辨率转换单元，其基于由所述大小改变单元设置的该目标对象的大小，对所述输入图像的分辨率进行转换，其中，所述检测单元进行用于检测已由所述分辨率转换单元转换了分辨率的所述图像中的该目标对象的所述处理；以及处理时间获取单元，其基于由所述大小改变单元设置的该目标对象的大小和已由所述分辨率转换单元转换了的图像分辨率，获取由所述检测单元检测该目标对象所需的预测处理时间；其中，在所述显示单元上显示由所述处理时间获取单元获取的该预测处理时间。

根据本发明，还提供一种图像处理方法，其包括：图像输入步骤，用于输入图像；大小改变步骤，用于设置在所述图像输入步骤输入的输入图像中要检测的预定目标对象的大小；显示步骤，用于在显示单元上显示表示在所述大小改变步骤设置的该目标对象的大小的信息；分辨率转换步骤，用于基于在所述大小改变步骤设置的该目标对象的大小，对所述输入图像的分辨率进行转换；检测步骤，用于进行用于检测在已在所述分辨率转换步骤转换了分辨率的所述输入图像中的该目标对象的处理；处理时间获取步骤，用于基于在所述大小改变步骤设置的该目标对象的大小和在所述分辨率转换步骤已转换了的图像分辨率，获取在所述检测步骤检测该目标对象所需的预测处理时间；以及显示步骤，用于在所述显示单元上显示在所述处理时间获取步骤获取的该预测处理时间。

根据本发明的另一方面，还提供一种图像处理装置，其具有图像输入单元和检测单元，该检测单元进行用于检测从所述图像输入单元输入的图像中的预定目标对象的处理，该图像处理装置包括：大小改变单元，其设置由所述检测单元检测的该目标对象的大小；处理时间获取单元，其基于由所述大小改变单元设置的该目标对象的大小，获取由所述检测单元检测该目标对象所需的预测处理时间；以及通知单元，其通知由所述处理时间获取单元获取的该预测处理时间。

而且，本发明还提供一种图像处理方法，其包括：图像输入步骤；检测步骤，进行用于检测在所述图像输入步骤输入的图像中的预定目标对象的处理；大小改变步骤，用于设置在所述检测步骤检测的该目标对象的大小；处理时间获取步骤，用于基于在所述大小改变步骤设置的该目标对象的大小，获取在所述检测步骤检测该目标对象所需的预测处理时间；以及通知步骤，用于通知在所述处理时间获取步骤获取的该预测处理时间。

通过以下参照附图对典型实施例的说明，本发明的其它特征显而易见。

附图说明

包括在说明书中并构成说明书的一部分的附图，示出了本发明的实施例，并与说明书一起用来解释本发明的原理。

图1是示出根据本发明第一实施例的图像传感装置的示意性功能结构的框图；

图2是示出根据本发明第一实施例的被摄体检测操作的流程图；

图3是根据本发明第一实施例的图像传感装置的后视图；

图4A和4B是用于示出分辨率转换的图；

图5是示出根据本发明第一实施例的被摄体检测结果的显示例子的图；

图6是示出根据本发明第一实施例的用于确认设置的显示的图；

图7A和7B是示出用于确认与检测大小操作单元的操作有关的设置的显示转变的图；

图8A和8B是示出在被摄体检测不执行模式时的显示的图；

图9是用于示出根据本发明第二实施例的分辨率转换处理的流程图；

图10是根据本发明第二实施例的图像传感装置的后视图；

图11是示出根据本发明第三实施例的图像传感装置的示意性功能结构的框图；

图12是示出根据本发明第三实施例的被摄体检测操作的流程图；

图13是用于示出根据本发明第三实施例的连动变焦(coupledzoom)控制处理的流程图；

图14是用于示出传统切出的区域的图；以及

图15是用于示出传统金字塔图像的图。

具体实施方式

将根据附图详细说明本发明的优选实施例。然而，在实施例中所示的组成部分的尺寸、形状和相对位置在方便时可以根据各种条件和适合于本发明的装置的结构而改变，且本发明不局限于在此所述的实施例。

第一实施例

图1是示出根据第一实施例的图像传感装置的结构的图。在图1中，附图标记101表示控制单元；102表示图像传感单元；103表示被摄体检测单元；104表示被摄体检测存储器；105表示图像转换单元；106表示检测大小操作单元；107表示检测大小存储单元；108表示处理时间计算单元；109表示设置确认开关；110表示快门开关；111表示存储器；112表示显示电路；以及113表示显示单元。

控制单元101是用于控制整个图像传感装置的单元。图像传感单元102、被摄体检测单元103、被摄体检测存储器104、图像转换单元105、检测大小操作单元106、检测大小存储单元107、处理时间计算单元108、设置确认开关109、快门开关110、存储器111、以及显示电路112与控制单元101连接。控制单元101进行控制使得各单元在适当定时工作。

图像传感单元102包括图像传感镜头120、用于将已通过图像传感镜头120的被摄体光学图像转换成模拟电信号的图像传感器121、用于将转换后的模拟电信号转换成数字信号的A/D转换器122、以及图像处理电路123。图像处理电路123通过对由A/D转换器122进行的A/D转换所获得的数字信号进行白平衡校正、伽马转换等预定的处理，创建适当的图像信号。应该注意，图像传感单元102基于来自控制单元101的控制信号进行图像传感处理。

存储器111存储控制单元101的程序和用于控制的数据。而且，存储器111还存储由图像传感单元102传感到的图像。

检测大小操作单元106在被摄体检测单元103的检测处理中，对输入图像的分辨率设置作为检测对象的特定图案(被摄体)的分辨率(以下称之为“检测大小”)。检测大小存储单元107存储该检测大小。

如下所述，图像转换单元105转换由图像传感单元102传感到的图像的分辨率，使其可成为能检测存储在检测大小存储单元107中的检测大小的被摄体的分辨率。将由图像转换单元105转换了分辨率的图像存储在被摄体检测存储器104中。被摄体检测单元103对存储在被摄体检测存储器104中的分辨率转换后的图像进行用于检测被摄体的检测处理。

处理时间计算单元108基于由检测大小操作单元106所设置的检测大小，计算与由被摄体检测单元103进行的检测处理有关的近似处理时间。

设置确认开关109是用于进行切换以易理解地显示存储在检测大小存储单元107中的检测大小的开关。如果设置确认开关109为On(打开)，则以重叠方式显示该大小的框和如下所述的CG(Computer Graphics，计算机图形学)的被摄体。如果设置确认开关109为Off(关闭)，则不显示上述框及被摄体。

显示电路112控制显示单元113以进行期望的画面显示。在显示单元113上显示图像传感的信息，如由图像传感单元102传感到的图像、存储在存储器111中的图像、由被摄体检测单元103检测到的被摄体、以及存储在检测大小存储单元107中的检测大小等。

图3示出根据第一实施例的图像传感装置的后侧的例子。在图3中，附图标记131表示检测大小显示条，附图标记132表示处理时间显示条。这些条被显示在显示单元113内。

检测大小显示条131显示存储在检测大小存储单元107中的检测大小。而且，处理时间显示条132显示基于存储在检测大小存储单元107中的检测大小由处理时间计算单元108获得的近似处理时间。以下将说明该计算方法。

接着，参照图2的流程图，说明根据第一实施例的图像传感装置中的被摄体检测操作。基本上由控制单元101控制图2中所示的处理。

首先，当在步骤S11用户设置图像传感模式时，在步骤S12开始电子取景器(EVF)的功能。通过由图像传感单元102在预定时间间隔周期性地传感图像以生成运动图像，并通过显示电路112将该图像显示在显示单元113上，来实现EVF功能。

在步骤S13，判断SW1是否为On(打开)，其是响应于例如半按下快门开关110指示进行图像传感准备的状态。如果SW1为On，则处理进入步骤S14。如果SW1为Off(关闭)，则处理进入步骤S20。

在步骤S14，将SW1已变为On时或之后立即由图像传感单元102传感到的图像存储在存储器111中，并同时存储在图像转换单元105中，基于存储在检测大小存储单元107中的检测大小，转换输入图像的分辨率。将分辨率转换后的图像存储在被摄体检测存储器104中。

这里，说明在步骤S14在图像转换单元105中进行的分辨率转换处理。

应该注意，在该分辨率转换处理中，除非特别声明，否则“将分辨率设置成1/2”意味着在水平方向和垂直方向上均将分辨率设置成1/2。例如，如果将如图4A中所示的640×480像素分辨率的图像的分辨率改变成1/2，则该图像变为如图4B中所示的320×240像素分辨率的图像。

如在本发明的背景中所述，有许多用于检测图像中的被摄体的检测处理方法。然而，在每一方法中，在用于检测对象的分辨率上存在最小限制。该最小分辨率依赖于各处理方法，例如，在“Neural Network-Based Face Detection”，H.A.Rowley，S.Baluja，T.Kanade，1996，Computer Vision and PatternRecognition(CVPR′96)所述的方法中，可检测的面部的最小大小(分辨率)为20×20像素。

而且，检测处理时间依赖于经过检测的图像的分辨率。如果经过检测的图像的分辨率高，则因为切出的区域的数量增加而使处理时间增加。

因此，在步骤S14，转换输入图像的分辨率，使得存储在检测大小存储单元107中的检测大小可成为所使用的检测方法的最小分辨率。

这里，假定检测方法的最小分辨率为Q，分辨率转换率为R，存储在检测大小存储单元107中的检测大小为S。则通过以下公式给出分辨率转换率R：

R＝Q/S               ...(1)

接着，假定转换后的分辨率为A，转换前的分辨率为B，则通过以下公式给出分辨率转换后的图像的分辨率A：

A＝B×R            ...(2)

换句话说，如果输入图像的分辨率为640×480像素，检测大小为60×60像素，最小分辨率为20×20像素，

R＝20/60＝1/3                 ...(3)

A＝640×(1/3)≈214(像素)(水平方向)       ...(4)

A＝480×(1/3)＝160(像素)(垂直方向)       ...(5)

换句话说，在这种情况下，将分辨率为640×480像素的输入图像的分辨率转换成214×160像素。作为分辨率转换方法，可以使用采用线性插值或Bicubic的常规方法。考虑到图像质量和处理时间，典型使用线性插值。

更进一步，通过使用该转换后的图像，如在参照图15的本发明的背景中所述，创建金字塔图像(多个不同分辨率的图像)。例如，如果使用具有2倍大小鲁棒性的检测方法，则将如上所述被转换成214×160像素的图像的分辨率转换成107×80像素。而且，将该图像的分辨率转换成54×40像素，并转换成27×20像素。通过在步骤S16对所有这些分辨率转换后的图像进行检测处理，检测到的被摄体的大小可对应于640×480像素分辨率的输入图像中从60×60像素到640×480像素。

应该注意，在分辨率转换中，当将分辨率转换成可以检测到被摄体的最小分辨率时，可能出现检测率降低的情况。因此，可以如下设置首先进行的分辨率转换的分辨率转换率R：

R＝Q/S+α         ...(6)

α可以是适当的正数。例如，在上述例子中，当将α设置为1/15和R＝1/2.5，而不是R＝1/3时，640×480像素的输入图像的分辨率在分辨率转换后变成256×192像素。

当完成在步骤S14的上述处理时，处理进入步骤S15。在步骤S15，选择存储在被摄体检测存储器104中的金字塔图像中的一个。在仍未对其进行检测处理的图像中，选择最高分辨率的图像或最低分辨率的图像。

在步骤S16，对在步骤S15选择的图像进行检测处理。如在本发明的背景中所介绍的，已提出了许多检测处理方法，并且可以应用任何一种方法。当完成检测处理时，获得图像中的被摄体数量、以及图像中各被摄体的位置和大小，作为检测结果。应该注意，通过对在输入图像(在上述例子中，为640×480像素的图像)中获得的检测到的坐标值进行与分辨率转换处理相关的校正，获得检测到的位置作为该分辨率图像中的被摄体位置。另外，对被摄体的大小类似应用与分辨率转换相关的校正，并获得被摄体的大小作为被摄体在输入图像中占据的大小。

在步骤S17，判断是否对存储在被摄体检测存储器104中的所有分辨率的图像都已进行了检测处理。如果未完成检测处理，则处理返回到步骤S15以重复上述处理，选择下一分辨率的图像，并进行检测处理。如果已对所有分辨率的图像进行了检测处理，则处理进入步骤S18。

在步骤S18，合并对存储在被摄体检测存储器104中的所有分辨率的图像获得的检测结果。基于输入图像中的位置和大小进行该合并。换句话说，当在附近位置存在多个检测结果且这些检测结果的大小几乎相等时，将这些检测结果合并成同一被摄体。将所述多个检测结果的平均位置和平均大小作为合并后被摄体的位置和大小。然而，如果已经获得了位置相近但大小不同的多个检测结果，则对存储在检测大小存储单元107中的检测大小区分优先级，且选择最接近该检测大小的检测结果。

在步骤S19，通过显示电路112将存储在存储器111中的图像显示在显示单元113上。另外，同时基于在步骤S18合并的被摄体检测结果，在显示单元113上所显示的图像中的各被摄体的位置处显示各被摄体大小的检测框。

只要SW1为On的状态继续，则重复上述步骤S14～S19的处理。换句话说，只要在SW1为On的状态下，被摄体检测处理的处理时间决定EVF的显示率。这样，通过在被摄体检测中尽可能地减少处理时间，改善对用户的可用性。

图5示出当在SW1为On的状态下检测到被摄体时显示在显示单元113上的图像的示意图。在图5中，附图标记141和142表示被摄体，附图标记143和144表示所检测到的被摄体的检测框。

另一方面，在步骤S13，如果SW1不为On，则处理进入步骤S20。

在步骤S20，判断设置确认开关109为On还是Off。如果设置确认开关109为On，则处理进入步骤S21。在步骤S21，获得存储在检测大小存储单元107中的检测大小。如图6中所示，与检测大小显示条131和处理时间显示条132一起，将与所获得的检测大小相对应的检测大小确认框161显示在显示单元113上。应该注意，由于显示该确认框161使得用户可以容易地了解待检测被摄体的大小，因此例如，如果被摄体是面部，则可以代替确认框161显示面部的CG等。

在步骤S22，利用用户对检测大小操作单元106的操作，判断是否指示了检测大小的改变。如果没有指示改变，则处理返回到步骤S13，且重复上述处理。如果已指示改变，则处理进入步骤S23。

在步骤S23，获得存储在检测大小存储单元107中的检测大小。如果已操作检测大小操作单元106来放大该大小，则对该检测大小加上预定值。如果已操作检测大小操作单元106来缩小该大小，则从该检测大小中减去预定值。此时，进行加或减以使该检测大小落在由所采用的检测处理方法的检测性能所规定的预定范围内。换句话说，如上所述，利用分辨率小于或等于所采用的检测处理方法的最小限制(在上述例子中，为小于20×20像素)、或分辨率高于输入图像的分辨率(在上述例子中，为高于480×480像素)的检测大小进行检测是不可能的。因此，限制检测大小以落在可检测大小的预定范围内。具体地，如果当所设置的检测大小为20×20像素时指示缩小该大小，并且如果当所设置的检测大小为480×480像素时指示放大该大小，则不执行该指示。

在步骤S24，将改变后的检测大小存储在检测大小存储单元107中。

随后，在步骤S25，基于新存储在检测大小存储单元107中的检测大小，更新检测大小显示条131的显示。而且，在处理时间计算单元108中计算该检测大小的近似处理时间，并且更新处理时间显示条132的显示。换句话说，当改变了检测大小时，改变检测大小显示条131的显示，并与之一起改变处理时间显示条132的显示。因而，用户可以设置所期望的检测大小，并利用该检测大小了解处理时间的粗略指示。因此，为了设置所期望的处理时间还可以改变检测大小。应该注意，如果设置确认开关为On，则在步骤S25根据改变后的检测大小，更新并显示检测大小确认框161的大小。

接着，以下说明近似处理时间的计算方法。

如在本发明的背景中所述，通常通过从图像中切出特定大小的区域、比较并研究该区域图案的特征与被摄体图案的特征，进行检测处理。如果每一切出的区域的检测处理时间为常数，则总检测处理时间与切出的区域的数量成比例。换句话说，总的检测处理时间与在步骤S14转换的图像的分辨率成比例。然而，在检测处理方法中，存在如下方法：首先检查各切出区域的频率，如果所切出的区域的频率低，则判断出该区域不包括所期望的被摄体。此外，作为类似的方法，存在如果该区域与所期望的被摄体相似则需要更多处理时间的级联连接弱辨别器(cascade-connectingweak discriminators)的方法等。在这些方法中，不能说对于所有所切出的区域而言，每一区域的检测处理时间都为常数。然而，当通过使用大量即好几万的图像获得每一区域的处理时间的平均值时，该平均值变为甚至已考虑到这些图像中的低频率区域或与被摄体相似的区域的存在分布的值。从这样通过使用大量数据获得的值所预测的处理时间示出足以用作处理时间的粗略指示的精度。这样，可以根据从大量数据获得的每一区域的处理时间的平均值和可以从转换后的图像中切出的区域数量来预测粗略的处理时间。

而且，如在本发明的背景中所述，切出位置的位移量根据所采用的检测方法的位置鲁棒性而改变。

根据上述说明，假定所使用的检测方法的最小分辨率为Q，分辨率转换后的图像的分辨率为Bs，每一区域的处理时间的平均值为C，切出位置的位移量为D，分辨率转换后的每一图像的粗略处理时间为Ts，则通过以下公式给出粗略的处理时间Ts：

Ts＝C×(Bs/D-Q+1)         ...(7)

例如，当最小分辨率Q＝20×20像素，转换后的图像的分辨率Bs＝256×192像素，每一区域的处理时间的平均值C＝1μsec，位移量D为2时，如下给出粗略的处理时间Ts：

Ts＝1μsec×{(256/2-20+1)×(192/2-20+1)}≈84msec

                                          ...(8)

由于如上所示的粗略处理时间Ts是对多个不同分辨率的图像中的一个分辨率的图像的处理时间，因此可以通过将各分辨率的图像的处理时间相加，来估计对所有分辨率的图像的粗略处理时间。换句话说，通过以下表达式(9)给出对多个分辨率的所有图像的检测处理所需的粗略处理时间T：

T＝∑Ts                   ...(9)

应该注意，检测方法的最小分辨率Q、每一区域的处理时间的平均值C、以及切出位置的位移量D依赖于检测方法，并且是已知的。因此，通过提供利用检测大小、输入图像、以及用于创建金字塔图像的分辨率转换率作为输入值和检测处理时间作为输出值获得分辨率转换后的图像的分辨率Bs的表，可以获得能从该表中搜索的粗略处理时间T。这使得不需要处理时间计算单元108每次计算上述计算。

图7A和7B示出当进行检测大小操作单元106的操作时显示单元113上的显示的改变。应该注意，将设置确认开关109设置成On，并将当前所设置的检测大小显示为图7A中的确认框161。与图7A形成对比，图7B示出操作检测大小操作单元106以减小检测大小的结果。在图7B中，已将检测大小显示条131上的表示当前检测大小的标签标记(tab mark)向小值(Small)方移动，已将处理时间显示条132上的表示当前处理时间的标签标记向增加处理时间(Slow)方移动。图7B还示出确认框161的大小已变小。这样，通过使检测大小显示条131和处理时间显示条132相互一起工作，可以容易地理解当检测大小改变时，处理时间也改变。

根据如上所述的第一实施例，通过由用户操作检测大小操作单元106以指定检测大小，可以在检测待检测大小的被摄体时实现减少处理时间。而且，通过以两维方式显示检测大小，用户可以容易地理解检测大小，从而将检测大小设置成所期望的大小。而且，可以在能检测到被摄体的范围内设置检测大小。而且，由于检测大小和处理时间相互一起改变，因而用户可以容易地理解检测大小与处理时间之间的关系。

尽管已说明了在图2中的步骤S14的分辨率转换处理中创建金字塔图像，但是应该注意，可以将图像转换成仅一个分辨率，而不是多个不同分辨率的图像。换句话说，可基于存储在检测大小存储单元107中的检测大小对图像进行转换，之后，可不创建不同分辨率的图像。

如上所述，当通过使用仅一个分辨率的图像进行检测处理时，不可能检测与存储在检测大小存储单元107中的检测大小不同的、超过所采用的检测处理方法的大小鲁棒性的大小的被摄体。然而，在减少了检测处理时间的同时，还可以降低错误检测。

而且，尽管在图2中的步骤S23限制检测大小以落在可检测的预定范围内，但是可能不进行该限制。在这种情况下，当改变后的检测大小在预定范围外时可能不进行被摄体检测处理，且可能显示该效果。图8A和8B示出此时的显示例子。图8A示出当表示检测大小显示条131上所显示的检测大小的标签标记在最小位置时的时间。如果操作检测大小操作单元106大于或等于预定时间以进一步减小检测大小，则处理转换为不进行被摄体检测处理的被摄体检测不执行模式。当其处于被摄体检测不执行模式时，如图8B中所示，在显示单元113上不显示检测大小显示条131和处理时间显示条132，并且进行用于表示被摄体检测不执行模式的显示181。

第二实施例

接着将说明本发明的第二实施例。

在该第二实施例中，利用固定分辨率进行在第一实施例中由图像转换单元105进行的分辨率转换。换句话说，在该第二实施例中，主要是图2所示的流程图的步骤S14的处理不同于第一实施例的处理。由于图像传感装置的其它处理和结构与在第一实施例中所述的类似，因而在此省略对其的说明。

以下，将参照图9所示的流程图来说明在第二实施例中的步骤S14进行的分辨率转换处理。

在第二实施例中，在步骤S14，进行创建金字塔图像、计算所需的检测分辨率、以及存储图像选择的三个处理。

首先，在步骤S31，基于所采用的检测方法的大小鲁棒性设置分辨率转换率。利用该转换率对输入图像的分辨率顺序进行转换，并创建金字塔图像。

这里，假定分辨率转换率为Rf，转换后的分辨率为A，且转换前的分辨率为B，则通过以下公式给出分辨率A：

A＝B×Rf         ...(10)

重复该分辨率转换直到检测方法的最小分辨率为止以创建金字塔图像。

例如，如果输入图像的分辨率为640×480像素，检测方法的大小鲁棒性为2倍，最小分辨率为20×20像素，则分辨率A如下：

Rf＝1/2             ...(11)

A＝640×(1/2)＝320(像素)(水平方向)       ...(12)

A＝480×(1/2)＝240(像素)(垂直方向)       ...(13)

然后依次创建160×120像素、80×60像素、以及40×30像素的图像。

接着，在步骤S32，获得用于检测存储在检测大小存储单元107中的检测大小的被摄体所需的分辨率，即所需的检测分辨率。为了获得该分辨率，使用与在第一实施例中所示的方法相同的方法。

例如，假定分辨率转换率为R，所需的检测分辨率为An，输入图像的分辨率为640×480像素，检测大小为60×60像素，最小分辨率为20×20像素，则所需的检测分辨率An为：

R＝20/60＝1/3            ...(14)

An＝640×(1/3)≈214(像素)(水平方向)        ...(15)

An＝480×(1/3)＝160(像素)(垂直方向)        ...(16)

换句话说，在这种情况下，214×160像素是所需的检测分辨率。

接着，在步骤S33，选择用于检测的图像，并将其存储在被摄体检测存储器104中。这里，在步骤S31所创建的金字塔图像中，选择最低分辨率高于在步骤S32获得的所需的检测分辨率的图像。例如，在上述例子中，选择320×240像素。

将分辨率低于所选择的图像的所有图像存储在被摄体检测存储器104中。例如，在上述例子中，存储320×240像素、160×120像素、80×60像素、以及40×30像素的图像。

图10示出根据第二实施例的图像传感装置的后侧。在第二实施例中，当改变检测大小时，用于检测的图像分辨率离散地改变。因此，处理时间也离散地改变。因此，如图10所示，显示在显示单元113上的处理时间显示条232不同于第一实施例的处理时间显示条，并且进行离散显示。

如上所述，根据第二实施例，通过利用固定转换率进行分辨率转换处理，具有如下优点：在使用电路创建转换后的图像的情况下，可以容易地设计该电路。

第三实施例

接着说明本发明的第三实施例。

在第三实施例中，如果进行变焦控制，则与其变焦量成比例地自动改变检测大小。

图11是示出根据第三实施例的图像传感装置的结构的框图。在图11中，用相同的附图标记指代与图1相同的结构，并省略对其的说明。与图1所示的结构相比较，添加了变焦操作单元314。通过操作该变焦操作单元314，控制图像传感单元102中的图像传感镜头120以改变变焦倍率(zoom magnification)。

接着，参照图12的流程图，说明包括变焦操作单元314上的操作的被摄体检测操作。基本上通过控制单元301控制图12中所示的处理。应该注意，在图12所示的处理中，用相同的附图标记指代与相对图2所述的处理相同的处理，并省略对其的说明。

在步骤S41，判断用户是否已操作了变焦操作单元314。如果判断出用户未操作变焦操作单元314，则处理进入步骤S22，然后，进行如图2中所述的处理。另一方面，如果判断出用户已操作了变焦操作单元314，则处理进入步骤S42，并进行连动变焦控制。

图13是示出在步骤S42进行的连动变焦控制处理的流程图。

在步骤S51，根据用户对变焦操作单元314的操作设置变焦量，并且控制图像传感单元102的图像传感镜头120内的变焦镜头。

接着，在步骤S52，判断是否已设置了连动变焦模式。这里，连动变焦模式是指使变焦控制与检测大小连动的模式。这里，利用未示出的设置按钮设置连动变焦模式，或者当在之前即进行了被摄体检测时设置连动变焦模式。状态“之前即进行了被摄体检测”是指如下状态：在当操作变焦操作单元314时的预定时间内，已将SW1设置成On，并且已利用步骤S14到S19的处理检测到被摄体。当用户在已检测到被摄体后立即进行变焦控制时，认为用户想要改变图像中的被摄体的大小。因而，在第三实施例中，如果“之前即进行了被摄体检测”，则设置连动变焦模式。

如果未设置连动变焦模式，则由于不需要进行比控制变焦镜头更多的处理，因而处理返回到图12的流程图。

另一方面，如果已设置了连动变焦模式，则处理进入步骤S53。在步骤S53，从存储在检测大小存储单元107中的检测大小和变焦变量获得新的检测大小。假定变焦控制前存储在检测大小存储单元107中的检测大小为So，变焦变量为Zv，新的检测大小为Sn，则通过以下公式(17)给出新的检测大小Sn：

Sn＝So×Zv              ...(17)

例如，当已被存储在检测大小存储单元107中的检测大小为48×48像素，且变焦变化率为2.0倍时，新的检测大小为96×96像素。接着，在步骤S54，将改变后的检测大小再次存储在检测大小存储单元107中。

在步骤S55，与第一实施例类似，根据存储在检测大小存储单元107中的检测大小改变在检测大小显示条131上的显示。而且，通过计算或使用表来预测在该检测大小的处理时间，并改变在处理时间显示条132上的显示。

这样，在第三实施例中，如果已设置了连动变焦模式，例如，如果用户已指定了或者如果在变焦控制前即进行了被摄体检测，则与变焦控制量成比例地自动改变检测大小。根据该控制，具有如下优点：在完成变焦控制后，不需要改变检测大小。

尽管在上述第三实施例中已说明了变焦是光学变焦的情况，但是应该注意，显而易见，即使对于电子变焦的情况和同时使用光学变焦和电子变焦的情况，本发明也是适用的。

而且，尽管在上述第一到第三实施例中说明了将本发明应用于图像传感装置的情况，但是还可以将本发明应用于用于从外部输入图像并检测该输入图像中的被摄体的装置。

其它实施例

本发明可以这样来实现：将实现上述实施例的功能的软件程序直接或间接地提供给系统或装置，利用该系统或装置的计算机读取所提供的程序代码，然后执行该程序代码。在这种情况下，只要系统或装置具有程序的功能，实现的方式不必依赖于程序。

因此，由于通过计算机实现本发明的功能，因而安装在计算机中的程序代码也实现本发明。换句话说，本发明的权利要求也覆盖为了实现本发明的功能的计算机程序。

在这种情况下，只要该系统或装置具有该程序的功能，可以以任何形式例如目标代码、由解释程序执行的程序、或向操作系统提供的脚本数据来执行该程序。

可用于提供该程序的存储介质的例子有软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、CD-RW、磁带、非易失型存储卡、ROM、以及DVD(DVD-ROM和DVD-R)。

关于提供程序的方法，客户计算机可以使用客户计算机的浏览器连接到因特网上的网站，本发明的计算机程序或该程序的可自动安装的压缩文件可被下载到硬盘等记录介质上。此外，本发明的程序可通过将构成该程序的程序代码分为多个文件，并从不同网站下载该文件来提供。换句话说，本发明的权利要求也覆盖将通过计算机实现本发明的功能的程序文件下载到多个用户的WWW(World Wide Web，万维网)服务器。

还可以在CD-ROM等的存储介质上加密并存储本发明的程序，将该存储介质分发给用户，允许满足一定要求的用户通过因特网从网站下载解密密钥信息，并允许这些用户使用该密钥信息对加密程序进行解密，从而将该程序安装在用户计算机中。

除了通过由计算机执行所读取的程序来实现根据实施例的上述功能的情况之外，运行在计算机上的操作系统等可执行全部或部分实际处理，从而可通过该处理来实现上述实施例的功能。

而且，在将从存储介质中读取的程序写入插入计算机中的功能扩展板、或与计算机连接的功能扩展单元所配备的存储器中之后，安装在功能扩展板或功能扩展单元上的CPU等执行全部或部分实际处理，从而可通过该处理来实现上述实施例的功能。

尽管参考典型实施例说明了本发明，但应当理解，本发明不局限于所公开的典型实施例。以下权利要求书的范围符合最宽的解释，以包含所有这类修改和等同结构和功能。

Claims (20)

1.一种图像处理装置，其具有图像输入单元和检测单元，该检测单元进行用于检测从所述图像输入单元输入的图像中的预定目标对象的处理，该图像处理装置包括:

大小改变单元，其设置由所述检测单元从输入图像检测的该目标对象的大小；

显示单元，其显示表示由所述大小改变单元设置的该目标对象的大小的信息；

分辨率转换单元，其基于由所述大小改变单元设置的该目标对象的大小，对所述输入图像的分辨率进行转换，

其中，所述检测单元进行用于检测已由所述分辨率转换单元转换了分辨率的所述图像中的该目标对象的所述处理；以及

处理时间获取单元，其基于由所述大小改变单元设置的该目标对象的大小和已由所述分辨率转换单元转换了的图像分辨率，获取由所述检测单元检测该目标对象所需的预测处理时间；

其中，在所述显示单元上显示由所述处理时间获取单元获取的该预测处理时间。

2.根据权利要求1所述的图像处理装置，其特征在于，所述分辨率转换单元将所述输入图像转换成多个不同分辨率的图像。

3.根据权利要求1所述的图像处理装置，其特征在于，所述分辨率转换单元进一步基于由所述检测单元所采用的检测方法的大小鲁棒性限制转换的分辨率。

4.根据权利要求1所述的图像处理装置，其特征在于，每次由所述大小改变单元改变该目标对象的大小时，更新该目标对象的大小和该预测处理时间的显示。

5.根据权利要求1所述的图像处理装置，其特征在于，如果所述检测单元在该图像中的邻近区域中检测到不同大小的多个目标对象，则选择大小与由所述大小改变单元设置的该目标对象的大小最近的目标对象。

6.根据权利要求1所述的图像处理装置，其特征在于，还包括控制单元，当所述大小改变单元改变该目标对象的大小时，该控制单元控制该目标对象的改变后的大小使其落在由所述检测单元可进行检测处理的大小的范围内。

7.根据权利要求1所述的图像处理装置，其特征在于，如果由所述大小改变单元设置的该目标对象的大小在由所述检测单元可进行检测处理的大小的范围之外，则进行控制使得不进行所述检测单元的检测处理。

8.根据权利要求1所述的图像处理装置，其特征在于，还包括用于改变变焦量的变焦操作单元，

其中，如果已改变了所述变焦量，则所述大小改变单元与所述变焦量成比例地改变该目标对象的大小。

9.一种图像处理装置，其具有图像输入单元和检测单元，该检测单元进行用于检测从所述图像输入单元输入的图像中的预定目标对象的处理，该图像处理装置包括:

大小改变单元，其设置由所述检测单元检测的该目标对象的大小；

处理时间获取单元，其基于由所述大小改变单元设置的该目标对象的大小，获取由所述检测单元检测该目标对象所需的预测处理时间；以及

通知单元，其通知由所述处理时间获取单元获取的该预测处理时间。

10.根据权利要求9所述的图像处理装置，其特征在于，所述通知单元是显示单元，并且所述显示单元显示由所述大小改变单元设置的该目标对象的大小和由所述处理时间获取单元获取的该预测处理时间。

11.一种图像处理方法，其包括:

图像输入步骤，用于输入图像；

大小改变步骤，用于设置在所述图像输入步骤输入的输入图像中要检测的预定目标对象的大小；

显示步骤，用于在显示单元上显示表示在所述大小改变步骤设置的该目标对象的大小的信息；

分辨率转换步骤，用于基于在所述大小改变步骤设置的该目标对象的大小，对所述输入图像的分辨率进行转换；

检测步骤，用于进行用于检测在已在所述分辨率转换步骤转换了分辨率的所述输入图像中的该目标对象的处理；以及

处理时间获取步骤，用于基于在所述大小改变步骤设置的该目标对象的大小和在所述分辨率转换步骤已转换了的图像分辨率，获取在所述检测步骤检测该目标对象所需的预测处理时间；

其中，在所述显示步骤中，在所述显示单元上显示在所述处理时间获取步骤获取的该预测处理时间。

12.根据权利要求11所述的图像处理方法，其特征在于，所述分辨率转换步骤将所述输入图像转换成多个不同分辨率的图像。

13.根据权利要求11所述的图像处理方法，其特征在于，所述分辨率转换步骤进一步基于在所述检测步骤所采用的检测方法的大小鲁棒性限制转换的分辨率。

14.根据权利要求11所述的图像处理方法，其特征在于，还包括:

更新步骤，每次在所述大小改变步骤改变该目标对象的大小时，该更新步骤更新该目标对象的大小和该预测处理时间的显示。

15.根据权利要求11所述的图像处理方法，其特征在于，还包括以下步骤:如果在所述检测步骤在该图像中的邻近区域中检测到不同大小的多个目标对象，则选择大小与在所述大小改变步骤设置的该目标对象的大小最近的目标对象。

16.根据权利要求11所述的图像处理方法，其特征在于，当在所述大小改变步骤改变该目标对象的大小时，控制该目标对象的改变后的大小使其落入在所述检测步骤可进行检测处理的大小的范围内。

17.根据权利要求11所述的图像处理方法，其特征在于，如果在所述大小改变步骤设置的该目标对象的大小在所述检测步骤可进行检测处理的大小的范围之外，则进行控制使得不进行在所述检测步骤的检测处理。

18.根据权利要求11所述的图像处理方法，其特征在于，还包括:

改变变焦量的步骤；以及

如果已改变了所述变焦量，则与所述变焦量成比例地改变预定大小的步骤。

19.一种图像处理方法，其包括:

图像输入步骤；

检测步骤，进行用于检测在所述图像输入步骤输入的图像中的预定目标对象的处理；

大小改变步骤，用于设置在所述检测步骤检测的该目标对象的大小；

处理时间获取步骤，用于基于在所述大小改变步骤设置的该目标对象的大小，获取在所述检测步骤检测该目标对象所需的预测处理时间；以及

通知步骤，用于通知在所述处理时间获取步骤获取的该预测处理时间。

20.根据权利要求19所述的图像处理方法，其特征在于，在所述通知步骤显示在所述大小改变步骤设置的该目标对象的大小和在所述处理时间获取步骤获取的该预测处理时间。

Images