CN1909603A

CN1909603A - 图像处理方法和摄像设备

Info

Publication number: CN1909603A
Application number: CNA2006101095339A
Authority: CN
Inventors: 小笠原努; 池田荣一郎
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2005-08-05
Filing date: 2006-08-04
Publication date: 2007-02-07
Anticipated expiration: 2026-08-04
Also published as: US7817202B2; US7602417B2; US7738024B2; CN1909603B; US20070030375A1; US20090315997A1; JP2007068147A; US20090322885A1; JP4350725B2

Abstract

本发明提供一种图像处理方法和摄像设备，用于从运动图像检测特定被摄体的位置并将表示检测到的位置的检测结果的显示与该运动图像合并。该图像处理方法包括判断步骤，用于当在与该运动图像合并的检测结果的显示期间不能检测到该被摄体时，根据检测结果的显示时间判断是否应该继续显示该检测结果。

Description

图像处理方法和摄像设备

技术领域

本发明涉及一种用于从图像数据重复检测满足预定条件的对象并显示对该对象的检测结果的图像处理技术。

背景技术

摄像设备可从图像数据重复检测满足预定条件的对象，以例如改善下文中所讨论的下列状况。

例如，照相机可具有用于对将被拍摄的目标被摄体自动调焦的自动聚焦功能。通常，照相机选择一个或者多个聚焦检测区域，并调节其摄像光学系统的镜头位置以对所选择的聚焦检测区域中的被摄体聚焦。然后，照相机通过放大应用于位于该聚焦检测区域中的主被摄体的亮度值的加权因子来进行曝光补偿处理。

然而，该聚焦检测区域可占用屏幕上相对有限的面积。当主被摄体在该聚焦检测区域之外时，难以对该主被摄体聚焦。此外，即使主被摄体在该聚焦检测区域内，调焦动作也可能被错误地应用到不同于目标(即，主被摄体)的另一对象上。例如，当不同的聚焦检测区域中的被摄体比主被摄体更靠近照相机时，照相机可能将另一聚焦检测区域中的不同被摄体认作主被摄体并可能错误地对该被摄体应用调焦动作。

为了避免这个问题，可以在用户每次拍摄该目标时，请求用户指示存在主被摄体的聚焦检测区域，尽管这对用户来说不方便。鉴于上述观点，日本特开2003-107335号公报公开了一种照相机，该照相机可自动进行以下处理：使用形状分析从所获得的图像数据检测主被摄体、显示对应于检测到的主被摄体的聚焦检测区域、以及进行应用于该聚焦检测区域的调焦动作。

根据上述照相机，图像数据被全部搜索以检测主被摄体，因此无论该主被摄体在物场中的什么地方都可将调焦动作应用到该主被摄体。此外，为了时刻跟踪该主被摄体，必需周期性地进行基于该形状分析的主被摄体的检测动作。

然而，能够自动检测主被摄体的设备可能错误地选择用户不想拍摄的被摄体。因此，必需让用户确认由该照相机检测到的主被摄体。

此外，液晶监视器或者其它显示单元可连续显示图像数据以让用户观察被摄体的移动。在此情况下，希望根据检测到的主被摄体的移动更新主被摄体的检测结果。为此，应该周期性地进行更新主被摄体的检测结果的处理。并且，应该连续显示存在该主被摄体的最新的区域。

更具体来说，当检测到主被摄体时，可将表示检测到的被摄体的位置的框叠加到由照相机捕获的图像上。在此情况下，作为用于检测主被摄体的实际方法，可以基于双眼、鼻子、和嘴在面部上的空间关系检测作为被摄体的人的正脸或者侧脸(参见日本特开2002-251380号公报)。

然而，根据上述检测方法，如果作为被摄体的人眨眼并闭上眼镜或者突然转过脸去看别处，则在所捕获的图像上一只眼镜将不被识别，因此照相机将不能检测到主被摄体。结果，如图14所示，尽管该主被摄体仍在同一位置上，但表示检测到的区域的框将暂时从监视屏消失。

例如，对于等待完成拍摄的孩子来说，将姿势摆一段时间是很难的。因此，如果使用上述方法检测孩子，则照相机可能在检测主被摄体中暂时失败。这种问题将导致在短的时间段内重复显示和擦除表示主被摄体位置的框这种不希望的现象。在此情况下，在显示单元上显示的图像将是不稳定的并且用户将不能确切观察到被摄体的移动。

当从运动图像或者从连续变化的图像数据重复检测主被摄体并在显示单元上显示检测结果时，同样出现类似的问题。

还应当指出，上述问题不限于照相机或者其它图像捕获装置。例如，在可从传送来的运动图像数据检测目标对象并显示检测结果的应用软件中也会出现类似的问题。

因此，希望提供一种具有从图像数据重复检测满足预定条件的对象的功能，并且即使当暂时不能检测到目标对象时也能稳定显示检测结果的设备。

发明内容

本发明涉及一种具有从图像数据重复检测满足预定条件的对象的功能的设备，并且即使当暂时不能检测到目标对象时也可以稳定显示检测结果。

根据本发明的一个方面，提供一种图像处理方法，该图像处理方法包括：重复更新图像数据；基于该图像数据显示图像；从该图像数据检测满足预定条件的对象；将表示检测到该对象的区域的检测结果的显示与该图像的显示合并；以及当在该检测结果的显示期间不能检测到该对象时，判断是否应该继续该检测结果的显示。

根据本发明的另一方面，该图像处理方法还可包括：当继续显示该检测结果时测量时间；以及基于测量结果判断是否应该继续显示该检测结果。根据本发明的另一方面，当该测量结果到达预定时间时，取消该检测结果的显示。

根据本发明的另一方面，当在该检测结果的显示期间可检测到该对象时，复位该测量结果。此外，根据本发明的另一方面，该预定时间可根据检测到的对象在图像中的位置而改变。此外，根据本发明的另一方面，检测到的对象的位置离该图像的边缘越近，该预定时间被设置得越短。

根据本发明的另一方面，该预定时间可根据检测到的对象的大小而改变。根据本发明的另一方面，所检测到的对象的大小越大，该预定时间被设置得越短。此外，在本发明的另一方面，该摄像方法还可包括：基于所检测到的对象的移动方向判断是否应该继续显示该检测结果。

根据本发明的另一方面，该图像处理方法还可包括：基于所检测到的对象的移动方向和所检测到的对象在该图像中的位置判断是否应该继续显示该检测结果。此外，根据本发明的另一方面，该图像处理方法还可包括：响应该图像数据的更新，检测该图像数据的变化量；以及基于对变化量的检测结果判断是否应该继续显示该检测结果。

另外，根据本发明的另一方面，该图像处理方法还可包括：响应该图像数据的更新，检测该图像数据的变化量；以及根据该变化量复位该检测结果。

此外，根据本发明的另一方面，提供一种摄像设备，该摄像设备包括：摄像元件，用于基于从被摄体反射的光产生图像数据；检测电路，用于从该摄像元件获得的该图像数据检测满足预定条件的对象；显示单元，用于重复获得该图像数据并基于所获得的图像数据显示图像，以及用于将该图像与表示该检测电路检测到的对象存在的区域的检测结果合并；以及信号处理电路，用于当在该显示单元显示该检测结果期间该检测电路不能检测到该对象时判断是否应该在该显示单元上继续显示该检测结果。

此外，根据本发明的另一方面，该显示单元合并运动图像和该检测结果。根据本发明的另一方面，该摄像设备还可包括聚焦控制电路，该聚焦控制电路进行应用于该检测电路检测到的对象的自动聚焦处理。此外，根据本发明的另一方面，该摄像设备还可包括曝光控制电路，该曝光控制电路进行应用于该检测电路检测到的对象的曝光控制。

此外，根据本发明的另一方面，该摄像设备还可包括计时器，当继续显示该检测结果时该计时器测量时间，其中该信号处理电路基于该计时器的测量结果判断是否应该继续显示该检测结果。此外，根据本发明的另一方面，当该测量结果到达预定时间时，该信号处理电路取消该检测结果的显示。此外，根据本发明的另一方面，当该显示单元显示该检测结果时，响应于该检测电路检测到该对象，该信号处理电路复位该计时器的测量结果。

通过下面参照附图对典型实施例的详细说明，本发明的其它特征和方面将是显而易见的。

附图说明

包括在说明书中并构成说明书的一部分的附图，示出了本发明的各种实施例、特征和方面，并与说明书一起用来解释本发明的原理。

图1是示出根据本发明第一典型实施例的典型摄像设备的示意性配置的框图。

图2是示出根据本发明第一实施例的典型主处理例程的流程图。

图3是示出根据本发明第一实施例的典型框显示处理例程的流程图。

图4是示出根据本发明第一实施例的典型AE和AF处理例程的流程图。

图5是示出根据本发明第一实施例的典型摄像处理例程的流程图。

图6A是示出根据本发明第一实施例的计时器测量时间和面部检测框的显示/擦除之间的典型关系的图。

图6B是示出根据本发明第二典型实施例的计时器测量时间和面部检测框的显示/擦除之间的典型关系的图。

图6C是示出根据本发明第二实施例的计时器测量时间和面部检测框的显示/擦除之间的另一典型关系的图。

图7A是示出根据本发明一个方面的面部检测框的典型显示图案的图。

图7B是示出根据本发明一个方面的面部检测框和分割区域之间典型关系的图。

图8A是示出根据本发明第二实施例与面部检测处理中使用的直通显示图像数据相比被检测的面部区域的位置和大小之间典型关系的图。

图8B是示出根据本发明第二实施例被检测的面部区域的位置和计时器修正系数之间典型关系的图。

图8C是示出根据本发明第二实施例被检测的面部区域的大小和计时器修正系数之间典型关系的图。

图9是示出根据本发明第三典型实施例的典型框显示处理例程的流程图。

图10是示出根据本发明第四典型实施例的典型框显示处理例程的流程图。

图11是示出根据本发明第四实施例的典型场景检测处理例程的流程图。

图12A至12F是各示出根据本发明第五典型实施例的面部检测框的典型显示图案的图。

图13是示出根据本发明第五实施例的变形例的面部检测框的典型显示图案的图。

图14是示出传统面部检测框的显示图案的图。

具体实施方式

以下对本发明的各种典型实施例、特征及各方面的说明实质上只是说明性的，并且决不意图限制本发明及其应用或使用。

第一典型实施例

图1是示出根据本发明典型实施例的摄像设备1000的框图。在该典型实施例中，摄像设备1000是电子静态照相机。

摄像设备1000包括摄像镜头组1001、包括光圈设备和快门设备的光量调节器1002、可以将通过摄像镜头组1001的光束(lightflux，即被摄体图像)转换为电信号的摄像元件1003(例如，CCD或CMOS)、以及可以对从摄像元件1003产生的模拟信号施加钳位处理和增益处理的模拟信号处理电路1004。

此外，摄像设备1000包括可以将模拟信号处理电路1004的输出转换为数字信号的模拟/数字(以下称为A/D)转换器1005、以及可以对从A/D转换器1005产生的数据或者对从存储器控制电路1006产生的数据施加像素内插值处理和颜色转换处理的数字信号处理电路1007。数字信号处理电路1007还可以基于所捕获的图像数据进行计算。

此外，摄像设备1000包括系统控制电路1012，其可以基于由数字信号处理电路1007获得的计算结果控制对曝光控制电路1013和聚焦控制电路1014施加的直通透镜(through-the-len，TTL)型自动聚焦(AF)处理、自动曝光(AE)处理、以及预闪光(EF)处理。

此外，数字信号处理电路1007对所捕获的图像数据施加预定计算处理并基于所获得的计算结果执行TTL型自动白平衡(AWB)处理。

此外，数字信号处理电路1007包括面部检测电路1016，其可基于对眼睛、嘴等的边缘的检测从所捕获的图像数据检测面部特征。面部检测电路1016可执行用于检测与人脸相对应的区域的面部检测处理。此外，数字信号处理电路1007包括计时器1015，其可以测量后面说明的各个面部检测框中每一个的显示时间。

存储器控制电路1006可以控制模拟信号处理电路1004、A/D转换器1005、数字信号处理电路1007、存储器1008、以及数字/模拟(以下称为D/A)转换器1009。可通过数字信号处理电路1007和存储器控制电路1006将从A/D转换器1005产生的数字数据写入存储器1008。作为选择，可以通过存储器控制电路1006将从A/D转换器1005产生的数字数据写入存储器1008。

存储器1008可存储将被显示在显示单元1010上的数据。可通过D/A转换器1009将记录在存储器1008中的数据输出到可基于接收到的数据显示图像的例如液晶监视器的显示单元1010。

此外，存储器1008可利用足够用于预定数量的静态图像和预定时间的运动图像的存储容量来存储所捕获的静态图像和运动图像。换句话说，用户可以拍摄连续的静态图像或者可以拍摄全景图像，因为存储器1008能够以较高的速度写入大尺寸图像数据。此外，存储器1008可被用作系统控制电路1012的工作区。

显示单元1010可用作依次显示所捕获的图像数据的电子取景器。显示单元1010可响应于从系统控制电路1012给出的指令任意地打开或者关闭显示。当显示单元1010处于关闭状态时，摄像设备1000可减少功耗。此外，显示单元1010可根据能执行程序的系统控制电路1012的操作利用图像和文字显示工作状态和消息。

接口1011可控制摄像设备1000和存储介质(例如，存储卡或者硬盘)之间的通信。摄像设备1000可通过接口1011将图像数据和管理信息传送到外围装置(例如其它计算机或打印机)或者从外围装置接收图像数据和管理信息。

还应当指出，接口1011可被配置成能够根据可插入接口1011的卡槽中的PCMCIA卡或者Compact Flash(注册商标)卡、各种类型通信卡的协议工作。例如，可从LAN卡、调制解调器卡、USB卡、IEEE1394卡、P1284卡、SCSI卡、以及PHS卡中选择通信卡。

系统控制电路1012可控制摄像设备1000的操作。系统控制电路1012包括可存储在系统控制电路1012的操作中使用的众多常数、变量以及程序的存储器。

曝光控制电路1013可控制安装在光量调节器1002中的光圈设备和快门设备。聚焦控制电路1014可控制摄像镜头组1001的聚焦动作和缩放动作。可根据TTL型控制曝光控制电路1013和聚焦控制电路1014。系统控制电路1012根据数字信号处理电路1007基于所捕获的图像数据获得的计算结果来控制曝光控制电路1013和聚焦控制电路1014。

图2至图5是示出根据本典型实施例的电子照相机的典型操作的流程图。用于执行该处理的程序被存储在系统控制电路1012的存储器中并且可在系统控制电路1012的控制下被执行。

图2是示出根据该典型实施例的摄像设备1000的典型主处理例程的流程图。例如，可响应于更换电池后立即打开电源的操作开始图2所示的处理。

首先，在步骤S101，系统控制电路1012初始化存储在其存储器中的各种标志和控制变量。在步骤S102，系统控制电路1012将显示单元1010的图像显示转为作为初始设置的关闭状态。接下来，在步骤S103，系统控制电路1012检测对摄像设备1000设置的操作模式的状态。

如果操作模式是电源断开，则处理流程进入步骤S105。在步骤S105，系统控制电路1012将显示单元1010的显示改变为不启用状态并存储标志和控制变量以及其它必要的参数、设置值和设置模式。然后，系统控制电路1012执行用于断开显示单元1010和摄像设备1000中其它部件的电源的预定终止处理。

当在步骤S103中设置了除拍摄模式以外的任何其它模式时，系统控制电路1012进入步骤S104。在步骤S104，系统控制电路1012执行与所选择的模式相对应的必要的处理，然后返回到步骤S103。

当在步骤S103中设置了拍摄模式时，该处理流程进入步骤S106。在步骤S106，系统控制电路1012判断电源的剩余量或工作状态是否处于可引起摄像设备1000发生故障的警告水平。

当系统控制电路1012判定电源处于警告水平时(步骤S106中的“否”)，该处理流程进入步骤S108，在步骤S108，系统控制电路1012使显示单元1010利用图像和声音进行预定的警告显示。然后，该处理流程返回步骤S103。

当在步骤S106中系统控制电路1012判定电源不处于警告水平时(步骤S106中的“是”)，该处理流程进入步骤S107。在步骤S107，系统控制电路1012判断存储介质的工作状态是否处于警告水平，按照该警告水平，摄像设备1000特别是在图像数据的记录和回放中可能失败。

当系统控制电路1012判定存储介质处于警告水平时(步骤S107中的“否”)，该处理流程进入上述步骤S108以使显示单元1010利用图像和声音进行预定的警告显示。然后，该处理流程返回步骤S103。

当系统控制电路1012在步骤S107的判断中判定存储介质不处于警告水平时(步骤S107中的“是”)，该处理流程进入步骤S109。在步骤S109，系统控制电路1012使显示单元1010利用图像和声音显示摄像设备1000的各种设置的状态。

接下来，在步骤S110，系统控制电路1012将显示单元1010的图像显示转为打开状态，并使光量调节器1002打开快门设备。此外，在步骤S111，系统控制电路1012使显示单元1010开始直通显示，按照该直通显示，所捕获的图像数据可以象运动图像一样被依次显示。

在直通显示状态下，所捕获的图像数据被依次写入存储器1008并且所写入的数据被依次显示在显示单元1010上，以实现电子取景器功能。在该典型实施例中，显示单元1010可以1/30秒的间隔更新图像显示。该直通显示重复执行，直到达到步骤S119为止。

在步骤S112，系统控制电路1012使数字信号处理电路1007开始用于从图像数据检测面部区域的面部检测处理。作为用于实际检测面部区域的技术，各种传统方法是可以利用的。

例如，神经网络是用于基于学习技术检测面部区域的代表性方法。此外，模板匹配可被用于从图像区域提取代表眼睛、鼻子或者任何其它身体形状的特征。

此外，根据其它传统方法，可以从图像检测特征量，例如皮肤颜色或者眼睛形状，并使用统计方法对其进行分析(例如，参见日本特开平10-232934号公报或者日本特开2000-48184号公报)。

在本典型实施例中，使用用于检测一对眼睛(双眼)、鼻子、和嘴并基于检测的相对位置确定人脸区域的方法进行面部检测处理。在此情况下，如果人(即，被检测的对象)闭上一个眼睛或者突然转过脸去看别处，则识别面部区域可能会困难，因为不能检测到一对眼睛(即，基准部位)。

在许多情况下，面部检测处理需要大量的计算时间。结果，数字信号处理电路1007不能对为直通显示获得的全部图像数据应用面部检测处理。因此，在本典型实施例中，数字信号处理电路1007对每隔一个直通显示图像数据的获取进行面部检测处理。该面部检测处理重复执行，直到达到步骤S117为止。

在步骤S113，系统控制电路1012使数字信号处理电路1007进行框显示处理，用于显示示出在步骤S112中获得的面部检测结果的框。

图3是示出框显示处理(参见步骤S113)的细节的流程图。首先，在步骤S201，数字信号处理电路1007判断在显示单元1010上是否已经显示表示检测到的面部区域的位置的框(以下称作“面部检测框”)。当还没有显示面部检测框时，该处理流程进入步骤S202。例如，如果用户对摄像设备1000设置拍摄模式之后首先执行步骤S113的处理，则在显示单元1010上不显示面部检测框。因此，该处理流程进入步骤S202。

在步骤S202，数字信号处理电路1007获得在步骤S112的面部检测处理中检测到的全部面部区域的坐标数据。在步骤S203，显示单元1010基于在步骤S202获得的每个面部区域的坐标数据将围绕检测到的面部区域的面部检测框的显示与被摄体图像的显示合并，如图7A所示。图7A是显示单元1010的显示屏，包括围绕检测到的人头部的矩形面部检测框。

在步骤S204，计时器1015开始测量在步骤S203中显示的面部检测框的显示时间。在步骤S205，数字信号处理电路1007判断是否完成对步骤S202中获得的代表面部区域的全部坐标数据的面部检测框的显示。当已经完成对所有坐标数据的面部检测框的显示时，数字信号处理电路1007终止该例程。

当还没有完成对所有坐标数据的面部检测框的显示时，该处理流程返回步骤S203。例如，如果在步骤S112没有检测到面部区域，则将不进行从步骤S203到步骤S205的关于显示面部检测框的处理。

然后，在终止图3所示的例程之后，返回到图2中的步骤S114，系统控制电路1012判断快门开关SW1是否处于按下状态。当快门开关SW1不处于按下状态时，该处理流程返回到步骤S113。更具体来说，如果不按下快门开关SW1，则重复进行步骤S111中的直通显示、步骤S112中的面部检测处理、以及步骤S113中的框显示处理。

因此，如果在直通显示期间人移动，则检测到的面部区域的位置将改变，并且面部检测框相应地移位。在本典型实施例中，面部检测框的形状可以是椭圆形的，或者是符合被摄体面部轮廓的任何其它形状。此外，代替显示面部检测框，可以使用强调面部区域轮廓的方法，或者遮蔽面部区域以外区域的方法，只要可以识别检测到的面部区域即可。

返回到步骤S201，当已经显示了面部检测框时，该处理流程进入步骤S206。数字信号处理电路1007获得在步骤S112的面部检测处理中检测到的所有面部区域的坐标数据。

在步骤S207中，数字信号处理电路1007选择已经显示的面部检测框中的一个。然后，数字信号处理电路1007判断所选择的面部检测框是否存在于在步骤S206中新获得的面部区域的任何坐标位置的附近。当所选择的面部检测框存在于新获得的面部区域的任何坐标位置的附近时(步骤S207中的“是”)，则该处理流程进入步骤S208。

以所选择的面部检测框所围绕的人与新获得的面部区域的坐标所代表的人相符合的方式可以从实验上获得该判定中所使用的邻近区域。

此外，当邻近区域中存在多个面部区域时，数字信号处理电路1007可选择最接近于在所选择的面部检测框中设置的面部区域的坐标位置的面部区域的坐标数据，然后执行步骤S208的处理。在此情况下，如果数字信号处理电路1007具有个体验证功能，则数字信号处理电路1007可在步骤S207中判断由已经显示的面部检测框所围绕的人是否是同一人。

在步骤S208，数字信号处理电路1007比较所选择的面部检测框的坐标和位于该面部检测框附近的面部区域的坐标，并获得差。

在步骤S209，数字信号处理电路1007判断在步骤S208中获得的差是否在预定的范围内。当该差在该预定的范围内时，显示单元1010不更新面部检测框的位置，并且继续显示已经显示的面部检测框。然后，该处理流程进入步骤S210。

另一方面，当在步骤S208中获得的差不在该预定范围内时，该处理流程进入步骤S211。在步骤S211，显示单元1010基于步骤S208中比较的面部区域的坐标数据设置新的面部检测框，并显示该新的面部检测框。然后，该处理流程进入步骤S210。

在步骤S209，通过判断在步骤S208中获得的差是否在该预定的范围内，可以判断新获得的面部区域的坐标是否位于已经显示的面部检测框中。

然而，如果该面部检测框频繁地移位移动，则屏幕的可视性将恶化。因此，当新获得的面部区域的坐标位置仍处于已经显示的面部检测框内时，最好推迟更新该面部检测框，以提高屏幕的可视性。

在步骤S210，计时器1015在将其值返回到初始值之后开始测量与被选择作为步骤S207中判定的对象的面部检测框相对应的显示时间，或者与在步骤S211中更新的面部检测框相对应的显示时间。然后，该处理流程进入步骤S212。

在步骤S207，当新获得的面部区域的坐标位置不在所选择的面部检测框的附近时，该处理流程进入步骤S213。在步骤S213，数字信号处理电路1007判断由计时器1015测量的所选择的面部检测框的显示时间是否已经到达预定时间。当测量时间已经到达该预定时间时(步骤S213中的“是”)，则处理流程进入步骤S214。

在步骤S214，数字信号处理电路1007擦除该面部检测框并将测量时间复位到初始值。否则，当测量时间还没到达该预定时间时(步骤S213中的“否”)，数字信号处理电路1007继续显示该面部检测框，而不复位计时器1015。然后，该处理流程进入步骤S212。

在步骤S212，数字信号处理电路1007判断是否已经对所有已经显示的面部检测框完成了步骤S207的处理。当还有未处理的任何面部检测框时，该处理流程返回步骤S207。否则，该处理流程进入步骤S215。

在步骤S215，数字信号处理电路1007判断是否存在坐标位置不靠近步骤S207中使用的所有面部检测框的任何面部区域。当不存在这种面部区域时，数字信号处理电路1007终止该例程。当至少一个面部区域具有不靠近该面部检测框中任何一个框的坐标位置时，该处理流程进入步骤S216，以设置新的面部检测框。

在步骤S216，显示单元1010基于在步骤S206中获得的每个面部区域的坐标数据合并围绕检测到的面部区域的面部检测框的显示和被摄体图像的显示。在步骤S217，计时器1015开始测量在步骤S216中新显示的面部检测框的显示时间。

在步骤S218，数字信号处理电路1007判断是否存在还没有对其设置面部检测框的面部区域。当已经完成对所有坐标数据的面部检测框的设置时(步骤S218中的“是”)，则数字信号处理电路1007终止该例程。当存在还未对其设置面部检测框的面部区域时(步骤S218中的“否”)，该处理流程返回到步骤S216。

现在返回到图2，在完成步骤S113之后，该处理进入步骤S114，在步骤S114，系统控制电路1012判断快门开关SW1是否处于按下状态。当快门开关SW1不处于按下状态时，该处理流程返回到步骤S113。当快门开关SW1处于按下状态时，该处理流程进入步骤S115。此处，应当指出，当快门开关SW1被按下时，数字信号处理电路1007暂停面部检测处理，直到快门开关SW1被释放。

在步骤S115，系统控制电路1012进行AF处理，以调节摄像镜头组1001对被摄体的焦距，进而执行AE处理以判断光圈值和快门速度。如果需要，AE处理可包括对闪光灯的设置。

图4是示出在步骤S115中进行的典型AF和AE处理的细节的流程图。首先，在步骤S301，从摄像元件1003产生电荷信号。A/D转换器1005将电荷信号转换为数字数据。数字信号处理电路1007输入数字数据。

数字信号处理电路1007基于输入的图像数据进行用于TTL型AE处理、EF处理、AWB处理、以及AF处理的预定计算。在每个处理中，数字信号处理电路1007只使用由步骤S112检测到的面部区域的图像数据而不使用所有捕获的像素，或者与赋予其它区域的加权因子相比增加赋予检测到的面部区域的加权因子。因此，在TTL型AE处理、EF处理、AWB处理、以及AF处理的每一个中，数字信号处理电路1007可优先计算检测到的面部区域的图像数据。

然而，当处理流程从步骤S209进入步骤S210时，检测到的面部区域的坐标位置不完全与所显示的面部检测框的位置相符。在此情况下，在AE处理、EF处理、AWB处理、以及AF处理的每一个中，数字信号处理电路1007使用最新检测到的面部区域的坐标代替使用面部检测框所显示的位置。

在步骤S302，系统控制电路1012基于步骤S301中的预定计算所获得的结果判断曝光是否适当。当曝光不适当时(步骤S302中的“否”)，该处理流程进入步骤S303。在步骤S303，系统控制电路1012使曝光控制电路1013进行AE控制。

然后，在步骤S304，系统控制电路1012基于在AE控制中获得的测量数据判断是否需要闪光灯。当需要闪光灯时，该处理流程进入步骤S305。在步骤S305，设置闪光灯标志并对闪光灯(图中未示出)充电。然后，该处理流程返回到步骤S301。另一方面，当不需要闪光灯时，该处理返回到步骤S301。

当在步骤S302中曝光适当时(步骤S302中的“是”)，该处理流程进入步骤S306。在步骤S306中，系统控制电路1012使其存储器或者存储器1008存储测量数据或者设置参数。然后，在步骤S307，系统控制电路1012基于由数字信号处理电路1007获得的计算结果和在AE控制中获得的测量数据判断白平衡是否适当。

当白平衡不适当时(步骤S307中的“否”)，该处理流程进入步骤S308。在步骤S308，系统控制电路1012使数字信号处理电路1007调节颜色处理参数并进行AWB控制。然后，该处理流程返回到步骤S301。另一方面，当在步骤S307中系统控制电路1012判定白平衡适当时(步骤S307中的“是”)，该处理流程进入步骤S309。

在步骤S309，系统控制电路1012使其存储器存储存储器1008中的测量数据或设置参数。然后，在步骤S310，系统控制电路1012判断照相机是否处于对焦状态。当照相机不处于对焦状态时，该处理流程进入步骤S311。在步骤S311，系统控制电路1012使聚焦控制电路1014执行AF控制。然后，该处理流程返回到步骤S301。当在步骤S310中系统控制电路1012判定照相机处于对焦状态时，该处理流程进入步骤S312。

在步骤S312，系统控制电路1012使其存储器存储测量数据或者设置参数，设置表示对焦区域的AF框的显示，并终止AF处理和AE处理。AF框具有与最新的面部区域的坐标位置相同的位置。

现在返回到图2，在步骤S116，系统控制电路1012在完成AF处理和AE处理之后，再一次将显示单元1010设置为直通显示状态，以显示AF框。

接下来，在步骤S117，系统控制电路1012判断快门开关SW2是否处于按下状态。如果判定开关SW2处于按下状态，则该处理进入步骤S119。如果判定开关SW2不处于被按下状态，则该处理进入步骤S118。在步骤S118，系统控制电路1012判断快门开关SW1是否处于按下状态。如果判定开关SW1处于按下状态，则该处理返回到步骤S117。如果判定开关SW1不处于按下状态，则该处理返回到步骤S112。因此，当快门开关SW1和SW2都不处于按下状态时，该处理流程返回到步骤S112。

在步骤S119，系统控制电路1012执行用于将捕获的图像数据写入存储器1008的曝光处理。此外，系统控制电路1012利用存储器控制电路1006(以及数字信号处理电路1007，如果需要的话)执行拍摄处理，拍摄处理包括用于从存储器1008读取图像数据的显影处理并进行各种处理。

图5是示出拍摄处理(参见步骤S119)的典型细节的流程图。在步骤S401，根据在上述AE控制中获得的测量数据，曝光控制电路1013设置光量调节器1002的光圈值，并开始摄像元件1003的曝光。

在步骤S402，系统控制电路1012基于闪光灯标志判断是否需要闪光灯。当需要闪光灯时，该处理流程进入步骤S403以使闪光单元发射预定量的光用于预闪光。应当指出，可基于光量调节器1002的光圈值、被摄体的距离、以及对摄像元件1003设置的灵敏度来确定预闪光的光量。当在步骤S402中系统控制电路1012判定不需要闪光灯时，闪光单元不进行预闪光，该处理流程进入步骤S409。

在步骤S404，曝光控制电路1013基于测光数据等待摄像元件1003的曝光终止定时。当曝光终止定时完成时，该处理流程进入步骤S405。

在步骤S405，系统控制电路1012使摄像单元1003产生电荷信号。然后，系统控制电路1012使A/D转换器1005、数字信号处理电路1007、以及存储器控制电路1006(或者A/D转换器1005和直接地存储器控制电路1006)将捕获的图像数据写入存储器1008。

接下来，该处理流程进入步骤S406。在步骤S406，系统控制电路1012获得预闪光期间面部区域的平均亮度值，并计算最佳发光量(即，实际拍摄期间的发光量)，使得面部区域可具有适当的亮度。例如，当在伴随预闪光的预拍摄动作期间获得的图像信号水平适当时，用于实际拍摄的发光量可与预拍摄动作中的发光量相同。此外，如果在预闪光动作期间的图像信号水平比目标水平低一级，则用于实际拍摄的发光量可加倍。

接下来，在步骤S407，系统控制电路1012使摄像元件1003进行用于实际拍摄的复位动作，并开始曝光。然后，该处理流程进入步骤S408。在步骤S408，闪光单元发射在步骤S406中获得的最佳量的光。

在步骤S409，曝光控制电路1013基于测光数据等待摄像元件1003的曝光终止定时。当曝光终止定时完成时，在步骤S410曝光控制电路1013停止曝光并关闭快门。

接下来，在步骤S411，系统控制电路1012使摄像元件1003输出电荷信号。然后，系统控制电路1012使A/D转换器1005、数字信号处理电路1007、以及存储器控制电路1006(或者A/D转换器1005和直接地存储器控制电路1006)将捕获的图像数据写入存储器1008。

在步骤S412，系统控制电路1012使存储器控制电路1006(以及数字信号处理电路1007，如果需要的话)从存储器1008读取图像数据，并执行垂直相加处理。在步骤S413，系统控制电路1012使数字信号处理电路1007进行颜色处理。在步骤S414，系统控制电路1012使存储器1008存储处理过的显示图像数据，并终止该拍摄处理例程。

现在，再一次回到图2，在完成步骤S119的拍摄处理之后，该处理流程进入步骤S120。在步骤S120，系统控制电路1012使显示单元1010基于在步骤S119中获得的图像数据执行快速复查显示。应当指出，在拍摄动作期间显示单元1010可作为电子取景器一直处于显示状态。此外，应当指出，在完成拍摄动作之后可立即进行快速复查显示。

在步骤S121，系统控制电路1012使存储器控制电路1006(以及数字信号处理电路1007，如果需要的话)从存储器1008中读取所捕获的图像数据，并执行各种图像处理。此外，系统控制电路1012执行用于压缩图像数据并将压缩后的图像数据写入存储介质的记录处理。

在完成步骤S121的记录处理之后，在步骤S122系统控制电路1012判断快门开关SW2是否处于按下状态。如果在步骤S122开关SW2处于按下状态(步骤S122中的“是”)，则该处理进入步骤S123。如果在步骤S122开关SW2不处于按下状态(步骤S122中的“否”)，则该处理进入步骤S124。

在步骤S123，系统控制电路1012判断连续拍摄标志是否处于ON状态。如果在步骤S123连续拍摄标志处于ON状态(步骤S123中的“是”)，则该处理流程返回到步骤S119。在此，应当指出，连续拍摄标志可被存储在系统控制电路1012的内部存储器中或者存储器1008中。然后，在步骤S119，系统控制电路1012使摄像设备1000拍摄下一个图像，以实现连续拍摄。或者，另一方面，如果在步骤S122中连续拍摄标志不处于ON状态(步骤S123中的“否”)，则该处理返回到步骤S122。系统控制电路1012重复步骤S122和S123的处理，直到快门开关SW2被释放。

如上所述，根据本典型实施例，在完成拍摄动作后立即执行快速复查显示的操作设置模式中，判断快门开关SW2在记录处理的终止定时是否处于按下状态(参见步骤S121)。当快门开关SW2处于按下状态时，显示单元1010继续快速复查显示，直到快门开关SW2被释放。该过程使用户能够仔细确认所拍摄的图像(即，所捕获的图像)。

如果在步骤S121的记录处理之后立即关闭快门开关SW2，则该处理流程从步骤S122进入步骤S124。用户可以持续按下快门开关SW2以在步骤S121的记录处理后暂时确认由快速复查显示提供的拍摄图像，然后关闭快门开关SW2。在此情况下，该处理流程以类似的方式从步骤S122进入步骤S124。

在步骤S124，系统控制电路1012判断预定的最短复查时间是否已经过去。如果在步骤S124中最短复查时间已经过去(步骤S124中的“是”)，则该处理流程进入步骤S125。在步骤S125，系统控制电路1012使显示单元1010的显示状态进入直通显示状态。利用该处理，用户可以在提供快速复查显示的显示单元1010上确认所拍摄的图像。然后，显示单元1010开始直通显示状态以依次显示下一次拍摄的拍摄图像数据。

接下来，该处理流程进入步骤S126。在步骤S126，系统控制电路1012判断快门开关SW1是否处于ON状态。当快门开关SW1处于ON状态时，该处理流程进入步骤S117以进行接下来的拍摄动作。另一方面，当快门开关SW1处于OFF状态时，摄像设备1000进行一系列的拍摄操作。然后，该处理流程返回到步骤S112。

根据本典型实施例的上述面部检测框显示方法具有以下特征。当面部检测框被显示时(参见步骤S203、S211、和S216)，计时器1015开始测量面部检测框的显示时间(参见步骤S204、S210、和S217)。如果计时器1015达到预定时间，即，如果连续未检测到具有与该面部检测框所围绕的人脸相类似的人脸的人，则擦除该面部检测框(参见步骤S214)。

计时器1015计测的预定时间被设置为比至少显示一次面部检测框后进行接下来的面部检测并基于该检测结果再次显示面部检测框所需的时间更长。更具体来说，只要该面部检测连续成功，就不能通过达到该预定时间的计时器擦除该面部检测框。

图6A是示例性示出计时器1015的测量时间和面部检测框的显示/擦除之间关系的图。图6A从上往下示出获得用于直通显示的图像数据的定时、获得面部检测结果的定时、更新面部检测框的定时、以及计时器1015测量的时间。每个横坐标代表时间。

直通显示图像数据可以1/30秒的间隔被更新，如由定时t0、t1、t2、t3、t4、t5、t6、t7、t8、t9、以及t10所表示的。与在定时t0获得的图像数据相对应的面部检测结果可在定时(1)获得。与在定时t2获得的图像数据相对应的面部检测结果可在定时(2)获得。与在定时t4获得的图像数据相对应的面部检测结果可在定时(3)获得。

根据图6A所示的例子，在定时(3)和(4)的面部检测以失败结束。在定时(1)和(2)获得的面部检测结果包括检测到的面部区域的坐标数据。面部检测框可以1/30秒的间隔，即以与直通显示的间隔相同的间隔进行更新。

每次面部检测框的更新定时到来时，计时器1015向下计数1。根据图6A所示的例子，在定时(1)可获得检测到的面部区域的坐标数据。在面部检测框接下来的更新定时可新显示面部检测框。计时器1015将计数值设置为“5”。在面部检测框接下来的更新定时，计数值减1，成为“4”。

在面部检测框的随后的更新定时，存在在定时(2)新获得的面部区域的坐标数据。因此，可基于新获得的面部区域的坐标数据更新面部检测框。计时器1015再次将计数值复位为“5”。

然而，在定时(3)获得的面部检测结果不包括面部区域的任何坐标数据。因此，计时器1015将其计数值减少到“2”。在此情况下，因为计数值还没到“0”，所以继续显示面部检测框，而与面部检测中的失败无关。

此外，在接下来的定时(4)获得的面部检测结果不包括面部区域的任何坐标数据，并且计数值减到“0”。在此情况下，因为计时器1015的测量时间已经到达预定时间，所以面部检测框被擦除。

接下来，在定时(5)获得的面部检测结果包括新检测到的面部区域的坐标数据。因此，再次显示面部检测框，并且计时器1015将其计数值设置为“5”。

如上所述，本典型实施例提供了这样一种功能：连续显示面部检测框预定的时间，直到计时器1015的计数值到达“0”，即使在该时间段内面部检测失败。此外，当在显示单元1010上不显示面部检测框时，新获得的面部的检测结果可被直接用于显示面部检测框(参见图2中的步骤S203)。

当在显示单元1010上已经显示面部检测框时，并且当在该面部检测框的附近获得了新的面部检测结果时，鉴于已经显示的面部检测框的位置和从新的面部检测结果获得的面部位置，可选择不同的方法。

当已经显示的面部检测框的位置靠近从新的面部检测结果获得的面部位置时，从可视性的角度来看，不希望频繁移位面部检测框，并且最好有意地固定该面部检测框的位置。

相反，当已经显示的面部检测框的位置不靠近从新的面部检测结果获得的面部位置时，该面部检测框的位置应该被更新以跟踪被摄体的面部位置(参见图3中的步骤S211)。

如上所述，第一典型实施例使能够连续显示面部检测框预定时间而与面部检测中的失败无关。因此，当作为被摄体的人眨眼并闭上眼镜或者突然转过脸去看别处时，本典型实施例可防止该面部检测框被无意中擦除。结果，第一典型实施例可抑制在短的时间段内重复显示和擦除面部检测框这种不希望的现象。

第二典型实施例

下面说明本发明另一典型实施例。第二典型实施例的特征在于计时器1015可根据检测到的面部区域的位置或大小改变计数值。

当检测到的面部区域位于屏幕中央时，可能由于人转过脸去看别处或者闭上眼睛而发生检测面部区域的失败。在此情况下，人脸可能仍在同一位置，而与面部区域检测的失败无关。因此，计时器1015设置较长的计数时间。

另一方面，当检测到的面部区域位于屏幕的边缘时，可能因为人已经从该屏幕上消失而发生检测面部区域的失败。在此情况下，检测面部区域的失败意味着人脸不再存在于该屏幕上。因此，计时器1015设置较短的计数时间。此外，如果检测到的面部区域具有小的面积，则作为被摄体的人离照相机远。即使当人移动时，人在屏幕上的位置变化也将是小的。

相反，如果检测到的面部区域具有大的面积，则作为被摄体的人位于照相机附近。如果人稍微移动，则人可能很快从屏幕上消失。因此，当检测到的面部区域具有小的面积时，计时器1015设置较长的计数时间，而当检测到的面部区域具有较大的面积时，计时器1015设置较短的计数时间。

图8A是示出与在该面部检测处理中使用的直通显示图像数据相比较，检测到的面部区域的位置和大小之间的典型关系的图。图8B是示出检测到的面部区域的位置和应用于计时器1015的计数值的修正系数之间的典型关系的图。图8C是示出检测到的面部区域的大小和应用于计时器1015的计数值的修正系数之间的典型关系的图。

现在参见图8A，应当指出，图8A示出由320×240像素构成的QVGA图像数据，左上角位于坐标(0，0)处，右下角位于坐标(319，239)处。在这里，可以假定坐标(x0，y0)代表在面部检测处理中获得的面部区域的左上角，坐标(x0，y1)代表其左下角，坐标(x1，y0)代表其右上角，坐标(x1，y1)代表其右下角。

按照以下等式，可以基于这些坐标数据计算代表面部检测框和屏幕边缘之间距离的最短距离DIS。

DIS＝min(x0，y0，320-x1，240-y1)

然后，可以参考所获得的DIS来获得计时器修正系数K_DIS。

如从图8B所示的DIS和K_DIS的关系所理解的，计时器修正系数K_DIS可取0.0和1.0之间的值。当距离DIS小时，即，当检测到的面部位于屏幕的边缘附近时，计时器修正系数K_DIS取较小的值。

尽管本典型实施例获得面部检测框和屏幕边缘之间的距离，但是也可以获得面部检测框的中央区域和屏幕边缘之间的距离。

此外，可以基于上述坐标数据按照以下等式计算代表面部检测框的大小的AREA。

AREA＝(x1-x0)×(y1-y0)

然后，可以参考所获得的AREA来获得计时器修正系数K_AREA。

如从图8C所示的AREA和K_AREA的关系所理解的，计时器修正系数K_AREA可以取0.0和1.0之间的值。当AREA大时，即，当所检测到的面部具有较大的面积时，计时器修正系数K_AREA取较小的值。

计时器修正系数K_DIS和K_AREA可乘以计时器基准值Tref(按照典型实施例，Tref＝7)以获得计时器1015的初始计数值T。在此情况下，初始计数值T是可通过从系数K_DIS和K_AREA与基准值Tref之间相乘的结果去掉小数获得的整数。然而在计算中还可以只使用计时器修正系数K_DIS和K_AREA中的一个。

图6B和6C的每一个示出了当计时器1015使用不同于在第一典型实施例中使用的初始计数值时，计时器1015的测量时间和面部检测框的显示/擦除之间的关系。

根据图6B的例子，在定时(1)和(2)可获得面部区域的坐标数据。然而，计时器的初始计数值被设置为“2”。因此，在定时(3)获得面部区域的坐标数据的失败导致在面部检测框的接下来的更新定时不出现面部检测框。此外，还应指出，直到可获得新面部区域的坐标数据的定时(5)才显示新的面部检测框。在定时(5)之后可立即显示新的面部检测框。此外，根据图6B所示的例子，对计时器1015新设置的初始计数值为“3”，因为新检测到的面部区域位于离屏幕的边缘相对较远的位置，或者因为新检测到的面部区域具有较小的面积。

根据图6C所示的例子，计时器1015的初始计数值被设置为“7”。因此，不管在定时(3)和(4)获得面部区域的坐标数据的失败，在可获得新的面部区域的坐标数据的定时(5)之前，计时器1015的计数值没有到达“0”。因此，如图6C所示，在定时(1)至(5)期间可连续显示面部检测框。

如上所述，第二典型实施例使能够连续显示面部检测框预定的时间，而与面部检测的失败无关。此外，第二典型实施例使能够根据检测到的面部的位置和大小中的至少一个改变该预定时间。

因此，在被摄体可能仍在屏幕上的情况下，本典型实施例可防止面部检测框被意外地擦除。结果，第二典型实施例可抑制在短时间段内重复面部检测框的显示和擦除这种不希望的现象。

第三典型实施例

下面说明本发明的另一典型实施例。与第一典型实施例相比，第三典型实施例的区别在于当所选择的面部检测框不位于步骤S206中获得的面部区域的坐标位置附近时执行的图3所示的(从图3的)步骤S207以后的处理。

更具体来说，第三典型实施例包括在第一典型实施例中没有说明而下面将详细说明的步骤S501至S505的处理。由与第一典型实施例中说明的图3所示的附图标记相同的附图标记表示的步骤可执行相同的处理。

在图9中的步骤S207，数字信号处理电路1007选择已经显示的面部检测框中的一个。然后，数字信号处理电路1007判断所选择的面部检测框是否处于在步骤S206中新获得的面部区域的任何坐标位置的附近。当所选择的面部检测框不处于新获得的面部区域的任何坐标位置的附近时，该处理流程进入步骤S501。

在步骤S501，数字信号处理电路1007判断在步骤S207中选择的面部检测框的附近是否检测到在先前的定时的面部区域的任何坐标位置。当没有检测到面部区域的坐标位置时，该处理流程进入步骤S213，以参考计时器1015的测量时间继续显示或擦除的面部检测框。当检测到面部区域的任何坐标位置时，该处理流程进入步骤S502。

在步骤S502，数字信号处理电路1007基于最靠近在步骤S207选择的面部检测框的面部区域的坐标数据计算面部区域的移动。当面部区域的移动方面指向屏幕的外部时，该处理流程进入步骤S503。另一方面，当该面部区域的移动仍在屏幕区域之内时，该面部区域暂时不从该屏幕上消失。由此，该处理流程进入步骤S505。在步骤S505，计时器1015将其计数值复位到初始值并开始测量显示时间，然后该处理流程进入步骤S212。

在步骤S503，数字信号处理电路1007判断在计算面部区域的移动中使用的面部区域的坐标位置是否位于屏幕的边缘。当该面部区域位于屏幕的边缘时，该面部区域可能从屏幕消失。因此，在步骤S504，在计算面部区域中使用的面部检测框被擦除。接下来，该处理流程进入步骤S212。

如上所述，第三典型实施例基于面部区域的移动方向和位置来决定面部检测框的擦除。因此，在被摄体将很快从屏幕消失的情况下，该面部检测框可被迅速擦除。

因此，本典型实施例可抑制甚至在作为被摄体的面部已经从屏幕消失后还继续显示该检测框这种不希望的现象。

此外，在上述步骤S502中，不仅可以获得面部区域的移动方向而且还可以获得面部区域的移动速度。当移动速度高时，可减小在步骤S505中对计时器1015设置的初始值。被摄体的移动速度越快，从屏幕消失的可能性越高。

第四典型实施例

此外，下面还将参考图10说明本发明的另一典型实施例。与第一典型实施例相比，第四典型实施例的区别在于当所选择的面部检测框不位于步骤S206中获得的面部区域的坐标位置附近时执行的图3所示步骤S207以后的处理。

更具体来说，第四典型实施例包括在第一典型实施例中没有说明而将在下面详细说明的步骤S601至S603的处理。由与第一典型实施例中说明的图3所示的附图标记相同的附图标记表示的步骤可执行相同的处理。

在图10的步骤S207，数字信号处理电路1007选择已经显示的面部检测框中的一个。然后，数字信号处理电路1007判断所选择的面部检测框是否处于步骤S206中新获得的面部区域的任何坐标位置附近。

当所选择的面部检测框不处于新获得的面部区域的任何坐标位置附近时，该处理流程进入步骤S601。在步骤S601，数字信号处理电路1007执行用于判断被摄体的状况是否已经改变的场景检测处理。

图11是示出可参照图7A和7B所示的分割区域进行说明的场景检测处理细节的流程图。图7A是显示单元1010的显示屏，图7B示出摄像元件1003的分割区域。在图7B中，虚线代表分割区域的边界。为了便于理解以下说明，图7A示出与图7B中的虚线类似的虚线。在图7B中，阴影区域代表存在图7A的面部检测框的一组分割区域。

在图11中，在步骤S701，数字信号处理电路1007检测不存在面部检测框的每一个分割区域(即，图7B中的每一个非阴影区域)的亮度信号。然后，数字信号处理电路1007比较检测到的亮度信号和计时器1015先前被复位为初始值时从图像数据的对应区域获得的亮度信号，并计算所比较的信号之间的差ΔYn。

在步骤S702，数字信号处理电路1007将存在该面部检测框的每一个分割区域的图像数据转换为特定频率(即(1/2)×fnn，其代表根据本典型实施例的尼奎斯特(Nyquist)频率的一半)。然后，数字信号处理电路1007比较转换后的频率和计时器1015先前被复位为初始值时根据类似的方法从图像数据的对应区域获得的频率，并计算所比较的频率之间的差Δ(1/2)×fnn。

在步骤S703，数字信号处理电路1007检测不存在面部检测框的每一个分割区域中的色差信号。接下来，数字信号处理电路1007比较检测到的色差信号和计时器1015先前被复位为初始值时从图像数据的对应区域获得的色差信号，并计算所比较的色差信号之间的差ΔCrn和ΔCbn。

然后，在步骤S704，数字信号处理电路1007判断在步骤S701算出的差ΔYn是否小于或等于阈值Yth。如果在步骤S701算出的差ΔYn小于或等于阈值Yth，则该处理流程进入步骤S705。如果在步骤S701算出的差ΔYn不小于或等于阈值Yth，则该处理流程进入步骤S708。

然后，在步骤S705，数字信号处理电路1007判断在步骤S702算出的差Δ(1/2)×fnn是否小于或等于阈值fnth。如果在步骤S702算出的差Δ(1/2)×fnn小于或等于阈值fnth，则该处理流程进入步骤S706。如果在步骤S 702算出的差Δ(1/2)×fnn不小于或等于阈值fnth，则该处理流程进入步骤S708。

然后，在步骤S706，数字信号处理电路1007判断在步骤S703算出的差ΔCrn和ΔCbn是否分别小于或等于阈值Crth和Cbth。如果在步骤S703算出的差ΔCrn和ΔCbn分别小于或等于阈值Crth和Cbth，则该处理流程进入步骤S707。如果在步骤S703算出的差ΔCrn和ΔCbn不分别小于或等于阈值Crth和Cbth，则该处理流程进入步骤S708。此外，应该指出，在此情况下阈值Yth、fnth、Crth和Cbth可通过实验获得并可被用于判断被摄体是否仍在屏幕上。

结果，当满足步骤S704至S706的所有条件时，数字信号处理电路1007判定被摄体在此情况下发生的变化很小，而与面部检测的失败无关。因此，在步骤S707，数字信号处理电路1007设置表示无场景变化的标志。

相反，当不满足上述条件中的任何一个条件时，数字信号处理电路1007判定被摄体在此情况下发生的变化不小。因此，在步骤S708，数字信号处理电路1007设置表示场景变化的标志。在设置任何一个标志之后，数字信号处理电路1007终止该例程。

回到图10，在步骤S602数字信号处理电路1007判断表示场景变化的标志是否被设置。当表示场景变化的标志被设置时(步骤S602中的“是”)，该处理流程进入步骤S213。相反，当表示场景变化的标志未被设置时(步骤S602中的“否”)，该处理流程进入步骤S603。在步骤S603，计时器设置初始值，并开始测量显示时间。然后，该处理流程进入步骤S212。

应当指出，如果表示场景变化的标志被设置，则被摄体的状况改变将不会很小并且被摄体的面部检测框可能偏离被摄体的头部。因此，在步骤S213，数字信号处理电路1007判断计时器1015的计数值是否已经到达预定时间。当计时器计数值已经到达该预定时间时，该处理流程进入步骤S214以擦除显示在显示单元1010上的面部检测框。

如果表示场景变化的标志未被设置，则被摄体的状况改变将是很小的。更具体来说，当作为被摄体的人眨眼并闭上眼镜时，或者突然转过脸去看别处时，可能导致面部检测失败。因此，应当认为作为被摄体的头部的位置没有大的改变，而与面部检测的失败无关。因此，继续显示已经显示的面部检测框。

然而，当面部检测失败并且当根据场景检测处理被摄体的状况变化不小时，可以立即擦除该面部检测框。在此情况下，可忽略计时器。

此外，在本典型实施例中设置场景变化标志所使用的基准值是各分割区域的亮度信号的差(即，ΔYn)、转换后的特定频率的差(即，Δ(1/2)×fnn)以及色差信号的差(即，ΔCrn和ΔCbn)。然而，可以适当判断是否这些信号的全部或部分被用作用于判定(确定)的基准值。

此外，当获得这些差时，可以获得每个分割区域的信号的差。作为选择，可以对在多个或者全部分割区域中获得的信号进行平均，或者对信号给出权重因子。

此外，可以使用其它方法进行场景检测处理。首先，在步骤S114检测到快门开关SW1的ON状态之前进行直通显示的阶段，可进行AE处理、AF处理、或者AWB处理。

然后，可将基于用于直通显示的图像数据获得的亮度值、对焦状态、白平衡信息与目标基准值进行比较。为了补偿这些因子的差，可进行传统的AE处理、AF处理或者AWB处理。

在场景检测处理中(参见步骤S601)，数字信号处理电路1007可获得基于为直通显示获得的图像数据算出的AE处理、AF处理以及AWB处理的补偿量。

然后，可将这些补偿量与阈值进行比较。当全部或者至少一个补偿量超过阈值时，被摄体的状况变化可被判定为不小并且可设置表示场景变化的标志。

此外，用于场景检测判定(确定)的信息不限于可从由摄像设备1000捕获的图像数据获得的信号。例如，从安装在摄像设备1000上的抖动检测电路或姿态检测电路产生的信号可被用作该判定的基准值。

此外，代表通过摄像设备1000的操作部件输入的用户操作的特定信号或者从外部设备发送来的预定信号可被用作用于判定的基准值。

如上所述，根据第四典型实施例，当被摄体的状况变化很小时，可继续显示面部检测框，并且可复位定时器而与面部检测的失败无关。

更具体来说，在被摄体的状况变化很小而与面部检测失败无关的情况下，与其它情况相比较，可增加面部检测框的显示时间。

因此，本典型实施例可防止当作为被摄体的人眨眼并闭上眼睛或者转过脸去看别处时面部检测框被擦除。因此，第四典型实施例可抑制在短的时间段内重复面部检测框的显示和擦除这种不希望的现象。

第五典型实施例

下面说明本发明的第五典型实施例。第五典型实施例与其它典型实施例的区别在于当根据场景检测处理的结果被摄体的状况变化很小时显示在显示单元1010上的内容。

图12B至12F示出当根据场景检测处理假定被摄体的状况变化很小时显示的面部检测框的各种图案。图12A示出当面部检测成功时显示的面部检测框的正常图案。图12B示出颜色改变的或者以半透明状态显示的面部检测框。图12C示出作为点图像显示的或者根据预定的闪烁模式显示的面部检测框。图12D示出利用细线的面部检测框。图12E示出部分显示的或者以预定的剪切状态显示的面部检测框。图12F示出与图标一起显示的面部检测框。

这样，不管面部检测的失败，当认为被摄体的状况变化很小时，可以暂时以特定的显示图案显示面部检测框，从而使用户认出面部检测失败的结果，而不立即擦除该面部检测框。

因此，当作为被摄体的人眨眼并闭上眼睛或者突然转过脸去看别处时，可减小面部检测框的显示图案的变化，从而确保屏幕的可视性。

图13示出本典型实施例的变形例。当场景检测处理的结果示出被摄体的状况变化暂时还很小时，希望使用在最终将其擦除之前可以逐步改变面部检测框的状态的多阶段显示。

即使当被摄体的状况变化还很小时，也不希望面部检测长时间不可进行。因此，根据本变形例，即使当作为被摄体的人眨眼并闭上眼镜或者突然转过脸去看别处时，面部检测框的状态在每次过去预定的时间时逐步改变，并最终消失，如图13所示。因此，即使当认为被摄体的状况改变很小时，如果面部检测失败，也将依据过去的时间擦除面部检测框。

根据上述典型实施例，检测一双眼睛、鼻子、和嘴，并基于它们的相对位置来判断人脸区域。然而，通过面部检测处理识别主被摄体的方法不限于所公开的例子。

其它典型实施例

如上所述，可以使用神经网络或者其它基于学习技术分析面部区域的方法进行面部检测处理。此外，用于检测主被摄体的方法不限于面部检测处理。主被摄体可以不是人。例如，主被摄体可以是动物、植物、建筑物、或者几何图案。

代替采用上述典型实施例，如果可以提供检测想要的被摄体并显示检测到的被摄体的位置的上述功能，则可以使用任何其它典型实施例来获得不管检测想要的被摄体的暂时失败而确保好的显示的类似效果。

此外，根据上述典型实施例，在被摄体的直通显示期间，摄像设备1000检测主被摄体。然而，本发明不限于所公开的例子。

例如，本发明的其它典型实施例可拥有将摄像设备中获得的图像数据传送到外部装置、使外部装置的显示单元显示该图像数据、并使该外部装置检测主被摄体的能力。

此外，图像数据可以是已经记录在存储介质中或者可读取的装置中的运动图像。即，本发明的其它典型实施例可提供如下功能：从连续变化的图像数据中重复检测满足特定条件的对象并实现反映检测结果的显示。

当计算机在存储在RAM或ROM中的程序下运行时可通过该程序代码来实现上述流程图。因此，本发明的典型实施例可包括该程序和可由计算机读取的该程序的存储介质。

更具体来说，该程序可被记录在例如CD-ROM或者其它记录介质中，或者可通过各种传送介质提供给计算机。可以从软盘、硬盘、光盘、磁光盘、MO、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM、以及DVD(DVD-ROM、DVD-R)中的任何一个选择存储该程序的记录介质。

此外，该程序的传送介质可以是可提供程序信息载体的计算机网络(例如，由因特网代表的LAN、或WAN)。

此外，该程序的传送介质可以是在无线通信网络系统中使用的通信介质(例如，光纤或其它缆线，或者无线)。

当计算机读取并执行所安装的程序时，可实现上述典型实施例的功能。

此外，基于该程序的指令，运行在计算机上的操作系统(或者其它应用软件)可执行该处理的一部分或者全部，从而可实现上述典型实施例的功能。

此外，从记录介质中读出的该程序可被写入安装在计算机中的功能扩展板的存储器中或者连接到计算机的功能扩展单元的存储器中。在此情况下，设置在该功能扩展板或者该功能扩展单元上的CPU可基于该程序的指令执行该处理的一部分或者全部，从而可实现上述典型实施例的功能。

尽管参照典型实施例说明了本发明，但是应当理解本发明不局限于所公开的典型实施例。所附权利要求的范围符合最宽的解释，以覆盖所有变形例、等同结构和功能。

Claims

1.一种图像处理方法，包括以下步骤：

重复更新图像数据；

基于所述图像数据显示图像；

从所述图像数据检测满足预定条件的对象；以及

将表示检测到所述对象的区域的检测结果的显示与所述图像的显示合并，

其特征在于，当在所述检测结果的显示期间不能检测到所述对象时，判断是否应该继续所述检测结果的显示。

2.根据权利要求1所述的图像处理方法，其特征在于，还包括：当继续显示所述检测结果时测量时间的步骤；以及基于测量结果判断是否应该继续显示所述检测结果的步骤。

3.根据权利要求2所述的图像处理方法，其特征在于，当所述测量结果到达预定时间时，取消所述检测结果的显示。

4.根据权利要求3所述的图像处理方法，其特征在于，当在所述检测结果的显示期间检测到所述对象时，复位所述测量结果。

5.根据权利要求3所述的图像处理方法，其特征在于，所述预定时间可根据检测到的所述对象在所述图像中的位置而改变。

6.根据权利要求5所述的图像处理方法，其特征在于，当检测到的所述对象的位置离所述图像的边缘近时，所述预定时间被设置得较短。

7.根据权利要求3所述的图像处理方法，其特征在于，所述预定时间可根据检测到的所述对象的大小而改变。

8.根据权利要求7所述的图像处理方法，其特征在于，当检测到的所述对象的大小大时，所述预定时间被设置得较短。

9.根据权利要求1所述的图像处理方法，其特征在于，还包括如下步骤：基于检测到的所述对象的移动方向判断是否应该继续显示所述检测结果。

10.根据权利要求1所述的图像处理方法，其特征在于，还包括如下步骤：基于检测到的所述对象的移动方向和检测到的所述对象在所述图像中的位置判断是否应该继续显示所述检测结果。

11.根据权利要求1所述的图像处理方法，其特征在于，还包括：响应所述图像数据的更新，检测所述图像数据的变化量的步骤；以及基于对所述变化量的检测结果判断是否应该继续显示所述检测结果的步骤。

12.根据权利要求3所述的图像处理方法，其特征在于，还包括：响应所述图像数据的更新，检测所述图像数据的变化量的步骤；以及根据所述变化量复位所述测量结果的步骤。

13.根据权利要求1所述的图像处理方法，其特征在于，满足所述预定条件的对象是人。

14.根据权利要求1所述的图像处理方法，其特征在于，满足所述预定条件的对象是人脸的形状。

15.一种摄像设备，包括：

摄像元件，用于基于从被摄体反射的光产生图像数据；

检测电路，用于从所述摄像元件获得的所述图像数据检测满足预定条件的对象；以及

显示单元，用于重复获得所述图像数据并基于所获得的图像数据显示图像，以及用于将所述图像与表示存在所述检测电路检测到的所述对象的区域的检测结果合并，

其特征在于，信号处理电路当在所述显示单元显示所述检测结果期间所述检测电路不能检测到所述对象时判断是否应该在所述显示单元上继续显示所述检测结果。

16.根据权利要求15所述的摄像设备，其特征在于，所述显示单元将运动图像与所述检测结果合并。

17.根据权利要求15所述的摄像设备，其特征在于，还包括聚焦控制电路，所述聚焦控制电路进行应用于所述检测电路检测到的所述对象的自动聚焦处理。

18.根据权利要求15所述的摄像设备，其特征在于，还包括曝光控制电路，所述曝光控制电路进行应用于所述检测电路检测到的对象的曝光控制。

19.根据权利要求15所述的摄像设备，其特征在于，还包括计时器，当继续显示所述检测结果时所述计时器测量时间，其中所述信号处理电路基于所述计时器的测量结果判断是否应该继续显示所述检测结果。

20.根据权利要求19所述的摄像设备，其特征在于，当所述测量结果到达预定时间时，所述信号处理电路取消所述检测结果的显示。

21.根据权利要求20所述的摄像设备，其特征在于，当所述显示单元显示所述检测结果时，响应于所述检测电路检测到所述对象，所述信号处理电路复位所述计时器的所述测量结果。