CN1449185A - 移动目标监视管理装置 - Google Patents

Abstract

公开一种移动目标图像监视管理装置，这种装置利用电动截锥头和电动变焦距镜头控制摄像机，以正确识别移动目标，特别是人物。该装置包括获取作为视频信号的移动目标图像信息的视频装置、用于摇和倾斜该视频装置的截锥头、用于从由视频装置输出的视频信号一帧一帧地提取的静图像和将该静图像二进制化成帧数据的帧捕捉器、用于交替储存二进制化帧数据的多个帧存储器、用于控制截锥头的操作和用于处理帧数据的CPU以及用于储存被处理过的数据的图像数据库。视频装置依次监视至少一个单独的监视区。CPU将帧数据同紧前面的帧数据相比较来确定它们之间的差别，如果探测到差别，跟踪对应于该差别的坐标，并且，探测和扩展特定的颜色。

Description

移动目标监视管理装置

技术领域

本发明涉及一种使用一个或多个光学镜头和利用电荷藕合器件的固体摄像机(下文称的CCD摄像机)的动图像监视管理装置，特别涉及一种提取进入监视区的人体面部从而捕捉人体面部图像的装置。

背景技术

使用CCD摄像机监视移动目标和把移动目标图像录在磁带上的手段是众所周知的。在使用这种手段时，CCD摄像机用CCD摄像机前面的镜头聚焦在移动目标上。如果用广角镜头时监视区扩大，移动目标面积对整个帧的百分比变得比较小。如果用CCD摄像机监视人物，人物面部太小，破坏了面部图像的清晰度，难于识别人物。相反地，如果使用摄远镜头捕捉放大的人物图像，则监视区变得太小，需要多个摄像机。

本发明的目的是为克服上述缺点提供一种移动目标图像监视管理装置。这种装置用电动截锥头和电动变焦距镜头控制摄像机，正确识别移动目标，特别是人物。

发明内容

为实现上述目的，本发明的移动目标图像监视管理装置包括获取作为视频信号的移动目标图像信息的视频装置、用于摇动和倾斜视频摄像机装置的截锥头、用于从由视频摄像机装置输出的视频信号一帧一帧地提取静图像和将该静图像二进制化成帧数据的帧捕捉器、用于交替地储存二进制化的帧数据的许多帧存储器、用于控制截锥头操作和处理帧数据的CPU以及用于储存处理数据的图像数据库。视频摄像机装置捕捉运动图像，借此获得视频信号，并使用截锥头指向任何方向。帧捕捉器一帧接一帧地提取来自从视频摄像机装置相继输出的视频信号的静图像。这是CPU的第一处理，判定一个移动目标是否随时间流逝而出现。CPU检查时间标度不同的各段帧数据之间是否有差别，并且，如果有差别，CPU判定移动目标出现。将静图像二进制化，然后把它交替储存在多个帧存储器中。一般地，一对帧存储器在读操作和写操作之间交替。用这种模式从作为原始信号帧的视频信号一帧接一帧地得到时间标度的静图像，并且，通过一个帧依次同另一个帧比较来监视移动目标。

视频摄像机装置至少相继监视一个单独的监视区。于是，一个单独的装置监视一个广阔的监视区。视频摄像机装置包括一个CCD摄像机。由于引进CCD摄像机，能实现小型化设计，并能按每个像素获取RGB信号。随后的处理变得容易。由于CCD摄像机包括由CPU控制的变焦距镜头，移动目标图象可被局部放大。

按照本发明，可以得到全身跟踪模式。CPU检索储存在帧存储器中的帧数据，把该数据同紧前面的帧数据比较，判定它们之间的差别，并且，如果探测到差别，则控制截锥头跟踪相应于该差别的坐标。一个无跟踪模式的移动目标图像监视管理装置只探测进入监视区的移动目标的通过。由于引进跟踪模式，一个监视装置能较长时间监视移动目标。通过探测依次写入的帧数据段之间的差别进行移动目标的判定。

除跟踪模式外，本发明还提供另一种模式。在探测为推摄在整个帧上的差别图像而预定的特定颜色的同时，跟踪相应于差别的坐标。如果探测到预定的特定颜色，控制变焦距镜头按特定颜色变焦距。为探测作为移动目标的人物，预定的特定颜色是肤色，捕捉一般识别人物的面部图像。如果探测到肤色，可以指定肤色和移向。

按照本发明，如果探测到在整个帧上的移前差别图像的特定颜色，控制变焦镜头使得根据特定颜色进一步执行移前操作。如果特定颜色是肤色，扩大相应于面部的图像部分，并把它作为数据储存在图像数据库中。

一种移动目标图像监视管理装置包括获取作为视频信号的移动目标图像信息的视频装置、用于摇和倾斜视频装置的截锥头、用于从由视频装置输出的视频信号一帧一帧地提取静图像和二进制化静图像的帧捕捉器、用于交替储存二进制化帧数据的多个帧存储器、用于控制截锥头的操作和用于处理帧数据的CPU以及用于储存被处理过的数据的图像数据库。由截锥头自由控制的视步频装置监视监视区和依次记录然后处理的帧数据。该监视装置监视至少一个监视区。于是，一个单独的视频装置有效地扫描多个监视区。用于视频装置的CCD摄像机如实地获取RGB信息。RGB容易组织成为数据然后很容易处理。由于CCD摄像机备有用于光输入的变焦距镜头，移动目标的一部分是可扩展的。

按照本发明，CPU检索储存在帧存储器中的帧数据，将该帧数据同紧前面的帧数据比较来探测它们之间的差别；控制截锥头来跟踪对应于该差别的坐标。依次写到帧存储器上的帧数据按时间标度一个跟一个地相比较。根据差别的探测判定移动目标的出现。因此，移动目标的判定是可靠的。另外，CPU跟踪对应于差别的坐标，并提供在整个帧上推摄的差别图像。于是一个预定的特定颜色被探测到。如果探测到是预定的特定颜色，一旦判定图像为移动目标，控制变焦距镜头使得从图像获得更详细的信息。在接着的处理中，CPU控制变焦距镜头使得从在整个帧上推摄的差别图像探测到预定的特定颜色以及使得进一步推摄预定特定颜色的部分。由此可靠地捕捉移动目标的特征。如果企图识别人物，预定特定颜色可以是肤色。在最后的处理中，捕捉放大的人物面部图像，人物识别变得容易。

附图说明

图1是说明本发明装置结构的方框图；

图2是表示本发明装置处理的流程图；

图3表示本发明装置监视操作的图例；

图4是在本发明装置中获取帧数据的流程图；

图5是为探测移动目标的本发明装置处理的流程图；

图6是本发明装置的全身跟踪模式A的流程图；

图7是本发明装置的全身跟踪模式B的流程图；

图8是本发明装置的面部跟踪模式的流程图；

图9是本发明装置的流程图(X方向扫描)，它在肤色探测期间获取数值；

图10是本发明装置的流程图(Y方向扫描)，它在肤色探测期间获取值；

图11是本发明装置提取移动目标的流程图。

具体实施方式

现在将参考附图来讨论本发明的优选实施例。图1是本发明的移动目标图像监视管理装置的方框图。变焦距镜头1连续改变其焦距长度。电动截锥头2是为摇和倾斜操作而被一马达驱动的。CCD摄像机3把由变焦距镜头1取的图像转换成视频信号。如此构造的移动目标图像监视管理装置监视预定的区域。如果移动目标进入预定区域，利用电动截锥头2跟踪移动目标。利用变焦距镜头1移前和移出移动目标。帧捕捉器4接收视频信号。CCD摄像机将图像换成视频信号，并在随后的阶段有选择地将视频信号传递到存储器。彼此互等且并联安排的帧存储器5A和5B接收和储存从帧捕捉器4有选择地交替传输到那里的视频信号。CPU 6识别从帧存储器5A和5B输出的图像，输出控制变焦镜头1和电动截锥头2的信号，暂时储存移动目标的全身图像和其移前图像，传递这些图像到图像数据库7。图像数据库7依次储存这些图像。CPU 6在其间具有一个用于储存初始数据的存储区。作为替换，在外围单元中可以保留一个存储区。

在图2上用一个流程图表示用于连续观察监视区的监视装置的处理过程。本发明的区域传感器通过控制电动截锥头2浏览一个预定的监距视区(监视模式2-1)。然后，为监视宽广区域将变焦距镜头的焦点调节到短焦点。如果移动目标，例如人物，步入监视区，该装置跟踪步行的人物。当该人物停止步行时，考虑人物的尺寸，通过控制变焦距镜头1移前人物(全身跟踪模式A 2-2)。另一全身跟踪模式B相继工作。当人物继续步行时，聚焦在人物肤色上，并只识别和跟踪肤色(2-3)。在全身跟踪模式A和B的每一个中，将在帧存储器5A和5B的一个中的帧数据同紧前面的帧数据比较，以便确定差别。如果探测到差别，该装置判定移动目标存在，并连续跟踪该差别。如果该装置在跟踪操作中锁定到一个人物上，该装置转移到面部跟踪模式以便为放大移前大的肤色部分(2-4)。一般说，如果在监视下的移动目标是人物，仅在识别人物面部之后才识别人物。面部颜色，即肤色，落在彩色和色相的某范围内。作为移前人物面部的一个因素，由CCD摄像机3捕捉肤色，然后执行移前操作。

进一步详细讨论上述操作。参考图3(3-1)到图3(3-6)，分别围绕2个门10a和10b设立了2个监视区。该区域传感器交替地监视门10a和10b。当一个人物从外部接近监视区时，CCD摄像机3识别，但仍不进入监视动作(3-1)。如果一个人物进入任何监视区，该装置探测人物(3-2)，并转移到全身跟踪模式A(3-3)。在全身跟踪模式A中，电动截锥头2被控制，摇和倾斜摄像机，将人物定位在CCD摄像机3的帧中央，为移前操作，变焦距镜头1的焦距被调节，使得监视区完全扩展在整个屏幕上。如果人物连续地步行，电动截锥头2摇和倾斜跟踪人物，以便保持人物图像在CCD摄像机3的中央3(3-4)。如果人物停止步行，进一步控制变焦距镜头1进一步移前人物。该装置转移到全身跟踪模式B，探测人物部分的肤色一般对应于人物面部。在控制变焦距镜头的焦距的同时摇和倾斜电动截锥头2，以便移前人物，使得面部按照肤色区成像在整个屏幕上。于是，该装置识别出进入监视区的人物，并捕捉面部图像。一系列的监视动作就这样结束了。

图4表示移动目标图像监视管理装置为依次处理由CCD摄像机3捕捉的图像的过程。CCD摄像机3将图像转换成的视频信号，该视频信号通过帧捕捉器4被转换成图像数据，然后交替地输出到帧存储器5A和5B。如果移动目标是人物，在一个编制的过程中，CPU 6识别储存在帧存储器5A和5B中的图像数据，执行转换处理，开始跟踪处理。如果移动目标不是人，而是机器或动物，并且，如果在该处理中不识别肤色，在执行至少一个识别处理之后取消接着的处理步骤。该装置返回到监视模式。

图5是用于判定一个移动目标是否进入了监视区的流程图。本发明的装置依次监视多个监视区(步骤5-1)。如果未在CCD摄像机3的视频信号中探测到移动目标，在CCD摄像机3用等于监视区的数目预定次数扫描之后，该装置判定未探测到移动目标(步骤5-2)。由于没有移动目标出现，帧存储器5A和5B可能也不可能保存监视区的图像。当CCD摄像机3探测到一个移动目标时，如果帧存储器5A和5B中的一个储存一个关于预定的监视区的紧前面的帧，执行差别判定处理(步骤5-3)。如果探测到当前帧数据和紧前面的帧数据之间的差别(步骤5-4)，该装置判定移动目标出现(步骤5-5和步骤5-6)，并转移到提取移动目标图像的处理(步骤5-7)。如果该装置不能判定移动目标出现，算法返回到第一步骤，重新开始。跟踪模式跟随用于提取移动目标图像的提取模式。该装  连续地执行图6所示的全身跟踪模式A和相继的图7所示的全身跟踪模式。如己经讨论的，模式A和B之间的差别是，在全身跟踪模式A中移动目标图像完全扩展在整个帧上，而在全身跟踪模式B中探测对应于面部的移动目标(人物)部分的肤色，以扩大主要的那部分。

图8表示面部跟踪模式的处理。这个处理是图2所示的最后判定处理。聚焦在帧内成像的移动目标的肤色，执行扩展处理。这些处理由CPU6来执行，并按二进制图像数据处理移动目标图像。

参考图9进一步讨论为识别被跟踪人物的处理。在这里判定捕捉图像的数值。CPU 6置检索到CPU 6中的图像数据中Y方向的2维图像的像素和以及有效像素数目为0(步骤9-1)。从指定的坐标(例如，零点)，CPU 6扫描Y方向上的像素(步骤9-2)，以探测Y方向上的有效像素数目(步骤9-3)。如果有效像素数目等于或多于Y方向上的总像素数目的一半，指定的坐标被置为有效。然后，按Y方向上的和除以有效象素数目来计算数值(步骤9-4和9-5)。如果Y方向上的有效像素数目未能达到Y方向上的总像素数目一半，数值计算受大的误差支配，CPU判定坐标无效(步骤9-6)。

如果在图9的步骤9-2中，CPU 6不能扫描Y方向上的像素，则使用图10所示的流程图。如果CPU 6不能扫描Y方向上的像素，有效像素数目被置为0(步骤9-7)，CPU 6从指定的坐标扫描X方向上的像素(步骤9-8)。从帧数据获得RGB值(步骤9-9)，然后将它们转换成HSV格式(步骤9-10)。如果被转换数据具有等于或大于阈值的S(饱和)(步骤9-11)和等于或大于阈值的V(数值)(步骤9-12)，数据被认为有效，判定肤色出现还是不出现(步骤9-13)。如果肤色在色相上落在上限和下限之间的范围内(步骤9-14)或者如果未探测到肤色，递增X方向上的数据和(9-15)。算法返回到判定步骤(步骤9-8)。如果在步骤9-8判定CPU 6不从指定坐标扫描在X方向上的像素，并且如果有效像素数目是在X方向上的总像素的一半以上(步骤9-16)，通过X方向上的和除以有效像素数目来计算一个平均值(步骤9-17)。该平均值与Y方向上的和相加(步骤9-18)，算法返回到步骤9-2。即使在步骤9-16判定有效像素数目小于X方向上的总像素数目，算法也返回到步骤9-2，进行Y方向判定。用这种方法依次执行X和Y方向处理。依次移动指定的坐标，计算对于每个坐标的数值，获得帧内的有效图像。

图11详细表示与在图5、6、7和8表示的流程图中所描述的处理共用的”目标提取”子程序。该共用子程序从图5和6所示的”差别处理”和图7和8所示的二进制图像生成处理(肤色提取处理)得到的二进制图像辨别各个目标。例如，该共用子程序从提取的肤色部分的二进制图像辨别人物的面部或手。作为像素”1”集合的区域识别目标。

具体说，如果上面参考的处理判定移动目标是人物，目标数目被置为0(步骤10-1)。称为”噪声表”的用于储存二进制图像的部分保留在存储器中(步骤10-2)。在摄像机和帧捕捉器中的模拟电气系统中，不同于要被提取的目标的噪声(例如：闪烁)在颜色像素中产生。如果颜色像素被二进制化，用具有”1”的像素给帧打点，并且，一个目标的识别成为困难。然后判定要被处理的移动目标尺寸是否是最大化的(步骤10-3)。CPU 6判定移动目标是否是可进一步扩展的。具体说，探测到帧内的移动目标。如果移动目标的尺寸(目标的数目)达到最大值，停止扩展处理(步骤10-4)，然后将数据发送到图像数据库7。考虑CPU 6的存储容量和装置的性能，预置目标的最大值。目标的最大值成为目标表的最大值。

如果要被处理的目标的尺寸不再被最大化，保留对象表中的一个区，在存储器中保留储存二进制图像的一个区(步骤10-5)。CPU 6查找由CCD摄像机3跟踪的起点(步骤10-6)。具体说，该装置光栅从左上角开始扫描，借此查找像素”1”。CPU 6判定在监视区的整个二进制图像是否从该起点被扫描(步骤10-7)。如果在扫描过程中探测到像素”1”，则动体和背景之间的边缘线被跟踪。CPU6提取象素“1”的区域外形线，将该外形线记录在目标表中(步骤10-8)。为用像素”1”填充外形线的内部执行填充处理，然后把填充区储存在目标表中(10-9)。填充处理不仅包括填充被捕捉的移动目标图像的边界线内部，也通过扫描目标图像的内部来识别图像。即使从质量比较差的图像生成二进制图像，边界线跟踪处理和填充处理也允许目标被正确识别。

将记录目标的周边长度(边界线长度)和像素数目同阈值比较(步骤10-10和10-11)。如果周边长度和像素数目小于各自的阈值，目标被认为是噪声。将目标表的内容复制到噪声表(步骤10-12)而释放目标表的内容(步骤10-13)。如果目标的周边长度和像素数目等于或大于各自的阈值，将目标数目递增1(步骤10-14)。重复同样的处理自到使目标数目最大为止。如果在”目标提取”中移动目标数目是大于1的数，例如3，则输出3个目标表和一个噪声表。获得移动目标的尺寸和数据的相关性，在跟踪处理中选择和使用一个单独的目标。

按照本发明，使用一个单独的CCD摄像机依次监视一个单独的或多个监视区。移动目标例如人物甚至在其进入监视区之前被跟踪。当移动目标在监视区中停止运动时，推摄肤色部分进行探测。于是，根据面部特征识别人物。

Claims (8)

1.一种移动目标图像监视管理装置，包括获取作为视频信号的移动目标图像信息的视频装置，用于摇和倾斜该视频装置的截锥头，用于从由视频装置输出的视频信号一帧一帧地提取静图像和将该静图像二进制化成帧数据的帧捕捉器，用于交替储存二进制化帧数据的多个帧存储器，用于控制截锥头的操作和用于处理帧数据的CPU以及用于储存处理过的数据的图像数据库。

2.一种按照权利要求1的移动目标图像监视管理装置，其中视频装置依次监视至少一个单独的预定的管制区。

3.一种按照权利要求2的移动目标图像监视管理装置，其中视频装置包括CCD摄像机。

4.一种按照权利要求3的移动目标图像监视管理装置，其中CCD摄像机包括一个由CPU控制的变焦距镜头。

5.一种按照权利要求1的移动目标图像监视管理装置，其中CPU以全身跟踪模式工作，在这种模式中，CPU检索储存在帧存储器中的帧数据，将该帧数据同紧前面的帧数据比较来探测它们之间的差别，并且，如果探测到差别，控制截锥头跟踪对应于该差别的坐标。

6.一种按照权利要求5的移动目标图像监视管理装置，其中CPU以另一种全身跟踪模式来工作，在这种模式中，如果探测到特定颜色，CPU跟踪对应于差别的坐标和控制变焦距镜头，其中该特定颜色是为将一个差别图像完全推摄在整个帧上而预定的。

7.一种按照权利要求6的移动目标图像监视管理装置，其中，当探测到完全推摄到整个帧上的差别图像的预定特定颜色时，CPU以控制变焦距镜头进一步推摄预定特定颜色的模式来工作。

8.一种按照权利要求6的移动目标图像监视管理装置，其中预定特定颜色是肤色。

Images