CN1589451A - 采用视频原语的视频监视系统 - Google Patents

采用视频原语的视频监视系统 Download PDF

Info

Publication number
CN1589451A
CN1589451A CNA028227727A CN02822772A CN1589451A CN 1589451 A CN1589451 A CN 1589451A CN A028227727 A CNA028227727 A CN A028227727A CN 02822772 A CN02822772 A CN 02822772A CN 1589451 A CN1589451 A CN 1589451A
Authority
CN
China
Prior art keywords
video
code segment
readable medium
described computer
incident
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028227727A
Other languages
English (en)
Other versions
CN100433048C (zh
Inventor
艾伦·J·利普顿
托马斯·M·斯特拉
彼得·L·温特耐
马克·C·阿尔门
威廉·E·西弗森
尼尔斯·黑里希
安德鲁·J·肖西克
张忠
马太·F·弗雷泽
詹姆士·S·斯菲克思
平多田次
约翰·I·W·克拉克
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Objectvideo Inc
Original Assignee
Diamondback Vision Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=25533496&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN1589451(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Diamondback Vision Inc filed Critical Diamondback Vision Inc
Publication of CN1589451A publication Critical patent/CN1589451A/zh
Application granted granted Critical
Publication of CN100433048C publication Critical patent/CN100433048C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/277—Analysis of motion involving stochastic approaches, e.g. using Kalman filters
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19606—Discriminating between target movement or movement in an area of interest and other non-signicative movements, e.g. target movements induced by camera shake or movements of pets, falling leaves, rotating fan
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G08B13/19615—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion wherein said pattern is defined by the user
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19695—Arrangements wherein non-video detectors start video recording or forwarding but do not generate an alarm themselves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30232—Surveillance

Abstract

建立(21)、校准(22)、分配任务(23)和操作(24)一种视频监视系统。该系统提取视频原语(42)，并利用事件鉴别符，从视频原语中提取事件发生(44)。该系统可以根据所提取出的事件发生，做出响应(45)，如警报等。

Description

采用视频原语的视频监视系统
技术领域
本发明涉及一种采用视频原语的自动视频监视系统。
参考文献
为了方便读者，这里，如下列出参考文献。在说明书中，位于括号内的数字表示相应的参考文献。这里，将所列出的参考文献一并作为参考。
以下参考文献描述了运动目标检测：
{1}A.Lipton，H.Fujiyoshi和R.S.Patil，“Moving TargetDetection and Classification from Real-Time Video”，Proceedings of IEEE WACV’98，Princeton NJ，1998年，8-14页。
{2}W.E.L.Grimson等人，“Using Adaptive Tracking toClassify and Monitor Activities in a Site”， CVPR，22-29页，1998年6月。
{3}A.J.Lipton，H.Fujiyoshi，R.S.Patil，“Moving TargetClassification and Tracking from Real-time Video”， IUW，129-136页，1998年。
{4}T.J.O1son and F.Z.Brill，“Moving Object Detection andEvent Recognition Algorithm for SmartCameras”， IUW，159-175页，1997年5月。
以下参考文献描述了检测和跟踪人类：
{5}A.J.Lipton，“Local Application of Optical Flow toAnalyse Rigid Versus Non-Rigid Motion”， International Conference on Computer Vision，Corfu，Greece，1999年9月。
{6}F.Bartolini，V.Cappellini，和A.Mecocci，“Countingpeople getting in and out of a bus by real-time image-sequenceprocessing”， IVC，12(1)：36-41，1994年1月30日。
{7}M.Rossi和A.Bozzoli，“Tracking and counting movingpeople”， ICIP94，212-216页，1994年。
{8}C.R.Wren，A.Azarbayejani，T.Darrell和A.Pentland，“Pfinder：Real-time tracking of the human body”， Vismod，1995年。
{9}L.Khoudour，L.Duvieubourg，J.P.Deparis，“Real-TimePedestrian Counting by Active Linear Cameras”， JEI，5(4)：452-459，1996年10月。
{10}S.Ioffe，D.A.Forsyth，“Probabilistic Methods forFinding People”， IJCV，43(1)：45-68，2001年6月。
{11}M.Jsard和J.MacCormick，“BraMBLe：A Bayesian Multiple-Blob Tracker” ICCV，2001年。
以下参考文献描述了斑点(blob)分析：
{12}D.M.Gavrila，“The Visual Analysis of Human Movement：A Survey”， CVIU，73(1)：82-98，1999年1月。
{13}Niels Haering和Niels da Vitoria Lobo，“Visual EventDetection”， Video Computing Series，Editor Mubarak Shah，2001年。
以下参考文献描述了针对卡车、汽车和人的斑点分析：
{14}Collins，Lipton，Kanade，Fujiyoshi，Duggins，Tsin，Tolliver，Enomoto和Hasegawa，“A System for Video Surveillanceand Monitoring：VSAM Final Report”，Technical ReportCMU-RI-TR-00-12，Robotics Institute，Carnegie MellonUniversity，2000年5月。
{15}Lipton，Fujiyoshi和Patil，“Moving TargetClassification and Tracking from Real-time Video”， 98 Darpa IUW，1998年11月20～23日。
以下参考文献描述了分析单人斑点及其轮廓：
{16}C.R.Wren，A.Azarbayejani，T.Darrell和A.P.Pentland“Pfinder：Real-Time Tracking of the Human Body”， PAMI，19卷，780～784页，1997年。
以下参考文献描述了斑点的内部运动，包括任何基于运动的片断：
{17}M.Allmen和C.Dyer，“Long--Range Spatiotemporal MotionUnderstanding Using Spatiotemporal Flow Curves”， Proc.IEEE CVPR，Lahaina，Maui，Hawaii，303-309页，1991年。
{18}L.Wixson，“Detecting Salient Motion by AccumulatingDirectionally Consistent Flow”，IEEE Trans.Pattern Anal.Mach.Intell.，22卷，774-781页，2000年8月。
背景技术
公共场所的视频监视已经得到了广泛的普及，并为普通公众所接受。不幸的是，传统的视频监视系统产生了巨大容量的数据，从而在视频监视数据的分析中遇到了难以处理的问题。
需要减少视频监视数据量，从而可以进行对视频监视数据的分析。
需要对视频监视数据进行过滤，以标识视频监视数据的所需部分。
发明内容
本发明的一个目的是减少视频监视数据量，从而能够进行视频监视数据的分析。
本发明的另一目的是过滤视频监视数据，以标识视频监视数据的所需部分。
本发明的另一目的是根据来自视频监视数据的事件的自动检测，产生实时警报。
本发明的另一目的是结合来自监视传感器的数据，而不是来自视频的数据，以便提高搜索能力。
本发明的另一目的是结合来自监视传感器的数据，而不是来自视频的数据，以便提高事件检测能力。
本发明包括一种用于视频监视的产品、方法、系统和设备。
本发明的产品包括包含了视频监视系统的软件的计算机可读介质，所述计算机可读介质包括根据视频原语操作视频监视系统的代码段。
本发明的产品包括包含了视频监视系统的软件的计算机可读介质，所述计算机可读介质包括访问归档的视频原语的代码段，以及从所访问的归档的视频原语中提取事件发生的代码段。
本发明的系统包括计算机系统，所述计算机系统包括具有依照本发明操作计算机的软件的计算机可读介质。
本发明的设备包括计算机，所述计算机包括具有依照本发明操作计算机的软件的计算机可读介质。
本发明的产品包括计算机可读介质，所述计算机可读介质具有依照本发明操作计算机的软件。
此外，对于本发明可以实现的那些目的和优点，本发明的上述目的和优点是示例性的，而非穷尽的。因此，通过以下的描述，作为对本领域的技术人员所清楚的实施例和修改，本发明的这些和其他目的和优点都是显而易见的。
定义
“视频”表示以模拟和/或数字形式表示的运动画面。其示例包括：电视、电影、来自视频照相机或其他观测仪的图像序列、以及计算机生成的图像序列。
“帧”表示视频中的特定图像或其他离散单元。
“对象”表示视频中所感兴趣的项。对象的示例包括：人、车辆、动物、物理主体。
“活动”表示一个或多个对象的一个或多个动作和/或动作的一个或多个合成。其示例包括：进入、离开、停止、运动、上升、下降、生长和收缩。
“地点”表示可以发生活动的空间。例如，地点可以是基于场景的或基于图像的。基于场景的地点的示例包括：公共场所、商店、零售店、办公室、仓库、宾馆房间、宾馆大厅、建筑物的大厅、娱乐场、公共汽车站、火车站、机场、港口、公共汽车、火车、飞机和船。基于图像的地点的示例包括：视频图像、视频图像中的行、视频图像中的区域、视频图像的矩形部分、以及视频图像的多边形部分。
“事件”表示从事于活动的一个或多个对象。可以按照地点和/或时间来表示事件。
“计算机”表示能够接受结构输入、根据指定规则处理结构输入、并产生处理结果作为输出的任何设备。计算机的示例包括：计算机、通用计算机、超级计算机、主机、超级迷你计算机、迷你计算机、工作站、微计算机、服务器、互动电视、计算机和互动电视的混合组合、以及仿真计算机和/或软件的特定用途的硬件。计算机可以具有单处理器或多处理器，多处理器可以并行操作和/或非并行操作。计算机也表示通过用于在计算机之间传送和接收信息的网络连接在一起的两个或更多个计算机。这种计算机的示例包括通过由网络连接的计算机来处理信息的分布式计算机系统。
“计算机可读介质”表示用于存储计算机可访问数据的任何存储设备。计算机可读介质的示例包括：磁硬盘、软盘、如CD-ROM和DVD等光盘、磁带、存储器芯片、以及用于携带计算机可读电数据的载波，如用在传送和接收电子邮件或用在访问网络中的那些载波。
“软件”表示操作计算机的指定规则。软件的示例包括：软件、代码段、指令、计算机程序和程序控制逻辑。
“计算机系统”表示具有计算机的系统，其中所述计算机包括具体实现了操作计算机的软件的计算机可读介质。
“网络”表示通过通信设施相连的多个计算机和相关设备。网络涉及如电缆等永久连接或那些通过电话或其他通信链路进行的临时连接。网络的示例包括如Internet等因特网、内联网、局域网(LAN)、广域网(WAN)和网络的组合，如因特网和内联网的组合等。
附图说明
通过其中相同的参考数字表示相同的部件的附图，对本发明的实施例进行更为详细的解释。
图1示出了本发明视频监视系统的平面图。
图2示出了本发明视频监视系统的流程图。
图3示出了向视频监视系统分配任务的流程图。
图4示出了操作视频监视系统的流程图。
图5示出了提取视频监视系统的视频原语的流程图。
图6示出了利用视频监视系统采取行动的流程图。
图7示出了视频监视系统的半自动校准的流程图。
图8示出了视频监视系统的自动校准的流程图。
图9示出了本发明视频监视系统的另一流程图。
图10-15示出了用于监视食品杂货店的本发明的视频监视系统的示例。
具体实施方式
例如，为了市场调查或安全性的目的，将本发明的自动视频监视系统用于监视特定地点。本系统可以是具有特制监视组件的专用视频监视装置，或者本系统可以是位于监视视频馈线上的、对现有视频监视设备的改进。本系统能够分析来自现场源或已记录介质的视频数据。本系统可以具有对分析的指定响应，例如，记录数据，激活警报机制，或启动另一传感器系统。本系统还能够与其他监视系统组件合成。本系统产生能够根据操作员的需要而制作的安全性或市场调查报告，以及可选地，可以通过交互的基于网络的接口或其他报告机制来显示。
操作员通过使用事件鉴别符，具有配置系统的最大灵活性。以一个或多个对象(其描述是基于视频原语的)及一个或多个可选空间属性和/或一个或多个可选时间属性一起标识事件鉴别符。例如，操作员可以将事件鉴别符(在此示例中，称为“闲逛”事件)定义为在“自动出纳机”空间处“长于15分钟”和“在10:00pm和6:00am之间”出现的“人”对象。
尽管本发明的视频监视系统利用了来自公共领域的公知的计算机视觉技术，但本发明的视频监视系统具有当前仍无法提供的几个惟一且新颖的特征。例如，当前的视频监视系统使用大量的视频图像作为信息交换的主要产品。本发明的系统使用视频原语作为主要产品，而将典型的视频图像用作间接证据。还可以对本发明的系统进行校准(手动、半自动、或自动)，之后，根据视频图像自动推断视频原语。本系统还可以分析先前的已处理视频，而无需完全重新处理视频。通过分析先前已处理的视频，本系统可以根据先前的已记录视频原语，进行推断分析，极大地提高了计算机系统的分析速度。
作为另一示例，本发明的系统提供了惟一的系统任务分配。利用设备控制指示，当前的视频系统允许用户定位视频传感器，以及在一些复杂的传统系统中，允许用户框出感兴趣或不感兴趣的区域。设备控制指示是控制摄像机的位置、朝向和焦点的指令。代替设备控制指示，本发明的系统使用基于视频原语的事件鉴别符，作为主要的任务分配机制。利用事件鉴别符和视频原语，向操作员提供了比传统系统更为直观的方法，以便从系统中提取有用信息。除了利用如“摄像机A向左平转45度”等设备控制指示向系统分配任务之外，可以利用如“有人进入限制区域A”等基于视频原语的一个或多个事件鉴别符，以人类直观的方式，向本发明的系统分配任务。
将本发明用于市场调查，以下是可以利用本发明执行的视频监视类型的示例：计算商店中的人数；计算商店的一部分中的人数；计算停留在商店中特定位置的人数；测量人们在商店中度过了多长时间；测量人们在商店的一部分中度过了多长时间；以及测量商店中排队的长度。
将本发明用于安全性，以下是可以利用本发明执行的视频监视的类型的示例：确定某人何时进入限制区并存储相关图像；确定何时某人在非正常的时间进入某个区域；确定何时货架和存储空间发生了可能是未经授权的改变；确定何时飞行器上的乘客靠近驾驶舱；确定何时某人尾随通过安全入口；确定机场中是否存在无人看管的箱包；以及确定是否存在小偷。
图1示出了本发明视频监视系统的平面图。计算机系统11包括计算机12，计算机12具有具体实现了根据本发明操作计算机12的软件的计算机可读介质13。计算机系统11与一个或多个视频传感器14、一个或多个录像机15以及一个或多个输入/输出(I/O)设备16相连。可以将视频传感器14可选地与录像机15相连，以便直接记录视频监视数据。计算机系统可选地与其他传感器17相连。
视频传感器14向计算机系统11提供源视频。例如，每个视频传感器14可以利用直接连接(如，火线数字摄像机接口)或网络与计算机系统11相连。视频传感器14可以在本发明安装之前就已存在，或者可以作为本发明的一部分进行安装。视频传感器14的示例包括：摄像机、数字摄像机、彩色摄像机、单色摄像机、摄像机、便携式摄像机、PC摄像机、网络摄像机、红外线摄像机、和CCTV摄像机。
录像机15从计算机系统11接收视频监视数据以进行记录，和/或向计算机系统11提供源视频。例如，每台录像机15可以使用直接连接或网络与计算机系统11相连。录像机15可以在本发明安装之前就已存在，或者可以作为本发明的一部分进行安装。录像机15的示例包括：磁带录像机、数字录像机、录像盘、DVD和计算机可读介质。
I/O设备16提供对计算机系统11的输入，并接收来自计算机系统11的输出。I/O设备16可以用于向计算机系统11分配任务，并从计算机11产生报告。I/O设备16的示例包括：键盘、鼠标、触针、监视器、打印机、另一计算机系统、网络、和警报。
其他传感器17提供对计算机系统11的额外输入。例如，每个其他传感器17可以使用直接连接或网络与计算机系统11相连。其他传感器17可以在本发明安装之前就己存在，或者可以作为本发明的一部分进行安装。其他传感器17的示例包括：运动传感器、光绊网、生物测定传感器、和基于卡或基于键盘的验证系统。计算机系统11、记录设备和/或记录系统可以记录其他传感器17的输出。
图2示出了本发明视频监视系统的流程图。参照图10-15，对本发明的多个方面进行举例说明，图10-15示出了用于监视食品杂货店的本发明的视频监视系统的示例。
在方框21中，如针对图1所讨论的那样，建立视频监视系统。将每个视频传感器14朝向视频监视地点。计算机系统11与来自视频设备14和15的视频馈线相连。可以使用该地点现有的设备或新安装的设备来实现视频监视系统。
在方框22中，校准视频监视系统。当根据方框21，视频监视系统处于适当的位置时，则校准发生。方框22的结果是视频监视系统能够确定位于由视频传感器提供的视频图像中的多个位置的特定对象(例如，人)的大约的绝对尺寸和速度。可以使用手动校准、半自动校准和自动校准来校准本系统。在讨论完方框24之后，将对校准进行进一步的描述。
在图2的方框23中，向视频监视系统分配任务。任务分配发生在方框22中的校准之后，并且是可选的。对视频监视系统的任务分配涉及对一个或多个事件鉴别符的规定。没有任务分配，视频监视系统通过检测和存档视频原语和相关视频图像进行操作，而不采取任何行动，如图4中的方框45所示。
图3示出了向视频监视系统分配任务以确定事件鉴别符的流程图。事件鉴别符表示与一个或多个空间属性和/或一个或多个时间属性可选地相互作用的一个或多个对象。以视频原语来描述事件鉴别符。视频原语表示在视频馈线中观察到的对象的可观察属性。视频原语的示例包括以下这些：分类、尺寸、形状、颜色、纹理、位置、速度、速率、内部运动、运动、显著运动、显著运动的特征、场景变化、场景变化的特征、和预定义模型。
分类表示对属于特定类别或类的对象的识别。分类的示例包括：人、狗、车辆、警车、单独的人、和特定类型的对象。
尺寸表示对象的维度属性。尺寸的示例包括：大、中、小、平坦、高于6英尺、短于1英尺、宽于3英尺、薄于4英尺、大约为人类的尺寸、大于人类、小于人类、大约为车辆的尺寸、图像中具有近似象素尺寸的矩形、和多个图像象素。
颜色表示对象的颜色属性。颜色的示例包括：白、黑、灰、红、HSV数值范围、YUV数值范围、RGB数值范围、平均RGB值、平均YUV值、和RGB值的直方图。
纹理表示对象的图案属性。纹理特征的示例包括：自相似、谱功率、线性和粗糙。
内部运动表示对对象的刚度的测量。相当坚硬的对象的示例为车，其并不表现出大量的内部运动。相当不坚硬的对象的示例为具有摆动的四肢的人，其表些出大量的内部运动。
运动表示可以自动检测的任何运动。运动的示例包括：对象的出现、对象的消失、对象的垂直运动、对象的水平运动、对象的周期运动。
显著运动表示可以自动检测并可以跟踪一段时间的任何运动。这种运动对象表现出明显的有目的运动。显著运动的示例包括：从一个位置运动到另一位置、以及运动以与另一对象相互作用。
显著运动的特征表示显著运动的特性。显著运动的特征的示例包括：轨迹、轨迹在图像空间中的长度、轨迹在环境的三维显示中的近似长度、作为时间的函数的对象在图像空间中的位置、作为时间的函数的对象在环境的三维显示中的近似位置、轨迹的持续时间、图像空间中的速度(例如，速率和方向)、环境的三维显示中的近似速度(例如，速率和方向)、该速度的持续时间、图像空间中速度的变化、环境的三维显示中速度的近似变化、速度变化的持续时间、运动的停止、以及运动停止的持续时间。速度表示对象在特定时间的速率和方向。轨迹表示当能够跟踪该对象一段时间时，该物体的(位置，速度)对的集合。
场景变化表示随着时间的改变所能检测的场景的任何区域。场景变化的示例包括：离开场景的固定对象、进入场景并固定的对象、场景中改变了位置的对象、以及改变了外观(如，颜色、形状或尺寸)的对象。
场景变化的特征表示场景变化的特性。场景变化的特征的示例包括：图像空间中场景变化的尺寸、环境的三维显示中场景变化的适当尺寸、场景变化发生的时间、图像空间中场景变化的地点、以及环境的三维显示中场景变化的近似地点。
预定义模型表示对象的先前已知模型。预定义的示例包括：成人、孩子、车辆、和半拖车。
在方框31中，以视频原语及其抽象概念识别感兴趣类型的一个或多个对象。一个或多个对象的示例包括：对象、人、红色对象、两个对象、两个人、车辆。
在方框32中，识别感兴趣的一个或多个空间区域。区域表示来自源视频的图像的一个或多个部分或者通过视频传感器正在观察的场景的空间部分。区域也包括来自多个场景和/或图像的区域的组合。区域可以是基于图像的空间(例如，视频图像中的线、矩形、多边形或圆形)，或是三维空间(例如，立方体、或建筑物中的楼层空间的区域)。
图12示出了沿食品杂货店的过道标识区域。标识了四个区域：咖啡、碳酸汽饮料、小食品和瓶装水。利用该系统，通过点击界面来标识这些区域。
在方框33中，可选地标识了感兴趣的一个或多个时间属性。时间属性的示例包括：每15分钟、在9:00pm到6:00am之间、少于5分钟、长于30秒、周末、以及在20分钟以内。
在方框34中，可选地标识了响应。响应的示例包括以下这些：激活系统显示器上的视觉和/或音频警报、激活位于该地点的视觉和/或音频警报系统、激活无声警报、激活快速响应机制、锁门、联系安全服务、通过如因特网等网络向另一计算机系统转发数据(如，图像数据、视频数据、视频原语和/或已分析数据)、将该数据保存到指定的计算机可读介质上、激活某些其他传感器或监视系统、向计算机系统11和/或另一计算机系统分配任务、以及指挥计算机系统11和/或另一计算机系统。
在方框35中，通过描述视频原语(或其抽象概念)、所感兴趣的空间区域和所感兴趣的时间属性之间的相互作用，来标识一个或多个鉴别符。针对在方框31中所定义的一个或多个对象、在方框32中所定义的一个或多个感兴趣的空间区域以及在方框33中所定义的一个或多个感兴趣的时间属性的组合，确定相互作用。将在方框34中标识的一个或多个响应可选地与每个事件鉴别符相关联。
单一对象的事件鉴别符的示例包括：对象出现、人出现、和红色对象运动快于10m/s。
多个对象的事件鉴别符的示例包括：两个对象一起来、人位于车中、和红色对象在蓝色对象之后运动。
针对对象和空间属性的事件鉴别符的示例包括：对象跨线、对象进入区域、以及人从左侧跨线。
针对对象和时间属性的事件鉴别符的示例包括：对象在10:00pm出现、人在9:00am和5:00pm之间行动快于2m/s、以及车辆在周末出现。
针对对象、空间属性和时间属性的事件鉴别符的示例包括：人在午夜和6:00am之间跨线、以及车辆停止在某一区域超过10分钟。
针对与响应相关联的对象、空间属性和时间属性的事件鉴别符的示例包括：人在午夜和6:00am之间进入某区域，并通知安全服务。
在图2的方框24中，对视频监视系统进行操作。本发明的视频监视系统自动操作，检测并存档场景中对象的视频原语，并利用事件鉴别符实时地检测事件发生。此外，在适当时，实时地采取行动，如激活警报、产生报告和产生输出等。可以将这些报告和输出本地地显示和/或存储于该系统，或者通过如因特网等网络显示于和/或存储于其他地方。图4示出了操作视频监视系统的流程图。
在方框41中，计算机系统11从视频传感器14和/或录像机15获得源视频。
在方框42中，从源视频中实时地提取出视频原语。作为选项，可以从一个或多个其他传感器17获得和/或提取非视频原语，并于本发明一起使用。图5示出了视频原语的提取。
图5示出了用于提取视频监视系统的视频原语的流程图。方框51和52并行操作，并可以按照任何顺序或同时执行。在方框51中，通过运动来检测对象。针对此方框，可以使用用于在象素级检测帧之间的运动的任何运动检测算法。作为示例，可以使用三帧差分技术，在{1}中对该技术进行了讨论。将检测到的对象转发到方框53。
在方框52中，通过变化来检测对象。针对此方框，可以使用用于从背景模块中检测变化的任何变化检测算法。如果因为象素不与帧的背景模块相一致，而确定该帧中的一个或多个象素处于该帧的前景中，则在此方框中，检测对象。作为示例，可以使用随机背景建模技术，如动态适应背景扣除等，在{1}和2000年10月24日递交的美国专利申请No.09/694,712中描述了该技术。将检测到的对象转发到方框53。
方框51的运动检测技术和方框52的变化检测技术是互补技术，每个技术有利地弥补了另一技术中的缺陷，作为选项，针对方框51和52所讨论的技术，可以使用额外的和/或可选的检测方案。额外的和/或可选的检测方案的示例包括以下这些：如{8}中所述的用于寻找人的Pfinder检测方案、肤色检测方案、面部检测方案、和基于模型的检测方案。将这些额外的和/或可选的检测方案的结果提供给方框53。
作为选项，如果视频传感器14能够运动(例如，摄像机扫描、缩放、和/或平移)，可以将额外的方框插入在方框51和52之间的方框之前，以提供对方框51和52的输入，以便于视频稳定性。通过仿射或投影全局运动补偿，可以实现视频稳定性。例如，可以使用这里一并作为参考的、2000年7月3日递交的美国专利申请No.09/609,919中所描述的图像对准，以获得视频稳定性。
在方框53中，产生斑点。通常，斑点是帧中的任何对象。斑点的示例包括：如人或车辆等运动对象、以及如家具、衣物或零售货架项等消费产品。利用来自方框32和33的检测对象来产生斑点。针对此方框，可以使用任何用于产生斑点的技术。根据运动检测和变化检测来产生斑点的典型技术使用连接部件方案。例如，可以使用形态学和连接部件算法，在{1}中对该方案进行了描述。
在方框54中，跟踪斑点。针对此方框，可以使用任何用于跟踪斑点的技术。例如，可以使用Kalman过滤或CONDENSATION算法。作为另一示例，可以使用如{1}中所描述的模板匹配技术。作为另一示例，可以使用多假设Kalman跟踪系统，如{5}所述。作为又一示例，可以使用在2000年10月24日递交的美国专利申请No.09/694,712中所描述的帧到帧跟踪技术。对于地点是食品杂货店的示例，可以对其进行跟踪的对象的示例包括运动的人、存货项和存货运动器械，如购物车或手推车。
作为选项，能够以本领域的普通技术人员所公知的任何检测和跟踪方案来代替方框51-54。在{11}中描述了这种检测和跟踪方案的示例。
在方框55中，分析所跟踪对象的每个轨迹，以确定该轨迹是否显著。如果该轨迹不显著，则该轨迹显示表现出不稳定运动的对象，或显示表现出不稳定大小或颜色的对象，并且系统拒绝相应的对象，并不再对其进行分析。如果轨迹显著，则该轨迹显示有潜在兴趣的对象。通过对轨迹应用显著性测量，来确定轨迹是否显著。在{13}和{18}中描述了用于确定轨迹是否显著的技术。
在方框56中，对每个对象进行分类。将每个对象的普通类型确定为对象的分类。可以通过多种技术来进行分类，而这些技术的示例包括使用神经网络分类器{14}以及使用线性鉴别分类器{14}。分类的示例与针对方框23所讨论的那些是相同的。
在方框57中，利用来自方框5l-56的信息和所需的额外处理，标识视频原语。所标识的视频原语的示例与针对方框23所讨论的那些相同。作为示例，针对尺寸，该系统可以使用从方框22中的校准所获得的信息，作为视频原语。根据校准，系统具有确定对象的近似尺寸的足够信息。作为另一示例，该系统可以将由方框54测量的速度用作视频原语。
在方框43中，存档来自方框42的视频原语。可以将视频原语存档在计算机可读介质13中或另外的计算机可读介质中。与视频原语一起，可以存档来自源视频的相关帧或视频图像。
在方框44中，利用事件鉴别符，从视频原语中提取出事件发生。在方框42中确定视频原语，并通过方框23中的向系统分配任务，来确定事件鉴别符。将事件鉴别符用于过滤视频原语，以确定是否发生了任何事件发生。例如，事件鉴别符可以查找“走错路”事件，该事件被定义为有人在9:00am和5:00pm之间“走错路”到达了某一区域。事件鉴别符检查根据图5所产生的所有视频原语，并确定是否存在具有以下特性的视频原语：9:00am和5:00pm之间的时标、“人”或“人群”的分类、该区域内的位置、以及“错误”的运动方向。
在方框45中，针对方框44中所提取出的每个事件发生采取所需的行动。图6示出了利用视频监视系统采取行动的流程图。
在方框61中，如检测到事件发生的事件鉴别符所指示的那样，进行响应。如果可能，针对方框34中的每个事件鉴别符来标识响应。
在方框62中，针对每个所发生的事件发生，产生活动记录。例如，活动记录包括：对象轨迹的细节、检测到对象的事件、检测到对象的位置、以及所采用的事件鉴别符的描述或定义。活动记录可以包括如视频原语等事件鉴别符所需的信息。活动记录也可以包括事件发生所涉及的对象的代表视频或静态图像和/或区域。将活动记录存储在计算机可读介质上。
在方框63中，产生输出。输出是基于在方框44中所提取出的事件发生和来自方框41的源视频的直接馈送的。将输出存储在计算机可读介质中、显示在计算机系统11或另外的计算机系统上，或转发给另外的计算机系统。当系统进行操作时，收集与事件发生有关的信息，并且可以由操作员在任何时刻包括实时地观察该信息。用于接收信息的格式的示例包括：在计算机系统的监视器上的显示、硬拷贝、计算机可读介质和交互网页。
输出可以包括来自方框41的源视频的直接馈送的显示。例如，可以将源视频显示在计算机系统的监视器的窗口上，或者显示在闭路监视器上。此外，该输出可以包括以图形标记的源视频，以突出显示事件发送所涉及的对象和/或区域。
根据操作员和/或事件发生的要求，输出可以包括给操作员的一个或多个报告。报告的示例包括：所发生的事件发生的数量、场景中发生了事件发生的位置、发生了事件发生的时间、每个事件发生的代表图像、每个事件发生的代表视频、原始统计数据、事件发生的统计(例如，多少、多久一次、什么地方以及什么时候)、和/或人类可读图形显示。
图13和14示出了针对图15的食品杂货店中的过道的典型报告。在图13和图14中，在方框22中识别了几个区域，并由此在图像中对其进行标记。图13中的区域与图12中的区域相匹配，而图14中的区域是不同的区域。向系统分配寻找停留在该区域中的人的任务。
在图13中，典型的报告是来自进行了标记的视频的图像，包括标记、图形、统计信息和对统计信息的分析。例如，被标识为咖啡的区域具有该区域中的平均顾客数为2/小时以及该区域中的平均停留时间为5秒的统计信息。系统将此区域确定为“冷”区域，表示不存在太多通过此区域的商业活动。作为另一示例，被标识为碳酸汽饮料的区域具有该区域中的平均顾客数为15/小时以及该区域中的平均停留时间为22秒的统计信息。系统将此区域确定为“热”区域，表示在此区域中存在大量的商业活动。
在图14中，典型的报告是来自进行了标记的视频的图像，包括标记、图形、统计信息和对统计信息的分析。例如，在过道后面的区域具有14/小时的平均顾客数，并被确定为具有较低的业务量。作为另一示例，在过道前面的区域具有83/小时的平均顾客数，并被确定为具有较高的业务量。
对于图13或图14，如果操作员需要更多与任何特定区域有关的信息，则点击界面允许操作员通过系统已经检测到并已存档的区域和/或活动的代表静态画面和视频图像进行定位。
图15示出了针对食品杂货店中的过道的另一典型报告。此典型报告包括来自进行了标记的视频的图像，包括标记和轨迹指示以及描述已进行标记的图像的文字。向此示例的系统分配搜索多个区域的任务：对象轨迹的长度、位置和时间；对象静止的时间和位置；按照操作员规定的、轨迹与区域的相关性；以及将对象分类为不是人、一个人、两个人和三个或更多人。
图15的视频图像来自记录了轨迹的时间段。在三个对象中，两个对象分别被分类为一个人，而另一对象被分类为不是人。将标记分配给每个对象，及人ID 1032、人ID 1033和对象ID 32001。对于人ID 1032，系统确定这个人在该区域中停留了52秒，并且在由圆圈所指定的位置停留了18秒。对于人ID 1033，该系统确定这个人在该区域中停留了1分零8秒，并且在由圆圈所指定的位置停留了12秒。在进行了标记的图像中包括人ID 1032和人ID 1033的轨迹。对于对象ID 32001，系统并未对其进行进一步分析，并利用X来表示该对象的位置。
返回图2中的方框22，校准可以(1)手动的，(2)利用来自视频传感器或录像机的图像的半自动的，或者(3)利用来自视频传感器或录像机的图像的自动的。如果需要图像，假设要由计算机系统11进行分析的源视频来自获得了用于校准的源视频的视频传感器。
对于手动校准，操作员向计算机系统11提供每个视频传感器14的朝向和内部参数，以及每个视频传感器14相对于该地点的位移。计算机系统11可以可选地维持该地点的地图，并且可以在地图上表示视频传感器14的位移。地图可以是该环境的二维或三维显示。此外，手动校准向系统提供了确定对象的近似尺寸和相对位置的足够信息。
代替地，对于手动校准，操作员可以利用表示如人等已知尺寸的对象的出现的图形来标记来自传感器的视频图像。如果操作员可以标记至少两个不同位置处的图像，系统可以推断近似的摄像机校准信息。
对于半自动和自动校准，不需要知道摄像机参数或场景几何结构。根据半自动和自动校准，产生查找表，以近似估计场景中多个区域处的对象的尺寸，或推断摄像机的内部和外部摄像机校准参数。
对于半自动校准，利用与来自操作员的输入相组合的视频源，对视频监视系统进行校准。使单个的人位于视频传感器的视场中，以进行半自动校准。计算机系统11接收与单个人有关的源视频，并根据数据，自动推断人的尺寸。随着观察到这个人的视频传感器的市场中的位置数的增加，以及随着在视频传感器中观察到这个人的时间段的增加，半自动校准的精度增加。
图7示出了视频监视系统的半自动校准的流程图。方框71与方框41相同，除了典型对象以多种轨迹通过该场景之外。典型对象可以具有多种速度，并且可以在多个位置静止不动。例如，典型对象尽可能地靠近视频传感器，然后尽可能远地远离视频传感器。如果需要，可以重复典型对象的这种运动。
方框72-75分别与方框51-54相同。
在方框76中，贯穿整个场景地监视典型对象。假设只有(或者至少是最为)稳定的被跟踪对象是场景中的校准对象(即，运动通过该场景的典型对象)。在场景中观察到该对象的每个点，收集此稳定对象的尺寸，并将此信息用于产生校准信息。
在方框77中，针对整个场景中的不同区域标识典型对象的尺寸。将典型对象的尺寸用于确定位于场景中多个区域处的类似对象的近似尺寸。利用此信息，产生查找表，与图像中多个区域中的典型对象的典型外观尺寸相匹配，或者推断内部和外部摄像机校准参数。作为采样输出，图像的多个区域中的棒状图的显示表示系统将其确定为适当高度。图11中描述了这种棒状图。
对于自动校准，执行学习阶段，其中计算机系统11确定与每个视频摄像机的视场中的地点有关的信息。在自动校准期间，计算机11接收该地点的源视频足以获得该场景的典型对象的统计显著采样的典型时间段(例如，分钟、小时或天)，从而推断典型外观尺寸和地点。
图8示出了视频监视系统的自动校准的流程图。方框81-86与图7中的方框71-76相同。
在方框87中，标识视频传感器的视场中的可跟踪区域。可跟踪区域表示视频传感器的视场中可以容易和/或精确跟踪对象的区域。不可跟踪区域表示视频传感器的视场中不容易和/或不精确跟踪对象和/或难以跟踪对象的区域。可以将不可跟踪区域表示为不稳定或不显著区域。因为该对象较小(例如，小于预定的阈值)、出现较短的时间(例如，短于预定的阈值)或者表现出并不显著的运动(例如，无目的的)，可能很难跟踪该对象。例如，可以利用{13}中所描述的技术来标识可跟踪区域。
图10示出了针对食品杂货店中的过道而确定的可跟踪区域。将位于过道远端的区域确定为不显著的，因为在此区域中出现了太多的干扰。干扰表示视频中混淆跟踪方案的某物。干扰的示例包括：吹动的树叶、雨、部分遮蔽的对象、出现太短时间而难以精确跟踪的对象。相反，将过道近端的区域确定为显著的，因为针对此区域，确定了良好的跟踪。
在方框88中，针对在整个场景中的不同区域标识对象的尺寸。对象的尺寸用于确定场景中不同区域处的类似对象的近似尺寸。将如使用直方图或统计中值等技术用于作为场景中地点的函数，来确定对象的典型外观高度和宽度。在场景的图形的一部分中，典型对象可以具有典型外观高度和宽度。利用此信息，产生查找表，与图像中的多个区域中的典型外观尺寸相匹配，或者可以推断出内部和外部摄像机校准参数。
图11示出了识别来自图10的食品杂货店的过道中的典型对象的典型尺寸。假设典型对象是人，并由此以标记来标识。通过在显著区域中所检测到的人的平均高度和平均宽度的曲线图来确定人的典型尺寸。在此示例中，曲线A确定普通人的平均高度，而曲线B确定一个人、两个人和三个人的平均宽度。
对于曲线A，x轴表示以象素为单位的斑点的高度，而y轴表示当在x轴上进行标识时所出现的特定高度的示例数。曲线A的峰值对应于在该场景中的指定区域中最普遍的斑点高度，对于此示例，该峰值对应于站在此指定区域中的人的平均高度。
假设人们以较为稀松的人群行进，针对宽度，产生类似于曲线A的曲线图，作为曲线B。针对曲线B，x轴表示以象素为单位的斑点的宽度，而y轴表示当在x轴上进行标识时所出现的特定宽度的示例数。曲线B的峰值对应于多个斑点的平均宽度。假设最多的人群只包含一个人，最大的峰值对应于最普遍的宽度，其对应于在指定区域中的单个人的平均宽度。类似地，第二大的峰值对应于在指定区域中的两个人的平均宽度，而第三大的峰值对应于在指定区域中的三个人的平均宽度。
图9示出了本发明视频监视系统的另一流程图。在此额外的实施例中，该系统利用事件鉴别符分析已存档的视频原语，以产生额外的报告，例如，无需回顾整个源视频。在根据本发明处理了视频源之后的任意时刻，在图4的方框43中，对针对源视频的视频原语进行存档。能够以相对较短的时间，利用额外的实施例，重新分析视频内容，这使因为只回顾了视频原语，而并未重新处理视频源。这相对于当前的现有系统，提供了极大的效率改进，因为处理视频图像数据是极其计算昂贵的，而分析从视频中提炼出的小尺寸视频原语是及其计算便宜的。作为示例，可以产生以下的事件鉴别符：“在过去的两个月中，在区域A中停留超过10分钟的人数。”利用此额外的实施例，不需要回顾过去两个月中的源视频。代替地，只需要回顾来自过去两个月的视频原语，这是极其更为有效的处理。
方框91与图2中的方框23相同。
在方框92中，访问已存档视频原语。在图4的方框43中，对视频原语进行存档。
方框93和94与图4中的方框44和45相同。
作为典型应用，本发明可以通过测量零售展示的效果，来分析零售市场空间。大量的费用被注入到零售展示中，以便通过眼球效应来尽可能地促进所展示的物品及附属品的销售。可以配置本发明的视频监视系统来测量这些零售展示的效果。
对于此典型应用，通过将视频传感器的视场定向到所关心的零售展示周围的空间，来建立视频监视系统。在任务分配期间，操作员选择表示所关心的零售展示周围的空间的区域。作为鉴别符，操作员定义他或她想要监视进入此区域并在速度上表现出可测量的减慢或停下可感知的时间的人形尺寸的对象。
在操作了一段时间之后，视频监视系统可以提供用于市场分析的报告。该报告可以包括：在零售展示周围放慢速度的人数；停留在该零售展示处的人数；作为时间的函数，对该零售展示感兴趣的人数的分解，例如，在周末有多少人感兴趣，以及在晚上有多少人感兴趣；以及对该零售展示表现出兴趣的人们的快照。可以将由视频监视系统获得的市场调查信息与来自商店的销售信息和来自商店的消费者记录进行组合，以提高分析师对零售展示的效果的理解。
这里所讨论的实施例和示例均为非限制性示例。
针对优选实施例，对本发明进行了详细的描述，现在，通过前面的描述，对于本领域的技术人员显而易见的是，在本发明较为广泛的方面中，不偏离本发明的前提下，可以进行变化和修改，因此，正如权利要求中所限定的那样，本发明倾向于覆盖落入本发明的真实精神之内的所有这种变化和修改。

Claims (26)

1、一种包含视频监视系统的软件的计算机可读介质，所述计算机可读介质包括用于根据视频原语操作视频监视系统的代码段。
2、按照权利要求1所述的计算机可读介质，其特征在于用于操作视频监视系统的代码段包括：
用于提取视频原语的代码段；以及
用于从视频原语中提取事件发生的代码段。
3、按照权利要求2所述的计算机可读介质，其特征在于利用事件鉴别符提取事件发生。
4、按照权利要求2所述的计算机可读介质，其特征在于还包括用于对所提取出的视频原语进行存档的代码段。
5、按照权利要求2所述的计算机可读介质，其特征在于还包括用于根据所提取出的事件发生进行响应的代码段。
6、按照权利要求5所述的计算机可读介质，其特征在于响应包括启动另外的传感器系统。
7、按照权利要求1所述的计算机可读介质，其特征在于还包括用于校准视频监视系统的代码段。
8、按照权利要求7所述的计算机可读介质，其特征在于用于校准的代码段包括用于自校准视频监视系统的代码段。
9、按照权利要求8所述的计算机可读介质，其特征在于用于自校准的代码段包括：
用于检测源视频中的至少一个对象的代码段；以及
用于跟踪所述对象的代码段。
10、按照权利要求9所述的计算机可读介质，其特征在于用于检测至少一个对象的代码段包括：
用于通过至少一个对象的运动来检测所述对象的代码段；以及
用于通过背景模型的变化来检测至少一个对象的代码段。
11、按照权利要求7所述的计算机可读介质，其特征在于用于自校准的代码段包括：
用于标识可跟踪区域的代码段；以及
用于标识典型对象的典型尺寸的代码段。
12、按照权利要求7所述的计算机可读介质，其特征在于用于校准的代码段包括：
用于手动校准的代码段；
用于半自动校准的代码段；以及
用于自动校准的代码段。
13、按照权利要求1所述的计算机可读介质，其特征在于还包括用于利用事件鉴别符向视频监视系统分配任务的代码段。
14、按照权利要求13所述的计算机可读介质，其特征在于用于分配任务的代码段包括用于标识至少一个对象的代码段。
15、按照权利要求13所述的计算机可读介质，其特征在于用于分配任务的代码段包括用于标识至少一个空间区域的代码段。
16、按照权利要求13所述的计算机可读介质，其特征在于用于分配任务的代码段包括用于标识至少一个事件属性的代码段。
17、按照权利要求13所述的计算机可读介质，其特征在于用于分配任务的代码段识别至少一个交互动作。
18、按照权利要求13所述的计算机可读介质，其特征在于用于分配任务的代码段识别至少一个警报。
19、按照权利要求1所述的计算机可读介质，其特征在于视频原语来自视频传感器和另外的传感器中的至少一个。
20、按照权利要求1所述的计算机可读介质，其特征在于从视频原语的档案中检索视频原语。
21、一种计算机系统，包括按照权利要求1所述的计算机可读介质。
22、一种包含视频监视系统的软件的计算机可读介质，所述计算机可读介质包括：
用于访问已存档视频原语的代码段；以及
用于从所访问的已存档视频原语中提取事件发生的代码段。
23、按照权利要求22所述的计算机可读介质，其特征在于利用事件鉴别符提取事件发生。
24、按照权利要求22所述的计算机可读介质，其特征在于还包括用于根据所提取出的事件发生进行响应的代码段。
25、一种方法，包括根据视频原语操作视频监视系统的步骤。
26、一种方法，包括以下步骤：
访问已存档视频原语；以及
从所访问的视频原语中提取事件发生。
CNB028227727A 2001-11-15 2002-07-17 采用视频原语的视频监视系统和方法 Expired - Lifetime CN100433048C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/987,707 2001-11-15
US09/987,707 US20050146605A1 (en) 2000-10-24 2001-11-15 Video surveillance system employing video primitives

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CNA2008101491240A Division CN101399971A (zh) 2001-11-15 2002-07-17 采用视频原语的视频监视系统和方法

Publications (2)

Publication Number Publication Date
CN1589451A true CN1589451A (zh) 2005-03-02
CN100433048C CN100433048C (zh) 2008-11-12

Family

ID=25533496

Family Applications (2)

Application Number Title Priority Date Filing Date
CNA2008101491240A Pending CN101399971A (zh) 2001-11-15 2002-07-17 采用视频原语的视频监视系统和方法
CNB028227727A Expired - Lifetime CN100433048C (zh) 2001-11-15 2002-07-17 采用视频原语的视频监视系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CNA2008101491240A Pending CN101399971A (zh) 2001-11-15 2002-07-17 采用视频原语的视频监视系统和方法

Country Status (11)

Country Link
US (2) US20050146605A1 (zh)
EP (3) EP1444643A4 (zh)
JP (1) JP4369233B2 (zh)
KR (1) KR20040053307A (zh)
CN (2) CN101399971A (zh)
AU (1) AU2002366148A1 (zh)
CA (1) CA2465954A1 (zh)
HK (1) HK1073375A1 (zh)
IL (1) IL161777A0 (zh)
MX (1) MXPA04004698A (zh)
WO (1) WO2003044727A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111147808A (zh) * 2018-11-05 2020-05-12 纬创资通股份有限公司 网络装置、影像处理方法及电脑可读媒体

Families Citing this family (145)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6940998B2 (en) * 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8711217B2 (en) 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US8564661B2 (en) 2000-10-24 2013-10-22 Objectvideo, Inc. Video analytic rule detection system and method
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US20050146605A1 (en) 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US20050162515A1 (en) * 2000-10-24 2005-07-28 Objectvideo, Inc. Video surveillance system
US7424175B2 (en) 2001-03-23 2008-09-09 Objectvideo, Inc. Video segmentation using statistical pixel modeling
EP1472869A4 (en) * 2002-02-06 2008-07-30 Nice Systems Ltd SYSTEM AND METHOD FOR DETECTION, MONITORING AND ALARM MANAGEMENT BASED ON VIDEO CONTENT ANALYSIS
JP4201570B2 (ja) * 2002-05-20 2008-12-24 淳一 棚橋 監視装置及び監視システム
AU2003237579A1 (en) * 2002-07-05 2004-01-23 Aspectus Ltd A method and system for effectively performing event detection in a large number of concurrent image sequences
US7697026B2 (en) * 2004-03-16 2010-04-13 3Vr Security, Inc. Pipeline architecture for analyzing multiple video streams
US20050285941A1 (en) * 2004-06-28 2005-12-29 Haigh Karen Z Monitoring devices
WO2006011804A1 (en) * 2004-07-30 2006-02-02 Eagle Vision Systems B.V. System and method for the detection of persons
WO2006025185A1 (ja) * 2004-08-31 2006-03-09 Matsushita Electric Industrial Co., Ltd. 監視記録装置およびその方法
SE528330C2 (sv) * 2004-11-11 2006-10-24 Totalfoersvarets Forskningsins Metod för övervakning av ett geografiskt område
US7372975B2 (en) * 2004-12-06 2008-05-13 Mitsubishi Electric Research Laboratory, Inc. Method for secure background modeling in images
ITMN20050003A1 (it) * 2005-01-14 2006-07-15 Renato Grassi Telecamera antirapina
US7944469B2 (en) * 2005-02-14 2011-05-17 Vigilos, Llc System and method for using self-learning rules to enable adaptive security monitoring
JP4449782B2 (ja) * 2005-02-25 2010-04-14 ソニー株式会社 撮像装置および画像配信方法
US7240834B2 (en) * 2005-03-21 2007-07-10 Mitsubishi Electric Research Laboratories, Inc. Real-time retail marketing system and method
US20060222206A1 (en) * 2005-03-30 2006-10-05 Cernium, Inc. Intelligent video behavior recognition with multiple masks and configurable logic inference module
US20060232673A1 (en) * 2005-04-19 2006-10-19 Objectvideo, Inc. Video-based human verification system and method
US20070002141A1 (en) * 2005-04-19 2007-01-04 Objectvideo, Inc. Video-based human, non-human, and/or motion verification system and method
US7613322B2 (en) * 2005-05-19 2009-11-03 Objectvideo, Inc. Periodic motion detection with applications to multi-grabbing
US7822224B2 (en) 2005-06-22 2010-10-26 Cernium Corporation Terrain map summary elements
US7796780B2 (en) * 2005-06-24 2010-09-14 Objectvideo, Inc. Target detection and tracking from overhead video streams
US7801330B2 (en) * 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
US9036028B2 (en) 2005-09-02 2015-05-19 Sensormatic Electronics, LLC Object tracking and alerts
JP4321541B2 (ja) * 2006-04-03 2009-08-26 ソニー株式会社 監視装置と監視方法
CA2649389A1 (en) 2006-04-17 2007-11-08 Objectvideo, Inc. Video segmentation using statistical pixel modeling
TW200745996A (en) 2006-05-24 2007-12-16 Objectvideo Inc Intelligent imagery-based sensor
WO2007139994A2 (en) * 2006-05-25 2007-12-06 Objectvideo, Inc. Intelligent video verification of point of sale (pos) transactions
CN103824407B (zh) * 2006-06-02 2017-05-24 传感电子有限责任公司 用于远程场点的分布式监视的系统和方法
WO2008008505A2 (en) * 2006-07-14 2008-01-17 Objectvideo, Inc. Video analytics for retail business process monitoring
US20080074496A1 (en) * 2006-09-22 2008-03-27 Object Video, Inc. Video analytics for banking business process monitoring
US8072482B2 (en) 2006-11-09 2011-12-06 Innovative Signal Anlysis Imaging system having a rotatable image-directing device
FR2909202B1 (fr) * 2006-11-23 2009-02-13 Inc 01 Soc Par Actions Simplif Procede d'analyse de la disposition de produits dans un lineaire de magasin.
US7949150B2 (en) * 2007-04-02 2011-05-24 Objectvideo, Inc. Automatic camera calibration and geo-registration using objects that provide positional information
US20080273754A1 (en) * 2007-05-04 2008-11-06 Leviton Manufacturing Co., Inc. Apparatus and method for defining an area of interest for image sensing
ITMI20071016A1 (it) * 2007-05-19 2008-11-20 Videotec Spa Metodo e sistema per sorvegliare un ambiente
TW200926011A (en) * 2007-09-04 2009-06-16 Objectvideo Inc Background modeling with feature blocks
DE102007041893A1 (de) * 2007-09-04 2009-03-05 Robert Bosch Gmbh Verfahren zur Detektion und/oder Verfolgung von bewegten Objekten in einer Überwachungsszene mit Störern, Vorrichtung sowie Computerprogramm
US8098891B2 (en) * 2007-11-29 2012-01-17 Nec Laboratories America, Inc. Efficient multi-hypothesis multi-human 3D tracking in crowded scenes
US9019381B2 (en) * 2008-05-09 2015-04-28 Intuvision Inc. Video tracking systems and methods employing cognitive vision
US9342594B2 (en) * 2008-10-29 2016-05-17 International Business Machines Corporation Indexing and searching according to attributes of a person
US20100114617A1 (en) * 2008-10-30 2010-05-06 International Business Machines Corporation Detecting potentially fraudulent transactions
US8612286B2 (en) * 2008-10-31 2013-12-17 International Business Machines Corporation Creating a training tool
US9299229B2 (en) * 2008-10-31 2016-03-29 Toshiba Global Commerce Solutions Holdings Corporation Detecting primitive events at checkout
US8345101B2 (en) * 2008-10-31 2013-01-01 International Business Machines Corporation Automatically calibrating regions of interest for video surveillance
US8429016B2 (en) * 2008-10-31 2013-04-23 International Business Machines Corporation Generating an alert based on absence of a given person in a transaction
US7962365B2 (en) * 2008-10-31 2011-06-14 International Business Machines Corporation Using detailed process information at a point of sale
US8165349B2 (en) * 2008-11-29 2012-04-24 International Business Machines Corporation Analyzing repetitive sequential events
US8253831B2 (en) * 2008-11-29 2012-08-28 International Business Machines Corporation Location-aware event detection
JP5047203B2 (ja) * 2009-02-10 2012-10-10 パナソニック株式会社 監視カメラシステム、映像記録装置及び映像記録方法
US8180107B2 (en) * 2009-02-13 2012-05-15 Sri International Active coordinated tracking for multi-camera systems
US20120020518A1 (en) * 2009-02-24 2012-01-26 Shinya Taguchi Person tracking device and person tracking program
WO2010124062A1 (en) 2009-04-22 2010-10-28 Cernium Corporation System and method for motion detection in a surveillance video
US11004093B1 (en) * 2009-06-29 2021-05-11 Videomining Corporation Method and system for detecting shopping groups based on trajectory dynamics
IL201200A0 (en) * 2009-09-24 2011-07-31 Elbit Systems Ltd System and method for long-range surveillance of a scene and alerting of predetermined unusual activity
US9430923B2 (en) 2009-11-30 2016-08-30 Innovative Signal Analysis, Inc. Moving object detection, tracking, and displaying systems
US8259175B2 (en) 2010-02-01 2012-09-04 International Business Machines Corporation Optimizing video stream processing
US8594482B2 (en) 2010-05-13 2013-11-26 International Business Machines Corporation Auditing video analytics through essence generation
US8478048B2 (en) 2010-07-08 2013-07-02 International Business Machines Corporation Optimization of human activity determination from video
US8193909B1 (en) 2010-11-15 2012-06-05 Intergraph Technologies Company System and method for camera control in a surveillance system
DE102011011931A1 (de) 2011-02-18 2012-08-23 Hella Kgaa Hueck & Co. Verfahren zum Auswerten einer Mehrzahl zeitlich versetzter Bilder, Vorrichtung zur Auswertung von Bildern, Überwachungssystem
WO2012119903A1 (de) 2011-03-04 2012-09-13 Deutsche Telekom Ag Verfahren und system zur sturzerkennung und weitergabe eines alarms
GB2490660A (en) * 2011-05-04 2012-11-14 Infared Integrated Systems Ltd Queue monitoring system
CN103733633B (zh) * 2011-05-12 2017-11-21 索林科集团 视频分析系统
US8953039B2 (en) 2011-07-01 2015-02-10 Utc Fire & Security Corporation System and method for auto-commissioning an intelligent video system
US8929588B2 (en) 2011-07-22 2015-01-06 Honeywell International Inc. Object tracking
JP5423740B2 (ja) * 2011-08-23 2014-02-19 日本電気株式会社 映像提供装置、映像利用装置、映像提供システム、映像提供方法、および、コンピュータ・プログラム
US8781995B2 (en) * 2011-09-23 2014-07-15 Fujitsu Limited Range queries in binary decision diagrams
US9338409B2 (en) * 2012-01-17 2016-05-10 Avigilon Fortress Corporation System and method for home health care monitoring
FI20125275L (fi) * 2012-03-14 2013-09-15 Mirasys Business Analytics Oy Menetelmä, laite ja tietokoneohjelma objektin korkeuden estimoimiseksi kuvassa
US9195883B2 (en) 2012-04-09 2015-11-24 Avigilon Fortress Corporation Object tracking and best shot detection system
US10289917B1 (en) 2013-11-12 2019-05-14 Kuna Systems Corporation Sensor to characterize the behavior of a visitor or a notable event
US9311645B2 (en) * 2012-08-31 2016-04-12 Ncr Corporation Techniques for checkout security using video surveillance
WO2014039050A1 (en) 2012-09-07 2014-03-13 Siemens Aktiengesellschaft Methods and apparatus for establishing exit/entry criteria for a secure location
US9374870B2 (en) 2012-09-12 2016-06-21 Sensity Systems Inc. Networked lighting infrastructure for sensing applications
US9582671B2 (en) 2014-03-06 2017-02-28 Sensity Systems Inc. Security and data privacy for lighting sensory networks
US9165190B2 (en) 2012-09-12 2015-10-20 Avigilon Fortress Corporation 3D human pose and shape modeling
US9213781B1 (en) 2012-09-19 2015-12-15 Placemeter LLC System and method for processing image data
US10049281B2 (en) * 2012-11-12 2018-08-14 Shopperception, Inc. Methods and systems for measuring human interaction
US9256970B2 (en) * 2013-03-15 2016-02-09 Hewlett Packard Enterprise Development Lp Visual analytics of multivariate session data using concentric rings with overlapping periods
US10657755B2 (en) * 2013-03-15 2020-05-19 James Carey Investigation generation in an observation and surveillance system
CA3091605A1 (en) * 2013-03-15 2014-09-15 James Carey Investigation generation in an observation and surveillance system
US9933297B2 (en) 2013-03-26 2018-04-03 Sensity Systems Inc. System and method for planning and monitoring a light sensory network
EP2976856B1 (en) 2013-03-26 2019-08-14 Sensity Systems Inc. Sensor nodes with multicast transmissions in lighting sensory network
JP6141437B2 (ja) * 2013-09-26 2017-06-07 三菱電機株式会社 監視カメラ、監視システム及び動き判定方法
US9746370B2 (en) 2014-02-26 2017-08-29 Sensity Systems Inc. Method and apparatus for measuring illumination characteristics of a luminaire
US20150248917A1 (en) * 2014-02-28 2015-09-03 Second Spectrum, Inc. System and method for performing spatio-temporal analysis of sporting events
US10521671B2 (en) 2014-02-28 2019-12-31 Second Spectrum, Inc. Methods and systems of spatiotemporal pattern recognition for video content development
US10769446B2 (en) 2014-02-28 2020-09-08 Second Spectrum, Inc. Methods and systems of combining video content with one or more augmentations
US11861906B2 (en) 2014-02-28 2024-01-02 Genius Sports Ss, Llc Data processing systems and methods for enhanced augmentation of interactive video content
US10713494B2 (en) 2014-02-28 2020-07-14 Second Spectrum, Inc. Data processing systems and methods for generating and interactive user interfaces and interactive game systems based on spatiotemporal analysis of video content
US11120271B2 (en) 2014-02-28 2021-09-14 Second Spectrum, Inc. Data processing systems and methods for enhanced augmentation of interactive video content
US10417570B2 (en) 2014-03-06 2019-09-17 Verizon Patent And Licensing Inc. Systems and methods for probabilistic semantic sensing in a sensory network
US10362112B2 (en) 2014-03-06 2019-07-23 Verizon Patent And Licensing Inc. Application environment for lighting sensory networks
US10186123B2 (en) * 2014-04-01 2019-01-22 Avigilon Fortress Corporation Complex event recognition in a sensor network
CN103914850B (zh) * 2014-04-22 2017-02-15 南京影迹网络科技有限公司 一种基于运动匹配的视频自动标注方法及自动标注系统
JPWO2015166612A1 (ja) 2014-04-28 2017-04-20 日本電気株式会社 映像解析システム、映像解析方法および映像解析プログラム
WO2015165092A1 (zh) * 2014-04-30 2015-11-05 中国科学院自动化研究所 大范围优先的跨摄像机视觉目标再识别方法
EP3149909A4 (en) 2014-05-30 2018-03-07 Placemeter Inc. System and method for activity monitoring using video data
US9544636B2 (en) 2014-07-07 2017-01-10 Google Inc. Method and system for editing event categories
US10127783B2 (en) 2014-07-07 2018-11-13 Google Llc Method and device for processing motion events
US9354794B2 (en) 2014-07-07 2016-05-31 Google Inc. Method and system for performing client-side zooming of a remote video feed
US9501915B1 (en) 2014-07-07 2016-11-22 Google Inc. Systems and methods for analyzing a video stream
US10140827B2 (en) 2014-07-07 2018-11-27 Google Llc Method and system for processing motion event notifications
US9449229B1 (en) 2014-07-07 2016-09-20 Google Inc. Systems and methods for categorizing motion event candidates
US9384400B2 (en) * 2014-07-08 2016-07-05 Nokia Technologies Oy Method and apparatus for identifying salient events by analyzing salient video segments identified by sensor information
US10139819B2 (en) 2014-08-22 2018-11-27 Innovative Signal Analysis, Inc. Video enabled inspection using unmanned aerial vehicles
USD782495S1 (en) 2014-10-07 2017-03-28 Google Inc. Display screen or portion thereof with graphical user interface
US10043146B2 (en) * 2015-02-12 2018-08-07 Wipro Limited Method and device for estimating efficiency of an employee of an organization
US9922271B2 (en) 2015-03-20 2018-03-20 Netra, Inc. Object detection and classification
US9760792B2 (en) 2015-03-20 2017-09-12 Netra, Inc. Object detection and classification
US10043078B2 (en) 2015-04-21 2018-08-07 Placemeter LLC Virtual turnstile system and method
US11334751B2 (en) 2015-04-21 2022-05-17 Placemeter Inc. Systems and methods for processing video data for activity monitoring
KR102307055B1 (ko) * 2015-04-28 2021-10-01 삼성전자주식회사 이벤트 기반 센서의 출력에 기초하여 정적 패턴을 추출하는 방법 및 장치
US11138442B2 (en) 2015-06-01 2021-10-05 Placemeter, Inc. Robust, adaptive and efficient object detection, classification and tracking
US9361011B1 (en) 2015-06-14 2016-06-07 Google Inc. Methods and systems for presenting multiple live video feeds in a user interface
KR101750758B1 (ko) 2015-09-16 2017-06-26 삼성중공업 주식회사 반송장치
RU2740619C2 (ru) 2016-03-01 2021-01-15 Джеймс КАРЕЙ Система отслеживания и упреждения краж
US11417202B2 (en) 2016-03-01 2022-08-16 James Carey Theft prediction and tracking system
US10506237B1 (en) 2016-05-27 2019-12-10 Google Llc Methods and devices for dynamic adaptation of encoding bitrate for video streaming
US10380429B2 (en) 2016-07-11 2019-08-13 Google Llc Methods and systems for person detection in a video feed
EP3513566A4 (en) * 2016-09-16 2019-09-11 Second Spectrum, Inc. METHODS AND SYSTEMS FOR SPATIOTEMPOREL PATTERN RECOGNITION FOR VIDEO CONTENT DEVELOPMENT
EP3312762B1 (en) 2016-10-18 2023-03-01 Axis AB Method and system for tracking an object in a defined area
US10223911B2 (en) 2016-10-31 2019-03-05 Echelon Corporation Video data and GIS mapping for traffic monitoring, event detection and change prediction
EP3340104B1 (en) 2016-12-21 2023-11-29 Axis AB A method for generating alerts in a video surveillance system
US20180150697A1 (en) * 2017-01-09 2018-05-31 Seematics Systems Ltd System and method for using subsequent behavior to facilitate learning of visual event detectors
US10438071B2 (en) 2017-01-25 2019-10-08 Echelon Corporation Distributed system for mining, correlating, and analyzing locally obtained traffic data including video
WO2018204746A1 (en) 2017-05-04 2018-11-08 Second Spectrum, Inc. Method and apparatus for automatic intrinsic camera calibration using images of a planar calibration pattern
US11783010B2 (en) 2017-05-30 2023-10-10 Google Llc Systems and methods of person recognition in video streams
US10489654B1 (en) * 2017-08-04 2019-11-26 Amazon Technologies, Inc. Video analysis method and system
US10664688B2 (en) 2017-09-20 2020-05-26 Google Llc Systems and methods of detecting and responding to a visitor to a smart home environment
US10599947B2 (en) * 2018-03-09 2020-03-24 Ricoh Co., Ltd. On-demand visual analysis focalized on salient events
US11206375B2 (en) 2018-03-28 2021-12-21 Gal Zuckerman Analyzing past events by utilizing imagery data captured by a plurality of on-road vehicles
KR102020845B1 (ko) * 2018-04-04 2019-09-11 주식회사 자비스넷 객체 식별을 통한 카메라 캘리브레이션 시스템 및 방법
US11138418B2 (en) 2018-08-06 2021-10-05 Gal Zuckerman Systems and methods for tracking persons by utilizing imagery data captured by on-road vehicles
US11113535B2 (en) 2019-11-08 2021-09-07 Second Spectrum, Inc. Determining tactical relevance and similarity of video sequences
CN111107272A (zh) * 2020-01-02 2020-05-05 广州高博软件科技有限公司 多媒体视频流总结系统及流程
KR20210107480A (ko) * 2020-02-24 2021-09-01 삼성전자주식회사 전자장치 및 그 제어방법
RU2730112C1 (ru) * 2020-03-02 2020-08-17 ООО "Ай Ти Ви групп" Система и способ идентификации объектов в составном объекте
DE102020114488B3 (de) * 2020-05-29 2021-12-02 Sick Ag Optoelektronischer Sicherheitssensor und Verfahren zur Absicherung einer Maschine

Family Cites Families (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3812287A (en) * 1969-05-12 1974-05-21 J Lemelson Video detection system
CA1116286A (en) * 1979-02-20 1982-01-12 Control Data Canada, Ltd. Perimeter surveillance system
US4257063A (en) * 1979-03-23 1981-03-17 Ham Industries, Inc. Video monitoring system and method
GB2183878B (en) * 1985-10-11 1989-09-20 Matsushita Electric Works Ltd Abnormality supervising system
JP2508439B2 (ja) 1987-05-29 1996-06-19 ソニー株式会社 高能率符号化装置
JPH0695008B2 (ja) * 1987-12-11 1994-11-24 株式会社東芝 監視装置
US5610653A (en) * 1992-02-07 1997-03-11 Abecassis; Max Method and system for automatically tracking a zoomed video image
WO1994003014A1 (en) 1992-07-24 1994-02-03 Koz Mark C Low power video security monitoring system
US5331417A (en) * 1992-09-15 1994-07-19 Digital Pictures, Inc. System and method of displaying a plurality of digital video images
US5987211A (en) * 1993-01-11 1999-11-16 Abecassis; Max Seamless transmission of non-sequential video segments
US5696503A (en) * 1993-07-23 1997-12-09 Condition Monitoring Systems, Inc. Wide area traffic surveillance using a multisensor tracking system
US5801943A (en) * 1993-07-23 1998-09-01 Condition Monitoring Systems Traffic surveillance and simulation apparatus
US7301536B2 (en) * 1993-09-10 2007-11-27 Geovector Corporation Electro-optic vision systems
US7859551B2 (en) * 1993-10-15 2010-12-28 Bulman Richard L Object customization and presentation system
US6351265B1 (en) * 1993-10-15 2002-02-26 Personalized Online Photo Llc Method and apparatus for producing an electronic image
US5515453A (en) * 1994-01-21 1996-05-07 Beacon System, Inc. Apparatus and method for image processing in symbolic space
US5491511A (en) * 1994-02-04 1996-02-13 Odle; James A. Multimedia capture and audit system for a video surveillance network
IL113434A0 (en) * 1994-04-25 1995-07-31 Katz Barry Surveillance system and method for asynchronously recording digital data with respect to video data
US5802361A (en) * 1994-09-30 1998-09-01 Apple Computer, Inc. Method and system for searching graphic images and videos
US6014461A (en) * 1994-11-30 2000-01-11 Texas Instruments Incorporated Apparatus and method for automatic knowlege-based object identification
US5623249A (en) * 1995-01-26 1997-04-22 New Product Development, Inc. Video monitor motion sensor
US5872865A (en) * 1995-02-08 1999-02-16 Apple Computer, Inc. Method and system for automatic classification of video images
US5850352A (en) * 1995-03-31 1998-12-15 The Regents Of The University Of California Immersive video, including video hypermosaicing to generate from multiple video views of a scene a three-dimensional video mosaic from which diverse virtual video scene images are synthesized, including panoramic, scene interactive and stereoscopic images
US5860086A (en) * 1995-06-07 1999-01-12 International Business Machines Corporation Video processor with serialization FIFO
US5912980A (en) * 1995-07-13 1999-06-15 Hunke; H. Martin Target acquisition and tracking
US5926210A (en) * 1995-07-28 1999-07-20 Kalatel, Inc. Mobile, ground-based platform security system which transmits images that were taken prior to the generation of an input signal
US5864342A (en) * 1995-08-04 1999-01-26 Microsoft Corporation Method and system for rendering graphical objects to image chunks
US5999189A (en) * 1995-08-04 1999-12-07 Microsoft Corporation Image compression to reduce pixel and texture memory requirements in a real-time image generator
US5886701A (en) * 1995-08-04 1999-03-23 Microsoft Corporation Graphics rendering device and method for operating same
US5969755A (en) * 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
US5959690A (en) * 1996-02-20 1999-09-28 Sas Institute, Inc. Method and apparatus for transitions and other special effects in digital motion video
US5956081A (en) * 1996-10-23 1999-09-21 Katz; Barry Surveillance system having graphic video integration controller and full motion video switcher
JP3800257B2 (ja) * 1996-08-02 2006-07-26 オムロン株式会社 注目情報計測方法及び装置並びにそれを用いた各種システム
KR100501902B1 (ko) * 1996-09-25 2005-10-10 주식회사 팬택앤큐리텔 영상정보부호화/복호화장치및방법
KR100211055B1 (ko) * 1996-10-28 1999-07-15 정선종 내용기반으로 분할된 영상객체들의 스케러블 전송방법
US6031573A (en) * 1996-10-31 2000-02-29 Sensormatic Electronics Corporation Intelligent video information management system performing multiple functions in parallel
US6088484A (en) * 1996-11-08 2000-07-11 Hughes Electronics Corporation Downloading of personalization layers for symbolically compressed objects
US5963203A (en) * 1997-07-03 1999-10-05 Obvious Technology, Inc. Interactive video icon with designated viewing position
US5983147A (en) * 1997-02-06 1999-11-09 Sandia Corporation Video occupant detection and classification
GB9702849D0 (en) * 1997-02-12 1997-04-02 Trafficmaster Plc Traffic monitoring
US6256115B1 (en) 1997-02-21 2001-07-03 Worldquest Network, Inc. Facsimile network
US6115420A (en) * 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
US6727938B1 (en) * 1997-04-14 2004-04-27 Robert Bosch Gmbh Security system with maskable motion detection and camera with an adjustable field of view
JPH10290449A (ja) * 1997-04-14 1998-10-27 Shimizu Corp 映像監視システム
US5963202A (en) 1997-04-14 1999-10-05 Instant Video Technologies, Inc. System and method for distributing and managing digital video information in a video distribution network
EP0878965A3 (en) * 1997-05-14 2000-01-12 Hitachi Denshi Kabushiki Kaisha Method for tracking entering object and apparatus for tracking and monitoring entering object
US8073921B2 (en) * 1997-07-01 2011-12-06 Advanced Technology Company, LLC Methods for remote monitoring and control of appliances over a computer network
US6573907B1 (en) * 1997-07-03 2003-06-03 Obvious Technology Network distribution and management of interactive video and multi-media containers
KR100251051B1 (ko) * 1997-07-14 2000-04-15 윤종용 임의 형상 부호화 방법
EP0893923A1 (en) 1997-07-23 1999-01-27 Texas Instruments France Video communication system
US6097429A (en) * 1997-08-01 2000-08-01 Esco Electronics Corporation Site control unit for video security system
US6091771A (en) * 1997-08-01 2000-07-18 Wells Fargo Alarm Services, Inc. Workstation for video security system
US6360234B2 (en) * 1997-08-14 2002-03-19 Virage, Inc. Video cataloger system with synchronized encoders
GB2329542B (en) * 1997-09-17 2002-03-27 Sony Uk Ltd Security control system and method of operation
GB9808712D0 (en) * 1997-11-05 1998-06-24 British Aerospace Automatic target recognition apparatus and process
US6166744A (en) * 1997-11-26 2000-12-26 Pathfinder Systems, Inc. System for combining virtual images with real-world scenes
US6724915B1 (en) * 1998-03-13 2004-04-20 Siemens Corporate Research, Inc. Method for tracking a video object in a time-ordered sequence of image frames
KR100281463B1 (ko) * 1998-03-14 2001-02-01 전주범 물체 기반 부호화 시스템의 보조 정보 부호화 장치
KR100281464B1 (ko) * 1998-03-14 2001-02-01 전주범 물체 기반 부호화 시스템의 보조 정보 부호화 장치
DE69921237T2 (de) * 1998-04-30 2006-02-02 Texas Instruments Inc., Dallas Automatische Videoüberwachungsanlage
US7023469B1 (en) * 1998-04-30 2006-04-04 Texas Instruments Incorporated Automatic video monitoring system which selectively saves information
US6816184B1 (en) * 1998-04-30 2004-11-09 Texas Instruments Incorporated Method and apparatus for mapping a location from a video image to a map
WO1999062741A2 (en) * 1998-06-01 1999-12-09 Robert Jeff Scaman Secure, vehicle mounted, incident recording system
US6144375A (en) * 1998-08-14 2000-11-07 Praja Inc. Multi-perspective viewer for content-based interactivity
US6628835B1 (en) * 1998-08-31 2003-09-30 Texas Instruments Incorporated Method and system for defining and recognizing complex events in a video sequence
US6570608B1 (en) * 1998-09-30 2003-05-27 Texas Instruments Incorporated System and method for detecting interactions of people and vehicles
US6721454B1 (en) * 1998-10-09 2004-04-13 Sharp Laboratories Of America, Inc. Method for automatic extraction of semantically significant events from video
GB9822956D0 (en) * 1998-10-20 1998-12-16 Vsd Limited Smoke detection
US7653635B1 (en) * 1998-11-06 2010-01-26 The Trustees Of Columbia University In The City Of New York Systems and methods for interoperable multimedia content descriptions
JP2000175174A (ja) * 1998-12-07 2000-06-23 Mitsubishi Electric Corp 監視用画像処理装置
US6226388B1 (en) * 1999-01-05 2001-05-01 Sharp Labs Of America, Inc. Method and apparatus for object tracking for automatic controls in video devices
JP3826598B2 (ja) * 1999-01-29 2006-09-27 株式会社日立製作所 画像監視装置及び記録媒体
US6924801B1 (en) * 1999-02-09 2005-08-02 Microsoft Corporation Method and apparatus for early culling of occluded objects
US6201473B1 (en) * 1999-04-23 2001-03-13 Sensormatic Electronics Corporation Surveillance system for observing shopping carts
JP2000339923A (ja) * 1999-05-27 2000-12-08 Mitsubishi Electric Corp 映像収集装置および映像収集方法
US6411724B1 (en) * 1999-07-02 2002-06-25 Koninklijke Philips Electronics N.V. Using meta-descriptors to represent multimedia information
US6754664B1 (en) * 1999-07-02 2004-06-22 Microsoft Corporation Schema-based computer system health monitoring
US7356830B1 (en) * 1999-07-09 2008-04-08 Koninklijke Philips Electronics N.V. Method and apparatus for linking a video segment to another segment or information source
US6123123A (en) 1999-08-03 2000-09-26 M. Carder Industries, Incorporated Non-stretch breakaway hose particularly for fuel dispenser
US6424370B1 (en) * 1999-10-08 2002-07-23 Texas Instruments Incorporated Motion based event detection system and method
US6297844B1 (en) * 1999-11-24 2001-10-02 Cognex Corporation Video safety curtain
JP2001175868A (ja) * 1999-12-22 2001-06-29 Nec Corp 人物検出方法及び装置
US6774905B2 (en) * 1999-12-23 2004-08-10 Wespot Ab Image data processing
US7479980B2 (en) * 1999-12-23 2009-01-20 Wespot Technologies Ab Monitoring system
US6738424B1 (en) * 1999-12-27 2004-05-18 Objectvideo, Inc. Scene model generation from video for use in video processing
US6542840B2 (en) * 2000-01-27 2003-04-01 Matsushita Electric Industrial Co., Ltd. Calibration system, target apparatus and calibration method
JP3387911B2 (ja) * 2000-01-27 2003-03-17 松下電器産業株式会社 キャリブレーションシステムおよびキャリブレーション方法
US6940998B2 (en) * 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
DE60138330D1 (de) * 2000-02-28 2009-05-28 Hitachi Int Electric Inc Vorricht ung und Systemzur Überwachung von eingedrungenen Objekte
US7522186B2 (en) * 2000-03-07 2009-04-21 L-3 Communications Corporation Method and apparatus for providing immersive surveillance
US20020008758A1 (en) * 2000-03-10 2002-01-24 Broemmelsiek Raymond M. Method and apparatus for video surveillance with defined zones
US6829371B1 (en) * 2000-04-29 2004-12-07 Cognex Corporation Auto-setup of a video safety curtain system
US6646676B1 (en) * 2000-05-17 2003-11-11 Mitsubishi Electric Research Laboratories, Inc. Networked surveillance and control system
US6504479B1 (en) * 2000-09-07 2003-01-07 Comtrak Technologies Llc Integrated security system
US6542075B2 (en) * 2000-09-28 2003-04-01 Vigilos, Inc. System and method for providing configurable security monitoring utilizing an integrated information portal
US7215795B2 (en) * 2000-09-28 2007-05-08 Hitachi Kokusai Electric Inc. Intruding object detecting method and intruding object monitoring apparatus employing the method
US6801662B1 (en) * 2000-10-10 2004-10-05 Hrl Laboratories, Llc Sensor fusion architecture for vision-based occupant detection
US6954498B1 (en) * 2000-10-24 2005-10-11 Objectvideo, Inc. Interactive video manipulation
US9892606B2 (en) * 2001-11-15 2018-02-13 Avigilon Fortress Corporation Video surveillance system employing video primitives
US8711217B2 (en) * 2000-10-24 2014-04-29 Objectvideo, Inc. Video surveillance system employing video primitives
US7868912B2 (en) * 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US20050146605A1 (en) 2000-10-24 2005-07-07 Lipton Alan J. Video surveillance system employing video primitives
US20050162515A1 (en) * 2000-10-24 2005-07-28 Objectvideo, Inc. Video surveillance system
US20020082769A1 (en) * 2000-11-21 2002-06-27 Gary Church Airport auditing and information system
US6678413B1 (en) * 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US20020191851A1 (en) * 2001-05-01 2002-12-19 Giora Keinan Efficient encoding of video frames using pre-encoded primitives
US6525658B2 (en) * 2001-06-11 2003-02-25 Ensco, Inc. Method and device for event detection utilizing data from a multiplicity of sensor sources
US20030053659A1 (en) * 2001-06-29 2003-03-20 Honeywell International Inc. Moving object assessment system and method
US6696945B1 (en) * 2001-10-09 2004-02-24 Diamondback Vision, Inc. Video tripwire
US7167519B2 (en) 2001-12-20 2007-01-23 Siemens Corporate Research, Inc. Real-time video object generation for smart cameras
KR100465244B1 (ko) 2002-02-05 2005-01-13 삼성전자주식회사 영상 데이터의 움직임 감지장치 및 방법
US7436887B2 (en) * 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
EP1472869A4 (en) * 2002-02-06 2008-07-30 Nice Systems Ltd SYSTEM AND METHOD FOR DETECTION, MONITORING AND ALARM MANAGEMENT BASED ON VIDEO CONTENT ANALYSIS
US7197072B1 (en) * 2002-05-30 2007-03-27 Intervideo, Inc. Systems and methods for resetting rate control state variables upon the detection of a scene change within a group of pictures
US8752197B2 (en) * 2002-06-18 2014-06-10 International Business Machines Corporation Application independent system, method, and architecture for privacy protection, enhancement, control, and accountability in imaging service systems
AU2003237579A1 (en) 2002-07-05 2004-01-23 Aspectus Ltd A method and system for effectively performing event detection in a large number of concurrent image sequences
US7227893B1 (en) * 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US20040113933A1 (en) 2002-10-08 2004-06-17 Northrop Grumman Corporation Split and merge behavior analysis and understanding using Hidden Markov Models
ATE454789T1 (de) * 2002-11-12 2010-01-15 Intellivid Corp Verfahren und system zur verfolgung und verhaltensüberwachung von mehreren objekten, die sich durch mehrere sichtfelder bewegen
US6987883B2 (en) * 2002-12-31 2006-01-17 Objectvideo, Inc. Video scene background maintenance using statistical pixel modeling
US7660439B1 (en) * 2003-12-16 2010-02-09 Verificon Corporation Method and system for flow detection and motion analysis
US8558892B2 (en) * 2004-01-20 2013-10-15 Honeywell International Inc. Object blocking zones to reduce false alarms in video surveillance systems
US7646401B2 (en) * 2004-01-30 2010-01-12 ObjectVideo, Inc Video-based passback event detection
US7447331B2 (en) * 2004-02-24 2008-11-04 International Business Machines Corporation System and method for generating a viewable video index for low bandwidth applications
US8289390B2 (en) * 2004-07-28 2012-10-16 Sri International Method and apparatus for total situational awareness and monitoring
US20070002141A1 (en) * 2005-04-19 2007-01-04 Objectvideo, Inc. Video-based human, non-human, and/or motion verification system and method
US20060232673A1 (en) * 2005-04-19 2006-10-19 Objectvideo, Inc. Video-based human verification system and method
US7801330B2 (en) * 2005-06-24 2010-09-21 Objectvideo, Inc. Target detection and tracking from video streams
US9363487B2 (en) * 2005-09-08 2016-06-07 Avigilon Fortress Corporation Scanning camera-based video surveillance system
JP2009247654A (ja) 2008-04-08 2009-10-29 Tomy Co Ltd 玩具車両発射装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111147808A (zh) * 2018-11-05 2020-05-12 纬创资通股份有限公司 网络装置、影像处理方法及电脑可读媒体
CN111147808B (zh) * 2018-11-05 2022-03-04 纬创资通股份有限公司 网络装置、影像处理方法及电脑可读媒体

Also Published As

Publication number Publication date
HK1073375A1 (en) 2005-09-30
AU2002366148A1 (en) 2003-06-10
KR20040053307A (ko) 2004-06-23
US20050146605A1 (en) 2005-07-07
EP1444643A4 (en) 2009-12-02
IL161777A0 (en) 2005-11-20
EP2466546A1 (en) 2012-06-20
JP2005510159A (ja) 2005-04-14
WO2003044727A1 (en) 2003-05-30
US20100013926A1 (en) 2010-01-21
US7932923B2 (en) 2011-04-26
EP2466545A1 (en) 2012-06-20
JP4369233B2 (ja) 2009-11-18
CN101399971A (zh) 2009-04-01
CA2465954A1 (en) 2003-05-30
MXPA04004698A (es) 2004-08-19
CN100433048C (zh) 2008-11-12
EP1444643A1 (en) 2004-08-11

Similar Documents

Publication Publication Date Title
CN1589451A (zh) 采用视频原语的视频监视系统
US11594031B2 (en) Automatic extraction of secondary video streams
CN105120221B (zh) 采用视频原语的视频监视方法及系统
CN101310288B (zh) 采用视频原语的视频监视系统
Tian et al. IBM smart surveillance system (S3): event based video surveillance system with an open and extensible framework
US8848053B2 (en) Automatic extraction of secondary video streams
Porikli et al. Video surveillance: past, present, and now the future [DSP Forum]
US8564661B2 (en) Video analytic rule detection system and method
US20100011297A1 (en) Method and system for generating index pictures for video streams
Hakeem et al. Video analytics for business intelligence
KR20080005404A (ko) 비디오 프리미티브를 사용하는 비디오 감시 시스템
CN1898960A (zh) 视频绊索
Marcenaro Access to data sets
Yamasaki et al. Interactive retrieval for multi-camera surveillance systems featuring spatio-temporal summarization
Yan et al. Event analogy for privacy preservation in visual surveillance
Siriwardena A Design for an Early Warning and Response System to Identify Potential Shoplifters for Cargills Supermarket

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
REG Reference to a national code

Ref country code: HK

Ref legal event code: DE

Ref document number: 1073375

Country of ref document: HK

C14 Grant of patent or utility model
GR01 Patent grant
REG Reference to a national code

Ref country code: HK

Ref legal event code: GR

Ref document number: 1073375

Country of ref document: HK

ASS Succession or assignment of patent right

Owner name: AVIGILON FUZHIBAO INC.

Free format text: FORMER OWNER: DIAMONDBACK VISION INC.

Effective date: 20150128

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150128

Address after: British Columbia, Canada

Patentee after: OBJECTVIDEO, Inc.

Address before: Virginia

Patentee before: OBJECTVIDEO, Inc.

CX01 Expiry of patent term

Granted publication date: 20081112

CX01 Expiry of patent term