CN1333700A - 多目标跟踪系统 - Google Patents

Abstract

用于利用带有固定的频率选择滤波器(24f)的头顶X－Y取景摄象机(25)和跟踪摄象机(24)的组合跟踪在预定区域内多个目标的运动的系统(100)。同样采用的是带滤波器(24f)的透视Z取景摄象机(25)和跟踪摄象机(24)。要被跟踪的目标已经被标记有频率选定的反射材料,如补丁(7r和7l)、标记物(9)和条带(4a)。系统(100)遍及跟踪区域辐射选定的能量(23a)以被所述反射材料反射。被反射的能量如(7m、9a和4b)然后被跟踪摄象机(24)接收,同时所有的其他周围光线被滤波器(24f)阻挡。本地计算机系统(60)捕捉来自跟踪摄象机(24)的图像并定位所述标记。利用预关于多目标最大速率和最大尺寸以及被计算的运动信息一起的所述位置信息,系统(60)能够分离代表所述多目标的非滤波图像(25)的背景。

Description

多目标跟踪系统

技术领域

本发明涉及用于跟踪在预定区域内多个目标运动的系统。

背景技术

存在对用于替换过去由人执行的完全确定、重复影像/识别任务的机器影像系统的越来越多的需求。早期的系统被设计为识别沿装配线移动的零件以辅助制造过程。最近，很多发明已提出识别人及他们的运动。人和他们的衣服的多样性以及他们所试图识别的背景的复杂性对现有技术提出挑战。已对各种技术加以大量的考虑以利用边缘探测技术从背景中察觉出人的形状，该技术指望移去静止即背景信息。存在两个主要因素影响这些技术的成功。第一是图像解析度，其产生信息量及由此对于所附的计算机系统可用的细节，以便从背景中区分前景。理想的是解析度越大越好。但是，随解析度增加，摄像机及所附的计算机系统的成本将增加。而更重要的是，随解析度增加，处理时间显著增加。且由于处理时间的增加阻碍了这些系统进行实时操作的能力。

以下是以某种或其他方式设计以识别预定区域内人或目标的运动的机器影像系统的示例。

在1994年11月授权给Larson等人的名称为用于运动竞技的自动的基于摄像机的跟踪系统的美国专利5363297。这个系统采用了多个摄像机以连续监视正在进行的运动事件的区域。每个摄像机将其的信息传送到所附的用于分析的计算机系统，该分析包括从固定背景中分离球员，并从而跟踪他们的轮廓。

当单个球员们彼此碰撞或其他方式结合并从而将他们单个的轮廓合并时该发明具有预期的问题。也要意识到由于球员出现在视界内而通过首先识别每个球员来初始化系统的需要。Larson等人对这些问题提出两个方案。第一，他们提出在跟踪系统上连接由人操纵的监视器，该人将执行初始识别以及当由于轮廓合并而使系统失去球员轨迹时进行后续的重新识别。第二，他们提出连接电子跟踪系统并采用接收到的信号的三角测量，以便识别并跟踪单独的球员。Larson的专利至少具有四个主要问题，第一，执行球员实时分离所需的数字处理量极大地超出了当今的成本可行的计算机技术，更不必说1994年的。第二，为了执行这些分离，需要大量的细节，从而由所需的更多摄像机和计算机系统而产生成本增加。当然附加细节只会进一步减慢系统的响应性。第三，一个或多个操纵者初始识别及然后重新识别球员的需要有极大的局限并且成本高。这个需求基本上使这个专利对于非职业青少年运动的监视经济上不可行，在此包括人操纵者的正在耗费的成本的系统成本远远超过较少的收入。应指出，这个操纵者将最好是一个年轻人的父母，其有可能不熟悉所有的球员，其将很容易发现实时作出如此多决定压力很大。这个方法也将需要培训并再培训操纵者，这也将为局限性的。第四，实时跟踪球员所需的电子装置的类型将不得不在很高频率下工作，这也意味着其很昂贵，产生了进一步的经济缺点。第五个主要问题是系统难于决定球员的取向，例如，在Larson的发明探测到单个人运动的方向的同时，其不能决定该球员面向前还是后，更不用说球员的脸是否正转向另一方向。

在1995年12月授权给Keiko Abe名字为目标跟踪装置的美国专利5437369。这个系统是关于用于从一帧到一帧跟踪目标的实际图像处理技术。该发明人描述现有技术为从一帧到下一帧一块一块地比较图像，其中块被假定为图像的一个或多个象素。应指出，这种系统根据在目标在视界内改变尺寸或全部消失时特别易于误判断的时间消耗和错误倾向统计算法。Abe提出采用相同的视频帧，但是首先将他们分成亮度和颜色直方图，他们然后再一帧一帧地比较。通过比较直方图而不是块，Abe认为系统将比块匹配系统更精确并高效。然而，对于Abe的专利至少存在五个问题，第一，这个技术的效率和可靠性高度取决于在被跟踪的视界内的初始和一段时间后的光线条件。例如，如果初始帧在很好照明下取得，目标的亮度直方图是理想的，然而，当光线条件以相对不好开始，或变差，或从一帧到一帧由于周围光突然亮起来而变化，亮度直方图将易于产生很大误差。第二，依靠颜色直方图一样是不确定的，部分是由于颜色探测对光线条件的敏感度，其也从一帧到另一帧地变化，并部分由于当各颜色图之间重叠时目标和背景模糊的潜在问题。第三个问题是Abe的系统不适用于跟踪具有相似或相同亮度/颜色信息且可能从一帧到另一帧重叠的多个目标。第四个问题在Abe的说明书中有所讨论，其指出了人操纵者的需要以通过选择包含要被跟踪的目标的视频图像的部分来初始化系统，其所谓的区域指定帧。这个需要在考虑其中各目标可能进或出暂时彼此重叠的视界的多目标跟踪时将更被限制。而最后一个，即第五个问题是在说明书中暗示的，在此表示为系统自动控制摄像机的平移、倾向及变焦的可能性。在这样做时，Abe描述为系统能够处理目标尺寸的任何变化并总能以理想的尺寸拍摄目的目标，从而在该装置可一同使用的工具方面获得显著地改善。由此，可认识到这个方法/装置仍是与解析度极相关的，与其试图改进的块的方法类似。

在1997年4月授权给Hashima等人的名字为用于识别并跟踪目标记号的系统和方法的美国专利5617335。该发明试图解决相对跟踪摄像机和例如机器人臂的处理机构从一简单的二维图像确定目标的三维坐标的问题。他将这些坐标表示为已经放置在要被跟踪的目标上的目标标记的高度和位置。在Hashima对现有技术的观点中，他列出多个现存的方法，其中多个需要过多的计算，或具有多目标和背景图象噪声的问题。他公开了一种用黑圈内的白三角标记要被跟踪的目标的技术。一旦捕捉了特殊的记号，他们快速转化为在三角形标记图像的X和Y方向投影的直方图，其后X和Y方向的重心以及最大直方图值也被确定。所有这些信息然后一起用于基于重心的位置、最大直方图值、X和Y轴的值以及已知的所述目标记号的几何数据决定所述目标记号的三角形的高度属于那个分类及预设的高度图形。即使接受了Hashima的增加效率和精度的结论，他的技术至少存在三个主要局限。首先，要被跟踪的目标必须以高度精确方式标记，且这个记号必须对于跟踪摄像机随时可见。对于如果标记暂时被阻挡而在摄像机的视野之外目标如何被跟踪未公开任何措施。第二，通过从简单的二维图像试图确定三维信息，Hashima将其方案集中在附加的透视摄像机不可用的情况下。给出这种附加的摄像机，就存在用于决定第三尺寸的更有效并精确的方法。第三，这个发明提出了一种系统，其功能良好，即使在图像包含很多目标或存在大量噪声的情况下，然而，如果要被跟踪的这些目标中的任一个在相同的图像之内，Hashima的发明将由于在任一给定时间摄像机对目标的优选取向不能同时地对于三个尺寸散开的目标维持而不能处于最佳的性能。

在1998年3月授权给Lemelson等人的名字为用于定位包括有限的特征的目标的系统和方法的美国专利5731785。这个发明提出通过在便携壳体内由目标携带的电子编码产生系统或装置跟踪目标。这个系统或装置被详细说明为接受诸如来自GPS星群或地基三角测量方法的定位信号。其然后利用这些信号来决定其的自身位置。Lemelson期望在一定程度上，远程跟踪系统的实时操纵者可以关注于多个目标中的一容放这种跟踪装置的单独目标的精确位置。为了确定目标的位置，跟踪系统将首先传送一对在一特定目标内对于特定装置编码的独特的查询信号。然后所有的单独跟踪装置接收这个信号，而只有其识别码与查询信号匹配的装置将响应。这个响应为包括跟踪装置目前确定的位置的传输的形式。跟踪系统然后接收这个信号并将识别/定位相关的信息显示在计算机系统监视器上。Lemelson等人的发明主要应用于跟踪很宽区域内的多个目标，该区域宽到超出任何摄像机跟踪系统的范围的合理尺寸。作为用于跟踪在适于摄像机网络的范围内的目标的装置和方法，这个发明具有至少三个问题。第一，其需要每个目标具有持续监视并跟踪其自身位置的能力。这种需要包括必须被设定为接收GPS或其他跟踪信号并同时传输定位信号的计算装置的应用。这种装置将典型地比可用放置在目标上并然后由摄像机跟踪的记号或标记所占据的空间大。此外，这种装置将需要能量。第二，Lemelson等人的发明假设远程跟踪工作站在给定时间只关注潜在目标的一个或较少的部分。然而，存在很多的情况是随目标在预定区域内运动时要跟踪所有被跟踪目标的精确连续运动。尽管可以想象这个发明能够对所有目标持续传输查询信号并持续接收定位信号响应，而可以看出的是这个信息量将不可接受地限制系统的运动解析度。第三，这种基于电路的系统不能理解目标相对其运动方向的取向。由此，在其有可能确定被跟踪的车或人的运动方向的同时，其不能示出系统如何确定该相同的车或人是否正面对其目前的运动方向或从其转开。

在1998年6月授权给Lowery等人的名字为用于在运动模拟器中确定目标轨迹的系统的美国专利5768151。这个发明提出了使用指向有限视界上的立体摄像机以跟踪期望的目标的轨迹。随目标横过视界，摄像机以适宜慢的速率捕捉图像以便目标随其移动产生影像位移。这个模糊的路径然后被分析并转化成在视界内的目标的轨迹矢量。Lowery等人的装置的另一关键装置为其能够确定何时应开始跟踪。由于这种声纳装置被设计为在视界内探测目标的存在，此后立即触发图像捕捉系统。Lowery等人的发明至少具有四个局限，这将阻碍其更广泛的应用。第一，本发明要求目标运动非常窄的范围，并由此对视界具有显著的限制。如果这个概念被应用到较大区域内，那么需要采用多个透视摄像机。然后这个系统也将需要在目标一旦被探测到在跟踪区域内时决定哪个摄像机应触发。然而，不首先确切决定目标位置所在，例如通过试图三角测量由目标发出的声波，该系统不能确定该触发哪个摄像机。由此，所有的摄像机将需要捕捉图像，而产生很大一组数据，该数据需要被跟踪计算机分析以确定目标的位置。第二个局限为这个系统不试图对其所探测的目标进行唯一识别。由此，在其能够决定单独目标的轨迹矢量的同时，其不满足随目标通过确定每个目标的独特身份的要求，也未公开这种方法。第三个局限关于在相同视界内同时跟踪多个目标的能力。由于这个发明要求在一个时刻只用于一个目标，其只确定轨迹矢量，而不确定目标的身份。由此，如果两个或多个目标运行过跟踪区域并且他们以影响彼此的运行路径的方式碰撞，那么这个系统只用来决定碰撞事件后那个目标保持在那个路径上。第四个局限关于该系统当背景和目标之间存在不足够大色彩或亮度差别时不能从背景中拾取目标。

所有上述以一种或其他方式列出的现有技术试图在预定的区域内跟踪至少一个目标的运动。当组合一起时，必须被克服的他们的局限如下：

1.如果跟踪系统如Larson等人所做的只基于一个象素一个象素地对比来试图区分开目标和其的背景，那么，视频系统必须具有较高的解析度以精确，而导致的计算机处理时间阻止了实时操作。

2.如果跟踪系统如Abe所做的通过执行基于分离的颜色和亮度信息的平均技术减少处理时间，那么，特别由于在多个目标和他们的背景之间的颜色交汇或由于各图像帧之间的光线条件的显著起伏而精度被损害。这种减少的技术由于相对背景显著减小目标信息量的目标尺寸减小并由此增大了噪声而被进一步牵制唯一的方案是在对跟踪的目标放大，以保持目标对背景信息的合适的比率。这就暗示了每个被跟踪的目标本身必须有一摄象机，从而极大地减小了用于跟踪多个目标及/或跟踪较大视界的这些技术的功效。

3.如果诸如Lowery等人的跟踪系统采用两个透视摄象机以及图像的影像位移技术以捕捉三维轨迹信息，其减少了图像处理需求，但失去了重要的视频图像细节。

4.如果诸如Hashima等人的跟踪系统采用放置在要被跟踪的目标上的具体标记，其可以有效地减少图像处理量。然而，当作为其必须遵循的需求的试图从单一的二维图像确定三维尺寸信息时，Hashima面临重要的问题，他的合成技术使在较宽视界上目标的标记会偶尔看不到或至少在跟踪摄象机的透视上有显著变化的较宽视界内跟踪多个快速移动目标成为不可能。

5.所有基于如Larson，Abe，hashima和lowery的技术的视频/摄象机如果它们跟踪路径将交叉并/或碰撞的多个目标则易于产生误差只有Larson具体预测了这种类型的多目标跟踪，并提出使用人操纵者来解决目标重叠这种操纵者成本过高，并也受限于他们的能力以实时跟上快速移动的目标。而如Larson所建议的，有可能利用无源电路以在系统确定已失去他们的本体时助于识别目标，这些装置具有其本身的成本敏感(cost sensitive)的解析度/响应速度限制。

6.此外，Larson和Abe的视频/摄象机方案都提出了人类操纵者初始化系统的要求。Larson将需要操纵者识别对于系统的每个目标。这些目标将然后被自动跟踪，直到他们以某种方式与其他目标汇合，此时操纵者将需要重新初始化跟踪系统。Abe将需要操纵者将初始图像剪切为区域指定帧(regiondesignating frame)，其基本上将处理需求减小到了至少找出是否也跟踪这个目标。任何操纵者的介入都是成本过高的并是实时响应限制的。

7.Lowery的视频/摄象机方案期望了基于声音探测在视界内目标的存在的自动跟踪触发。这个技术固有地限制于产生不同声音的目标。也不能跟踪在给定视界之内同时产生相似噪声的多个目标。

8.如果跟踪系统试图通过采用诸如Lemelson等人的有源跟踪装置来消除图像处理需求，那么目标被要求容放能够接收并处理定位和查询信号的被提供能量的装置。基于嵌入计算装置的可行性和成本，这种装置限制了可以被跟踪的目标。在诸如Lemelson的只采用电路的系统中，失去了大量来自图像数据的可用信息。此外，这种系统能够跟踪位置，但不能跟踪目标的取向，例如目标是向前还是向后运动。

9.除了Hashima的标记技术之外，所有这些方案仍不能捕捉目标定向信息。这种信息对于预测将来目标的运动至关重要。

10.所有基于视频/摄象机的方案无论采用什么技术，都难于拾取其颜色或亮度非常接近其他跟踪目标或图像背景的快速移动目标。基于非视频的方案将丢弃有价值的图像信息。

发明内容

在本发明将参照立即将描述的多目标跟踪系统的一个特定实施例被详细说明的同时，该说明书不应构成本发明范围的限制而只作为本发明优选实施例的示例。本发明人构想了在此公开的装置和方法的多种应用，它们中只有一部分在本申请说明书结论中提及。为了教导本发明的新颖方面的目的，多目标跟踪系统的示例为诸如冰球的运动事件。使其成为难于跟踪的一系列事件并由此为本发明优于现有技术的优良示例的冰球的特定方面如下：

1.就本发明人已知没有其他的基于人的活动，其中人作为目标可以以比冰球更快的速度运行并比冰球更快地改变方向和取向。在冰面上球员的速度可以接近25英里/小时，这比不借助于一些类型的车辆在地面上所进行的包括走和跑的运动快得多。跟踪这些较快的运动，特别是人形状的多变性，给本系统的实时性能方面提出挑战。

2.被球员争夺的目标的速度，即，冰球，可以以高到每小时一百英里的速度运行并也易发生突然并快速改变方向。速度和重新定向的组合提出了一个困难的跟踪问题并且是在运动中所独有的。认为冰球不会改变形状时，跟踪冰球比跟踪球员相对容易，但冰球以大致四倍的速度运行，比球员尺度小一百倍，且可能在三个方向上运动。

3.单个球员持续进入并退出跟踪视界，而为了实时性能这种情况必须被跟踪系统有效并自动识别。

4.在视界内时，冰球和球员都会由于它们与其他球员的路径相汇合而经常完全或局部看不到。这对跟踪经常具有有限或没有图像数据的运动提出挑战。

5.光线条件难于配合，是由于冰面产生很强的反射背景，这将使摄像机的CCD元件趋于饱和，同时区域本身可能会易于发生来自观众的相机闪光灯或室内照明系统的突然的光进发。这就限制了基于照明的跟踪技术。

6.在同一队中的球员的颜色相同，且有可能经常与冰面上的标记物或围绕滑冰场的板相一致。这就限制了基于颜色的跟踪技术。

7.对于冰球比赛，在场内存在一定量的雾是经常的。这给任何基于摄像机的系统提出挑战，是由于这会极大地减小球员和冰球的可视性。

8.冰球是被拍摄的事件，而由此其对不仅跟踪多个目标而且确定持续并突然变化的关注中心提供了机会。一旦决定了这个中心，就进一步利于从一透视图景自动引导转播摄像装置倾斜、平移和变焦以实时跟踪运动。自动引导用于透视图景而定位的摄像机对机器视觉系统提出了难题，这是由于很难如透视图景所需要的那样在三个尺度实时跟踪目标。

9.在比赛中每个单独的球员以及教练可能随时迫切需要获得关于他们本身、一组球员、他们整个队和/或其他队的信息。此外，这个信息可能属于从开始到现在的活动期间的整个或某些子集。这种需要对跟踪系统提出了快速并有效以可以从很多视点容易回放的方式存储信息的要求。

10.内含的金属和混凝土块的冰场妨碍了GPS的使用，并由于多种潜在的室内三角测量信号的反射，也难于使用无源电子跟踪系统。球员本身及比赛的性质以及对于显著多的碰撞的潜在因素限制了在他们的设备内放置有源电子装置的合理性。由于这些装置必须携带电源，实际上电源要占据足够的空间，从而给球员带来潜在危险。此外，这种装置对于其中数百个孩子每周打比赛的地方冰球级别以及他们每人需要他们自己的装置或分享装置来说成本极高。

11.球员胳膊相对身体的取向和位置是对于跟踪的非常重要的信息。球员可能面向前运动，而同时头转向侧面以观察比赛的进展。头的转动由于其是球员冰上意识的重要指示而成为辅导分析的重要信息。此外，球员可以仍在相同方向前进同时突然转动他们的取向，以便目前他们能够取代向前而向后运行。这也是非常关键的信息。球员的头可以向下倾向冰面，这个动作时间过长或如果经常重复就是不合理的。所有这些信息对于跟踪是重要的，但对将球员作为一整体的简单跟踪提出了难题。

12.练习期间限制跟踪区域的尺寸是理想的，在该期间可以在冰面的有限部分上同时用少量球员单独训练。在这些条件下，在视界内轻易限制系统的跟踪区域是理想的。

13.球员的数量和速度的改变和碰撞非常频繁，利用人的介入而识别及重新识别球员将很紧张并易于出错，如果有可能应用的话，尤其在地方冰球等级中。

给定摄像机系统中现有技术状态、不可见能量源和滤波器、数字图像处理以及自动摄像机控制，就有可能形成完全自动的多目标跟踪系统，其在预定区域内操作并跟踪在视界中的每个目标的运动的持续位置、定向以及方向。这种系统极大增加了参与者和观察者理解、分析及分享给定运动的能力。

于是，本发明的目的和优点为提供了一种用于在预定区域内跟踪多个目标的系统，其具有以下性能：

1.提供了用于实时跟踪多个、快速移动、形状变化的诸如人的目标的系统，而不需在跟踪期间操纵者的介入以初始识别或有条件地重新识别目标；

2.通过首先分别跟踪已经固定到目标上的特殊标记，此后标记的位置可以与方向、加速度和速度矢量一同使用以从背景中有效地分离目标，而减少处理图像数据所需的时间；

3.提供了不取决于各目标内颜色不同的系统；

4.提供了不依靠无源或有源电子跟踪装置的系统；

5.提供了确定关于作为整体的目标的取向信息和他们单独部分的潜在信息的系统；

6.提供了在有可能对于基于可视光线的识别技术不是最佳的各种光线和空气湿度条件下的系统；

7.提供了在视界内容易限制跟踪区域的系统；

8.提供了实时创建并维护由时间或目标身份可读取的运动数据库的系统；

9.提供了可以在冰场内或事件后立即通过诸如因特网的通信网络输出全部或部分被捕捉的数据到一个或多个远程计算机上的系统；以及

10.提供了一种系统，以便通过诸如因特网的通信网络输出到远程计算机系统的信息可以用于被控事件的重放以及鉴定性分析。

其他的目的和优点为提供一种成本优化的系统，以与能够在温度条件的一定范围下工作的最小的移动部件一同创建、安装和维护。本发明此外的目的和优点将从对附图的考虑和接着的描述中变得更清楚。

附图说明

图1是本发明优选实施例的俯视图，示出头顶的X-Y跟踪摄像机的排列，当一同考虑时形成一包括在冰球场之内的滑冰和板凳区域的视界，也示出了设置在每个球门后的透视Z跟踪摄像机、自动平移、倾斜及变焦的透视取景(filming)摄像机，以及单独的示意性的球员及冰球。

图2a是一组三个透视图，示出典型的球员运动衫、带有在适当位置的跟踪补丁(patch)的护垫以及运动衫组合在带补丁的护垫上；

图2b是一组两个透视图，示出冰球以及典型的球员冰球杆，其中他们中每个都至少在其外部面一些部分上被改进以包含有跟踪墨水(ink)；

图2c是一组两个透视图，示出典型的冰球球员头盔，他们已被改进以至少在其外表面的上部包含跟踪标记物(sticker)；

图3a是被头顶X-Y取景摄像机捕捉并显示在可视屏上的典型的冰球球员护垫、头盔、球杆以及冰球的透视图；

图3b是与图3a类似的透视图，除了目前跟踪墨水已加到冰球杆和冰球上，跟踪补丁已加到护垫上以及跟踪标记物已加到头盔上。另外，跟踪能量源以及频率匹配滤波器已加到头顶X-Y摄像机上，以使其成为一跟踪摄像机；

图4a是与图3b类似的摄像机，除了目前附加的非滤波取景摄像机已加到头顶X-Y跟踪摄像机中，以便有效组合二组信息；

图4b是本发明新方法的关键环节的俯视图，该方法用于通过首先定位附加上的标记并然后离开标记将每个图像的象素与预知的背景对比计算以有效分离被跟踪目标的视频图像以便高效勾勒出被跟踪目标的轮廓；

图4c是冰球场的局部的俯视图，示出一系列被图4a所示的头顶X-Y取景和跟踪摄像机跟踪的典型冰球球员、球杆及冰球以及其的运动；

图5是带有连接到典型冰球场屋顶的头顶X-Y取景及跟踪摄像机的可安装摄像机阵列框架的透视图；

图6是冰球场的俯视图，其中已放置了带有跟踪墨水的区域限制锥体以便指示头顶X-Y跟踪摄像机只有整个视界的一子区域被跟踪。同样示出的是典型的球员，一个处于跟踪区域内，而同时很多球员处于区域外，还示出的是可以由教练成员使用的便携装置以控制由本发明产生的信息的功能和查询；

图7是冰球球员板凳的前视图，其已配备有一系列带有可以被典型冰球球员在冰球比赛过程中使用的重要便笺(keypad)的显示装置，以查询由跟踪系统产生的信息；

图8是示出所提出的本发明的所有跟踪和计算环节的方块图；

具体实施方式

参照图1，显示了多目标跟踪系统100的优选实施例的俯视图。系统100包括在固定区域内，如20v内单独跟踪所有目标移动的一列头顶X-Y摄像机组件20c。总之，一列头顶组件20c跟踪在比赛冰面2、各队包厢2f和2g、惩罚包厢2h以及一部分进入通道2e内所有运动。组件20c还包括取景摄像机25、能量源23、其上固定能量过滤器24f的跟踪摄像机24，所有这些都装在组件壳体21内，并具有透过组件胶质玻璃21a的下部冰面2的景象。能量源23发射选定的能量23a，其向下发射到冰面2上并被在该面上移动的物体，如球员10和冰球3切断。应指出，选定的能量23a被特别选择以处于正常的环境光范围之外而且不会受潮湿状况如雾影响的频率。特别定位的头顶组件20c1被示为覆盖冰面2的进入通道2e。这个组件20c1结构与20c是相同的，并由于所有要被跟踪的目标必须通过这个摄像机的视界而进出，因此他尤为重要并将在后面加以描述。在冰面2选定的区域上同样跟踪运动的是透视Z跟踪摄像机组30，其定位成在冰面2两端的一对。最后还具有自动取景摄像机40，其一直指向目前控制冰球3的球员10所代表的比赛中心。各自动取景摄像机40持续与用于视频处理并分析的本地计算机系统60通信并从其接收它们的指示。系统60本身也持续与头顶X-Y跟踪摄像机组件20c以及透视Z跟踪摄像机组30通信。本地系统60还可选地与用于回顾被捕捉的事件的远程计算机系统70通信，后者具有显示实况(scene)28的所连接的可视监视器27。同样与本地系统60可选通信的是队输出工作站(team output station)80，其提供从事件开始到目前时刻被跟踪目标的移动信息。

现在参照图2a，示出典型的球员运动衫5和球员肩部护垫6。固定到护垫6上的是右肩球队补丁7r和左肩球员补丁7l。补丁7r包括远离头部向胳膊指向的箭头的取向标记7r1，和独特的条形码的队标记7r2。补丁7l包括也是远离头部指向胳膊的箭头的取向标记7l1和为独特号码的球员标记7l2。应指出，在补丁7r和7l上的标记是由频率选定的反射材料制成，优选地是墨水。参照图2a也示出了放置在护垫6上的运动衫5。注意，运动衫被示出其被剖开以用于下部球员补丁7l的全景。

在图2a内也示出穿过透射运动衫5发射的被反射的能量7m。这种用于通过衣物探测的技术不是新的，并由索尼公司演示，当时他们将衬衫放置在一牌照板(license plate)上，并摄得两个图片，一个没有滤波器而另一个带有可见光滤波器。由于衣物对可见光谱内的光线反射强烈，板不能从未滤波的图像中示出。但是用只有红外线可被捕捉的红外线通过滤波器使执照板上的数字和字母可见。应指出，本发明提出了使用可以进一步增强对比度的特殊频率选定的反射材料，即，所需图像的信噪比在索尼所述的滤波技术之上并超过其。

现在参照图2b，示出其上表面(且在应用中是整个表面)已涂附了与用在补丁7r和7l中的频率选择反射材料相类似的反射墨水3a的典型的冰球3。响应例如由能量源23发射的能量的特定频率，墨水3a产生发射能量3b。也示出了典型的冰球杆4，其刀片部分已被缠绕了已被生产成包含相同的特定反射墨水的特殊反射条带4a。响应例如由能量源23发射的能量的特定频率，反射条带4a产生反射能量4b。

现在参照图2c，示出了反射标记物9已施加到其上表面并以形成为包括相同的特殊反射墨水的典型的冰球球员头盔8的俯视图和透视图。响应例如由能量源23发射的能量的特定频率，标记物9产生反射能量9a。

现在参照图3a，示出了头顶X-Y跟踪摄像机组件20a的第一实施例。在这个实施例中，组件20a已被限定为封闭在组件壳体21内的跟踪摄像机24(无能量滤波器24f)，并具有透过组件胶质玻璃21a的下部冰面2的景象。在组件20a下示出来标记的球员10，未标记的球杆4以及未标记的冰球3。也示出了将组件20a连接到本地计算机系统60(未示出)以及连接到远程计算机70(也未示出)的电缆26，并因此连接到显示实况28的可视监视器27。

现在参照图3b，示出头顶X-Y跟踪摄像机组件20b的第二实施例。在这个实施例中，组件20b已被增加以包含发射向下照射到在冰面上移动的目标如球员10、冰球3及球杆4上的选定能量23a的能量源23。注意，球员10的护垫6已被改善以包括右肩球队补丁7r和左肩球员补丁7l。还要注意，目前冰球包括了反射墨水3a，且球杆4已被缠绕有特殊的反射冰球条带4a。目前实况28示出了更小的一组要被分析并跟踪的信息。

现在参照图4a，示出了头顶X-Y跟踪摄像机组件20c的第三及优选实施例。在这个实施例中，组件20c已被改善以包括捕捉在以下的冰面上的所有运动的未滤波图像的取景摄像机25。图4b示出本发明的新方法的关键环节，该方法用于通过首先定位附加上的标记并然后离开标记将每个图像的象素与预知的背景对比计算以有效分离被跟踪目标的视频图像。一旦确定了背景象素已被获得，图像跟踪路径10p连续围绕目标直到完成一封闭的路径。围绕这个封闭的路径10p，可以计算出一最小的边界矩形10r，以便快速分离包含被跟踪目标的视频图像的部分。也参照图4c，也示出了利用优选组件20c在冰面2上的球员10的被处理过的运动。球员10被示出沿一路径携带冰球3以在计算出的射门三角形2c内的球门2b射门而横穿过四个运动点10a1、10a2、10a3和10a4。冰面2的中心被示作点2a，计算出距它的运动角10a1o和运动半径10a1r以代表球员10到点10a1的第一运动。也计算出运动角31o和运动半径31r，他们表示冰球3到点10a1的初始运动。围绕中心点2a，示出一最大边界圆10b，在其内的目标的下一个位置以基于目标上次已知的位置(在这种情况下是点2a)，以及其上次计算的方向、加速度和速度矢量而计算出其存在。最后还示出了最大初始化搜寻矩形10e，其覆盖了如由只定位在入口通道2e到冰面2上的头顶组件20c1所跟踪的视界的最外部分。

现在参照图5，示出头顶安装框架50，其可变地可连接到冰场桁架2d的不同结构上。进一步连接到框架50上的是一阵列头顶X-Y跟踪摄像机组件，诸如23c，该组件向下发射选定的能量23a到下面的冰面2上。组件23c被连接到用于视频处理/分析的本地计算机系统60上。

现在参照图6，示出了其的跟踪区域已被涂附有反射墨水11a的四个典型锥体11的放置而限定的冰面2。响应例如由能量源23发射的能量的特定频率，墨水11a产生反射能量11b。在所限定的区域2t内示出的是一单独的球员10，在其保持在区域2t内的同时，其目前的运动被跟踪。区域2t之外示出的是如10i的多个球员，他们运动未被跟踪。也示出了都与本地计算机系统60可选通信的射门计数表(shot clock)91和便携跟踪控制装置90。

现在参照图7，示出了固定到球队包厢2f(所示)和2g，以及惩罚包厢2h的球队输出工作站80的近景。

现在参照图8，示出了整个系统的方块图。对应头顶X-Y跟踪摄像机组件30c，示出了可以用于取代导线26(未示出)以将取景摄像机25连接到本地计算机系统60上的附加的可选的RF调制解调器25n。也示出了可用于取代导线26(未示出)以将跟踪摄像机24连接到本地计算机系统60上的附加的可选RF调制解调器24m。也示出了用于透视Z跟踪摄像机组30的同样的附加物。本地系统60已被分解成其的构成方块部分，其开始于用于接收来自装在头顶组件30c或透视图景组30c上的所有跟踪摄像机24输入的跟踪摄像机单元61的视频捕捉。捕捉单元61然后将其数据流送入标记/目标跟踪分析单元62。以时间并行工作模式，示出了用于接收来自安装在头顶组件30c或透视图景组30内的取景摄像机25输入的取景摄像机单元63的视频捕捉。捕捉单元63然后将其数据流送入目标/实况分离分析单元64。单元64也接收来自标记/目标跟踪分析单元62的同时的输入。分离分析单元64和跟踪分析单元62都同时提供他们的数据流到单独的全景帧单元65中以合成多个重叠图像。单元65也接收来自便携跟踪控制装置90的条件输入，并提供它的数据流到比赛中央/图像选择分析单元66并存储由目标和帧号码/时间顺序单元67索引的跟踪及视频帧。图像选择分析单元66又通过传统的导线或可选的RF调制解调器45m提供实时指示到自动取景摄像机40。这种指示然后输入到计算机可导向事件取景摄像机45。然后取景摄像机45经由传统的导线或可选的RF调制解调器将其数据流传回到存储和跟踪单元67。单元67接着提供其数据流到关联存储目标运动的定量及分析数据库单元68。单元68与便携跟踪控制装置90、队输出工作站80和用于重放被捕捉的事件的远程计算机系统可选地进行双向通信。与装置90可选的连接将通过Rf连接(未示出)完成。而与远程通信装置远程系统70的连接则经由远程通讯装置69或79完成。由本地系统60提供到远程系统70的信息将经由远程进入到跟踪及取景帧存储数据库以及目标运动定量及分析单元71而提供给最终用户。

首先参照图1和5，优选实施例的正常操作是在系统100已经安装在诸如2的冰场后开始。安装的诸多关键方面之一是头顶X-Y跟踪摄影机组件30c的阵列在场地2屋顶的固定。安装框架50被设计成以以下方式可改变地固定到冰球场的桁架2d上，即，头顶组件30c阵列的顺次固定形成穿过下面的冰面2的重叠的视界。优选地是，每个组件30c保持相对表面2的垂直位置。期望的是具有预选定景深的固定镜头或电子可控变焦透镜被用来适宜地建立重叠的视界。重叠对于确保要被跟踪的目标随着其穿过预定区域可以从一摄像机到另一摄像机被跟踪是至关重要的。作为系统100初始安装和设置的一部分，要进行一标定步骤以确定每个取景摄像机25和跟踪摄像机24的视界的边界。一旦已知了，该系统将阻止其搜寻到非重叠区域，以便使重复处理最少。所有组件30c将通过如26的电缆或如25m或24m的可选RF调制解调器与本地系统60通信。

现在参照图2a、2b和2c，优选实施例提供了用特别选定的频率选择反射材料，如墨水标记要被跟踪的目标的各种方法。这种墨水然后用于嵌入冰球3中作为反射墨水3a，用于生产反射条带4a，用于嵌入到补丁7r和7l的标记中，并用于产生头盔8的反射标记物9。其也用于产生如图6所示的带有反射墨水11a的锥体11。对于本发明的新颖性关键是指出这种墨水被特别选定以反射作为能量源23输出的能量23a。这种反射被表示成3b、4b、7m、9a和11b，并将被跟踪摄像机24通过能量滤波器24f接收。通过利用在每个摄像机24上特别匹配的能量滤波器24f，为了跟踪所有目标运动而需要处理的信息量被最小化，从而极大地提高了确定目标位置的速度。

为了进一步说明本点的新颖性，描绘出图3a、3b和4a以生动地表现这种跟踪墨水的附加的综合效果。图3a示出了传统的捕捉周围光线并将其相应的视界示作监视器27上的实况28的摄像机系统。应指出，在这个视界中，存在有必须被处理的显著多的信息，其包括诸如球员10的以及诸如冰面2的背景。通过添加如上所述的3a、4a、7r、7l和9的形式的反射材料，现在图3b示出在实况28中信息量大量减少。同样，这可以通过将能量滤波器24f施加到跟踪摄像机24上而不需附加的计算机处理即可实时完成，该滤波器被特别选定以通过作为选定能量23a的由能量源23发射的频率的一窄段。能量23a发射到整个预定区域，如冰面2上，并作为3b、4b、7m和9a被反射回来。取向标记7r1和7l1、队标记7r2，球员标记7l2以及反射标记物9已被形成以包括可以被标记/目标跟踪分析单元62轻易识别的特殊的标记。这些标记的尺寸将与头顶组件30内的跟踪摄像机24的目标解析度相匹配。在此，解析度相对视界越低，标记将必须越大，以利于轻易识别。优选实施例也包括非过滤的取景摄像机25，其捕捉光线的所有周围频率，如图4a中所示。然而，如将在后面描述的，由于由跟踪分析所提供的信息，只有这些数据的一小部分必须被分析，以便分离相关的目标信息。

在运行系统100之前，也有必要安装透视Z跟踪摄像机组30。一组将安装在冰场2的每端，以便处在刚好围绕每个球门2b的不变视界中。这些组30也放置在冰球3的运动路径的预期处，冰球3被预测为当接近球门2b时离开表面2并在Z方向运行。应指出，由于组件30c的头顶特性，他将不能捕捉任何Z方向的目标移动，由于这减小了一定要被处理以跟踪所有目标的处理量，这将是可接受的并甚至是理想的。然而，在最靠近球门2b的被限制的区域内，即，由三角区域2c限定的区域内，其可以非常有助于跟踪冰球3的运行路径的Z分量。重要的是指出组30和他们收集的信息对于使本发明人认为对于本发明是新颖的主要方面来说是不需要的。尤其是，特定的标记目标的跟踪运动的应用以及施加这个信息到普通的视频图像以快速分离目标信息。

同样可选并对本发明是新颖的是在冰球场2之内可辨别位置处包括自动取景摄像机40。至此，直觉决定比赛中心的摄像机操作者控制用于诸如冰球事件的转播的取景，并自己引导他们的取景摄像机的平移、变焦及倾斜以捕捉所限制的景象。现在，系统100将具有涉及在冰面2上目标运动的所有信息，计划的是本地计算机系统60经由其比赛中心/图像选择分析单元66自动引导自动取景摄像机40的平移、变焦及倾斜。

一旦所有头顶X-Y跟踪摄像机组件30c、所有的透视Z跟踪摄像机组30以及所有自动取景摄像机40已被正确地安装并标定，且所有要被跟踪的目标已被适宜地增加有诸如3a、4a、7r、7l和9的标记，系统100就准备好操作。接着的讨论将描述单个球员10、球杆4和冰球3将如何一帧一帧地在其以X-Y和Z方向穿过整个预定的视界的事件过程中被跟踪的。接着，本发明将教导带有球杆4的附加球员10如何也可以同时被跟踪，以及由于目标重叠、目标尺寸变化、目标从视界消失、周围光线突然变化以及其他的可视性减小例如雾等问题是如何解决的。

现在参照图1、2、4a、4b和8，由系统100的多目标跟踪在系统被开启且第一球员10穿过进入通道2e并进入头顶组件30c的视界之后开始。在进入通道2e内，球员10将首先出现在被用于跟踪摄像机单元61的视频捕捉所捕捉的单独帧内。单元61将从自组件20c中的每个跟踪摄像机总共捕捉每秒40帧以上(40+fps)，并将每帧送到标记/目标跟踪分析单元62。

应指出，给定的目前技术状态中，如单元61中所要用到的一个摄像机控制器板可以控制多达8个摄像机。需要被捕捉的每秒帧数的实际数取决于理想的运动解析度。例如，在我们的示例中最快的目标是冰球3，其经常运行到100mph。在每秒40帧，每英里5280英尺以及每小时60×60＝3600秒情况下，冰球3的每秒最大距离：(100英里/小时×5280英尺/英里)/(3600秒/小时)＝146.7英尺。在每秒40帧速率下，各帧之间所运行的最大距离将为3.7英尺。应指出，诸如10的在滑冰时的球员将达到约25mph的最大速度，或冰球速度的四分之一。在每秒40帧处，球员10所运动的最大距离大约为0.925英尺。在每秒20帧时，冰球3在最大速度下将运行过不超过8英尺，而同时球员将限制在大约2英尺距离。考虑到球员10和冰球3二者不常在最大速度下运动，运动解析度在应用中是非常高的。进一步指出的是，存在一预期区域，即，围绕球门2b冰球3最易于达到最大速度的地方。头顶摄像机组件20c和透视图景摄像机组30都可以在增大的捕捉速率下工作，以增大在这些特定区域内的运动解析度。在任何情况下，本发明通过对帧速率和跟踪摄像机24的数量的折衷而具有相对运动解析度折衷计算能力成本的能力。该跟踪摄像机24将连接到单一的计算机及视频捕捉卡上。应认识到用多个计算机收集并分析数据对本发明来说并不认为是新的，且不是本发明的限制。

随着来自头顶组件20c1的跟踪摄像机24的每个帧被分析单元62接收，每个象素的灰度与阀值相比，在此这些超过阀值的象素指任何形式的特定标记，如3a、4a、7r、7l和9的存在。由于每个球员10必须从一直在组件20c1的视界内的进入通道2e进入并离开冰面2，并由于帧之间的最大运动可以基于预期的最大速度和帧捕捉率计算，有可能计算出为了首先探测到新球员如10的存在而必须完全搜寻的象素的最小数量。这个象素的最小数量在图4c中示作10e，并由沿组件20c1的视界的最外边缘向内几行朝向主冰面2平行运动的那些象素构成。这个矩形区域的深度将再次取决于球员10在帧捕捉之间预期穿过的最大距离。指出的是即使在诸如篮球或足球的其他运动事件中，一般存在一条每个队必须通过以接近主运动场的通道。如果系统的视界适宜地扩展以在任何这种通道为连续的，那么这个最小搜寻技术可以被采用以首先探测到要被跟踪的任意新球员。如要被示出的，一旦探测到，由于各帧之间的球员运动的程度被限制，连续跟踪的处理要求被显著地减小。

现在，另参照图4c，一旦探测到被标记的目标，该标记无论是在护垫6上的补丁7r或7l，或是在头盔8上的反射标记物9，或在冰球上的反射墨水3a，或绕球杆刀片4缠绕的反射冰球条带4a，都被单独跟踪。首先探测到的每个标记的运动被表示在相对冰面2的中心点2a的极坐标内。在此，每个目标的首先移动被表示为偏离0°的角度以及沿所述角距中心点2a的距离。这些计算通过目标跟踪分析单元62一直执行。一旦单元62探测到给定目标，其将基于上次已知的坐标、上次已知的方向、加速和速度矢量以及计算出的各帧之间的最大距离连续在其视界内搜寻此目标。与最大可能运行的距离组合的上次已知的坐标将起作用以限定如图4c内示作10b的可能运动的最大边界圆，为了找到目标的下一个位置必须探测此区域。为了在这个边界圆内削减平均搜寻时间，单元62首先基于先前运动在上次已知运动方向上查找等于由已知帧速率除的上次已知速率的距离。从这个在边界圈内的最可能点，单元62将通过在所有方向上增大这个点来持续搜寻，直到整个边界圆被分析。在未发现标记并已知目标已完全穿过与覆盖进入通道2e的视界的边缘接近的象素的最小矩形的情况下，那么目标将在下一帧上搜寻。在这种情况下，新的最大边界圆的半径将为先前搜寻的二倍。

如果系统100探测到被标记的目标并然后丢失，跟踪分析单元62将首先与目标/实况分离分析单元64通信以确定基于附加的周围光线的信息是否将暴露目标位置。在回顾这个技术之前，应首先指出，一旦探测到标记的目标，其的类型和位置从跟踪单元63被传送到分离单元64。分离单元64然后分析由装在相同的头顶组件20c内的取景摄像机25获得的相应的未过滤的视频帧，而头顶组件的跟踪摄像机24目前观察被定位的目标。获知目标的类型，例如补丁7r或反射标记物9，就指示了分离单元64实际目标的最大预期尺寸，例如护垫6或头盔8。已知这个最大尺寸以及反射标记的目前位置，单元64将在固定标记的位置开始并然后将图像的每个象素与预知的背景2r比算出远离标记的其的路径，如图4所示。一旦确定了达到了背景象素，图像跟踪路径10p持续围绕目标，直到完成封闭的路径。绕这个封闭的路径10p，计算出最小边界矩形10r，以便快速分离含有被跟踪的目标的视频图像部分。通过已知与被发现的目标(例如，护垫6或头盔8或球员10)的标记类型相关联的目标的预期最大尺寸，这个步骤可以限制最大边界圆，以便发现目标的边缘。应指出，这个由封闭路径10p确定的目标可以并经常包含两个或多个标记，如补丁7r和7l，以及标记物9。这个如10r所限定的分离表面，以及在该表面内的每个反射目标的跟踪位置然后将其传送到单独全景帧单元65内以合成多个重叠图像。单元65然后将所有探测到的反射目标，如3b、4b、7m和9a以及在整个视界上探测到的他们相应的被分离的目标象素分类成一完整组。作为一实施的方式，被分离的象素将被表示为如10r所示的最小边界矩形，而不是一象素坐标表。在这个最小边界矩形内，所有背景象素将被分离单元64设定为0值，以在后期审查时清楚地从前景目标中将其区分出来。重心以及对于它的极坐标也被分离单元64计算并传送到合成单元65。且最终单元64将决定与每个目标相关联的初始边界点，该点可以由后期程序使用以从其的最小边界矩形之内快速勾勒出目标的轮廓，以执行最终分离。将可能与由单独取景25或跟踪摄像机24摄得的重叠帧的如3b、4b、7m和9a的反射表面以及他们所固定的目标如护垫6或头盔8或球员10相拼合也是合成单元65的责任。

一旦合成单元65产生对于所有已知反射标记和他们相应的目标的重心的已知组的极坐标，并也已经确定最小边界矩形以及初始边界点，这个整组的数据被传送到由目标和帧号/事件顺序单元67索引的跟踪和视频帧的存贮器中。随着穿过视界的由头顶组件20c阵列和透视图景组30产生的整组帧被捕捉单元61持续输入，他们将被传送到跟踪单元62，该单元将随新目标进入视界20c1并经由相同的视界20c1最终离开而跟踪每个新目标。本发明预先考虑了在识别带墨水表面或相应的目标首次出现后，利用相同的极坐标方法，除了中心点不再是冰面2a的中心，而是用于相同的被标记的表面或相应目标的先前重心，可以更有效地使跟踪单元62表示后续的重心。这个基准中心改变策略由顺序10a1到10a4示于图4c中。

存储单元67将接收这个被标记表面及相应的目标信息的连续的数据流，并将产生用于后来分析的多个数据库。首先，每个单独表面和目标将使其本身的移动从其进入视界点直到在其离开的某后续点处分类。应指出，视界被延伸到覆盖队包厢2f和2g以及惩罚包厢2h。由此，对于系统100，在这些区域内，即在目前事件中与他们运动的地方如冰面2上相对他们不动的地方，跟踪这些表面和目标没有区别。存储单元67也负责产生并存储组信息。例如，单元67被要求找出以下关联：

1.球员10将总是具有相关的右补丁7r和左补丁7l；

2.球员10也将经常具有相关的带标记物9的头盔8和带条带4a的球杆；

3.球员10有时在其直接控制的半圆内具有冰球3。这个半圆将由球员10的目前位置、方向、运行速度和取向所确定，并如图4c中所示的10s。

4.在多个球员碰撞的情况下，球员10有时可以显现出带有附加的补丁、头盔或球杆。

无论探测到什么关联都被用来形成球员组数据库。应指出，存储单元67将在冰球杆或头盔及球员之间区分。如此，冰球杆或头盔将不会产生球员组的另一样本。由此，将一帧一帧地形成唯一球员组的总数量的统计，除了以下情况外其应保持不变：

1.新球员进入视界；

2.现存球员存在于视界中；

3.一个或多个球员间发生碰撞，因此他们形成为暂时的接合。

当两个或多个组被加入以在视界某地方形成一单个组时，期望的是球员们最终将分开。在这点上，将组运动指派给已进入组的每个已知球员的系统将开始跟踪单个球员，并且整个组数将返回到其碰撞之前的数量。

随着存储单元67连续更新其各种数据库，这个相同的信息然后将实时可用以定量并分析存储在关联数据库单元68中的目标的运动。定量及分析单元68将具有可在跟踪数据库上执行的一组可改变的任务，其可作为实时或过去的事件加以执行。在任一情况下，这些任务中的一些列在下面：

1.将单独的球员组与预知的潜在球员表对照。这是通过将队标记7r2以及球员标记712与预知的各值的数据库相比较实现的。

2.基于在与标记表面及其相关的目标二者上次已知方向、速度和取向组合的被分离的目标内的标记的表面的位置决定球员的取向。

由此单元68将能够判别球员是向前还是向后滑行，或是他们的头和肩正开始转动，并由此预测在下一个被捕捉的帧中他们的运行方向。应进一步指出的是，反射标记物9被特别设计为同时有助于单元68决定相关联的头盔8(并由此的球员头部)是否向下看或直视。通过交替布置标记物9的黑和白矩形而容易做到这点，而这些矩形将根据头盔8的取向而数量变化。

3.更新诸如进入及离开冰面(认为是换位)时刻、换位的时间段、平均速度、耗费在防守、中立或攻击区域的换位比例、控制冰球的比例、射门次数、换人、锻炼(steels)、超越等的球员统计数据。

4.更新诸如换位次数、换位的平均时间段、平均速度、耗费在防守、中立或攻击区域的比例、控制冰球的比例、射门次数、换人、锻炼、超越等的球队统计数据。

预先能够被实时跟踪的这些信息的任一及全部目前可用于在队输出工作站80上查询并显示。在这个事件完成后，或在事件活动中安排的中断期间，定量及分析单元68可以连续处理存储的数据库，以便推导实时不能预先得到的附加信息。他们是否运动以及与所包含的人目标是否有关等的其他事件将具有它们自己独特需要的定量及分析要求。

在事件完成且所有其的分析由单元68完成后的任一时刻，对于被选定的个人理想的是远程查询由本地计算机系统60跟踪并分析的信息。通过使用传统的远程通信装置，如图8中所示的69和79，用于观察如70所示的被捕捉的事件的远程计算机系统可被用来读取事件数据库。本发明人确实认为：所公开的首先跟踪固定到要被跟踪的目标上的被特殊标记的表面，并然后分离这些目标运动的最小边界区域的技术至少由于以下原因是新颖的：

1.该技术在最短时间内操作，并通过利用选定的及较窄的能量波段以照射并捕捉产生目标识别、取向、运行和速度方向，与周围背景反射相关最小的较少信息量，而需要最少量的计算机处理。

2.该技术采用来自能量窄波段的快速确定的信息以有效地从通常在周围光线中发现的能量的整个波段中分离较大组的信息。

3.该技术产生最终的运动数据库，在其通过在预知的冰面背景上重叠所有的被捕捉并分离的目标运动而得出结论后，其可用来重建一个或多个部分或所有事件。

这个最后点由于在应用中其使其他情况下将为过大量的事件视频信息量被存储为最小组的运动信息，该信息可以通过普通系统传送到系统连接物上，如因特网上而特别有利。从而与事件相关的多个个人可以分别并容易地将这个数据下载到他们相应的远程系统70上以用于他们本人选择性地重放及分析。甚至可预见到的是相对在最小边界区域内的所有的目标象素只有重心要被传输，是由于在拱形风格(arcade style)事件中，重放球员身体、头盔和球杆以及冰球的图线可用容易地由本地系统产生。

系统100的另一新颖方面示于图6中。特别地是，通过使用预先设计的标记的目标，诸如带有反射墨水11a的锥体11，有可能限制系统100的跟踪视界为其视界的某一子区域，如2t。在应用中，操纵者，诸如在冰面上的教练利用输入到跟踪控制装置90的特殊的进入码初始化这个系统100的简化跟踪模式。装置90经过传统的RF将这个控制步骤传输到本地计算机系统60。这个信息然后提供给多个重叠的单元65合成，该单元然后搜寻在冰面2上的两个或多个预指定的目标，例如锥体11。当一同获得后，这些两个或多个锥体11将规定一个或多个几何区域，如2t，在其内所有的跟踪可以进行，而在其外所有跟踪被禁止。在锥体以不明确的方式被放置的情况下，单元65将传输以显示所探测到的锥体11给出的所有可能的布置，从他们中控制装置90的操纵者将选择合适的布置。例如，教练可以只放置两个锥体11在冰面2上，一个在将冰面分成两部分的红线的任一端。在这点处，单元65将显示包括冰面的一侧或另一侧的两个可能的布置。

在限制系统100的跟踪区域后，所有其他的功能与前述的相同。此外，定量及分析单元68能够输出所有计算出的信息给便携跟踪控制装置90，以响应冰面上教练的实时询问。单元68可由装置90触发，以同时向射门表91输出持续射门的速度。

从而读者可用看到多目标跟踪系统提供了新颖的装置及方法，以用于：

1.实时跟踪多个、快速移动、可变形状的目标，如人，而不需在跟踪期间操纵者介入辅助初始识别及有条件的重新识别目标。

2.通过首先分别跟踪已经固定到目标上的特殊的标记，其后标记的位置可与方向、加速度及速度的矢量一起使用以有效从背景分离目标来减少处理图像数据所需的时间。

3.与目标之内颜色区分无关地执行识别任务。

4.与无源或有源电子跟踪装置无关地执行识别任务。

5.确定关于目标作为整体及潜在的它们的单独部分的取向信息。

6.在可能对于基于可见光的识别技术不是最优的各种光线及空气湿度条件下执行。

7.容易在视界内创建跟踪区域。

8.实时产生并维护由时间或目标标记可操作的运动数据库。

9.在事件刚结束后将冰场内被捕捉的数据的全部或一些些输出到通信网络，如因特网上的一个或多个远程计算机；以及

10.提供信息给因特网上的远程计算机系统，其可以被用于控制事件重放及关键性分析。

在上述说明包含很多规范的同时，他们不应构成为本发明范围的限制，而作为本发明优选实施例的示例。系统功能的很多方面在没有其他方面时本身也是有益的。例如，单独的取景摄像机可由于成本及/或改善速度的问题被取消。这个系统通过跟踪固定到要被跟踪的目标上的印记仍能提供显著并新颖的益处。不一定要具有直接安装在被跟踪的事件上方的跟踪摄像机阵列。如果这种布置被证实是不方便的，那么，摄像机只需放置成他们一起可以产生更易于将墨水表面保持在视野中的重叠的视界即可。例如，在制片组中，这个系统可以用于自动跟踪一个或多个作为动作分解的场景。由此，如果演员佩上隐藏在其衣服底下的补丁上的由特殊墨水制成的大的标记，那么，这个跟踪系统可用跟踪演员的动作并自动指引选定的制片摄像机平移、倾斜及变焦。

为有益的但非强制的本发明一方面的另一示例为与用于回放被捕捉的事件的远程计算机系统的连接。在本发明人认为这个系统在其储存有特别有益于远程下载的信息方面是独特的，远程系统对于本系统的新颖和用途来说并不是必须的。

从多目标跟踪系统的描述中显而易见的是其可应用于冰球比赛中跟踪冰球球员及冰球的运动之外。例如，如果固定头顶组件的框架其本身被安装在支柱或树干上以将其支撑在比赛区域上方，该系统也可以构建在露天滚轴冰球场上。该系统也可以以与冰球场非常类似的方式用于篮球上，由于这些比赛几乎只在室内比赛场进行。类似的方法可以用于其他运动，如足球及棒球，只要视界足够大以由透视图景跟踪摄像机覆盖，由于该处将没有任何头顶组件。该系统也可用于大的会议场或礼堂以跟踪保密地点，辅助人员的出席人流。这可以由利用相同的头顶跟踪摄像机来完成，而取景摄像机更象是不需要的。要被跟踪的每种类型的人可以被要求佩戴基于会议主人确定的统计相关标准编码的特殊补丁。由于带有补丁的个人移动并访问不同的摊位，他们的选择可以自动被跟踪，包括他们在每个选定摊位耗费的时间。如果较多迹象被发现形成在选定区域附近，这种系统将有助于人群流动。应指出，在这个应用中，跟踪要被跟踪的每个人的每个运动不是很关键的，而是总地确定所有类似个人的主要运动，从其可以推导出有益的结果和统计数据。

从本发明的多目标跟踪系统的上述详细描述中，可以清楚看出本发明具有多个优点，他们中的一些已在上面描述，而另一些是本发明固有的。同样，在不背离本发明的教导范围情况下，可以对多目标跟踪系统进行改进。于是，本发明的范围只由所附的权利要求书作必要的限定。

Claims (6)

1.一种用于在预定的区域内跟踪多个目标的运动的自动系统，包括：

用于将特殊标记固定到所述目标上的装置，其中所述标记被选定为反射能量的一选定的窄波段；

用于将能量的所述窄波段照射到所述预定区域上装置；

用于接收所述辐射出的能量在所述特殊标记上的反射的装置；以及

用于基于所述反射确定所述特殊标记并由此确定所述目标的所述位置的装置。

2.一种用于在预定的区域内跟踪多个目标的运动的自动系统，包括：

用于将特殊标记固定到所述目标上的装置；

用于跟踪所述特殊标记的位置的装置；以及

用于采用所述特殊标记的所述位置以从所述目标的背景中分离所述目标的图像的装置。

3.一种用于在预定的区域内跟踪多个目标的运动的自动系统，包括：

用于建立包括所述预定区域的视界的装置；

用于首先最小搜寻所述视界的一部分的装置，其中所述部分是所述目标被期望进入并退出所述区域的地方；

用于基于所述第一次最小搜寻确立在所述视界内所述目标第一位置的装置；以及

用于基于目标第一及接着的事先已知位置，其最后计算得的矢量方向以及其预先知道的最大移动速度随后最小化必须被搜寻以找到所述目标的下一个位置的视界的装置。

4.一种用于远程提供关于在预定区域内多个目标运动的选定信息的自动系统，包括：

用于建立包括所述预定区域的视界的装置；

用于以独特的标记标识每个所述目标的装置；

用于跟踪所述标记的装置；

用于建立与所述标记的目标关联的所述独特标记的运动的最小数据库的装置；以及

用于选择性传输所述关联数据库的某些或全部到用于随后分析的远程系统上的装置。

5.一种用于在预定区域内跟踪多个目标包括方向和取向的运动的装置，包括：

用于建立包括所述预定区域的视界的装置；

用于以独特的标记标识每个所述目标的装置；

用于跟踪所述独特标记的所述方向和所述取向的装置；以及

用于基于所述独特标记的所述方向和所述取向确定所述目标的所述方向和所述取向的装置。

6.一种方法，用于随目标的位置从帧到帧变化而有效从其背景图像中分离出目标，包括以下步骤：

用特殊频率选择反射材料标记所述目标；

将频率与所述材料的反射特性相匹配的能量辐射到所述目标上；

通过装备有滤波器的摄象机接收所述材料的所述辐射的能量的反射，该滤波器被设计为透过与所述辐射能量匹配的频率；

通过搜寻被所述滤波摄象机捕捉的图像确定所述反射材料的位置；

用非滤波的摄象机捕捉与所述目标的图像匹配的时间和位置；以及

基于所述反射材料的所述被确定的位置，从所述匹配的图像中有效分离所述目标。

Images