CN102033608B - 交互式视频显示系统 - Google Patents

Abstract

一种设备通过利用人的(或别的对象的)活动和位置作为计算机的输入，使得人与计算机显示系统之间可以轻易且不受妨碍地进行交互。在某些配置中，显示可以投影到用户的周围，使得人的动作可以显示在其周围。视频摄像机和投影仪以不同的波长工作，这样它们不会相互干扰。这种设备的用处包括俱乐部或活动场所的人的交互式照明效果，交互式广告显示等，但并不局限于此。计算机产生的角色和虚拟对象可以对过路人的活动作出反应，产生公共场所(比如餐厅、公共活动室和公园)、视频游戏系统等的交互式环境照明，和建立交互式信息空间和艺术设置。可以利用图案照射以及亮度和梯度处理来改善针对视频图像的背景检测出对象的能力。

Description

交互式视频显示系统

本申请是2004年2月2日(申请日：2002年6月4日)向中国专利局递交并进入中国国家阶段的题为“交互式视频显示系统”的发明专利申请No.02815206.9的分案申请。

相关申请的相互参考

本申请要求2001年6月5日申请的共同未决的美国临时专利申请号60/296,189的优先权，该临时专利申请的名称为“INTERACTIVE VIDEODISPLAY SYSTEM THAT USES VIDEO INPUT”，在此其所有内容在本文中全部作为参考。

技术领域

本发明一般涉及图像处理系统，尤其涉及这样一种系统，它用于接收和处理人用户的图像，使得可以与视频显示进行交互。

背景技术

在分析、教育、商业和娱乐等许多领域中，都要用到图像处理。图像处理的一个方面包括人-机交互，通过检测人的形态和活动使得可以与图像进行交互。这些处理的应用可以采用与图像交互的有效或有趣的方法来确定数字形状或其他数据、使对象生动化、建立表示形式等。

检测人体的位置和活动被称为“动作捕捉”。利用动作捕捉技术，可以将人表演者的活动的数学描述输入到计算机或其他处理系统中。自然身体活动可以作为计算机的输入，以便研究运动员的活动、捕捉一些便于以后重放或仿真的数据、加强医用方面的分析等。

尽管动作捕捉提供了一些好处和优点，然而，动作捕捉技术往往较复杂。有些技术要求人动作者穿上在某些位置具有高可见度点的特殊服装。其他方法使用射频或其他类型的发射器、多个传感器和检测器、蓝底色屏幕、大量的后处理等。依赖于简单可见光图像捕捉的技术通常不足以准确地提供清晰精确的动作捕捉。

有些动作捕捉应用允许动作者或用户与计算机系统所建立和显示的图像进行交互。例如，动作者可以站在多个对象的大型视频屏幕投影的前面。动作者可以利用身体活动来移动这些对象，或者是产生、变更和操纵这些对象。基于动作者的活动的不同效果可以由处理系统来计算，并显示在显示屏上。例如，计算机系统可以跟踪显示屏前面的动作者的轨迹，并在显示屏上呈现该轨迹的近似或艺术解释。动作者所交互的图像可以例如在地面上、墙面上或其他表面上；可以以三维方式悬挂在空间，显示在一个或多个监视器上、投影屏上或其他设备上。可以用任何类型的显示设备或技术来呈现用户所能控制或交互的图像。

在某些应用中，比如销售点、零售广告、促销、拱廊娱乐场所等，希望以很不显眼的方式捕捉未经训练的用户(比如经过的人)的动作。最好，用户不需要专门的准备或训练，而系统不使用过于昂贵的设备。此外，这种用于对动作者进行动作捕捉的方法和系统最好是用户所看不见的或不可觉察的。许多现实应用必须工作在这样一些环境下：背景和前景对象复杂且在变化，捕捉时间间隔短，照明条件在变化，以及存在使得难以进行动作捕捉的其他因素。

发明内容

本发明通过利用用户的(或别的对象的)活动和位置作为计算机的输入，使得用户与计算机显示系统之间可以进行交互。计算机产生对用户的位置和活动作出响应的显示。所产生的显示可包括用户的身体活动所能移动、变更或者是控制的对象或形状。

在本发明的一种优选实施方式中，所显示的图像实时地受用户的动作的影响。显示可以投影到用户的周围，这样用户的动作可以产生发自用户的效果，并且可以影响与用户接近的显示区。或者，用户可以通过例如踢、推、移动、变形、触及视频图像中的项目等方式来影响视频对象。利用基本上不同波长的光，可以最大限度地减小用于显示交互式图像的光与用于检测用户的光之间的干扰。

在一种实施方式中，用人眼看不见的红外光对用户进行照射。对红外光感光的摄像机用来捕捉用户的图像，以便进行位置和动作分析。投影仪将可见光投影到屏幕上、玻璃面上或其他表面上，以显示交互式图像、对象、图案或其他形状和效果。显示面可以位于用户周围，这样，显示中其实际存在与其虚拟存在相应，从而可具有与虚拟对象实际接触和交互的感受。

本发明的一个方面可以使用图案照射而不使用简单的、不可见的、均匀的“泛光照射”。利用图案照射，可以投影出诸如棋盘格、随机点图案等的图案。计算机中执行的过程利用这种图案来解释摄像机图像并从场景中的背景和/或其他项目中检测出对象。该图案可以作为背景被产生(这样，它没有触及到所要检测的对象)，或者，该图案可以被投影到所有的摄像机可视场景上，这样它可以照射背景、前景以及所要检测和所要进行动作捕捉的对象。

实现图案照射的一种方法包括：在幻灯投影仪中使用红外LED簇或其他不可见光源。另一种方法可以使用红外激光束，该红外激光束被偏转、遮光、扫描等，以产生一个图案。

实现图案照射的另一种方法是：使用有规则的“泛光照射”，但利用对摄像机的接受频率发暗或者强反射的墨水、染料或颜料将上述图案标记到摄像机的可视区上。可以使这种墨水、染料或颜料是人眼看不见的，以便改善显示的美观。

本发明的另一个方面使用梯度方法来确定对象-图像的交互作用。通过在所检测对象的周围形成梯度流或灰度级过渡来形成“感应图像”。当所检测对象活动时，实时计算梯度流。当梯度流触及到一个视频图像或项目时，计算所触及到的项目区域中的亮度和梯度。交互作用(例如推动该项目)的强度和方向分别是所触及区域的亮度和梯度的函数。

在一种实施方式中，本发明提供了一种系统，用于检测对象和相应地产生一个显示，该系统包括：第一源，用于输出第一波长范围的电磁能量；检测器，用于检测来自对象的电磁能量的第一源的反射；与检测器连接的处理器，利用检测到的反射产生一个显示信号；第二源，用于输出第二波长范围的电磁能量，其中第二源根据显示信号产生一个可见显示，其中第一和第二波长范围是不同的。

在另一种实施方式中，本发明提供了一种方法，用于检测摄像机所捕捉到的图像中的对象，该方法包括：利用图案照射以与照射对象不同的方式来照射背景；和利用一种处理系统从背景中分离出对象。

在另一种实施方式中，本发明提供了一种方法，用于计算对象与视频项目的交互作用，该方法包括：利用一种处理器来确定对象的梯度；利用一种处理器来确定视频项目的边界；和利用该梯度和边界来识别交互作用。

附图说明

图1示出了使用并置的投影仪和摄像机的优选实施方式的第一配置；

图2示出了一种头顶投影配置；

图3示出了一种背面投影配置；

图4示出了一种侧面投影配置；

图5A表示均匀照射情况下的主体；

图5B表示随机点图案照射情况下的背景；

图5C表示随机点图案照射情况下的主体和背景；

图5D表示从使用随机点图案照射的背景中检测出主体的结果；

图6A表示与视频对象交互的人用户；和

图6B表示感应图像。

具体实施方式

下面将描述本发明的几种配置。通常，本发明使用第一光源来照射用户或别的对象。第一光源使用人看不见的光。例如，可以使用红外或紫外光。对第一光源的波长范围的光感光的摄像机用来检测该第一光源所照射的用户。计算机(或其他处理系统)用来处理所检测到的对象图像并产生显示图像。第二光源(例如投影仪、视频屏幕等)用来向人用户或观众显示所产生的显示图像。所显示的图像处在对摄像机的对象检测的干扰最小的波长。通常，用可见光谱来显示图像。

在一种优选实施方式中，这种显示围绕在用户周围，使得用户的虚拟存在与用户的实际存在相一致。因此，显示中的虚拟场景具有用户周围的实际位置，并且显示中的用户活动将会造成虚拟场景中用户表示的同样活动。例如，用户可以触击虚拟对象的实际区域并可以知道这将会使其虚拟表示去触及计算机系统中的虚拟对象。本说明书中，使用“触及”这个词并不表示与一个对象(比如一个人)和一个图像项目的实际接触。更合适地，触及的意思是指将实际空间中对象的位置和动作转化为所产生图像中的效果，包括移动所产生图像中的项目的效果。

所显示的图像或项目可以包括对象、图案、形状或任何虚拟图案、效果等。本发明的某些方面可以应用于：例如，俱乐部或活动场所的人的交互式照明效果，交互式广告显示，对过路人的活动作出反应的角色和虚拟对象，公共场所(比如餐厅、购物中心、运动场所、零售商店、公共活动室和公园等)的交互式环境照明，视频游戏系统，和交互式信息显示。在本发明的范围内，还可以有其他一些应用。

图1示出了使用并置的投影仪和摄像机的本发明的正面投影的实施方式。图1中，用红外(或其他不可见光)灯2对某人1进行照射。用红外(或其他不可见光)摄像机3来拍摄人的图像。这一信号实时发送4到计算机5。该计算机执行对象检测算法，并实时产生视频效果。这一效果实时发送6到视频投影仪7。投影仪将所得到的图像投影到屏幕8或其他某种表面上。于是，视频效果将实时显示9在该屏幕上，并与这个人相一致。

图2示出了系统的一种头顶投影配置。组件10包括上述系统。这里，所示组件10是垂直安装的，除此之外，10中的摄像机、投影仪和光源还可以水平安装，然后用一面镜子将其重新向下定向。在地面上活动的人11可以使视频信号投影到其周围的地面12上。当投影仪在头顶正上方时，人本身的影子遮掩图像的最小部分。

图3和4示出了摄像机和投影仪的另外两种配置。在这两个图中，摄像机20捕捉屏幕23前面的对象比如人22。摄像机视见的角度如21所示。在图3中，投影仪25置于屏幕后面。从屏幕两侧都可以看到来自投影仪的投射光24。在图4中，投影仪25与屏幕成一个倾斜角；图中示出了其锥形光束24。这两种配置使得更有可能不会出现挡住投影图像的影子的情况。

如以上这些配置中所述，用视频摄像机来捕捉特定区域的场景，以便输入到计算机。在该设备的大多数配置中，摄像机将看到输出视频显示的一部分。为了避免不需要的视频反馈，摄像机可以在视频显示未用到的波长工作。在大多数情况下，这种显示将使用可见光谱。这样，摄像机必须用不可见波长(比如红外线)来拍摄，使得检测不到视频显示输出。

准备录制的场景必须用摄像机的波长的光来照射。在红外线的情况下，可以用包括日光、白炽灯或红外LED的源来照射场景。这些光源可以置于任何地方；然而，使光源贴近摄像机可以最大程度地减小摄像机看到的来自这些光的寄生影子。光源(比如一个或多个灯)可以以均匀的照明来照射对象，这与以下所讨论的图案照射相反。在一种优选实施方式中，视频信号实时输出到计算机中。然而，其他实施方式不需要达到实时或近实时，有时可以在显示图像之前相当长一段时间来处理对象或视频图像(即显示图像)。

这种组件可以模块化；这里，可以使用任何这样的计算机软件，它使用来自先前组件的视频输入并将结果输出到视频显示。

这种组件的大多数实例都有两个部分：第一部分负责从静态背景中检测出活动对象，而第二部分利用对象信息来产生视频输出。这里将描述每一部分的很多实例；这些实例只是一些例子，而决不是详尽的。

在第一部分中，实时处理来自视频摄像机的实况图像，以便从静态背景(无论什么背景)中分离出活动对象(比如人)。这可以按如下方式来处理：

首先，将来自视频摄像机的输入帧转换成灰度级，以减少数据量和简化检测过程。接着，可以使帧略微模糊以减小噪声。

任何长时间不动的对象都被假定是背景；因此，系统最终可以适应变化的照明或背景状况。可以用许多种方法来产生背景的模型图像，其中每种方法都要在一段时间范围内检查输入帧。在一种方法中，可以通过平均方法、产生中间值的方法、检测亮度不变的时段的方法或者其他直观推断法，检查最终几个输入帧(或其子集)来产生背景的模型。检查输入帧的时间长度决定了背景的模型适应输入图像中的变化的速率。

在另一种方法中，在每一时间步骤(或偶尔)，通过计算当前帧和来自前一时间步骤的背景模型的加权平均来产生背景模型。在这一计算中，当前帧的权重相对较小；因此，实际背景中的变化逐渐地被同化成背景模型。这一权重可以调整，以改变背景模型适应输入图像中的变化的速率。

假定，所考虑的对象与背景的亮度不同。为了在每一时间步骤都找到对象，从背景的模型图像中减去当前视频输入。如果在某一特定区域这一差值的绝对值大于特定阈值，那么把这一区域归类为对象；否则，把它归类为背景。

第二部分可以是任何这样一种程序，它把图像的对象/背景归类(可能还要加上其他数据)作为输入，并可能实时输出基于这一输入的视频图像。这一程序可以采取无限多种形式，因此可以像计算机应用那样广义进行定义。例如，这一组件可以像按所检测对象的形状来产生照射圈那样简单，或者可以像通过被检测为对象的人所作姿态所控制的画图程序那样复杂。此外，有些应用可以采用其他输入形式，比如声音、温度、键盘输入等，还可以采用其他输出形式，比如音频、触觉、虚拟现实、香味等。

一类主要应用包括一些使用这种对象/背景类别作为输入的特殊效果。例如，在输出视频图像中，可以在被归类为“对象”的区域的随机部分中画上一些星号、线条或其他形状。于是，可以将这些形状设置成随时间逐渐衰弱，这样，当人走来走去时其身后将留下瞬时踪迹。下面是同一种类中的其他效果的一些例子：

-对象周围的轮廓和波纹

-由于对象存在所造成变形的栅格

-火焰和风的仿真以及应用于对象的其他模型卷绕

-随单独检测到的音乐节拍跳动的特殊效果

另一类主要应用可以使实际对象与虚拟对象和角色进行交互。例如，可以编排出一种表示一群小鸭子的图像跟随在显示的前面所行走的任何实际对象(例如人)的后面。

此外，在摄像机前面活动的人可以玩的计算机游戏还可以形成另一类应用。

然而，这种列举并不是排他的；由于这一组件可被设计成是可编程的，因此这一组件能运行任何应用。

来自前一组件的处理软件的输出被可视地显示。可能的显示包括视频投影仪、电视机、等离子体显示和激光显示，但并不局限于此。所显示的图像可以与视频摄像机的输入范围相一致，这样，视频效果与导致这种效果的人的区域相一致。由于视频摄像机的某些配置可以用不可见光来检测对象，因此，可以避免对摄像机有干扰的显示的问题。

对于不同的组件，有很多种可能的配置。例如，摄像机和视频投影仪可以在同一位置并指向同一方向。于是，摄像机和投影仪可以如图1中所示指向墙面，如图2中所示指向地面、用一面镜子重新定向，或者指向其他任何表面。此外，投影仪可以如图3所示置于屏幕后面，这样显示与图1中的显示完全相同，但是，由于人不再在投影途中，因此人就不会投射出一个影子。此外，还可以如图4中所示使投影仪与屏幕成一个倾斜角来避免这种影子。视频显示还可以是大屏幕TV、等离子体显示或视频墙。尽管上述配置都有与视频输入排成一线的视频显示，然而未必如此；视频显示可以置于任何地方。上述列举并不是详尽的；还可以有许多种其他可能的配置。

整个系统可以被联网，从而使视觉信息和处理软件状态信息可以在系统之间进行交换。因此，从一个系统的视觉信号中检测出的对象可以影响另一个系统中的处理软件。此外，一个系统的显示中的虚拟项目可以移动到其他系统中。如果多个系统的显示被排列在一起从而构成单个大型显示，那么，可以使多个系统起到他们好像是单个大型系统的作用，于是对象和交互作用可以无缝地跨越显示边界。

视觉系统的一个共同的问题是，在存在着来自与摄像机相比角度差别很大的无法控制的环境照射(如日光)对摄像机的可视区进行照射的情况下，对象会在背景上投射出影子。如果这些影子足够强，那么视觉系统可能将它们误解为对象。通过频闪摄像机的光源可以检测和去除这些影子。通过从既有环境光又有摄像机的光的摄像机输入图像中减去只有单独环境光的摄像机输入图像，系统可以产生捕捉了场景的图像，就好像只用了摄像机的光，因此，消除了从环境光中可检测到的影子。

利用图案照射或图案标记，可以得到在用摄像机所捕捉到的图像来检测对象时的附加精度。

对于计算机视觉，利用简单的泛光照射系统的一个缺点在于，如果摄像机观察到的一些对象的色彩很相似，那么，这些对象可能很难以检测出。如果摄像机以单色进行操作，那么，对象和背景看上去更有可能相同。

利用图案对象来覆盖摄像机的可视区可以改善对象检测。如果使用一种含有混合的很接近的两种或两种以上的色彩的图案，那么，其他对象几乎不可能有相似的外观，这是因为这种图案至少有一种色彩看上去与周围的对象的色彩不同。如果将图案对象(比如屏幕)在要被检测的对象之前作为背景，那么，利用视觉算法更容易检测出从该图案屏幕前面通过的对象。

例如，在红外视觉应用中，图案对象可以是一种人眼感觉是白色的背景垫层，但含有人眼看不见的而摄像机却可见的明暗多变的图案。利用一种不可见光谱的图案，该图案垫层不会干扰系统的美观。显示系统(例如投影视频)可以将输出图像投影到该垫层上，如上所述。可以为在处理系统(比如计算机系统)上执行的过程提供背景图案，从而使得更容易地检测垫层前面的对象，尽管该系统可能要以视觉算法学习其他任何背景同样的方法来学习这种图案背景。此外，不会对系统适应背景光亮度变化的能力产生不利影响。

图案照射还可以从光源投影到摄像机的可视区。只要摄像机和不可见光源具有不同的偏移位置，当对象穿过摄像机的可视区时，视差效果就会导致摄像机对投影图案的观察失真。这种失真有助于使得具有相似色彩的对象彼此突显。如果获得摄像机所看到的两个图像之间的差别，结果将可以显示在这两个图像之间所出现、消失或活动的任何对象的形状。如果从单独背景的图像中减去背景前面的对象的图像，那么，得到的结果是一个背景所在地为零而其他对象所在地为非零的图像。这种技术可以与这里所讨论的本发明的其他方面组合起来进行应用。

图案光源可以通过若干种方法来实现。一种方法是在幻灯投影仪中使用红外发光二极管(LED)簇或其他不可见光源。可以用一组透镜来聚焦穿过含有所需图案的幻灯片的光源，从而将图案的图像投射到摄像机的可视区。在另一种方法中，可以将红外激光束照射到激光图案发生器或其他散射器件上，以便在摄像机的可视区上产生光图案。光可以被偏转、遮光、扫描等，以便得到一个图案。还有许多其他可行的方法。

图案光源还可以用于3-D计算机视觉。3-D计算机视觉技术(比如Marr-Poggio算法)把从略微不同的角度得到的同一场景的两个图像取为输入。使这些图像上的图案相配，以确定图像中每个点的偏移量，从而确定与摄像机的距离。这种算法在处理统一色彩的对象时其性能会降低，这是因为，统一色彩使得在图像对中难以使相应的部分相配。因此，图案光源可以改善某些3D计算机视觉算法的距离估算。

进入这些3-D计算机视觉算法的两个输入图像通常用指向场景的一对摄像机来产生。不过，也可能只用一台摄像机。第二个图像可以是提前知道的投影图案的完全不失真形式。这种图案的图像基本上与第二摄像机看到的情况完全相同(只要该摄像机置于与图案光源完全相同的位置)。因此，单个摄像机的观察与投影图案可以一起作为3-D视觉算法的输入。此外，第二图像可以是取自同一摄像机的单独背景的图像。

尽管可以使用许多不同种类的图案，然而，高分辨率的随机点图案无论对2-D还是对3-D视觉都有某些优点。由于点图案的随机性，点图案的每一个相当大的部分几乎不可能看似图案的其他任何部分。因此，对象在视区中出现所导致的置换图案几乎不可能看似没有对象的图案。这最大程度地提高了视觉算法检测出图案中的置换部分的能力，因此也最大程度地提高了检测出对象的能力。使用有规则的图案(比如栅格)可能带来某些困难，这是因为，图案的不同部分是完全相同的，从而会使置换图案经常看似非置换图案。

图5A-D表示在检测对象时随机点图案的有效性。图5A表示普通照射情况下一个人的帧。这个人具有与背景相似的亮度从而难以检测。在图5B中，随机点图案从摄像机旁边的光源投影到背景上。当人站在这一图案的前面时，用人的反射图案来置换，如图5C中所示。通过获得图5B和5C中的图像之间的差别，可以得到图5D的图像，该图像用一种强信号确定了这个人的图像区。

此外，还可以用其他方法来改善对象检测。例如，光源可以被频闪，即周期性的开启和关掉，这样使得可以更容易地检测出起因于其他光源(例如环境光)的影子。

一旦对象被检测和确定，这种优选实施方式就可以使用梯度流(aura)来确定对象与所显示图像项目的交互作用的程度和方向。

图6A表示与视频对象交互的人用户。

图6A中，对象304已经被检测到并以轮廓形式被显示。在计算机的处理中，该对象的一种表示可以采用图6A中所示轮廓定义。视频屏幕302显示了几个图像项目，比如球状物的图像306。

图6B表示图6A的308的区域的感应图像。

在图6B中，利用用户的脚320的轮廓图像和小腿来连续地产生更大的轮廓区，原轮廓区320的区域被赋以一个与白色相应的大的像素亮度值。每个连续的轮廓区322、324、326、328、330都被赋以一个逐级降低的值，这样，离初始轮廓(白色)区越远的点将具有越小的像素值。注意，可以使用任意多个轮廓区。此外，轮廓区的大小和增量值可以根据需要而变化。例如，可以使用连续梯度，而不是离散区。所有轮廓区的集合称为“感应图像”。

将感应图像与不同的图像项目进行比较。在图6B中，球状项目306触及到梯度区326、328和330。如技术人员所知，对于所触及到的区，按像素值场的梯度方向确定方向线。图6B在项目306中示出了三例方向线。方向线可以是例如通过平均被合成的，或者可以选用单一线。这种处理还检测出项目所触及到的最亮轮廓区是轮廓区326。此外，还可以采用其他方法。例如，可以在图像项目的区中的每个点上或这些点的子集上对亮度和梯度进行平均。此外，某些实施方式除了包括作为要素的亮度和梯度之外还可以包括接触的持续时间。

一个对象(比如一个人)与屏幕上的一个项目之间的交互作用可利用触及到的轮廓区的亮度和方向来计算，其中方向是利用一条或多条方向线求得的。所触及的亮度与用户“触及”项目所用的强度相应。梯度相应于项目被触及的方向(或反向，这取决于计算的符号)。

尽管本发明参照其具体实施方式进行了讨论，然而，这些实施方式是本发明的举例说明而并不是限定性的。例如，尽管这些优选实施方式用摄像机作为检测器，然而，还可以使用不同类型的检测设备。该摄像机可以是数字或模拟的。可以用立体的摄像机，以便提供深度信息和位置。在不是实时进行处理和显示的情况下，可以使用胶片或其他类型的媒体，再进行数字转换，然后再将数据输入到处理器。可以使用光传感器或检测器。例如，可以使用一组光电探测器来代替摄像机。此外，还可以使用这里没有考虑到的具有合适结果的其他检测器。

通常，本发明可以使用任何类型的显示设备。例如，尽管这里在不同的实施方式和配置中描述了一些视频设备，然而，还可以使用其他类型的视觉显示设备。可以使用发光二极管(LED)阵列、有机LED(OLED)、发光聚合体(LEP)、电磁、阴极射线、等离子体、机械或其他显示系统。

可以使用虚拟现实、三维或其他类型的显示。例如，用户可以戴上成像目镜或头罩，使得他们可以沉浸在所产生的环境中。利用这种方法，所产生的显示可以与用户对其所在环境的感觉相一致，以形成加强或增强的真实性。一种实施方式可以使用户与角色的图像进行交互。该角色可以是计算机产生的，人动作者所扮演的，等等。该角色可以对用户的动作和身体位置作出反应。交互包括语音、对象的共同操作等。

多个系统可以通过例如数字网络进行相互连接。例如，可以使用以太网、通用串行总线(USB)、IEEE 1394(火热线)等。可以使用诸如802.11b所定义的无线通信链路。通过使用多个系统，不同地理位置的用户可以通过所产生的图像相互进行协作、比赛或者交互。两个或两个以上的系统所产生的图像可以被“平铺”在一起，或者被组合以产生集成显示。

此外，还可以使用与光不同的其他类型的照射。例如，可以使用雷达信号、微波或其他电磁波，这有利于检测的对象(例如金属对象)对这些波具有强反射的情况。例如在空中或水中通过使用声波可以使这种系统的一些方面适用于其他形式的检测。

尽管描述了用计算机系统来接收和处理对象图像信号并产生显示信号，然而，还可以使用其他任何类型的处理系统。例如，可以使用一种没有使用通用计算机的处理系统。有这样一些系统可以适用于本发明，这些系统的设计基于定制或半定制电路或芯片、专用集成电路(ASIC)、现场可编程门阵列(FPGA)、多处理器、异步或任何类型的结构设计或方法。

因此，本发明的范围只由附属权利要求书来确定。

Claims (13)

1.一种用于确定在与对象关联的对象图像周围的感应图像的系统，包括：

摄像机，用来捕获相对于背景的对象的图像；

显示系统，用来将包括至少一个虚拟对象的视频图像呈现到表面上，使得所述对象的虚拟存在与所述对象的实际存在相一致；以及

处理器，用来控制视频图像的呈现并产生包括两个或更多个轮廓区的感应图像，每一个轮廓区至少部分地围绕所述对象，其中，每一个轮廓区的位置相继地更加远离所述对象，所述轮廓区的亮度和像素值场的梯度方向用于估计所述对象与至少一个虚拟对象的交互。

2.权利要求1的系统，其中，所述背景包括图案对象。

3.权利要求1的系统，其中所述处理器还用来检测所述对象及其位置。

4.权利要求1的系统，其中所述处理器还用来基于所述感应图像确定所述对象与至少一个虚拟项目之间的交互作用。

5.权利要求1的系统，其中所述处理器还用来确定所述感应图像的梯度，并基于该梯度确定所述对象与至少一个虚拟项目之间的交互作用。

6.权利要求1的系统，其中所述处理器还用来确定所述感应图像的亮度，并基于该亮度确定所述对象与至少一个虚拟项目之间的交互作用。

7.权利要求1的系统，其中所述处理器还用来确定所述对象的梯度，并基于该梯度确定所述对象与至少一个虚拟项目之间的交互作用。

8.权利要求1的系统，其中所述处理器还用来确定从所述对象得到的轮廓区域的亮度，并基于该亮度确定所述对象与至少一个虚拟项目之间的交互作用。

9.权利要求1的系统，其中所述处理器还用来确定所述对象与至少一个虚拟项目之间的交互作用。

10.权利要求1的系统，其中所述摄像机包括频闪的光源。

11.权利要求1的系统，其中所述处理器还用来通过在一段时间范围内检查来自所述摄像机的输入图像的各帧，产生所述背景的模型。

12.权利要求1的系统，其中所述摄像机包括提供深度信息和位置的立体摄像机。

13.一种用于确定在与对象关联的对象图像周围的感应图像的方法，包括：

捕获相对于背景的对象的图像；

将包括至少一个虚拟对象的视频图像呈现到表面上，使得所述对象的虚拟存在与所述对象的实际存在相一致；

控制视频图像的呈现；以及

产生包括两个或更多个轮廓区的感应图像，每一个轮廓区至少部分地围绕所述对象，其中，每一个轮廓区的位置相继地更加远离所述对象，所述轮廓区的亮度和像素值场的梯度方向用于估计所述对象与至少一个虚拟对象的交互。

Images