CN1087549C - 一种将图像植入视频流的方法和系统 - Google Patents

Abstract

公开一种将广告之类的图像与出现在相对不变的空间例如运动场的动作的视频流相混合的系统和方法。系统利用背景空间的模型改变视频流，使在背景空间的某些位置包括有该图像。系统包括一个视频帧捕捉器(10)和一个图像植入系统(14)。帧捕捉器(10)一次捕捉视频信号的一个单帧。图像植入系统(14)一般将图像植入帧里面背景空间的一个预选场面的预定部位(如果该部位被显示在帧中的话)。

Description

一种将图像植入视频流的方法和系统

本发明一般地涉及将一个准备好的图象与视频信号并接的技术。

体育竞技场一般包括一个进行比赛的比赛区，一个坐着观众的座席区以及一个将这两个区隔开的某种隔板。一般，隔板至少部分地被赞助比赛的公司的广告所覆盖。当拍摄比赛时，隔板上的广告被作为体育竞技场的一部分拍摄下来。除非电视摄像机专门拍摄，否则广告不能充分地向公众显示。

已经知道几种将预先规定的广告并接到体育竞技场的电视场面上的系统。一种系统有一个操作员确定竞技场的一个目标场面。然后系统锁定在目标场面上并将一个预定的广告与相应于该场面的视频流的部分并接。当摄像机不再朝向该场面时，系统便失去目标场面并且操作员必须再一次指定使用哪个场面。

上述系统是实时操作的。其他已知的系统基本执行同样的操作，不过不是实时。

已经知道其他几种用于将数据并接到视频序列的系统。这些系统包括将一个图像插在视频场之间，在电视帧的一个固定位置叠加图像数据(例如电视台微标的数据)以及甚至电子插入图像数据“替代”专用目标广告牌。后一系统采用彩色键控一类的技术实现。

U.S.5,264,933叙述了一种改造电视图像的装置和方法，能够使所加入的广告图像成为原显示图像的一部分。操作员选择在所捕获的图像的什么地方植入广告图像。U.S.5,264,933的系统也能根据声频信号例如解说员的标准词句在所选择的主要广播区内植入图像。

PCT申请PCT/FR91/00296叙述了用于在接连的图像中修改一个区域的过程和装置。各图像均显示出一个不变形的目标区(附近有登记标志)。系统搜索出登记标志并利用它确定区域的位置。然后，事前准备的图像就可被叠加到该区域上。登记标志是目标区内或其附近的任何易于识别的标志(例如十字或其他语义图)。PCT/FR91/00296的系统以许多个分辨率产生被捕获图像，并在其识别过程中利用这许多分辨率。

本发明的一个目的是提供一种将图像例如广告与出现在相对不变的空间中的活动视频流相混合的系统和方法。这样的空间可以是一个运动场或球场，一个舞台或一个房间，并且其位置一般都是在活动(即比赛或演出)之前就选定的。图像被“植入”到背景空间的被选场面上(名词“植入”在这里意味着图像被混入到显示被选场面的视频流的一部分上面。

具体地说，本发明利用顾及到背景空间对视频流的变化的先验信息以包括背景空间里面某些位置的图像。无论在视频流中出现背景空间的哪一个透视图对于系统和方法操作来说都不重要。

根据本发明的一个优选实施例，系统最好包括一个视频帧捕捉器和一个图像植入系统。帧捕捉器一次捕捉一单帧视频信号。图像植入系统一般将广告图像植入到帧中背景空间一个预选场面的预先规定的部位(如果该部位被显示在帧中的话)。为了确定接受植入的部位的位置，图像植入系统包括一个接收单元，用于接收a)背景空间的固定场面的不透明模型和b)一个图像掩罩，它指示不透明模型要被混入图像的部位。图像植入系统通过模型识别该部位是否在帧内显示以及显示在什么地方。

此外，根据本发明的一个优选实施例，系统还包括一个设计工作站，图像和表示预选场面的图像掩罩可在工作站设计。

再者，识别过程最好包括a)审查帧并从中提取固定场面的特征以及b)确定一个在模型和提取的特征之间的透视图变换。

再又一点，审查和提取过程包括创建一个背景掩罩和一个前景掩罩。背景掩罩表示帧里面背景要素中感兴趣的特征的位置并被用于提取所要求的特征。前景掩罩由帧里面必须保留不变的前景要素组成。

另外，根据本发明的一个优选实施例，植入过程包括的步骤是：a)使用透视图变换变换图像、图像掩罩和共混掩罩(有选择地)；b)将所变换的图像、图像掩罩和可选择的共混掩罩与帧和前景掩罩混合。正如上文所述，前景掩罩表示不被所变换的图像遮盖的前景数据的位置。

再者，系统最好包括一个查找表，用于将帧里面的中间多种颜色转换为感兴趣的特征的颜色、背景要素的颜色和表示前景要素的颜色中的一个。查找表最好通过让用户指定相关颜色来创建。如果相关颜色不再表示感兴趣的特征和背景(典型地是由于照明变化)，用户可指定表示所要求的要素的新的颜色，从而校正查找表。

再又一点，根据本发明的一个优选实施例，查找表被用来创建表示帧里面感兴趣的特征、背景要素和前景要素的位置的帧的背景和前景掩罩。

根据本发明的一个示例性实施例，特征就是一些直线。在一个实施例中，这些直线通过霍克变换法提取。在另一个实施例中，则通过确定直线线段的角来提取。选出感兴趣的象素并打开一个邻域。再划分邻域并选出具有最大活力的扇区。然后延伸并划分所选出的扇区。根据需要反复进行这一过程。

此外，根据本发明的一个优选实施例，系统将所提取的特征映射到一个渐近函数上，以确定哪些特征是平行直线的透视图形式。

再者，根据本发明的示例性实施例，背景空间是一个其上标有直线的体育竞技场。系统具有一个体育竞技场模型，并且最好有一个模型中各长方形及其拐角的清单。系统最好执行以下操作：

a)由提取的特征中选出两条垂直线和两条水平线并定出它们的交点；

b)生成一个由模型的每个长方形拐角点至特征交点的变换短阵；

c)使用每个变换矩阵变换模型；

d)利用背景掩罩的背景要素，使每一个已变换的模型与帧符合；以及

e)选出与帧特征符合最佳的变换矩阵。

此外，根据本发明的一个示例性实施例，摄像机参数可被用来减少识别体育场地所需的帧里面的直线数目。对于本实施例，存在有下面的操作：

接收或提取摄像机的坐标；

将当前变换矩阵表示为坐标、俯仰、偏转和焦距矩阵的剩积，然后确定俯仰、偏转和焦距的数值；以及

识别具有算出的俯仰、偏转和焦距数值的摄像机并将该信息存储起来；以及

每当在视像中出现新的切换，便重复接收、表示和识别步骤。

现在对视像流里面的任一帧均能作为类似于前面的帧，或者作为一架识别过的摄像机拍摄的新切换部分进行处理。

通过下面结合附图所作的详细叙述，本发明将得到更全面的理解和正确评价。在附图中：

图1是一个方框图，说明根据本发明的一个优选实施例构造和工作的用于将图像植入视频流的系统；

图2是一个网球比赛的概略图，用作一个说明图1的系统工作的例子；

图3是一个用于理解图1系统工作的网球场模型图；

图4A是要被植入的图像的一个例图；

图4B是用于图4A的图像和图3的模型的图像区域掩罩的例图；

图4C是用于图4A的图像和图3的模型的共混掩罩的例图；

图5是一个方框图，说明图1系统的图像植入单元形成部分的诸部件；

图6是一个示例性视频帧的例图，图4A的图像要被植入其中；

图7是一个根据图6的视频帧生成的背景掩罩的例图；

图8是一个方框图，说明图5的图像植入单元的特征识别单元形成部分的工作；

图9A是一个流程图，说明特征提取方法；

图9B是用于理解图9A的方法的背景掩罩的部位例图；

图9C是图9B的背景掩罩的子扇区的直方图，用来理解图9A的方法；

图10是一个方框图，说明图5的图像植入单元的透视图识别单元形成部分的工作；

图11A是由图7提取的特征的交汇点的例图；

图11B是透视图平行线由于计算的不精确交汇在不同的点的例图；

图12A和12B是心射投影的例示图，用于理解图10透视图识别单元的工作；

图12C是用于图12A和12B的心射投影的示例函数的曲线图；

图13是一个详细方框图，说明10所示的工作过程；

图14A和14B用于理解图13的工作过程；

图15是使用变换矩阵的例图；

图16是用于理解四边形与几何模型之间的符合过程的例图，用来理解图13的工作过程；

图17是一个方框图，说明图5的图像植入单元的变换器和混合单元的工作过程；

图18是一个方框图，说明用于修正图5的图像植入单元中使用的查找表一种校正方法；

图19是摄像机参数的简略说明；

图20是一个流程图，说明当图19的摄像机参数已知或可算出时变换矩阵的工作过程；

图21是一个用于图20所示过程中的表格的例图；以及

图22是一个流程图，说明当摄像器参数已知或可算出时的工作方法。

现在参照图1说明一种用于将广告之类的图像和出现在相对不变的背景空间中的活动视频流相混合的系统。图像被植到背景空间的一个被选场面上。系统将被叙述在网球比赛(还参照图2说明)的电视播放过程中，不言而喻，本发明工作于活动出现的场面事前已知和可识别的所有情形。

本发明的系统一般包括一个视频帧捕捉器10，用于将输入的视频序列(例如网球比赛)转换成视频帧；一个设计工作站12，用于设计要被植入到在视频帧内看得见的被选场面(例如网球场)上的图像(例如广告)；一个图像植入系统14，用于将视频帧与所设计的图像并接；一个计算机控制系统16，用于控制操作员的操作并为操作员提供向图像植入系统14的输入；以及一个广播监示器18。

计算机控制系统16一般包括一个中央处理单元(CPU)20，一个键盘22，一个鼠标24，一个磁盘26，一个可更换的介质驱动器(例如软盘27)以及一个监示器28。监示器28一般用构成CPU 20的部件的图形适配器驱动。设计工作站12一般还包括诸如软盘27一类的可更换介质驱动器。

计算机控制系统16和图像植入系统14一般通过总线系统29通信。设计工作站和图像植入系统16一般通过可更换的介质通信。

视频序列可从任一个信号源例如从录像带，通过卫星、微波或任何其他形式视频通信等等的远地发射台接收。如视频序列由卫星提供，则系统不控制视频速率。因而图像植入系统14必须在视频速率内完成其操作，卫星视像流的各帧之间的视像速率一般为30ms。如果序列来自录像带，则系统能够控制视频速率并以任何要求的速度工作。

视频序列原本产生于比赛场。正如由图2所能见到的，对于网球比赛一般有两架电视摄像机30拍摄网球场32上的活动。电视摄像机30的位置一般不动。

球场32被网34分成两个半场。每个半场具有多个一般漆成第一绿色色调的区域36，各区域36被一般漆地白色的线条分开。外场区40一般被漆成第二绿色色调。

在现实中，直线38是一些平行线和垂直线。由于摄像机30是从一个角度而不是从上方推向活动体，它所接收到的活动图像都是透视图像。于是，在摄像机30的视像输出中，平行线38显得好像会聚于有限远处。视频输出的透视图的角度随摄像机30的角度和焦距量改变。

本发明将在各个透视图角度和焦距量的情形下把一个图像42(例如文字“IMAGE”)植在被选背景场面上的一个要求的位置。对于网球场来说，可能的位置是由四条直线38确定的网球场32的一个半中的任何长方形。如图2所示，图像42不影响选手44的活动；图像42显得好像是漆在球场场面上的。

在现实中，由于球场32的色调和球场32内的直线38的位置均不变，如果图像植入系统有一个包括有要被植入图像位置的比赛空间的模型，并至少能够识别拍摄角度和焦距量，就能够将图像并接到视频序列中，使得看起来好像图像被植在所要求的位置。为了做到这一点，图像植入系统还需知道摄像机所看到的球场的颜色。这些颜色能够随照明(日光或人造光)的变化而变化。

现在附带参照附图3说明网球场的几何模型50，以及参照图4A、4B和4C说明植入设计师准备的数据。

植入设计师工作在设计工作站12(例如由以色列赫兹利亚的西太克斯公司制造的BLAZE工作站)，一般有一个顶视图形式的网球场几何模型50。模型50一般为球场32的一个按比例缩小形式，它指出其要被植入系统14识别的要素(例如直线38)。其他的运动场可以包括圆弧或别的明确定义的曲线。其他的识别要素包括直线38的交点54。

植入设计师设计要被植入的图像42(示于图4A)并决定把它放在模型50上的什么地方。若干可能的位置52示于图3。然后，设计师准备一个图像位置掩罩56(图4B)以识别图像42要被放在模型50中的什么地方。掩罩56在模型50中要被放置图像42的位置处透光而在其他各处则不透光。

由于图像42可能是色彩鲜明的，因而可能要求的不是植入图像本身而是其经过柔和处理的形式，以便不致明显干扰球场32上的活动。因而，植入设计师可以有选择地准备一个共混掩罩58(图4C)，表示图像42在位置掩罩56所指出的植入位置处应当怎样地与球场32的颜色共混。共混掩罩58可以是这一技术中已知的任何适合掩罩。在图4C中，示出掩罩58具有四个区59，每一区表示球场颜色的最终不同数量，其中外区59一般较内区掺有更多的球场颜色。

现在回过头来参照图1和2。由几何模型50、图像42、图像位置掩罩56以及可选择的共混掩罩58组成的植入数据一般都在相应的网球比赛之前准备好，并且一般都通过可更换的存储介质提供给图像植入系统14用于在比赛发生时植入到所输入的视频序列中。

大多数电视直播比赛的视频序列都用一个初始化的操作序列开头，使本地电视台的操作人员能够将自己的系统与输入的序列同步。这一点对录像带数据也是正确的。

在本发明中，初始化的视频数据被帧捕捉器10捕捉，并被首先送到计算机控制系统16。电视台操作员选出一个具有清楚的赛场景像的帧，并如下文所述，用它提供校准信息。校准信息被图像植入系统14用来识别球场32及其特征(例如直线38)。在下文叙述的实施例中，校准信息包括背景中所感兴趣的特征例如场地线、运动场(球场32)以及运动场以外的地面(外球场区40)的颜色。可以接收到的其余颜色均被定为前景颜色。别的运动场可以要求或多或少的特征作定义，并因而要求或多或少的颜色。

电视台的操作员利用鼠标24和键盘22交互定义校准信息。这一点可用许多种方法达到，下面将叙述其中的一种。一个四色层被叠加在控制监示器28当前显示的帧上。开始时，这个四色层仅包括一种颜色-一种透明的颜色。于是，这一当前帧在开始时是可见的。

操作员指定描述三个特征即直线38、内运动场36以及外运动场40之一的象素。当他选出一个象素时，叠加层中对应于当前帧中具有被选颜色的象素的那些象素被着以单一的已调换颜色，因而覆盖当前帧中它们所对应的象素。所选的颜色被存储。对所有三个区重复这一过程。所有未选中的颜色被指定为第四调换色。

如果操作员认可这最后的四色层，则由当前帧选出的颜色之间的查找表(LUT)和调换色便产生出来了。

如果需要，计算机控制系统16能够将操作员为以后在LUT校正周期使用选出的象素存储起来，下文中将参照图18叙述。

计算机控制系统16向图像植入系统14提供由LUT构成的帧数据和用于产生LUT的象素。系统14利用上述帧数据识别输入视像信号的每一帧里面的所要求的特征。

现在参照图5说明图像植入系统14的通用部件。也参照用于理解系统14的工作的图6和7。

系统14一般包括一个用于识别在每个输入视频帧中存在球场32的哪些特征的特征识别单元60(图5)，以及用于识别活动摄像机30的拍摄角度和焦距并确定模型50和输入视频帧之间的适当透视图变换的透视图识别单元62。系统14还包括一个用于将植入数据由模型平面变到图像观察平面的变换器64以及一个用于将透视图植入数据与当前视频相混合从而将图像42植到球32上的混合器66。

正如下文中更详细叙述的一样，特征识别单元60利用LUT创建出输入帧的一个背景掩罩，指出帧的哪一部分具有可能感兴趣的背景特征以及哪一部分是前景，因而在后面的操作中是不会被改变的。因6和7分别提供一个示例性输入帧68及其相应的背景掩罩70。

图6的输入帧68在球场32上有两个选手44。图7的背景掩罩70示出各个四色区。标为1-4的区域分别为直线颜色、内场颜色、外场颜色以及保留颜色的区域。注意选手44的区域被标为背景颜色4并遮盖别的重要区域(例如白色直线1的那些区域)。

单元60(图5)由背景掩罩70提取运动场的特征。对于网球场来说，所感兴趣的特征是直线38。适视图识别单元62将所提取的特征与模型50的那些相比较，并从中产生出一个变换矩阵。

通过使用变换矩阵，变换器64将图像植入数据(即要被植入的图像42、图像位置掩罩56以及共混掩罩58)转换为输入视频帧的透视图。

最后，通过使用已变换的图像位置掩罩56和背景掩罩70，混合器66将透视图形式的图像42植入输入视频帧的所要求的部位。于是，如果选手在球场32植入图像42的部分走动，他们将好像就在被植入的图像“上方”行走。如果需要，已变换的共混掩罩58可被用来将图像42与植入图像42的场地的颜色共混。

现在参照图8详细说明特征识别单元60的工作过程。在步骤72，单元60使用LUT将来自许多彩色帧的输入视频转换为称作背景掩罩70的四色图。具体地说，对于网球场32，LUT提供一个第一数值至具有直线38的颜色的象素，一个第二数值至具有内球场36的颜色的象素，一个第三数值至具有外球场40的颜色的象素以及一个第四数值(表示前景象素)至其余的象素。这一点示于图7。LUT可以这一技术中已知的许多种方法中的任何一种适当方法实现。

背景掩罩70不仅确定哪些象素属于感兴趣的背景，而且包括例如直线38一类的感兴趣的特征。于是，在步骤74，特征识别单元60对背景掩罩70进行处理以提取感兴趣的特征。一般尽管不必要，LUT还是设计得提供具有单色数值的特征。

对于网球比赛的例子，提取过程包括审查背景掩罩70具有第一数值的那些象素并从中提取直线线段。例如，步骤74可通过在背景掩罩70上的一个霍克变换操作来实现。霍克变换叙述在1982年科学院出版社出版的阿兹利尔·罗逊费尔德与艾维纳什·C凯克所著的书“数字图像处理”第二版的第二卷第121-126页。本文中引用该书作为参考。

结果为一组直线参数-各描述背景掩罩70中的一个直线线段。每个线段的直线参数包括描述线段的直线方程的系数以及表示包含在线段中的象素数目的权重数值。

一种另外的提取方法示于现在就来简单参考的图9A、9B和9C，正如9A总体示出的，该方法在背景掩罩70中具有感兴趣的颜色(本例中为白色)的一个第一象素69(图9B)处开始，并考察其邻域75以确定哪里存在更多的白色象素(用阴影标出)。为了做到这一点，将邻域75分成一个预定大小的子扇区71-74，并完成各子扇区中白色象素分布的直方图。图9C示出图9B的扇区71-74的直方图。具有强极大值的一个(子扇区73)被选出作为继续查找的下一个扇区。

在下一个步骤，确定一个由被选的子扇区73及其延伸部分组成的新邻域78。整个邻域78是邻域75的两倍长。这一新的邻域78再划分为四个子扇区76并重复上面的过程。

继续这一过程直到满足下面的判断标准：

1.子扇区窄到足以被确定为一根直线。

2.在直方图中得不出强极大值。

如果达到条件1，则直线的系数被存储起来并且组成直线的象素随即被“着色”列具有“保留颜色”因而从查找中删去。

特征提取过程产生出一组可能的特征，它包括真正的特征和杂散的直线。

现在参照图10一般说明图5的透视图识别单元62的工作过程。还要参照用于一般理解单元62的工作过程的图11A和11B，参照以网球场32作例子详述单元62工作的图13以及参照用于理解图13详述的工作过程的图12A、12B、12C、14A和14B。

通过使用一个先验信息，单元62在步骤80处理可能的特征组并决定哪一个最可能是感兴趣的特征。在步骤82，单元62从最后的真正特征中选出特征的一个最小集合并试图将它们与模型50的特征符合。每当需要时就重复这一过程直到找出符合为止。在步骤84，符合的特征被用来生成一个变换矩阵M，将模型变换为输入视频帧中的特征。

在网球场32的例子中，步骤80利用模型50的直线38在两个方向(垂直和水平)平行并且在透视图中(例如在输入视像帧中)平行线实际上相交于一有限点的事实。这一点示于图11A，图中所有被提取的线段(用实线表示)均用虚线延长。对应于实际平行线的透视图直线(即伪平行线90)相交于一个远离帧的外边沿92的点91。一切别的交点(标为94)均出现在边沿92之内或者紧靠其边界。

但是，如图11B所示，由于数字化误差的关系，有可能确定出三个伪平行线的延长线不在一个单一的点相交。事实上，这些线可能在隔开很远的三个点96相交。

申请人已经实现了，由于透视图平行线在有限远处相交，被提取的直线向一个渐近函数的映射将使得交点靠在一起出现。因而，根据本发明的一个优选实施例，被提取的直线段映射到一个二维渐近函数上。一个这样的映射被称作心射图法，在马萨诸塞州坎布里奇市的MIT出版社1986年出版的伯索尔德·克劳斯·保尔·霍恩所著的“机器人视觉”一书的第258、259和275页有叙述，本文中引用这几页作为参考。心射图法的例子示于图12A和12B。

在心射图法中，XY平面102上的点100被映射到半球面104上的点100＇。XY平面上的直线106被映射为半球面104的大弧106′(即一个球面的大圆周的弧)。原点用南极点109表示，无限远点用中纬线108表示。于是，靠近中纬线108的任何点集110(图12B)均表示伪平行线的交点，由此，通过点集110的点的直线均为平行线。

图12B示出对应于一些任意提取的直线段(未示出)的多条大弧(标为120a-120f)。三条弧线120a-120c具有的交点122在中纬线108附近形成一个点集110a。大弧120d-120f也在中纬线附近相交不过是相交于点集110b。各条大弧互相相交，不过它们的另一交点均在比较靠近南极点109的位置，而不是靠近中纬线108。

在步骤130(图13)，心射图法被用来根据据由特征提取过程(图8的步骤74)产生的一组直线线段阵列产生一组大弧。

在步骤132，围绕中纬线108的区域均被查找以求出所有交点122。对每个交点赋以一个数值V_K。数值V_K是各相交直线段的权重Wi和相交点122的z坐标的函数。方程(1)提供了函数V_K的一个例子：

V_K＝W_直线1*W_直线2*f(z_交点)            (1)

式中f(z_交点)为具有类似于图12C的曲线134的曲线的任何函数，其中大多数的点均获得一个低的数值，只有靠近中纬线108的那些点(z＝1)获得接近于1的数值。例如，f(z_交点)可以是z⁵。

在步骤136，围绕各个交点122的一个小的邻域被用来查找其他交点。若找出任何一交点，则该交点与已找出的交点被作为点集110(图12B)存储起来。点集110也被定义为一个f(z_交点)的数值高于预定的门限值的点集。这样，点集10可以只包含一个交点。在图12B中有三个点集110a-110c，其中之一即110c就只包含一个交点122。

一旦所有的点均被找遍，每一点集110的位置就通过找出点集中各点的“重心”来确定。点集110的权重为点集110中各点的数值V_K之和。

在步骤138，选出具有最高权重的两个点集。对于图12B的例子，选出3点集110a和110b。

在步骤140，假定一个点集表示“垂直”线，而另一个则表示“水平线”。而且，在步骤140中，对应于两个选出的点集的直线段被分别标上“垂直”和“水平”字样。

在步骤142，审查“垂直”和“水平”线，并选出两根最重的垂直线和两根最重的水平线，这里的“最重”由Wi的数值确定。所选出的垂直线(标为146)示于图14A并用作图11A的直线。在步骤144，确定四条选出的直线的交点(标为A、B、C和D)并存储起来。如图14A所示，选出的直线可以相交在帧外。

步骤130-144是识别视频帧里面的真正特征(图10的步骤80)所必须的操作过程。步骤144的输出便是要与模型符合的特征。其余的步骤将特征与模型符合和将变换(图10的步骤82和84)确定为整套的操作过程。

一个标准的网球场具有五条垂直线和四条水平线。由于不可能把球场的两个半场区分开，因而仅有三条水平线是重要的。由三条中选出两条水平线(有三种可能的组合)和由五条中选出两条垂直线(有10种可能的组合)能够组成的不同四边形的数目为30。这30个四边形可以在四个不同的方向形成总共120个矩形。

在步骤150，通过选择其四个角(图14中标为A′、B′、C′和D′)选出几何模型50中120个矩形里面的一个来。正如所能看到的，这不是正确的符合。

在步骤152，将模型的四个点A′、B′、C和D′(图14B)变为视频帧的四个点A、B、C和D(图14A)的矩阵M被确定。正如参照图15所说明的，矩阵M可表示为一连串的变换的叠加。

图15示出三个四边形180、182和184。四边形180是示于XY平面上的模型四边形ABCD，四边形182是在TS平面内具有点(0，1)、(1，1)、(0，0)和(1，0)的单位正方形，而四边形184则是UV平面上的透视图四边形。

由模型四边形180至透视图四边形184的变换M可以由两个变换即一个由四边形180至单位正方形182的变换并改变比例的矩阵T和一个由单位正方形182至四边形184的透视图矩阵P的叠加来表示。矩阵T(采用齐次坐标)具有形式： $T=\left[\begin{array}{ccc}{S}_x& 0& 0\\ 0& S_y& 0\\ T_x& T_y& 1\end{array}\right]----\left(2\right)$ 式中S_x和S_Y分别为X和Y方向的比例因子，T_x和T_Y为X和Y变换因子。S_x、S_Y、T_x和T_Y由方程式

(X，Y，1)^*T＝(S，t，1)              (3)对四边形180的四个坐标(X，Y，1)和单位正方形182的四个坐标(S，t，1)求出。

矩阵P(采用齐次坐标)具有形式： $P=\left[\begin{array}{ccc}{a}_{11}& a_{12}& a_{13}\\ a_{21}& a_{22}& a_{23}\\ a_{31}& a_{32}& a_{33}\end{array}\right]----\left(4\right)$

矩阵P的元素通过解下面的方程求出：(S，t，1)^*P＝(U，V，W)                    (5)式中(U，V，W)表示图15所示的四边形184的点A、B、C和D的四个已知坐标，并且W总是归一化的。

假设a₃₃＝1，则可按以下方法计算出P。

由(S，t，1)＝(0，0，1)，我们求出

a₃₁＝U₀

a₃₂＝V₀₀                       (6)

由(S，t，1)＝(1，0，1)，我们求出：

a₁₁+a₃₁＝U₁₀(a₁₃+1)a₁₁＝U₁₀(a₁₃+1)-U₀₀    (7)

a₁₂+a₃₂＝V₁₀(a₁₃+1)a₁₂＝V₁₀(a₁₃+1)-V₀₀

由(S，t，1)＝(0，1，1)，我们求出：

a₂₁+a₁₃＝U₀₁(a₁₃+1)a₂₁＝U₀₁(a₂₃+1)-U₀₀    (8)

a₂₂+a₃₂＝V₀₁(a₂₃+1)a₂₂＝V₀₁(a₂₃+1)-V₀₀

由(S，t，1)＝(1，1，1)，我们求出：

a₁₁+a₂₁+a₃₁＝U₁₁(a₁₃+a₂₃+1)                 (9)

a₁₂+a₂₂+a₃₂＝V₁₁(a₁₃+a₂₃+1)

由方程(7)-(9)，产生出含两个未知数a₁₃和a₂₃的两个方程如下：

a₁₃(U₁₀-U₁₁)+a₂₃(U₀₁-U₁₁)＝U₁₁+U₀₀-U₁₀-U₀₁  (10)

a₁₃(V₁₀-V₁₁)+a₂₃(V₀₁-V₁₁)＝V₁₁+V₀₀-V₁₀-V₀₁

一旦求出a₁₃和a₂₃，其余的元素就能由方程(7)和(8)求出。

变换或映射矩阵M等于矩阵T和P的矩阵乘积，如下式：

M＝T^*P

在步骤154，模型50的直线38被用映射矩阵M映射到视频帧上。结果得到一个在存在模型的已转换象素的地方具有1在别的地方则具有0的变形帧156(图16)。正如所能看到的，点A′、B′、C′和D′分别与点A、B、C和D符合。但是，几何模型50的其余地方则不相符合。

在步骤158，求变形帧156与背景掩罩(图7)的“异或”值。“异或”步骤在两种情形输出一个0：a)变形帧156的象素具有1值和视频帧的象素具有场地线颜色；b)变形帧156的象素具有0值和视频帧的象素具有“非场地线”颜色。其余的情形均得到1值。

在步骤160和161，对具有1值的象素数目计数并将计数数值与变换矩阵M相联系。

所有的矩阵M都已经确定之后，在步骤162，选出具有最小权重的矩阵。由于存在不能达成任何符合的可能性(即电视上正在放映商业广告，电视摄像机正在对着观众，等等)，在步骤164，用一个门限值检验被选矩阵的权重，若高于那个值，则提供一个零值变换矩阵。否则，将所选矩阵确定为变换矩阵M。在前面任何步骤的试验条件出现故障时，也提供零变换矩阵。

现在参照图17说明图5的变换器64和混合器66的工作过程。变换器64利用变换矩阵M使每个图像42、图像区域掩罩56以及共混掩罩58变形到视频帧的平面(步骤170)。它也对变形的图像区域掩罩和背景掩罩进行逻辑乘(AND)，从中产生一个允许掩罩。允许掩罩表示那些既是背景象素又处在图像区域之中的视频帧的象素。图像将被植到这些象素上。

混合器66根据共混和允许掩罩将变了形的图像与视频帧组合。每一象素(x，y)的实现公式一般为：输出(x，y)＝β(x，y)^*图像(x，y)+(1-β(x，y))^*视像(x，y)(12)

β(x，y)＝α(x，y)^*P(x，y)                         (13)式中输入(x，y)为输出帧的象素数值，图像(x，y)和视频(x，y)分别为植入图像42和视频帧的数值，α(x，y)为共混掩罩58中的数值以及P(x，y)为允许掩罩中的数值。

上文的叙述假定了产生背景掩罩70的LUT在整个比赛期间保持正确。如果照明变化(一般出现在室外比赛中)，则视频序列的色彩会变化，其结果是，背景掩罩70不再正确表示背景要素。因此可以周期性地执行一个校正过程。校正过程详述在图18中，现在就来参考它。

注意，在校准过程中，表示背景中感兴趣的特征(例如场地线、内球场和外球场)的测试点由操作员选择。点的位置及它们的彩色数值被储存起来。

一旦用于校准视频帧的矩阵被确定，测试点的位置便由视频帧平面转换到几何模型平面(即使用矩阵M的逆变换)。在以后某些时候需要校准时，测试点再转换到当前的视频帧平面。选出当前视频帧里面变了形的测试点并对其邻域取样。计算出每个领域的颜色特性(例如用直方图)，并将结果与存储的点的特性相比较。如果在颜色中有任何显著的变化，则校正LUT并将相关的点转换为几何模型且存储起来。

将正确评价在上文中就网球比赛以及就其他背景信息固定不变且已知的情形叙述的本发明所包括的操作程序。如下文所述，上文叙述的操作程序可通过跟踪和通过知道摄像机参数用许多方法改进。

当提供有关摄像机位置、转动角和焦距量的信息(由外部或者由系统确定)时，由于透视图矩阵P的自由度数目减少的关系，上文叙述的操作过程可以缩短。

具体地说，透视图矩阵P包括有考虑所用摄像机的位置、转动角以及焦距的信息。这个信息可以提取出来，并且透视图矩阵P(或者同样地，变换矩阵M)可以被重新定义为各个摄像机参数的函数。

图19示出一架摄像机及其参数。其位置用具有离X，Y，Z坐标系172的原点0坐标(x，y，z)的向量171表示。摄像机关于其基轴U、V和W的相应滚动、俯仰、偏转和扫调分别如箭头173、174和175所示。此外，摄像机镜头可以沿V轴调焦距，如箭头176所示。

假设摄像机不滚动并且摄像机的纵横比(摄像机生成的图像中象素的宽度与高度之间的比例)规定为方形象素，则透视图矩阵P可以参数化为摄像机的位置及其俯仰、偏转和焦距的函数。假设摄像机从前帧至后帧不改变位置而仅仅改变其俯仰、偏转、角度或焦距。

图20、21和22表示确定和利用摄像机参数的方法。在图20中，当在视频流中识别出一个新的切换时，则在新切换的第一帧上执行如图10所示的整个透视图识别操作过程(步骤180)。步骤180产生透视图距阵P的元素a(i，j)。过程在两个方向继续进行：

a)由图13的步骤154开始，确定变换矩阵7；以及

b)如MIT出版社1993年出版的奥利弗、福格拉斯所著“三维计算机视觉：一种几何观点”一书的第3.4节所说的那样由矩阵P提取出摄像机坐标(x，y，z)(步骤184)。本文中引用该书作为参考。

一旦提取出摄像机坐标(x，y，z)，便执行如下两个检查(步骤186和188)：条件186：摄像机在方向174不滚动(旋转)。若元素a₁₃不等于零时，则存在滚动。条件188：摄像机的纵横比(AR)定义一个正方形象素(即AR＝1)。

如果任何一个条件不真实，则缩矩操作过程的剩余部分立即停止。

如果两个条件均被满足，则像在“三维计算机视觉：一种几何观点”一书中所说的那样，矩阵P可以被重新表示(步骤190)成下面各矩阵的乘积：

a)焦距(f)：摄像机焦平面的投影的矩阵；

b)变换：由坐标系原点至计算出的摄像机位置(x，y，z)的变换的距阵；

c)俯仰(α)：围绕U轴转一角度α的旋转矩阵；以及

d)偏转(θ)：围绕W轴转一角度θ的旋转矩阵。

使用焦距、俯仰、偏转和变换的数值，将第一摄像机彻底校准(步骤192)并将其参数登载到识别过的摄像机的表格194(示于图21)中。别的摄像机将接下文中叙述的方法识别并登记在表格194中。

然后，在所有的帧上面执行根据图22所叙述的缩短计算过程。使用α、θ和f考查一个帧(步骤196)以确定它与前面的帧的相似性。相似性则通过一个符合系数(即使用计算出的矩阵相继映射到模型上的帧中感兴趣的象素的百分率)来度量。如果得到的相似性良好，则所计算得的矩阵可用于插入操作(根据图17所述)。如果符合系数很小，则可能该帧是用表格194里的另一架摄像机来拍摄的。

为了找出另外的摄像机，必须审查当前帧并识别其中的一根直线。而且，还必须识别被识别直线上的一个点例如和另一直线的交点(步骤198)。通常被识别的直线都是“最粗状的”直线。

在步骤200，按下法确定列在表格194中的各架摄像机的符合值：

将被识别的直线和点与几何模型中的一根直线和点联系起来，并且确定出这一联系的透视图矩阵P(它将模型的直线和点交换到被识别的直线和点)。由于每一个透视图矩阵都是当前摄像机(已知)的坐标(x，y，z)和俯仰角α、偏转角θ以及焦距f(未知数)的一个函数，因而，在假定被识别的直线和点很好地符合模型的直线和点的情况下，最终的透视图矩阵P可通过能够算得出来的俯仰、偏转及焦距的数值确定。

如在图10的方法中一样，变换矩阵M根据透视图矩阵P确定，并且几何模型通过矩阵M变换为帧内图像的平面。模型的直线符合图像里的直线并产生一个符合数值。

对几何模型里的直线和点的每一组合反复进行将模型的直线和点与被识别的直线和点联系，根据已知的摄像机坐标及直线和点的联系产生一个透视图矩阵P，并将一个符合数值确定为的过程。如果符合数值大大小于1，就表示符合很差，则对坐标(x，y，z)已知的另一架摄机重复进行上文所述的与被识别直线和点的符合过程。

将对每一架摄像机计算出的最大符合系数登入表格194(图21)的一个标为202的栏中。在步骤204，选出具有系数202的最高值的摄像机，如果系数大于一个预定的门限值，则它的透视图矩阵P被用于图17的图像插入过程。如果栏202的最高系数有一个低于门限的数值，则有一个未知的摄像机被用来拍摄了当前帧。执行图10的过程必须继之以图20的摄像机识别过程。

熟悉这一技术的人员将会意识到本发明并不限于上文中特别示出和叙述的那些东西。更确切地说，本发明的范围系由后面的权利要求书所规定。

Claims (22)

1.一种用于一次将一个图像植入表示出现在背景空间的一连串动作的多个视频帧的一个被选帧的方法，背景空间具有一个固定的平面场面并且被至少一架摄像机扫描，方法包括的步骤是：

生成与所述多个视频帧无关的所述固定场面中的一个被选场面的模型，所述模型包括表征所述场面的几何特征的一种图形；以及

利用所述模型将所述图像植入所述帧内，所述利用步骤包括用透视图法改变所述模型形状的步骤。

2.根据权利要求1的方法，其中所述几何特征包括至少一个由直线和弧线组成的线族。

3.根据权利要求2的方法，还包括提供各条所述直线的弧线之间的平面关系的表示法的步骤。

4.根据权利要求1的方法，其中所述图形是一种平面向量图形。

5.用于一次将一个图像植入表示出现在背景空间的一连串动作的多个视像帧中的一个被选帧的装置，背景空间具有固定的平面场面并被至少一架摄像机扫描，装置包括：

用于生成与所述多个视频帧无关的所述固定场面中的一个被选场面的模型的装置，所述模型包括表征所述场面的几何特征一种图形；以及

利用所述模型将所述图像植入所述帧的装置，所述利用装置包括以透视图的方法改变所述模型形状的装置。

6.根据权利要求5的装置，其中所述几何特征包括至少一个由直线和弧线组成的线族。

7.根据权利要求6的装置，还包括用于提供各条所述直线和弧线之间的平面关系的表示法的装置。

8.根据权利要求6的装置，其中所述图形是一种平面向量图形。

9.一种用于一次将一个图像植入表示出现在背景空间的一连串动作的多个视频帧中的一个所选帧的方法，背景空间具有固定的平面场面并且被至少一条摄像机扫描，方法包括：

生成所述固定场面中一个被选场面的模型。所述模型包括表征所述场面的几何特征的一个图形；

利用所述模型以透视图方式改变所述图像形状，以把它装入总体上同样的所述被选帧的透视图中；

产生所述被选帧的一个背景掩罩，所述帧包括至少所述固定场面的一部分，所述背景掩罩确定所述被选帧的可改变区域和它的不可改变区域；以及

将所述以透视图方式变了形的图像共混到所述可改变区域的所述被选部分，从而将所述图像植入所述被选帧中。

10.根据权利要求9的方法，其中所述生成所述模型包括生成与所述多个视频帧无关的所述模型。

11.根据权利要求9的方法，其中所述利用包括利用所述模型和一个被选来用于产生变换矩阵的可改变的区域，所述变换矩阵以透视图方式改变所述图像形状。

12.根据权利要求9的方法还包括在所述利用步骤之前产生一个确定所述图像与所述模型的相对位置掩罩，从而使所述图像位置掩罩随所述图像变换。

13.根据权利要求12的方法，其中所述共混步骤包括将所述变形了的位置掩罩和所述背景掩罩的被选可变区域相加，因此产生一个确定所述帧中象素的允许掩罩，所述图像的对应象素被植入其中。

14.根据权利要求13的方法还包括产生一个以透视图方式变形的共混掩罩，所述共混掩罩确定透明度数值并且其中所述共混步骤还包括将所述图像，所述允许掩罩和所述共混掩罩相混合，从而将所述图像以所要求的色值植入。

15.根据权利要求14的方法，其中所述混合包括向每个象素(x，y)分别一个色值，其中

象素(x，y)的色值＝β(x，y)^*图像(x，y)+(1-β(x，y))^*帧(x，y)

其中β(x，y)＝α(x，y)^*P(x，y)

其中α(x，y)和P(x，y)为象素(x，y)的共混和允许掩罩数值；以及

其中图像(x，y)为象素(x，y)的所述图像数值以及所述帧(x，y)为象素(x，y)的所述被选可改变区域数值。

16.一种用于一次将一个图像植入表示出现在背景空间的一连串动作的多个视频帧中被选的一个帧的系统，背景空间具有固定的平面场面并且被至少一架摄像机扫描，系统包括：

用于生成所述固定场面中一个被选场面的模型的装置，所述模型包括表征所述场面几何特征的一个图形；

用于利用所述模型以透视图方式改变所述图像形状，以将它装入总体上同样的所述被选帧的透视图中；

用于产生所述被选帧的背景掩罩的装置，所述帧包括至少一部分所述固定的场面，所述背景掩罩确定所述被选帧的可改变区域和它的不可改变区域；以及

用于将所述以透视图方式变了形的图像共混到所述可改变区域的所述被选部分中，从而将所述图像植入所述被选帧的装置。

17.根据权利要求16的系统，其中所述生成所述模型包括生成所述不依赖于所述多个视频帧的模型。

18.根据权利要求16的系统，其中所述利用装置包括利用所述模型和一个被选的可变区域产生变换矩阵的装置；所述变换矩阵以透视图方式改变所述图像的形状。

19.根据权利要求16的系统还包括用于在所述利用装置工作之前产生确定所述图像与所述模型相对位置的图像位置掩罩，从而使所述图像位置掩罩随所述图像变形的装置。

20.根据权利要求19的系统，其中所述用于共混的装置包括用于将所述变形的位置掩罩和所述背景掩罩的所述被选可变区域相加，由此产生一个确定所述帧中象素的允许掩罩(所述图像的对应象素被植入其中)的装置。

21.根据权利要求20的系统还包括用于产生一个以透视图方式变形的共混掩罩的装置，所述共混掩罩确定透明度数值，并且其中所述用于共混的装置还包括用于将所述图像、所述允许掩罩和所述共混掩罩相混合、从而以所要求的色值植入所述图像的装置。

22.根据权利要求21的系统，其中所述用于混合的装置包括向每个象素(x，y)分配一个色值的装置，其中

象素(x，y)的色值＝β(x，y)^*图像(x，y)-(1-β(x，y))^*帧(x，y)

其中β(x，y)＝α(x，y)^*P(x，y)

其中α(x，y)和P(x，y)为象素(x，y)的共混和允许掩罩数值；以及

其中图像(x，y)为象素(x，y)的所述图像数值以及所述帧(x，y)为象素(x，y)的所述被选可改变区域数值。

Images