CN1288635A

CN1288635A - 以时空调整结合视频序列的方法及系统

Info

Publication number: CN1288635A
Application number: CN99802201A
Authority: CN
Inventors: 泽格·阿耶尔; 马丁·费特利
Original assignee: Ecole Polytechnique Federale de Lausanne EPFL
Current assignee: Ecole Polytechnique Federale de Lausanne EPFL
Priority date: 1998-01-16
Filing date: 1999-01-15
Publication date: 2001-03-21
Anticipated expiration: 2019-01-15
Also published as: IL137278A0; WO1999037088A1; AU1980599A; BR9906887A; JP4739520B2; CA2318375A1; BRPI9906887B8; ATE218780T1; JP2003523643A; DE69901681D1; ES2177220T3; DE69901681T2; IL137278A; EP1055324B1; EP1055324A1; CA2318375C; BRPI9906887B1; CN1155229C; US6320624B1

Abstract

从二个给出的视频序列可产生一合成视频序列,其包括来自每一给出的序列之视觉要素,经过适当同步化并表现在一选定的焦点平面上。例如,在二个给出的视频序列中,各显示一不同的参赛者单独在同一降坡道上疾驰,而该合成序列可包括每一给出的序列的要素,显示出彷佛同时疾驰的二名参赛者。以类似方法亦可结合视频序列与音频序列而制成一合成视频序列。

Description

以时空调整结合视频序列的方法及系统

技术领域

本发明涉及视觉显示，尤其涉及时变视觉显示。

发明背景

在视频显示中，例如在有关运动的电视节目中，可利用特殊视觉效果增强观众对动作的理解。例如，在诸如足球等团队运动的情况下，即时重播使观众可有二次机会″补捉到″比赛中的重要时刻。此种时刻可用慢动作重播，并可加入诸如手绘圆圈、箭头及字母的叠置的记号，作为强调与注解。其他类型的运动中，例如竞速比赛，亦可使用这些技术。

即时重播技术等在团队运动中最受欢迎，因为画面通常紧凑而拥挤。同样地，例如在百米冲刺竞赛中，画面中包括了许多齐肩并列的参赛者，位于终点线的慢动作可清楚浮现眼前，表现出比赛的精髓。另一方面，在某些竞速项目中，诸如降坡竞速或滑雪跳跃，例如为了实际需要与安全性，起始时间必须错开，所以实际画面通常只包括一名参赛者。

发明概要

为了让运动迷以及参赛者与教练能看见更清晰的画面，所以需要能突出参赛者之间竞争要素的显示。此种需求尤其适合用于参赛者单独出赛的情况，例如在连降滑雪时，并且此种需求也可适用于以资格赛方案决定谁会从准决赛晋入半决定再进入决赛的团体竞赛。

人们已经知道，可从两个或多个给出的视频序列(video sequences)产生一个合成视频序列，其包括来自每一给出的序列的视觉要素，并在一选定的焦点平面上适当同步化与表现。例如，在二个给出的视频序列中各显示一不同的参赛者单独在同一降坡道上疾驰，而该合成序列可包括每一给出的序列的要素，以显示出彷佛同时疾驰的参赛者。

举例说，以类似方法结合一个或多个视频序列与一个或多个不同的序列，诸如音频序列，亦可形成一合成视频序列。

附图简要说明

图1为本发明一较佳实施例之方框图；

图2A与图2B为不同连降滑雪者通过一视频摄影机前的示意图；

图3A与图3B是视频摄录影机记录图象的示意图，分别对应图2A与图2B；

图4为图2A与图2B结合的示意图；

图5为所需视频图象的示意图，其中将图3A与图3B的画面投射在一选定的焦点平面内；

图6为利用本发明之模型实施而制成的合成视频序列中的一个帧。

详细说明

就概念上讲，本发明可用类似二维(2D)″变体″之意义来理解，亦即，在计算机化图形中由一图像I1平滑转变、变形或映射为另一图像I2。此种变体导致一种视频序列，其显示从I1到I2之转变，譬如从一苹果的图象转变成一橘子的图象，或从一人类面孔的图象转变成另一图象。视频序列是三维的，具有二个空间与一个时间维度。此序列的各部分可能有特殊的重要性，例如由两张面孔平均而形成的中间图象，或例如来自I1的一张脸孔及两只眼睛与来自I2的微笑而形成的合成体。因此，图象间的变体可看作合并各图象的特征的一种形式。

本发明涉及一种更复杂的任务，亦即，合并两个音频序列。从一种序列变体或映射到另一种序列会导致四维度的数据，而此种数据无法轻易显示。然而，任何中间结合或任何合成序列都会导致一新的视频序列。

特别关心的是，本发明结合两个或多个给出的序列的要素产生一个新的视频序列，而此一新视频序列经过适当的时空调整或同步化，并投射到一选定的焦点平面。例如，在运动竞速比赛的情况中，诸如连降滑雪，从两名参赛者分别通过滑雪道得到的视频序列，对应比赛起点选取帧，可予以时间同步化。或者，多个序列可以同步化，使参赛者同时通过诸如一弯道入口的重要点。

所选定的焦点平面，可与给出的序列之一或另一序列的焦点平面相同，或者可为一适当结构但与原有二序列都不同的焦点平面。

同样重要的是，同步化可用显著项目为基础，例如，在田径赛中，从地面跃起或重新触地的跳高参赛者。关于此点，更关心的是同步化两个序列，以使跃起与触地同时发生，需要时间标度。所产生的合成序列可提供轨道的比较。

视频序列同步化之后，可在空间上进一步调整，例如以产生一个合成序列，让人感觉参赛者正同时越过场地。在一简单的作法中，可在逐帧的基础上进行空间调整。或者，藉由考虑摄影机的大量帧，可延长一输出图象的画面，以涵盖数个序列图象中的背景要素。

形成合成图象涉及在一选定的焦点平面中表现多个组成画面，这通常需要相当大量的计算机化处理，例如，如图1所示的两个视频输入序列的特殊情况。

图1显示二个图象序列IS1及IS2被馈送到一模块11内，以同步化为同步的序列IS1’及IS2’。例如，序列IS1及IS2可为降坡竞速比赛中两名参赛者的画面，可用模块11同步化，使各序列的第一帧对应其离开起点入口时的参赛者。

同步化的序列被馈送到一模块12作背景抽离，也送到一模块13作摄影机座标变换估计。模块12对每一图象序列产生一加权掩码序列(weight-mask sequence，WMS)，每一加权掩码为一阵列，其对每一像素位置有一项，并可区别重要画面与背景／前景。加权掩码的产生涉及计算机化图象搜寻，寻找相对背景从一帧移到另一帧的要素。模块13产生序列参数SP1及SP2，包括摄影机方位角与仰角、摄影机焦距及光圈等。利用计算机化处理，包括图象内插与匹配，可从每一视频序列决定这些参数。或者，可使用适当配备的摄影机直接提供这些序列参数，因此不需用计算机化处理估计它们。

加权掩码序列WMS1与WMS2被馈送到一模块14作″α层″序列计算。α层是一阵列，它指定每一图象中每一像素在合成图象中应有的加权。

序列参数SP1与SP2以及α层被馈送到一模块15，将调整後的图象序列投射到一选定的焦点平面上，产生所要的合成图象序列。图2A、2B、3A、3B、4及5进一步举例说明此点。

图2A显示一滑雪者A正要通过一位置标记21，此画面从视角为φ(A)之摄影机位置22记录下来。滑雪者A抵达的位置可能在A离开竞速比赛项目起点入口后经过t(A)秒的时间。

图2B显示另一滑雪者B在相对标记21的相似位置，此画面从另一不同的较小视角φ(B)之另一摄影机位置23记录下来。为了与滑雪者A比较，可以使滑雪者B的位置对应从B离开起点栅后经过t(A)秒的时间。如图所示，与滑雪者A比较时，滑雪者B在t(A)秒内沿著比赛滑雪道行进的距离较远。

图3A与图3B显示分别产生的图象。

图4显示在一相同摄影机位置重叠图2A与图2B所形成的组合。

图5显示所产生的所要图象被投射在一选定的焦点平面上，可直接看见滑雪者A与B彷佛一起从相同起点比赛滑雪t(A)秒的画面。

图6显示使用此种技术之模型实施而产生之合成图象序列中的一帧画面，此帧系对应赛程中间测时的一点。数值57．84是以秒为单位的时间，表示较慢的滑雪者抵达赛程中间测时点所花的时间，数值+0．04(秒)表示他落后较快滑雪者的时间。

此种技术的原型仪器系以″C″程序语言编写的，可在譬如一SUN工作站或个人计算机上执行。为了强化处理效率，并特别为了涉及匹配与内差的信号处理，可以使用专用的固件(firmware)与硬件。

以下进一步详细说明此技术的各个方面与变化。

A．背景／前景抽离

在每一序列中，使用适合的运动估计法可抽离背景与前景。对于使用移动摄影机摄制的图象序列，以及摄制的画面中含有移动的动作者或物体时，此法须″强力″才能达成背景／前景抽离。若要让背景／前景抽在时间上离持续稳定，同时也需要时间上的一致。当摄影机与动作者都以可预测的方式移动时，例如，以恒定速度或加速度移动时，可使用时间滤波来增强时间一致性。

背景因摄影机移动而移动的速度及滑雪者相对摄影机的速度决定后，根据这些速度的决定，背景／前景抽离产生一加权层，此层可区别跟随摄影机与不跟随摄影机的像素。随后使用加权层产生一α层作最后合成序列之用。

B．序列之时空调整

时间调整包括根据一选定的标准来选择各序列中的对应帧。通常，在运动竞速比赛中，是由譬如测时系统传送的每一序列的时间码来选择对应比赛起点的帧。其他可能的时间标准包括对应一指定空间位置的时间，例如，诸如在一入口或一跳跃入口的时间。

实施空间调整是通过为每一帧选取一个基准座标系，及估计基准系统与每一序列的对应帧间的摄影机座标变换进行的。当摄影机数据，诸如摄影机位置、取景方向与焦距，系与视频序列一同记录时，或许不需要此种估计。通常，基准座标系被选择作为给出的序列之一的座标系一亦即作为合成序列的座标系。如下说明，空间调整可在逐帧或多重帧的基础上实施。

B．1单一帧基础之空间调整

此项技术的每一步骤中，调整使用每一序列中的一个帧。因为每一序列包括移动的动作者／物体，所以需要强力的方法来估计摄影机座标变换。为了这个目的，可以使用背景／前景抽离中产生的掩码。此外，为了背景／前景抽离之故，可使用时间滤波增强估计过程的时间一致性。

B．2多重帧基础之空间调整

在此项技术中，应用空间调整来重建每一序列中所见到的画面图象。例如，使用类似抽离背景／前景的技术，首先在多重帧上分析每一视频序列以重建画面。一旦每一画面已独立地重建，例如尽可能多地摄入背景，即可如上述进行画面的空间调整。

此项技术允许自由选择画面中每一帧的视野，相比之下，单一帧技术中则须把基准帧之一选择为视野。因此，在多重帧技术中，万一并非在所有帧中都能看见所有参赛者，选择合成图象的视野及／或视角时，可让所有竞争者都出现在帧中。

C．视频序列之叠加

完成每一序列中的背景／前景抽离及每一序列与一基准系统间的摄影机座标变换估计后，可将各序列投射到一选定的焦点平面，以在单一显示中同时显现。每一序列之每一帧的α层，是从多重背景／前景加权掩码产生的。因此，合成序列是藉由将每一序列变换到选定的焦点平面并用对应α加权叠加的不同变换後图象而形成的。

D．应用

除了举例说明的滑雪比赛之外，本发明之技术尚可应用于其他速度／距离类运动，诸如赛车与田径赛。

除了具体显像外，根据本发明所制的合成视频序列尚有另一用途，从图6明显可见，亦即判别两名参赛者在比赛中到达任一所要位置时的时间差异。此项技术包括简易计算通过所要位置的两名参赛者间的序列中所包括的帧数，然后乘以帧间的时间间隔。

在现有的设施上，例如网络、有线及卫星电视、以及互联网上的视频等，均可作合成序列播放。此种序列可用应求服务(on-demand services)的方式提供，例如，在一与绝对实时主频道分开的频道上提供。或者，不在个别的频道上播放合成视频序列，而将它包括在正常频道的一部分，例如，显示在一隅角部分。

除了在广播中使用外，所产生的合成视频序列亦可用在运动训练与指导中。同时，除了运动方面的应用外，还有各种潜在的工业用途，诸如撞车分析。

应了解，合成序列可有更高的维度，诸如合成立体声视频序列。

在另一应用中，给出的序列之一为欲与一视频序列同步化的音频序列。更详细地说，假定有一视频序列，是一演员或歌者A说一句话或唱一首歌，以及另一作相同动作的演员B的音频序列，本发明之技术可用来产生旁白或″对口形″序列，由演员A说话或唱歌但用演员B的声音。此种不只需要时间标度的情况，可使用动态的编程设计技术来作同步化。

时空重新调整法亦可应用在生物医。例如，在整型外科手术后，必须监测病人恢复的进展。藉由比较病人在一段期间内的特定移动，可以达到这个监看恢复进展的目的。根据本发明之一方面，藉由同步化移动的开始与结束，并以二或多个视频序列调整欲监测的具体部位，此种比较可以作得非常精确。

另一应用是撞车分析。此种技术可用来精密比较不同车辆在相同情况中的碰撞变形，以确定差异程度。在撞车分析之外，尚需比较对碰撞虚拟人的影响。同样地，在同型车辆的两次碰撞中，可以依照例如安全带的结构，精密比较虚拟人受影响的程度。

Claims

1．一种从大量给出的视频序列产生一合成视频序列之方法，包括以下步骤：

(a)将给出的序列同步化；以及

(b)将同步化的序列投射到一选定的焦点平面上，形成合成序列。

2．根据权利要求1的方法，其特征在于同步化是相对该给出的序列中一计时项目进行的。

3．根据权利要求1的方法，其特征在于同步化是相对该给出的序列中一共同空间项目进行的。

4．根据权利要求1的方法，其特征在于同步化是相对每一给出的序列中的两项目进行的，并用时间标度平衡两项目间的时间。

5．根据权利要求1的方法，其特征在于给出的视频序列具有摄影机参数，包括摄影机位置与焦距，其中该选定的焦点平面对应该给出的序列之一的焦点平面，且其特征在于合成序列是从给出的序列之一之摄影机位置观看的。

6．根据权利要求1的方法，其特征在于该合成序列之形成是以逐帧为基础。

7．根据权利要求1的方法，其特征在于该合成序列之形成是以该给出的序列中至少其中之一的数个帧为基础，以于合成序列中达到比该一给出的序列扩大的视野。

8．根据权利要求1的方法，其特征在于该给出的视频序列是摄自一运动项目。

9．根据权利要求8的方法，其特征在于该运动项目为滑雪竞赛。

10．根据权利要求8的方法，其特征在于该运动项目为赛车。

11．一种从大量给出的视频序列产生一合成视频序列之系统，其中包括：

(a)将给出的序列同步化之装置；以及

(b)将同步化的序列投射到一选定的焦点平面上以形成合成序列之装置。

12．根据权利要求11的系统，其特征在于同步化装置包括相对该给出的序列中一时控项目以调整该给出的序列之装置。

13．根据权利要求11的系统，其特征在于同步化装置包括相对该给出的序列中一共同空间项目以调整该给出的序列之装置。

14．根据权利要求11的系统，其特征在于同步化装置包括相对该每一给出的序列中二项目以调整该给出的序列之装置，以及平衡二项目间之时间的时间标度装置。

15．根据权利要求11的系统，其特征在于给出的视频序列具有摄影机参数，包括摄影机位置与焦距，且其中形成该合成序列之装置包括可对应该给出的序列之一的焦点平面来选定该焦点平面之装置，以及可将该给出的序列之一的摄影机位置所见到的序列形成合成序列之装置。

16．根据权利要求11的系统，其特征在于形成该合成序列之装置包括可用逐帧基础来处理该等给出的序列之装置。

17．根据权利要求11的系统，其特征在于形成该合成序列之装置包括一装置，其可使用至少一个给出的序列中的数个帧，以于合成序列中达到比该一给出的序列扩大的视野。

18．根据权利要求11的系统，其特征在于该给出的视频序列是摄自一运动项目。

19．根据权利要求18的系统，其特征在于该运动项目为滑雪竞赛。

20．根据权利要求18的系统，其特征在于该运动项目为赛车。

21．一种从大量给出的视频序列产生一合成视频序列之系统，其中包括：

(a)将给出的序列同步化之装置；以及

(b)一处理器，其可接受指示将同步化的序列投射到一选定的焦点平面上以形成该合成序列。

22．一种产生合成图象之方法，包括以下步骤：

(a)将大量视频序列同步化；以及

(b)将该同步化序列的对应帧投射到一选定焦点平面以形成该合成图象。

23．一种播放服务，其包括：

(a)将大量视频序列同步化；

(b)将该同步化序列投射到一选定焦点平面以形成一合成序列；以及

(c)播放该合成序列。

24．一种从一给出的视频序列及一给出的音频序列产生一合成视频序列之方法，其中包括：

(a)将该一给出的视频序列及该一给出的音频序列同步化，以使该视频序列之视频特征与该音频序列之音频特征同步；以及

(b)从该等同步化的序列形成该合成序列，使其视频部分对应该给出的视频序列，而其音频部分对应该给出的音频序列。

25．一种从一给出的视频序列及一给出的音频序列产生一合成视频序列之系统，其中包括：

(a)一装置，可将该一给出的视频序列及该一给出的音频序列同步化，以使该视频序列之视频特征与该音频序列之音频特征同步；以及

(b)一装置，可从该等同步化的序列形成该合成序列，使其视频部分对应该给出的视频序列，而其音频部分对应该给出的音频序列。

26．一种从一给出的视频序列及一给出的音频序列产生一合成视频序列之系统，其中包括：

(b)一处理器，可接受指示从该同步化的序列形成该合成序列，使其视频部分对应该给出的视频序列，而其音频部分对应该给出的音频序列。

27．一种方法，用于决定二名参赛者在竞速比赛中一指定位置上的差分时间，其包括以下步骤：

将参赛者的给出的视频序列同步化并投射到一选定焦点平面上，以形成一合成视频序列；以及

计算通过该位置之二参赛者间的帧数。

28．根据权利要求1的方法，其特征在于该给出的视频序列具有生物医学上的重要性。

29．根据权利要求28的方法，其特征在于该生物医学上的重要性包括有关病人身体部位移动之重要性。

30．根据权利要求1的方法，其特征在于该给出的视频序列包括车辆撞毁试验序列。

31．根据权利要求30的方法，其特征在于该车辆撞毁试验序列包括受测车辆之图象。

32．根据权利要求30的方法，其物征在于该车辆撞毁试验序列包括受测车辆内撞毁虚拟人之图象。