CN100433826C

CN100433826C - 记录视频会议数据的方法和系统

Info

Publication number: CN100433826C
Application number: CNB2005100080736A
Authority: CN
Inventors: S·纳尔逊; 李家欣
Original assignee: Seiko Epson Corp
Current assignee: Seiko Epson Corp
Priority date: 2004-02-13
Filing date: 2005-02-08
Publication date: 2008-11-12
Anticipated expiration: 2025-02-08
Also published as: CN1655609A; US7558221B2; EP1564992A1; US20050180341A1; JP2005229601A

Abstract

提供了一种捕获视频会议会话数据的记录系统。所述记录系统包括分组截取单元，分组截取单元配置为识别与网络上传送的视频会议数据相关的分组。所述分组截取单元还配置为将所述相关分组分类到对应文件中，其中，所述视频会议会话的每个数据流与所述对应文件之一相关联。所述记录系统包括配置为将每个所述对应文件解码到相应数据流中的解码器以及配置为将各相应数据流合成为单个数据流的混合器/合成器。还包括配置为将所述单个数据流记录到存储介质上的记录装置。本发明包括有效记录视频会议数据的视频会议系统和方法。

Description

记录视频会议数据的方法和系统

相关申请交叉引用

本申请涉及2002年7月10日提出的题为“采用利用了客户监视器反向信道的可控内容传送的多方会议系统”(Multi-ParticipantConference System with Controllable Content Delivery Using a ClientMonitor Back-Channel)的美国专利申请No.10/192080(代理人案号AP132HO)。此申请通过引用全部结合于本文中。

技术领域

本发明一般地涉及视频会议系统，更具体地说，涉及用于记录视频会议音频/视频流而不需要额外带宽或CPU处理能力的一种系统方法。

背景技术

随着视频会议变得普遍，视频会议应用中加入了一些附加功能，以便进一步吸引更广泛的参与者。所追求的一个功能是能够记录视频会议会话。目前，代管(hosting)视频会议会话的服务器处理输入音频/视频流，为每个参与者生成合成帧，将生成的帧编码并将那些帧发送给每个参与者。

记录视频会议会话可能需要额外的带宽和中央处理器(CPU)处理能力。由会议单元(MCU)服务器代管的视频会议需要大量的CPU处理能力才可处理输入音频/视频流，为每个参与者生成合成帧，将生成的帧编码并将那些帧发送给参与者。因此，记录视频会议会话所需的任何额外处理将增加MCU服务器的额外开销。因此，参与者在观看视频会议时，可能开始得到的是断断续续的音频、有噪声的视频和较低的帧率。实际上，每个参与者感觉到的实际视频会议会话质量会降低以便提供记录视频会议会话的能力。

鉴于上述原因，需要一种记录视频会议会话而不需要增加主机服务器额外开销，并且记录的视频会议会话易于访问查看的方法和系统。

发明内容

广义上说，本发明通过提供一种以智能方式记录视频会议会话而不增加主机服务器开销的方法和系统，满足了这些需要。本发明可以多种方式实施，包括作为进程、装置、系统、设备、方法或计算机可读介质。下面描述本发明的几个实施例。

在一个实施例中，提供了一种用于记录视频会议数据而不影响主机视频会议服务器性能的方法。所述方法包括以下操作：a)截取与所述主机视频会议服务器相关联的分组；b)分析所述分组；以及c)确定所述分组是否涉及与所述主机视频会议服务器相关联的视频会议会话。如果所述分组涉及所述视频会议会话，则所述方法包括：d)确定与所述分组对应的视频会议流；e)将所述分组存储到与所述视频会议流相关联的文件中；以及f)对所述视频会议会话的其它分组重复a)-e)。在完成所述视频会议会话后，由与所述视频会议流相关联的每个文件中的分组生成单个视频会议流。随后，可在存储介质上存储所述单个视频会议流，其中，所记录的视频会议流包括与分组时戳相关的索引。

在另一实施例中，提供了一种有效记录视频会议会话的视频会议数据的方法。所述方法从识别分布式网络上所传送的视频会议数据开始。随后，根据贡献源标识，将与所述视频会议数据相关联的分组分类。接着，由所述分类的分组生成视频会议音频信号和视频会议视频信号。随后，根据与每个所述分类分组相关联的某个时戳或一系列时戳，混合所述视频会议音频信号和所述视频会议视频信号。然后，根据所述混合信号和所述视频会议会话期间记录事件的共同时戳，将所述事件与所述混合信号相关联。随后，根据所述事件编排与所述混合信号相关联的显示布局。应理解，可在此处生成所述音频/视频流的时间索引。

在又一实施例中，提供了一种具有用于记录视频会议会话视频会议数据的程序指令的计算机可读介质。所述计算机可读介质包含：用于识别分布式网络上所传送的视频会议数据的程序指令和用于根据贡献源标识将与所述视频会议数据相关联的分组分类的程序指令；用于由所述分类分组生成视频会议音频信号的程序指令及用于由所述分类分组生成视频会议视频信号的程序指令；用于根据与每个所述分类分组相关联的时戳，将所述视频会议音频信号和所述视频会议视频信号相关联的程序指令；用于根据所述混合信号和所述视频会议会话期间记录事件的共同时戳，将所述事件与所述混合信号相关联的程序指令以及根据所述事件编排与所述混合信号相关联的显示布局的程序指令；用于生成时间索引的程序指令。

在另一实施例中，提供了一种视频会议系统。所述视频会议系统包括多个客户和配置成通过分布式网络将媒体分发到所述多个客户的主机服务器。所述主机服务器还配置为从所述多个客户接收媒体。所述系统包括可访问所述分布式网络的分组截取单元。所述分组截取单元配置为识别与所述主机服务器代管的视频会议会话相关的分组。所述分组截取单元还配置为根据贡献源将所识别的分组分类。与主机系统通信的媒体管理系统包括在内。在本发明的一个方面，所述媒体管理系统包括配置为管理媒体数据和注解数据以便分发到所述视频会议会话参与者的媒体管理服务器和与所述媒体管理服务器通信的存储服务器。所述存储服务器配置为存储所述媒体数据和所述注解数据。所述媒体管理系统还可包括与所述媒体管理服务器通信的事件数据库。所述事件数据库配置为捕获与所述注解数据相关联的事件。在本发明的另一方面，所述媒体管理系统包括与所述媒体管理服务器、所述事件数据库和所述存储服务器通信的媒体分析服务器。所述媒体分析服务器配置为将所存储的注解数据与所述捕获事件相关联。

在又一实施例中，提供了一种用于捕获视频会议会话数据的记录系统。所述记录系统包括分组截取单元，配置为识别与网络上传送的视频会议数据相关的分组。所述分组截取单元还配置为将所述相关分组分类到相应文件中，其中所述视频会议会话的每个数据流与所述对应文件之一相关联。所述记录系统包括配置为将每个所述对应文件解码到相应数据流中的解码器以及配置为将各相应数据流合成为单个数据流的混合器/合成器。所述记录系统包括配置为将所述单个数据流记录到存储介质上的记录装置。

通过以下结合附图以示例方式描述本发明原理的详细说明可明白本发明的其它优点。

附图说明

结合于本说明书并成为其一部分的附图显示了本发明的示范实施例，并与所述说明一起用于解释本发明的原理。

图1是根据本发明一个实施例的示意图，显示了使用客户监视器反向信道的多参与者会议系统的组件；

图2是显示根据本发明一个实施例，注解管理系统模块之间关系的简化示意图；

图3是显示根据本发明一个实施例，系统体系结构概貌的简化示意图，在该体系结构中，将网络嗅探器(sniffer)用于过滤分组而后将分组分成视频和音频流；

图4是根据本发明一个实施例的RTP分组标题字段的简化示意图；

图5是显示根据本发明一个实施例，由视频会议会话的多个音频流创建单个音频流的简化示意图；

图6是显示根据本发明一个实施例，由视频会议会话的多个视频流创建单个视频流的简化示意图；

图7是显示根据本发明一个实施例，混合图5和图6生成的音频和视频文件的简化示意图；

图8是显示根据本发明一个实施例，有效地记录视频会议会话视频会议数据的方法操作的流程图。

具体实施方式

本申请提供了一种能够记录视频会议会话而不会增加主机视频会议服务器开销的视频会议系统发明。在以下说明中，陈述了许多具体细节以便透彻理解本发明。然而，本领域的技术人员将理解，可在这些特定细节的一些或全部均不存在的情况下实施本发明。在其它情况下，未详细描述熟知的过程操作以便突出本发明。

本文所述实施例提供一种记录系统，它以智能方式处理视频会议的音频/视频流而不会增加主机视频会议服务器的开销。记录系统利用了配置为根据分组标题数据识别与视频会议相关联的分组的嗅探器。嗅探器(也称为分组截取单元)将通过网络分发的视频会议分组与非视频会议分组过滤分开。在一个实施例中，嗅探器是设为混合模式以截取和识别分组的网络适配器。应理解，虽然嗅探器截取分组，但分组未被损坏/毁坏。因此，网络上的分组传输不受嗅探器影响。在另一实施例中，嗅探器根据分组类型和与分组相关联的端口号过滤分组。例如，视频会议分类的分组类型可以与实时协议(RTP)相关联。随后，嗅探器根据用于识别视频会议流的贡献源(CSRC)将过滤的分组分类。而后将分类的分组解码，混合器/合成器接着接收解码的分类数据，将数据组组合以提供合成的音频/视频流。此合成流被记录到计算机可读介质上，如视频压缩光盘(VCD)或数字多功能光盘(DVD)。在一个实施例中，通过将与所述视频会议会话期间生成的事件相关联的时戳和所述合成流的时戳相匹配，创建计算机可读介质索引。应理解，所述记录是从所述视频会议主机服务器脱机完成的。因此，对开销或CPU处理能力无影响。

图1是显示根据本发明一个实施例，使用客户监视器反向信道的多参与者会议系统的组件的示意图。客户组件包括多个参与者，如参与者A 122a到参与者N 122n。在此实施例中，每个参与者122a-122n包括会议客户144和客户监视器146。会议客户A 144a可包括参与者的对等视频会议软件或任何专用视频会议软件应用程序。应理解，每个参与者可呼叫另一参与者，建立和断开会议会话，捕获和发送内容，接收和重放交换的内容等。每个会议客户的呼叫通过媒体传送服务器130路由。也就是说，参与者使用其相关会议客户呼叫媒体传送服务器130加入会议。在一个实施例中，会议客户A 144a包括会议的高级用户界面，如在会议客户是已有的软件应用程序时。例如，提供对等视频会议的一个此类产品是微软公司的NETMEETING(网络会议)应用程序软件。

CM 146a配置为监视会议客户A 144a。也就是说，在一个实施例中，CM 146a通过监视客户A 144a的视频显示窗口，查看用户如何与软件应用程序交互。另外，CM 146a截取用户交互以便将交互发送到服务器组件。在一个实施例中，CM 146配置为提供四个功能。一个功能是监视会议信道的开始/停止，以便可以与参与者与服务器组件之间会议信道会话同时建立反向信道通信会话。第二个功能是监视会议客户144显示的视频窗口内的事件，如用户交互和鼠标消息。第三个功能处理CM 146与服务器组件的反向信道控制器140之间的控制消息信息。第四个功能是为参与者提供可用于显示和发送图像到其它会议成员，显示其它相连的参与者的名称和其它适用的通信信息或工具的外部用户界面。

如上所述，客户监视器观察相关会议客户中的活动。在一个实施例中，这包括监视包含会议内容的视频显示区域上的用户事件，并且还包括会议会话控制信息。例如，CM 146观察会议会话的开始/结束或会议客户的呼叫。会议客户144呼叫媒体传送服务器130以开始新会议会话时，CM 146也呼叫媒体传送服务器。CM 146的呼叫为参与者的会议会话建立了反向信道连接126。由于CM 146可监视会话开始/停止事件，因此，反向信道连接126自动启动而无需额外的用户设置，即，反向信道连接对用户是透明的。因此，新会话与会议客户144活动同时得到维护。应理解，会议信道124a-124n在相关会议客户144与媒体传送服务器130的会议连接138之间提供视频/音频连接。在一个实施例中，会议信道124为客户组件与服务器组件之间传送的会议会话实时视频/音频数据提供通信链路。

CM 146可专门监视会议客户144所显示的会议视频帧上发生的活动。例如，CM 146可监视微软的NETMEETING应用程序中的视频图像。客户帧中的鼠标活动经协议通过反向信道连接126传递到媒体传送服务器130。反向信道控制器140又可以将此活动报告给另一参与者，或者相应参与者的事件处理器142。在此实施例中，通过操作系统级和应用程序级之间的钩子(hook)对会议客户144应用程序进行监视。如上所述，可以从视频会议应用程序外部观察视频窗口以了解鼠标点击或键盘击键。或者，可提供专用视频会议应用程序软件，所述软件集成了客户监视器功能，以向反向信道网络提供相关信息。

在另一实施例中，CM 146可以向参与者提供单独的用户界面。此接口可与会议客户144提供的用户界面同时显示，并可在整个建立的会议中保持。或者，由CM 146提供的用户界面可在会议会话之前或之后显示，以实现其它配置或设置目的。

在另一实施例中，CM 146可提供接口以便直接连接到媒体传送服务器130代管的通信会话而无又需会议客户。在此实施例中，CM146提供用户界面，该接口允许利用反向信道连接126返回会议概要内容、当前会议状态、参与者信息、共享数据内容或者甚至是现场会议音频。例如，如果参与者只想监视通信活动而选择不使用会议客户144，则可能会发生这种情况。应理解，客户组件可以称为瘦客户，因为会议客户144执行最少的数据处理。简而言之，可以将任何适用的视频会议应用程序作为会议客户144包括。

如上所述，CM 146a配置为识别会议客户A 144a的视频会议应用程序何时开始和停止运行，而CM又可以随会议客户开始和停止运行。CM 146a还可同时接收来自服务器组件的信息和视频会议会话。例如，CM 146a可允许参与者A 122a在会议会话期间共享图像。因此，可将共享的图像提供给每个客户监视器，以便每个参与者能够通过文档查看器而非视频会议软件的视频显示区查看图像。因此，参与者可以查看清晰得多的共享文档。在一个实施例中，会议中共享的文档可供每个客户查看。

服务器组件包括媒体传送服务器130，服务器提供配置为传送参与者自定义信息的多点控制单元(MCU)。应理解，媒体传送服务器130和及其组件可包括配置为执行本文所述功能的软件代码。在一个实施例中，媒体传送服务器130是实施本文所述实施例的基于硬件的服务器组件。媒体传送服务器130包括媒体混合器132、反向信道控制器140和事件处理器142。媒体传送服务器130还提供会议连接138。更具体地说，会议连接A 138a使链路完整，从而允许会议客户A 144a的视频会议软件如对等视频会议应用程序与媒体传送服务器130通信。也就是说，会议端点138a模拟另一对等方，并与期望对等连接的会议客户A 144a进行信号交换。

在一个实施例中，媒体传送服务器130通过允许各参与者的连接进入可选逻辑室(logical room)以实现共享会议通信，从而提供多点控制单元(MCU)功能。作为MCU，媒体传送服务器130充当会议客户的“对等方”，但也可以接收多个参与者的呼叫。本领域的技术人员可理解，媒体传送服务器130内部链接同一逻辑室的所有参与者，定义每个室的多参与者会议会话，而通过媒体集线器操作的每个对等会议客户只作为对等方。如上所述，媒体传送服务器130配置为与相关会议客户的对等要求相符。例如，如果会议客户在使用符合H323的会议协议，如微软的NETMEETING等应用程序所用的应用程序，则媒体传送服务器130还必须支持H.323协议。换言之，会议通信可经H323协议、会话初始协议(SIP)或匹配参与者连接要求的其它合适的API进行。

仍参照图1，媒体混合器132配置为由所有参与者的音频和视频信息、特定参与者配置信息和服务器用户界面设置的组合汇编特定于每个参与者的音频和视频信息。媒体混合器132通过在每个参与者的基础上合并输入数据流，即音频/视频流，而执行复用操作。在一个实施例中，媒体混合器132包括组合会议信号的视频布局处理器和音频分发处理器。客户监视器反向信道网络允许媒体传送服务器130监视用户与会议客户144的交互，并提供对等软件应用程序具有附加功能的外观。附加功能调整由会议客户144执行的软件应用程序的对等功能，以适应本文所述多参与者环境。客户监视器反向信道网络包括客户监视器146、反向信道连接126、反向信道控制器140和事件处理器142。

除分别类似于会议信道124a-124n外，反向信道连接126a-126n还类似于并发会议。反向信道控制器(BCC)140a-140n维护每条源自相关联客户监视器的通信链路。链路上定义的协议在媒体传送服务器130解释并传递到适当的目的地，即其它参与者的反向信道控制器、事件处理器142或回到CM 146。每个反向信道控制器140a-140n通过反向信道控制器通信链路148进行通信。如下详述的媒体管理系统134通过反向信道网络进行通信。

在一个实施例中，媒体传送服务器130为客户提供包含每个会议参与者的按比例缩放形式的客户可配置视频流。媒体传送服务器130中参与者的事件处理器142负责维护每个参与者的状态信息，并将此信息传送给媒体混合器132，以构建该参与者的用户界面。在另一实施例中，还可将服务器端用户界面嵌入参与者的视频/音频流中。其它细节可参见于2002年7月10日提交的题为“采用利用客户监视器反向信道的可控内容传送的多参与者会议系统”(Multi-ParticipantConference System with Controllable Content Delivery Using a ClientMonitor Back-Channel)的美国专利申请No.10/192080(代理人案号AP132HO)。

应理解，图1表示媒体传送服务器和客户组件的一个特殊体系结构。本领域的技术人员会明白，媒体传送服务器130可基于包括反向信道功能的任何适用体系结构。另外，客户组件可包括允许查看视频会议会话的任何适用客户软件配置。客户软件配置的范围可从商用软件包，即NETMEETING，到可从诸如因特网等分布式网络下载到客户的专用软件配置。因此，图1表示可用于下述实施例的一个示范性而非限制性体系结构。

图2是显示根据本发明一个实施例，注解管理系统模块之间关系的简化示意图。应理解，图2的整个系统体系结构设计可与任何适用的视频会议系统通信，例如，图1所示视频会议系统的媒体传送服务器130。图2的媒体管理系统134通过媒体传送服务器130与会议客户150进行通信。会议客户150可配置为图1的参与者122a-122n。另外，在会议客户150表示多个客户的情况下，每个客户可配置为执行参照图1所述的客户应用程序软件配置。应理解，媒体管理系统134可配置为对在交谈的所有参与者的注解进行同步。

图2的媒体管理系统134包括媒体管理服务器104。媒体管理服务器104包括web服务器模块106、会议安排服务模块108、注解服务模块110和虚拟指针服务模块112。在一个实施例中，注解服务模块110为会议客户提供在视频会议会话期间添加注解数据或从以前记录的视频会议会话查看注解数据的功能。在媒体管理系统134中还包括媒体分析服务器118、事件数据库114和存储服务器116。媒体管理服务器104管理和组织会议，例如，管理和组织视频会议数据，以便在会议参与者之间分发。另外，媒体管理服务器104构建数据库以管理媒体，并允许会议参与者从存储服务器116检索媒体数据。媒体管理服务器104还从媒体分析服务器118和所有模块检索信息，以实现媒体播放和显示。会议期间，即视频会议会话期间记录的媒体数据后处理由媒体分析服务器118执行。媒体分析服务器118检索信息并将其添加到事件数据库114中，以便保存该信息用于媒体显示和播放。

存储服务器116负责存储视频会议会话期间生成的媒体，这可包括注解数据和虚拟指针数据。例如，会议期间形成的所有草图捕获后可作为会议摘要的一部分显示。在一个实施例中，会议摘要允许在会议期间发生的其它事件上下文中查看注解。在另一实施例中，注解数据将以矢量格式存储在存储服务器116上，以便可以对其进行比例缩放，从而可在任一输出分辨率的设备上显示。应理解，在一个实施例中，注解数据和虚拟指针数据可与对应于开始时间的时戳相关联。

如参照图1所述，媒体传送服务器130处理源自参与者的视频会议连接，并将许多输入视频和音频流合成为每个参与者/客户所需格式的单个输出流。在视频会议会话期间，媒体传送服务器130与媒体管理服务器104进行通信，将诸如参与者何时连接或断开连接之类的细节通知媒体管理服务器。

Web服务器模块106允许下载参与或查看视频会议会话所需的任何软件代码。会议安排服务模块108允许用户设置或加入视频会议会话。也就是说，想设置或参加视频会议会话的用户可通过下载可经web服务器模块106提供的超文本标记语言(HTML)类型页面的web浏览器达此目的。一旦用户加入视频会议会话，便可从web服务器106下载软件代码，例如，与客户功能相关的软件代码，之后，客户开始与媒体传送服务器130进行通信。应理解，通过会议安排服务模块108，媒体管理服务器104连接到适当的媒体传送服务器以实现视频会议会话。在另一实施例中，由于存储了视频会议会话，因此，在视频会议会话结束后，可创建会议摘要。会议摘要可通过web服务器106访问。会议摘要是可向用户显示的会议概述，以便用户可更好地决定是否要查看会议，或要查看会议的什么部分。在一个实施例中，本文所述的记录系统配置为提供与视频会议会话相关联的索引，通过该索引，将捕获的事件或注解数据与记录的视频会议会话相关联。因此，记录的视频会议会话可包括此索引，这类似于商业电影的DVD上提供的场景选择。

媒体管理服务器104与媒体分析服务器118进行通信。在一个实施例中，媒体管理服务器104从媒体分析服务器118和相关模块检索信息以实现媒体播放和显示。媒体分析服务器118也与事件数据库114和存储服务器116进行通信。如上所述，媒体分析服务器118对会议期间记录的媒体进行后处理，并分析媒体以构建要用于媒体显示和播放的信息。媒体分析服务器118还可将信息添加并检索到事件数据库114。在一个实施例中，通过将索引和标记插入存储的视频会议数据中来对注解信息进行标识，从而允许根据注解信息重建存储视频会议数据。应注意的是，可将时戳用作索引和标记。在本文中，注解信息可包括虚拟指针信息。虚拟指针信息可指发送到媒体管理服务器104，随后分发给参与者的鼠标移动信息，这样，每个参与者可在相关联的客户显示屏内查看鼠标移动。应理解的是，注解管理信息可称为虚拟链路。在另一实施例中，注解信息包括存储在事件数据库114中的数据，如下所述。

图2的存储服务器116配置为存储与视频会议相关联的媒体。存储服务器116负责存储用于视频会议会话的任何适用媒体。在一个实施例中，存储服务器116包含存储装置，如硬盘驱动器、磁带和DVD-Rom等。可通过一组应用编程接口(API)提供到存储介质的访问，定义所述应用程序编程接口是为了访问可由系统中的其它组件从存储服务器116检索的媒体。在另一实施例中，存储服务器116接受视频会议用户或参与者的网络连接，以便上载其媒体。用于将媒体上载到存储服务器的示范机制包括：简单传输控制协议/因特网协议(TCP/IP)套接层连接、超文本传输协议(HTTP)文件上载协议、面向对象的简单访问协议(SOAP/XML)和其它适用的网络传输协议。

图2的事件数据库114用于存储视频会议会话期间发生的注解事件。示范注解事件包括以下事件：注解开始点、注解结束点、注解清除页面、注解数据、与注解开始和注解结束相关联的用户信息、例如媒体类型、目标标识符等注解目标及其它适用的注解信息。

图3是显示根据本发明一个实施例，采用了网络嗅探器的系统体系结构概貌的简化示意图，所述网络嗅探器用于过滤分组而后将分组分类成视频和音频流。服务器130通过以太网总线202与多个视频会议客户206a到206n进行通信。以太网集线器200经以太网总线202与服务器130进行通信。本领域的技术人员理解，客户206a到206n可与充当以太网总线202入口的网关进行通信，为说明目的，图3中显示客户206a连接到以太网总线。这里，客户206a-206n通过网关以逻辑方式连接到以太网总线202，而不是以物理方式连接到以太网总线。会议嗅控器208可访问以太网总线202。应理解，可使采用其它适用的连网技术来代替以太网连网技术。例如，可将令牌环、光纤分布式数据接口(FDDI)和ARCNET技术用于下述实施例，作为分布式网络的网络技术。

图3的会议嗅控器208配置为识别与视频会议会话相关的分组，并将分组记录到对应的硬盘驱动器。这里，会议嗅控器208根据预定义准则识别相关分组。预定义准则可包括源因特网协议(IP)地址、目的IP地址、贡献源(CSRC)标识符、分组类型及端口号。识别的分组随后传送到对应的实时协议(RTP)文件210a到210n。通过分析CSRC引用，确定作为分组传送目的地的对应RTP文件210a到210n。在一个实施例中，CSRC引用是相应RTP分组中包含的净荷源的唯一标识符。下面描述了具有CSRC字段的RTP分组标题的示范配置。

图4是根据本发明一个实施例的RTP分组标题字段的简化示意图。众所周知，RTP提供端对端网络传送功能，这些功能适用于通过多播或单播网络服务传送诸如音频、视频或模拟数据等实时数据的应用。实时控制协议(RTCP)增强了数据传送，允许可伸缩以适应大型多播网络的方式监视数据传送，并提供最少的标识功能控制。应理解，RTP和RTCP设计为独立于下面的传输层和网络层。RTP标题229为接收机提供有关如何构建对应数据的信息，并描述如何将编解码器比特流打包。

RTP标题229的字段230指示RTP版本号。字段232是填充字段，若设置，则包含一个或多个其它填充字节，其结尾不是净荷部分。字段234若设置，则指示标题后面正好是一个标题扩展。字段236指示贡献源计数(CC)。这里，4比特字段包含在固定标题后的贡献源标识符的数量。字段238表示由配置文件定义的一比特标记。此标记用于允许在分组流中标记诸如帧边界等重要事件。字段240包含净荷类型(PT)，PT标识RTP净荷的格式并确定要由应用程序进行的解释。字段242标识16比特序号，该序号对发送的每个RTP数据分组加1。应理解，字段242可由例如本文所述的嗅探器等接收器用于检测数据分组丢失和恢复分组序列。字段244表示反应RTP数据分组中第一个八位字节抽样瞬间的32比特时戳。在一个实施例中，以时间上单调递增的线形方式从时钟获得抽样瞬间，以允许同步和抖动计算。如上所述，分组标题的时戳可用于使事件与记录的视频会议会话相关联，并为记录的视频会议会话创建索引。

图4的字段246标识同步源(SSRC)。此标识符可随机选择，以实现同一RTP会话内任何两个同步源都不具有相同的SSRC标识符。字段248标识RTP分组中包含的净荷的贡献源(CSRC)。如上所述，CSRC字段248中的标识符数量由字段236提供。CSRC标识符由混合器使用贡献源的SSRC标识符插入。例如，对于音频分组，列出了混合在一起以创建分组的所有源的SSRC标识符，从而允许接收端正确指示交谈方。

回到图3，每个视频会议会话可包括4个流。这4个流表示两个音频流(音频上行和音频下行)和两个视频流(视频上行和视频下行)。在一个实施例中，如果参与者通过诸如MCU等服务器通信，并且每个参与者运行视频会议会话，则每个会话与两个视频流和两个音频流相关联。如参照图5和图6更详细描述的那样，每个RTP文件210a到210n内的数据通过对应的解码器250-1、250-2、260-1和260-2解码。随后通过混合器/合成器214将对应的音频流210a-1和210b-1及视频流212a-1和212b-1复合成一个流。在一个实施例中，索引用于智能地将音频和视频流复合成单个流。此索引可通过管理服务器104提供，它包括与每个音频和视频流段相关联的时戳。在另一实施例中，此时戳可对应于与事件数据库114中存储的事件相关联的时戳。如下参照图7所述，可以将注解事件或任何其它合适的事件如参与者退出或进入视频会话用于生成用于播放控制(PBC)的索引。复合视频/音频流216随后传送到光盘/数字多功能光盘刻录机218。这里，将复合视频/音频数据216捕获到存储介质上，例如，光盘(CD)或数字多功能光盘(DVD)。

会议嗅探器208如服务器130一样访问以太网总线202。由于以太网集线器200广播所有网络分组，因此，只要适配器驱动器设为混合模式，则连接到此总线的所有以太网适配器便会接收总线上的分组。本领域的技术人员将明白，服务器130可通过服务器的网络接口卡(NIC)与以太网总线202进行通信。在一个实施例中，用于检测视频会议会话所有分组的特征符合如下准则：

1.分组的目的主机是服务器130。

2.分组是RTP分组。

应理解，通过检查分组标题，可找到符合此准则的分组。因此，上述准则用于过滤网络上的分组数据，以便保存与视频会议会话相关联的数据，而丢弃其它数据。一旦收到符合上述标准的分组，便执行下面的伪代码：

检索标识RTP连接的CSRC字段。

If (检索的CSRC存在于所创建的哈希表中) {

验证RTP分组是否标识一条良好的连接。

If(有效) {

则将分组保存到RTP文件转储。

}

}else {

创建新的RTP文件。

在哈希表中创建将CSRC映射到RTP文件的新条目。

将分组保存到RTP文件转储。

}

消费该分组(Consume the packet)

上述伪代码完成了将过滤的分组分类的功能。在一个实施例中，形成了将CSRC与RTP文件名相关联的哈希表。本领域的技术人员会理解，哈希表可用于加快对分组的分类以创建与CSRC值对应的数据流。因此，将创建多个RTP文件，其中一个RTP文件用于表示单个音频或视频流。也就是说，如果有4个流，便将有4个RTP文件。例如，如果音频和视频流在IP1与IP2之间有效，则应为该IP对保存4个RTP文件。应理解，IP(因特网协议)对指与对应于IP1和IP2的地址相关联的机器之间的会话。

在MCU服务器中的会议结束后，会议混合器/合成器214将在会议嗅探器为实时进程时作为脱机进程启动。也就是说，在会议结束时，脱机进程会启动。因此，服务器130不会导致额外的开销。服务器RTP文件210a到210n是为视频会议会话创建和保存的。在一个实施例中，所有音频RTP文件210a-1和210b-1由对应的解码器解码成脉码调制(PCM)流，而视频文件212a-1和212b-1由对应的解码器解码成YUV格式帧。本领域的技术人员将明白，模拟音频/视频信号的数字化可通过通信电路来完成，其中，通过通信电路的逻辑，以本技术领域已知的量化过程或其它适用数字化过程来将模拟信号数字化。

图5是显示根据本发明一个实施例，由视频会议会话的多个音频流创建单个音频流的简化示意图。会议混合器/合成器214识别所有音频RTP文件210a和210b。本领域的技术人员会明白，音频/视频数据例如可通过文件名、文件的某个比特等来标识。在一个实施例中，可在“创建新的RTP文件”步骤时在上述伪代码中并入一个标志。当然，这里可包括不止两个音频RTP文件。

如上所述，音频RTP文件的数据通过图5所示的音频解码器模块250解码成PCM流。本领域的技术人员会理解，音频解码器模块250可以是配置为由对应RTP文件生成PCM流的通信电路。随后，每个已解码的音频流210a-1到210n-1通过音频混合器模块252混合。应理解，每个音频流210a-1到210n-1具有相同的时戳。也就是说，图5显示了一个快照(snapshot)，其中每个音频流210a-1到210n-1具有共同的时戳。实际上，图5说明在视频会议的某特定时刻捕获每个参与者的音频。因此，会议混合器/合成器214将音频流混合成单个音频流254。混合的音频流254随后通过音频编码器模块256编码。在一个实施例中，音频编码器模块256将音频编码成运动图像专家组(MPEG)音频文件258。本领域的技术人员会明白，音频编码器256可将音频流编码成任何合适的格式或标准，而不是只限于MPEG标准。

图6是显示根据本发明一个实施例，由视频会议会话的多个视频流创建单个视频流的简化示意图。对于视频流，会议混合器/合成器214识别所有视频RTP文件，如图3所示视频RTP文件210c和210d。如以上对音频文件的讨论，本发明不限于混合两个视频文件。这些视频RTP文件通过视频解码器模块260解码成适合于每个视频RTP文件帧的颜色格式，如YUV颜色格式、RGB颜色格式等。应理解，视频解码器260可在将视频数据解码时将视频数据解压缩。帧率变换器模块262将解码的视频数据变换成合适的帧率。例如，解码的视频数据可与太低而无法按DVD标准记录的帧率相关联，DVD标准通常需要每秒大约30帧的帧率。因此，如果视频RTP文件的帧率低于每秒30帧，例如，每秒9帧，则可添加附加帧以提高帧率。在一个实施例中，附加帧可以是连续帧中前一帧或后一帧的拷贝。在另一实施例中，附加帧可以是两个连续帧的平均，并且附加帧插在连续帧之间，从而提高帧率。

仍参照图6，帧率变换器模块262为进行混合而提供视频帧212a-1到212n-1。这里，类似于图5的音频帧，每个视频率212a-1到212n-1具有相同的时戳，因为图6也表示混合过程的快照。通过图6的音频信息模块272，视频的时戳可匹配图5对应音频的时戳。应理解，音频信息模块272的音频信息是由图5的音频流210a-1到210n-1形成的。另外，管理服务器104可以提供信息，以便以智能方式组合视频帧212a-1到212n-1。例如，参照图2，可以将存储在事件数据库114中的事件信息提供给视频合成器264，数据库114通过管理服务器104进行访问。因此，事件例子如：参与者在会议会话中某相应时刻切换幻灯片或作出注解的参与者可能是主要发言人。其它事件包括参与者何时加入会议、参与者何时退出会议及任何合适的注解。

图6的视频合成器264可利用此事件信息，以使与要显示的事件相关联的参与者作为主要发言人显示在记录视频会议会话用户界面中。这里，相对于其它参与者，主要发言人的显示画面可以为最大。例如，如果有4个参与者参与视频会议，则主要发言人的图像占据一半显示屏，而其它3个参与者的图像在剩余一半显示屏中各自占据相同的部分。当然，可以突出显示或者以一些其它合适的方式显示主要发言人，以将主要发言人与其它参与者区分开。在另一实施例中，可通过分析每个参与者的音频功率来识别主要发言人，这可通过音频信息模块272来实现。这里，具有最强功率音频信号的参与者将作为主要发言人显示。视频合成器264根据上述智能合成方案输出视频帧266。复合视频帧266随后通过视频编码器模块268编码，该模块可以是本领域熟知的任何合适的视频编码器。如果视频编码器模块268是MPEG视频编码器，则视频编码器的相应输出是MPEG视频文件270。

图7是显示根据本发明一个实施例，混合图5和图6生成的音频和视频文件的简化示意图。MPEG视频文件270和MPEG音频文件258通过音频/视频复用同步器272进行混合。这里，音频/视频复用同步器272创建MPEG文件，并按视频压缩光盘(VCD)或DVD标准使音频和视频数据同步。对于每对视频和音频输入，音频/视频复用同步器272输出MPEG文件274a到274n。MPEG文件274a到274n通过播放控制(PBC)生成器276进行组合。PBC生成器276还与管理服务器104进行通信。因此，PBC生成器276可通过管理服务器104将注解数据或事件数据访问(event data access)并入组合的MPEG数据流中。示范注解数据或事件包括幻灯片切换、参与者会话或参照图2所述的会议管理服务器或会议分析服务器中记录的参与者活动。例如，可通过事件记录器中记录的时戳利用索引来转到某个power point幻灯片，而该时戳又称为视频流时戳。所得的数据流由图像生成器模块278捕获到对应的VCD或DVD存储介质上。因此，随后可将记录装置218用于显示创建的VCD或DVD。

图8是显示根据本发明一个实施例，有效记录视频会议会话视频会议数据的方法操作的流程图。所述方法从操作280开始，在该操作中，识别分布式网络上所传送的视频会议数据。例如，如上所述，可通过检查分组标题以确定分组是否与视频会议会话相关联，即对分组进行过滤，从而识别视频会议数据。所述方法随后继续进行操作282，在该操作中，根据贡献源标识将与视频会议数据相关联的分组分类。这里，分组标题包含贡献源标识，其中每个贡献源标识对会议会话的每个视频和音频流是唯一的。应理解，本发明并不限于通过贡献源标识将数据分类。也就是说，可以利用分组的具有能够区分多个过滤分组的数据的任何合适字段。所述方法随后前进到操作284，在该操作中，由识别为音频数据的分类分组生成视频会议音频信号。如参照图5和图6所述，对于每个RTP文件，创建单个音频流。同样地，在操作286中，如参照图6所述，将识别为视频数据的分类分组事生成视频会议视频信号。所述方法随后继续到操作288，在该操作中，视频会议音频信号和视频会议视频信号根据与每个分类分组相关联的时戳混合。所述方法随后前进到操作290，在该操作中，根据混合信号和事件的共同时戳，将视频会议会话期间记录的事件与操作288产生的混合信号相关联。所述方法随后前进到操作292，在该操作中，合成显示布局，并根据事件生成与混合信号相关联的索引。这里，可如上所述将主要参与者与其它参与者区分开。在一个实施例中，索引是时戳。

总之，本发明的实施例实现了以智能方式记录视频会议会话。采用了分组截取单元，它可区分视频会议会话数据与非视频会议会话数据，且随后将视频会议会话数据分类，从而避免增加主机服务器的开销。因此，可从存储会话的计算机可读介质查看视频会议会话。集成会议管理服务器与媒体分析服务器允许生成复合音频/视频流。应注意的是，通过记录系统定义的复合流具有比视频会议会话期间发送到参与者的流更高的分辨率。例如，如果视频帧由4个参与者的视频数据组成，并且各参与者视频具有320×240的分辨率，则在4个参与者的复合帧上可得到640×480的分辨率。

通过上述实施例，应理解本发明可采用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是需要对物理量进行物理处理的那些操作。这些量通常取电信号或磁信号的形式，且这些信号可以存储、转移、合并、比较和进行其它方式的处理。此外，执行的处理经常以术语称呼，如产生、识别、确定或比较。

本发明还可体现为计算机可读介质上的计算机可读代码。计算机可读介质是可存储数据，而该数据随后又可由计算机系统读取的任一数据存储装置。计算机可读介质还包括包含计算机代码的电磁载波，计算机可读介质的示例包括硬盘驱动器、网络附加存储器(NAS)、只读存储器、随机存取存储器、CD-ROM、CD-R、CD-RW、磁带和其它光学和非光学数据存储装置。计算机可读介质还可以分布在网络连接的计算机系统上，以便计算机可读代码以分布方式存储和执行。

虽然为便于理解，通过一定细节对上述发明进行了描述，但显然可以在所附权利要求书范围的前提下进行某些改变和修改。因此，本发明实施例应视为说明性而非限制性的，并且本发明不限于本文所述细节，而是可在所附权利要求书的范围和等同物内加以修改。在所附权利要求书中，除非该权利要求书中明确指明，否则单元和/或步骤并未暗示任何特殊的操作顺序。

Claims

1.一种有效记录视频会议会话的视频会议数据的方法，它包括以下步骤：

通过确定正在分析的特定数据分组的分组类型和端口号是否指示视频会议数据，识别分布式网络上连同其它数据分组一道传送的视频会议数据分组；

根据贡献源标识，将指示视频会议数据的分组分类；

由分类的所述分组生成视频会议音频信号；

由分类的所述分组生成视频会议视频信号；

根据与每个分类的所述分组相关联的时戳，混合所述视频会议音频信号和所述视频会议视频信号；

根据混合的所述视频会议音频信号和所述视频会议视频信号与在所述视频会议会话期间记录的事件的共同时戳，将所述事件与混合的所述视频会议音频信号和所述视频会议视频信号相关联；以及

根据所述事件编排与混合的所述视频会议音频信号和所述视频会议视频信号相关联的显示布局。

2.如权利要求1所述的方法，其特征在于：识别分布式网络上连同其它数据分组一道传送的视频会议数据分组的所述步骤包括以下步骤：

保存被确定为指示视频会议数据的数据分组。

3.如权利要求1所述的方法，其特征在于：根据贡献源标识将指示视频会议数据的分组分类的所述步骤包括以下步骤：

从所述分组之一的分组标题的一个字段检索数据；

根据所述字段的所述数据，识别与所述分组之一对应的所述视频会议会话的数据流；以及

在专用于所述数据流的文件中存储所述分组。

4.如权利要求1所述的方法，其特征在于：由每个分类分组的发起源提供与每个分类的所述分组相关联的所述时戳。

5.如权利要求1所述的方法，其特征在于：从由参与者退出所述视频会议会话、参与者进入所述视频会议会话、显示的幻灯片和共享文档的注解组成的组中选择所述事件。

6.如权利要求1所述的方法，其特征在于：根据混合的所述视频会议音频信号和所述视频会议视频信号与所述事件的共同时戳，将在所述视频会议会话期间记录的事件与混合的所述视频会议音频信号和所述视频会议视频信号相关联的所述步骤包括以下步骤：

访问存储与所述事件相关联的数据的事件数据库；

确定所述事件的时戳；

确定与混合的所述视频会议音频信号和所述视频会议视频信号数据相关联的对应时戳；以及

生成菜单，以允许通过混合的所述视频会议音频信号和所述视频会议视频信号访问所述事件。

7.如权利要求1所述的方法，其特征在于：根据所述事件编排与混合的所述视频会议音频信号和所述视频会议视频信号相关联的显示布局的所述步骤包括以下步骤：

生成与所述事件相关联的索引。

8.一种视频会议系统，它包括：

多个客户；

配置为通过分布式网络将媒体数据分发到所述多个客户的主机服务器，所述主机服务器还配置为从所述多个客户接收媒体数据；

访问所述分布式网络的分组截取单元；所述分组截取单元配置为识别与所述主机服务器代管的视频会议会话相关的分组；所述分组截取单元还配置为根据贡献源将所识别的分组分类，所述分组截取单元还包括根据分组类型和相关端口号对所述分布式网络上的分组进行过滤的逻辑单元；以及

与所述主机服务器通信的媒体管理系统；所述媒体管理系统配置为管理媒体数据和注解数据，所述媒体管理系统还配置为捕获与所述注解数据相关联的事件；

其中所述媒体管理系统还包括：

配置为管理所述媒体数据和所述注解数据以便把所述媒体数据和所述注解数据分发到所述视频会议会话的各参与者的媒体管理服务器；

与所述媒体管理服务器通信的存储服务器，所述存储服务器配置为存储所述媒体数据和所述注解数据；

与所述媒体管理服务器通信的事件数据库，所述事件数据库配置为捕获与所述注解数据相关联的事件；以及

与所述媒体管理服务器、所述事件数据库和所述存储服务器通信的媒体分析服务器，所述媒体分析服务器配置为将存储的所述注解数据与捕获的所述事件相关联。

9.如权利要求8所述的视频会议系统，其特征在于所述分组截取单元还包括：

用于分析所述识别出的分组的贡献源字段内的数据，以便根据所述贡献源将所述识别出的分组分类的逻辑单元。

10.如权利要求9所述的视频会议系统，其特征在于：用于过滤的所述逻辑单元和用于分析的所述逻辑单元是软件和硬件之一或其组合。

11.如权利要求8所述的视频会议系统，其特征在于还包括：

与所述分组截取单元通信的混合器/合成器，所述混合器/合成器配置为将对应的分类分组解码；所述混合器/合成器还配置为将解码的对应音频分组合成为单个音频数据流，以及将解码的对应视频分组合成为单个视频流；

配置为将所述单个音频流和所述单个视频流同步并合成为数据流的同步器；以及

与所述媒体管理系统和所述同步器通信的回放发生器，所述回放发生器配置为生成所述数据流的事件索引，所述事件索引将注解数据时戳与数据流时戳相关联。