CN1788494A - 用于大量视频序列传输的系统和方法 - Google Patents

用于大量视频序列传输的系统和方法 Download PDF

Info

Publication number
CN1788494A
CN1788494A CN200480007440.4A CN200480007440A CN1788494A CN 1788494 A CN1788494 A CN 1788494A CN 200480007440 A CN200480007440 A CN 200480007440A CN 1788494 A CN1788494 A CN 1788494A
Authority
CN
China
Prior art keywords
quality
pictures
bit rate
time interval
encoder
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN200480007440.4A
Other languages
English (en)
Inventor
斯蒂芬·文格尔
赫罗尔德·威廉斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
TELESUIT CORP
Original Assignee
TELESUIT CORP
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by TELESUIT CORP filed Critical TELESUIT CORP
Publication of CN1788494A publication Critical patent/CN1788494A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H04N21/23655—Statistical multiplexing, e.g. by controlling the encoder to alter its bitrate to optimize the bandwidth utilization
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/154—Measured or subjectively estimated visual quality after decoding, e.g. measurement of distortion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/162—User input
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/198—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including smoothing of a sequence of encoding parameters, e.g. by averaging, by choice of the maximum, minimum or median value
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor

Abstract

一种用于大量视频画面的最佳传输的系统和方法，由终端视频编码器组成，其中使用了一个以上的编码器。该系统和方法通过基于由位速率确定装置确定的在前的位速率生成新的位速率，来改善由多个图像构成的宽带图像的图像质量，从而管理了可用带宽的分布。

Description

用于大量视频序列传输的系统和方法
技术领域
本发明涉及压缩视频信号的传输，并且更具体而言，涉及系统中编码位速率的最佳确定，在该系统中一个以上的编码视频流是通过单个、带宽有限的数据链路来进行多路复合的。
背景技术
试图在实时约束下达到重建视频图像的优良的感知质量的方法和系统通称为速率控制算法。传统速率控制算法在单个视频编码进程中起作用，且仅就单个编码视频流进行最优化。与此对比，本发明涉及同时对多个编码视频流进行最优化的算法。这类算法叫做多通道速率控制算法(MCRC算法)。
两种主要类型的单通道速率控制算法也是大家知道的。第一类叫做固定位速率控制算法(CBR)。CBR算法试图在编码进程期间将明确数目的位分配给每一所捕获的图像。第二类被称为可变位速率控制算法(VBR)。VBR算法针对几个图像将位速率保持在平均水平且在明确的方差、常数之内。但是，它们考虑了每单个画面的间或显著改变。这使得编码器能够通过为大改变花费比为小改变所花费的更多的位，而对图像特性上的大改变作出反应，因此常常导致更好感知的画面质量。可以在出版物 IEE Transactions of Comm.Systems，卷3，26-40页，1963，Huang，Schultheiss的″Block Quantization of Correlated GaussianRandom Variables″找到一个很早的位速率控制算法的实例。在 IEEE Trans.Circuits and Systems for Video Tech.6(1)(1996年2月)12-20页，W.Ding和B.Liu的″Rate Control Of MPEG Video Coding AndRecording By Rate-Quantization Modeling″中描述了更新的CBR的实例，在ISO-IEC/JTC1/SC29/WG11，MPEG2 Test model 5 Draft(1993年4月)中描述了VBR。
CBR算法一般说来对于在固定带宽链路上的低延迟操作来说是优选的。在混合编码器中实现CBR算法的常见方式是调节量化步长，通常称为QP值。这个数值通过在压缩过程中改变(remove)变换系数舍入中的精度而直接影响压缩系数。在大多数视频压缩系统中(至少在遵照流行视频压缩标准之一的那些系统中)，QP值是宏块的属性并且典型地具有在诸如一至三十二的小数值编号范围内的整型数值。在这方面，QP值越高，画面的质量就越低，而QP值越低画面质量就越高。因此，QP值一般说来与画面质量成反比。
众所周知，人类视觉系统不适宜对画面质量方面的急剧变化作出反应，上述变化被感觉为非常讨厌的。因此，大多数速率控制算法都试图对于整个画面使用相等的QP值，或仅仅允许QP值的微小变化，由此使得画面质量平均，因此防止了急剧的质量变化。更完善的速率控制算法有时考虑心理光学(psycho-optical)因素，并区分画面的“平淡”和“活动”部分。然后它们试图以比活动部分要低的质量来对平淡部分进行编码。上述算法的典型实例可以在欧洲专利参考资料EP 1250 012 A2中找到。
在某种程度上与本发明相关的另一种技术称为负载均衡。一般而言，负载均衡技术试图以最优化对请求的响应时间的方式将多个请求分配给多个服务器。它们最普通的是用在数据传输环境中，例如，将对一个受欢迎的站点的请求的负载分发给大量网络服务器。负载均衡算法通常使用线性最优化来在多个网络服务器当中对数据传输进行最优化，但是这些线性最优化技术没有提供针对来自视频会议环境的多个流的速率控制。
图11描绘了一种典型的现有技术，称为TeleSuite会议室的四屏幕视频会议系统和环境，其由俄亥俄州英格伍德的TeleSuite公司持有，并具有编号为5,572,248、5,751，337、6,160,573以及6,445,405的美国专利中所显示并描述的类型，上述专利文件被结合于此作为参考并构成本文的一部分。
长宽比为16∶3的宽带场景A包括四个空间相邻的子场景A1、A2、A3和A4。许多先前的系统采用了通常遵照普遍接受的视频压缩标准，诸如国际电信同盟(ITU)标准H.261或H.263的视频压缩算法。例如，H-261标准是为是64千字节/秒的倍数的数据速率而设计的。这样的标准常常具有既定的数据速率和优选的画面格式，尽管它们也许也支持其它格式，但是被广泛采用的编码器/解码器(编解码器)仅支持那些标准格式。因此，有必要结合几个摄影机和几个编解码器来捕获宽带场景，并通过空间地将它拆分成几个子场景而对该宽带场景进行编码，每一个子场景具有普遍支持的视频编解码器的画面格式之一的尺寸。
参考图11，注意到每一个子场景是通过关联的摄影机C1、C2、C3和C4来捕获的。所示的实例中的子场景被描述如下：A1示出了单个坐着的人的上身，A2示出了两个坐着的人的上身，A3示出了两个坐着的人的上身，其中一个人处于站起来并打手势的过程中，而A4示出了静止背景。
通过视频编码器E1至E4将各自携带子场景A1至A4的模拟表示的摄影机C1至C4的视频输出分别转换成压缩的、数字视频位流B1至B4，优选的是遵照ITU视频压缩标准之一，诸如H.261或H263。在一个环境中，所有编码器E1至E4(在图11标记为F-I)都被配置成采用相同位速率，即图11中所示实例中的10k比特/s。因此，经由局域网或广域网(WAN)的传输中使用的最后所得到的位速率是4×10k比特/s。由于子场景在它们的活动性方面不同，编码器位速率却是不变的，所以由QP值指示的所编码的子场景的质量也不同。对适度活动的子场景进行编码的编码器E1，以QP值为10的好的质量水平操作。与E1相比负责稍微更活动些子场景的编码器E2，不能在相同位速率约束之内达到相同的质量，而是以QP值12操作的。对非常活动的子场景A3进行编码的编码器E3以QP值30操作，并且生成很低质量的编码图像。对静止背景子场景A4进行编码的编码器E4以QP为1的优良质量水平操作。
所有流都在多路复用单元J中多路复用在一起，以形成输出数据流。数据流被经由局域网或广域网(WAN)K传送到接收房间。在这里，通过多路信号分离器L来对所接收的经多路复用的数据流进行多路信号分离，以重建原始的四个压缩的、数字视频位流。所述位流被传送到解码器D1至D4，每一个解码器重建一个视频子图像。使用所附显示器或数据投影机P1至P4来使这些子图像可见。所有投影机P1至P4的投影机光束方向是这样安排的，四个所显示的子图像I1至I4空间地组成在几何学上像所捕获的场景A的完整图像I。
每一个编码器E1至E4都具有一组规定的且固定的参数，并且依从这些参数生成位流。这些参数中最重要的是目标位流。典型地，在对所捕获的场景进行编码的时候，每一个编码器E1至E4都使用CBR算法来达到优良画面质量。当使用若干编码器的时候，各编码器以预定的位速率操作。正常的是将所有编码器都配置成使用相同的位速率，因为在配置的时候，还不知道要捕获的子场景的特性。
由于每一个子场景的位速率是固定的，所以编码子画面的质量水平随摄影机所捕获的活动性而变化。静止背景，例如子场景A4的静止背景，为了采用所配置的位速率，是以很高的质量编码的。非常活动的子场景，例如子场景A3，产生不适宜地低的画面质量。在传输和重建之后，完整的宽带图像I不仅受使人厌恶地低的质量子图像I3之苦，还受子图像I3和I4之间的讨厌的质量变化之苦。
在显示由多个并排显示的子图像构成的宽带图像的时候，所希望的是所显示的图像是相同质量的，因此它们不会由于急剧质量变化而使人的视觉系统烦恼。但是，当在房间内传输并显示大量图像的时候，如果所有传输的图像都使用相同的传输带宽(像现有技术中常见的那样)，那么所显示的图像中的一个或多个将以和相邻子画面相比不同的质量水平来加以编码(通过使用不同的平均QP值)是罕见的。
因此所需要的是这样的系统和方法，跨多个子画面同时且实时地调节图像质量，以便跨由多个子图像构成的整个合成或宽带图像达到对于查看组成该图像的多个子图像的人来说高的感知图像质量。
还需要的是调节多个图像中的每一个的画面质量的系统和方法，其包括画面并且分发或均衡多个图像的传输，以便在视频传输系统中对总的画面质量进行最优化。
发明内容
有利地，为大量视频画面的最佳传输提供一种系统和方法，由n个视频编码器E(n)组成，在这里n大于一，上述编码器将进来的画面转换为构成进来的画面的编码表示的比特序列，从而压缩它们，所述进来的画面优选的是来自诸如摄影机此类的视频源，且优选的是以固定的画面速率进行转换。每一个画面被当作独立的位流来传输。该压缩不是无损的，优选的是遵循混合编码器的原理。每一个视频编码器E(n)都能够在任何指定时间将失真报告为D(n)，该失真是由有损压缩产生的。D(n)可以峰值信噪比(PSNR)、平方误差和(SSD)、绝对误差和(SAD)的形式或其它适当方式来加以计算。D(n)也可以启发式(heuristically)地加以确定，例如通过将编码视频的平均量化因子(quantizer factor)用作质量指示。每一个视频编码器E(n)还能够保持乘以画面速率后的每一个编码画面的比特的数目低于外部提供的最大比特数目，位速率R(n)。整个由n个编码器E(n)组成的系统还受最大目标位速率T的约束，因此T≥∑R(n)。也就是说，在任何指定时间点上，目标位速率T都必须不大于所有编码器位速率R(n)的总和。以使所有编码器的失真D(n)都均等的方式，所述用于大量视频画面的最佳传输的系统以固定时间间隔(例如帧距的整数倍)、可变时间间隔(例如，每当可获得足够的处理能力的时候)或以由用户界面的输入引发的方式来调节每一个编码器的编码器位速率R(n)。它通过执行R(n)的线性最优化来这样做。
在一方面，这个发明包括一个由多个视频编码器组成并导致所达到的质量的系统，其中，每一个视频编码器有损地将视频画面序列压缩成具有指定速率的位流，所达到的质量是通过单独修改每一个编码器的目标位速率而加以最优化的。
在另一方面，这个发明包括一种用于改善实时编码的视频应用的质量的方法，包括如下步骤：使用目标位速率对在基本相同时间获得的第一多个图像进行编码，针对第一多个图像分别测量多个编码器的多个实际位速率，分别测量所述多个编码器中的每一个的多个失真值，以及针对第二多个图像，分别计算要由所述多个编码器使用的多个经调节的目标位速率，从而使得用来对第二多个图像进行编码的所述多个编码器的第二多个失真值将会基本相同。
在再另一方面，本发明包括一种用于最佳地向一个或更多目的地传输多个画面的方法，该方法包括如下步骤：提供多个编码器，每一个编码器包含一个速率控制算法，该算法调节由所述多个编码器中的每一个编码的画面的质量，以便编码画面的目标位速率不超过预定量；分别使用多个编码器中的每一个来有损地压缩多个序列，该序列具有多个目标位速率的多个位流，该目标位速率导致多个所达到的质量，所述多个所达到的质量是通过测量所述多个所达到的质量，单独修改多个编码器中的每一个的多个目标位速率来加以最优化的；通过以所有所述多个画面的所述多个质量基本相同的方式调节所述多个编码器中的每一个的目标位速率，来对所有由所述多个编码器编码的所述多个画面的质量进行最优化。
在另一个方面，本发明包括一种用于最佳地向一个或更多的目的地传输多个画面的系统，包括：多个用于捕获多个画面的视频源；多个编码器，每一个编码器遵循混合编码器的原理，采用速率控制，并能够报告在上一报告和给位速率控制管理器的请求之间的时间间隔内所达到的画面质量；以及确定所述多个编码器中的每一个的目标位速率的所述位速率控制管理器，该管理器是与所述多个编码器中的每一个相连的，其中所述位速率控制器确定多个编码器中每一个的所述目标位速率，致使所有由所述多个编码器编码的画面的个体质量是以所有画面的所述所达到的质量基本相同的方式来加以最优化的。
在再另一方面，本发明包括一种视频会议系统，包括，第一站内的多个摄影机，捕获空间相邻的场景；编码系统，分别压缩、传输和解压缩来自所述多个摄影机的多个画面，并在至少一个接收站内生成多个重建的画面，所述编码系统包括与所述多个编码器中的每一个相连的位速率控制管理器，该管理器用于确定所述多个编码器中每一个的位速率，从而使得由所述多个编码器中的每一个生成的再生位流的质量基本相同；接收站内的多个显示设备，它们的显示区是空间相邻的，以致它们能够渲染在发送站捕获的场景。
根据下面的描述、附图以及所附权利要求，该发明的其它目标和优点将显而易见。
附图说明
图1是示出本发明的一个实施例的示意图；
图2是第一站的另一示意图；
图3是第二或远程站的示意图；
图4是根据该发明的一个实施例的位速率控制管理器的示意图；
图5是根据该发明的一个方面的处理的流程图；
图6是示出本发明的进一步特征的图；
图7是另一个示出第一组位速率和量化值的图；
图8是与图7相似的图，除了在时间上较后示出了另一具有在采用本发明的特征之后的位速率和量化值的帧；
图9是本发明的另一个实施例的图；
图10是示出速率失真曲线的图；以及
图11是现有技术的系统的图，示出了导致差质量的图像的变化的量化尺寸(quantization size)。
具体实施方式
优选的是该发明被用作高质量视频会议系统的一部分，但是也可以有其它应用(例如用于很高分辨率的视频的画面编码的并行化和分割)。一个典型的系统在编号为5,751,337、5,751,337、6,160,573以及6,445,405的美国专利中示出了，上述专利被转让给了与本发明相同的受让人，并且被结合于此作为参考并构成本文的一部分。
参考图1到10，示出了举例说明本发明的系统和方法。与现有技术形成对比的是，本系统和方法最佳地调节位速率和QP值。为了方便举例说明，WAN位速率将会假定为40k比特/s，但要是希望的话它可以是另一速率，只要该速率至少与编码器En1-En4的位速率一样大，编码器En1-En4被分别标记为12-18。正如稍后详细描述的，调节子场景中的每一个的位速率，致使作为结果的平均QP对于所有四个编码器来说都是同样的。但是，注意，在该例子中位速率是显著不同的。在图1中编码器E1使用8k比特/s对它的适度活动的子场景进行编码。编码器E2使用稍微更活动些的子场景的10k比特/s。要以相同平均QP加以编码，编码器E3的非常活动的子场景要求21k比特/s，而编码器E4的静止背景仅要求1k比特/s。正如将要看到的，通过使用MCRC并利用作为结果的动态位速率分配，所有四个子场景都以相同平均QP(在图1所述例子中的12)加以编码，因此是在相同质量水平上的。除此之外，应该明白该发明允许多个编码器与彼此“交谈”，以及传送它们当前的质量或QP值，该值是由驻留在每一个编码器中的内部CBR速率控制算法确定的。在这里稍后描述的本发明的一个实施例中，所有宏块的平均量化因数或QP值也被启发式地用作编码画面中的一个的质量的指示，该编码画面是通过MCRC算法来加以最优化的。注意，平均QP是通过对所有属于该编码画面的宏块的QP值求和，并用所述编码画面中的宏块的数量去除它来计算的。
图2到3是根据该发明的实施例的系统10的另一个例子，现在将会更详细地说明系统10。在本实施例中，多个编码器12、14、16和18分别包括数字信号处理器(DSP)12a、14a、16a和18a。在正说明的实施例中，各DSP 12a-18a共享一个共用控制总线，诸如紧凑PCI总线此类的，该总线被用来在DSP 12a-18a之间和当中传送控制信息。
多个摄像机C1、C2、C3和C4分别捕获个体图像20、22、24和26，并将与图像20-26关联的数据发送到编码器(En1-En4)12-18。所述用于视频图像的传输的方法可以借助于模拟或数字连接。DSP 12a-18a每一个包括位速率控制管理器进程(BCM)，在图2中被示意性地示作框30，该进程分别接收每一个编码器En1-En4的QP值以及由摄像机C1-C4捕获的每一个图像的实际位速率，并以这里稍后描述的方式生成每一个编码器的新的位速率。然后用多路复用器32对所述位流(具有由BCM 30确定的位速率)进行多路复用，并经由广域网34将它们分发到远程站36。
图3示出了接收或远程站36。多路复用的信号是经由网络34接收的，并且是由多路信号分离器38接收的，在该例子中，多路信号分离器38将信号多路分离成四个位流。所述四个位流是分别由多个解码器DEC1 40、DEC2 42、DEC3 44以及DEC4 46接收的，上述解码器各具有关联的数字信号处理器40a、42a、44a和46a。为了方便举例说明以及理解，该发明被描述为使用编码器En1-En4 12-18以及解码器DEC1-DEC4 40-46，但是应该理解可以使用更少或更多数目，倘若存在不止正好一个的编码器和解码器。除此之外，该发明可以用在组合集成单元编码器/解码器中，一般称为“编解码器”。例如，应当明白尽管远程站能够从图2中所示的第一站11接收所捕获的图像，但典型的视频会议环境会也允许图像在远程站36被捕获，以传输回第一站11。
应该明白所述位速率与相应于在第一站11捕获的图像的位速率一致。此外，注意所捕获的图像48、50、52和54中的每一个的QP值是同样的，因为它是位流本身的一部分。在图2和3中示出的例子中，所显示的图像48-54的QP值被举例说明为10，并且En1的位速率是5k比特/s，Ene2的位速率是10k比特/s，En3的是10k比特，En4的是Ok比特/s。
参考图2，应该明白摄影机C1、C2、C3以及C4中的每一个都是与每一个数字信号处理器(DSP)12a、14a、16a以及18a相连的。但是，还应该明白摄像机C1-C4是通过在外部提供水平和垂直同步信号和像素时钟而在时间上同步的，以便简化DSP 12a、14a、16a以及18a所使用的速率控制算法的同步。例如，在每一个垂直同步消隐周期以及使用共用控制总线28的期间，所有数字信号处理器12a-18a都分别向彼此传送目标位速率，该目标速率是在对上一个由摄像机C1-C4捕获的画面进行编码时使用的。DSP 12a-18a还以上一个由摄像机C1-C4所捕获的画面的平均QP值的形式，向彼此传送所达到的质量。在通过BCM 30从所有DSP 12a-18a接收每一个位速率值和QP值之后，每一个数字信号处理器12a-18a运行一个相同的算法，以便计算下一个目标位速率。这个目标或新的位速率被用在下一个由它相应的摄像机C1-C4所捕获画面的编码步骤中，当作速率控制参数。使用重新确定的位速率，该发明的系统和方法使得平均QP值基本相同，从而确保了构成宽带图像的画面的基本相同质量。这个进程在视频会议的存在期间持续，致使在站36(图3)显示的宽带图像的质量具有网络34的带宽和系统10的各个部件所允许的优良质量。注意，平均QP是通过对属于编码画面的所有宏块的所有QP值求和，并用该编码画面中的宏块的数目去除它来计算的。还要注意，也可以在对一个画面、在许多视频压缩标准中叫做片的实体进行编码的同时，为多个宏块执行新目标位速率的计算。这样做，所述方法和系统的准确度可以更高，计算需求却更低。还可以将新目标位速率的计算之间的时间间隔提高到帧速率的倒数的倍数。在该情况下，计算需求更低。诸如平均QP形式的质量测量，总是使用所有那些宏块来加以执行的，那些宏块是在上一计算和当前计算之间的时间间隔内编码的。
为了确保所有编码器12-18(图2)用基本相同的QP值操作，DSP12a-18a采用了下面的公式和算法：
R ( n ) = T n - - - ( 1 )
R temp ( n ) = R prev ( n ) + rate ( Σ i = 0 n D prev ( i ) n - D prev ( n ) ) - - - ( 2 )
R ( n ) = T R temp ( n ) Σ i = 0 n R temp ( n ) - - - ( 3 )
在根据公式(1)的初始化之后，通过运用公式(2)和(3)，每一个编码器12-18分别生成一个新的位速率，该新的位速率用在由编码器12-18的相应摄影机C1-C4所捕获的下一画面的编码步骤中。新编码器速率是根据公式(2)-(3)来确定或计算的。应该明白，用于计算新位速率的时限可以与摄像机C1-C4关联的帧速率的倒数一样短。
公式(2)-(3)通过确定所有由摄像机C1-C4捕获的画面的平均失真和实际画面(Dprev(n))的失真之间的差来计算每一个编码器12a-18a的新的位速率R(n)。这个差通过函数rate进行加权，以计算用于补偿所捕获的图像的失真中的差的位速率差，该函数rate在公式(2)中称为“rate”。注意编码器12-18中的每一个的Rtemp值是通过运用公式(2)而获得的，并且是通过运用公式(3)而标准化的，从而使得所有R(n)的总和产生目标位速率T。
所述压缩不是无损的，优选的是遵循混合编码器的原理。每个视频编码器E(n)都能够在任何指定时间，报告由有损压缩产生的失真，比如D(n)。D(n)可以用峰值信噪比(PSNR)、平方误差和(SSD)、绝对误差和(SAD)的形式或其它适当方式来加以计算。D(n)也可以启发式地来加以确定，例如通过将编码视频的平均量化因数用作质量指示。每一个视频编码器E(n)还能够保持乘以画面速率后的每一个编码画面的比特的数目低于外部提供的最大比特数目，位速率R(n)。整个由n个编码器E(n)组成的系统还受最大目标位速率T的约束，因此T≥∑R(n)。也就是，在任何指定时间点上，目标位速率T都必须不大于所有编码器位速率R(n)的总和。以使所有编码器的失真D(n)都均等的方式，所述用于大量视频画面的最佳传输的系统以固定时间间隔(例如帧距的整数倍)、可变时间间隔(例如，每当可获得足够的处理能力的时候)或以由用户界面的输入引发的方式，来调节每一个编码器的编码器位速率R(n)。它通过执行R(n)的线性最优化来这样做。
应该明白，如果函数rate总是生成在数学上正确的结果，那么第二步骤就是不必要的，假定在所有画面中的不变的平均活动性，这间接表明标准化不是必要的。但是，在包括多个摄影机C1-C4的典型视频会议环境中，常见的是失真会随图像的不同而不同，并且所有画面的位速率活动性不是不变的，例如，当一个所捕获的图像的位速率值变化或突然变得更活动的时候。显而易见，函数rate R(n)高度依赖于由摄影机C1-C4所捕获的图像的内容。但是，应该理解，典型的是函数rate会是内容自适应(content-adaptive)的函数，因此允许对变化着的画面内容的适当修改。rate函数的实现可以按常规利用例如在Digital Multimedia Standards Series中Mitchell，J.L.，W.B.Pennebaker，C.E.Fogg和D.J.LeGall的″MPEG Video Compression Standard″，Chapman& Hall，New York，NY，1997；以及Haskell，B.G.，A.Puri和A.N.Netravali的″Digital Video：An Introduction to MPEG-2，″ISBN：0-412-08411-2，Chapman & Hall，1997中描述的技术来实现，上述文件被结合于此并成为本文的一部分。
跨越图像48-54(图3)达到所希望的质量水平所要求的附加位的数目不仅随编码器12-18所使用的视频压缩技术而变化，还随要分别由编码器12-18来编码的所捕获的图像20-26的内容而变化。在简单化的实现中，函数rate可以从依据与要由摄影机C1-C4捕获的内容相似的内容生成的速率-失真曲线以及编码器12-18所采用的视频压缩算法导出。图10举例说明了一个速率-失真曲线，其示出了当位速率从例如大约15Kbps增长到大约75Kbps的时候在失真方面的逐渐增长。如速率-失真曲线中的峰值信噪比(PSNR)值(以dB为单位来计量的)所指示的质量水平和QP值的关系取决于编码内容以及所采用的视频编码标准，在这里不需要进一步的讨论。
参考图4和5，示出了一个供在数字信号处理器12a-18a上使用的位速率控制管理器(BCM)30的实施例。如图所示，BCM 30包括一个新位速率计算器56，该计算器分别从多个编码器12-18中的每一个接收QP值58、60、62和64。从由框66示意性地表示的摄像机C1-C4来的在前图像的实际位速率，也由位速率计算器56加以接收。运用前述公式(1)-(3)，BCM 30计算分别由编码12-18的数字信号处理器12a-18a接收的新的位速率NBW1-NBW4或目标T。新的位速率被用于下一组由摄影机C1-C4捕获的图像。当前位速率被数字信号处理器12a-18a用作包括在驻留于En1-En4 12-18上并被它们采用的(CBR)速率控制算法中的参数。如果正确计算的话，这个新目标位速率就迫使由编码器12-18生成的QP值基本相同，从而保证了所有图像在例如并排显示的时候图像质量基本相同。
现在参考图5，该发明的进程和方法在框70处开始，在那里初始化视频会议。在初始化期间，在编码第一画面之前，运用公式(1)来对BCM进行初始化。在框72，BCM 30确定编码器12-18中的每一个的上一所捕获的图像的位速率。然后BCM 30确定编码器12-18中的每一个的上一所捕获的图像的QP值(框74)，其后响应为编码器12-18中的每一个而接收的位速率(图4中的框66)以及QP值58-64计算每一个编码器12-18的经调节的位速率(框76)。在框78，BCM30设置每一个编码器12-18的下一个所捕获的图像的位速率。在判决框80，确定BCM 30接收的数据是不是与多个摄影机C1-C4捕获的上一图像关联的数据。如果是，那么视频会议结束(图5中的框82)，但是如果不是，那么例行程序循环返回到框72，在框72中，如同所示的，下一所捕获的图像的数据和位速率可以得到处理。
本发明的系统和方法还通过图6到8以及相关描述而进行了举例说明。为了方便说明，应该理解摄影机C1、C2和C4捕获的图像被假定为在会议期间没有改变(即对象没有移动)，而与摄影机C3所捕获的图像关联的位速率改变了，由于坐在图像捕获帧(图6中的帧24)的右手侧的参与者或人改变了，因为在帧24的右侧的参与者(如图6中所看到的)从所坐的位置移动到站着的位置，胳膊是伸展的。如图6中所示，摄影机C1-C4捕获所示的图像，编码器12-18分别生成关联的位速率5Kbps、15Kbps、10Kbps以及0Kbps。这些值分别由编码器12-18的数字信号处理器12a来接收。应该理解，为了方便说明，所述所捕获的图像被假定为是“上一所捕获的图像”(正如参考图5中框72的那样)。在正说明的例子中，还将假定该时间等于零毫秒或图6中视频会议的开始。注意，在图6中所示的例子中，在位速率方面基本上没有发生改变，因为在所捕获的帧20-26中的图像还没因为移动或与帧20-26关联的新位速率而改变。因此，编码器12-18的数字信号处理器12a-18a分别接收该位速率，并使用位速率算法并以稍早些在这里相对于图4和5描述的方式，计算基本相同的新的位速率值，即正在描述的实例中的12。
但是，注意，如图7中所示，当帧24中的参与者从坐着的位置站起到站着的位置的时候在位速率方面的变化。BCM 30(图4)的位速率计算器56接收每一个编码器12-18的QP值，该值使用了上一所捕获的图像的位速率(即，5、15、10和0)(框74)。但是，注意，速率控制算法所要求的QP值已显著改变了，因为编码器12-18的QP值分别是10、10、18和10。这意味着，对于由编码器12、14和18编码的数据来说，在远程站36上显示的数据的图像的质量将得到改善，而根据由编码器16编码的数据在远程站36上显示的图像的质量相当大地降低了，导致在QP值方面的量化差8(18-10)。因此，当包括所有图像48-54的宽带图像显示且彼此相邻的时候，第三帧中所显示或所投影的图像相当大地劣于其它三个帧。这个结果对于稍早些相对于现有技术所描述的来说是很典型的。在该发明的系统和方法中，QP值差异仅存在几毫秒，所以对于人类的裸眼来说是察觉不到的，并且说明如下。
当下一个来自摄影机C1-C4的未编码的画面被编码器12-18处理的时候，编码器12-18、DSP 12a-18a接收未编码的画面并根据该发明使用公式(1)-(3)以及图5中所示的算法来处理它们，以计算将迫使来自每一个编码器EN1-EN4的QP值基本相同的新目标位速率。在正描述的例子中，当时间等于60毫秒的时候，如图8中所示，位速率确定装置30为下一组数据计算每一个编码器EN1-EN4的新的位速率，致使QP值将基本相同(正在描述的实例中的13)。因此，本发明的系统和方法通过生成每一个编码器12-18的新的位速率来生成对每一个编码器的新的带宽分布，致使编码器12-18所编码的数据在为在远程站36上显示而被传输的时候与其关联的QP值基本相同。注意所使用的总的可用带宽没有改变，因为它在54(12+12+18+12)开始，在54(13+13+13+13)结束。
有利的是，这个系统和方法帮助了改善宽带或宽带图像的图像质量，该图像包括由多个诸如摄影机C1-C4此类的输入设备生成的多个子图像。总体改善或数据的负载均衡相当大地优化或改善了视频传输系统的画面质量，这又反过来改善了总体的视频会议感受。
图9示出了该发明的另一实施例，该实施例示出了多个市场上可买到的编码器80、82、84和86，例如可从加利福尼亚州的普莱森顿的Polycom公司得到的型号为VS 4000的编码器。该实施例还包括位速率控制管理器88(BCM)，其具有稍早些于此相对于所示的BCM 30和多路复用器90提到的特征。在所述实施例中，每一个编码器En1-En480-86是通过IP网络接口92来加以控制的，该接口可以基于以太网技术、其它IEEE 802.x分组网、串行链路或其它任何适当的网络技术，并且运行通常大家所知道的简单网络管理协议(SNMP，RFC3416)。IP网络接口92运行SNMP，被用来将来自编码器80-86的编码数据输出到将IP网络接口90连接到广域网(WAN)94的网关，以及到远程位置36上的多路分离器96、解码器98、100、102和104。
BCM 88使用SNMP来发送SNMP控制消息，并能够使用稍早些于此描述的方法和系统设置编码器80-86中的全部的目标位速率。
在该发明的这个实施例中，BCM 88经由接口92以固定时间间隔(例如每10秒)请求所有编码器80-86的当前状态。BCM 88使用稍早些于此描述的系统和方法来计算每一个编码器80-86的新目标位速率。在为每一个编码器80-86确定新位速率的计算之后，BCM 88使用SNMP控制消息向编码器80-86中每一个传送新的位速率。
虽然在这里所描述的系统和方法，以及用于实现这些系统和方法的设备的形式，构成本发明的一个实施例，但是要理解该发明并不限于这些精确的方法和设备形式，可以在不偏离在所附权利要求中规定的发明范围的情况下做出一些改变。

Claims (115)

1.一种由多个视频编码器组成系统，所述视频编码器中的每一个有损地将视频画面的序列压缩成具有指定目标位速率的位流，该系统导致通过单独修改每一个编码器的所述目标位速率而加以最优化所达到的质量。
2.如权利要求1所述的系统，其特征在于，所述所达到的画面质量的最优化是通过在所有编码器之间使所达到的画面质量均匀化而达到的。
3.如权利要求2所述的系统，其特征在于，使用线性最优化来执行所述平均化。
4.如权利要求3所述的系统，其特征在于，以固定时间间隔来执行所述均匀化。
5.如权利要求4所述的系统，其特征在于，所述固定时间间隔是编码帧速率或它的整数倍。
6.如权利要求3所述的系统，其特征在于，以可变时间间隔来执行所述均匀化。
7.如权利要求6所述的系统，其特征在于，所述可变时间间隔是由通过用户界面的输入确定的。
8.如权利要求4所述的系统，其特征在于，使用在所述时间间隔内编码的所有画面中的所有宏块的平均量化器参数作为测量所述所达到的质量的工具。
9.如权利要求6所述的系统，其特征在于，使用在所述时间间隔内编码的所有画面中的所有宏块的平均量化器参数作为测量所述所达到的质量的工具。
10.如权利要求4所述的系统，其特征在于，使用在所述时间间隔内所有未编码的源画面与所有生成的参考画面之间计算的峰值信噪比(PSNR)作为测量所述所达到的质量的工具。
11.如权利要求6所述的系统，其特征在于，使用在所述时间间隔内所有未编码的源画面与所有生成的参考画面之间计算的峰值信噪比(PSNR)作为测量所述所达到的质量的工具。
12.如权利要求4所述的系统，其特征在于，使用在所述时间间隔内所有未编码的源画面与所有生成的参考画面之间计算的平方误差和(SSD)作为测量所述所达到的质量的工具。
13.如权利要求6所述的系统，其特征在于，使用在所述时间间隔内所有未编码的源画面与所有生成的参考画面之间计算的平方误差和(SSD)作为测量所述所达到的质量的工具。
14.如权利要求4所述的系统，其特征在于，使用在所述时间间隔内所有未编码的源画面与所有生成的参考画面之间计算的绝对误差和(SAD)作为测量所述所达到的质量的工具。
15.如权利要求6所述的系统，其特征在于，使用在所述时间间隔内所有未编码的源画面与所有生成的参考画面之间计算的绝对误差和(SAD)作为测量所述所达到的质量的工具。
16.如权利要求1所述的系统，其特征在于，基于每一个编码画面中的多个宏块修改每一个编码器的所述目标位速率，并且采用速率控制机构，该机构是每一个编码器的主要部分。
17.如权利要求16所述的系统，其特征在于，多个宏块是一个编码画面的所有宏块。
18.如权利要求8所述的系统，其特征在于，基于每一个编码画面中的多个宏块修改每一个编码器的速率，并且采用速率控制机制，该机制是每一个编码器的必要部分。
19.一种用于改善实时编码的视频应用的质量的方法，包括如下步骤：
使用目标位速率对在基本相同时间获得的第一多个图像进行编码；
针对所述第一多个图像分别测量多个编码器的多个实际位速率；
分别测量所述多个编码器中的每一个的多个失真值；以及
针对第二多个图像，分别计算要被所述多个编码器使用的多个经调节的目标位速率，从而使得用于对所述第二多个图像进行编码的所述多个编码器的第二多个失真值将会基本相同。
20.如权利要求19所述的方法，其特征在于，针对失真值使用了峰值信噪比(PSNR)。
21.如权利要求19所述的方法，其特征在于，针对失真值使用了绝对误差和(SAD)。
22.如权利要求19所述的方法，其特征在于，针对失真值使用了平方误差和(SSD)。
23.如权利要求19所述的方法，其特征在于，针对失真值使用了平均量化器参数(QP)作为启发式工具。
24.如权利要求19所述的方法，其中，所述计算步骤还包括如下步骤：
确定所述第一多个图像的平均失真和所述第一多个图像中的一个的失真之间的差。
25.如权利要求24所述的方法，其中，所述计算步骤还包括如下步骤：
通过函数rate对所述差进行加权，生成加权的失真；以及
对具有所述多个图像中的所述一个的位速率的加权的失真求和。
26.如权利要求25所述的方法，其中使用下面的式子来确定所述多个经调节的位速率中的每一个：
R temp ( n ) = R prev ( n ) + rate ( Σ i = 0 n D prev ( i ) n - D prev ( n ) )
以及 R ( n ) = T R temp ( n ) Σ i = 0 n R temp ( n ) .
27.一种用于对包括多个子图像的所显示的图像进行最优化的方法，所述方法包括如下步骤：
使多个编码器按所有位流的组合位速率将多个子图像压缩成多个位流，从而使得所述多个编码器中的每一个的目标位速率得到最优化。
28.如权利要求27所述的方法，其中，最优化所述目标位速率，从而使得对于所述多个编码器中的每一个来说，每一个子图像的失真是基本相同的。
29.如权利要求27所述的方法，其中，所述方法还包括如下步骤：
以固定时间间隔执行所述使编码器操作的步骤。
30.如权利要求29所述的方法，其中，所述固定时间间隔是帧距的整数倍。
31.如权利要求27所述的方法，其中，所述方法还包括如下步骤：
以可变时间间隔执行所述使编码器操作的步骤。
32.如权利要求31所述的方法，其中，所述方法还包括如下步骤：
使用绝对误差和、平方误差和或峰值信噪比中的至少一个来确定失真。
33.如权利要求28所述的方法，其中，所述方法还包括如下步骤：
通过使用由所述多个摄影机捕获的所述第一多个图像的平均失真和所述第一多个图像中的一个的失真之间的差来确定所述失真。
34.如权利要求33所述的方法，其中，所述计算步骤还包括如下步骤：
通过函数rate对所述差进行加权，生成加权的失真；以及
对具有所述第一多个图像中的所述一个的位速率的加权的失真求和。
35.如权利要求34所述的方法，其中，使用下面的式子来确定所述多个经调节的位速率中的每一个：
R temp ( n ) = R prev ( n ) + rate ( Σ i = 0 n D prev ( i ) n - D prev ( n ) )
R ( n ) = T R temp ( n ) Σ i = 0 n R temp ( n ) .
36.如权利要求27所述的方法，其中，所述编码器中的每一个包括所述位速率控制管理器。
37.如权利要求27所述的方法，其中，所述位速率控制管理器通过使用简单网络管理协议的网络来控制所述多个编码器中的每一个。
38.一种用于最佳地向一个或更多的目的地传输多个画面的方法，包括如下步骤：
提供多个编码器，所述编码器中的每一个包含一个速率控制算法，该算法调节由所述多个编码器中的每一个编码的画面的质量，致使编码画面的目标位速率不超过预定量；
分别使用所述多个编码器中的每一个来有损地压缩多个序列，所述序列具有多个目标位速率的多个位流，所述目标位速率导致多个所达到的质量，所述多个所达到的质量是通过测量所述多个所达到的质量，单独修改多个编码器中的每一个的多个目标位速率来加以最优化的；
通过以所有所述多个画面的所述多个质量基本相同的方式调节所述多个编码器中的每一个的目标位速率，来对由所述多个编码器编码的所有所述多个画面的质量进行最优化。
39.如权利要求38所述的方法，其中，所述方法还包括如下步骤：
通过在所有编码器当中使画面质量均匀化，来对所有所述多个画面的质量进行最优化。
40.如权利要求39所述的方法，其中，所述方法还包括如下步骤：
使用线性最优化来执行所述均匀化。
41.如权利要求39中所述的方法，其中，所述方法还包括如下步骤：
以固定时间间隔执行所述均匀化。
42.如权利要求41所述的方法，其中，所述固定时间间隔是编码帧速率的倒数或它的整数倍数。
43.如权利要求39所述的方法，其中，所述方法还包括如下步骤：
以可变时间间隔执行所述均匀化。
44.如权利要求43所述的方法，其中，所述方法还包括如下步骤：
通过经由用户界面的输入来确定所述可变时间间隔。
45.如权利要求38所述的方法，其中，所述方法还包括如下步骤：
使用前一间隔内编码的所有多个视频画面中的宏块的平均量化器参数，来测量所述多个所达到的质量。
46.如权利要求38所述的方法，其中，所述方法还包括如下步骤：
使用在前一间隔内多个未编码的源画面与多个生成的参考画面之间计算的峰值信噪比(PSNR)，来测量所述多个所达到的质量。
47.如权利要求38所述的方法，其中，所述方法还包括如下步骤：
使用在前一间隔内多个未编码的源画面与多个生成的参考画面之间计算的平方误差和(SSD)，测量所述多个所达到的质量。
48.如权利要求38所述的方法，其中，所述方法还包括如下步骤：
使用在前一间隔内多个未编码的源画面与多个生成的参考画面之间计算的绝对误差和(SAD)，测量所述多个所达到的质量。
49.如权利要求38所述的方法，其中，所述多个编码器中的每一个的目标位速率是使用每一个相应编码画面的多个宏块来进行修改的，因此，在一个画面间隔内被不止一次地确定。
50.如权利要求38所述的方法，其中，由所述多个编码器编码的所述多个画面是一起构成一个时域内单个源图像的多个子图像，并且所有组成所述单个源图像的子图像是同时被捕获的。
51.如权利要求38所述的方法，其中，所述多个画面是定义单个源图像的多个子图像，并且所有所述子图像是空间相邻的。
52.如权利要求50所述的方法，其中，所述多个画面是同时被捕获并且空间相邻的多个子图像。
53.一种用于最佳地向一个或更多的目的地传输多个画面的系统，包括，
用于捕获多个画面的多个视频源，
多个编码器，所述多个编码器中的每一个遵循混合编码器的原理，采用速率控制，并能够报告在上一报告和给位速率控制管理器的请求之间的时间间隔内所达到的画面质量；以及
所述位速率控制管理器与所述多个编码器中的每一个相连，确定所述多个编码器中的每一个的目标位速率，其中所述位速率控制器确定所述多个编码器中每一个的所述目标位速率，致使所有由所述多个编码器编码的画面的个体质量是以所有画面的所述所达到的质量基本相同的方式加以最优化的。
54.如权利要求53所述的系统，其中，所述位速率控制管理器是分布式应用，并且构成每一编码器的必要部分。
55.如权利要求53所述的系统，其中，所述位速率控制管理器是在所述多个编码器中的每一个的外部的设备。
56.如权利要求55所述的系统，其中，所述位速率控制管理器通过适当通信链路以及来自多个编码器的协议来接收多个编码输入信息，并通过通信链路和协议将目标位速率发送到所述多个编码器。
57.如权利要求55所述的系统，其中，所述通信链路是串行链路。
58.如权利要求55所述的系统，其中，所述通信链路遵循规范IEEE 802.x或以太网(IEEE 802.3)中的一种。
59.如权利要求55所述的系统，其中，所述协议是简单网络管理协议(RFC3416)。
60.如权利要求55所述的系统，其中，所述位速率控制管理器通过在所有编码器中使画面质量均匀化来对所有所述多个画面的质量进行最优化。
61.如权利要求60所述的系统，其中，所述位速率控制管理器使用线性最优化来执行所述均匀化。
62.如权利要求60所述的系统，其中，所述位速率控制管理器以固定时间间隔执行所述均匀化。
63.如权利要求62所述的系统，其中，所述固定时间间隔是所述多个画面的帧速率的倒数或它的整数倍。
64.如权利要求60所述的系统，其中，所述位速率控制管理器以可变时间间隔执行所述均匀化。
65.如权利要求64所述的系统，其中，所述位速率控制管理器通过经由用户界面的输入来确定所述可变时间间隔。
66.如权利要求53所述的系统，其中，所述位速率控制管理器使用在所述时间间隔内编码的所有多个视频画面内的所有宏块的平均量化器参数来测量所述多个所达到的质量。
67.如权利要求53所述的系统，其中，所述位速率控制管理器使用在所述时间间隔内多个未编码的源画面和多个生成的参考画面之间计算的峰值信噪比(PSNR)来测量所述多个所达到的质量。
68.如权利要求53所述的系统，其中，所述位速率控制管理器使用在所述时间间隔内多个未编码的源画面和多个生成的参考画面之间计算的平方误差和(SSD)来测量所述多个所达到的质量。
69.如权利要求53所述的系统，其中，所述位速率控制管理器使用在所述时间间隔内多个未编码的源画面和多个生成的参考画面之间计算的绝对误差和(SAD)来测量所述多个所达到的质量。
70.如权利要求53所述的系统，其中，所述多个编码器中的每一个的所述目标位速率是使用每一个相应的编码画面的多个宏块来进行修改的，并且在一个画面间隔内被不止一次地确定。
71.如权利要求53所述的系统，其中，由所述多个编码器编码的所述多个画面是一起构成一个时域内的单个源图像的多个子图像，并且所有组成所述单个源图像的子图像是基本同时被捕获的。
72.如权利要求53所述的系统，其中，所述多个画面是定义单个源图像的多个子图像，并且所有所述子图像是空间相邻的。
73.如权利要求70所述的系统，其中，所述多个画面是同时被捕获并且空间相邻的多个子图像。
74.如权利要求53所述的系统，其中，所述多个视频源以及多个编码器位于发送站内；所述系统还包括：
位于所述发送站内且与所述多个编码器相连的多路复用器，用于根据所述多个编码器生成的多个位流对单个多路复用位流进行多路复用；
数据链路，其将所述位流传送到单个接收站(点对点)中的多路分离器或到多个接收站(多点，或广播)，
每一个接收站内的多路分离器，其从多路复用位流无损地重建由所述多个编码器生成的多个位流，
所述至少一个接收站内的多个解码器，用于将所述多个位流重建为准备好在至少一个接收站上显示的多个重建的画面。
75.如权利要求74所述的系统，其中，所述位速率控制管理器是分布式应用并且构成每一个编码器的必要部分。
76.如权利要求74所述的系统，其中，所述位速控制管理器在所述多个编码器中的每一个的外部。
77.如权利要求76所述的系统，其中，所述位速率控制管理器通过适当通信链路以及来自所述多个编码器的协议来接收多个编码输入信息，并通过通信链路和协议将目标位速率发送到所述多个编码器。
78.如权利要求76所述的系统，其中，所述通信链路是串行链路。
79.如权利要求76所述的系统，其中，所述通信链路遵循规范IEEE 802.x或以太网(IEEE 802.3)中的一种。
80.如权利要求76所述的系统，其中，所述协议是简单网络管理协议(RFC3416)。
81.如权利要求76所述的系统，其中，所述位速率控制管理器通过在所有编码器中使画面质量均匀化来对所有所述多个画面的质量进行最优化。
82.一种视频会议系统，包括：
第一站内的多个摄影机，捕获空间相邻的场景，
编码系统，分别压缩、传输和解压缩来自所述多个摄影机的多个画面，并在至少一个接收站内生成多个重建的画面；
所述编码系统包括与所述多个编码器中的每一个相连的位速率控制管理器，该管理器用于确定所述多个编码器中每一个的位速率，从而使得由所述多个编码器中的每一个生成的再生位流的质量基本相同；
接收站内的多个显示设备，它们的显示区是空间相邻的，致使它们能够渲染在发送站捕获的场景。
83.如权利要求82所述的系统，其中，所述位速率控制管理器使用线性最优化来执行所述均匀化。
84.如权利要求82所述的系统，其中，所述位速率控制管理器以固定时间间隔执行所述均匀化。
85.如权利要求84所述的系统，其中，所述固定时间间隔是所述多个画面的帧速率的倒数或它的整数倍。
86.如权利要求82所述的系统，其中，所述位速率控制管理器以可变时间间隔执行所述均匀化。
87.如权利要求86所述的系统，其中，所述位速率控制管理器通过经由用户界面的输入来确定所述可变时间间隔。
88.如权利要求82所述的系统，其中，所述位速率控制管理器使用在所述时间间隔内编码的所有所述多个视频画面中的所有宏块的平均量化器参数来测量所述多个所达到的质量。
89.如权利要求82所述的系统，其中，所述位速率控制管理器使用在所述时间间隔内多个未编码的源画面和多个生成的参考画面之间计算的峰值信噪比(PSNR)来测量所述多个所达到的质量。
90.如权利要求82所述的系统，其中，所述位速率控制管理器使用在所述时间间隔内多个未编码的源画面和多个生成的参考画面之间计算的平方误差和(SSD)来测量所述多个所达到的质量。
91.如权利要求82所述的系统，其中，所述位速率控制管理器使用在所述时间间隔内多个未编码的源画面和多个生成的参考画面之间计算的绝对误差和(SAD)来测量所述多个所达到的质量。
92.如权利要求82所述的系统，其中，所述多个编码器中的每一个的所述目标位速率是使用每一个相应的编码画面的多个宏块来进行修改的，并且在一个画面间隔内被不止一次地确定。
93.如权利要求82所述的系统，其中，由所述多个编码器编码的所述多个画面是一起构成一个时域内的单个源图像的多个子图像，并且所有组成所述单个源图像的子图像是基本同时被捕获的。
94.如权利要求82所述的系统，其中，所述多个画面是定义单个源图像的多个子图像，并且所有所述子图像是空间相邻的。
95.如权利要求92所述的系统，其中，所述多个画面是同时被捕获并且空间相邻的多个子图像。
96.如权利要求82所述的系统，其中，所述位速率控制管理器是分布式应用，并且构成每一个编码器的必要部分。
97.如权利要求82所述的系统，其中，所述位速控制管理器在所述多个编码器中的每一个的外部。
98.如权利要求97所述的系统，其中，所述位速率控制管理器通过适当通信链路以及来自所述多个编码器的协议来接收多个编码输入信息，并通过通信链路和协议将目标位速率发送到所述多个编码器。
99.如权利要求97所述的系统，其中，所述通信链路是串行链路。
100.如权利要求97所述的系统，其中，所述通信链路遵循规范IEEE 802.x或以太网(IEEE 802.3)中的一种。
101.如权利要求97所述的系统，其中，所述协议是简单网络管理协议(RFC3416)。
102.如权利要求97所述的系统，其中，所述位速率控制管理器通过在所有编码器中使画面质量均匀化来对所有所述多个画面的质量进行最优化。
103.如权利要求102所述的系统，其中，所述位速率控制管理器使用线性最优化来执行所述均匀化。
104.如权利要求97所述的系统，其中，所述位速率控制管理器以固定时间间隔执行所述均匀化。
105.如权利要求104所述的系统，其中，所述固定时间间隔是所述多个画面的帧速率的倒数或它的整数倍。
106.如权利要求102所述的系统，其中，所述位速率控制管理器以可变时间间隔执行所述均匀化。
107.如权利要求106所述的系统，其中，所述位速率控制管理器通过经由用户界面的输入来确定所述可变时间间隔。
108.如权利要求82所述的系统，其中，所述位速率控制管理器使用在所述时间间隔内编码的所有所述多个视频画面中的所有宏块的平均量化器参数来测量所述多个所达到的质量。
109.如权利要求82所述的系统，其中，所述位速率控制管理器使用在所述时间间隔内多个未编码的源画面和多个生成的参考画面之间计算的峰值信噪比(PSNR)来测量所述多个所达到的质量。
110.如权利要求82所述的系统，其中，所述位速率控制管理器使用在所述时间间隔内多个未编码的源画面和多个生成的参考画面之间计算的平方误差和(SSD)来测量所述多个所达到的质量。
111.如权利要求82所述的系统，其中，所述位速率控制管理器使用在所述时间间隔内多个未编码的源画面和多个生成的参考画面之间计算的绝对误差和(SAD)来测量所述多个所达到的质量。
112.如权利要求82所述的系统，其中，所述多个编码器中的每一个的所述目标位速率是使用每一个相应的编码画面的多个宏块来进行修改的，并且在一个画面间隔内被不止一次地确定。
113.如权利要求82所述的系统，其中，由所述多个编码器编码的所述多个画面是一起构成一个时域内的单个源图像的多个子图像，并且所有组成所述单个源图像的子图像是基本同时被捕获的。
114.如权利要求82所述的系统，其中，所述多个画面是定义单个源图像的多个子图像，并且所有所述子图像是空间相邻的。
115.如权利要求92所述的系统，其中，所述多个画面是同时被捕获并且空间相邻的多个子图像。
CN200480007440.4A 2003-02-21 2004-02-20 用于大量视频序列传输的系统和方法 Pending CN1788494A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/371,823 2003-02-21
US10/371,823 US7352809B2 (en) 2003-02-21 2003-02-21 System and method for optimal transmission of a multitude of video pictures to one or more destinations

Publications (1)

Publication Number Publication Date
CN1788494A true CN1788494A (zh) 2006-06-14

Family

ID=32926206

Family Applications (1)

Application Number Title Priority Date Filing Date
CN200480007440.4A Pending CN1788494A (zh) 2003-02-21 2004-02-20 用于大量视频序列传输的系统和方法

Country Status (7)

Country Link
US (1) US7352809B2 (zh)
EP (1) EP1602238A1 (zh)
JP (1) JP2006520141A (zh)
CN (1) CN1788494A (zh)
AU (1) AU2004214803A1 (zh)
CA (1) CA2517003A1 (zh)
WO (1) WO2004077835A1 (zh)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102547214A (zh) * 2012-02-22 2012-07-04 腾讯科技（深圳）有限公司 一种多人视频通信中的视频编码方法以及终端
CN104412542A (zh) * 2012-04-18 2015-03-11 巴科股份有限公司 用于会议的电子工具和方法
US10050800B2 (en) 2011-09-14 2018-08-14 Barco N.V. Electronic tool and methods for meetings for providing connection to a communications network
US10585814B2 (en) 2011-09-14 2020-03-10 Barco N.V. Electronic tool and methods for meetings for communicating media content from users at a meeting
US10762002B2 (en) 2011-09-14 2020-09-01 Barco N.V. Electronic tool and methods with audio for meetings
US10904103B2 (en) 2011-09-14 2021-01-26 Barco N.V. Electronic tool and methods for meetings
US10965480B2 (en) 2011-09-14 2021-03-30 Barco N.V. Electronic tool and methods for recording a meeting
US11258676B2 (en) 2011-09-14 2022-02-22 Barco N.V. Electronic tool and methods for meetings

Families Citing this family (73)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
NO320115B1 (no) * 2004-02-13 2005-10-24 Tandberg Telecom As Anordning og fremgangsmate for a generere CP-bilder.
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
US8064514B2 (en) * 2006-03-27 2011-11-22 Polycom, Inc. System and method for dynamically adjusting bandwidth between multiple video streams of videoconference
US7692680B2 (en) * 2006-04-20 2010-04-06 Cisco Technology, Inc. System and method for providing location specific sound in a telepresence system
US7679639B2 (en) * 2006-04-20 2010-03-16 Cisco Technology, Inc. System and method for enhancing eye gaze in a telepresence system
FR2902266B1 (fr) * 2006-06-13 2008-10-24 Canon Kk Procede et dispositif de repartition de la bande passante de communication
US8582647B2 (en) * 2007-04-23 2013-11-12 Qualcomm Incorporated Methods and systems for quality controlled encoding
JP2009044328A (ja) 2007-08-07 2009-02-26 Seiko Epson Corp 会議システム、サーバ、画像表示方法、コンピュータプログラム及び記録媒体
JP5032936B2 (ja) * 2007-10-04 2012-09-26 キヤノン株式会社 動画像符号化装置及びその制御方法
JP4958713B2 (ja) * 2007-10-04 2012-06-20 キヤノン株式会社 動画像符号化装置及びその制御方法
US8355041B2 (en) * 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US10229389B2 (en) * 2008-02-25 2019-03-12 International Business Machines Corporation System and method for managing community assets
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
JP5050158B2 (ja) * 2008-06-02 2012-10-17 株式会社メガチップス トランスコーダ
US8130257B2 (en) * 2008-06-27 2012-03-06 Microsoft Corporation Speaker and person backlighting for improved AEC and AGC
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
US8233026B2 (en) * 2008-12-23 2012-07-31 Apple Inc. Scalable video encoding in a multi-view camera system
US8477175B2 (en) * 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8659639B2 (en) * 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US8625769B1 (en) 2009-10-13 2014-01-07 Signal Perfection, Ltd. System for managing, scheduling, monitoring and controlling audio and video communication and data collaboration
EP2330824A1 (en) * 2009-11-27 2011-06-08 Thomson Licensing Local statistical multiplexing of video streams over internet protocol
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
USD626102S1 (en) 2010-03-21 2010-10-26 Cisco Tech Inc Video unit with integrated features
USD626103S1 (en) 2010-03-21 2010-10-26 Cisco Technology, Inc. Video unit with integrated features
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
FR2961654B1 (fr) * 2010-06-16 2012-07-13 Alcatel Lucent Procede d'enrichissement d'un flux multimedia communique par un emetteur au moyen d'une application de visiophonie.
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US9407876B1 (en) * 2010-09-14 2016-08-02 Pixia Corp. Method and system for encoding and decoding multiple wide-area surveillance area-of-interest video codestreams
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
EP2974292B1 (en) * 2013-03-15 2020-12-30 Cisco Technology, Inc. Split frame multistream encode
GB201304803D0 (en) * 2013-03-15 2013-05-01 Mitel Networks Corp Videoconferencing
WO2014146100A1 (en) * 2013-03-15 2014-09-18 Veamea Bv Methods and systems for dynamic adjustment of session parameters for effective video collaboration among heterogeneous devices
US10187433B2 (en) 2013-03-15 2019-01-22 Swyme Ip Bv Methods and systems for dynamic adjustment of session parameters for effective video collaboration among heterogenous devices
US9843621B2 (en) 2013-05-17 2017-12-12 Cisco Technology, Inc. Calendaring activities based on communication processing
JP6231046B2 (ja) * 2015-06-24 2017-11-15 株式会社ドワンゴ 動画データ配信管理装置、動画データ配信管理方法、プログラム
USD808197S1 (en) 2016-04-15 2018-01-23 Steelcase Inc. Support for a table
US10219614B2 (en) 2016-04-15 2019-03-05 Steelcase Inc. Reconfigurable conference table
USD838129S1 (en) 2016-04-15 2019-01-15 Steelcase Inc. Worksurface for a conference table
USD862127S1 (en) 2016-04-15 2019-10-08 Steelcase Inc. Conference table
CN107666472B (zh) * 2016-07-29 2020-08-11 微软技术许可有限责任公司 混合的数字-模拟编解码的方法和设备
US10484714B2 (en) * 2017-09-27 2019-11-19 Intel Corporation Codec for multi-camera compression
EP3618442B1 (en) * 2018-08-27 2020-09-30 Axis AB An image capturing device, a method and computer program product for forming an encoded image
WO2020150654A1 (en) * 2019-01-17 2020-07-23 Brightcove Inc. Optimal multi-codec abr ladder design
US11743440B2 (en) 2021-04-19 2023-08-29 Apple Inc. Transmission and consumption of multiple image subframes via superframe
DE202022100984U1 (de) 2021-10-14 2022-03-30 Arktis It Solutions Gmbh Gerichtssaal-Mediensystem

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4118571A1 (de) 1991-06-06 1992-12-10 Philips Patentverwaltung Vorrichtung zur steuerung des quantisierers eines hybrid-kodierers
US5489943A (en) 1994-02-14 1996-02-06 Sony Corporation One-pass adaptive bit rate control
US5506844A (en) 1994-05-20 1996-04-09 Compression Labs, Inc. Method for configuring a statistical multiplexer to dynamically allocate communication channel bandwidth
US5802281A (en) * 1994-09-07 1998-09-01 Rsi Systems, Inc. Peripheral audio/video communication system that interfaces with a host computer and determines format of coded audio/video signals
US5572248A (en) 1994-09-19 1996-11-05 Teleport Corporation Teleconferencing method and system for providing face-to-face, non-animated teleconference environment
US5612900A (en) 1995-05-08 1997-03-18 Kabushiki Kaisha Toshiba Video encoding method and system which encodes using a rate-quantizer model
US6160846A (en) 1995-10-25 2000-12-12 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
US6002802A (en) 1995-10-27 1999-12-14 Kabushiki Kaisha Toshiba Video encoding and decoding apparatus
US5686964A (en) 1995-12-04 1997-11-11 Tabatabai; Ali Bit rate control mechanism for digital image and video data compression
US5686963A (en) 1995-12-26 1997-11-11 C-Cube Microsystems Method for performing rate control in a video encoder which provides a bit budget for each frame while employing virtual buffers and virtual buffer verifiers
US5745178A (en) 1996-01-22 1998-04-28 Lucent Technologies Inc. Global rate control for model-assisted coding of low bit rate video
KR100228543B1 (ko) 1996-10-11 1999-11-01 이계철 Dpcm/dct 비디오 인코더의 전송율 제어 방법
US6263020B1 (en) 1996-12-24 2001-07-17 Intel Corporation Method and apparatus for bit rate control in a digital video system
FR2761562B1 (fr) * 1997-03-27 2004-08-27 France Telecom Systeme de visioconference
KR19990042668A (ko) 1997-11-27 1999-06-15 정선종 다중 비디오 전송을 위한 비디오 부호화 장치 및 방법
US7075564B1 (en) * 1998-07-30 2006-07-11 Sorenson Communications, Inc. Video conferencing interface
EP1118225A1 (en) 1998-10-02 2001-07-25 General Instrument Corporation Method and apparatus for providing rate control in a video encoder
EP1005233A1 (en) 1998-10-12 2000-05-31 STMicroelectronics S.r.l. Constant bit-rate coding control in a video coder by way of pre-analysis of the slices of the pictures
US6535251B1 (en) 1999-10-26 2003-03-18 Sharplabs Of America, Inc. Video encoder and method for adjusting quantization step in real time
US6847656B1 (en) * 2000-09-25 2005-01-25 General Instrument Corporation Statistical remultiplexing with bandwidth allocation among different transcoding channels
AU2002232501A1 (en) 2000-12-01 2002-06-11 Lizardtech, Inc. Method for image compression with optimization parameters
US6831947B2 (en) 2001-03-23 2004-12-14 Sharp Laboratories Of America, Inc. Adaptive quantization based on bit rate prediction and prediction error energy
US20030007516A1 (en) * 2001-07-06 2003-01-09 Yuri Abramov System and method for the application of a statistical multiplexing algorithm for video encoding
US20040022322A1 (en) * 2002-07-19 2004-02-05 Meetrix Corporation Assigning prioritization during encode of independently compressed objects

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11151060B2 (en) 2011-09-14 2021-10-19 Barco N.V. Electronic tool and methods for meetings for communicating user selected media content
US11216392B2 (en) 2011-09-14 2022-01-04 Barco N.V. Electronic tool and methods for meetings between multiple users
US10795832B2 (en) 2011-09-14 2020-10-06 Barco N.V. Electronic tool for communicating over a communication network
US10904103B2 (en) 2011-09-14 2021-01-26 Barco N.V. Electronic tool and methods for meetings
US10762002B2 (en) 2011-09-14 2020-09-01 Barco N.V. Electronic tool and methods with audio for meetings
US11422951B2 (en) 2011-09-14 2022-08-23 Barco N.V. Electronic tool and methods for meetings between two users
US10050800B2 (en) 2011-09-14 2018-08-14 Barco N.V. Electronic tool and methods for meetings for providing connection to a communications network
US10585814B2 (en) 2011-09-14 2020-03-10 Barco N.V. Electronic tool and methods for meetings for communicating media content from users at a meeting
US11792085B2 (en) 2011-09-14 2023-10-17 Barco N.V. Electronic tool and methods for meetings
US11403237B2 (en) 2011-09-14 2022-08-02 Barco N.V. Electronic tool and methods with audio for meetings
US11258676B2 (en) 2011-09-14 2022-02-22 Barco N.V. Electronic tool and methods for meetings
US10965480B2 (en) 2011-09-14 2021-03-30 Barco N.V. Electronic tool and methods for recording a meeting
WO2013123839A1 (zh) * 2012-02-22 2013-08-29 腾讯科技（深圳）有限公司 一种多人视频通信中的视频编码方法以及终端
CN102547214A (zh) * 2012-02-22 2012-07-04 腾讯科技（深圳）有限公司 一种多人视频通信中的视频编码方法以及终端
CN102547214B (zh) * 2012-02-22 2013-05-29 腾讯科技（深圳）有限公司 一种多人视频通信中的视频编码方法以及终端
US9332267B2 (en) 2012-02-22 2016-05-03 Tencent Technology (Shenzhen) Company Limited Method and terminal for video encoding in multi-party video communication
CN104412542A (zh) * 2012-04-18 2015-03-11 巴科股份有限公司 用于会议的电子工具和方法
US9722986B2 (en) 2012-04-18 2017-08-01 Barco N.V. Electronic tool and methods for meetings

Also Published As

Publication number Publication date
AU2004214803A1 (en) 2004-09-10
EP1602238A1 (en) 2005-12-07
JP2006520141A (ja) 2006-08-31
US20040179591A1 (en) 2004-09-16
WO2004077835A1 (en) 2004-09-10
US7352809B2 (en) 2008-04-01
CA2517003A1 (en) 2004-09-10

Similar Documents

Publication Publication Date Title
CN1788494A (zh) 用于大量视频序列传输的系统和方法
US20040022322A1 (en) Assigning prioritization during encode of independently compressed objects
CN1242623C (zh) 视频编码方法、解码方法以及相关的编码器和解码器
RU2497304C2 (ru) Динамическая модификация свойств видео
US20050060421A1 (en) System and method for providing immersive visualization at low bandwidth rates
CA2470128C (en) Data transmission
US20080259796A1 (en) Method and apparatus for network-adaptive video coding
EP1594287A1 (en) Method, apparatus and medium for providing multimedia service considering terminal capability
US20050002453A1 (en) Network-aware adaptive video compression for variable bit rate transmission
US20090052540A1 (en) Quality based video encoding
WO2011142569A2 (en) Method and apparatus for transmitting and receiving layered coded video
US7035334B2 (en) Device and method for controlling image encoding, encoding system, transmission system and broadcast system
US6879634B1 (en) Method and system for transmitting media streams over a variable bandwidth network
JPH07107096A (ja) Ａｔｍネットワーク用ビデオ信号の二層符号化方法とその装置
US6108027A (en) Progressive still frame mode
KR19980034879A (ko) 영상단위별 비트발생량 조절 장치 및 방법
JP2004536529A (ja) 複数のビデオチャネルから連続的にフレームを受信し、交互に連続的に、各々の該ビデオチャネルに関する情報を含む個々のフレームをテレビ会議における複数の参加者の各々に送信するための方法及び装置
JP2004509582A (ja) ビデオ多重プロセッサシステム内のチャネルに対するプロセッサ割り当て
JP3787633B2 (ja) 実時間コンテンツ編集システム
JP3439361B2 (ja) 画像符号化装置および動画像伝送システム
CN114339445B (zh) 实时视频流自适应协调系统及方法
Zdepski et al. Packet transport of VBR interframe DCT compressed digital video on a CSMA/CD LAN
CN117528084B (zh) 一种视频编码方法、装置、设备及存储介质
KR100286108B1 (ko) 실시간 처리를 위한 비디오 신호에 대한 비트수 추정방법과왜곡추정방법 및 이것들을 이용한 부호화방법과 그 장치
WO2005029834A2 (en) A method for generating high quality, low delay video streaming

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
ASS Succession or assignment of patent right

Owner name: MACDER PLAISANCIAN CO.,LTD.

Free format text: FORMER OWNER: TELESUIT CORP.

Effective date: 20061020

C41 Transfer of patent application or patent right or utility model
TA01 Transfer of patent application right

Effective date of registration: 20061020

Address after: ohio

Applicant after: Mader Pleasance Co.

Address before: Arizona, USA

Applicant before: Telesuit Corp.

AD01 Patent right deemed abandoned
C20 Patent right or utility model deemed to be abandoned or is abandoned