CN1848964A

CN1848964A - 用于图像或视频处理的通用参考解码器

Info

Publication number: CN1848964A
Application number: CNA2006100799306A
Authority: CN
Inventors: P·A·周; J·R·科尔伯拉
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2001-09-19
Filing date: 2002-09-19
Publication date: 2006-10-18
Anticipated expiration: 2022-09-19
Also published as: HK1053034B; EP1298938A3; EP1746844B1; KR100999311B1; ES2570190T3; TW574831B; EP1753248A2; JP2003179665A; US20030053416A1; DE20222026U1; KR100947162B1; CN1426235A; US20060198446A1; JP4199973B2; EP1746844A3; CN1848964B; KR20070097375A; EP1753248B1; US7593466B2; CN100461858C

Abstract

一种方法和系统包括一个改进过的通用参考解码器，该通用参考解码器根据给定位流的任何数量的各组速率与缓冲器参数来进行操作。每组参数表现了漏桶模型的特征，并包含代表传输位速率、缓冲器大小和初始的解码器缓冲器充满度的三种参数。编码器提供至少两组这些参数，由此，解码器选择一种参数或在它们之间内插，以便以任何所需的峰值位速率、缓冲器大小或延迟进行操作。通用参考解码器可以选择对位流解码而不发生缓冲器下溢或溢出的最小的缓冲器大小与对应的延迟，或者，可以按所要求的最小峰值传输速率来进行选择和操作，或介于两者之间。在实际应用中，缓冲器大小、延迟和/或峰值传输速率可以减小很多倍，并且/或者，可以提高信号－噪声比(SNR)。

Description

用于图像或视频处理的通用参考解码器

本申请是申请日为2002年09月19日，申请号为02143213.9，发明名称为“用于图像或视频处理的通用参考解码器”的分案申请。

技术领域

本发明涉及图像和视频信号以及其他随时间变化的信号(例如语音和音频)信号的解码。

背景技术

在视频编码标准中，至少从概念上讲，如果位流可以通过连接到编码器输出的解码器的数学模型进行解码，那么，它是适应的。这种模型解码器在H.263编码标准中被称作“假设参考解码器”(HRD)，而在MPEG编码标准中被称作“视频缓冲检验符”(VBV)。一般而言，真实的解码器设备(或终端)包括一个解码器缓冲器、一个解码器和一个显示单元。如果真实的解码器设备根据解码器的数学模型来构制，并且适应的位流在特殊条件下被传输到该设备，那么，解码器缓冲器将不会溢出或下溢，并且解码将得到正确的执行。

前面的参考(模型)解码器假设：位流将以给定的恒定位速率通过信道传输，并且将由具有某给定的缓冲器大小的设备来进行解码(在给定的缓冲延迟之后)。所以，这些模型非常固定，不能达到当今许多重要的视频应用的要求(例如，实况转播视频，或在具有各种峰值位速率的网络路径上提出需要时就将预先编码过的视频发送到具有各种缓冲器大小的设备。

在以前的参考解码器中，按给定的恒定位速率(通常是用位/秒来表达的流平均速率)接收视频位流，并在缓冲器达到某个所需的充满度水平之前存储在解码器缓冲器中。例如，在解码可以从其中重构一个输出帧之前，至少需要对应于视频信息的一个初始帧的数据。这个所需理想的水平表示作为初始的解码器缓冲器充满度，并且在恒定的位速率时，直接与传输或启动(缓冲器)延迟成正比。一旦达到这个充满度，解码器就立即(本质上)除去该序列的第一个视频帧的各个位，并且为这些位解码，以显示该帧。后面各个帧的位也立即按随后的时间间隔除去、解码和显示。

这种参考解码器按固定的位速率、缓冲器大小和初始延迟进行工作。但是，在许多当代的视频应用(例如，通过互联网或ATM网络的视频流)中，峰值带宽根据网络路径而变化。例如，峰值带宽根据与网络的连接是否通过调制解调器、ISDN、DSL、电缆等而有所不同。而且，峰值带宽也可能根据网络条件(例如，根据网络拥塞、所连接的用户的数量和其他已知的因素)而发生及时的变动。此外，视频位流被传送到具有不同的缓冲器容量的各种设备(包括手机、“个人数字助手”(PDAs)、PCs、可放进口袋的计算设备、电视机顶盒、类似DVD的播放器等设备)，并且为具有不同的延迟要求的情况(例如，低延迟流、渐进下载等类似的情况)而创建。

现存的参考解码器不能对这些变数进行调整。同时，编码器通常事先不知道，也无法知道对于给定的接受者有什么可变的条件。结果，资源和/或延迟时间经常被不必要地浪费，或者在许多情况下并不合适。

发明内容

简而言之，本发明提供了一种改进的通用参考解码器，该通用参考解码器根据给定位流的任何数量的各组速率与缓冲器参数来进行操作。每组参数表现被称作“漏桶模型”(leaky bucket model)或“参数组”的特征，并且包含三个值(R、B、F)——其中，R是传输位速率，B是缓冲器大小，F是初始的解码器缓冲器充满度。不言而喻，F/R是启动或初始缓冲器延迟。

编码器创建由某所需数量N个漏桶所包含的一个视频位流，或者，在已生成该位流之后，编码器可以只计算N组参数。编码器将该数量和对应数量的(R、B、F)组以某种方式(例如，在初始流头部中或频带以外)传送给解码器(至少)一次。

当在解码器处被接收时，如果至少有两组参数，则通用参考解码器选择一组参数或在各个漏桶参数之间内插，由此可以按任何所需的峰值位速率、缓冲器大小或延迟进行操作。尤其是，在所给出的所需峰值传输速率R’(其在解码器末端已知)的情况下，通用参考解码器(根据可用的(R，B，F)组，通过选择一组参数，或在两组参数或多组参数之间内插，或通过外插)选择最小的缓冲器大小和延迟，这种选择将能够对位流解码，而不会遭受缓冲器下溢或溢出的困扰。或者，关于给定的解码器缓冲器大小B’，假设解码器将选择和在最小的所需峰值传输速率进行操作。

通用参考解码器的好处包括：内容供应商可以创建一个位流一次，而服务器可以使用不同峰值传输速率的各种信道来将它传送到容量不同的多种设备。或者，服务器和终端可以商议所给定的联网条件的最佳漏桶参数(例如，将产生最低的启动(缓冲器)延迟的参数，或对设备的给定缓冲器大小要求最低的峰值传输速率的参数)。在实际应用中，一些终端的缓冲器大小和延迟可以减小一个数量级，或者，峰值传输速率可以减小一个大的倍数(例如，4倍)，并且/或者，信号-噪声比(SNR)也许可以提高几个dB，而不会提高平均的位速率(除了传达漏桶信息的可忽略数量的额外的位以外)。

因此，提供了一种计算机实现的方法，包括：产生用于单个视频位流的给定视频的多组参考解码器参数，其中每组所述参考解码器参数包括一个速率参数和一个解码器的缓冲器大小参数，以及提供所述多组参考解码器参数和单个视频位流，以便于使用所述多组参考解码器参数中的任意组参数来确定一个操作条件，其中所述操作条件指示了用于对所述单个视频位流的给定视频的经编码数据进行解码的峰值速率或解码器的缓冲器大小，并且其中，所述多组参考解码器参数可共同用于确定所述操作条件。

另外，本发明提供了一种计算机可实现方法，包括：

产生用于单个视频位流的给定视频的多组参考解码器参数，其中每组所述参考解码器参数包括一个速率参数和一个解码器的缓冲器大小参数，发送所述多组参考解码器参数；以及使用所述多组参考解码器参数，以确定一个操作条件，所述操作条件指示了用于对给定视频的经编码数据进行解码的峰值速率或解码器的缓冲器大小，并且其中，所述多组参考解码器参数可共同用于确定所述操作条件。

通过以下详细的描述并结合附图，将明白其他的好处和优点。在附图中：

附图说明

图1是方框图，表现了可以包含本发明的一种示范的计算机系统；

图2是方框图，表现了增强的编码器和通用参考解码器及其它们各自的缓冲器，用于根据本发明的一个方面来为视频或图像数据进行编码和解码；

图3是当被包含在一个漏桶的参数(R，B，F)中时缓冲器充满度随时间变化的图表；

图4表现了典型视频剪切片断的速率与缓冲器大小的曲线；

图5表现了根据本发明的一个方面的典型视频剪切片断的速率与缓冲器大小的曲线，将两个漏桶模型(参数组)提供给通用参考解码器，用于内插和外插。

具体实施方式

示范的操作环境

图1展示了可以在其中实现本发明的合适的操作环境120的一个例子，特别适用于对图像和/或视频数据进行解码。操作环境120仅是一个合适的操作环境的实例，不是对本发明的使用或功能性的范围方面提出任何限制。其他众所周知的、可能适用于本发明的计算系统、环境和/或配置包括(但不局限于)个人计算机、服务器、计算机、手持设备或便携式设备、多处理器系统、基于微处理器的系统、可编程的消费电子产品、网络PCs、微型计算机、主机计算机、包括以上任何系统或设备的分布式计算环境和类似物。例如，有可能经常在具有超越当代手持个人计算机处理能力的计算机上执行对图像和/或视频图像数据编码，但是，没有理由断定无法在示范设备上执行编码或在功能更加强大的机器上执行解码。

可以在由一台或多台计算机或其他的设备所执行的计算机可执行指令(例如，程序模块)的一般环境中描述本发明。一般而言，程序模块包括实行特定任务或实现特定的抽象数据类型的例行程序、程序、对象、组成部分、数据结构等。通常，程序模块的功能性可以按各个实施例的需要来加以结合或分配。

计算设备120通常至少包括某种形式的计算机可读媒体。计算机可读媒体可以是可由计算设备120进行存取的任何可用的媒体。举例来讲(但不作限制)，计算机可读媒体可以包括计算机存储媒体和通信媒体。计算机存储媒体包括易失性与非易失性媒体，以及可移动与不可移动媒体，这些介质媒体是采用可存储信息(例如，计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术来实现。计算机媒体包括(但不局限于)RAM、ROM、EEPROM、快闪存储器或其他存储器技术、CD-ROM、数字通用光盘(DVD)或其他光学存储器、磁性盒式磁带、磁带、磁盘存储器或其他磁性存储设备，或任何可用来存储所需的信息并可由计算设备120进行存取的任何其他的媒体。通信媒体通常包括计算机可读指令、数据结构、程序模块或经调制的数据信号(例如，载波或其他传送机制)中的其他数据，并且包括任何信息传送媒体。术语“经调制的数据信号”是指以对信号中的信息编码的方式来设置或改变其一个或多个特征。举例来讲(不作限制)，通信媒体包括有线媒体(例如，有线网络或直接接线连接)和无线媒体(例如，声音、RF、红外线和其他无线媒体)。上述媒体的任意结合也应包括在计算机可读媒体的范围中。

图1表现了一个这样的手持计算设备120的功能部件，包括处理器122、存储器124、显示器126和键盘128(可以是物理键盘，也可以是虚拟键盘)。存储器124一般包括易失性存储器(例如，RAM)和非易失性存储器(例如，ROM、PCMCIA卡等)两者。操作系统130驻留在存储器124中，并在处理器122上加以执行(例如，来自Microsoft^公司的“Windows CE”操作系统或另一种操作系统)。

一个或多个应用程序132被载入存储器124并在操作系统130上运行。应用程序的例子包括电子邮件程序、调度程序、PIM(个人信息管理)程序、文字处理程序、电子表格程序、互联网浏览器程序等。手持个人计算机120也可以包括加载在存储器124中的通知管理器134，该通知管理器在处理器122上加以执行。通知管理器134处理例如来自应用程序132的通知请求。

手持个人计算机120具有由一节或多节电池构成的电源136。电源136还可以包括使内置电池无效或再充电的外部电源(例如，AC适配器或接通电源的连接底座)。

如图1中所示的示范手持个人计算机120示出三种类型的外部通知机制：一个或多个发光二极管(LEDs)140和声频发生器144。这些设备可以直接耦合到电源136，以便当它们被激活时，即使关闭手持个人计算机处理器122和其他部件以保存电池功率，它们也可在通知机制所指示的期限内继续运行。较佳的是，LED 140无限地继续保持，直到用户采取行动为止。注意，对于现今的手持个人计算机电池而言，声频发生器144的当代版本使用过多的功率，所以，当系统休眠时，或在激活之后的某段有限的时期，它被配置成关闭。

通用参考解码器

漏桶是作为时间函数的编码器或解码器缓冲器的状态(或充满度)的概念模型。图2表现了这个概念，其中，输入数据200被馈送到增强的编码器202(在下文加以描述)，该编码器把数据编码入编码器缓冲器204。编码数据通过某个传输媒体(输送管)206传输到解码器缓冲器208，然后由解码器210解码成输出数据212(例如，图像或视频帧)。为简单起见，这里将主要描述解码器缓冲器208，因为编码器和解码器缓冲器的充满度从概念上讲是互补的，即，解码器缓冲器中的数据越多，编码器缓冲器中的数据就越少，反之亦然。

漏桶模型的特征是一组共三个参数——R、B和F，其中，R是位进入解码器缓冲器208的峰值位速率(用位/秒表示)。在位速率恒定的情况下，R经常是视频或声频片断的信道位速率和平均位速率，从概念上讲，可以认为它对应于输送管206的宽度。B是平稳视频位速率波动的桶或解码器缓冲器208的大小(用位表示)。这个缓冲器大小不能大于解码设备的物理缓冲器。F是初始的解码器缓冲器充满度(也用位表示)，在解码器开始从缓冲器中除去位之前需要其存在。F至少与代表初始帧的编码数据的数量一样多。如果不考虑处理时间(对于本例的来说，其目的在于可以认为它是瞬时的)，F和R确定初始或启动延迟D，其中，D＝F/R秒。

这样，在漏桶模型中，各个位以速率R进入解码器缓冲器208，直到充满度水平为F(即经D秒)，然后(在本例中为立即)除去第一帧所需要的位b₀。各个位以速率R持续进入缓冲器，解码器以某给定时间间隔除去后续帧的b₁、b₂…b_n-1位，该间隔通常(但不一定)是每1/M秒，其中的M是视频的帧速率。

图3是说明位流的解码器缓冲器充满度与时间的图表，该位流包含在漏桶的参数(R、B、F)中，如上所述，其中第i个帧的位的数量是b_i。在图3中，从缓冲器中除去经编码的视频帧(通常根据视频帧速率)，如缓冲器充满度降低所示。具体说，在时间t_i除去b_i位之前，立刻让B_i成为解码器缓冲器充满度。一般的漏桶模型根据以下的公式来进行操作：

B₀＝F

B_i+1＝min(B，B_i-b_i+R(t_i+1-t_i))， i＝0，1，2，…

通常，t_i+1-t_i＝1/M秒，其中的M是位流的帧速率(用帧/秒表示)。

如果解码器缓冲器208不发生下溢(图2)，则具有参数(R，B，F)的漏桶模型包含一个位流。由于编码器与解码器缓冲器充满度彼此互补，因此，这等同于编码器缓冲器204没有溢出。但是，允许编码器缓冲器204(漏桶)变空，或解码器缓冲器208同样可以变满，这时，就没有位进一步从编码器缓冲器204被传输到解码器缓冲器208。这样，当解码器缓冲器208充满时，它就停止接收位，这就是在以上第二个方程式公式中使用减运算符的原因。如以下关于可变的位速率(VBR)流的描述所述，由于它们是互补的，因此，充满的解码器缓冲器208意味着编码器缓冲器204是空的。

注意，一个给定的视频流可能包含在各种漏桶配置中。例如，如果视频流包含在具有参数(R，B，F)的漏桶中，那么，它也将被包含在具有一个更大的缓冲器(R，B’，F)的漏桶中，其中，B’比B大；或者，它将被包含在具有更高的峰值传输速率(R’，B，F)的漏桶中，其中，R’比R大。此外，对于任何位速率R’，存在一个缓冲器大小将包含(时限)视频位流。在最差的情况下，即当R’接近零时，缓冲器大小将需要和位流本身一样大。换言之，只要缓冲器大小足够大，就可以按任何速率(不管片断的平均位速率如何)来传输视频位流。

图4是关于一个给定的位流的最小缓冲器大小B_min与峰值位速率R_min的比较图表，这采用了以上第二个公式，其中，将所需的初始缓冲器充满度设定在总缓冲器大小的一个恒定部分。图4中的曲线指出：为了以峰值位速率r传输流，解码器需要缓冲至少B_min(r)个位。此外，从图表中可以理解，更高的峰值速率要求较小的缓冲器大小，因此，缩短了启动缓冲器延迟。或者，图表指出：如果解码器缓冲器的大小是b，则传输位流所要求的最小的峰值速率是有关的R_min(b)。而且，任何位流(例如，图4中的位流)的(R_min，B_min)对的曲线呈分段线性和中凸。

根据本发明的一个方面，如果增强的编码器202提供至少两个曲线点，则通用参考编码器210可以选择一个点，或线性地在各个点之间内插，或外插各个点，以达到略(但安全地)大于(R_min，B_min)的一些点(R_interp，B_interp)。一个重要的结果是，在许多情况下，可以安全地减小缓冲器大小约相对于单个漏桶的一个数量级，该漏桶含有按其平均速率的位流，由此，同样减少了延迟。或者，对于相同的延迟，峰值传输速率可以减小(可能)4倍，或信号-噪声比(SNR)可提高(可能)几个dB。

为此，通过安排编码器202生成至少两组漏桶参数214(例如，(R₁，B₁，F₁)、(R₂，B₂，F₂)、…(R_N，B_N，F_N))，来增强编码器202，这些漏桶参数214对应于速率-缓冲器曲线上的至少两个点，它们对于给定的视频或图像片断很有用(例如，相对于R和/或B的范围方面可合理地分开)。然后，例如通过将这些漏桶参数设置内插入初始流头部中或利用某种频带以外的方式，增强的编码器202将它们和其数量N一起提供给通用参考解码器。注意，即使对于相对大的N(例如，几十个桶，而2-4个桶通常将足以合理地代表R-B曲线)而言，当与典型的视频或图像数据进行比较时，也可以忽略提供该信息所必要的额外字节的数量(例如，N的一个字节，加上8个字节/漏桶模型或参数设置)。

此外，注意，在较高的位速率下，内容创建者可以决定在位流中的不同时间规定不同的漏桶模型，这在无论何时连接在传输期间失败并在位流中间重新开始时都很有用。例如，可以在15分钟的间隔提供漏桶模型，这样，通过重新选择、在合适的时间重新内插或重新外插，解码器可以按需要来改变其操作条件(例如，它的缓冲器大小或速率)。

可以由编码器来选择所需的值N(注意，如果N＝1，则通用解码器210将外插类似MPEG视频缓冲检验符的点)。编码器可以选择预先选择各个漏桶值并利用速率控制(确保符合各种漏桶限制)对位流进行编码，先对位流编码，然后使用上述公式来计算各组漏桶参数(包含处于R的N个不同值的位流)，或进行这两种操作。第一种方法可以被应用于实况或即时(on-demand)传输，其他的方法可应用于即时传输。

在执行本发明的过程中，一旦在通用参考解码器210处被接收，如果知道它可用的峰值位速率和/或它的物理缓冲器大小，解码器210就可以确定它希望使用哪个漏桶。或者，通用参考解码器210可以线性地在其间内插或线性地从这些点进行外插，以便为给定的配置找出一组合适的参数。图5表现了两种漏桶参数组及其线性内插(R，B)值。为参考起见，经计算的R-B曲线用细的虚线表示，而漏桶模型(R_X，B_X)和(R_Y，B_Y)中所提供的R和B值则用星号表示。从(R_X，B_X)到(R_Y，B_Y)的实线代表被插入的值。实线上所选的任何R或B配对将适当地保持(例如，不溢出或下溢)解码器缓冲器208。也可以从这些点外插漏桶参数，(由图5中粗的虚线表示)并且，实线上所选的任何R或B配对还将适当地保持解码器缓冲器208。

在点k与k+1之间内插的缓冲器大小B遵从直线：

B = \frac{R - R_{k}}{R_{k + 1} - R_{k}} B_{k} + \frac{R_{k + 1} - R}{R_{k + 1} - R_{k}} B_{k + 1}

其中，R_k＜R＜R_k+1。

同样，可以线性地插入初始的解码器缓冲器充满度F：

F = \frac{R - R_{k}}{R_{k + 1} - R_{k}} F_{k} + \frac{R_{k + 1} - R}{R_{k + 1} - R_{k}} F_{k + 1}

其中，R_k＜R＜R_k+1。

保证所产生的具有参数(R，B，F)的漏桶包含位流，因为(用数学方法可证明)最小的缓冲器大小B_min在R和F中是中凸的，也就是说，对应于任何中凸组合(R，F)＝a(R_k，F_k)+(1-a)(R_k+1，F_k+1)(其中，0＜a＜1)的最小的缓冲器大小B_min小于或等于B＝aB_k+(1-a)B_k+1。

如上所述，当R大于R_N时，漏桶(R，B_N，F_N)也将包含位流，从而当R≥R_N时，B_N和F_N是所推荐的缓冲器大小和初始的解码器缓冲器充满度。如果R小于R₁，则可以使用上限B＝B₁+(R₁-R)T，其中T是用秒表示的流的时间长度。可以外插在N个点的范围以外的这些(R，B)值。

应该注意，解码器不需要选择、内插或外插漏桶参数，但另一个实体可以选择用于将单个的设置发送到解码器的各种参数，然后，它将使用那一个设置。例如，通过提供诸如解码器的要求等信息，服务器可以确定(通过选择、内插或外插)一组合适的漏桶参数，以发送给解码器，然后，解码器可以只使用单个的一组参数来进行解码。服务器或解码器的代理也能够选择、内插或外插漏桶信息，而解码器无须查看一个以上的漏桶。换言之，服务器可以代替解码器作决定，服务器和客户解码器可能会对各个参数进行商议。但是，一般而言，与本发明一致，根据至少两个漏桶模型来事先或动态地确定一个合适的漏桶模型。

可以从最高和最低的充满度值在解码器缓冲器曲线中出现的时间，来计算关于给定位流的R-B曲线的各个值(例如图3中所示的那些值)。具体说，对一个漏桶的参数(R，B，F)漏桶中所包含的位流分别考虑解码器缓冲器充满度的最高值和最低值的两个时间(tM，tm)。可以在几种场合中达到充满度的最高值和最低值，但要考虑tM＜tm时的最大值(tM，tm)。假设适当地计算漏桶，B是包含值R、F的位流的最小的缓冲器大小，那么，

B = Σ_{t = t_{M}}^{t = t_{m}} [b (t) - \frac{R}{M}] = Σ_{t = t_{M}}^{t = t_{m}} b (t) - n \frac{R}{M} = - n \frac{R}{M} + c,

其中，b(t)是在时间t时的帧的位的数量，M是用帧/秒表示的帧速率。在这个公式中，n是时间tM与tm之间的帧的数量，c是那些帧的位的总数。

这个公式可以作为一个点被插入直线B(r)中，其中，r＝R，且-n/M是该线的斜度。有一个位速率范围r∈[R-r1，R+r2]，以便最大的一对值tM和tm将保持相同，从而以上的公式对应于定义与位速率r有关的最小缓冲器大小B的一条直线。如果位速率r在以上的范围以外，则值tM和/或tm中的至少一个值将发生变化，由此，如果r＞R+r2，tM与tm之间的时间间隔将更小，定义B(r)的新直线中的值n也将更小，各条线的斜度将更大(较小负值)。如果r＜R-r1，tM与tm之间的时间间隔将更大，定义B(r)的直线中的值n也将更大。于是，该线的斜度将更小(更大负值)。

位速率范围的各个对(tM，tm)的值(或有关n的值)和c的一些值(对于给定的一对至少有一个值)可以存储在位流的头部中，这样，可以使用以上公式来获得分段线性B(r)曲线。此外，在编码器已经生成位流之后，这个公式可以用来简化漏桶模型参数的计算。

在测试中，产生图5中的位流，形成797Kbps的平均位速率。如一般在图5中所示，在797Kbps的恒定传输速率下，解码器将需要约18,000Kbits(R_X，B_X)的缓冲器大小，初始的解码器缓冲器充满度等于18,000Kbits，启动延迟大约为22.5秒。这样，该编码(不利用速率控制器而产生)变换位直到22.5秒，以便对其整体的编码长度本质上实现最佳的、可能的质量。

图5也表现了在2,500Kbps的峰值传输速率(例如，2x CD的视频位速率部分)下，解码器将只需要2,272Kbits的缓冲器大小(R_y，B_y)，这对于消费级硬件设备而言是合理的。当初始的缓冲器充满度等于2,272Kbits时，启动延迟将只有大约0.9秒。

这样，对于这个编码而言，两个漏桶模型通常可能是有用的，例如，(R＝797Kbps，B＝18,000Kbits，F＝18,000Kbits)和(R＝2,500Kbps，B＝2,727Kbits，F＝2,272Kbits)。这第一个漏桶参数组将允许视频在一个恒定的位速率信道上传输，延迟大约为22.5秒。而这个延迟对于许多情况而言可能太大，但它对于例如互联网的电影流而言也许可以接受。第二组漏桶参数将允许视频在具有峰值速率为2,500Kbps的共享网络上传输，或者将允许从2x CD进行本地重放(延迟约为0.9秒)。这种1秒之下的延迟对于通过类似VCR(盒式磁带录象机)的功能性的随机存取重放而言是可接受的。

当考虑到在位流中只规定第一个漏桶而不是第二个漏桶时会发生什么情况，就会明白各种好处。在这种情况下，即使当在具有峰值位速率2,500Kbps的信道上进行重放时，解码器也将使用大小为18,000Kbits的缓冲器，这样，延迟将为F/R＝18,000Kbits/2,500Kbps＝7.2秒。可以理解，对于随机存取重放(例如，具有类似VCR的功能性)而言，这种延迟是不可接受的。但是，如上所述，如果附加地规定第二个漏桶，那么，在速率为2,500Kbps时，缓冲器大小下降到2,272Kbits，延迟下降到0.9秒。

另一方面，如果只规定第二个漏桶(而不是第一个漏桶)，那么，在恒定的传输速率797Kbps下，即使是智能解码器也会被迫使使用远远大于必要大小的缓冲器，以确保缓冲器不会溢出，即，B’＝B+(R-R’)T＝2,272Kbits+(2,500Kbps-797Kbps)×130秒＝223,662Kbits。即使在给定设备中可获得如此多的存储器，但这对应于282秒的初始延迟或接近5分钟，这是无法接受的。但是，如上所述，如果也规定了第一个漏桶，那么，在797Kbps的速率下，缓冲器大小下降到18,000Kbits，延迟下降到22.5秒。

而且，当规定两个漏桶时，对797Kbps到2,500Kbps之间的任何位速率，解码器可以在两个漏桶之间进行线性插入(使用以上的插入公式)，从而在任何给定的速率都实现近似最小的缓冲器大小和延迟。与在797Kbps到2,500Kbps之间只具有单个的漏桶的外插相比，外插(在图5中由粗虚线表示)在797Kbps以下和2,500Kbps以上也更加有效率。

如上述例子所示，甚至仅有两组漏桶参数就可以提供缓冲器大小方面数量级的减小(例如，在一种情况下，从223,662到18,000Kbits；在另一种情况下，从18,000到2,272Kbits)，并在给定的峰值传输速率时，可以提供使延迟有数量级的减少(例如，在一种情况下，从281到22.5秒；在另一种情况下，从7.2到0.9秒)。

或者，也可以对给定的解码器缓冲器大小减小峰值传输速率。实际上，从图5中显而易见，如果可以通过内插和/或外插多个漏桶来获得R-B曲线，那么，具有固定的物理缓冲器大小的解码器就可能选择能安全地为位流解码所需要的最小峰值传输速率，而不会发生解码器缓冲器下溢。例如，如果解码器有一个大小为18,000Kbits的固定的缓冲器，则用于编码的峰值传输速率可以是低至797Kbps。但是，如果只规定第二个漏桶(而不是第一个漏桶)，那么，解码器可以将位速率减小到不小于R’＝R-(B’-B)/T＝2,500Kbps-(18,000Kbits-2,272Kbits)/130秒＝2,379Kbps。在这种情况下，对于相同的解码器缓冲器大小而言，与使用单个的漏桶相比，只使用两个漏桶可将峰值传输速率减小4倍。

在相同的平均编码速率下，具有多个漏桶参数也可以改善重建的视频的质量。考虑编码过程可用两个漏桶的情况。如上所述，利用解码器处的该信息，就可以重放编码过程，如果峰值传输速率是797Kbps，则延迟是22.5秒；如果峰值传输速率是2,500Kbps，则延迟是0.9秒。

但是，如果不具备第二个漏桶，则在2,500Kbps的条件下，延迟从0.9秒增加到7.2秒。在没有第二个漏桶的条件下将延迟减回到0.9秒的一种方法是：通过将(第一个漏桶的)缓冲器大小从18,000Kbits减少到(0.9秒)×(2,500Kbps)＝2,250Kbits，来利用速率控制对片断重新编码。这将确保：如果峰值传输速率是2,500Kbps，则延迟只有0.9秒，但797Kbps处的延迟也将从22.5秒减少到2.8秒。但是，结果是，质量(SNR)也将下降一定量——估计是几个dB，尤其是对具有大的动态范围的片断而言。

这样，规定第二个漏桶可以将SNR增加(可能)几个dB，除了规定第二个漏桶的可忽略数量的额外的位/片断以外，平均位速率不会发生变化。在每个峰值传输速率的重放上可察觉这个SNR的增加。

当单个的编码在具有不同峰值速率的信道上加以传输或传输到具有不同的物理缓冲器大小的设备时，为广义通用参考解码器规定多个漏桶的好处便实现了。但是，在实际应用中，这正在变得越来越普通。例如，被进行离线编码并被存储在磁盘上的内容经常被进行本地重放，也经常在具有不同峰值速率的网络上传输。即使对于本地重放来说，不同的驱动器速度(例如，1xCD~8xDVD)也会影响峰值传送速率。而且，通过网络连接的峰值传输速率也根据限制链路的速度而动态地发生变化，限制链路通常在最终用户附近(例如，100或10baseT以太网、T1、DSL、ISDN、调制解调器等)。重放设备的缓冲器容量也有显著的变化——从具有干兆字节的缓冲器空间的桌上型计算机，到具有小几个数量级的缓冲器空间的小型消费电子设备。利用本发明的多个漏桶和所提议的通用参考解码器，相同的位流可以在各种信道上以最少启动延迟，最小解码器缓冲器要求，最大可能的质量进行传输。这不仅可应用于离线编码的视频，而且可应用于通过不同的信道同时向不同的设备广播的实况视频。简而言之，所提议的广义通用参考解码器为现存的位流增添了显著的灵活性。

从前面详细的描述中可见，与原先标准中的解码器相比，提供了一种改进的通用参考解码器。该广义通用参考解码器仅从编码器要求少量的信息(例如，在位流的头部)，以便为位流通过现今网络(其中，带宽是可变带宽)和/或终端(具有各种位速率和缓冲容量)的传输提供了更高的灵活性。本发明的参考解码器实现了这些新的方案，而为使对可用的带宽的传输延迟减少到最小值，此外，实际上将传送到设备(具有给定的物理缓冲器大小限制)的信道位速率要求减到最少。

本发明容许各种修改和替代构造，其某些所展示的实施例在附图中被示出并已经在上文详细地描述过。但是，应该理解，这不是意在将本发明局限于所揭示的各种具体的形式，而相反，本发明包括其精神和范围内的所有修改、替代构造和同等物。

Claims

1.一种计算机实现的方法，其特征在于，包括：

产生用于单个视频位流的给定视频的多组参考解码器参数，其中每组所述参考解码器参数包括一个速率参数和一个解码器的缓冲器大小参数，以及

提供所述多组参考解码器参数和单个视频位流，以便于使用所述多组参考解码器参数中的任意组参数来确定一个操作条件，其中所述操作条件指示了用于对所述单个视频位流的给定视频的经编码数据进行解码的峰值速率或解码器的缓冲器大小，并且其中，所述多组参考解码器参数可共同用于确定所述操作条件。

2.如权利要求1所述的方法，其特征在于，进一步包括提供一个数量参数以指示所提供的多组参考解码器参数的数量。

3.如权利要求1所述的方法，其特征在于，进一步包括：

产生多组附加的参考解码器参数；以及

提供所述多组附加的参考解码器参数和单个视频位流，以便于使用所述多组附加的参考解码器参数中的任意组参数来重新确定一个操作条件。

4.如权利要求1所述的方法，其特征在于，所述多组参考解码器参数配置在给定视频的流头部。

5.如权利要求1所述的方法，其特征在于，所述多组参考解码器参数配置在给定视频的频带外。

6.一种计算机可实现方法，包括：

产生用于单个视频位流的给定视频的多组参考解码器参数，其中每组所述参考解码器参数包括一个速率参数和一个解码器的缓冲器大小参数，

发送所述多组参考解码器参数；以及

使用所述多组参考解码器参数，以确定一个操作条件，所述操作条件指示了用于对给定视频的经编码数据进行解码的峰值速率或解码器的缓冲器大小，并且其中，所述多组参考解码器参数可共同用于确定所述操作条件。

7.如权利要求6所述的方法，其特征在于，进一步包括发送一个数量参数以指示所发送的多组参考解码器参数的数量。

8.如权利要求6所述的方法，其特征在于，进一步包括：

产生多组附加的参考解码器参数；

发送所述多组附加的参考解码器参数；以及

使用所述多组附加的参考解码器参数中的任意组参数来重新确定一个操作条件。

9.如权利要求6所述的方法，其特征在于，所述多组参考解码器参数在所述单个视频位流的给定视频的流头部发送。

10.如权利要求6所述的方法，其特征在于，所述多组参考解码器参数在给定视频的频带外发送。

11.如权利要求1-10中任一权利要求所述的方法，其特征在于，由一编码器在对所述给定视频编码后执行所述产生步骤。

12.如权利要求11所述的方法，其特征在于，所述编码是离线编码。

13.如权利要求1-10中任一权利要求所述的方法，其特征在于，由一编码器在对所述给定视频编码之前执行所述产生步骤。

14.如权利要求13所述的方法，其特征在于，所述编码在对给定视频的实况视频传输期间进行。

15.如权利要求13所述的方法，其特征在于，所述编码是离线编码。

16.如权利要求1-10中任一权利要求所述的方法，其特征在于，所述峰值速率对应于在解码期间所使用的盘驱动器的驱动速度。

17.如权利要求1-10任一权利要求所述的方法，其特征在于，所述峰值速率对应于在解码期间的网络连接的传输速率。

18.如权利要求1-10任一权利要求所述的方法，其特征在于，所述多组参考解码器参数中至少一组的速率参数和解码器缓冲器的大小参数被规定为支持给定视频的互联网流技术。

19.如权利要求1-10任一权利要求所述的方法，其特征在于，所述多组参考解码器参数中至少一组的速率参数和解码器缓冲器的大小参数被规定为支持给定视频的随机存取重放功能。

20.如权利要求1-10任一权利要求所述的方法，其特征在于，所述确定步骤包括从所述多组参考解码器参数中选择一参数。

21.如权利要求1-10任一权利要求所述的方法，其特征在于，所述确定步骤包括在所述多组参考解码器参数的两组中的参数之间进行内插。

22.如权利要求1-10任一权利要求所述的方法，其特征在于，所述确定步骤包括在所述多组参考解码器参数的一组中的参数之间进行外插。

23.如权利要求1-10任一权利要求所述的方法，其特征在于，所述峰值速率是最小峰值速率，且所述确定步骤包括根据所述多组参考解码器参数中的一个或更多的解码器缓冲器大小参数来设定所述最小峰值速率。

24.如权利要求1-10任一权利要求所述的方法，其特征在于，所述确定步骤包括根据所述多组参考解码器参数中的一个或更多的速率参数设定所述解码器缓冲器的大小。

25.如权利要求1-10任一权利要求所述的方法，其特征在于，每个所述多组参考解码器参数进一步包括初始缓冲器的充满度参数。

26.如权利要求1-10任一权利要求所述的方法，其特征在于，每个所述多组参考解码器参数表示不同的给定视频的漏桶模型。

27.如权利要求1-10任一权利要求所述的方法，其特征在于，每个所述多组参考解码器参数表示沿给定视频的速率-解码器缓冲器大小曲线的不同的点。

28.如权利要求1-10任一权利要求所述的方法，其特征在于，所述给定视频是完整的视频序列。

29.如权利要求1-10任一权利要求所述的方法，其特征在于，所述给定视频是视频序列的一部分。

30.如权利要求1-10任一权利要求所述的方法，其特征在于，每个所述多组参考解码器参数的解码器的缓冲器大小参数是不同的。

31.如权利要求1-10任一权利要求所述的方法，其特征在于，每个所述多组参考解码器参数的速率参数是不同的。

32.一种存储计算机可执行指令的计算机可读媒体，所述指令使得经编程的计算机系统执行如权利要求1-10任一权利要求所述的方法。

33.一种计算机系统，适用于执行如权利要求1-10任一权利要求所述的方法。