CN1321398A

CN1321398A - 用于可定标视频编码的系统与方法

Info

Publication number: CN1321398A
Application number: CN00801812A
Authority: CN
Inventors: Y·陈; H·拉德哈; M·范德沙尔
Original assignee: Koninklijke Philips Electronics NV
Current assignee: Funai Electric Co Ltd
Priority date: 1999-07-06
Filing date: 2000-07-04
Publication date: 2001-11-07
Anticipated expiration: 2020-07-04
Also published as: US6263022B1; KR20010074974A; JP2003503975A; EP1110404A1; ES2273708T3; CN100466732C; WO2001003442A1; DE60031230T2; EP1110404B1; KR100676644B1; DE60031230D1

Abstract

公开一个使用在视频编码器中的自适应量化控制器,其包括:一个基层电路,用于接收一个视频帧的输入数据流,并且产生压缩的基层视频帧,适于发送到一个数据流视频信号接收机;和一个增强层电路,用于接收视频帧的输入数据流和该压缩的基层视频帧的解码型式,并且产生增强层视频数据,与对应的压缩的基层视频帧相关并且分配到该压缩的基层视频帧。该自适应量化控制器从该基层电路接收至少一个量化参数,并且根据该参数确定一个对应移位因子,用于移位与该增强层视频数据相关的一个比特平面。该自适应量化控制器还修改在该增强层视频数据中的一个数据区,以便使得该视频数据流接收机把一个更高的解码优先级指定到该移位的比特平面。

Description

用于可定标视频编码的系统与方法

相关申请的交叉参考

本发明涉及标题是″应用基层编码信息改进精确颗粒标定视频的系统和方法″的美国专利申请(卷号是No.700736)中所公开的发明，它是同时与此一起提交、并且共同指定到本发明的受让人。该相关专利申请的公开被结合在此，如在此详细阐述那样所有目的在于提供参考。

发明技术领域

总的来说，本发明涉及视频编码系统，更具体地说涉及用于编码数据流视频数据的一个系统。

发明背景

近年来，在包括互联网络的数据网络上的多媒体内容实时数据流已经日益成为一个通常应用。在其中，大范围的交互性和非交互性的多媒体应用，例如新闻点播、现场网络电视可见视频会议，依靠端对端数据流视频技术。不同于可首先以″非实″时检索而稍后以″实″时观看或播放的″下载″图像文件，数据流视频应用要求一个视频发射机，编码一个视频信号并且经一个数据网络发送到一个视频信号接收机，而该视频信号接收机必须以实时方式解码和显示该视频信号。

可定标视频编码是对于许多使用在采用具有大范围处理能力的解码器的系统中的多媒体应用和业务的一个所希望的特征。可定标性允许具有低计算能力的处理器只解码该可定标视频数据流的一个子集。可定标视频的另一应用是在具有可变传输带宽的环境中。在那些环境中，具有低接入带宽的接收机接收并接着解码该可定标视频数据流的一个子集，其中该子集的量正比于该可用带宽。

主要的视频压缩标准，比如MPEG-2和MPEG-4已经采用了若干视频可定标性方案。在这些标准中已经定义了时间的、空间的和质量的(例如信号噪声比(SNR))的可定标性类型。所有的的这些方案都包括一个基层(BL)和一个增强层(EL)。总的来说，该可定标视频数据流的BL部分表示为了解码该数据流所需要的数据的最小量。该数据流的EL部分表示附加信息，因此当由接收机解码时增强该视频信号的显示效果。

对于图像可定标性的每一类型，标识一个确定的可定标性的构造。该可定标性结构定义了在BL图像和EL图像当中的关系。可定标性的一个等级是精确颗粒可定标性(FGS)。借此可定标性类型编码的图像能够被逐级解码。换言之，不需要接收用于编码那个图像的全部的数据，该解码器就能开始解码并且显示该图像。随着更多的数据的接收，该解码图像的质量逐渐增强，直到全部信息被接收、解码和显示。

新建议的MPEG-4标准是针对以低比特率编码为基础的新视频数据流应用，例如电视电话、移位多媒体和视听通信、多媒体电子邮件、遥感、交互性的游戏等等。在该MPEG-4标准之内，精确颗粒可定标性已经被认为是用于网络图像分配的基本技术。FGS主要瞄准的是其中的视频经不同类网络实时数据流的应用。通过对于一个比特率的范围对内容一次编码而提供带宽自适应性，并且允许该视频传输服务器动态地改变传输速率，而无须该视频比特数据流的深入了解或分析。

数字信号的比特面压缩是对于许多多媒体应用的流行编码方法。具体地说，音像信号的比特面编码使能这些信号顺序和可定标地发送。通常，音频或视频信号经历某些类型的变换，比如离散余弦变换(DCT)或离散的子波变换(DWT)，在比特面编码之前，把空间像素数据变换至频域变换系数。随后，扫描和编码每一比特面，以该信号的最高有效比特(MSB)显示开始而以最低有效比特(LSB)显示结束。因此，如果由n比特表示该变换系数，则有n个对应的比特面被编码和发送。

根据保真度判据(例如最大容许失真)或比特速率预算约束，该信号的编码可以停止在任何特定比特面，甚至在任何特定比特面之内。这个方法提供了比特面压缩的顺序特征，尤其当以实时方式进行编码时(即与信号被发送的同时进行编码)。对于脱机的即在传输之前的编码信号，比特面编码产生一个嵌入和可定标的比特数据流。比如，这使该发送方根据例如可用带宽的网络状态而停止在任何比特面上(或在任何比特面之内)的数据流发送。

因此，比特面压缩一般提供一个很精确的该信号的颗粒可定标性(FGS)编码。根据用于编码该比特面的具体方法，此粒度能够精确为单个比特，或粗略为整个比特面。因此，如果使用n个平面以及总数为b比特比特面编码一个信号，则最后的压缩数据流能够包括在该嵌入到该数据流中的原始信号的顺序显示的n与b之间的任意位置。

对于MPEG-4建议的FGS结构的一个实现使用当前的MPEG-4视频编码标准作为基层(BL)编码方案，并且按照在原始的画面的DCT系数和基层重建DCT系数之间的差编码该增强层(EL)。增强编码逐个比特平面地扫描通过该差(或余数)DCT系数，并且按照基层DCT系数的精度编码一系列的1和0。

此实施方案的局限性是，增强层编码器逐个数据块地从MSB到LSB扫描每一单独的余数DCT比特平面。因此，编码器对于该残留信号的哪个部分或哪些数据块应该被更增强或在该编码过程给予更高优先级没有控制。换言之，该增强层编码器不控制贯穿该增强图像的压缩人工失真的分配。此主要缺点事实上没有为优化该增强层编码器留有余地，在设计视频编码算法中非常希望有这种余地。

当前FGS实施的另一问题是它的可定标性受到该余数DCT系数的比特平面的数量限制。为了复盖整个图像，必须编码一个完全的比特平面，没有在视觉上不太重要的信息的空间跳越。通过编码领先于其他的一个比特平面的若干部分，横跨整个图像需要很少的比特，因此更好可定标性能够产生更多的增强层。

在通常的运动补偿DCT为基础的视频编码算法中，通常通过图像分块的自适应量化实现画面的区域选择编码。用于每一数据块的量化步长能够根据编码判定改变，并且该步长被发送在产生的比特数据流中。一个特殊的情况，即自适应量化的扩展，称之为感性趣区域(ROI)编码存在，其中该图像可以被分段(或分类)成对潜在观众具有不同感兴趣等级的子区域。该子区域则以不同质量等级相应地被编码。

过去已经建议了自适应量化和ROI，并且目前使用在各种编码标准和算法中。例如，所有的MPEG(-1,-2，和-4)视频编码标准都允许各种程度的自适应量化。也存在通过比特平面移位实现视频或静止图象的ROI编码。但是，在FGS的范围内，当前被编码的增强层不具有图像中的质量重要性的分层结构。

因此，本专业中需要应用在数据串流图像系统中的改进的编码器和编码技术。具体地说，需要一种编码器和编码技术，要考虑到当编码该图像时的图像的视觉特性。更具体地说，需要一种编码器和编码技术，有选择地增强在编码处理中已经给出一个较高优先级的该残留信号的一些部分或数据块。

本发明概要

为克服上述已有技术的不足，本发明的一个主要目的是提供一种使用在一个视频编码器中的一种自适应量化控制器，其包括：1)一个基层电路，能够接收视频帧的一个输入数据流并且从其中产生适于以一个基层比特速率传输到一个数据流视频信号接收机的压缩基层视频帧，和2)一个增强层电路，能够接收该视频帧的输入数据流和该压缩基层视频帧的解码型式，并且从其中产生与对应的压缩基层视频帧相关、并且分配到该压缩基层视频帧的增强层视频数据。该自适应量化控制器能够从该基层电路接收至少一个量化参数，并且根据该量化参数，确定用于移位与该增强层视频数据相关的至少一个比特平面的对应移位因子，并且修改在该增强层视频数据中的一个数据区，以便使得该视频数据流接收机把一个更高的解码优先级指定到该移位的至少一个比特平面。

根据本发明的一个实施例，该至少一个比特平面包括该增强层视频数据的一个NxM数据块。

根据本发明的另一实施例，该自适应量化控制器修改该数据区，以便包括移位因子和一个模式指示符，指示对应于该增强层视频数据的NxM数据块的移位因子。

根据本发明的另一实施例，该移位因子是在范围从0到2的比特平面中。

根据本发明的另一个实施例，该至少一个比特平面包括该增强层视频数据的多个相关的NxM数据块。

根据本发明的另一实施例，该自适应量化控制器修改该数据区，以便包括移位因子和一个模式指示符，指示对应于该增强层视频数据的多个NxM数据块的移位因子。

根据本发明的一个更进一步的实施例，该移位因子是在范围从0到7的比特平面中。

根据本发明的进一步实施例，该自适应量化控制器修改该数据区，以便包括一个模式指示符，表明没有与该增强层视频数据相关的比特平面被移位。

上文已经相当概括地概述了本发明的特征和技术上的优点，使得本领域技术人员可以更好地理解本发明随后的详细描述。下文将被描述的本发明的附加特征和优点，它们形成本发明权利要求的主题。本领域技术人员应该理解，他们会容易地使用公开的构思和具体的实施例作为基础，修改或设计用于执行本发明相同目标的其它结构。在不背离本发明的精神和概括形式的本发明的范围的条件下，本领域技术人员也应意识到这样的等价结构。

在进行详细的描述之前，定义使用在整个专利文件中的某些措词和词组是有益的：术语″包含″和″包括″以及其派生词，是指无局限性的包含；″或″意味″和/或″的意思；词组″与…相关″和″与其相关″以及其派生词组可以意味着：包含在…之中、与…内连、含有、含于…之内、连接到或与…连接、耦合到或与…耦合、可与…交流、与…配合、交错、并置、接近于、限制到或由…限制、有、具有一个…的性质，等等；术语″控制器″是指任何装置、系统或其部分，其控制至少一个操作，这样的装置能用硬件、固件或软件实现，或某些它们的至少两个的组合实现。应该注意，不论是本地或远距，与任何特定控制器相关的功能都可以是集中或分布的方式。用于某些单词和词组的定义被在整个专利文件中提供，本领域普通技术人员将理解，在即使不是大多数，也是许多情况下，这样的定义适用于这种定义的单词和词组的以前以及未来的使用。

附图的简要描述

为了更完全地理解本发明以及其优点，下面结合附图进行描述，其中相同的编号表示相同的目标，其中：

图1示出根据本发明一个实施例的数据流视频的端对端传输，从一个数据流视频发送机通过一个数据网络到一个数据流视频信号接收机；

图2示出根据本发明的一个实施例的示例性视频编码器114；和

图3是一个流程图，说明根据本发明的一个实施例的示例性自适应量化控制器的操作。

详细的描述

下面讨论的图1至4以及用于描述此专利文件中的本发明的原理的各种实施例仅是作为说明，而决不被看作为对于本发明范围的限制。本领域技术人员将理解，本发明的原理能以任何适当配置的视频编码器中实现。

图1示出根据本发明一个实施例的数据流视频的端对端传输，从一个数据流视频发送器110通过一个数据网络120到一个数据流视频信号接收机130。根据该应用，数据流视频发送器110可以是多种视频帧信号源的任何之一，包括数据网络服务器、电视台、电缆网络、台式个人计算机(PC)等等。

数据流视频发送器110包括视频帧信源112、视频编码器114和编码器缓存器116。视频帧信源112可以是能够产生一个未压缩视频帧序列的任何装置，包括一个电视天线以及接收机单元、一个录象重放装置、一个摄像机、一个能够存储″原生″视频文件集的磁盘存储器等等。该未压缩的视频帧以一个给定图像速率(或″数据串流速率″)输入视频编码器114，并且根据任何已知的压缩算法或装置，例如一个MPEG-4编码器，而被压缩。视频编码器114则将该压缩的视频帧发送到用于缓存的编码器缓存器116，以准备用于通过数据网络120传输。数据网络120能以是任何适当的IP网络，并且可以包含两种公用数据网的一些部分，例如互联网络，以及专用数据网，例如企业拥有的局域网(LAN)或广域网(WAN)。

数据串流视频信号接收机130包括解码器缓存器132、视频解码器134和视频显示器136。解码器缓存器132接收并存储来自数据网络120的数据流的压缩视频帧。解码器缓存器132则按照要求把压缩的视频帧发送到视频解码器134。视频解码器134以和视频编码器114压缩该视频帧的相同的速率(理想速率)解压缩该视频帧。视频解码器134把该解压缩帧发送到视频显示器136，用于在视频显示器134的屏幕上重放。

图2示出根据本发明的一个实施例的示例性视频编码器114。视频编码器114包括基层(BL)编码器210以及增强层(EL)编码器220。BL编码器210从视频帧信源112接收来自原始的视频信号的图像帧，并且通过一系列公知的运动估计、量化和频域变换(例如离散余弦变换(DCT))处理，压缩该图像帧，以便产生发送到编码器缓存器116的一个基层比特数据流。该基层比特数据流被频繁调整大小，以便匹配通过数据网络120的确保的最小传输速率。换言之，如果数据流视频发送器110保证比如一个128kbps业务连接通过数据网络120，，则在该BL编码器210的输出的基层比特数据流以128kbps发送。在BL编码器210中的原始视频帧的压缩是一个″有损″处理：由视频解码器134只使用基层比特数据流解压缩和重建的帧是比该原始图像帧质量更差的帧。

如果数据网络120提供大于该最小传输带宽，则解压和重建帧的质量能以应用由EL编码器220产生的增强层比特数据流而被改进。EL编码器220包括剩余计算器230、自适应量化控制器240和比特平面控制器250。自适应量化控制器240还包括宏数据块/数据块/阿尔法图像(MBA)比特面移位控制器260和频率比特面移位控制器270。EL编码器220中的剩余计算器230从视频帧信源112接收来自原始视频信号的图像帧，并且从BL编码器210接收从在基层比特数据流中发送的压缩视频帧获得的解压缩帧。使用这些输入，余数计算器230产生一个残留信号，表示在基层帧丢失的图像信息，作为该变换和量化处理的结果。余数计算器230的输出通常称作剩余、残留信号或残留误差数据。

根据本发明的原理，自适应量化控制器240接收来自BL编码器210的残余信号和一个或多个量化参数，并且MBA比特面移位控制器260执行在残余信号中的数据块或称为″宏数据块″的数据块组上的比特面移位，如下面更详细的描述。如果其在视频编码器114中可用，MBA比特面移位控制器260还可以执行在称作阿尔法图像280的任意地形状数据块上的比特面移位。作为选择，频率比特面移位控制器270可以执行频域系数(例如DCT系数)的比特面移位。最终，中该残余信号中的比特面移位的数据被在比特面编码器250中编码，以便产生该增强层比特数据流的数据。

本发明采用在增强层编码期间能够执行有质量选择地进行编码的系统和方法，并且通过该系统和方法不仅空间地而且以降低可视重要性的次序地构成该增强比特。本发明使用两个不同的技术实现前述事项。第一个技术是把比特平面的移位因子引入到每一宏数据块(一数据块组)或大小可变的数据块(例如4×4或8×8数据块)。该移位因子起到类似在基层中使用的量化步长的作用。其根据移位因子的符号向上或向下地移位该比特面。

共同未决、序列号是(卷号No.700736)、标题是“应用基层编码信息改进精确颗粒标定图像的系统和方法”的美国专利申请公开了用于监视器一个或多个基层参数(或量化参数)的系统和方法，可用于标识比其它数据块或宏数据块有更重要的可视性的数据块或宏数据块，例如通过标识具有高级别的帧间动作、高量化误差等的数据块或宏数据块。如果一个宏数据块或数据块由基层量化参数或某些其它判据标识为是在视觉上更重要，则该标识的宏数据块或数据块的比特平面能通过自适应量化控制器240被上移。该上移的宏数据块或数据块的比特平面能以比其它数据单元的同样的比特平面更高的优先级被编码。这种移位的宏数据块/数据块实现量化的局部控制，因此改进在视觉上的质量。术语″移位单元″在下文用于表示由一个移位因子控制的数据集。

因为以移位单元等级发送移位因子将招致比特数据流中的额外开销，所以自适应量化控制器240提供一个有效的机制，用于最小化所需要的额外开销量。自适应量化控制器240以若干方法实现这种效率，包含：

1．在本发明的一个精确颗粒可定标性(FGS)实施例中，在每一数据块的开始有一个指示整个数据块的当前比特平面是否为零的标志。如果此标志是0，则自适应量化控制器240不发送该移位因子，因为0的标志对该数据块的重建没贡献。

2．在本发明的一个实施例中，量化控制器240限制移位因子的范围(例如在0和3之间)。如果固定长度码被用于发送此移位因子，则每一移位单元仅需要2比特。可变长度编码(VLC)还可以被设计得进一步减小额外开销的总量。

3．在本发明的一个实施例中，自适应量化控制器240编码该移位因子的差分信号，而不是编码该移位因子本身。如果位移因子不因单元到单元的大数值改变，则将节省额外开销。

4．如果移位因子被确定只作为基层视频和其它非增强数据相关信息的一个函数，则该解码器能够重复该确定过程并且得到使用在该编码器一侧的移位因子。在这种情况中，根本不必发送该移位因子。

5．对于具有任意形状区域的一个视频目标，每一视频帧具有一个对应″阿尔法图像″，该阿尔法图像定义了在该特定视频帧之内的目标的形状。在本发明的一个实施例中，自适应量化控制器240使用该定义目标形状的阿尔法图像，作为比特平面移位的位置和量的一个指南。有两类型的阿尔法图像：二进制和灰度等级。对于二进制阿尔法图像，每一″阿尔法像素″能取1或0值。通常，1指示在图像目标中的对应像素。因此，如果自适应量化控制器240可以使用一个视频目标的该阿尔法图像，则自适应量化控制器240仅能执行在该视频目标之内的像素的移位。如果该解码器也可以使用该阿尔法图像(即由某装置传输到该解码器的形状信息)，则自适应量化控制器240将不需要发送为了标识正被比特面移位的像素而所需的额外开销信息。

对于灰度等级阿尔法图像，每一阿尔法像素可以具有一个可能值的范围(例如0-255)。在此情况中，自适应量化控制器240可以使用每一像素的阿尔法值作为一个指南，确定该自适应量化控制器240应该加到该具体像素的比特平面移位量。比如，编码器114可以针对具有较高阿尔法值的像素执行较大数的比特平面移位。但是，根据该阿尔法值的含义以及编码器114是否被强调所考虑的视频目标、背景或在同一场景中的其它视频目标，也可以执行相反的操作(即阿尔法值越高，比特面移位越小)。类似于该二进制阿尔法图像的情况，如果自适应量化控制器240可以使用该灰度等级阿尔法图像，则自适应量化控制器240就不需要发送涉及进行比特平面移位量的信息传送所需要的附加额外开销。

为实现有选择质量增强的第二种技术是把比特平面移位引进该系数域。在一个8x8数据块中有64个DCT系数，并且每一DCT系数对于编码图象的最终视觉质量能够有不同贡献。引入针对全部的64个DCT系数的移位因子的矩阵能使自适应量化控制器240贯穿整个图像有选择地、各不相同地编码不同的DCT系数。一个示例性移位矩阵在下面示出。

12334444

22334444

33334444

44444444

空间和频域移位因子的组合给自适应量化控制器240在编码处理中的大量的灵活性，以及为编码器优化以在相同速率约束下实现更好的视觉质量留下很大余地。

本发明把用于自适应量化的体系建议为增强该FGS方案的质量的机制。自适应量化已经被用于MPEG-4基层。将此机制应用在增强层同样重要，因为FGS瞄准的是低比特速率的范围，能尤其受益于一个差分比特分配，以便增强具体的目标或降低由FGS帧内编码引入的闪烁效果。

自适应量化控制器240能以三个不同的模式执行在增强层中的自适应量化：

1．无自适应量化。

2．采用邻接宏数据块的自适应量化参数之间的差分码和范围从0到7的移位因子以该宏数据块等级自适应量化。，

3．采用在从0到2的范围内的量化参数(移位因子)，以数据块等级自适应量化。

通过把2比特标志添加到该VOP标题，自适应量化控制器240在三个模式中以视频目标平面(VOP)等级切换。提供这三个不同选项是很重要的，因为每一模式都供给了在额外开销量和该FGS编码器的灵活性之间的不同折衷。在该公开的其余部分中，增强层数据的自适应量化将简单称作″自适应量化″。当该基层的自适应量化被描述时，其将被清楚地说明。

用于精确颗粒可定标性的自适应量化

A．简单比特平面移位

针对相对于一个具体(编码器定义的)统计的或心理视觉的计量的自适应量化，每一单元(数据块或宏数据块)的系数能够被不同地量化。能够通过向上移位该余数的各种比特平面而很有效地实现该FGS剩余的自适应量化。此向上的比特平面移位便于按因数2进行的相对量化。比如一个1的移位因数表示余数系数乘2的乘积，并且因此降低该有效量化步长的一半。类似地，2的一个移位因子移位意味着乘4的乘积，等等。通过向上移位各种系数，该系数变得比其它少上移或无移位系数显著优先。因此，在相同的比特率下，与平面编码或无自适应量化的编码比较，上移系数的重建误差被降低(即质量被增强)。

在实现用于FGS的一个自适应量化方案中，有两个自由度：

1．适应性范围，解释为移位因子的范围。

2．局部量化自适应性的粒度(即以数据块对宏数据块为基础的自适应量化)。

当自适应量化控制器240选择一个自适应量化方案时，要在更灵活和增加的传输额外开销之间作出一个折衷。随后描述在这种折衷中的各种选择。

B．宏数据块对数据块的自适应性

对于MPEG-4基层，在宏数据块等级上执行自适应量化。对于FGS增强层，由自适应量化控制器240实现的数据块等级自适应量化引起的额外开销量是在针对无损编码比特数据流的宏数据块等级的自适应量化的额外开销的六倍。然而，采用一个数据块为基础的自适应量化的优点在于更精确的适应，这对于低清晰度的图像来说是很重要的。

另外，在增加的额外开销中6的因数仅应用到整个FGS比特数据流。在真实的应用中，移位因子的发送可以被延迟，直到如由该特定数据块等级的一比特标志指示的该数据块变得有效时。因此，以数据块为基础的自适应量化给出比以宏数据块为基础的自适应量化更好的灵活性，其代价是适度地增加对于实际应用的额外开销。下面给出详细的额外开销分析。

用于以数据块为基础的自适应量化的移位因子的延迟发送

在FGS余数编码的实施中，仅当一个特定数据块变得有效时，才将该特定数据块的残留信号加到基层。如果尚无系数有效，则没有残留信号被加到该数据块的基层。因此，当该数据块变得有效时，自适应量化控制器240立即送出用于该数据块的移位因子。

因此，自适应量化控制器240执行由数据块引起的额外开销对在增强增强比特率范围的宏数据块等级自适应量化之间的比较。由自适应量化控制器240使用的一个重要因数是在相关比特速率的范围发送的移位因子的数目。

例如，增强层的两个最高有效比特(MSBS)通常复盖增强速率2x到3x。不需要(等级1)和需要(等级2)在该速率范围中的移位因子的发送的数据块和宏数据块的数量在下面表格1与2中给出，分别用于该残留信号的第一和第二比特平面。表格1和2中显示的编号表示最坏情况，其中全部的数据块具有同样的移位因子。在此最坏情况中，与其中只有少数数据块被上移的情况比较，很少有移位因子的传输被延迟。

等级1：不需要移位因子发送的数据块或宏数据块能够被划分成两个子分类：

a)在当前比特平面之前和包含当前比特平面时无效，(不需要移位因子)：N₁,N^MB ₁；

b)已经有效的(已经发送了该移位因子)：N₂,N^MB ₂。

等级2：在当前比特平面中要求移位因子传输的数据块或宏数据块是在当前比特平面(该表格的未列)期间变得有效的那些数据块或宏数据块：N₃,N^MB ₃。

每一帧数据块的总数N=N₁+N₂+N₃。

每一帧宏数据块的总数=N^MB ₁+N^MB ₂+N^MB ₃。

序列	#零数据块N₁(#零宏数据块N^MB ₁)	#非零数据块N₂(#非零宏数据块N^MB ₂)W/已经发送的移位因子	#非零数据块N₃(#非零宏数据块N^MB ₃)W/在该bp已经发送的移位因子
序列	#零数据块N₁(#零宏数据块N^MB ₁)	#非零数据块N₂(#非零宏数据块N^MB ₂)W/已经发送的移位因子	#非零数据块N₃(#非零宏数据块N^MB ₃)W/在该bp已经发送的移位因子	Coastguard	2081(258)	0(0)	295(138)
Foreman	1823(190)	0(0)	553(206)	Coastguard	2081(258)	0(0)	295(138)

表1

对于第一比特平面的数据块(宏数据块)的分类，在100帧上求平均的。

序列	#零数据块N₁(#零宏数据块N^MB ₁)	#非零数据块N₂(#非零宏数据块N^MB ₂)W/已经发送的移位因子	#非零数据块N₃(#非零宏数据块N^MB ₃)在该bp已经发送的移位因子
序列	#零数据块N₁(#零宏数据块N^MB ₁)	#非零数据块N₂(#非零宏数据块N^MB ₂)W/已经发送的移位因子	#非零数据块N₃(#非零宏数据块N^MB ₃)在该bp已经发送的移位因子	Coastguard	1136(31)	295(138)	945(227)
Foreman	889(39)	553(206)	934(151)	Coastguard	1136(31)	295(138)	945(227)

表2

对于第二比特平面的数据块(宏数据块)的分类，在100帧上求平均的。

从表1和2清楚地可见，如果对于全部数据块/宏数据块采用相同移位因子，和采用移位因子的延迟发送，用于以数据块为基础的自适应量化所需要的额外开销大约比以宏数据块为基础的量化所需要额外开销大2-4倍。

但是，在实际自适应量化方案中，仅有限数目的数据块/宏数据块将被上移位：该示例性″Foreman″序列的大约30％和该示例性″Coastguard″序列的大约15％。在极端情况中，如果所有的数据块或宏数据块都被上移，则自适应量化的优点将被否定掉。因此，等级2中的数据块和宏数据块数量进一步降低，并且由数据块等级自适应量化引起的附加额外开销也进一步降低。而且，该移位因子仅负责总体比特预算的一小部分(例如，如果REL=RBL，小于该比特预算的10％)。额外开销的百分比随着增强层速率增加而减少。

表1和2还展现了下面描述的有条件地(或延迟)移位因子发送的重要性。由于在第一比特平面中的零和非零数据块之间的比例很高，所以无条件地传送该移位因子将产生可观的额外开销的增加。在以宏数据块为基础的方案中，直到整个宏数据块变得重要时的移位因子的延迟发送将引起对于第一比特平面的额外开销的一个小于400比特的节省。此情况被解释为对于该Foreman序列每一增强帧的12,800比特的可以忽略的PSNR改善(0.05dB)。因此，在本发明的一个有益的实施例中，自适应量化控制器240仅在数据块情况中才使用移位因子的有条件发送。

用于以数据块为基础的自适应量化的移位因子的范围

为进一步减小在数据块等级自适应量化中的移位因子的传输引起的额外开销，自适应量化控制器240把移位因子限制到0和2之间的一个范围。该限制的背后的基本原理可以通过用于MPEG-2一般自适应量化方案示出。在MPEG-2中，如果仅关心图像质量，量化步长在平均步长的1/2-2倍的范围内改变。但是，MPEG-2和MPEG-4基层允许更大的量化步长的范围(1到31)，以便利于缓冲控制。但是，由于FGS编码其固有的缓存适应性，在FGS编码中不考虑缓冲控制。

C．移位因子的固定编码与可变长度编码之比较

以数据块为基础的自适应量化

为了移位因子的发送，自适应量化控制器240能使用一个固定或者可变长度编码，如下面的表格3和4示出。对于可变长度编码，最小的码字分配给0移位因子，因为大多数的数据块将不移位(即0具有最高的概率)。

移位因子	二进制表示
移位因子	二进制表示	0	00
1	01	0	00
1	01	2	10

表3数据块移位因子的固定长度编码表示

移位因子	二进制表示
移位因子	二进制表示	0	00
1	10	0	00
1	10	2	11

表4

数据块移位因子的可变长度编码表示

因为移位因子的有条件发送应用于以数据块为基础的方法，所以移位因子的差分码将不适当，因为大多数数据块的邻接移位因子将被丢失(该数据块仍然是无效的或将在稍后变为是有效的)。这是一个很重要的观测，因为其意味该差分码不应该与该有条件移位因子发送结合使用。

在不引入对于自适应量化的一个无法接受的额外开销的条件下，用于以数据块为基础的方案的移位范围不能延伸超出0-2。

以宏数据块为基础自适应量化

1．最大值移位因子七(7)

如果采用最大值移位因子七并且两个邻接的宏数据块之间的变化局限于+1,0，或-1，则表格5中的可变长度码(VLC)可以由自适应量化控制器240遵循。但是，仅当使用无条件移位因子发送时，该移位系数的差分编码才是有益的。

用于每一数据片中的第一宏数据块的移位因子的绝对值仍然需要被发送，或者VLC或FLC编码。

相关移位因子	二进制表示
相关移位因子	二进制表示	0	00
1	10	0	00
1	10	-1	11

表5

差分移位因子编码的可变长度编码表示

2．最大值移位因子2

如果比特平面移位的范围被限制在0和2之间，则自适应量化控制器240可以发送这些移位因子的绝对值，而不是上述的差分方法。对应VLC表格在下面表6中给出。

从编码观点看，相对于该差分法，本方法具有一优点和一缺点。如果绝对值移位因子被编码，则可以采用条件发送，从而节省额外开销。但是，具有一个0的差分移位因子的概率高于具有一个0的绝对值的概率。因此，该表5中的VLC编码比表6中的VLC编码更有效。

移位因子	二进制表示
移位因子	二进制表示	0	00
1	10	0	00
1	10	-2	11

表6

绝对值数据块移位因子编码的可变长度编码表示

从该灵活性的角度看，具有在0和7之间的绝对值范围的差分编码允许更大范围的移位因子，但是限制在邻接宏数据块之间的移位因子的变化。

表7总结了自适应量化控制器240所使用的为在增强层中的FGS自适应量化的各种模式。注意到，因为表4和5采用同样的可变长度编码，所以用于自适应量化的VLC表能够如表8中所描述那样实现，因此避免了与多个霍夫曼表格相关的较高的复杂性。

No.	AQ模式(VOP)等级	移位范围	控制等级	用于移位因子的VLC编码
No.	AQ模式(VOP)等级	移位范围	控制等级	用于移位因子的VLC编码	0	00	N/A	N/A	N/A
1	01	0-7	宏数据块等级	表8	0	00	N/A	N/A	N/A
1	01	0-7	宏数据块等级	表8	2	10	0-2	数据块等级	表8

表7自适应量化模式

用于宏数据块为基础的AQ的差分移位因子	用于数据块为基础的AQ的差分移位因子	二进制表示(霍夫曼码)
用于宏数据块为基础的AQ的差分移位因子	用于数据块为基础的AQ的差分移位因子	二进制表示(霍夫曼码)	0	0	0
1	1	10	0	0	0
1	1	10	-1	2	11

表8

移位因子编码的可变长度编码表示

用于视频解码器134中自适应量化的示例性句法通过下面描述的比特移位实现。注意，当在视频编码器114中的比特平面仅上移移位时，在视频解码器134中的比特平面仅下移移位。可以利用函数″下移移位器″执行，该函数使用一个数据块的64个重建的余值(绝对值)和解码的移位因子，并且执行如下移位：

　　Void shifter_down(Int diff[64],Int shift_factor)

　　{Int i；

　　if(shift-factor＞0)/*if there is any shifting to be done,
shift_factor=0 means no shifting*/for(i=0；i＜64；i++)
diff[i]=diff[i]＞＞shift_factor；}

而且，在整个FGS编码过程中，其中用于残留信号的最大比特平面的数目被设置为N(例如在当前FGS基准软件中，N=12),N变为N+Max_shifting_factor(例如，N=12+2=14)。在从解码的比特平面重建该余值之后(即在该GetFGSMBblockdata模块中的操作″bp2block″之后)，在视频解码器114中进行该平面的向上移位。

图3描述流程图300，说明根据本发明的一个实施例的自适应量化控制器240的示例性操作。最初，自适应量化控制器240从余数计算器230接收残留误差信号(处理步骤305)。自适应量化控制器240也从BL编码器210接收一个或多个与残留误差信号相关的量化参数。作为选择，自适应量化控制器240可以接收(从BL编码器210或其它地方)一个与基层数据中的任意形状目标相关的阿尔法图像(处理步骤310)。使用量化参数和/或该阿尔法图像数据，自适应量化控制器240确定与在该增强层数据中的一个或多个比特平面相关的一个或多个移位因子(处理步骤315)。最终，自适应量化控制器240设置一个在比如增强层数据的VOP标题中的模式指示符，指示该移位因子是否加到在该增强层数据中的一个数据块或宏数据块(处理步骤320)。该移位因子本身被包括在该VOP标题中，以便指示被加到在该增强层数据中的数据块或宏数据块的移位量。

在接收器一侧，在数据流视频信号接收机130中的视频解码器134包括视频处理电路，能够接收压缩的基层视频帧和与对应压缩基层视频帧相关的增强层视频数据。在本发明的一个实施例中，视频解码器134中的视频处理电路检测由视频编码器114插入在该增强层的VOP标题中的移位因子和/或模式标志。根据此检测，视频解码器134把更高的解码优先级指定到与该数据块、宏数据块或由该模式标志和移位因子指示的阿尔法图像相关的比特平面。

在本发明的另一实施例中，在视频解码器134中的视频处理电路能够独立地确定被用于该增强层数据的自适应量化因数。在这样一个实施例中，自适应量化由视频解码器134表示。因为视频解码器134接收的压缩基层视频帧与由视频编码器114产生压缩基层视频帧相同，所以视频解码器134可以与视频编码器114同步，并且对于该增强层数据执行相同的自适应量化步骤，不必要来自视频编码器114的明确指令。

虽然已经详细描述了本发明，但是本领域技术人员应该理解，在不背离其最主要形式的本发明的精神和范围的条件下，能够进行各种改变、代替和变更。

Claims

1．用于一个视频编码器的自适应量化控制器，其包括：1)一个基层电路，能够接收一个视频帧的输入数据流，并且从其中产生压缩的基层视频帧，适于发送到一个数据流视频信号接收机；和2)一个增强层电路，能够接收所说的视频帧的输入数据流和所说的压缩基层视频帧的一个解码型式，并且从其中产生增强层视频数据，与所说的对应的压缩基层视频帧相关并且分配到该压缩的基层视频帧，自适应量化控制器能够从所说的基层电路接收至少一个量化参数，并且根据所说的量化参数确定一个对应的移位因子，用于移位与所说的增强层视频数据相关的至少一个比特平面并且修改在所说的增强层视频数据中的一个数据区，以便使得所说的视频数据流接收机把一个较高解码优先级指定到所说的被移位的至少一个比特平面。

2．权利要求1中阐明的自适应量化控制器，其中所说的至少一个比特平面包括所说的增强层视频数据的一个NxM数据块。

3．权利要求2中阐明的自适应量化控制器，其中所说的自适应量化控制器修改所说的数据区，以便包含所说的移位因子和一个模式指示符，所说的模式指示符指示所说的移位因子对应于所说的增强层视频数据的所说的NxM数据块。

4．权利要求3中阐明的自适应量化控制器，其中所说的移位因子是在从0到2比特平面的范围中。

5．权利要求1中阐明的自适应量化控制器，其中所说的至少一个比特平面包括所说增强层视频数据的多个相关NxM数据块。

6．权利要求5中阐明的自适应量化控制器，其中所说的自适应量化控制器修改所说的数据区，以便包含所说的移位因子和一个模式指示符，所说的模式指示符指示所说的移位因子对应于所说的增强层视频数据的所述多个NxM数据块。

7．权利要求6中阐明的自适应量化控制器，其中所说的移位因子是在从0到7比特平面的范围中。

8．权利要求1中阐明的自适应量化控制器，其中所说的自适应量化控制器修改所说的数据区，以便包含一个模式指示符，指示没有与所说的增强层视频数据相关的比特平面在被移位。

9．一个视频编码器，包括：

一个基层电路，能够接收一个视频帧的输入数据流，并且从其中产生压缩的基层视频帧，适于发送到一个数据流视频信号接收机；

一个增强层电路，能够接收视频帧的所说的输入数据流和所说的压缩基层视频帧的一个解码型式，并且从其中产生增强层视频数据，与所说的对应的压缩基层视频帧相关并且分配到该压缩的基层视频帧；和

一个自适应量化控制器，能够从所说的基层电路接收至少一个量化参数，并且根据所说的量化参数确定一个对应的移位因子，用于移位与所说的增强层视频数据相关的至少一个比特平面，并且修改在所说的增强层视频数据中的一个数据区，以便使得所说的视频数据流接收机把一个较高解码优先级指定到所说的被移位的至少一个比特平面。

10．权利要求9中阐明的视频编码器，所说的至少一个比特平面包括所说的增强层视频数据的一个NxM数据块，所说的自适应量化控制器修改所说的数据区，以便包含所说的移位因子和一个模式指示符，所说的模式指示符指示所说的移位因子对应于所说的增强层视频数据的所说的NxM数据块。

11．权利要求9中阐明的视频编码器，其中所说的至少一个比特平面包括所说的增强层视频数据的多个相关NxM数据块，所说的自适应量化控制器修改所说的数据区，以便包含所说的移位因子和一个模式指示符，所说的模式指示符指示所说的移位因子对应于所说的增强层视频数据的所述多个NxM数据块。

12．权利要求9中阐明的视频编码器，其中所说的自适应量化控制器修改所说的数据区，以便包含一个模式指示符，指示没有与所说的增强层视频数据相关的比特平面在被移位。

13．一个视频解码器，包括：处理电路，能够从数据流视频发射机接收包括压缩的基层视频帧和与对应所说的压缩基层视频帧相关并且分配到该压缩基层视频帧的增强层视频数据，其中所说处理电路进一步能够在所说的数据流视频信号中检测一个数据区，用于移位至少一个与所说的增强层视频数据相关的一个比特平面，并且根据所说的检测，把一个更高的解码优先级指定到所说的被移位的至少一个比特平面。

14．权利要求13中阐明的视频解码器，其中所说的至少一个比特平面包括所说的增强层视频数据的一个NxM数据块，并且所说的所说的数据区包含一个移位因子和一个模式指示符，所说的指示符指示所说的移位因子对应于所说的增强层视频数据的所述NxM数据块。

15．权利要求13中阐明的视频解码器，其中所说的至少一个比特平面包括所说的增强层视频数据的多个相关NxM数据块，并且所说的数据区包含一个移位因子和一个模式指示符，所说的模式指示符指示所说的移位因子对应于所说的增强层视频数据的所述多个NxM数据块。

16．权利要求13中阐明的视频解码器，其中所说的数据区包含一个模式指示符，指示没有与所说的增强层视频数据相关的比特平面在被移位。

17．用于一个视频编码器的自适应量化控制器，其包括：1)一个基层电路，能够接收一个视频帧的输入数据流，并且从其中产生所说的压缩基层视频帧，适于发送到一个数据流视频信号接收机；和2)一个增强层电路，能够接收所说的视频帧的输入数据流和所说的压缩基层视频帧的一个解码型式，并且从其中产生增强层视频数据，与该对应的压缩基层视频帧相关并且分配到该压缩的基层视频帧，一个修改在对应压缩基层视频帧中的增强层视频数据的分配方法，该方法包括步骤：

从该基层电路接收至少一个量化参数；

确定一个对应移位因子，用于移位与该增强层视频数据相关的至少一个比特平面；和

修改在该增强层视频数据中的一个数据区，以便使得该视频数据流接收机把一个更高的解码优先级指定到该移位的至少一个比特平面。

18．权利要求17中阐明的方法，其中该至少一个比特平面包括该增强层视频数据的一个NxM数据块。

19．权利要求18中阐明的方法，其中该自适应量化控制器修改该数据区，以便包括移位因子和一个模式指示符，所说的模式指示符指示移位因子对应于该增强层视频数据的NxM数据块。

20．权利要求19中阐明的方法，其中所说的移位因子是在从0到2比特平面的范围中。

21．权利要求17中阐明的方法，其中该至少一个比特平面包括该增强层视频数据的多个相关NxM数据块。

22．权利要求21中阐明的方法，其中该自适应量化控制器修改该数据区，以便包括移位因子和一个模式指示符，所说的模式指示符指示移位因子对应于该增强层视频数据的多个NxM数据块。

23．权利要求22中阐明的方法，其中所说的移位因子是在从0到7比特平面的范围中。

24．权利要求17中阐明的方法，其中该自适应量化控制器修改该数据区，以便包含一个模式指示符，指示没有与该增强层视频数据相关的比特平面在被移位。