CN1816151A - 图框层速率控制的视讯编码方法和系统 - Google Patents

图框层速率控制的视讯编码方法和系统 Download PDF

Info

Publication number
CN1816151A
CN1816151A CN200610001274.8A CN200610001274A CN1816151A CN 1816151 A CN1816151 A CN 1816151A CN 200610001274 A CN200610001274 A CN 200610001274A CN 1816151 A CN1816151 A CN 1816151A
Authority
CN
China
Prior art keywords
picture frame
present
sigma
complexity
macro zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN200610001274.8A
Other languages
English (en)
Other versions
CN100463523C (zh
Inventor
权度暻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
MediaTek Heifei Inc
Original Assignee
MediaTek Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by MediaTek Inc filed Critical MediaTek Inc
Publication of CN1816151A publication Critical patent/CN1816151A/zh
Application granted granted Critical
Publication of CN100463523C publication Critical patent/CN100463523C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124Quantisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/147Data rate or code amount at the encoder output according to rate distortion criteria
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146Data rate or code amount at the encoder output
    • H04N19/15Data rate or code amount at the encoder output by monitoring actual compressed data size at the memory before deciding storage at the transmission buffer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

本发明提供一种图框层速率控制方法以及单程图框速率控制的视讯编码方法及系统。首先,指派一目标位数给一目前图框;接着用一先前图框的一量化参数将该目前图框的宏区块编码,以获得一余值信号及该目前图框的文件头位数目;然后根据该目前图框的余值信号计算该目前图框的复杂度;再根据该目前图框的目标位数、文件头位数、以及复杂度计算该目前图框的新量化参数;接着使用该新量化参数,对该目前图框的余值信号进行编码。

Description

图框层速率控制的视讯编码方法和系统
技术领域
本发明是有关于视讯编码器的图框层速率控制,尤其是有关于具有图框层速率控制的视讯编码方法和系统。
背景技术
视讯通讯随着计算机和通讯技术的发达而广泛应用,因而产生了各种视讯编码标准。有些视讯编码标准如MPEG-1,MPEG-2和MPEG-4,是设计成非对话式应用,使用于储存媒体、串流和广播。此外,如H.261和H.263,是设计成对话式应用,使用于视讯电话和会议。视讯编码标准基本上包含的动作有离散余弦转换(DCT)、移动估算(ME)或移动补偿(MC)、量化(quantization)以及可变长度编码(VLC)。用在一图框(Frame)或一宏区块(MB)之中的量化步阶值(quantizer step-size)决定了视讯的品质,必须视情况使用适当的速率控制算法以决定在特定应用和编码环境下最恰当的量化步阶值。因此,速率控制成为一重要课题。
速率控制算法一般分为两大类,单程(single-pass)和多程(multi-pass),根据视讯序列需要几回的编码而定。当一视讯序列只需编码一次,或应用于实时编码场合,不易取得未来的图框及不容许延迟的情况下,使用单程速率控制算法。单程算法的范例在下列文件中有详细参考:
[1]MPEG-2 Test Model Test Model 5(TM5)Doc.,Test Model EditingCommittee,ISO/IEC JTC1/SC29/WG11/93-255b,Apr.1993;
[2]C.Crecos and J.Jiang,“On-line improvement of therate-distortion performance in MPEG-2 rate control,”IEEE Trans.Circuits Syst.Video Technol.,pp.519-528,June 2003;
[3]T.Chiang and Y.-Q.Zhang,“A new rate control scheme using anew rate-distortion model,”IEEE Trans.Circuits Syst.Video Technol.,pp.246-250,Feb.1997;
[4]F.Pan,Z.Li,K.Lim,and G.Feng,“A study of MPEG-4 rate controlscheme and its improvements,”IEEE Trans.Circuits Syst.Video Technol.,pp.440-446,May 2003;
[5]J.Ribas-Corbera and S.Lei,“Rate control in DCT video codingfor low-delay communications,”IEEE Trans.Circuits Syst.Video Technol.,pp.172-185,Feb.1999;
[6]Z.He,Y.K.Kim,and S.K.Mitra,“Low-delay rate control forDCT video coding via rho-domain source modeling,”IEEE Trans.CircuitsSyst.Video Technol.,pp.928-940,Aug.2001.
多程速率控制算法,在视讯序列已经存在的前提下,或是没有实时编码压力、可离线作业的情况下,可测得最佳化的量化步阶值。多程速率控制算法的文献包含下列文件:
[7]A.Ortega,K.Ramchandran,and M.Vetterli,“Optimaltrellis-based buffered compression and fast approximation,”IEEE Trans.Image Processing,pp.26-40,Jan.1994;
[8]K.Ramchandran,A.Ortega,and M.Vetterli,“Bit allocation fordependent quantization with applications to multi-resolution and MPEGvideo coders,”IEEE Trans.Image Processing,pp.533-545,Sept.1994;
[9]L.J.Lin and A.Ortega,“Bit-rate control using piecewiseapproximated rate-distortion characteristics,”IEEE Trans.CircuitsSyst.Video Technol.,pp.446-459,Aug.1998;
[10]W.Ding and E.Liu,“Rate control of MPEG video coding andrecording by rate-quantization modeling,”IEEE Trans.Circuits Syst.Video Technol.,pp.12-20,Feb.1996.
速率控制算法也可以依照量化步阶值的决定方式分为三大类,包含直接缓冲状态回授法(direct buffer-state feedback method)、模型分析法(model-based analytical method)以及操作性速率-失真模型化方法(operational rate-distortion modeling method)。直接缓冲状态回授法根据缓冲器满溢与活动程度决定量化步阶值。模型分析法利用数个速率和失真模型以控制速率,例如将速率模型化成量化步阶值的二次方程式。一般来说,直接缓冲状态回授法和模型分析法属于单程速率控制算法。而操作性速率-失真模型化方法则使用动态设定和Lagrange最佳化法以决定一组画面(GOP)中图框的量化步阶值。因耗用大量运算复杂度,大部份操作性速率-失真模型化方法不能应用于实时速率控制。曾有人提出以模型为基础的操作性速率-失真模型化方法以降低复杂度,其中模型是以准确度为代价,从一限定数量的控制点中预测输入视讯序列的速率-失真特征。然而这些方法,在实时编码的应用中仍然造成计算上的负担,以致于某种程度上仍然会造成延迟。
H.264是一种视讯标准,应用于对话式及非对话式通讯,其引进许多新编码技术,例如框内预测(intra prediction),不同的区块形状和多个参考图框之间的框间预测(inter prediction),再加上速率失真最佳化的移动估算以及模式判断(rate-distortion optimized motion estimation and modedecision),以下简称为RDO。由于这些新引进的技术,使H.264相较其它编码标准,具有可观的优势。
针对H.264,出现了许多单程速率控制算法。相关文献包含:
[11]S.Ma,W.Gao,P.Gao,and Y.Lu in“rate control for advancevideo coding(AVC)s tandard,”in Proc.Int.Conference,Circuits Syst.,pp.25-28,May 2003。
基于MPEG-2TM5速率控制算法,S.Ma提供了一宏区块层(macroblock layer)速率控制。假定已提供一图框的目标位速率,利用前一宏区块的一量化参数(QP)来为目前宏区块执行RDO运算,使前一量化参数可做为目前宏区块的预估量化参数。进行RDO运算之后,应用于目前宏区块的新量化参数可根据缓冲器满溢程度和宏区块活动而决定。如果前一量化参数和新量化参数的差异小于一阀值,则根据原来预估的量化参数,将目前宏区块的余值信号量化;否则,利用新量化参数再次为目前宏区块执行RDO运算,并根据新的量化参数将余值信号量化。
下列文献为一基于二次方程式速率模型,应用于H.264编码器的单程图框层速率控制算法:
[12]Z.G.Li,F.Pan,K.P.Lim,G.N.Feng,X.Lin,S.Rahardja,and D.J.Wu in“Adaptive frame layer rate contrl for H.264,”in Proc.Int.Conference,Multimedia Expo,pp.581-584,June 2003.
因RDO运算和速率控制的交互依赖关系,在执行RDO运算之前无法取得余值信号。曾有人提出一线性模型,用以预测目前图框和前一图框的余值信号的平均绝对差(mean absolute difference,MAD)。然而该线性模块无法准确估算目前图框的平均绝对差,尤其是当图框之间的移动变化量极大的时候。
许多为H.264设计的速率控制算法都不能解决RDO运算和速率控制之间交互依赖关系所造成的瓶颈,因此在求出宏区块或图框的新量化参数之前,余值信号是无解的。此外还有一个问题,H.264的速率控制中,忽视了文件头位数(header bits)的重要性。H.264和其它视讯编码标准不同的是,利用框内预测并且以各种区块大小的多个参考图框来进行移动估算和模式选择。因为这类信息需要和视讯内容一起被编码,所以文件头位数会占去整体位数的一大部份,且随着图框和宏区块而异。因此,准确的文件头位数信息对于H.264速率控制算法是有必要的,因为它没办法透过缓冲器容量的程度和速率模型来估计。
发明内容
本发明的目的在于提供一种图框层速率控制方法与单程图框层速率控制的视讯编码方法和系统。
本发明的图框层速率控制方法,包含下列步骤:指派一目标位数给一目前图框;用一先前图框的一量化参数将目前图框的宏区块编码,以获得一余值信号及目前图框的一预估文件头位数;然后根据目前图框的余值信号计算目前图框的复杂度;最后根据目标位数、预估文件头位数、以及目前图框的复杂度计算目前图框的新量化参数。其中上述将目前图框的宏区块编码的步骤,可以是包含:以先前图框的量化参数对目前图框的宏区块进行速率失真最佳化的移动估算与模式判断,由此为目前图框中每一宏区块产生一宏区块模式和移动向量,并且根据目前图框中的宏区块模式和移动向量估算目前图框的文件头位数。在编码步骤之后,可以对目前图框中内编码过的宏区块再次进行内编码模式判断。
假设目前图框的每一宏区块包含十六个4×4亮度样本区块以及八个4×4色度样本区块,则计算目前图框的复杂度的步骤可以包含:根据目前图框的余值信号,计算目前图框中宏区块所属的二十四个4×4区块各自的绝对差值的总和,并以下列公式计算目前图框中每一宏区块的复杂度CMB
CMB=max{SAD0,..,SAD3}+max{SAD4,..,SAD7}+...+max{SAD20,..,SAD23}
其中SADi表示第i个4×4区块的绝对差值的总和,接着以下列公式计算目前图框的复杂度CFrm
C Frm = Σ i = 0 N MB C i , MB
其中NMB是目前图框中宏区块的数目,Ci,MB代表目前图框中第i个宏区块的复杂度。目前图框的新量化参数可以是由下列二次方程式求出:
R ( Qs ) = X 1 · C Frm Qs + X 2 · ( C Frm Qs ) 2
其中,R(Qs)定义为目标位数减去预估文件头位数;X1和X2是模型参数;而Qs是一待解的量化步阶值。如果在编码之后对目前图框中的一宏区块再次进行内编码模式判断,则重新计算该宏区块的复杂度,从而更新目前图框的复杂度。更进一步地,可以对目前图框的余值信号进行离散余弦转换并且以新量化参数进行量化,以及根据下列式子更新上述二次方程式的模型参数:
X 1 = ( Σ i = 1 w R i · C i Qs i ) ( Σ i = 1 w C i 4 Qs i 4 ) - ( Σ i = 1 w R i · C i 2 Qs i 2 ) ( Σ i = 1 w C i 3 Qs i 3 ) ( Σ i = 1 w C i 2 Qs i 2 ) ( Σ i = 1 w C i 4 Qs i 4 ) - ( Σ i = 1 w C i 3 Qs i 3 ) 2
以及
X 2 = ( Σ i = 1 w R i · C i 2 Qs i 2 ) - X 1 · ( Σ i = 1 w C i 3 Qs i 3 ) ( Σ i = 1 w C i 4 Qs i 4 )
其中w为先前图框的数目,而Ri、Ci和QSi分别代表第i个先前图框的速率、复杂度和量化步阶值。其中目前图框的新量化参数QPRO可以由下式修正:
if QPRO>QPG+Δ,QPRO=QPG
else if QPRO<QPG-Δ,QPRO=QPG
其中QPG代表先前图框的量化参数,而Δ代表一预设临界值。目前图框的新量化参数可以更进一步限定在一预设范围。本发明另提供一视讯编码系统,用以执行上述步骤。
本发明可视情况使用适当的速率控制算法以决定在特定应用和编码环境下最恰当的量化步阶值,从而提高视讯的品质。
附图说明
图1为一视讯编码器包含一使用H.264以外视讯标准的单步速率控制器;
图2为速率控制和速率-失真最佳化之移动估算与模式判断之间的交互依赖关系;
图3a和图3b为两个QCIF格式的范例序列(“news”和“grandma”)运用三个参考图框的P图框的MAD(平均绝对差);
图4a和图4b为图3a和图3b的范例序列以三个参考图框做为框间预测时的P图框文件头位数;
图5a和图5b为两个QCIF格式范例序列(“carphone”和“hall”)运用单一参考图框编码的文件头位数百分比;
图6a和图6b为两个QCIF格式范例序列(“table tennis”和“suzie”)运用五个参考图框编码的文件头位数百分比;
图7a和图7b为两个QCIF格式范例序列(“table tennis”和“mother &daughter”)以单一参考图框使用不同QPRO但相同QPG的情况下的速率失真曲线;
图8a和图8b为两个QCIF格式范例序列(“salesman”和“mobile”)以五个参考图框使用不同QPRO但相同QPG的情况下的速率失真曲线;
图9为H.264编码器所用的一单程图框层速率控制算法与两步编码法的实施例;
图10为宏区块的结构与编号顺序;
图11a~图11d为QCIF格式序列(“suzie”、“carphone”、“salesman”以及“table tennis”)的C/Qs和速率的二次关系;
图12a~图12d图为QCIF格式序列(“waterfall”、“news”、“mother& daughter”以及“foreman”)的C/Qs和速率的二次关系;以及
图13为一单程图框层速率控制算法与两步编码法的实施例。
12视讯编码单元;            14速率控制器;
121移动估算单元;           122余值信号储存单元;
123离散余弦转换/量化单元;
124熵编码单元;
125离散余弦反转换/逆量化单元;
126重建图框储存单元;       14速率控制器;
141文件头位量测单元;       142复杂度量测单元;
143位指派单元;
144速率-失真模型化单元;
145量化参数决策单元;
202速率控制;
204速率-失真最佳化的移动估算与模式判断;
92第一步编码装置;
94速率控制装置;
96第二步编码装置;
921速率-失真最佳化的移动估算与模式判断单元;
922余值信号储存单元;
923离散余弦转换/量化单元;
924离散余弦反转换/逆量化单元;
925第一重建图框储存器;
941位指派单元;
942速率-失真模型化单元;
943量化参数判断单元;
944文件头位估算单元;
945复杂度量测单元;
961选择性内编码模式判断单元;
962离散余弦转换量化单元;
963熵编码单元;
964离散余弦反转换/逆量化单元;
965第二重建图框储存器;
1002亮度信号;
1004色差信号Cb;
1006色差信号Cr。
具体实施方式
图1为一视讯编码器,具有一使用非H.264的视讯标准的单程速率控制器1,其包含一视讯编码单元12和一速率控制器14。视讯编码单元12包含一移动估算单元121、一余值信号储存单元122、一离散余弦转换/量化单元123、一熵编码单元124、一离散余弦反转换/逆量化单元125以及一重建图框储存单元126。速率控制器14与视讯编码器12交互作用以更新宏区块且/或图框的量化参数,并包含一文件头位量测单元141、一复杂度量测单元142、一位指派单元143、一速率-失真模型化单元144以及一量化参数决策单元145。文件头位量测单元141在移动估算之后,估计宏区块或图框的文件头位数,而复杂度量测单元142量测一余值信号的复杂度。文件头位数和余值信号复杂度都是位指派和速率-失真模型化的必要信息。位指派单元143根据缓冲器状态、信道频宽和相关编码状态,为一既定的宏区块或图框计算需要的位数。在速率-失真模型化单元144中,速率和/或失真模型由前一宏区块或图框的实际编码资料而更新。在量化参数决策单元145中,目前宏区块或图框的量化参数在离散余弦转换和量化之前被择定。
对H.264编码器而言,其单程速率控制算法的实作,是利用与图1中的单程速率控制器1相似的方法。然而因为速率控制和RDO运算的交互依赖关系,这个方法并不能精准的应用在H.264编码器上。给定一量化参数,通过RDO运算和下列式子,一H.264编码器为每一宏区块区块选择一最佳参考图框以及一最佳移动向量(Motion Vector),以及最佳宏区块模式,
JQP(SQP)=D(SQP)+λ(QP)·R(SQP)             [1]
其中SQP代表一组移动向量、参考图框、以及宏区块模式,而λ(QP)是一个Lagrange乘法子。事实上总共有两种Lagrange乘法子,各被用于移动估算和模式选择,根据一给定的量化参数以及下列式子而进行:
λ MODE ( QP ) = 0.85 × 2 QP / 3 for I , P frame 4 × 0.85 × 2 QP / 3 for B frame , λ MOTION ( QP ) = λ MODE ( QP ) - - - [ 2 ]
换句话说,对于一已知量化参数,H.264编码器由这两个Lagrange乘法子,为每一宏区块选择满足下式的最佳组的移动向量、参考图框、以及最佳宏区块模式:
S QP ^ = arg min J QP ( S QP ) - - - - [ 3 ]
图2为速率控制202和速率-失真最佳化的移动估算与模式判断(RDO)204之间的交互依赖关系。速率控制202利用包括余值信号的一些信息如平均绝对差(mean absolute difference,以下简称MAD)以及文件头位数等,计算出一量化参数。然而该多个信息只有在H.264编码器进行RDO 204之后才能获取。此外,因为RDO 204的进行是以Lagrange最佳化方法为基础,如第1式和第2式所示,所以RDO 204之后的所有信息皆仰赖量化参数。因此量化参数必须在RDO204之前就取得。
在下列文献中提出了一适应性图框层速率控制法:
[13]Z.G.Li et al.“Adaptive frame layer rate control for H.264,”in Proc.Int.Conference,Multimedia Expo,pp.581-584,June 2003。该方法目前被H.264参考编码器采用。其中,一单程速率控制算法由一个二次方速率模型而实现,如下式:
R ( Qs ) = X 1 · MAD Qs + X 2 · MAD Qs 2 - - - - [ 4 ]
其中X1和X2是模型参数,而QS是量化步阶值。在第4式中,第n个图框的MAD,是根据第5式的一线性模块,由第n-1个图框的MAD来预测,以解决图2所示的相互依赖关系。
MADn=a·MADn-1+b                         [5]
其中a和b是参数。然而,MAD无法由如此单纯的模型获得精准的预估,尤其是当视讯序列中的图框包含不断变动的特征。
图3a和图3b为两个QCIF格式的范例序列(“news”和“grandma”),当使用三个参考图框做为框间预测时的MAD变动情形。一目前图框的MAD和前几个图框并没有明显关联。二次方速率模型的模型参数,在编码每一图框后,根据速率和前几个图框的平均绝对差而更新,而目前图框的量化参数则利用第5式预估的MAD而决定,该预估的MAD可能不同于实际的MAD。因此,即使速率模块很精准,也会受到MAD预估不精准的影响。另一个相关技术的问题是忽略了文件头位变化的影响。相关技术是以前几个图框的平均文件头位数来预估目前图框的文件头位数。图3a和图3b的范例序列以三个参考图框做为框间预测时的P图框文件头位数则显示于图4a和图4b,其中目前图框的文件头位数与前几个图框没有关联。此外,对H.264编码器而言,因为文件头位数占整体位数相当大的比例,精准估算文件头位数是相当重要的事。
图5a和图5b为两个QCIF格式范例序列(“carphone”和“hall”)运用单一参考图框编码的实质内容(Texture)与文件头位数百分比。图6a和图6b为两个QCIF格式范例序列(“table tennis”和“suzie”)运用五个参考图框编码的实质内容与文件头位数百分比。文件头位包含移动向量(MV)、模式(Mode)和编码区块态样(CBP)。其中在低位速率时,文件头位数占了整体位数超过百分之五十的比例,这个比例通常随参考图框的数目而增加。文件头位数的估算,相当影响速率模块和位指派。
本发明现提供一单程图框层速率控制算法搭配两步编码法,利用两个不同的量化参数进行RDO和量化。为简化说明,符号表示如下:
QPG:代表前一图框的量化参数,用于目前图框中所有宏区块的RDO运算;
QPRO:通过一速率模型而得,用于余值信号的量化;
QPn:目前图框或第n个图框的量化参数;
QPn-1:第n-1个图框或前一图框的量化参数,相同于第n-1个图框的QPRO_
在某些实施例中,两个连续图框之间的不同量化参数值,可以通过第6式限定在一定范围,以柔化品质变化。
|QPn-QPn-1|≤ΔwhereΔ=2 or 3                 [6]
如果由速率-失真模型获得的量化参数与前一量化参数的差异极大,通过此式可将其值限定于一既定范围内。即使RDO运算用的QPG和量化用的QPRO之间差异很大,所导致编码增益,例如速率失真效能的降低,亦微不足道。假设差异被限定在一很小范围:
|QPG-QPRO|≤ΔwhereΔ=2 or 3                  [7]
由于QPG用于RDO运算,编码器选择满足第8式的最佳一组移动向量、参考图框和宏区块模式,
S Q P G ^ = arg min J QP G ( S QP G ) - - - - [ 8 ]
则当QPRO被第7式所限定时,即使余值信号在RDO运算之后被以QPRO量化,速率失真效能降低的情况亦非常微小。
图7a和图7b为两个QCIF格式范例序列(“table tennis”和“mother &daughter”)以单一参考图框使用不同QPRO但相同QPG的情况下的速率失真曲线。图8a和图8b为两个QCIF格式范例序列(“salesman”和“mobile”)以五个参考图框使用不同QPRO但相同QPG的情况下的速率失真曲线。其中对所有曲线,QPG被设为量化参数QP,而QPRO被设为QP-3、QP和QP+3,分别对应每一曲线。如图所示,若QPG和QPRO之间的差异很小,速率失真效能几乎相同,甚至相同量化参数QP下的位速率也相差极微。
图9为H.264编码器所采用的单程图框层速率控制算法与两步编码法的实施例,其显示一图框速率控制系统9。图框速率控制系统9包含一第一步编码装置92、一速率控制装置94以及一第二步编码装置96。第一步编码装置92与前述视讯编码器相似,除了熵编码单元之外。第一步编码装置92包含一速率-失真最佳化的移动估算与模式判断单元921、一余值信号储存单元922、一离散余弦转换/量化单元923、一离散余弦反转换/逆量化单元924以及一第一重建图框储存器925。在速率-失真最佳化的移动估算与模式判断单元921中,首先以QPG(对图框中所有宏区块而言是QPn-1)进行速率-失真最佳化的移动估算和模式判断。余值信号储存单元922储存了参考图框、移动向量和从速率-失真最佳化的移动估算与模式判断单元921撷取的图框的余值信号。H.264有一特色使得速率控制的实作更加困难,即选择性的框内预测。在框内预测模式中,根据前一宏区块邻近像素的重建值预测宏区块。框内预测重建每一宏块,由此得以通过离散余弦转换/量化单元923和离散余弦反转换/逆量化单元924来编码接下来的宏区块。离散余弦反转换/逆量化单元924输出的重建图框被储存在第一重建图框储存器925。离散余弦转换量化单元923和离散余弦反转换/逆量化单元924也需要QPG以进行量化及逆量化。速率控制装置94更新一速率模型的参数,并决定目前图框的量化参数。速率控制装置94包含一文件头位估算单元944、一复杂度量测单元945、一位指派单元941、一速率-失真模型化单元942以及一量化参数判断单元943。文件头位估算单元944在第一步编码之后,估算目前图框中所有宏区块所需的文件头位数。文件头信息包含参考图框、移动向量、宏区块模式以及由第一步编码装置92取得的CBP。复杂度量测单元945计算余值信号的复杂度,以决定量化参数判断单元943进行量化所需的量化参数值。稍后将详述复杂度量测算法的实施例。在位指派单元941中,根据可用的信道频宽、缓冲器状态、或期望的图框品质,指派一图框所需的适当位数。不同的位指派方法可视速率控制的目标而应用。举例来说,在恒定位速率(CBR)的应用中,可指派相同数量的位数给每一图框,相对的在可变速率(VBR)应用中,图框品质是影响指派给每一图框的位数的主要因素。在速率-失真模型化单元942中,速率模型的参数,在每一图框的第二步编码之后,利用先前数个已编码的图框的复杂度和实质内容位数,由线性平方近似(LSA)方法更新。速率-失真模型化单元942使用一修订的二次方速率模型。在量化参数判断单元943中,运用速率模型搭配指派给一图框的位数和余值信号的复杂度,决定量化参数值,即第二步编码装置96量化该余值信号所用的QPRO__
第二步编码装置96主要用于量化和熵编码,以产生一编码输出比特流。第二步编码装置96包含一选择性内编码模式判断单元961、一离散余弦转换/量化单元962、一熵编码单元963、一离散余弦反转换/逆量化单元964以及一第二重建图框储存器965。在第一步编码时,以QPG进行RDO运算,并且以QPG和前一宏区块邻近重建素像进行框内预测。第一步编码装置92中产生的重建图框是根据QPG而进行离散余弦转换、量化、逆量化和离散余弦反转换而得。因量化和逆量化是在第二步编码装置96中使用QPRO而进行,如果QPG和QPRO不同的话,先前宏区块的邻近重建像素和第一步编码产生的重建像素将有差异。选择性内编码模式判断单元961只有在一宏区块模式属于模式“内编码”时启用。举例来说,如果在第一步编码时宏区块模式是4×4内编码模式之一,便在第二步编码时再度进行内编码模式预测,并根据QPRO选择一新的4×4内编码模式。因余值信号在内编码模式选择之后已经不同,所以选择性内编码模式判断单元961重新计算余值信号的复杂度,而框内预测耗费的运算资源相对于整个RDO运算并不算高,因此选择性内编码模式判断单元961所增加的运算复杂度相当微不足道。图框中只有极少数宏区块在框间预测时使用内编码模式,除非发生场景改变或出现大幅的移动。经过离散余弦转换/量化单元962与熵编码单元963之后产生输出比特流,其中量化部份是以QPRO进行。在离散余弦转换和量化之后,离散余弦反转换/逆量化单元964再次重建该图框,并将结果储存在第二重建图框储存器965。离散余弦反转换/逆量化单元964所产生的重建图框是用于目前图框中后续宏区块的框内预测,以及后续图框的框间预测。
在此亦提出一基于余值信号的复杂度的图框层速率模型。此处所提的复杂度是以称为修订的绝对差值总和(sum of absolute difference,以下简称SAD)。在H.264中,一8×8区块如果其中只包含单一或高代价系数要编码,则被视为高代价区块。
图10为宏区块的结构与编号顺序。在一亮度信号(Y)1002中有十六个4×4区块,在色差信号(Cb)1004和色差信号(Cr)1006中各四个4×4区块。在H.264中,每一4×4离散余弦转换系数皆有其成本,而一4×4区块的系数成本CoeffCost4×4是所有4×4离散余弦转换系数的成本总和。如果一8×8区块系数成本CoeffCost8×8少于一临界值,H.264编码器定义该8×8区块为一高代价区块:
if CoeffCost8×8≤T,the 8×8 block is not encoded             [9]
其中
CoeffCost 8 × 8 = Σ i = 0 3 CoeffCos t i , 4 × 4
虽然上述离散余弦转换系数的编码方法并不是标准规范,却因为其速率失真效能的优势而适合应用在H.264编碥器中。根据该离散余弦转换系数的编码方法,具有低系数成本的4×4区块与实质内容的位数目较为无关。此修订的SAD方法定义了SADi为图10中区块Bi的绝对差值总和。宏区块的复杂度CMB是以下式表示
CMB=max{SAD0,..,SAD3}+max{SAD4,..,SAD7}+...+max{SAD20,..,SAD23} [10]
换言之,在每一8×8区块中会有一具有最大SAD的4×4区块被选出,而一宏区块的复杂度则定义为六个8×8区块的各最大SAD的总和。一图框的复杂度CFrm,则定义为该图框中所有宏区块的CMB总和,如下式:
C Frm = Σ i = 0 N MB C i , MB - - - - [ 11 ]
其中NMB代表图框中的宏区块数目。
一种新图框层速率模型,称为修订的二次元速率模块,是以上述修订的SAD当做复杂度,这种新模型可应用在图框层速率控制的实施例中。可以观察到的是:速率正比于复杂度,而反比于量化步阶值QS。图11a到图11d为QCIF格式序列(“suzie”、“carphone”、“salesman”以及“table tennis”)的C/Qs和速率的二次关系,图12a到图12d为QCIF格式序列(“waterfall”、“news”、“mother & daughter”以及“foreman”)的C/QS和速率的二次关系,速率代表不计文件头位数的实质内容位数目。在图11a到图11d以及图12a到图12d中,以各种量化步阶值将序列里的多个图框编码,而速率与CFrm/QS之间具有二次元关系。因此一图框的速率可模型化成一CFrm/QS的二次元函式:
R ( Qs ) = X 1 · C Frm Qs + X 2 · ( C Frm Qs ) 2 - - - - [ 12 ]
其中X1和X2_是模型参数,而QS是量化步阶值。
在第二步编码之后,要编码任一图框时,就可使用LSA方法用前w个图框的资料更新该模型参数。在第一步编码之后,给定了目标位速率,便可用更新后的参数来解出二次元方程式,以决定接下来图框的量化步阶值。实验结果证明使用修订的SAD做为复杂度的速率模型可以比第4式更适合实际资料。
图13所示的流程是一单程图框层速率控制算法与两步编码法的实施例。该单程图框层速率控制方法包含:在步骤1300中,进行位指派;在步骤1302中,以QPG进行第一步编码;在步骤1304中,决定QPRO;在步骤1306中,以QPRO进行第二步编码;以及在步骤1308中,进行后编码(post-encoding)程序。在步骤1300中,所指派全部位数,是包含一图框中的实质内容位和文件头位。位数目是依据各种数据而得,例如缓冲器状态、信道频宽、品质需求等。在某些实施例中,该图框层速率控制方法可实作于恒定位速率信道,位数目则是由MPEG-2TM5速率控制算法中的位指派方法而决定。在步骤1302中,根据前一图框的量化参数QPG进行目前图框的第一步编码。运用QPG为图框中所有宏区块进行速率-失真最佳化的移动估算和模式判断(RDO)。在RDO运算之后,储存所有宏区块的信息,例如宏区块模式,移动向量(Motion Vector)和参考图框,以及余值信号等。利用前几个宏区块的邻近重建像素进行框内预测,因此在RDO运算之后,每个图框中的一宏区块其余值信号经过离散余弦转换、量化、逆量化和离散余弦反转换而重建。步骤1302中,第一步编码并未执行熵编码。
在步骤1304中决定在第二步编码中用以量化该余值信号的QPRO。首先估算图框的文件头位数和复杂度,而文件头位数和复杂度可由下列信息来估算:移动向量、参考图框、以及在步骤1302中第一步编码求得的余值信号。文件头位数可由查表而得,或通过使用熵编码器的来编码文件头信息而得。编码文件头信息需要较多的运算资源,然而,可以获得更精准的估计结果。相对的,查表方式较不精准,但只需要很少的运算资源。图框的复杂度,亦即修订的SAD,是由第10式和第11式求得。在估算图框的文件头位数和复杂度之后,通过解第12式的二次方程式而求得QPRO。需注意第12式的R(QS)被定义为每一图框被指派的位数减去它的预估文件头位数。如果QPG和QPRO的差异大于3或QPRO超过范围(对H.264而言为0到51)之外,QPRO被下式限缩范围:
     if QPRO>QPG+3,QPRO=QPG+3
else if QPRO<QPG-3,QPRO=QPG-3                [13]
     if QPRO>51,QPRO=51
else if QPRO<0,QPRO=0                        [14]
第13式的限缩方法柔化了两个连续图框的品质变化,并缩减了以第7式得到的QPG进行移动估算和模式判断的速率失真效能下降。
步骤1306根据步骤1304中所得的QPRO将图框进行第二步编码。在第二步编码1306中,从第一步编码1302获取的余值信号以QPRO进行量化。当一宏区块在第一步编码1302中予以框内编码,且QPG和QPRO不同时,宏区块邻近重建像素可能会有所不同,必须再度对该宏区块进行框内预测。宏区块的复杂度应重新被计算,以更新所属图框的复杂度。在后编码程序1308中,已更新的复杂度是用来更新速率模型的参数。在步骤1306中,所有在第一步编码1302得到的框间编码宏区块的文件头信息、第二步编码1306中新获取的框内编码宏区块的文件头信息、以及根据QPRO重新量化的离散余弦转换系数,皆予以熵编码以产生一输出比特流。针对图框中后续宏区块的框内预测及后续图框的框间预测,量化过的离散余弦转换系数通过逆量化和离散余弦反转换而被重建。后编码程序1308包含通过线性平方近似方法,采用第15式所示的前w个图框的资料来更新第12式中速率模型的参数。在某些实施例中,w设定为20。更新后的参数被用来为后续图框的第二步编码1306估算一量化步阶值。步骤1308亦更新了缓冲器容量水位。
X 1 = ( Σ i = 1 w R i · C i Qs i ) ( Σ i = 1 w C i 4 Qs i 4 ) - ( Σ i = 1 w R i · C i 2 Qs i 2 ) ( Σ i = 1 w C i 3 Qs i 3 ) ( Σ i = 1 w C i 2 Qs i 2 ) ( Σ i = 1 w C i 4 Qs i 4 ) - ( Σ i = 1 w C i 3 Qs i 3 ) 2
X 2 = ( Σ i = 1 w R i · C i 2 Qs i 2 ) - X 1 ( Σ i = 1 w C i 3 Qs i 3 ) ( Σ i = 1 w C i 4 Qs i 4 ) - - - - [ 15 ]
其中Ri、Ci以及QS分别为前i个图框的速率、复杂度以及量化步阶值。
二步编码法中的速率-失真最佳化的移动估算和模式判断只在第一步编码中为每一宏区块执行一次,除非某宏区块为框内编码,才会在第二步编码中针对可能的框内编码模式进行再次选择。因此,在本发明中的单程二步编码法中,虽然离散余弦转换、量化、逆量化和离散余弦反转换在两个编码步骤中皆执行,但运算复杂度,相较于整体计算复杂度,并不会明显增加。
上述实施例仅用以说明本发明,而非限定本发明。

Claims (31)

1.一种图框层速率控制方法,其特征在于,包含:
指派一目标位数给一目前图框;
用一先前图框的一量化参数将该目前图框的宏区块编码,以获得一余值信号及该目前图框的一预估文件头位数;
根据目前图框的余值信号计算目前图框的复杂度;以及
根据目标位数、预估文件头位数以及目前图框的复杂度计算目前图框的新量化参数。
2.如权利要求1所述的图框层速率控制方法,其特征在于,将目前图框的宏区块编码的步骤,包含:
以先前图框的量化参数对目前图框的宏区块进行速率失真最佳化的移动估算与模式判断,由此为目前图框中每一宏区块产生一宏区块模式和移动向量;以及
根据目前图框中的宏区块模式和移动向量估算目前图框的文件头位数。
3.如权利要求2所述的图框层速率控制方法,其特征在于,在编码步骤之后,对目前图框中内编码过的宏区块再次进行内编码模式判断。
4.如权利要求3所述的图框层速率控制方法,其特征在于,目前图框的每一宏区块包含十六个4×4亮度样本区块以及八个4×4色度样本区块,而计算目前图框的复杂度的步骤包含:
根据目前图框的余值信号,计算目前图框中宏区块所属的二十四个4×4区块各自的绝对差值的总和;
以下列公式计算目前图框中每一宏区块的复杂度CMB
CMB=max{SAD0,..,SAD3}+max{SAD4,..,SAD7}+...+max{SAD20,..,SAD23}
其中SADi表示第i个4×4区块的绝对差值的总和;以及
以下列公式计算目前图框的复杂度CFrm
C Frm = Σ i = 0 N MB C i , MB
其中NMB是目前图框中宏区块的数目,以及Ci,MB代表目前图框中第i个宏区块的复杂度。
5.如权利要求4所述的图框层速率控制方法,其特征在于,目前图框的新量化参数是由下列二次方程式求出:
R ( Qs ) = X 1 · C Frm Qs + X 2 · ( C Frm Qs ) 2
其中:
R(Qs)定义为目标位数减去预估文件头位数;
X1和X2是模型参数;以及
Qs是一待解的量化步阶值。
6.如权利要求5所述的图框层速率控制方法,其特征在于,如果在编码之后对目前图框中的一宏区块再次进行内编码模式判断,则重新计算该宏区块的复杂度,从而更新目前图框的复杂度。
7.如权利要求6所述的图框层速率控制方法,其特征在于,更进一步包含:
对目前图框的余值信号进行离散余弦转换并以新量化参数进行量化;以及
根据下列式子更新二次方程式的模型参数:
X 1 = ( Σ i = 1 w R i · C i Qs i ) ( Σ i = 1 w C i 4 Qs i 4 ) - ( Σ i = 1 w R i · C i 2 Qs i 2 ) ( Σ i = 1 w C i 3 Qs i 3 ) ( Σ i = 1 w C i 2 Qs i 2 ) ( Σ i = 1 w C i 4 Qs i 4 ) - ( Σ i = 1 w C i 3 Qs i 3 ) 2
以及
X 2 = ( Σ i = 1 w R i · C i 2 Qs i 2 ) - X 1 · ( Σ i = 1 w C i 3 Qs i 3 ) ( Σ i = 1 w C i 4 Qs i 4 )
其中w为先前图框的数目,而Ri、Ci和QSi分别代表第i个先前图框的速率、复杂度和量化步阶值。
8.如权利要求5所述的图框层速率控制方法,其特征在于,目前图框的新量化参数QPRO是以下式修正:
     if QPRO>QPG+Δ,QPRO=QPG
else if QPRO<QPG-Δ,QPRO=QPG
其中QPG代表先前图框的量化参数,而Δ代表一预设临界值。
9.如权利要求8所述的图框层速率控制方法,其特征在于,目前图框的新量化参数更进一步限定在一预设范围。
10.一种单程图框速率控制的视讯编码方法,其特征在于,包含:
指派一目标位数给一目前图框;
进行第一步编码,用一先前图框的一量化参数将目前图框的宏区块编码,以获得一余值信号及目前图框的一预估文件头位数;
根据目前图框的余值信号计算目前图框的复杂度;
根据目标位数、预估文件头位数以及目前图框的复杂度计算目前图框的新量化参数;以及
使用新量化参数,对目前图框的余值信号进行第二步编码。
11.如权利要求10所述的单程图框速率控制的视讯编码方法,其特征在于,第一步编码包含:
以先前图框的量化参数对目前图框的宏区块进行速率失真最佳化的移动估算与模式判断,由此为目前图框中每一宏区块产生一宏区块模式和移动向量;以及
根据目前图框中宏区块的宏区块模式和移动向量估算目前图框的文件头位数。
12.如权利要求11所述的单程图框速率控制的视讯编码方法,其特征在于,在进行第二步编码时,对第一步编码阶段中经过内编码的宏区块,再度进行内编码模式判断。
13.如权利要求11所述的单程图框速率控制的视讯编码方法,其特征在于,其中:
在目前图框的第一步编码期间,产生一第一重建图框,以对目前图框中的后续宏区块进行框内预测;以及
在目前图框的第二步编码期间,产生一第二重建图框,以对目前图框中的后续宏区块进行框内预测,并对后续图框进行框间预测。
14.如权利要求12所述的单程图框速率控制的视讯编码方法,其特征在于,其中:
目前图框的每一宏区块包含十六个4×4亮度样本区块以及八个4×4色度样本区块,而计算目前图框的复杂度的步骤包含:
根据目前图框的余值信号,计算目前图框中宏区块所属的二十四个4×4区块各自的绝对差值的总和;
以下列公式计算目前图框中每一宏区块的复杂度CMB
CMB=max{SAD0,..,SAD3}+max{SAD4,..,SAD7}+...+max{SAD20,..,SAD23}
其中SADi表示第i个4×4区块的绝对差值的总和;以及
以下列公式计算目前图框的复杂度CFrm
C Frm = Σ i = 0 N MB C i , MB
其中NMB是目前图框中宏区块的数目,以及Ci,MB代表目前图框中第i个宏区块的复杂度。
15.如权利要求14所述的单程图框速率控制的视讯编码方法,其特征在于,目前图框的新量化参数是通过下列二次方程式求出:
R ( Qs ) = X 1 · C Frm Qs + X 2 · ( C Frm Qs ) 2
其中:
R(Qs)定义为目标位数减去该预估文件头位数;
X1和X2是模型参数;以及
Qs是一待解的量化步阶值。
16.如权利要求15所述的单程图框速率控制的视讯编码方法,其特征在于,如果目前图框中的一宏区块经过再次的内编码模式判断,则在第二步编码中重新计算该宏区块的复杂度,从而更新目前图框的复杂度。
17.如权利要求16所述的单程图框速率控制的视讯编码方法,其特征在于,更进一步包含:
在第二步编码后,根据下列式子更新二次方程式的模型参数:
X 1 = ( Σ i = 1 w R i · C i Qs i ) ( Σ i = 1 w C i 4 Qs i 4 ) - ( Σ i = 1 w R i · C i 2 Qs i 2 ) ( Σ i = 1 w C i 3 Qs i 3 ) ( Σ i = 1 w C i 2 Qs i 2 ) ( Σ i = 1 w C i 4 Qs i 4 ) - ( Σ i = 1 w C i 3 Qs i 3 ) 2
以及
X 2 = ( Σ i = 1 w R i · C i 2 Qs i 2 ) - X 1 · ( Σ i = 1 w C i 3 Qs i 3 ) ( Σ i = 1 w C i 4 Qs i 4 )
其中w为先前图框的数目,而Ri、Ci和QSi分别代表第i个先前图框的速率、复杂度和量化步阶值。
18.如权利要求15所述的单程图框速率控制的视讯编码方法,其特征在于,目前图框的新量化参数QPRO是以下式修正:
     if QPRO>QPG+Δ,QPRO=QPG
else if QPRO<QPG-Δ,QPRO=QPG
其中QPG代表先前图框的量化参数,而Δ代表一预设临界值。
19.如权利要求18所述的单程图框速率控制的视讯编码方法,其特征在于,目前图框的新量化参数更进一步限定在一预设范围。
20.如权利要求10所述的单程图框速率控制的视讯编码方法,其特征在于,第二步编码包含:
对目前图框的余值信号进行离散余弦转换,由此产生目前图框的离散余弦转换系数;
根据新量化参数对离散余弦转换系数进行量化;以及
将量化后的离散余弦转换系数和目前图框的文件头位进行熵编码,产生一输出比特流。
21.一种单程图框速率控制的视讯编码系统,其特征在于,包含:
一第一步编码装置,用以由一先前图框的一量化参数将一目前图框的宏区块编码,以获得一余值信号及目前图框的一预估文件头位数;
一速率控制装置,用以:
指派一目标位数给目前图框;
根据目前图框的余值信号计算目前图框的复杂度;并且
根据目标位数、预估文件头位数以及目前图框的复杂度计算目前图框的新量化参数;以及
一第二步编码装置,用以由目前图框的新量化参数,编码目前图框的余值信号,以产生一输出比特流。
22.如权利要求21所述的单程图框速率控制的视讯编码系统,其特征在于,第二步编码装置包含一选择性内编码模式判断单元,用以针对在第一步编码装置之中经过内编码的宏区块,再次进行内编码模式判断。
23.如权利要求21所述的单程图框速率控制的视讯编码系统,其特征在于,第一步编码装置以先前图框的量化参数对目前图框的宏区块进行速率失真最佳化的移动估算与模式判断,由此为目前图框中每一宏区块产生一宏区块模式和移动向量。
24.如权利要求23所述的单程图框速率控制的视讯编码系统,其特征在于,第一步编码装置产生一第一重建图框,用以对目前图框中的后续宏区块进行框内预测,以及第二步编码装置产生一第二重建图框,以对目前图框中的后续宏区块进行框内预测,并对后续图框进行框间预测。
25.如权利要求24所述的单程图框速率控制的视讯编码系统,其特征在于,速率控制装置包含:
一文件头位估算单元,用以根据目前图框中宏区块的宏区块模式和移动向量估算目前图框的文件头位数;以及
一复杂度计算单元,用以计算目前图框的复杂度,其中目前图框的每一宏区块包含十六个4×4亮度样本区块以及八个4×4色度样本区块;复杂度计算单元根据目前图框的余值信号,计算目前图框中宏区块所属的二十四个4×4区块各自的绝对差值的总和,以下列公式计算目前图框中每一宏区块的复杂度CMB
CMB=max{SAD0,..,SAD3}+max{SAD4,..,SAD7}+...+max{SAD20,..,SAD23}
其中SADi表示第i个4×4区块的绝对差值的总和;并且
复杂度计算单元以下列公式计算目前图框的复杂度CFrm
C Frm = Σ i = 0 N MB C i , MB
其中NMB是目前图框中宏区块的数目,以及Ci,MB代表目前图框中第i个宏区块的复杂度。
26.如权利要求25所述的单程图框速率控制的视讯编码系统,其特征在于,目前图框的新量化参数是通过下列二次方程式求出:
R ( Qs ) = X 1 · C Frm Qs + X 2 · ( C Frm Qs ) 2
其中:
R(Qs)定义为目标位数减去预估文件头位数;
X1和X2是模型参数;以及
Qs是一待解的量化步阶值。
27.如权利要求26所述的单程图框速率控制的视讯编码系统,其特征在于,如果目前图框中的一宏区块经过再次的内编码模式判断,则复杂度计算单元重新计算该宏区块的复杂度,从而更新目前图框的复杂度。
28.如权利要求27所述的单程图框速率控制的视讯编码系统,其特征在于,在第二重建图框产生之后,根据下列式子将二次方程式的模型参数更新:
X 1 = ( Σ i = 1 w R i · C i Qs i ) ( Σ i = 1 w C i 4 Qs i 4 ) - ( Σ i = 1 w R i · C i 2 Qs i 2 ) ( Σ i = 1 w C i 3 Qs i 3 ) ( Σ i = 1 w C i 2 Qs i 2 ) ( Σ i = 1 w C i 4 Qs i 4 ) - ( Σ i = 1 w C i 3 Qs i 3 ) 2
以及
X 2 = ( Σ i = 1 w R i · C i 2 Qs i 2 ) - X 1 · ( Σ i = 1 w C i 3 Qs i 3 ) ( Σ i = 1 w C i 4 Qs i 4 )
其中w为先前图框的数目,而Ri、Ci和QSi分别代表第i个先前图框的速率、复杂度和量化步阶值。
29.如权利要求26所述的单程图框速率控制的视讯编码系统,其特征在于,目前图框的新量化参数QPRO是以下式修正:
     if QPRO>QPG+Δ,QPRO=QPG
else if QPRO<QPG-Δ,QPRO=QPG
其中QPG代表先前图框的量化参数,而Δ代表一预设临界值。
30.如权利要求29所述的单程图框速率控制的视讯编码系统,其特征在于,速率控制装置更进一步地将目前图框的新量化参数限定在一预设范围。
31.如权利要求21所述的单程图框速率控制的视讯编码系统,其特征在于,第二步编码装置包含:
一离散余弦转换及量化单元,用以对目前图框的余值信号进行离散余弦转换以及量化,由此产生目前图框的量化离散余弦转换系数;以及
一熵编码单元,将量化后的离散余弦转换系数和目前图框的文件头位进行熵编码,以产生输出比特流。
CNB2006100012748A 2005-01-31 2006-01-12 帧层速率控制的视讯编码方法和系统 Expired - Fee Related CN100463523C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/047,039 US8031774B2 (en) 2005-01-31 2005-01-31 Video encoding methods and systems with frame-layer rate control
US11/047,039 2005-01-31

Publications (2)

Publication Number Publication Date
CN1816151A true CN1816151A (zh) 2006-08-09
CN100463523C CN100463523C (zh) 2009-02-18

Family

ID=36756518

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2006100012748A Expired - Fee Related CN100463523C (zh) 2005-01-31 2006-01-12 帧层速率控制的视讯编码方法和系统

Country Status (3)

Country Link
US (1) US8031774B2 (zh)
CN (1) CN100463523C (zh)
TW (1) TWI304297B (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141636B (zh) * 2006-09-08 2010-07-21 联发科技股份有限公司 数据率控制方法以及视频信号编码器
WO2013067922A1 (en) * 2011-11-07 2013-05-16 LI, Yingjin Apparatus of decoding video data
CN103250412A (zh) * 2010-02-02 2013-08-14 数码士有限公司 用于率失真优化的图像编码/解码方法和用于执行该方法的装置
CN104038769A (zh) * 2014-06-11 2014-09-10 同济大学 帧内编码的码率控制方法
CN102685493B (zh) * 2011-03-10 2017-06-13 微软技术许可有限责任公司 用于视频编码速率控制的平均决定差预测
CN111405315A (zh) * 2012-06-12 2020-07-10 相干逻辑公司 用于编码和交付视频内容的分布式体系结构

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006096612A2 (en) * 2005-03-04 2006-09-14 The Trustees Of Columbia University In The City Of New York System and method for motion estimation and mode decision for low-complexity h.264 decoder
US20060227870A1 (en) * 2005-03-10 2006-10-12 Tao Tian Context-adaptive bandwidth adjustment in video rate control
US20060239344A1 (en) * 2005-04-25 2006-10-26 Ashish Koul Method and system for rate control in a video encoder
CN101253774B (zh) * 2005-07-18 2011-04-06 韩国电子通信研究院 使用视角时间参考图像缓冲器的预测编码/解码装置及使用其的方法
US7702161B2 (en) * 2005-10-28 2010-04-20 Aspeed Technology Inc. Progressive differential motion JPEG codec
US7734053B2 (en) * 2005-12-06 2010-06-08 Fujitsu Limited Encoding apparatus, encoding method, and computer product
JP4928176B2 (ja) * 2006-06-27 2012-05-09 キヤノン株式会社 映像符号化装置及び映像符号化方法
FR2919779B1 (fr) * 2007-08-02 2010-02-26 Canon Kk Procede et dispositif de codage avec perte d'un signal numerique
KR100961742B1 (ko) 2008-12-15 2010-06-07 충북대학교 산학협력단 H.264/avc의 매크로블록 단위 비트율 제어 방법
CN102598646B (zh) 2009-11-13 2014-05-07 皇家飞利浦电子股份有限公司 3d视频中深度过渡的有效编码
JP5625512B2 (ja) * 2010-06-09 2014-11-19 ソニー株式会社 符号化装置、符号化方法、プログラム、および記録媒体
WO2013086724A1 (en) * 2011-12-15 2013-06-20 Mediatek Singapore Pte. Ltd. Method of clippling transformed coefficients before de-quantization
US20140269901A1 (en) * 2013-03-13 2014-09-18 Magnum Semiconductor, Inc. Method and apparatus for perceptual macroblock quantization parameter decision to improve subjective visual quality of a video signal
GB2548578B (en) 2016-03-21 2020-10-07 Advanced Risc Mach Ltd Video data processing system
GB201605130D0 (en) * 2016-03-25 2016-05-11 Barco Nv Complexity control of video codec
CN109688411B (zh) * 2017-10-18 2022-05-10 深圳市中兴微电子技术有限公司 一种视频编码率失真代价估计方法和装置
CN109819263B (zh) * 2017-11-22 2022-08-19 腾讯科技(深圳)有限公司 视频编码方法、装置、计算机设备及存储介质
CN108200428B (zh) * 2018-01-29 2020-05-08 上海兆芯集成电路有限公司 宏块层中的码率的控制方法以及使用该方法的装置
CN113473136B (zh) * 2020-03-30 2024-02-09 炬芯科技股份有限公司 视频编码器及其码率控制装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100308627B1 (ko) * 1995-10-25 2001-11-02 마찌다 가쯔히꼬 중첩블럭이동보상및제로트리웨이브릿코딩을이용한저비트레이트비디오엔코더
US6160846A (en) * 1995-10-25 2000-12-12 Sarnoff Corporation Apparatus and method for optimizing the rate control in a coding system
US5920354A (en) * 1998-01-13 1999-07-06 Thomson Consumer Electronics HDTV to NTSC transcoder system
US7277483B1 (en) * 2000-04-18 2007-10-02 Ati International Srl Method and apparatus for rate control for constant-bit-rate finite-buffer-size video encoder
US20030215011A1 (en) * 2002-05-17 2003-11-20 General Instrument Corporation Method and apparatus for transcoding compressed video bitstreams
EP1520431B1 (en) * 2002-07-01 2018-12-26 E G Technology Inc. Efficient compression and transport of video over a network
EP1445958A1 (en) * 2003-02-05 2004-08-11 STMicroelectronics S.r.l. Quantization method and system, for instance for video MPEG applications, and computer program product therefor
JP2005020653A (ja) * 2003-06-30 2005-01-20 Nippon Telegr & Teleph Corp <Ntt> 動画像符号化装置とその方法、およびそのプログラムとそのプログラムを記録した記録媒体
US20090225829A2 (en) * 2005-07-06 2009-09-10 Do-Kyoung Kwon Method and apparatus for operational frame-layerrate control in video encoder
US7961783B2 (en) * 2005-07-07 2011-06-14 Mediatek Incorporation Methods and systems for rate control in video encoder

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101141636B (zh) * 2006-09-08 2010-07-21 联发科技股份有限公司 数据率控制方法以及视频信号编码器
CN103250412A (zh) * 2010-02-02 2013-08-14 数码士有限公司 用于率失真优化的图像编码/解码方法和用于执行该方法的装置
CN102685493B (zh) * 2011-03-10 2017-06-13 微软技术许可有限责任公司 用于视频编码速率控制的平均决定差预测
WO2013067922A1 (en) * 2011-11-07 2013-05-16 LI, Yingjin Apparatus of decoding video data
US9838681B2 (en) 2011-11-07 2017-12-05 Infobridge Pte. Ltd. Apparatus of decoding video data
US10212418B2 (en) 2011-11-07 2019-02-19 Infobridge Pte. Ltd. Method of decoding video data
US10778970B2 (en) 2011-11-07 2020-09-15 Infobridge Ptd. Ltd. Method and apparatus of decoding video data
CN111405315A (zh) * 2012-06-12 2020-07-10 相干逻辑公司 用于编码和交付视频内容的分布式体系结构
CN111405315B (zh) * 2012-06-12 2022-04-12 相干逻辑公司 用于编码和交付视频内容的分布式体系结构
US11483580B2 (en) 2012-06-12 2022-10-25 Coherent Logix, Incorporated Distributed architecture for encoding and delivering video content
CN104038769A (zh) * 2014-06-11 2014-09-10 同济大学 帧内编码的码率控制方法
CN104038769B (zh) * 2014-06-11 2017-05-03 同济大学 帧内编码的码率控制方法

Also Published As

Publication number Publication date
CN100463523C (zh) 2009-02-18
TW200629749A (en) 2006-08-16
US20060171456A1 (en) 2006-08-03
US8031774B2 (en) 2011-10-04
TWI304297B (en) 2008-12-11

Similar Documents

Publication Publication Date Title
CN1816151A (zh) 图框层速率控制的视讯编码方法和系统
KR101350723B1 (ko) 비디오 코딩을 위한 슬라이스 종속성에 기초한 레이트 제어 모델 적응 방법
US8824546B2 (en) Buffer based rate control in video coding
US20070009025A1 (en) Method and apparatus for operational frame-layer rate control in video encoder
JP4187405B2 (ja) 符号化方式におけるオブジェクトベースのレート制御装置及びその方法
CN1846446A (zh) 编码视频图像的方法和布置
EP1992169B1 (en) Method and apparatus for bit rate control in scalable video signal encoding using a rate-distortion optimisation
CN1941915A (zh) 视频编码方法及装置
JP2006509444A (ja) ピクチュアベースの先読みウィンドウによるレート制御
CN1617590A (zh) 视频数据传输系统
Tan et al. Single-pass rate control with texture and non-texture rate-distortion models
Sun et al. Rate distortion modeling and adaptive rate control scheme for high efficiency video coding (HEVC)
JP5649296B2 (ja) 画像符号化装置
US8687710B2 (en) Input filtering in a video encoder
US9503740B2 (en) System and method for open loop spatial prediction in a video encoder
Kuo et al. Rate control via adjustment of Lagrange multiplier for video coding
Lie et al. Two-pass rate-distortion optimized rate control technique for H. 264/AVC video
KR100809013B1 (ko) 복잡도 가변형 동영상 부호화 장치 및 그 방법
JP4281667B2 (ja) 画像符号化装置
US8064526B2 (en) Systems, methods, and apparatus for real-time encoding
CN1245840C (zh) 动态影像压缩的可变位元率控制装置
CN1245841C (zh) 固定影像品质的视频压缩位率控制装置
KR20090037288A (ko) 동영상 부호화 데이터율 제어를 위한 실시간 장면 전환검출 방법, 이를 이용한 영상통화 품질 향상 방법, 및영상통화 시스템
Kwon et al. RD optimized frame-layer bit allocation for H. 264
Kamaci et al. Frame bit allocation for H. 264 using cauchy-distribution based source modelling

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MEDIATEK (HEFEI) INC.

Free format text: FORMER OWNER: LIANFA SCIENCE AND TECHNOLOGY CO., LTD.

Effective date: 20111212

C41 Transfer of patent application or patent right or utility model
COR Change of bibliographic data

Free format text: CORRECT: ADDRESS; FROM: TAIWAN, CHINA TO: 230088 HEFEI, ANHUI PROVINCE

TR01 Transfer of patent right

Effective date of registration: 20111212

Address after: 230088, No. 3-5, building E, information Park, hi tech Development Zone, Anhui, Hefei

Patentee after: Mediatek (Hefei) Co., Ltd.

Address before: Hsinchu Science Park, Taiwan, China

Patentee before: MediaTek.Inc

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20090218

Termination date: 20210112

CF01 Termination of patent right due to non-payment of annual fee