CN1168320C - 对图像预测编码的方法及视频编码器 - Google Patents

对图像预测编码的方法及视频编码器 Download PDF

Info

Publication number
CN1168320C
CN1168320C CNB018001505A CN01800150A CN1168320C CN 1168320 C CN1168320 C CN 1168320C CN B018001505 A CNB018001505 A CN B018001505A CN 01800150 A CN01800150 A CN 01800150A CN 1168320 C CN1168320 C CN 1168320C
Authority
CN
China
Prior art keywords
motion vector
image
motion
interval
predictive mode
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
CNB018001505A
Other languages
English (en)
Other versions
CN1363186A (zh
Inventor
W��H��A��������˹
W·H·A·布吕尔斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1363186A publication Critical patent/CN1363186A/zh
Application granted granted Critical
Publication of CN1168320C publication Critical patent/CN1168320C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/53—Multi-resolution motion estimation; Hierarchical motion estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/56—Motion estimation with initialisation of the vector search, e.g. estimating a good candidate to initiate a search
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Abstract

一个传统的MPEG视频编码器搜索关于一个先前图像的前向运动矢量以及关于一个后来图像的后向运动矢量，以提供用于对B图像编码的运动补偿预测图像。这需要对于其中存储了所述图像的存储器进行2N次访问。搜索对于P图像的运动矢量需要N次存储器访问。本发明通过在P编码模式中运行两步骤运动矢量搜索来使用剩余容量。在第二个步骤中，在第一步骤中找到的运动矢量的精确度被进一步加工。这提供了用于P图像的更精确的运动矢量。

Description

对图像预测编码的方法及视频编码器
发明领域
本发明涉及一种视频编码器以及一种参考第一预测模式中的一个参考图像以及第二预测模式中的两个参考图像对图像预测编码的方法。
发明背景
开始段落中说明的预测视频编码器一般是公知的。例如，MPEG视频压缩标准提供了第一预测模式，其中参考序列的先前图像对图像进行编码。这样，被编码的图像称作P图像。先前图像可以是自主编码的I图像或另外的P图像。MPEG标准还提供了第二预测模式，其中参考序列的先前图像以及后来图像对图像进行编码。这样，被编码的图像称作B图像。它们被比P图像更有效地编码。
通常将运动补偿应用于相应的参考图像。为此，已知的视频编码器包括一个运动估算电路，用来搜索表示输入图像和相应的参考图像之间的运动的运动矢量。在第一(P)预测模式中，将运动估算电路用于搜索代表了输入图像和先前图像之间的运动的前向运动矢量。在第二(B)预测模式中，将运动估算电路用于在帧编码周期的第一间隔中搜索表示输入图像和先前图像之间的运动的前向运动矢量，并用于在所述帧编码周期的第二间隔中搜索表示输入图像和后来图像之间的运动的后向运动矢量。
发明目的及概述
本发明的一个目的是进一步改善视频编码器。
为此，根据本发明的视频编码器的特征在于运动估算电路被安排使用第一(P)预测模式中的帧编码周期中的第一个间隔来搜索表示输入图像和所述一个参考图像之间的运动的运动矢量，并使用所述帧编码周期中的第二个间隔以加工在第一个间隔中找到的运动矢量。
现有技术的视频编码器的运动估算电路在第二个(B)预测模式中的一个帧编码周期中执行两次运动矢量搜索。搜索过程的一次运行或发生被用于产生前向运动矢量，另一次运行被用于产生后向运动矢量。在第一个(P)预测模式中，只需要搜索前向运动矢量。本发明基于的认识是，运动估值器可以在P预测模式中被第二次使用，以进一步加工对于前向运动矢量的搜索。利用本发明，与P图像有关的运动矢量比与B图像有关的运动矢量更精确。这是有吸引力的，因为P图像通常比B图像互相之间离开得更宽。
在编码器的一个实施例中，其中运动估算电路被安排来从多个指定的候选运动矢量中搜索一个运动矢量，在第二个间隔中的所述候选运动矢量由在第一个间隔中找到的运动矢量的预定变量构成。
附图简述
图1表示根据本发明的视频编码器的示意图。
图2表示说明视频编码器的现有技术操作的图。
图3和4A-4C表示说明根据本发明的视频编码器的操作的图。
实施例描述
现在参考MPEG视频编码器来描述本发明。不过，本发明并不限于遵照MPEG标准的编码器。图1表示根据本发明的编码器的示意图。在本领域中，其基本设计是已知的。该编码器包括减法器1、正交变换(例如DCT)电路2、量化器3、变长编码器4、逆量化器5、逆变换电路6、加法器7、存储器单元8和运动估算和补偿电路9。
存储器单元8包括存储器81a和81b，其中的每个具有用于存储参考图像的容量。存储器单元还包括两个开关83和84。开关83控制由运动估值器读取所述两个存储器中的哪一个。开关84控制被编码的图像存储到所述两个存储器中的哪一个。在编码器的实际实施例中，开关被作为软件控制的存储器寻址操作来实现。
在视频编码领域中众所周知，不用参考先前编码图像而对I图像自主编码。减法器1是不起作用的。I图像被本地解码，并存储到存储器81a或81b之一。参考一个预测图像而对P图像和B图像进行预测编码。为此，减法器1从输入图像Xi中减去一个运动补偿预测图像Xp，这样，差被编码并被发送。加法器7将被本地解码的P图像与预测图像相加以更新所存储的参考图像。
图2表示概述编码器的现有技术操作的时序图。该图给出了在用于对IBBPBBP..序列的连续帧周期中的开关83和84的位置。这些帧由编码类型(I，B，P)和显示顺序来标识。I1是第一个帧，B2是第二个帧，B3是第三个帧，P4是第五个帧等。
更具体地，图2表示I图像(I1)被写入存储器81a(位置a处的开关)。第一个P图像(P4)被参考所存储的I图像(位置a处的开关83)而预测编码，并写入存储器81b(位置b处的开关84)。后来的P图像(P7，P10，…)被交替读出并写入存储器81a和81b。
参考先前和后来的I或P图像，对B图像编码。注意，这需要图像的编码顺序与显示顺序不同。其电路在本领域中是公知的，所以图中未给出。运动估算和补偿电路9访问存储器81a和81b，以(参考先前图像)产生前向运动矢量和(参考后来图像)产生后向运动矢量。为此，开关在位置a和位置b之间切换。为了简化起见，图中所示的所述切换是基于逐帧的。实际上，切换是基于宏块等级进行的。
运动估算电路执行一个指定的运动矢量搜索过程。所述过程需要读出各自的存储器一个指定的次数，例如N。如图2所示，B图像的编码需要每个帧周期的2N次存储器访问。在P编码模式中，相同的矢量搜索过程需要N次存储器访问，而2N次访问是可用的。本发明利用该认识。为此，运动矢量搜索过程对于P图像执行两个步骤(pass)。在第一个步骤中，利用‘标准’精确来找到运动矢量。在第二个步骤中，执行相同的过程以进一步加工在第一个步骤中找到的运动矢量的正确性。图3给出了两步骤操作，视情况而定，用‘a’或‘b’表示加工步骤。再次注意，实际上，基于逐个宏块来执行两步骤操作。
图4A-4C表示进一步说明两步骤运动估算过程的图像的各部分。图4A表示当前图像400要被预测(P)编码。该图像被划分成宏块。要被编码的当前宏块包括一个目标401。参考编号41、42、43和44表示在相邻宏块的编码过程中已经找到的的运动矢量。视情况而定，图4B和4C表示存储在存储器81a和81b中之一的先前I或P图像402。在先前参考图像中，目标(现在以403表示)在一个不同的位置，并且具有稍微不同的形状。在本例中，运动估值器从多个候选运动矢量中搜索最佳运动矢量。用于选择恰当的候选运动矢量的各种策略在本领域中是公知的。这里假设图4A中的由41、42、43和44表示的运动矢量在对于当前宏块的候选运动矢量中。图4B表示第一个运动矢量搜索过程步骤的结果。可以看到，候选运动矢量43提供输入图像的当前宏块和参考图像的相同尺寸的块404之间的最佳匹配。
在第二步骤中，相同的搜索算法用于不同的候选矢量。更具体地，在第一个步骤中找到的运动矢量是一个候选运动矢量。其它候选矢量是它的进一步加工。这在图4C中表示，其中43是在第一个步骤中找到的运动矢量，并且八个点45表示新的候选运动矢量的结束点。它们与运动矢量43相差一个(或者半个)象素。相同的搜索算法现在对于新的候选矢量被执行。在本例中，可以看到，块405与当前宏块最相似。因此，运动矢量46是用于产生运动补偿预测图像Xp的运动矢量。对于P图像的两步骤操作尤其具有吸引力，因为它为比B图像分开更宽的图像提供了更精确的运动矢量。
本发明可以概述如下。一个传统的MPEG视频编码器搜索关于先前图像的前向运动矢量，并搜索关于后来图像的后向运动矢量，以提供一个用于对B图像编码的运动补偿预测图像。这需要对于其中存储所述图像的存储器的2N次访问。搜索对于P图像的运动矢量需要N次存储器访问。本发明通过在P编码模式中运行两步骤运动矢量搜索来使用剩余容量。在第二个步骤中，在第一个步骤中找到的运动矢量的精确度被进一步加工。这提供了用于P图像的更精确的运动矢量。

Claims (6)

1.一种对图像预测编码的视频编码器，所述编码器工作在第一预测模式或第二预测模式下，第一预测模式用于参考一个参考图像对一个输入图像编码，第二预测模式用于参考两个参考图像对一个输入图像编码，所述编码器包括一个运动估算电路，在第二预测模式下：
使用一个帧编码周期中的第一间隔，来搜索表示一个输入图像和所述两个参考图像之一之间的运动的运动矢量，以及
使用所述帧编码周期中的第二间隔来搜索表示所述输入图像和所述两个参考图像中的另一个之间的运动的运动矢量；
其特征在于所述运动估算电路被安排来在第一预测模式下：
使用一个帧编码周期中的第一间隔，来搜索表示一个输入图像和所述一个参考图像之间的运动的运动矢量，以及
使用所述帧编码周期中的第二间隔来加工在第一间隔中找到的运动矢量。
2.如权利要求1所述的视频编码器，其中运动估算电路被安排来从多个指定的候选运动矢量中搜索一个运动矢量，在第二间隔中的所述候选运动矢量由在第一间隔中找到的运动矢量的预定变量构成。
3.如权利要求1或2所述的视频编码器，其中在第一预测模式中的所述参考图像是一个图像序列的先前图像，在第二预测模式中的参考图像之一是所述序列的先前图像，在第二预测模式中的参考图像的另一个是所述序列的后来图像。
4.一种对图像预测编码的方法，所述方法包括在第一预测模式下参考一个参考图像对一个输入图像编码，或在第二预测模式下参考两个参考图像对一个输入图像编码，在第二模式下的所述方法包括以下步骤：
在一个帧编码周期中的第一间隔中，搜索表示一个输入图像和所述两个参考图像之一之间的运动的运动矢量，以及
在所述帧编码周期中的第二间隔中，搜索表示所述输入图像和所述两个参考图像中的另一个之间的运动的运动矢量；
其特征在于在第一模式下的所述方法包括以下步骤：
在一个帧编码周期中的第一间隔中，搜索表示一个输入图像和所述一个参考图像之间的运动的运动矢量，以及
在所述帧编码周期中的第二间隔中，加工在第一间隔中找到的运动矢量。
5.如权利要求4所述的方法，其中搜索一个运动矢量的步骤包括从多个指定候选运动矢量中选择一个运动矢量，第二间隔中的所述候选运动矢量由在第一间隔中找到的运动矢量的预定变量构成。
6.如权利要求4或5所述的方法，其中在第一预测模式中的所述参考图像是一个图像序列的先前图像，在第二预测模式中的参考图像之一是所述序列的一个先前图像，在第二预测模式中的参考图像中的另一个是所述序列的后来图像。
CNB018001505A 2000-02-01 2001-01-15 对图像预测编码的方法及视频编码器 Expired - Fee Related CN1168320C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP00200332.5 2000-02-01
EP00200332 2000-02-01

Publications (2)

Publication Number Publication Date
CN1363186A CN1363186A (zh) 2002-08-07
CN1168320C true CN1168320C (zh) 2004-09-22

Family

ID=8170964

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB018001505A Expired - Fee Related CN1168320C (zh) 2000-02-01 2001-01-15 对图像预测编码的方法及视频编码器

Country Status (6)

Country Link
US (1) US6687297B2 (zh)
EP (1) EP1169866A1 (zh)
JP (1) JP2003522486A (zh)
KR (1) KR100734759B1 (zh)
CN (1) CN1168320C (zh)
WO (1) WO2001058166A1 (zh)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4015934B2 (ja) 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
KR100865034B1 (ko) 2002-07-18 2008-10-23 엘지전자 주식회사 모션 벡터 예측 방법
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
CA2473767C (en) 2002-11-20 2012-10-23 Matsushita Electric Industrial Co., Ltd. Moving picture prediction method, moving picture coding method and apparatus, and moving picture decoding method and apparatus
GB0328758D0 (en) 2003-12-11 2004-01-14 British Telecomm Communications system with direct access mailbox
CN100562109C (zh) * 2004-01-16 2009-11-18 Nxp股份有限公司 对视频信息进行压缩/解压缩的方法
JP2005223631A (ja) * 2004-02-05 2005-08-18 Sony Corp データ処理装置およびその方法と符号化装置および復号装置
US8780957B2 (en) * 2005-01-14 2014-07-15 Qualcomm Incorporated Optimal weights for MMSE space-time equalizer of multicode CDMA system
KR20070117660A (ko) 2005-03-10 2007-12-12 콸콤 인코포레이티드 컨텐트 적응적 멀티미디어 처리
US9113147B2 (en) 2005-09-27 2015-08-18 Qualcomm Incorporated Scalability techniques based on content information
US8948260B2 (en) 2005-10-17 2015-02-03 Qualcomm Incorporated Adaptive GOP structure in video streaming
US8654848B2 (en) * 2005-10-17 2014-02-18 Qualcomm Incorporated Method and apparatus for shot detection in video streaming
US20070206117A1 (en) * 2005-10-17 2007-09-06 Qualcomm Incorporated Motion and apparatus for spatio-temporal deinterlacing aided by motion compensation for field-based video
CN101379835B (zh) * 2006-02-02 2011-08-24 汤姆逊许可公司 使用组合参考双向预测进行运动估计的方法和设备
EP1999939B1 (en) 2006-03-30 2016-12-28 BRITISH TELECOMMUNICATIONS public limited company Telecommunications calls with transfer of additional data
US9131164B2 (en) * 2006-04-04 2015-09-08 Qualcomm Incorporated Preprocessor method and apparatus
JP4597103B2 (ja) * 2006-08-30 2010-12-15 Ｏｋｉセミコンダクタ株式会社 動きベクトル探索方法及び装置
JP2008124772A (ja) * 2006-11-13 2008-05-29 Hitachi Ltd 符号化装置及び符号化方法
US8369403B2 (en) * 2007-09-12 2013-02-05 Sony Corporation Image processing device and image processing method
US20090086820A1 (en) * 2007-09-28 2009-04-02 Edward Hong Shared memory with contemporaneous access for use in video encoding and methods for use therewith
KR100939917B1 (ko) 2008-03-07 2010-02-03 에스케이 텔레콤주식회사 움직임 예측을 통한 부호화 시스템 및 움직임 예측을 통한부호화 방법

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5598514A (en) * 1993-08-09 1997-01-28 C-Cube Microsystems Structure and method for a multistandard video encoder/decoder
US5594504A (en) * 1994-07-06 1997-01-14 Lucent Technologies Inc. Predictive video coding using a motion vector updating routine
KR0126871B1 (ko) * 1994-07-30 1997-12-29 심상철 양방향 이동벡터 추정을 위한 고속 블럭정합 방식
US5768537A (en) * 1996-02-22 1998-06-16 International Business Machines Corporation Scalable MPEG2 compliant video encoder
JP3159713B2 (ja) * 1997-03-14 2001-04-23 クセルト―セントロ・ステユデイ・エ・ラボラトリ・テレコミニカチオーニ・エツセ・ピー・アー デジタル化ビデオシーケンス符号器における運動推定回路
US6118823A (en) * 1997-04-01 2000-09-12 International Business Machines Corporation Control scheme for shared-use dual-port predicted error array
US6973126B1 (en) * 1999-03-05 2005-12-06 Kdd Corporation Video coding apparatus according to a feature of a video picture
US6597739B1 (en) * 2000-06-20 2003-07-22 Microsoft Corporation Three-dimensional shape-adaptive wavelet transform for efficient object-based video coding

Also Published As

Publication number Publication date
JP2003522486A (ja) 2003-07-22
EP1169866A1 (en) 2002-01-09
KR100734759B1 (ko) 2007-07-06
US20010017888A1 (en) 2001-08-30
WO2001058166A1 (en) 2001-08-09
US6687297B2 (en) 2004-02-03
CN1363186A (zh) 2002-08-07
KR20010109334A (ko) 2001-12-08

Similar Documents

Publication Publication Date Title
CN1168320C (zh) 对图像预测编码的方法及视频编码器
KR100319944B1 (ko) 화상부호화장치및화상복호장치
US6289049B1 (en) Method for coding motion vector in moving picture
EP0976251B1 (en) Method and arrangement for video coding
KR100739281B1 (ko) 움직임 추정 방법 및 장치
CN1166207C (zh) 对视频信号进行编码的方法、装置及采用该装置的摄像机
US20100104020A1 (en) Apparatus capable of performing both block-matching motion compensation and global motion compensation and method thereof
CN101127902A (zh) 具有用于运动向量存储的地址管理机制的帧间预测处理器
CN109348234B (zh) 一种高效亚像素运动估计方法及系统
WO2008003220A1 (en) Motion vector estimation method
US8135224B2 (en) Generating image data
US20050135481A1 (en) Motion estimation with scalable searching range
CN1363188A (zh) 以可选择的图像分辨率进行视频编码和解码
US11057637B1 (en) Efficient video motion estimation by reusing a reference search region
CN1925616B (zh) 一种宏块对级帧场自适应编解码方法
EP1461770A2 (en) Image data retrieval
US20020168008A1 (en) Method and apparatus for coding moving pictures
CN100553341C (zh) 运动矢量检测装置和运动矢量检测方法
CN1113638A (zh) 用于运动补偿视像解码器的存储系统
KR20050068001A (ko) 블록정합에 의한 움직임 벡터 탐색방법 및 탐색장치
US20070153909A1 (en) Apparatus for image encoding and method thereof
US20040179604A1 (en) Motion vector selection based on a preferred point
CN101321288B (zh) 参考数据载入方法、装置及视频编码器
CN113453008B (zh) 视频解码方法、视频编码方法、相关设备及介质
WO2022021310A1 (zh) 编码方法、装置、计算处理设备、计算机程序及存储介质

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee