CN100474933C - 动态图像解码方法及动态图像解码装置 - Google Patents

动态图像解码方法及动态图像解码装置 Download PDF

Info

Publication number
CN100474933C
CN100474933C CNB038053462A CN03805346A CN100474933C CN 100474933 C CN100474933 C CN 100474933C CN B038053462 A CNB038053462 A CN B038053462A CN 03805346 A CN03805346 A CN 03805346A CN 100474933 C CN100474933 C CN 100474933C
Authority
CN
China
Prior art keywords
picture
motion vector
piece
decoding
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB038053462A
Other languages
English (en)
Other versions
CN1640148A (zh
Inventor
近藤志
野真也
羽饲诚
安倍清史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1640148A publication Critical patent/CN1640148A/zh
Application granted granted Critical
Publication of CN100474933C publication Critical patent/CN100474933C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Abstract

本发明的动态图像编码方法及动态图像解码方法，其具备：编码控制部(110)，在以时间显示顺序考虑夹在(I)图片或(P)图片之间的多个连续的(B)图片的编码顺序时，优先确定距已编码完的图片最远的图片，并按进行编码的顺序替换各图片；和模式选择部(109)，在由直接模式进行编码时，当对编码对象图片的在后参照图片中、与编码对象块处于相同位置的块进行编码时使用前向运动矢量的情况下，对该前向运动矢量进行换算，生成编码对象块的运动矢量。

Description

动态图像解码方法及动态图像解码装置
技术领域
本发明涉及一种动态图像编码方法及动态图像解码方法，尤其涉及对处理对象图片实施将处理完的图片作为参照图片的图片间预测编码处理及图片间预测解码处理的方法。
背景技术
在动态图像编码处理中，通常利用动态图像具有的空间方向和时间方向的冗余性来压缩信息量。这里，通常使用向频域的变换来作为使用空间方向的冗余性的方法，使用图片(图象)间预测编码处理来作为使用时间方向冗余性的方法。在图片间预测编码处理中，当编码某个图片时，将相对编码处理对象的编码对象图片按显示时间顺序处于之前或之后的编码处理完的图片作为对应于编码对象图片的参照图片。另外检测编码对象图片相对该参照图片的运动量，并根据该运动量进行运动补偿处理，通过将运动补偿处理后得到的图像数据与编码对象图片的图像数据的差分，去除时间方向的冗余性。并通过对该差分值去除空间方向的冗余性，压缩相对编码对象图片的信息量。
在当前标准中称为H.264的动态图像编码方式下，不进行图片间预测编码处理，即将进行图片内编码处理的图片称为I图片(图象)。另外，将参照按显示时间顺序处于编码对象图片之前或之后的已处理完的1个图片、并进行图片间预测编码的图片称为P图片，将参照按显示时间顺序处于编码对象图片之前或之后的已处理完的两个图片、并进行图片间预测编码的图片称为B图片(例如参照ISO/IEC14496-2[Information technology-Coding of audio-visualobjects-Part2：Visual]pp.218-219)。
图1(a)是表示上述动态图像编码方式中各图片与对应的参照图片之间的关系图，图1(b)是表示编码生成的码列顺序的图。
图片I1是I图片，图片P5、P9、P13是P图片，图片B2、B3、B4、B6、B7、B8、B10、B11、B12是B图片。即，P图片P5、P9、P13如箭头所示，分别将I图片I1、P图片P5、P图片P9用作参照图片，实施图片间预测编码。
另外，B图片B2、B3、B4分别如箭头所示，将I图片I1及P图片P5用作参照图片，实施图片间预测编码，B图片B6、B7、B8分别如箭头所示，将P图片P5及P图片B9用作参照图片，实施图片间预测编码，B图片B10、B11、B12分别如箭头所示，将P图片P9及P图片P13用作参照图片，实施图片间预测编码。
在以上编码时，用作参照图片的图片先于参照该图片的图片进行编码。因此，通过上述编码生成的码列变为图1(b)所示的图片顺序。
然而，在H.264的动态图像编码方式下，可对B图片的编码选择称为直接模式(direct mode)的编码模式。用图2来说明直接模式中的帧间预测方法。图2是表示直接模式下的运动矢量的说明图，表示用直接模式来编码图片B6的块a的情况。此时，使用被用于将作为位于图片B6之后的参照图片的图片P9中、处于与块a相同位置上的块b进行了编码时的运动矢量c。运动矢量c是编码块b时使用的运动矢量，并参照图片P5。块a使用与运动矢量c平行的运动矢量，根据作为前向参照图片的图片P5与作为后向参照图片的图片P9，取得参照块(ブロツク)，并进行双向预测来编码。即用于编码块a时的运动矢量对于图片P5变为运动矢量d，对于图片P9变为运动矢量e。
但是，如上所述，在对B图片实施参照I图片或P图片的图片间预测编码处理时，有时编码对象图片与参照图片间的时间距离变长，在这种情况下，导致编码效率低。尤其在B图片的插入个数、即相邻的I图片与P图片之间、或位于最近位置的两个P图片之间配置的B图片的数量变多时，编码效率明显降低。
因此，为了解决上述问题而提出本发明，其目的在于提供一种动态图像编码方法和动态图像解码方法，即使在插入I图片与P图片之间、或插入P图片之间的B图片个数变多的情况下，也能避免B图片的编码效率恶化。另外，其目的在于提供一种动态图像编码方法和动态图像解码方法，可使直接模式下的编码效率提高。
发明内容
为了实现上述目的，本发明采取一下技术方案：
一种动态图像解码方法，将被编码的图片解码，其特征在于：
包含解码步骤，在将解码对象块解码时根据同一位置块的运动矢量来确定所述解码对象块的运动矢量，所述同一位置块是已解码完的图片内的块，并且是与所述解码对象块在同一位置的块，
并使用上述解码对象块的运动矢量和与上述解码对象块的运动矢量对应的参照图片，将所述解码对象块以直接模式进行运动补偿并解码，在所述解码步骤中，在所述同一位置块使用两个运动矢量和这两个运动矢量各自对应的两个参照图片被进行解码时，
相对解码所述同一位置块时使用的所述两个运动矢量中的一个运动矢量，通过使用表示图片的显示顺序的信息差进行换算，由此，相对所述解码对象块生成用于将所述解码对象块以直接模式进行运动补偿并解码的两个运动矢量，
使用所述生成的两个运动矢量和所述被生成的两个运动矢量各自对应的两个参照图片，将所述解码对象块以直接模式进行运动补偿并解码。
所述的动态图像解码方法，其特征在于：在各自对应所述解码对象块的两个运动矢量的所述两个参照图片中，第1参照图片是包含所述同一位置块的图片，第2参照图片是在将所述同一位置块解码时用的两个参照图片中的一个，并且是与生成所述解码对象块的两个运动矢量时作为换算对象的运动矢量对应的参照图片。
所述的动态图像解码方法，其特征在于：所述同一位置块以直接模式被解码时，使用解码所述同一位置块时用的两个运动矢量中的一个运动矢量，生成所述解码对象块的两个运动矢量。
所述的动态图像解码方法，其特征在于：表示图片的显示顺序的所述信息是：第1信息，表示包含所述解码对象块的图片的显示顺序；
第2信息，表示所述解码对象块的所述第2参照图片的显示顺序；以及，第3信息，表示包含所述同一位置块的图片的并且是所述解码对象块的所述第1参照图片的图片显示顺序，
所述信息差是第1信息和第2信息的差，第1信息和第3信息的差以及第2信息和第3信息的差。
一种动态图像解码装置，将被编码的图片解码，其特征在于：包含解码装置，在将解码对象块解码时根据同一位置块的运动矢量来确定所述解码对象块的运动矢量，所述同一位置块是已解码完的图片内的块，并且是与所述解码对象块在同一位置的块，
并使用上述解码对象块的运动矢量和与上述解码对象块的运动矢量对应的参照图片，将所述解码对象块以直接模式进行运动补偿并解码，所述解码装置，在所述同一位置块使用两个运动矢量和这两个运动矢量各自对应的两个参照图片而被解码时，
相对解码所述同一位置块时使用的所述两个运动矢量中的一个运动矢量，通过使用表示图片的显示顺序的信息差进行换算，由此，相对所述解码对象块生成用于将所述解码对象块以直接模式进行运动补偿并解码的两个运动矢量，使用所述生成的两个运动矢量和所述被生成的两个运动矢量各自对应的两个参照图片，将所述解码对象块以直接模式进行运动补偿并解码。
另外，在编码作为编码对象的B图片的编码对象块作为直接模式的情况下，对根据编码与所述编码对象块处于同一位置上的在后P图片内的块时所用的该块参照的第1参照图片，用表示图片显示顺序的信息差对第1运动矢量进行换算，由此也可得到运动补偿所述编码对象块时的运动矢量。
由此，在选择直接模式的情况下，对在后P图片的第1运动矢量进行换算，故可不必向码列附加运动矢量信息，并且可提高预测效率。
另外，在编码作为编码对象的B图片的编码对象块作为直接模式的情况下，至少使用根据第1参照图片的第1运动矢量来编码与所述编码对象块处于同一位置上的所述第2参照图片内的块时，用表示图片显示顺序的信息差对所述第1运动矢量进行换算，在仅用根据第2参照图片的第2运动矢量来编码处于所述同一位置上的所述第2参照图片内的块时，用表示图片显示顺序的信息差对所述第2运动矢量进行换算，由此也可得到运动补偿所述编码对象块时的运动矢量。
由此，在选择直接模式的情况下，若第2参照图片具有第1运动矢量，则对该第1运动矢量进行换算，另外，若第2参照图片不具有第1运动矢量而仅具有第2运动矢量，则对该第2运动矢量进行换算，故可不必向码列附加运动矢量信息，并且可提高预测效率。
根据本发明的动态图像解码方法，解码将对应于构成动态图像的各图片的图像数据编码后生成的码列，其特征在于：包含解码步骤，将已解码完的图片作为参照图片，对成为解码对象的对象图片进行图片间预测解码，在所述解码步骤中，当基于将已解码完的图片用作第1参照图片和第2参照图片的双向参照来进行图片间预测解码时，解码至少包含各自在显示时间顺序中最近的图片的码列，作为所述第1参照图片和第2参照图片。
由此，可在解码时，对在基于双向参照进行图片间预测编码处理时、将显示时间顺序中位于附近的图片用作第1参照图片和第2参照图片进行编码后生成的码列进行解码。
另外，根据本发明的动态图像解码方法，解码对应于构成动态图像的各图片的图像数据后生成的码列，其特征在于：包含解码步骤，将已解码完的图片作为参照图片，对成为解码对象的对象图片进行图片间预测解码，在所述解码步骤中，解码对象图片是具有进行基于双向参照的图片间预测解码块的图片，该双向参照是将已解码完的图片用作第1参照图片和第2参照图片，并且，在根据已解码完的块所具有的运动矢量对解码对象块进行解码、并作为由所述解码对象块的运动矢量进行动作补偿的直接模式时，对根据解码与所述解码对象块处于同一位置上的所述第2参照图片内的块时所用的该块参照的第1参照图片，用表示图片显示顺序的信息差对第1运动矢量进行换算，由此得到动作补偿所述解码对象块时的运动矢量。
由此，在选择直接模式的情况下，对第2参照图片的第1运动矢量进行换算，所以可在解码时正确进行解码处理。
解码对象图片是具有基于双向参照进行图片间预测解码块的图片，并且，在对解码对象块进行解码并作为直接模式的情况下，根据解码与所述解码对象块处于同一位置上的所述第2参照图片内的块时所用的该块参照的第2参照图片，用表示图片显示顺序的信息差对第2运动矢量进行换算，也可得到动作补偿所述解码对象块时的运动矢量。
由此，在选择直接模式的情况下，对第2参照图片的第2运动矢量进行换算，所以可在解码时正确进行解码处理。
另外，解码对象图片是具有基于双向参照进行图片间预测解码块的图片，且在对解码对象块进行解码并作为直接模式的情况下，当在直接模式下解码与所述解码对象块处于同一位置上的所述第2参照图片内的块时，根据解码所述第2参照图片内的块时实质上使用的该块参照的第1参照图片，用表示参照图片显示顺序的信息差对第1运动矢量进行换算，也可得到动作补偿所述解码对象块时的运动矢量。
由此，在选择直接模式的情况下，对第2参照图片实质上使用的第1运动矢量进行换算，所以可在解码时正确进行解码处理。
另外，解码对象图片是具有基于双向参照进行图片间预测解码块的图片，并且，在对解码对象块进行解码并作为直接模式的情况下，根据解码与所述解码对象块处于同一位置上的块时所用的该块参照的第1参照图片，用表示图片显示顺序的信息差对第1运动矢量进行换算，也可得到动作补偿所述解码对象块时的运动矢量，其中，该块在显示时间顺序上位于后面，在基于将已解码完的图片用作第1参照图片的单向参照进行图片间预测解码的图片内。
由此，在选择直接模式的情况下，对基于单向参照来进行图片间预测解码的图片的第1运动矢量进行换算，所以可在解码时正确进行解码处理。
另外，本发明不仅可实现为这种动态图像编码方法和动态图像解码方法，也可实现为具备将这种动态图像编码方法和动态图像解码方法包含的特征步骤作为部件的动态图像编码装置和动态图像解码装置。另外，可实现为由动态图像编码方法来编码的码列，并可经CD-ROM等记录媒体或因特网等传输媒体来配送。
附图说明
图1是表示现有动态图像编码方法中的图片预测关系和顺序的模式图，(a)是表示各图片与对应的参照图片的关系图，(b)是表示编码生成的码列的顺序图。
图2是表示现有动态图像编码方法中在直接模式(ダイレクトモ—ド)下的运动矢量的模式图。
图3是表示使用本发明的动态图像编码方法的动态图像编码装置一实施例的结构框图。
图4是本发明实施例中的图片序号与相对指针(インデツクス)
的说明图。
图5是基于本发明实施例的动态图像编码装置的图像编码信号格式的原理图。
图6是表示本发明实施例的替换用存储器中的图片顺序的模式图，(a)是表示输入顺序的图，(b)是表示替换顺序的图。
图7是表示本发明实施例中直接模式下的运动矢量的模式图，(a)是表示对象块是图片B7情况下、(b)是表示对象块a是图片B6情况下的第一和第二例的图，(c)是表示对象块a是图片B6情况下的第三例的图，(d)是表示对象块a是图片B6情况下的第四例的图。
图8是表示本发明实施例中直接模式下的运动矢量的模式图，(a)是表示对象块a是图片B6情况下的第五例的图，(b)是表示对象块a是图片B6情况下的第六例的图，(c)是表示对象块a是图片B6情况下的第七例的图，(d)是表示对象块a是图片B8情况下的图。
图9是表示本发明实施例中的图片预测关系和顺序的模式图，(a)是表示按显示时间顺序表示的各图片的预测关系图，(b)是表示替换成编码顺序(码列顺序)的图片顺序的图。
图10是表示本发明实施例中的图片预测关系和顺序的模式图，(a)是表示按显示时间顺序表示的各图片的预测关系图，(b)是表示替换成编码顺序(码列顺序)的图片顺序的图。
图11是表示本发明实施例中的图片预测关系和顺序的模式图，(a)是表示按显示时间顺序表示的各图片的预测关系图，(b)是表示替换成编码顺序(码列顺序)的图片顺序的图。
图12是分层表示本发明实施例的图6所示图片预测结构的模式图。
图13是分层表示本发明实施例的图9所示图片预测结构的模式图。
图14是分层表示本发明实施例的图10所示图片预测结构的模式图。
图15是分层表示本发明实施例的图11所示图片预测结构的模式图。
图16是表示使用本发明动态图像解码方法的动态图像解码装置一实施例的结构框图。
图17是存储由计算机系统来实现实施例的动态图像编码方法和动态图像解码方法用程序用记录媒体的说明图，(a)是表示作为记录媒体主体的软盘的物理格式实例的说明图，(b)是表示从软盘的正面看到的外观、截面结构及软盘的说明图，(c)是表示在软盘FD上进行上述程序的记录再现用的结构说明图。
图18是表示实现内容配送服务的内容提供系统的整体结构框图。
图19是表示手机一例的示意图。
图20是表示手机的内部结构框图。
图21是表示数字广播用系统的整体结构框图。
具体实施方式
参照附图来说明本发明的实施例。
(实施例1)
图3是表示使用本发明的动态图像编码方法的动态图像编码装置一实施例的结构框图。
动态图像编码装置如图3所示，具备：替换用存储器101、差分运算部102、预测误差编码部103、码列生成部104、预测误差解码部105、加法运算部106、参照图片用存储器107、运动矢量检测部108、模式选择部109、编码控制部110、开关111-115和运动矢量存储部116。
替换用存储器101存储按显示时间顺序以图片单位输入的动态图像。编码控制部110按编码顺序替换存储在替换用存储器101中的各图片。另外，编码控制部110控制运动矢量向运动矢量存储部116的存储动作。
运动矢量检测部108将编码完的解码图像数据用作参照图片，在该图片内的搜索区域中检测表示预测为最佳位置的运动矢量。模式选择部109使用运动矢量检测部108检测到的运动矢量，确定宏块的编码模式，根据该编码模式生成预测图像数据。差分运算部102算出从替换用存储器101中读出的图像数据与从模式选择部109输入的预测图像数据之差，生成预测误差图像数据。
预测误差编码部103对输入的预测误差图像数据进行频率变换或量化等编码处理，生成编码数据。码列生成部104对输入的编码数据进行可变长编码等，并通过附加从模式选择部109输入的运动矢量的信息、编码模式的信息和其它关联信息等，生成码列。
预测误差解码部105对输入的编码数据进行去量化或逆频率变换等解码处理，生成解码差分图像数据。加法运算部106将从预测误差解码部105输入的解码差分图像数据和从模式选择部109输入的预测图像数据相加，生成解码图像数据。参照图片用存储器107存储生成的解码图像数据。
图4是图片与相对指针的说明图。相对指针用于唯一识别参照图片用存储器107中存储的参照图片，如图4所示，是对应附加于各图片上的序号。另外，相对指针用于指示通过图片间预测编码块时使用的参照图片。
图5是基于动态图像编码装置的动态图像编码信号格式的原理图。1图片单位的编码信号Picture由图片开头中包含的头编码信号Header、基于直接模式的块的编码信号Block1、基于直接模式外的图片间预测的块的编码信号Block2等构成。另外，基于直接模式外的图片间预测的块的编码信号Block2顺序具有表示图片间预测中使用的两个参照图片用的第1相对指针Rldx1和第2相对指针Rldx2、第1运动矢量MV1、第2运动矢量MV2。另一方面，基于直接模式的编码信号Block1不具有第1相对指针Rldx1、第2相对指针Rldx2、第1运动矢量MV1、第2运动矢量MV2。可由预测种类PredType来判断使用第1相对指针Rldx1、第2相对指针Rldx2的哪一个。另外，第1相对指针Rldx1表示第1参照图片，第2相对指针Rldx2表示第2参照图片。即，是第1参照图片还是第2参照图片由码列中的数据位置来确定。
基于将显示时间顺序中位于前或后之一的、已编码完的图片用作第1参照图片单向参照进行图片间预测编码的图片是P图片，基于将显示时间顺序中位于前或后之一的、已编码完的图片用作第1参照图片和第2参照图片的双向参照进行图片间预测编码的图片是B图片，但本实施例中，将第1参照图片作为前向参照图片、将第2参照图片作为后向参照图片来进行说明。另外，将作为分别相对第1参照图片和第2参照图片的运动矢量的第1运动矢量、第2运动矢量分别作为前向运动矢量、后向运动矢量来进行说明。
下面，用图4(a)来说明第1相对指针、第2相对指针的附加方法。
在第1相对指针中，首先就表示显示顺序的信息而言，对编码对象块以前的参照图片，按接近编码对象图片的顺序分配从0开始的值。对所有编码对象以前的参照图片分配从0开始的值，接着，对编码对象块以后的参照图片，按接近编码对象图片的顺序分配随后的值。
在第2相对指针中，首先就表示显示顺序的信息而言，对编码对象块以后的参照图片，按接近编码对象图片的顺序分配从0开始的值。对所有编码对象以后的参照图片分配从0开始的值，接着，对编码对象块以前的参照图片，按接近编码对象图片的顺序分配随后的值。
例如，图4(a)中，在第1相对指针Rldx1为0、第2相对指针Rldx2为1的情况下，前向参照图片是图片序号为6的B图片，后向参照图片是图片序号为9的P图片。这里，图片序号是表示显示顺序的序号。
块中的相对指针由可变长码字来表现，值越小，则分配码长越短的代码。通常，选择距编码对象图片最近的图片作为图片间预测的参照图片，所以若如上所述按距编码对象图片近的顺序分配相对指针值，则编码效率提高。
另一方面，通过用编码信号中的缓冲器控制信号(图5所示Header内的RPSL)来明示指示，可任意变更参照图片对相对指针的分配。通过该分配变更，可将第2相对指针变为0的参照图片变为参照图片用存储器107内的任意参照图片，例如，如图4(b)所示，可变更相对指针相对图片的分配。
下面，说明上述构成的动态图像编码装置的动作。
图6是表示替换用存储器101中的图片顺序的说明图，(a)是表示输入顺序的说明图，(b)是表示替换顺序的说明图。其中，竖线表示图片，各图片右下所示记号中，第1文字的α头表示图片类型(I、P或B)，第2文字以后的数字表示图片序号，该图片序号表示显示顺序。
输入图像例如图6(a)所示，按显示时间顺序以图片单位输入替换用存储器101。若向替换用存储器101输入图片，则编码控制部110将输入替换用存储器101内的各图片替换成进行编码的顺序。根据图片间预测编码中的参照关系进行向编码顺序的替换，用作参照图片的图片被替换，以使之在用作参照图片的图片之前先被编码。
这里，设P图片参照1个显示时间顺序上位于前方或后方的附近已编码完的I或P图片。另外，设B图片参照两个显示时间顺序上位于前方或后方的附近已编码完的图片。
图片的编码顺序为在位于两个P图片之间的B图片(图6(a)的实例中为3个)中，从位于中央的图片开始编码，之后，对接近P图片的B图片进行编码。例如，对于图片B6-P9，按图片P9、B7、B6、B8的顺序进行编码。
此时，图片B6-P9的各图片中，图6(a)所示箭头的终点图片参照箭头起点的图片。即，图片B7参照图片P5、P9，图片B6参照图片P5、B7，图片B8参照图片B7、P9。另外，此时，编码控制部110将各图片替换成图6(b)所示进行编码的顺序。
下面，按运动补偿单位读出替换用存储器101中进行替换后的各图片。其中，将运动补偿单位称为宏块，将宏块设为水平16×垂直16象素的大小。下面，顺序说明图6(a)所示图片P9、B7、B6、B8的编码处理。
(图片P9的编码处理)
图片P9是P图片，所以参照显示时间顺序上位于前方或后方的已处理完的1个图片来进行图片间预测编码。在图片P9的编码中，如上所述，参照图片变为图片P5。图片P5编码终止后，将解码图像存储在参照图片用存储器107中。在P图片的编码中，编码控制部110控制各开关，使开关113、114、115变为导通。从而，从替换用存储器101中读出的图片P9的宏块首先被输入运动矢量检测部108、模式选择部109和差分运算部102。
运动矢量检测部108将参照图片用存储器107中存储的图片P5的解码图像数据用作参照图片，对图片P9的宏块检测运动矢量。另外，运动矢量检测部108向模式选择部109输出检测到的运动矢量。
模式选择部109使用运动矢量检测部108检测到的运动矢量，确定图片P9的宏块的编码模式。这里，所谓编码模式是表示用哪种方法来编码宏块。在P图片的情况下，例如从图片内编码、使用运动矢量的图片间预测编码、不使用运动矢量(将移动处理为0)的图片间预测编码中，确定以某种方法来进行编码。在编码模式确定中，一般选择由少的比特量来进一步减小编码误差的方法。
模式选择部109向码列生成部104输出确定的编码模式。此时，模式选择部109确定的编码模式为图片间预测编码时，向码列生成部104输出该图片间预测编码中使用的运动矢量，并存储在运动矢量存储部116中。
模式选择部109根据确定的编码模式生成预测图像数据，并将该预测图像数据输出到差分运算部102和加法运算部106。但在模式选择部109选择图片内编码的情况下，不输出预测图像数据。另外，模式选择部109在选择图片内编码的情况下，控制开关111连接到a侧，控制开关112连接到c侧，并在选择图片间预测编码时，控制开关111连接到b侧，控制开关112连接到d侧。下面，说明由模式选择部109选择图片间预测编码的情况。
向差分运算部102输入从替换用存储器101中读出的图片P9的宏块的图像数据、和从模式选择部109输出的预测图像数据。差分运算部102运算图片P9的宏块的图像数据与预测图像数据之差，生成预测图像数据，输出到预测误差编码部103。
预测误差编码部103通过对输入的预测误差图像数据实施频率变换或量化等编码处理，生成编码数据，并输出到码列生成部104和预测误差解码部105。其中，设频率变换或量化处理例如以水平8×垂直8象素、或水平4×垂直4象素单位来进行。
码列生成部104对输入的编码数据实施可变长编码等，并通过附加运动矢量或编码模式等信息或头信息等，生成码列并输出。
另一方面，预测误差解码部105对输入的编码数据实施去量化或逆频率变换等解码处理，并生成解码差分图像数据后，输出到加法运算部106。加法运算部106通过将解码差分图像数据与从模式选择部109输入的预测图像数据相加，生成解码图像数据，并存储在参照图片用存储器107中。
通过以上处理，完成图片P9的1个宏块的处理。通过同样处理，对图片P9的其余宏块也进行编码处理。另外，若对图片P9的所有宏块结束处理，则接着进行图片B7的编码处理。
(图片B7的编码处理)
图片B7的参照图像中，前向参照图片是图片P5，后向参照图片是P9。因为图片B7在其它图片编码时被用作参照图片，所以编码控制部110控制各开关，使开关113、114、115变为导通。从而，从替换用存储器101中读出的图片B7的宏块被输入运动矢量检测部108、模式选择部109和差分运算部102。
运动矢量检测部108将参照图片用存储器107中存储的图片P5的解码图像数据用作前向参照图片，将图片P9的解码图像数据用作后向参照图片，对图片B7的宏块检测前向运动矢量和后向运动矢量。另外，运动矢量检测部108向模式选择部109输出检测到的运动矢量。
模式选择部109使用运动矢量检测部108检测到的运动矢量，确定图片B7的宏块编码模式。这里，B图片的编码模式可从例如图片内编码、使用前向运动矢量的图片间预测编码、使用后向运动矢量的图片间预测编码、使用双向运动矢量的图片间预测编码、直接模式中进行选择。
用图7(a)来说明用直接模式来编码时的动作。图7(a)是表示直接模式下运动矢量的说明图，表示在直接模式下编码图片B7的块a的情况。该情况下，利用编码图片P9中、位置与块a相同的块b时使用的运动矢量c，图片P9作为位于图片B7之后的参照图片。运动矢量c存储在运动矢量存储部116中。块a使用利用运动矢量c求出的运动矢量，根据作为前向参照图片的图片P5与作为后向参照图片的图片P9，进行双向预测。例如，作为利用运动矢量c的方法，有生成平行于运动矢量c的矢量的方法。编码此时的块a时所用的运动矢量对于图片P5变为运动矢量d，对于图片P9变为运动矢量e。
此时，若设作为前向运动矢量的运动矢量d的大小为MVF，设作为后向运动矢量的运动矢量e的大小为MVB，运动矢量c的大小为MV，当前图片(图片B7)的后向参照图片(图片P9)与其后向参照图片的块所参照的图片(图片P5)的时间距离为TRD，当前图片(图片B7)与前向参照图片(图片P5)的时间距离为TRF，则运动矢量d的大小MVF、运动矢量e的大小MVB分别由(式1)、(式2)求出。另外，可根据例如附加于各图片的表示显示顺序(位置)的信息或该信息差，确定各图片间的时间距离。
MVF＝MV×TRF/TRD        式1
MVB＝(TRF-TRD)×MV/TRD  式2
其中，MVF、MVB分别表现运动矢量的水平成分、垂直成分，正负符号表示运动矢量的方向。
在编码模式的选择中，通常选择由少的比特量来进一步减小编码误差的方法。模式选择部109向码列生成部104输出确定的编码模式。此时，模式选择部109确定的编码模式为图片间预测编码时，向码列生成部104输出该图片间预测编码中使用的运动矢量，并存储在运动矢量存储部116中。另外，在选择直接模式的情况下，将由(式1)、(式2)计算求出的、直接模式中使用的运动矢量存储在运动矢量存储部116中。
模式选择部109根据确定的编码模式生成预测图像数据，并将该预测图像数据输出到差分运算部102和加法运算部106。但在模式选择部109选择图片内编码的情况下，不输出预测图像数据。另外，模式选择部109在选择图片内编码的情况下，控制开关111连接到a侧，控制开关112连接到c侧，并在选择图片间预测编码或直接模式时，控制开关111连接到b侧，控制开关112连接到d侧。下面，说明由模式选择部109选择图片间预测编码或直接模式的情况。
向差分运算部102输入从替换用存储器101中读出的图片B7的宏块的图像数据、和从模式选择部109输出的预测图像数据。差分运算部102运算图片B7的宏块的图像数据与预测图像数据之差，生成预测图像数据，输出到预测误差编码部103。
预测误差编码部103通过对输入的预测误差图像数据实施频率变换或量化等编码处理，生成编码数据，并输出到码列生成部104和预测误差解码部105。
码列生成部104对输入的编码数据实施可变长编码等，并通过附加运动矢量或编码模式等信息，生成码列并输出。
另一方面，预测误差解码部105对输入的编码数据实施去量化或逆频率变换等解码处理，并生成解码差分图像数据后，输出到加法运算部106。加法运算部106通过将解码差分图像数据与从模式选择部109输入的预测图像数据相加，生成解码图像数据，并存储在参照图片用存储器107中。
通过以上处理，完成图片B7的1个宏块的处理。通过同样处理，对图片B7的其余宏块也进行编码处理。另外，若对图片B7的所有宏块结束处理，则接着进行图片B6的编码处理。
(图片B6的编码处理)
因为图片B6是B图片，所以参照显示时间顺序上位于前方或后方的已处理完的两个图片来进行图片间预测编码。如上所述，图片B6的参照图像中，前向参照图片是图片P5，后向参照图片是B7。在进行其它图片的编码时，图片B6不被用作参照图片。从而，编码控制部110控制各开关，使开关113导通，开关114、115截止。由此，从替换用存储器101中读出的图片B6的宏块被输入运动矢量检测部108、模式选择部109和差分运算部102。
运动矢量检测部108将参照图片用存储器107中存储的图片P5的解码图像数据用作前向参照图片，将图片B7的解码图像数据用作后向参照图片，对图片B6的宏块检测前向运动矢量和后向运动矢量。另外，运动矢量检测部108向模式选择部109输出检测到的运动矢量。
模式选择部109使用运动矢量检测部108检测到的运动矢量，确定图片B6的宏块编码模式。
这里，用图7(b)来说明对图片B6的宏块使用直接模式时动作的第一例。图7(b)是表示直接模式下运动矢量的说明图，表示在直接模式下编码图片B6的块a的情况。此时，利用编码图片B7中、位置与块a相同的块b时使用的运动矢量c，图片B7作为位于图片B6之后的参照图片。设块b仅由前向参照、或由双向参照进行编码，设该前向运动矢量为运动矢量c。设运动矢量c存储在运动矢量存储部116中。块a使用利用运动矢量c生成的运动矢量，根据作为前向参照图片的图片P5与作为后向参照图片的图片B7，进行双向预测。例如，若与上述图片B7的情况一样，使用生成平行于运动矢量c的运动矢量的方法，则编码块a时所用的运动矢量对于图片P5变为运动矢量d，对于图片B7变为运动矢量e。
此时，若设作为前向运动矢量的运动矢量d的大小为MVF，设作为后向运动矢量的运动矢量e的大小为MVB，运动矢量c的大小为MV，当前图片(图片B6)的后向参照图片(图片B7)与其后向参照图片的块B所参照的图片(图片P5)的时间距离为TRD，当前图片(图片B6)与前向参照图片(图片P5)的时间距离为TRF，则运动矢量d的大小MVF、运动矢量e的大小MVB分别由上述(式1)、(式2)求出。另外，可根据例如附加于各图片的表示显示顺序的信息或该信息差，确定各图片间的时间距离。
这样，在直接模式下，通过对作为后向参照图片的B图片的前向运动矢量进行换算，不必发送运动矢量的信息，并且可提高动作预测效率。由此，可提高编码效率。并且，通过将可利用的在显示时间顺序中最近的参照图片用作前向参照图片和后向参照图片，可提高编码效率。
下面，用图7(b)来说明使用直接模式时的第二例。此时，利用编码图片B7中、位置与块a相同的块b时使用的运动矢量，图片B7作为位于图片B6之后的参照图片。在此，块b由直接模式进行编码，设此时实质上使用的前向运动矢量为运动矢量c。即，运动矢量c是通过换算(スケ—リング)在图片B7后向参照的图片P9内、对处于与块b相同位置的块i编码时使用的运动矢量而得到的运动矢量。运动矢量c使用运动矢量存储部116中存储的运动矢量，或从运动矢量存储部116中读出由直接模式编码块b时使用的图片P9内的块i的运动矢量后，计算求出。模式选择部109也可在由直接模式编码图片B7的块b时通过换算处理求出的运动矢量被存储在运动矢量存储部116中的情况下，仅存储前向运动矢量。块a使用利用运动矢量c生成的运动矢量，根据作为前向参照图片的图片P5与作为后向参照图片的图片B7，进行双向预测。例如，若与上述第一例的情况一样，使用生成平行于运动矢量c的运动矢量的方法，则编码块a时所用的运动矢量对于图片P5变为运动矢量d，对于图片B7变为运动矢量e。
此时，作为对块a的前向运动矢量的运动矢量d的大小MVF、与作为后向运动矢量的运动矢量e的大小MVB与直接模式的第一例一样，可使用(式1)、(式2)求出。
这样，在直接模式下，对作为后向参照图片的B图片在直接模式下实质上使用的前向运动矢量进行换算，所以不必发送运动矢量的信息，并且，即使在直接模式下编码后向参照图片内同一位置的块时，也可提高动作预测效率。由此，可提高编码效率。并且，通过将在显示时间顺序中可利用的最近的参照图片用作前向和后向参照图片，可提高编码效率。
下面，用图7(c)来说明用直接模式时的第三例。图7(c)是表示直接模式下运动矢量的说明图，表示在直接模式下编码图片B6的块a的情况。该情况下，利用编码图片B7中、位置与块a相同的块b时使用的运动矢量c，图片B7作为位于图片B6之后的参照图片。其中，设仅使用后向运动矢量来编码块b，并设该后向运动矢量为运动矢量f。设运动矢量f存储在运动矢量存储部116中。块a使用利用运动矢量f生成的运动矢量，根据作为前向参照图片的图片P5与作为后向参照图片的图片B7，进行双向预测。例如，若与上述第一例的情况一样使用生成平行于运动矢量f的运动矢量的方法，则编码块a时所用的运动矢量对于图片P5变为运动矢量g，对于图片B7变为运动矢量h。
此时，若设作为前向运动矢量的运动矢量g的大小为MVF，设作为后向运动矢量的运动矢量h的大小为MVB，运动矢量f的大小为MV，当前图片(图片B6)的后向参照图片(图片B7)与其后向参照图片的块所参照的图片(图片P9)的时间距离为TRD，当前图片(图片B6)与前向参照图片(图片P5)的时间距离为TRF，当前图片(图片B6)与后向参照图片(图片B7)的时间距离为TRB，则运动矢量g的大小MVF、运动矢量h的大小MVB分别由(式3)、(式4)求出。
MVF＝-TRF×MV/TRD    式3
MVB＝TRB×MV/TRD     式4
这样，在直接模式下，对编码作为后向参照图片的B图片中同一位置上的块时使用的后向运动矢量进行换算，所以不必发送运动矢量的信息，并且，即使在后向参照图片内的同一位置上的块仅具有后向运动矢量时，也可提高预测效率。由此，可提高编码效率。并且，通过将在显示时间顺序中可利用的最近的参照图片用作前向和后向参照图片，可提高编码效率。
下面，用图7(d)来说明使用直接模式时的第四例。图7(d)是表示直接模式下运动矢量的说明图，表示在直接模式下编码图片B6的块a的情况。此时，利用编码图片B7中、位置与块a相同的块b时使用的运动矢量，图片B7作为位于图片B6之后的参照图片。设与第三例一样，仅使用后向运动矢量来编码块b，设该后向运动矢量为运动矢量f。设运动矢量f被存储在运动矢量存储部116中。块a使用利用运动矢量f生成的运动矢量，根据作为运动矢量f参照图片的图片P9与作为后向参照图片的图片B7，进行双向预测。例如，若与上述第一例的情况一样，使用生成平行于运动矢量f的运动矢量的方法，则编码块a时所用的运动矢量对于图片P9变为运动矢量g，对于图片B7变为运动矢量h。
此时，若设作为前向运动矢量的运动矢量g的大小为MVF，设作为后向运动矢量的运动矢量h的大小为MVB，运动矢量f的大小为MV，当前图片(图片B6)的后向参照图片(图片B7)与其后向参照图片的块所参照的图片(图片P9)的时间距离为TRD，当前图片(图片B6)与后向参照图片(图片B7)的块所参照的图片(图片P9)的时间距离为TRF，则运动矢量g的大小MVF、运动矢量h的大小MVB分别由(式1)、(式2)求出。
这样，在直接模式下，对编码作为后向参照图片的B图片中同一位置的块时使用的后向运动矢量进行换算，从而不必发送运动矢量的信息，并且，即使在后向参照图片内同一位置的块仅具有后向运动矢量的情况下，也可提高预测效率。由此，可提高编码效率。并且，通过将后向运动矢量所参照的图片用作前向参照图片，将在显示时间顺序中可利用的最近的参照图片用作后向参照图片，可提高编码效率。
下面，用图8(a)来说明用直接模式时的第五例。图8(a)是表示直接模式下运动矢量的说明图，表示在直接模式下编码图片B6的块a的情况。该情况下，将运动矢量的大小用作0，将图片P5用作前向参照图片，将图片B7用作后向参照图片，通过进行双向参照，进行动作补偿。
这样，在直接模式下，通过将运动矢量强制设置为0，在选择直接模式的情况下，可不必发送运动矢量的信息，并且不必对运动矢量进行换算处理，可削减处理量。
下面，用图8(b)来说明用直接模式时的第六例。图8(b)是表示直接模式下运动矢量的说明图，表示在直接模式下编码图片B6的块a的情况。此时，利用编码图片P9中、位置与块a相同的块f时使用的运动矢量g，图片P9作为位于图片B6之后的P图片。运动矢量g存储在运动矢量存储部116中。块a使用利用运动矢量g生成的运动矢量，根据作为前向参照图片的图片P5与作为后向参照图片的图片B7，进行双向预测。例如，若与上述第一例的情况一样使用生成平行于运动矢量g的运动矢量的方法，则编码块a时所用的运动矢量对于图片P5变为运动矢量h，对于图片B7变为运动矢量i。
此时，若设作为前向运动矢量的运动矢量h的大小为MVF，设作为后向运动矢量的运动矢量i的大小为MVB，运动矢量g的大小为MV，显示时间顺序上位于当前图片(图片B6)之后的P图片(图片P9)与该P图片的块f所参照的图片(图片P5)的时间距离为TRD，当前图片(图片B6)与前向参照图片(图片P5)的时间距离为TRF，当前图片(图片B6)与后向参照图片(图片B7)的时间距离为TRB，则运动矢量h的大小MVF、运动矢量i的大小MVB分别由(式1)、(式5)求出。
MVB＝-TRB×MV/TRD    式5
这样，在直接模式下，对显示时间顺序上位于后方的P图片的运动矢量进行换算，在后向参照图片为B图片的情况下，不必存储该B图片的运动矢量，且不必发送运动矢量的信息。并且，通过将在显示时间顺序中最近的参照图片用作前向和后向参照图片，可提高编码效率。
下面，用图8(c)来说明使用直接模式时的第七例。图8(c)是表示直接模式下运动矢量的说明图，表示在直接模式下编码图片B6的块a的情况。该例是对上述说明的图片序号变更(再映射)相对指针的分配，后向参照图片变为图片P9的情况。此时，利用编码图片P9中、位置与块a相同的块f时使用的运动矢量g，图片P9作为图片B7的后向参照图片。运动矢量g被存储在运动矢量存储部116中。块a使用利用运动矢量g生成的运动矢量，根据作为前向参照图片的图片P5与作为后向参照图片的图片P9，进行双向预测。例如，若与上述第一例的情况一样，使用生成平行于运动矢量g的运动矢量的方法，则编码块a时所用的运动矢量对于图片P5变为运动矢量h，对于图片P9变为运动矢量i。
此时，若设作为前向运动矢量的运动矢量h的大小为MVF，设作为后向运动矢量的运动矢量i的大小为MVB，运动矢量g的大小为MV，当前图片(图片B6)的后向参照图片(图片P9)与其后向参照图片的块所参照的图片(图片P5)的时间距离为TRD，当前图片(图片B6)与前向参照图片(图片P5)的时间距离为TRF，则运动矢量h的大小MVF、运动矢量i的大小MVB分别由(式1)、(式2)求出。
这样，在直接模式下，即使在对图片序号变更相对指针的分配时，也可对编码完的图片的运动矢量进行换算，并且在选择直接模式的情况下，不必发送运动矢量的信息。
另外，在由直接模式编码图片B6的块a时，仅由前向参照、双向参照或直接模式来编码图片B6的后向参照图片中位置与块a相同的块，在编码时使用前向运动矢量的情况下，对该前向运动矢量进行换算，如上述第一例、第二例或第七例那样，由直接模式编码块a。另一方面，仅由后向参照来编码位置与块a相同的块，在编码时使用后向运动矢量的情况下，对该后向运动矢量进行换算，如上述第三例或第四例那样，由直接模式编码块a。
上述直接模式不仅可适用于帧间的时间间隔恒定的情况，也可适用于可变帧间隔的情况。
模式选择部109向码列生成部104输出确定的编码模式。另外，模式选择部109根据确定的编码模式，生成预测图像数据，并将该预测图像数据输出到差分运算部102。但模式选择部109在选择图片内编码的情况下，不输出预测图像数据。另外，模式选择部109在选择图片内编码的情况下，控制开关111连接到a侧，控制开关112连接到c侧，并在选择图片间预测编码或直接模式时，控制开关111连接到b侧，控制开关112连接到d侧。另外，模式选择部109在确定的编码模式为图片间预测编码的情况下，向码列生成部104输出该图片间预测编码中使用的运动矢量。这里，因为图片B6在编码其它图片时不被用作参照图片，所以图片间预测编码中使用的运动矢量不必存储在运动矢量存储部116中。下面，说明由模式选择部109选择图片间预测编码或直接模式的情况。
向差分运算部102输入从替换用存储器101中读出的图片B6的宏块的图像数据、和从模式选择部109输出的预测图像数据。差分运算部102运算图片B6的宏块的图像数据与预测图像数据之差，生成预测误差图像数据，输出到预测误差编码部103。预测误差编码部103通过对输入的预测误差图像数据实施频率变换或量化等编码处理，生成编码数据，并输出到码列生成部104。
码列生成部104对输入的编码数据实施可变长编码等，并通过附加运动矢量或编码模式等信息，生成码列并输出。
通过以上处理，完成图片B6的1个宏块的编码处理。通过对图片B6的其余宏块也进行同样处理，一旦完成处理，则进行图片B8的编码处理。
(图片B8的编码处理)
因为图片B8是B图片，所以参照显示时间顺序上位于前方或后方的已处理完的两个图片来进行图片间预测编码。如上所述，图片B8的参照图像中，前向参照图片是图片B7，后向参照图片是P9。在进行其它图片的编码时，图片B8不被用作参照图片，从而，编码控制部110控制各开关，使开关113导通，开关114、115截止。由此，从替换用存储器101中读出的图片，8的宏块被输入运动矢量检测部108、模式选择部109和差分运算部102。
运动矢量检测部108将参照图片用存储器107中存储的图片B7的解码图像数据用作前向参照图片，将图片P9的解码图像数据用作后向参照图片，对图片B8的宏块检测前向运动矢量和后向运动矢量。另外，运动矢量检测部108向模式选择部109输出检测到的运动矢量。
模式选择部109使用运动矢量检测部108检测到的运动矢量，确定图片B8的宏块编码模式。
这里，用图8(d)来说明对图片B8的宏块使用直接模式时的动作。图8(d)是表示直接模式下运动矢量的说明图，表示在直接模式下编码图片B8的块a的情况。此时，利用编码图片P9中、位置与块a相同的块b时使用的运动矢量，图片P9作为位于图片B8之后的参照图片。设块b仅由前向参照进行编码，设该前向运动矢量为运动矢量c。设运动矢量c存储在运动矢量存储部116中。块a使用利用运动矢量c生成的运动矢量，根据作为前向参照图片的图片B7与作为后向参照图片的图片P9，进行双向预测。例如，若与上述图片B7的情况一样，使用生成平行于运动矢量c的运动矢量的方法，则编码块a时所用的运动矢量对于图片B7变为运动矢量d，对于图片P9变为运动矢量e。
此时，若设作为前向运动矢量的运动矢量d的大小为MVF，设作为后向运动矢量的运动矢量e的大小为MVB，运动矢量c的大小为MV，当前图片(图片B8)的后向参照图片(图片P9)与其后向参照图片的块b所参照的图片(图片P5)的时间距离为TRD，当前图片(图片B8)与前向参照图片(图片B7)的时间距离为TRF，当前图片(图片B8)与后向参照图片(图片P9)的时间距离为TRB，则运动矢量d的大小MVF、运动矢量e的大小MVB分别由上述(式1)、(式5)求出。
这样，在直接模式下，通过对后向参照图片的前向运动矢量进行换算，不必发送运动矢量的信息，并且可提高预测效率。由此，可提高编码效率。并且，通过将可利用的在显示时间顺序中最近的参照图片用作前向参照图片和后向参照图片，可提高编码效率。
上述直接模式不仅可适用于帧间的时间间隔恒定的情况，也可适用于可变帧间隔的情况。
模式选择部109向码列生成部104输出确定的编码模式。另外，模式选择部109根据确定的编码模式，生成预测图像数据，并将该预测图像数据输出到差分运算部102。但模式选择部109在选择图片内编码的情况下，不输出预测图像数据。另外，模式选择部109在选择图片内编码的情况下，控制开关111连接到a侧，控制开关112连接到c侧，并在选择图片间预测编码或直接模式时，控制开关111连接到b侧，控制开关112连接到d侧。另外，模式选择部109在确定的编码模式为图片间预测编码的情况下，向码列生成部104输出该图片间预测编码中使用的运动矢量。这里，因为图片B8在编码其它图片时不被用作参照图片，所以图片间预测编码中使用的运动矢量不必存储在运动矢量存储部116中。下面，说明由模式选择部109选择图片间预测编码或直接模式的情况。
向差分运算部102输入从替换用存储器101中读出的图片B8的宏块的图像数据、和从模式选择部109输出的预测图像数据。差分运算部102运算图片B8的宏块的图像数据与预测图像数据之差，生成预测误差图像数据，输出到预测误差编码部103。预测误差编码部103通过对输入的预测误差图像数据实施频率变换或量化等编码处理，生成编码数据，并输出到码列生成部104。
码列生成部104对输入的编码数据实施可变长编码等，并通过附加运动矢量或编码模式等信息，生成码列并输出。
通过以上处理，完成对图片B8的1个宏块的编码处理。对图片B8的其余宏块也进行同样处理。
下面，以对应于各图片的图片种类和图片显示时间顺序位置的编码方法，通过与图片P9、B7、B6、B8一样的方法来进行各图片的编码处理。
在以上实施例中，以使用图6(a)所示图片预测结构的情况为例，说明本发明的动态图像编码方法的动作。图12是分层表示此时的图片预测结构的说明图。图12中，箭头表示预测关系，表示位于箭头终点的图片参照位于起点的图片。在图6(a)所示图片预测结构中，在按显示时间顺序考虑的情况下，如图12所示，优先距已编码完的图片最远的图片来确定编码顺序。例如，距I或P图片最远的图片是位于连续的B图片中央的图片。因此，在例如图片P5、P9已编码完的状态下，图片B7变为下一编码对象图片。在图片P5、B7、P9已编码完的状态下，图片B6、B8变为下一编码对象图片。
另外，即使在图6、图12所示的具有不同图片预测结构的情况下，也可使用与本发明的动态图像编码方法一样的方法，可实现本发明的效果。图9-图11示出其它图片预测结构实例。
图9表示夹在I或P图片间的B图片的个数为3个，作为编码B图片的顺序，从距已编码完的图片最近的图片开始选择编码的情况。图9(a)是表示按显示时间顺序表示的各图片的预测关系图，图9(b)是表示替换成编码顺序(码列顺序)的图片顺序的图。图13是对应于图9(a)的图片预测结构的分层图。在图9(a)所示图片预测结构中，在按显示时间顺序考虑的情况下，如图13所示，从距已编码完的图片最近的图片开始顺序编码。例如，在图片P5、P9已编码完的状态下，图片B6、B8变为下一编码对象图片。在图片P5、B6、B8、P9已编码完的状态下，图片B7变为下一编码对象图片。
图10表示夹在I或P图片间的B图片的个数为5个，优先编码B图片中距已编码完的图片最远的图片的情况。图10(a)是表示按显示时间顺序表示的各图片的预测关系图，图10(b)是表示替换成编码顺序(码列顺序)的图片顺序的图。图14是对应于图10(a)的图片预测结构的分层图。在图10(a)所示图片预测结构中，在按显示时间顺序考虑的情况下，如图14所示，优先距已编码完的图片最远的图片，确定编码顺序。例如，距I或P图片最远的图片为位于连续的B图片中央的图片。因此，例如在图片P7、P13已编码完的状态下，图片B10变为下一编码对象图片。在图片P7、B10、P13已编码完的状态下，图片B8、B9、B11、B12变为下一编码对象图片。
图11表示夹在I或P图片间的B图片的个数为5个，优先编码B图片中距已编码完的图片最近的图片的情况。图11(a)是表示按显示时间顺序表示的各图片的预测关系图，图11(b)是表示替换成编码顺序(码列顺序)的图片顺序的图。图15是对应于图11(a)的图片预测结构的分层图。在图11(a)所示图片预测结构中，在按显示时间顺序考虑的情况下，如图15所示，从距已编码完的图片最近的图片开始顺序编码。例如，在图片P5、P9已编码完的状态下，图片B8、B12变为下一编码对象图片。在图片P5、B8、B12、P9已编码完的状态下，图片B9、B11变为下一编码对象图片。并且，在图片P5、B8、B9、B11、B12、P9已编码完的状态下，图片B10变为下一编码对象图片。
如上所述，在本发明的动态图像编码方法中，当使用双向预测来编码进行图片间预测编码处理的B图片时，按与显示时间顺序不同的顺序来编码夹在I或P图片间的多个B图片。此时，将显示时间顺序中位于最近的图片用作前向和后向参照图片。在B图片可利用的情况下，也可将B图片用作该参照图片。另外，当按与显示时间顺序不同的顺序来编码夹在I或P图片间的多个B图片时，从距已编码完的图片最远的图片开始顺序编码。另外，在按与显示时间顺序不同的顺序来编码夹在I或P图片间的多个B图片时，从距已编码完的图片最近的图片开始顺序编码。
通过这种动作，使用本发明的动态图像编码方法，从而在编码B图片时，可将在显示时间顺序中较近的图片用作参照图片，并由此可提高动作补偿时的预测效率，所以可提高编码效率。
另外，在本发明的动态图像编码方法中，参照编码为B图片的图片，作为后向参照图片，并由直接模式编码B图片内的块，此时，在由前向参照或双向参照来编码后向参照图片内同一位置的块时，将通过换算该前向运动矢量得到的运动矢量用作直接模式下的运动矢量。
这样，在直接模式下，通过对作为后向参照图片的B图片的前向运动矢量进行换算，不必发送运动矢量的信息，并可提高预测效率。并且，通过使用时间上最近的参照图片作为前向参照图片，可提高编码效率。
另外，在由直接模式编码作为后向参照图片的B图片中同一位置的块时，将通过换算直接模式下实质使用的前向运动矢量得到的运动矢量用作直接模式下的运动矢量。
这样，在直接模式下，通过对作为后向参照图片的B图片在直接模式下实质使用的前向运动矢量进行换算，不必发送运动矢量的信息，并且，即使在直接模式下编码后向参照图片内同一位置的块时，也可提高预测效率。并且，通过将时间上最近的参照图片作为前向参照图片，可提高编码效率。
另外，在通过后向参照来编码作为后向参照图片的B图片中同一位置的块时，将换算该后向运动矢量得到的运动矢量用作直接模式下的运动矢量。
这样，在直接模式下，通过对编码作为后向参照图片的B图片中同一位置的块时使用的后向运动矢量进行换算，不必发送运动矢量的信息，并且，即使在后向参照图片内同一位置的块仅具有后向运动矢量的情况下，也可提高预测效率。并且，通过将时间上最近的参照图片作为前向参照图片，可提高编码效率。
另外，在通过后向参照来编码作为后向参照图片的B图片中同一位置的块时，将此时使用的后向运动矢量中通过将该后向运动矢量所参照的图片与后向参照图片换算为参照图片所得到的运动矢量用作直接模式下的运动矢量。
这样，在直接模式下，通过对编码作为后向参照图片的B图片中同一位置的块时使用的后向运动矢量进行换算，不必发送运动矢量的信息，并且，即使在后向参照图片内同一位置的块仅具有后向运动矢量的情况下，也可提高预测效率。由此，可提高编码效率。并且，通过将后向运动矢量参照的图片用作前向参照图片，将显示时间顺序中可利用的最近的参照图片用作后向参照图片，可提高编码效率。
另外，在直接模式下，使用大小被强制设为0的运动矢量。
这样，通过将直接模式下的运动矢量强制设置为0，在选择直接模式的情况下，不必发送运动矢量的信息，并且，不需要运动矢量的换算处理，可削减处理量。
另外，在本发明的动态图像编码方法中，参照编码为B图片的图片作为后向参照图片，并用直接模式来编码B图片内的块时，将换算编码在后的P图片内同一位置上的时使用的前向运动矢量得到的运动矢量用作直接模式下的运动矢量。
这样，在直接模式下，通过对在后P图片的运动矢量进行换算，在后向参照图片是B图片的情况下，不必存储该B图片的运动矢量，并且，不必发送运动矢量的信息，可提高预测效率。并且，通过将时间上最近的参照图片作为前向参照图片，可提高编码效率。
另外，对图片序号变更相对指针的分配，由前向参照来编码后向参照图片内同一位置的块时，将换算该前向运动矢量得到的运动矢量用作直接模式下的运动矢量。
这样，在直接模式下，即使在对图片序号变更相对指针的分配时，也可对编码完的图片的运动矢量进行换算，并且不必发送运动矢量的信息。
在本实施例中，说明以水平16×垂直16象素单位来处理动作补偿、以水平8×垂直8象素单位或水平4×垂直4单位来处理预测误差图像编码的情况，但这些单位也可以是其它象素数。
另外，在本实施例中，举例说明连续的B图片个数为3个或5个的情况，但B图片的个数也可以是其它个数。
在本实施例中，举例说明P图片的编码模式从图片内编码、使用运动矢量的图片间预测编码、不使用运动矢量的图片间预测编码中进行选择，并且，B图片的编码模式从图片内编码、使用前向运动矢量的图片间预测编码、使用后向运动矢量的图片间预测编码、使用双向运动矢量的图片间预测编码、直接模式中进行选择的情况，但这些编码模式也可以是其它方法。
另外，在本实施例中，对直接模式说明了7个实例，但也可使用对每个宏块或块唯一确定的一个方法，也可从多个方法中对每个块或宏块选择一个方法。在使用多个方法的情况下，将表示使用哪个直接模式的信息记录在码列中。
另外，在本实施例中，说明P图片参照1个显示时间顺序上位于前或后的已编码完的I或P图片进行编码、B图片参照两个显示时间顺序上位于前或后的附近已编码完的图片进行编码的情况，但在这些图片是P图片的情况下，将显示时间顺序中位于前或后的多个已编码完的I图片或P图片作为参照图片替补，并参照各块中最大的1个图片来编码，在为B图片的情况下，将显示时间顺序中位于前或后的附近多个已编码完的图片作为参照图片替补，并参照各块中最大的两个图片来编码。
另外，模式选择部109在将运动矢量存储在运动矢量存储部116中时，当由双向预测或直接模式来编码对象块时，可存储前向和后向两者的运动矢量，也可仅存储前向运动矢量。若仅存储前向运动矢量，则可削减运动矢量存储部116的存储器量。
(实施例2)
图16是表示使用本发明的动态图像编码方法的动态图像解码装置一实施例的结构框图。
动态图像解码装置如图16所示，具备：码列分析部1401、预测误差解码部1402、模式解码部1403、帧存储器控制部1404、运动补偿解码部1405、运动矢量存储部1406、帧存储器1407、加法运算部1408、和开关1409、1410。
码列分析部1401从输入的码列中抽出编码模式信息和运动矢量信息等各种数据。预测误差解码部1402解码从码列分析部1401输入的预测误差编码数据，生成预测误差图像数据。模式解码部1403参照从码列中抽出的编码模式信息，控制开关1409、1410。
帧存储器控制部1404根据从码列分析部1401输入的表示图片显示顺序的信息，输出帧存储器1407中存储的解码图像数据，作为输出图像。
运动补偿解码部1405进行参照图片序号与运动矢量信息的解码处理，根据解码后的参照图片序号与运动矢量，从帧存储器1407取得运动补偿图像数据。运动矢量存储部1406存储运动矢量。
加法运算部1408将从预测误差解码部1402输入的预测误差编码数据与从运动补偿解码部1405输入的运动补偿图像数据相加，生成解码图像数据。帧存储器1407存储生成的解码图像数据。
下面，说明上述构成的动态图像解码装置的动作。这里，设向动态图像解码装置输入上述动态图像编码装置中生成的码列。即，这里，设P图片参照1个显示时间顺序上位于前方或后方的附近已编码完的I或P图片。另外，设B图片参照两个显示时间顺序上位于前方或后方的已编码完的附近的图片。
此时的码列中的图片变为图6(b)所示顺序。下面，顺序说明图片P9、B7、B6、B8的解码处理。
(图片P9的解码处理)
将图片P9的码列输入码列分析部1401。码列分析部1401从输入的码列中抽出各种数据。这里，所谓各种数据是模式选择信息或运动矢量信息等。将抽出的模式选择信息输出到模式解码部1403。另外，将抽出的运动矢量信息输出到运动补偿解码部1405。并且，将预测误差编码数据输出到预测误差解码部1402。
模式解码部1403参照从码列中抽出的编码模式选择信息，控制开关1409、1410。在编码模式选择为图片内编码的情况下，模式解码部1403控制开关1409连接到a侧，控制开关1410连接到c侧。另外，在编码模式选择为图片间预测编码时，模式解码部1403控制开关1409连接到b侧，控制开关1410连接到d侧。
模式解码部1403还向运动补偿解码部1405输出编码模式选择信息。下面，说明编码模式选择为图片间预测编码的情况。预测误差解码部1402解码输入的预测误差编码数据，生成预测误差图像数据。预测误差解码部1402向开关1409输出生成的预测误差图像数据。这里，因为开关1409连接于b侧，所以向加法运算部1408输出预测误差图像数据。
运动补偿解码部1405根据输入的运动矢量信息等，从帧存储器1407取得运动补偿图像数据。图片P9参照图片P5进行编码，图片P5被解码后，保持在帧存储器1407中。因此，运动补偿解码部1405根据运动矢量信息，从帧存储器1407中保持的图片P5的图像数据中得动补偿图像数据。将如此生成的运动补偿图像数据输出到加法运算部1408。
运动补偿解码部1405在解码P图片的情况下，将运动矢量的信息存储在运动矢量存储部1406中。
加法运算部1408将输入的预测误差图像数据与运动补偿图像数据相加，生成解码图像数据。生成的解码图像数据经开关1410输出到帧存储器1407。
如上所述，完成图片P9的1个宏块的处理。通过同样处理，顺序解码其余的宏块。若解码所有图片P9的宏块，则进行图片B7的解码。
(图片B7的解码处理)
码列分析部1401、模式解码部1403、和预测误差解码部1402中生成预测误差图像数据以前的动作与图片P9的解码处理时一样，所以省略说明。
运动补偿解码部1405根据输入的运动矢量信息等，生成运动补偿(动作补偿)图像数据。图片B7参照图片P5作为前向参照图片，参照P9作为后向参照图片，进行编码，这些图片被解码后，保持在帧存储器1407中。
在模式选择为双向预测的图片间预测编码时，运动补偿解码部1405根据前向运动矢量信息，从帧存储器1407中取得前向参照图像数据。另外，根据后向运动矢量信息，从帧存储器1407中取得后向参照图像数据。运动补偿解码部1405通过加法平均前向参照图像数据与后向参照图像数据，生成运动补偿图像数据。
在模式选择为直接模式的情况下，运动补偿解码部1405取得运动矢量存储部1406中存储的图片P9的运动矢量。另外，运动补偿解码部1405使用该运动矢量，从帧存储器1407中取得前向参照图像数据和后向参照图像数据。运动补偿解码部1405通过加法平均前向参照图像数据和后向参照图像数据，生成运动补偿图像数据。
还用图7(a)来说明模式选择为直接模式的情况。其中，设解码图片B7的块a，并设与块a位于相同位置上的图片P9的块为块b。另外，块b的运动矢量为运动矢量c，该运动矢量c参照图片P5。此时，使用参照利用运动矢量c求出的图片P5的运动矢量d来作为前向运动矢量，使用参照利用运动矢量c求出的图片P9的运动矢量e作为后向运动矢量。例如，作为利用运动矢量c的方法，有生成平行于运动矢量c的运动矢量的方法。设加法平均根据这些运动矢量得到的前向参照数据与后向参照数据后的图像数据为运动补偿图像数据。
此时，若设作为前向运动矢量的运动矢量d的大小为MVF，设作为后向运动矢量的运动矢量e的大小为MVB，运动矢量c的大小为MV，当前图片(图片B7)的后向参照图片(图片P9)与其后向参照图片的块b所参照的图片(图片P5)的时间距离为TRD，当前图片(图片B7)与前向参照图片(图片P5)的时间距离为TRF，则运动矢量d的大小MVF、运动矢量e的大小MVB分别由(式1)、(式2)求出。其中，MVF、MVB分别表现运动矢量的水平成分、垂直成分。另外，例如可根据附加于各图片的表示显示顺序(位置)的信息或其信息差来确定各图片间的时间距离。
将如此生成的运动补偿图像数据输出到加法运算部1408。另外，运动补偿(动作补偿)解码部1405将运动矢量信息存储在运动矢量存储部1406中。
加法运算部1408将输入的预测误差图像数据与运动补偿图像数据相加，生成解码图像数据。将生成的解码图像数据经开关1410输出到帧存储器1407。
如上所述，完成图片B7的1个宏块的处理。通过同样处理，顺序解码其余的宏块。若解码全部图片B7的宏块，则解码图片B6。
(图片B6的解码处理)
码列分析部1401、模式解码部1403、和预测误差解码部1402中生成预测误差图像数据以前的动作与图片P9的解码处理时一样，所以省略说明。
运动补偿解码部1405根据输入的运动矢量信息等，生成运动补偿图像数据。图片B6参照图片P5作为前向参照图片，参照B7作为后向参照图片，进行编码，这些图片被解码后，保持在帧存储器1407中。
在模式选择为双向预测的图片间预测编码时，运动补偿解码部1405根据前向运动矢量信息，从帧存储器1407中取得前向参照图像数据。另外，根据后向运动矢量信息，从帧存储器1407中取得后向参照图像数据。运动补偿解码部1405通过加法平均前向参照图像数据与后向参照图像数据，生成运动补偿图像数据。
在模式选择为直接模式的情况下，运动补偿解码部1405取得运动矢量存储部1406中存储的图片B7的运动矢量。运动补偿解码部1405使用该运动矢量，从帧存储器1407中取得前向参照图像数据和后向参照图像数据。运动补偿解码部1405通过加法平均前向参照图像数据和后向参照图像数据，生成运动补偿图像数据。
用图7(b)来说明模式选择为直接模式时的第一例。其中，设解码图片B6的块a，并设与块a位于相同位置上的图片B7的块为块b。另外，设基于前向参照的图片间预测编码或基于双向参照的图片间预测编码块b，并设块b的前向运动矢量为运动矢量c。该运动矢量c参照图片P5。此时，使用参照利用运动矢量c生成的图片P5的运动矢量d来作为对块a的前向运动矢量，使用参照利用运动矢量c生成的图片B7的运动矢量e作为后向运动矢量。例如，作为利用运动矢量c的方法，有生成平行于运动矢量c的运动矢量的方法。设加法平均根据这些运动矢量得到的前向参照图像数据与后向参照图像数据后的图像数据为动作补偿图像数据。
此时，若设作为前向运动矢量的运动矢量d的大小为MVF，设作为后向运动矢量的运动矢量e的大小为MVB，运动矢量c的大小为MV，当前图片(图片B6)的后向参照图片(图片B7)与其后向参照图片的块b所参照的图片(图片P5)的时间距离为TRD，当前图片(图片B6)与前向参照图片(图片P5)的时间距离为TRF，则运动矢量d的大小MVF、运动矢量e的大小MVB分别由(式1)、(式2)求出。另外，例如可根据附加于各图片的表示显示顺序(位置)的信息或其信息差来确定各图片间的时间距离。另外，TRD、TRF的值也可使用对每个图片确定的规定值。该规定值也可作为头信息记录在码列中。
另外，用图7(b)来说明模式选择为直接模式情况下的第二例。
此时，利用解码图片B7中、位置与块a相同的块b时所用的运动矢量，图片B7是位于图片B6之后的参照图片。这里，设使用直接模式来编码块b，设此时实质上使用的前向运动矢量为运动矢量c。该运动矢量c使用运动矢量存储部1406中存储的运动矢量，或在从运动矢量存储部1406中读出由直接模式编码块b时所用的图片P9的运动矢量后，进行换算计算后求出。动作补偿解码部1405也可在将由直接模式解码图片B7的块b时通过换算处理求出的运动矢量存储在运动矢量存储部1406中时，仅存储前向运动矢量。
此时，使用参照利用运动矢量c生成的图片P5的运动矢量d来作为对块a的前向运动矢量，使用参照利用运动矢量c生成的图片B7的运动矢量e作为后向运动矢量。例如，作为利用运动矢量c的方法，有生成平行于运动矢量c的运动矢量的方法。设加法平均根据这些运动矢量得到的前向参照图像数据与后向参照图像数据后的图像数据为动作补偿图像数据。
此时，作为前向运动矢量的运动矢量d的大小MVF、与作为后向运动矢量的运动矢量e的大小MVB与直接模式的第一例一样，可用(式1)、(式2)来求出。
下面，用图7(c)来说明模式选择为直接模式情况下的第三例。
这里，设解码图片B6的块a，并设位置与块a相同的图片B7的块为块b。设后向参照预测编码块b，并设块b的后向运动矢量为运动矢量f。该运动矢量f参照图片P9。此时，使用参照利用运动矢量f求出的图片P5的运动矢量g来作为对块a的前向运动矢量，使用参照利用运动矢量f求出的图片B7的运动矢量h作为后向运动矢量。例如，作为利用运动矢量f的方法，有生成平行于运动矢量f的运动矢量的方法。设加法平均根据这些运动矢量得到的前向参照图像数据与后向参照图像数据后的图像数据为动作补偿图像数据。
此时，若设作为前向运动矢量的运动矢量g的大小为MVF，设作为后向运动矢量的运动矢量h的大小为MVB，运动矢量f的大小为MV，当前图片(图片B6)的后向参照图片(图片B7)与其后向参照图片的块所参照的图片(图片P9)的时间距离为TRD，当前图片(图片B6)与前向参照图片(图片P5)的时间距离为TRF，当前图片(图片B6)与后向参照图片(图片B7)的时间距离为TRB，则运动矢量g的大小MVF、运动矢量h的大小MVB分别由(式3)、(式4)求出。
下面，用图7(d)来说明模式选择为直接模式情况下的第四例。
这里，设解码图片B6的块a，并设位置与块a相同的图片B7的块为块b。设与第三例一样后向参照预测编码块b，并设块b的后向运动矢量为运动矢量f。该运动矢量f参照图片P9。此时，使用参照利用运动矢量f求出的图片P9的运动矢量g来作为对块a的前向运动矢量，使用参照利用运动矢量f求出的图片B7的运动矢量h作为后向运动矢量。例如，作为利用运动矢量f的方法，有生成平行于运动矢量f的运动矢量的方法。设加法平均根据这些运动矢量得到的前向参照图像数据与后向参照图像数据后的图像数据为动作补偿图像数据。
此时，若设作为前向运动矢量的运动矢量g的大小为MVF，设作为后向运动矢量的运动矢量h的大小为MVB，运动矢量f的大小为MV，当前图片(图片B6)的后向参照图片(图片B7)与其后向参照图片的块所参照的图片(图片P9)的时间距离为TRD，当前图片(图片B6)与后向参照图片(图片B7)的块所参照的图片(图片P9)的时间距离为TRF，则运动矢量g的大小MVF、运动矢量h的大小MVB分别由(式1)、(式2)求出。
另外，用图8(a)来说明模式选择为直接模式情况下的第五例。这里，设由直接模式来解码图片B6的块a。此时，设运动矢量的大小为0，将图片P5用作前向参照图片，将图片B7用作后向参照图片，通过进行双向参照，进行动作补偿。
下面，用图8(b)来说明模式选择为直接模式情况下的第六例。这里，设由直接模式解码图片B6的块a。这里，利用解码图片P9中位置与块a相同的块f时使用的运动矢量g，图片P9是位于图片B6之后的P图片。将运动矢量g存储在运动矢量存储部1406中。块a使用利用运动矢量g求出的运动矢量，根据作为前向参照图片的图片P5与作为后向参照图片的图片B7，进行双向预测。例如，若与上述第一例的情况一样使用生成平行于运动矢量g的运动矢量的方法，则用于得到块a的动作补偿图像数据的运动矢量相对图片P5变为运动矢量h，相对图片B7变为运动矢量i。
此时，若设作为前向运动矢量的运动矢量h的大小为MVF，设作为后向运动矢量的运动矢量I的大小为MVB，运动矢量g的大小为MV，位于当前图片(图片B6)之后的P图片(图片P9)与位于其后的图片的块f所参照的图片(图片P5)的时间距离为TRD，当前图片(图片B6)与前向参照图片(图片P5)的时间距离为TRF，当前图片(图片B6)与后向参照图片(图片B7)的时间距离为TRB，则运动矢量MVF、运动矢量MVB分别由(式1)、(式5)求出。
下面，用图8(c)来说明模式选择为直接模式情况下的第七例。这里，设由直接模式来解码图片B6的块a。本例中，对上述说明的图片序号变更(再映射)相对指针的分配，后向参照图片变为图片P9。此时，利用编码图片P9中、位置与块a相同的块f时使用的运动矢量g，图片P9作为图片B6的后向参照图片。运动矢量g被存储在运动矢量存储部1406中。块a使用利用运动矢量g生成的运动矢量，根据作为前向参照图片的图片P5与作为后向参照图片的图片P9，进行双向预测。例如，若与上述第一例的情况一样，使用生成平行于运动矢量g的运动矢量的方法，则用于得到块a的动作补偿图像数据的运动矢量对于图片P5变为运动矢量h，对于图片P9变为运动矢量i。
此时，若设作为前向运动矢量的运动矢量h的大小为MVF，设作为后向运动矢量的运动矢量i的大小为MVB，运动矢量g的大小为MV，当前图片(图片B6)的后向参照图片(图片P9)与其后向参照图片的块所参照的图片(图片P5)的时间距离为TRD，当前图片(图片B6)与前向参照图片(图片P5)的时间距离为TRF，则运动矢量h的大小MVF、运动矢量i的大小MVB分别由(式1)、(式2)求出。
将如此生成的动作补偿图像数据输出到加法运算部1408。加法运算部1408将输入的预测误差图像数据与动作补偿图像数据相加，生成解码图像数据。生成的解码图像数据经开关1410输出到帧存储器1407。
如上所述，完成图片B6的一个宏块的处理。通过同样处理，顺序解码其余的宏块。若解码全部图片B6的宏块，则解码图片B8。
(图片B8的解码处理)
码列分析部1401、模式解码部1403、和预测误差解码部1402中生成预测误差图像数据以前的动作与图片P9的解码处理时一样，所以省略说明。
动作补偿解码部1405根据输入的运动矢量信息等，生成动作补偿图像数据。图片B8参照图片B7作为前向参照图片，参照P9作为后向参照图片，进行编码，这些图片被解码后，保持在帧存储器1407中。
在模式选择为双向预测的图片间预测编码时，动作补偿解码部1405根据前向运动矢量信息，从帧存储器1407中取得前向参照图像数据。另外，根据后向运动矢量信息，从帧存储器1407中取得后向参照图像数据。动作补偿解码部1405通过加法平均前向参照图像数据与后向参照图像数据，生成动作补偿图像数据。
在模式选择为直接模式的情况下，动作补偿解码部1405取得运动矢量存储部1406中存储的图片P9的运动矢量。动作补偿解码部1405使用该运动矢量，从帧存储器1407中取得前向参照图像数据和后向参照图像数据。动作补偿解码部1405通过加法平均前向参照图像数据和后向参照图像数据，生成动作补偿图像数据。
用图8(d)来说明模式选择为直接模式时的一例。其中，设解码图片B8的块a，并设为作为后向参照图片的图片P9中、与块a位于相同位置上的块b。另外，设块b的前向运动矢量为运动矢量c。该运动矢量c参照图片P5。此时，使用参照利用运动矢量c生成的图片B7的运动矢量d来作为对块a的前向运动矢量，使用参照利用运动矢量c生成的图片P9的运动矢量e作为后向运动矢量。例如，作为利用运动矢量c的方法，有生成平行于运动矢量c的运动矢量的方法。设加法平均根据这些运动矢量得到的前向参照图像数据与后向参照图像数据后的图像数据为动作补偿图像数据。
此时，若设作为前向运动矢量的运动矢量d的大小为MVF，设作为后向运动矢量的运动矢量e的大小为MVB，运动矢量c的大小为MV，当前图片(图片B8)的后向参照图片(图片P9)与其后向参照图片的块b所参照的图片(图片P5)的时间距离为TRD，当前图片(图片B8)与前向参照图片(图片B7)的时间距离为TRF，当前图片(图片B8)与后向参照图片(图片P9)的时间距离为TRB，则运动矢量d的大小MVF、运动矢量e的大小MVB分别由(式1)、(式5)求出。
将如此生成的动作补偿图像数据输出到加法运算部1408。加法运算部1408将输入的预测误差图像数据与动作补偿图像数据相加，生成解码图像数据。生成的解码图像数据经开关1410输出到帧存储器1407。
如上所述，完成图片B8的一个宏块的处理。通过同样处理，顺序解码其余的宏块。下面，通过对应于图片种类的同样处理来解码各图片。
接着，帧存储器控制部1404如上所述将帧存储器1407中保持的各图片的图像数据如图6(a)所示按时间顺序替换后，作为输出图像输出。
如上所述，在本发明的动态图像解码方法中，当使用双向预测来解码进行图片间预测编码处理的B图片时，作为用作前向参照图片和后向参照图片的图片，使用已解码完的在显示时间顺序中位于附近的图片，进行解码。
另外，在B图片中选择直接模式作为编码模式的情况下，通过参照运动矢量存储部1406中保持的已解码完的后向参照图片的运动矢量，从已解码完的图像数据中取得参照图像数据，并得到动作补偿图像数据。
通过这种动作，在使用双向预测来编码进行图片间预测编码处理的B图片时，在解码使用显示时间顺序中位于附近的图片作为用作前向参照图片和后向参照图片的图片、并进行编码后生成的码列时，可正确进行解码处理。
另外，在本实施例中，对直接模式说明了7个实例，但例如也可使用通过后向参照图片的相同位置上的块的解码方法等、对每个宏块或块唯一确定的一个方法，也可以块或宏块单位来切换多个方法并使用。在使用多个方法的情况下，使用码列中记录的、表示使用哪个直接模式的信息来进行解码。此时，动作补偿解码部1405的动作随该信息而变化。例如，在以动作补偿的块单位附加该信息的情况下，模式解码部确定使用哪个直接模式来进行编码，并将之传送给动作补偿解码部1405。另外，动作补偿解码部1405按照使用哪个直接模式，使用本实施例中说明的解码方法来进行解码处理。
另外，在本实施例中，说明在I或P图片间夹着3个B图片的图片结构情况，但该B图片的个数也可以是其它值，例如4个或5个。
另外，在本实施例中，说明解码P图片参照1个显示时间顺序上位于前或后的已编码完的I或P图片进行编码、B图片参照两个显示时间顺序上位于前或后的附近已编码完的图片进行编码的码列的情况，但在这些图片是P图片的情况下，可以是将显示时间顺序中位于前或后的多个已编码完的I图片或P图片作为参照图片替补、并参照各块中最大的1个图片来编码的码列，在为B图片的情况下，可以是将显示时间顺序中位于前或后的附近多个已编码完的图片作为参照图片替补，并参照各块中最大的两个图片来编码的码列。
动作补偿解码部1405在将运动矢量存储在运动矢量存储部1406中时，在由双向预测或直接模式来编码对象块的情况下，可存储前向和后向两者的运动矢量，也可仅存储前向运动矢量。若仅存储前向运动矢量，则可削减运动矢量存储部1406的存储器量。
(实施例3)
通过将实现上述各实施例中所示动态图像编码方法或动态图像解码方法结构用的程序记录在软盘等存储媒体中，可在独立的计算机系统中简单实施上述各实施例中所示的处理。
图17是使用存储了上述各实施例的动态图像编码方法和动态图像解码方法的软盘，通过计算机系统来实施情况下的说明图。
图17(b)表示从软盘的正面看到的外观、截面结构及软盘，图17(a)表示作为记录媒体主体的软盘的物理格式的实例。软盘FD内置于壳体F内，在该盘的表面，从外向内以同心圆状形成多个轨道Tr，沿角度方向将各轨道分割成16个扇区Se。因此，在存储上述程序的软盘中，在上述软盘FD上分配的区域中，记录作为上述程序的动态图像编码方法。
另外，图17(c)表示在软盘FD上进行上述程序的记录再现用的结构。在将上述程序记录在软盘FD中的情况下，经软盘驱动器从计算机系统Cs写入作为上述程序的动态图像编码方法或动态图像解码方法。另外，在通过软盘内的程序在计算机系统中构筑上述动态图像编码方法的情况下，通过软盘驱动器从软盘中读出程序，并传送到计算机系统。
在上述说明中，将软盘用作记录媒体来进行说明，但即使使用光盘也一样进行。另外，记录媒体不限于此，IC卡、ROM盒等只要是可记录程序的媒体，都可同样实施。
这里，还说明上述实施例中所示动态图像编码方法或动态图像解码方法的应用实例及使用该应用实例的系统。
图18是表示实现实现内容配送服务的内容提供系统ex100的整体结构框图。将通信服务的提供区分割成所期望的大小，并在各小区内分别设置作为固定无线站的基站ex107-ex110。
内容提供系统ex100例如经因特网服务提供商ex102和电话网ex104及基站ex107-ex110，将计算机ex111、PDA(personal digitalassistant：个人数字助理)ex112、摄像机ex113、手机ex114、带摄像机的手机ex115等各设备于因特网ex101上。
但是，内容提供系统ex100不限于图18的组合，也可任意组合后连接。另外，也可不经作为固定基站的基站ex107-ex110而将各设备直接连接于电话网ex104上。
摄像机ex113是数字摄像机等可拍摄动态图像的设备。另外，手机是PDC(Personal Digital Communications：个人数字通信)方式、CDMA(Code Division Multiple Access：码分多址)方式、W-CDMA(Wideband-Code Division Multiple Access：宽带码分多址)方式、或GSM(Global System for Mobile Communications：移动通信全球系统)方式的手机机，或PHS(Personal Handyphone System：个人手机系统)等，是哪种都无妨。
另外，流服务器ex103通过基站ex109、电话网ex104与摄像机ex113连接，使用摄像机ex113，可根据用户发送的编码处理后的数据来进行现场配送等。摄像数据的编码处理可由摄像机ex113进行，也可由进行数据发送处理的服务器等进行。另外，摄像机ex116拍摄的动态图像数据也可经计算机ex111发送到流服务器ex103。摄像机ex116是数字摄像机等可拍摄静止图像、动态图像的设备。由此，动态数据的编码由摄像机ex116还是由计算机ex111进行无关紧要。另外，编码处理变为在计算机ex111或摄像机ex116具有的LSIex117中进行处理。也可将动态图像编码、解码用软件装载在作为计算机ex111可读取的记录媒体的任一存储媒体(CD-ROM、软盘、硬盘等)中。并且，也可由带摄像机的手机ex115来发送动态图像数据。此时的动态图像数据是由手机ex115具有的LSI进行编码处理后的数据。
在该内容提供系统ex100中，用户与上述实施例一样编码处理由摄像机ex113、摄像机ex116等拍摄的内容(例如拍摄音乐现场的照片等)，并发送到流服务器ex103，另一方面，流服务器ex103向有要求的客户机流配送上述内容数据。作为客户机，有可解码上述编码处理后数据的计算机ex111、PDAex112、摄像机ex113、手机ex114等。从而，内容提供系统ex100可由客户机接收并再现编码后的数据，并通过由客户机实时接收并解码、再现，还可实现个人广播。
在构成该系统的各设备的编码、解码中，也可使用上述各实施例中所示动态图像编码装置或动态图像解码装置。
作为一例，说明手机。
图19是表示使用上述实施例中说明的动态图像编码方法和动态图像解码方法的手机ex115的图。手机ex115具有：天线ex201，与基站ex110之间收发信电波；CCD摄像机等摄像部ex203，可拍摄照片、静止图像；液晶显示器等显示部ex202，显示解码摄像部ex203拍摄的照片、天线ex201接收的照片等的数据；主体部，由操作键ex204群构成；扬声器等声音输出部ex208，进行声音输出；麦克风等声音输入部ex205，进行声音输入；记录媒体ex207，保存拍摄的动态图像或静止图像的数据、接收到的邮件数据、动态图像数据或静止图像数据等编码数据或解码数据；开槽部ex206，可将记录媒体ex207安装在手机ex115上。记录媒体ex207在SD卡等塑料外壳内存储作为可电改写或擦除的非易失性存储的EEPROM(ElectricallyErasable and Programmable Read Only Memory：电可擦除只读存储器)之一的闪存元件。
用图20来说明手机ex115。手机ex115经同步总线ex313，对主控制部ex311彼此连接电源电路部ex310、操作输入控制部ex304、图像编码部ex312、摄像机接口部ex303、LCD(Liquid Crystal Display：液晶显示器)控制部ex302、图像解码部ex309、复用分离部ex308、记录再现部ex307、调制解调电路部ex306和声音处理部ex305，主控制部ex311统一控制具备显示部ex202及操作键ex204的主体部的各部。
电源电路部ex310若通过用户操作将结束通话及电源键变为接通状态，则从电池组向各部供电，由此，将带摄像机的数字手机ex115启动到可操作状态。
手机ex115根据由CPU、ROM及RAM等构成的主控制部ex311的控制，通过声音处理部ex305将声音通话模式时由声音输入部ex205收集的声音信号变换为数字声音信号，并由调制解调电路部ex306对该信号进行扩频处理，在由收发信电路部ex301实施数模变换处理及频率变换处理后，经天线ex201进行发送。另外，手机机ex115放大声音通话模式时由天线ex201接收到的接收数据，实施频率变换处理及逆扩频处理，在由声音处理部ex305变换为模拟声音数据后，经声音输出部ex208输出。
在数据通信模式时发送电子邮件的情况下，经操作输入控制部ex304，将由主体部的操作键ex204的操作输入的电子邮件的文本数据发送到主控制部ex311。主控制部ex311通过调制解调电路ex306对文本数据进行扩频处理，并由收发信电路部ex301实施数模变换处理及频率变换处理后，经天线ex201发送到基站ex110。
在数据通信模式时发送图像数据的情况下，经摄像机接口部ex303，将由摄像部ex203拍摄的图像数据提供给图像编码部ex312。另外，在不发送图像数据的情况下，也可经摄像机接口部ex303及LCD控制部ex302，在显示部ex202中直接显示由摄像部ex203拍摄的图像数据。
图像编码部ex312具有本发明中说明的动态图像编码装置，通过由上述实施例所示动态图像编码装置中所用编码方法压缩编码从摄像部ex203提供的图像数据，变换为编码图像数据，并发送到复用分离部ex308。与此同时，手机机ex115将在摄像部ex203拍摄中由声音输入部ex205收集的声音作为数字声音数据，经声音处理部ex305发送到复用分离部ex308。
复用分离部ex308以规定方式复用从图像编码部ex312提供的编码图像数据和从声音处理部ex305提供的声音数据，并由调制解调电路ex306扩频处理结果得到的复用数据，在由收发信电路部ex301实施数模变换处理及频率变换处理后，经天线ex201发送。
在数据通信模式时接收链接到主页等上的动态图像文件数据的情况下，调制解调电路ex306逆扩频处理经天线ex201从基站ex110接收到的接收数据，并将结果得到的复用数据发送到复用分离部ex308。
在解码经天线ex201接收到的复用数据中，复用分离部ex308通过分离复用数据，分成图像数据的位充和声音数据的位流，经同步总线ex313将该编码图像数据提供给图像解码部ex309，同时，将该声音数据提供给声音处理部ex305。
图像解码部ex309具有本发明中说明的动态图像解码装置，通过以对应于上述实施例中所示编码方法的解码方法来解码图像数据的位流，生成再现动态图像数据，并经LCD控制部ex302提供给显示部ex202，从而，显示链接于例如主页上的动态图像文件中包含的动态图像数据。与此同时，声音处理部ex305将声音数据变换为模拟声音数据后，将之提供给声音输出部ex208，由此再现链接于例如主页上的动态图像文件中包含的声音数据。
不限于上述系统的实例，最近，基于卫星、地面波的数字广播成为话题，如图21所示，数据广播用系统中也可装载上述实施例的至少动态图像编码装置或动态图像解码装置之一。具体而言，广播站ex409经电波将照片信息的位流传送到通信或广播卫星ex410。接收到位流的广播卫星ex410发出广播用电波，具有卫星广播接收设备的家用的天线ex406接收该电波，通过电视(接收机)ex401或机顶盒(STB)ex407等装置解码位流，进行再现。另外，读取、解码作为记录媒体的CD或DVD等存储媒体ex402中记录的位流的再现装置ex403中也可安装上述实施例中所示的动态图像解码装置。此时，再现的照片信号显示于监视器ex404中。另外，也可在连接于有线电视用电缆ex405或卫星/地面波广播的天线ex406上的机顶盒ex407内安装动态图像解码装置，并由电视的监视器ex408来进行再现。此时，也可不在机顶盒、而在电视机内装载动态图像解码装置。另外，具有天线ex411的汽车ex412也可从卫星ex410或从基站ex107等接收信号，并在汽车ex412具有的汽车导航装置ex413等显示装置中再现动态图像。
另外，也可由上述实施例所示动态图像编码装置编码图像信号，并记录在记录媒体中。作为具体例，有在DVD盘ex412中记录图像信号的DVD记录器，或在硬盘中记录的盘记录器等记录器ex420。另外，也可记录在SD卡ex422中。若记录器ex420具备上述实施例所示动态图像解码装置，则可再现DVD盘ex421或SD卡ex422中记录的图像信号，并由监视器ex408进行显示。
汽车导航装置ex413的结构在例如图20所示结构中，考虑去除摄像部ex203与摄像机接口部ex303、图像编码部ex312后的结构，计算机ex111或电视机(接收机)ex401也可同样考虑。
上述手机ex114等的终端除具有编码器、解码器两者的收发信型终端外，还考虑仅具有编码器的发送终端、仅具有解码器的接收终端等3种安装形式。
这样，可将上述实施例中所示动态图像编码方法或动态图像解码方法用于上述任一设备、系统中，由此，可得到上述实施例中说明的效果。
另外，本发明不限于上述实施例，在不脱离本发明的范围内，可进行各种变形和更正。
如上所述，根据本发明的动态图像编码方法，在编码B图片时，可将显示时间顺序中较近的图片用作参照图片，由此，可提高动作补偿时的预测效率，故提高编码效率。
另外，在直接模式下，通过对第2参照图片的第1运动矢量进行换算，可不必发送运动矢量信息，且提高预测效率。
另外，在直接模式下，通过对第2参照图片在直接模式下实质上使用的第1运动矢量进行换算，可不必发送运动矢量信息，并且即使在直接模式下编码第2参照图片内同一位置的块时，也可提高预测效率。
另外，在直接模式下，通过对编码第2参照图片内同一位置的块时使用的第2运动矢量进行换算，可不必发送运动矢量信息，并且即使在第2参照图片内同一位置的块仅具有第2运动矢量的情况下，也可提高预测效率。
另外，通过将直接模式下的运动矢量强制设置为0，在选择直接模式的情况下，可不必发送运动矢量信息，并可不必运动矢量的换算处理，削减处理量。
另外，在直接模式下，通过对在后P图片的运动矢量进行换算，在第2参照图片是B图片的情况下，不必存储该B图片的运动矢量。另外，不必发送运动矢量的信息，并可提高预测效率。
另外，在直接模式下，若第2参照图片具有第1运动矢量，则对第1运动矢量进行换算，另外，若第2参照图片不具有第1运动矢量而仅具有第2运动矢量，则对该第2运动矢量进行换算，所以不必向码列附加运动矢量信息，可提高预测效率。
另外，根据本发明的动态图像解码方法，在解码码列时，可正确进行解码处理，该码列通过使用显示时间顺序中位于附近的图片、作为使用双向预测来进行图片间预测编码处理时用作第1参照和第2参照的图片来编码而生成。
产业上的可使用性
如上所述，本发明的动态图像编码方法和动态图像解码方法用作在例如手机、DVD装置和个人计算机等中、编码对应于构成动态图像的各图片的图像数据来生成码列、同时解码生成的码列用的方法。

Claims (5)

1、一种动态图像解码方法，将被编码的图片解码，其特征在于：
包含解码步骤，在将解码对象块解码时，根据同一位置块的运动矢量来确定所述解码对象块的运动矢量，所述同一位置块是已解码完的图片内的块，并且是与所述解码对象块在同一位置的块，
并使用上述解码对象块的运动矢量和与上述解码对象块的运动矢量对应的参照图片，将所述解码对象块以直接模式进行运动补偿并解码，
在所述解码步骤中，在所述同一位置块使用两个运动矢量和这两个运动矢量各自对应的两个参照图片被进行解码时，
相对解码所述同一位置块时使用的所述两个运动矢量中的一个运动矢量，通过使用表示图片的显示顺序的信息差进行换算，由此，相对所述解码对象块生成用于将所述解码对象块以直接模式进行运动补偿并解码的两个运动矢量，
使用所述生成的两个运动矢量和所述被生成的两个运动矢量各自对应的两个参照图片，将所述解码对象块以直接模式进行运动补偿并解码。
2、根据权利要求1所述的动态图像解码方法，其特征在于：
在各自对应所述解码对象块的两个运动矢量的所述两个参照图片中，
第1参照图片是包含所述同一位置块的图片，
第2参照图片是在将所述同一位置块解码时用的两个参照图片中的一个，并且是与生成所述解码对象块的两个运动矢量时作为换算对象的运动矢量对应的参照图片。
3、根据权利要求1所述的动态图像解码方法，其特征在于：
所述同一位置块以直接模式被解码时，使用解码所述同一位置块时用的两个运动矢量中的一个运动矢量，生成所述解码对象块的两个运动矢量。
4、根据权利要求1所述的动态图像解码方法，其特征在于：
表示图片的显示顺序的所述信息是：
第1信息，表示包含所述解码对象块的图片的显示顺序，
第2信息，表示所述解码对象块的所述第2参照图片的显示顺序以及，
第3信息，表示包含所述同一位置块的图片的并且是所述解码对象块的所述第1参照图片的图片显示顺序，
所述信息差是第1信息和第2信息的差，第1信息和第3信息的差以及第2信息和第3信息的差。
5、一种动态图像解码装置，将被编码的图片解码，其特征在于：
包含解码装置，在将解码对象块解码时，根据同一位置块的运动矢量来确定所述解码对象块的运动矢量，所述同一位置块是已解码完的图片内的块，并且是与所述解码对象块在同一位置的块，
并使用上述解码对象块的运动矢量和与上述解码对象块的运动矢量对应的参照图片，将所述解码对象块以直接模式进行运动补偿并解码，
所述解码装置，在所述同一位置块使用两个运动矢量和这两个运动矢量各自对应的两个参照图片而被解码时，
相对解码所述同一位置块时使用的所述两个运动矢量中的一个运动矢量，通过使用表示图片的显示顺序的信息差进行换算，由此，相对所述解码对象块生成用于将所述解码对象块以直接模式进行运动补偿并解码的两个运动矢量，使用所述生成的两个运动矢量和所述被生成的两个运动矢量各自对应的两个参照图片，将所述解码对象块以直接模式进行运动补偿并解码。
CNB038053462A 2002-03-04 2003-02-26 动态图像解码方法及动态图像解码装置 Expired - Lifetime CN100474933C (zh)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP56919/2002 2002-03-04
JP2002056919 2002-03-04
JP2002118598 2002-04-19
JP118598/2002 2002-04-19
JP193027/2002 2002-07-02
JP2002193027 2002-07-02

Related Child Applications (3)

Application Number Title Priority Date Filing Date
CN 200810184668 Division CN101431680B (zh) 2002-03-04 2003-02-26 图像编码方法及图像编码装置
CN 200810184669 Division CN101431681B (zh) 2002-03-04 2003-02-26 图像解码方法及图像解码装置
CN 200810184664 Division CN101431679B (zh) 2002-03-04 2003-02-26 图像编码方法及图像编码装置

Publications (2)

Publication Number Publication Date
CN1640148A CN1640148A (zh) 2005-07-13
CN100474933C true CN100474933C (zh) 2009-04-01

Family

ID=27792038

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038053462A Expired - Lifetime CN100474933C (zh) 2002-03-04 2003-02-26 动态图像解码方法及动态图像解码装置

Country Status (18)

Country Link
US (5) US7664180B2 (zh)
EP (9) EP1406450B1 (zh)
JP (1) JP2004088722A (zh)
KR (2) KR100923380B1 (zh)
CN (1) CN100474933C (zh)
AU (1) AU2003211717C1 (zh)
BR (2) BRPI0303342B1 (zh)
CA (3) CA2762075C (zh)
CY (3) CY1115427T1 (zh)
DK (6) DK2271108T3 (zh)
ES (9) ES2719216T3 (zh)
HU (6) HUE036491T2 (zh)
MX (1) MXPA03007628A (zh)
MY (1) MY139955A (zh)
PT (6) PT3051814T (zh)
SI (3) SI2271107T1 (zh)
TW (2) TWI324889B (zh)
WO (1) WO2003075580A1 (zh)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002343215C1 (en) 2001-11-06 2009-01-22 Panasonic Intellectual Property Corporation Of America Moving picture coding method, and moving picture decoding method
KR100508798B1 (ko) 2002-04-09 2005-08-19 엘지전자 주식회사 쌍방향 예측 블록 예측 방법
PT3525467T (pt) 2002-04-19 2021-04-08 Panasonic Ip Corp America Método e aparelho de descodificação de fluxo de bits
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
KR100693669B1 (ko) * 2003-03-03 2007-03-09 엘지전자 주식회사 피일드 매크로 블록의 레퍼런스 픽쳐 결정 방법
US20060013305A1 (en) * 2004-07-14 2006-01-19 Sharp Laboratories Of America, Inc. Temporal scalable coding using AVC coding tools
KR100584603B1 (ko) * 2004-08-03 2006-05-30 학교법인 대양학원 다시점 영상의 다이렉트 모드 움직임 예측 방법 및 장치
FR2874292B1 (fr) 2004-08-10 2007-01-26 Thales Sa Procede de mise en forme de trames d'une sequence video
US8649439B2 (en) * 2004-11-26 2014-02-11 Panasonic Corporation Decoding circuit, decoding device, and decoding system
JP4642075B2 (ja) * 2005-04-13 2011-03-02 シャープ株式会社 動画像再生装置
JP4702943B2 (ja) * 2005-10-19 2011-06-15 キヤノン株式会社 画像処理装置及びその方法
WO2007132647A1 (ja) * 2006-05-12 2007-11-22 Panasonic Corporation 動画像復号化装置
JP4712643B2 (ja) * 2006-08-17 2011-06-29 富士通セミコンダクター株式会社 フレーム間予測処理装置、フレーム間予測方法、画像符号化装置及び画像復号装置
JP2008177907A (ja) * 2007-01-19 2008-07-31 Fujitsu Ltd 動画データ復号装置、情報機器、動画データ復号方法および動画データ復号プログラム
JP5100311B2 (ja) * 2007-10-29 2012-12-19 キヤノン株式会社 動画像データ送信方法、通信装置、及びプログラム
JP5332773B2 (ja) 2009-03-18 2013-11-06 ソニー株式会社 画像処理装置および方法
US9001893B2 (en) * 2009-05-13 2015-04-07 Panasonic Intellectual Property Management Co., Ltd. Image decoding apparatus, integrated circuit, image decoding method, and image decoding system
KR20110068792A (ko) 2009-12-16 2011-06-22 한국전자통신연구원 적응적 영상 부호화 장치 및 방법
US9036692B2 (en) * 2010-01-18 2015-05-19 Mediatek Inc. Motion prediction method
CN105025301B (zh) * 2010-01-19 2019-08-23 三星电子株式会社 图像解码设备
EP2528332A4 (en) 2010-01-19 2015-08-05 Samsung Electronics Co Ltd METHOD AND DEVICE FOR CODING / DECODING PICTURES USING A MOTION VECTOR OF A PREVIOUS BLOCK AS A MOTION VECTOR OF THE PRESENT BLOCK
KR20120009861A (ko) * 2010-07-22 2012-02-02 에스케이 텔레콤주식회사 확장된 스킵모드를 이용한 영상 부호화/복호화 방법 및 장치
SG10201506682SA (en) * 2010-09-30 2015-10-29 Mitsubishi Electric Corp Moving image encoding device, moving image decoding device, moving image coding method, and moving image decoding method
CN103069804B (zh) 2010-11-24 2017-05-03 太阳专利托管公司 运动矢量计算方法、图像解码方法、运动矢量计算装置及图像解码装置
WO2012096173A1 (ja) 2011-01-12 2012-07-19 パナソニック株式会社 動画像符号化方法および動画像復号化方法
US9560352B2 (en) 2011-01-28 2017-01-31 Sun Patent Trust Image coding method and image decoding method
JP6108309B2 (ja) * 2011-02-22 2017-04-05 サン パテント トラスト 動画像符号化方法、動画像符号化装置、動画像復号方法、および、動画像復号装置
JP5358746B2 (ja) * 2011-03-03 2013-12-04 パナソニック株式会社 動画像符号化方法、動画像符号化装置及びプログラム
CA2830036C (en) 2011-04-12 2019-03-05 Panasonic Corporation Moving picture coding method, moving picture coding apparatus, moving picture decoding method, moving picture decoding apparatus and moving picture coding and decoding apparatus
EP3337172B1 (en) 2011-05-24 2020-09-09 Velos Media International Limited Image encoding method, image encoding apparatus
TR201819396T4 (tr) 2011-05-27 2019-01-21 Sun Patent Trust Görüntü Kod Çözme Metodu Ve Görüntü Kod Çözme Cihazı
US9485518B2 (en) 2011-05-27 2016-11-01 Sun Patent Trust Decoding method and apparatus with candidate motion vectors
SG194746A1 (en) 2011-05-31 2013-12-30 Kaba Gmbh Image encoding method, image encoding device, image decoding method, image decoding device, and image encoding/decoding device
CN107257483B (zh) 2011-05-31 2020-01-21 太阳专利托管公司 运动图像编码方法、运动图像编码装置
JP5807402B2 (ja) * 2011-06-15 2015-11-10 富士通株式会社 動画像復号装置、動画像符号化装置、動画像復号方法、動画像符号化方法、動画像復号プログラム及び動画像符号化プログラム
JP5786478B2 (ja) * 2011-06-15 2015-09-30 富士通株式会社 動画像復号装置、動画像復号方法、及び動画像復号プログラム
USRE47366E1 (en) 2011-06-23 2019-04-23 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
MY165357A (en) 2011-06-23 2018-03-21 Sun Patent Trust Image decoding method and apparatus based on a signal type of the control parameter of the current block
EP3407610B1 (en) 2011-06-24 2019-09-04 Sun Patent Trust Coding method and coding apparatus
CA2830046C (en) 2011-06-24 2018-09-04 Panasonic Corporation Image decoding method, image coding method, image decoding apparatus, image coding apparatus, and image coding and decoding apparatus
CN106878715B (zh) 2011-06-27 2019-05-28 太阳专利托管公司 编码方法及编码装置
RU2602671C2 (ru) 2011-06-28 2016-11-20 Сан Пэтент Траст Способ декодирования изображений, способ кодирования изображений, устройство декодирования изображений, устройство кодирования изображений и устройство кодирования и декодирования изображений
RU2594291C2 (ru) 2011-06-28 2016-08-10 Самсунг Электроникс Ко., Лтд. Способ и устройство для кодирования и декодирования изображения, используя внутреннее предсказание
JP6112418B2 (ja) * 2011-06-29 2017-04-12 サン パテント トラスト 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像符号化復号装置
KR102006032B1 (ko) 2011-06-29 2019-07-31 선 페이턴트 트러스트 화상 복호 방법, 화상 부호화 방법, 화상 복호 장치, 화상 부호화 장치 및 화상 부호화 복호 장치
EP2728869B1 (en) 2011-06-30 2021-11-10 Sun Patent Trust Image decoding method
AU2012277219A1 (en) 2011-06-30 2013-09-19 Sun Patent Trust Image decoding method, image encoding method, image decoding device, image encoding device, and image encoding/decoding device
CN102256124B (zh) * 2011-06-30 2013-05-15 杭州海康威视数字技术股份有限公司 一种图像分层编码方法和装置
MX2013013029A (es) 2011-06-30 2013-12-02 Panasonic Corp Metodo de decodificacion de imagenes, metodo de codificacion de imagenes, dispositivo de decodificacion de imagenes, dispositivo de codificacion de imagenes y dispositivo de codificacion/decodifi cacion de imagenes.
RU2714371C2 (ru) 2011-07-11 2020-02-14 Сан Пэтент Траст Способ декодирования изображений, способ кодирования изображений, устройство декодирования изображений, устройство кодирования изображений и устройство кодирования и декодирования изображений
WO2013009104A2 (ko) 2011-07-12 2013-01-17 한국전자통신연구원 인터 예측 방법 및 그 장치
CN103718558B (zh) 2011-08-03 2017-04-19 太阳专利托管公司 运动图像编码方法及装置、解码方法及装置和编解码装置
EP3923572A1 (en) 2011-10-19 2021-12-15 Sun Patent Trust Image encoding method, image encoding device, image decoding method, and picture decoding device
US20130177084A1 (en) * 2012-01-10 2013-07-11 Qualcomm Incorporated Motion vector scaling in video coding
US10390041B2 (en) * 2012-03-30 2019-08-20 Sun Patent Trust Predictive image coding and decoding using two reference pictures
WO2014078068A1 (en) 2012-11-13 2014-05-22 Intel Corporation Content adaptive transform coding for next generation video
US9442904B2 (en) 2012-12-21 2016-09-13 Vmware, Inc. Systems and methods for applying a residual error image
KR20150058324A (ko) 2013-01-30 2015-05-28 인텔 코포레이션 차세대 비디오용 콘텐츠 적응적 엔트로피 코딩
JP6156489B2 (ja) * 2013-04-23 2017-07-05 富士通株式会社 画像符号化装置、画像符号化方法、及び撮像装置
KR101789954B1 (ko) * 2013-12-27 2017-10-25 인텔 코포레이션 차세대 비디오 코딩을 위한 콘텐츠 적응적 이득 보상된 예측
US10587880B2 (en) 2017-03-30 2020-03-10 Qualcomm Incorporated Zero block detection using adaptive rate model

Family Cites Families (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0420088A (ja) 1990-05-14 1992-01-23 Victor Co Of Japan Ltd フレーム間符号化装置
JP3031638B2 (ja) * 1991-01-30 2000-04-10 富士通株式会社 蓄積用動画像符号化方式における補間フレームのベクトル探索方法
JPH05137131A (ja) * 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
JPH0662391A (ja) * 1992-08-10 1994-03-04 Nippon Telegr & Teleph Corp <Ntt> 動画像予測符号化方法
US5329365A (en) * 1993-07-07 1994-07-12 Rca Thomson Licensing Corporation Method and apparatus for providing compressed non-interlaced scanned video signal
JP3513277B2 (ja) 1995-08-29 2004-03-31 シャープ株式会社 映像符号化装置及び映像復号化装置
US5724446A (en) * 1995-04-18 1998-03-03 Advanced Micro Devices, Inc. Video decoder apparatus using non-reference frame as an additional prediction source and method therefor
US5809173A (en) * 1995-04-18 1998-09-15 Advanced Micro Devices, Inc. Method and apparatus for improved video decompression using previous frame DCT coefficients
EP2129133A3 (en) * 1995-08-29 2012-02-15 Sharp Kabushiki Kaisha Video coding device and video decoding device with a motion compensated interframe prediction
JP2001224036A (ja) 1995-10-18 2001-08-17 Sharp Corp 動画像符号化装置
JP3344577B2 (ja) * 1996-09-09 2002-11-11 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録方法
JP3263807B2 (ja) * 1996-09-09 2002-03-11 ソニー株式会社 画像符号化装置および画像符号化方法
JPH10126787A (ja) 1996-10-14 1998-05-15 Nec Eng Ltd Ｐピクチャの予測ベクトルをオフセットベクトルとした双方向予測ベクトル検出回路
US5991447A (en) * 1997-03-07 1999-11-23 General Instrument Corporation Prediction and coding of bi-directionally predicted video object planes for interlaced digital video
SG65064A1 (en) * 1997-04-09 1999-05-25 Matsushita Electric Ind Co Ltd Image predictive decoding method image predictive decoding apparatus image predictive coding method image predictive coding apparatus and data storage media
JP3776735B2 (ja) 1997-04-09 2006-05-17 松下電器産業株式会社 画像予測復号化方法，画像予測復号化装置，画像予測符号化方法，画像予測符号化装置，及びデータ記憶媒体
EP1819173B1 (en) 1997-06-25 2009-07-29 Nippon Telegraph and Telephone Corporation Motion vector predictive encoding apparatus and decoding apparatus
JPH1169356A (ja) * 1997-08-25 1999-03-09 Mitsubishi Electric Corp 動画像符号化方式及び動画像復号方式
US6807231B1 (en) * 1997-09-12 2004-10-19 8×8, Inc. Multi-hypothesis motion-compensated video image predictor
US6249318B1 (en) * 1997-09-12 2001-06-19 8×8, Inc. Video coding/decoding arrangement and method therefor
US6396874B1 (en) * 1997-11-12 2002-05-28 Sony Corporation Decoding method and apparatus and recording method and apparatus for moving picture data
JP3523481B2 (ja) 1998-02-23 2004-04-26 シャープ株式会社 映像符号化装置及び映像復号化装置並びに映像符号化方法及び映像復号化方法
JP3329768B2 (ja) * 1999-07-05 2002-09-30 日本電信電話株式会社 画像符号化データの再符号化方法およびそのプログラム記録媒体
JP2001045475A (ja) 1999-07-27 2001-02-16 Matsushita Electric Ind Co Ltd 映像信号階層化符号化装置と映像信号階層化復号化装置及びプログラム記録媒体
JP3757088B2 (ja) * 1999-10-26 2006-03-22 日本電気株式会社 動画像符号化装置および方法
GB2362532B (en) 2000-05-15 2004-05-05 Nokia Mobile Phones Ltd Video coding
EP1168342A3 (en) * 2000-06-26 2004-10-06 Matsushita Electric Industrial Co., Ltd. Editing apparatus for an optical disk, computer-readable storage medium, and computer program
JP4245790B2 (ja) 2000-08-29 2009-04-02 オリンパス株式会社 超音波処置具
AUPR208000A0 (en) * 2000-12-15 2001-01-11 80-20 Software Pty Limited Method of document searching
US8010800B2 (en) * 2001-06-26 2011-08-30 Sealedmedia Limited Search engine and digital rights management
US20030130993A1 (en) * 2001-08-08 2003-07-10 Quiver, Inc. Document categorization engine
US20030074328A1 (en) * 2001-10-09 2003-04-17 Steven Schiff System and method for conducting a financial transaction using a communication device
US6738980B2 (en) * 2001-11-15 2004-05-18 Industrial Technology Research Institute Methods and systems for video streaming with VCR functionality
US6980596B2 (en) * 2001-11-27 2005-12-27 General Instrument Corporation Macroblock level adaptive frame/field coding for digital video content
EP2285120A1 (en) * 2001-11-21 2011-02-16 General Instrument Corporation Picture level adaptive frame/field coding for digital video content
JP2005510985A (ja) * 2001-11-21 2005-04-21 ジェネラル・インストルメント・コーポレーション デジタルビデオコンテンツのマクロブロックレベルにおける適応フレーム／フィールド符号化
US7003035B2 (en) * 2002-01-25 2006-02-21 Microsoft Corporation Video coding methods and apparatuses
KR100506864B1 (ko) * 2002-10-04 2005-08-05 엘지전자 주식회사 모션벡터 결정방법
JP5137131B2 (ja) 2008-08-08 2013-02-06 東芝キヤリア株式会社 給湯装置

Also Published As

Publication number Publication date
ES2491095T3 (es) 2014-09-05
BRPI0303342B1 (pt) 2019-07-02
EP3253056A1 (en) 2017-12-06
ES2719216T3 (es) 2019-07-09
EP2271107A2 (en) 2011-01-05
HUE024412T2 (en) 2016-01-28
BR0303342A (pt) 2004-08-10
ES2723725T3 (es) 2019-08-30
SI3051814T1 (sl) 2017-10-30
EP3490254B1 (en) 2020-09-09
DK2271109T3 (da) 2014-08-25
US7742526B2 (en) 2010-06-22
CY1119479T1 (el) 2018-03-07
DK3051814T3 (da) 2017-11-13
EP1406450A1 (en) 2004-04-07
EP3051814B1 (en) 2017-07-26
MY139955A (en) 2009-11-30
EP3054679A1 (en) 2016-08-10
EP2271107B1 (en) 2014-05-28
HUE052192T2 (hu) 2021-04-28
US20080063060A1 (en) 2008-03-13
PT2271107E (pt) 2014-07-28
EP2271108A2 (en) 2011-01-05
US20040086044A1 (en) 2004-05-06
EP2271108B1 (en) 2016-05-25
US8718141B2 (en) 2014-05-06
US20080069232A1 (en) 2008-03-20
EP1406450A4 (en) 2006-06-21
KR100923380B1 (ko) 2009-10-23
CA2762149C (en) 2014-09-30
CY1115427T1 (el) 2017-01-04
CN1640148A (zh) 2005-07-13
ES2489490T3 (es) 2014-09-02
US7856060B2 (en) 2010-12-21
MXPA03007628A (es) 2003-12-15
WO2003075580A1 (fr) 2003-09-12
ES2829621T3 (es) 2021-06-01
HUE024411T2 (en) 2016-01-28
PT3051814T (pt) 2017-10-04
AU2003211717B9 (en) 2008-03-13
TW200635385A (en) 2006-10-01
AU2003211717A1 (en) 2003-09-16
EP1406450B1 (en) 2014-05-28
CY1115440T1 (el) 2017-01-04
ES2644048T3 (es) 2017-11-27
JP2004088722A (ja) 2004-03-18
DK1406450T3 (da) 2014-07-14
EP2271109A2 (en) 2011-01-05
AU2003211717B2 (en) 2007-09-06
CA2762149A1 (en) 2003-09-12
ES2588179T3 (es) 2016-10-31
KR100948714B1 (ko) 2010-03-22
EP2271107A3 (en) 2011-08-10
EP3253057A1 (en) 2017-12-06
EP2271108A3 (en) 2011-08-10
KR20040091521A (ko) 2004-10-28
EP3490254A1 (en) 2019-05-29
US7664180B2 (en) 2010-02-16
EP3253056B1 (en) 2019-01-09
EP2271109A3 (en) 2011-08-10
HUE044024T2 (hu) 2019-09-30
PT1406450E (pt) 2014-07-28
SI2271107T1 (sl) 2014-09-30
HUE036491T2 (hu) 2018-07-30
DK2271108T3 (en) 2016-09-12
TWI324889B (en) 2010-05-11
PT3054679T (pt) 2017-09-28
TW200304753A (en) 2003-10-01
ES2491094T3 (es) 2014-09-05
KR20080006629A (ko) 2008-01-16
CA2443848A1 (en) 2003-09-12
DK2271107T3 (da) 2014-08-25
US20080063061A1 (en) 2008-03-13
CA2762075A1 (en) 2003-09-12
EP2271109B1 (en) 2014-05-28
US7801219B2 (en) 2010-09-21
CA2443848C (en) 2012-09-25
EP3054679B1 (en) 2017-07-19
TWI325281B (en) 2010-05-21
EP3051814A1 (en) 2016-08-03
US20080069231A1 (en) 2008-03-20
SI1406450T1 (sl) 2014-09-30
PT2271108T (pt) 2016-08-17
ES2644448T3 (es) 2017-11-29
AU2003211717C1 (en) 2009-04-23
CA2762075C (en) 2014-04-08
HUE042956T2 (hu) 2019-07-29
EP3253057B1 (en) 2019-01-30
DK3054679T3 (da) 2017-11-06
PT2271109E (pt) 2014-07-28

Similar Documents

Publication Publication Date Title
CN100474933C (zh) 动态图像解码方法及动态图像解码装置
CN1312936C (zh) 动态图像编码方法及动态图像解码方法
JP4130783B2 (ja) 動きベクトル符号化方法および動きベクトル復号化方法
CN101790095B (zh) 解码系统、解码装置、编码装置及记录方法
CN1662067B (zh) 运动检测方法及动态图像编码方法
CN102355586B (zh) 便携电话、机顶盒、电视机和汽车导航仪
WO2003098939A1 (en) Moving image encoding method, moving image decoding method, and data recording medium
WO2006025339A1 (ja) 復号化装置、符号化装置、復号化方法、符号化方法
CN100428803C (zh) 动态图像的解码方法及解码装置
JP2003199112A (ja) 動画像符号化方法および動画像復号化方法
JP2004048711A (ja) 動画像の符号化方法および復号化方法およびデータ記録媒体
CN101431679B (zh) 图像编码方法及图像编码装置
CN100574437C (zh) 移动向量解码方法和移动向量解码装置
JP2006187039A (ja) 動画像符号化方法および動画像復号化方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140926

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140926

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

CX01 Expiry of patent term
CX01 Expiry of patent term

Granted publication date: 20090401