CN1557097A - 图像编码方法及图像解码方法 - Google Patents

图像编码方法及图像解码方法 Download PDF

Info

Publication number
CN1557097A
CN1557097A CNA038010216A CN03801021A CN1557097A CN 1557097 A CN1557097 A CN 1557097A CN A038010216 A CNA038010216 A CN A038010216A CN 03801021 A CN03801021 A CN 03801021A CN 1557097 A CN1557097 A CN 1557097A
Authority
CN
China
Prior art keywords
image
picture
buffer
zone
judged
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA038010216A
Other languages
English (en)
Other versions
CN100361535C (zh
Inventor
林宗顺
Ҳ
符式伟
־
申省梅
ʷ
野真也
近藤敏志
羽饲诚
安倍清史
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1557097A publication Critical patent/CN1557097A/zh
Application granted granted Critical
Publication of CN100361535C publication Critical patent/CN100361535C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling

Abstract

本发明的图像编码方法是一种边参照保持在图象缓冲器中的图像边预测编码输入图像，并解码编码后的所述输入图像的图像编码方法，对解码后的图像判断是否是参照用图像及是否是必需保持到显示时刻的输出用图像，根据判断结果使参照用图像和输出用图像保持在所述图象缓冲器中。

Description

图像编码方法及图像解码方法
技术领域
本发明涉及一种高效率压缩动态图像的图像编码方法及将其正确解码并显示的图像解码方法。
背景技术
近年来，迎来了将声音、图像及其他象素值统一处理的多媒体时代，提出将以前的信息媒体、即新闻、杂志、电视、收音机、电话等信息传递给人的手段作为多媒体对象。一般，所谓多媒体不仅是文字，也同时关联表示图形、声音、尤其是图像等，但在将上述现有信息媒体作为多媒体对象，以数字形式来表示该信息是必要条件。
但是，若将上述各信息媒体具有的信息量试着以数据信息量来估计的话，则在文字的情况下，每1个文字的信息量为1-2字节，对此，在声音的情况下，需要每秒64Kbits(电话质量)以上的信息量，并且动态图像需要每秒100Mbits(当前电视接收质良)以上的信息量，现实中，对上述信息媒体不会以数据形式来原样处理这样庞大的信息。例如，电视电话已经通过具有64Kbit/s-1.5Mbit/s的传输速度的综合业务数字网(ISDN：IntergratedServices Digital Network)实际应用了，但不能由ISDN原样传输电视摄像机的映像。因此，需要信息压缩技术，例如，在电视电话的情况下，使用由ITU-T(国际电气通信同盟，电信标准化部门)国际标准化后的H.261或H.263标准的动态图像压缩技术。另外，也可根据MPEG-1标准的信息压缩技术来将图像信息与声音信息一起置入通常的音乐用CD(致密盘)。
这里，所谓MPEG(Moving Picture Experts Group)是动态图像信号压缩的国际标准，MPEG-1是将动态图像信号压缩到1.5Mbit/s、即将电视信号的信息压缩到约百分之一的标准。另外，以MPEG-1标准为对象的传输速度主要被限制在约1.5Mbit/s，所以在应满足进一步高画质化的要求的标准化的MPEG-2中，将动态图像信号压缩到2-15Mbit/s。另外，现状下，通过进行MPEG-1、MPEG-2和标准化的作业组(ISO/IECJTC1/SC29/WG11)，达到提高MPEG-1、MPEG-2的压缩率，进而可以物体单位来进行编码、解码、操作，实现多媒体时代必需的新的功能的MPEG-4被标准化。MPEG-4最初旨在进行低位速率的编码方法的标准化，但现在扩展到既包含交织图像、也包含高位速率的更通用的编码。
进而，近年来，作为MPEG-4的下一代编码，称为JVT的、基于ITU-T与ISO/IEC二者的新的图像编码正在标准化中。
图24是表示图象的预测结构、解码顺序与显示顺序的图。所谓图象是指帧或字段之一的术语，在本说明书中用所谓图象这样的描述来代替帧或字段。另外，所谓图像或画面的术语也是与图象同义的词。图24中加斜线阴影线的图象是为了在其它图象编码、解码时被参照，表示保存在存储器中的图象。
IO是画面内编码图象，P3、P6、P9是画面间预测编码图象(P图象)。在JPT标准化中，画面间编码与现有的MPEG-1/2/4不同，从多个编码完的图象中选择任意1个图象作为参照图象，根据参照图象来生成预测图像。例如，P9图象可从IO、P3、P6这3个图象中选择任意1个图象，并根据该图象来生成预测图像。由此，可选择适当的预测图像的可能性比现有的MPEG-1/2/4还高，并提高压缩率。B1、B2、B4、B5、B7、B8是画面间双预测编码图象(B图象)，与画面间预测图象的预测不同，选择多个(两个)图象，根据选择到的图象生成预测图像并编码。尤其是通过进行将时间上处于前后的两个图象的平均值设为预测图像的内插预测，众所周知能大幅度提高预测图像的精度，并大幅度提高压缩率。下面，向各图象赋予将画面内编码图象称为I、将画面间预测编码图象称为P、将画面间双预测编码图象称为B的记号，区别各图象的编码方法。
B图象中为了通过预测编码来参照时间上处于前后的图象，必需先编码、解码时间上在后的图象。将之称为图象的重新排列(Reordering)，比现有的MPEG-1/2/4更好地进行。因此，与编码顺序(Stream Order)相反，解码编码后的流并进行显示的顺序(Display Order)如图24等表示图象的预测结构、解码顺序与显示顺序的图那样被重新排列。另外，因为图24的实例中B图象在解码流的瞬间被显示，所以在未由其它图像参照的情况下不必存储在存储器等中，但I图象或P图象解码后，由于在解码下一B图象之后才被显示，所以必需保存在存储器中。
下面，在表示图象的预测结构、解码顺序与显示顺序的图中，术语和图象的斜线阴影线的含义用与图24相同的含义来统一。
图25是表示其它图象的预测结构、解码顺序与显示顺序的图。图中，与图24的不同之处在于图象6不是P图象，而是I图象。
图26是用于实现现有图像编码方法的图像编码装置的框图。下面，说明图26的实现现有图像编码方法的图像编码装置的动作。
图象结构决定单元PicStruct决定各图象的编码类型(I图象、P图象、B图象)，向参照图象管理单元RefPicCtrl指示该编码类型和编码中可参照的图象，另外，将图象的编码顺序通知给重新排列单元ReOrder。重新排列单元ReOrer将输入图象PicIn的顺序重新排列为编码顺序，将重新排列过的图象输出到动作检测单元ME和减法单元Sub。动作检测单元ME参照图象存储器PicMeml中保存的图象，导出适当的参照图象和指示该象素位置的动作矢量MV，送至可变长编码单元VLC与图象存储器PicMeml、动态补偿单元MC。图象存储器PicMeml将对应于动作矢量MV的参照图象的象素输出到动作补偿单元MC，动作补偿单元MC根据从图象存储器PicMeml得到的参照图象的象素与动作矢量MV，生成预测图像。
减法单元Sub计算重新排列单元ReOrder重新排列过的图象与预测图像之差，正交变换单元T将该差变换为频率系数，并由量化单元Q将频率系数量化，设为量化值Coef。
反向量化单元IQ反向量化量化值Coef，还原为频率系数，且逆正交变换单元IT从频率系数逆频率变换为象素差分值。加法单元Add将预测图像与象素差分值相加，得到解码图像。
参照图象管理单元RefPicCtrl对应于图象的编码类型，判断是否有为了作为参照图象参照而应保存在图象存储器PicMeml中的解码图像、或应从图象存储器PicMeml释放(以后不作为参照图象而被参照)的解码图像，将该动作作为存储器管理指令MMCO来通知。
开关SW在该解码图像因存储器管理指令MMCO而指示保存的情况下变为ON，将该解码图像作为参照图象保存在图象存储器PicMeml中。另外，图象存储器PicMeml在存储器管理指令MMCO指示应从图象存储器PicMeml开发的解码图像的情况下，释放(开放)保存了该解码图像的区域，并可将其它解码图像保存在该区域中。
可变长编码单元VLC编码量化值Coef、动作矢量MV、存储器管理指令MMCO，输出编码流Str。
示出伴随频率变换与量化的实例来作为编码，但也可是不伴随频率变换或量化的编码(DPCM或ADPCM、线性预测编码等)。另外，也可以是频率变换与量化一体化、或如位平面(bit plane)编码等在频率变换后不伴随量化的编码。
图27是存储器管理指令MMCO的代码例。为了在编码、解码的最初或GOP(图像组)的开头初始化图象存储器，可变长编码单元VLC编码意味着全部存储器释放的‘000’。另外，在将解码图像保存在图象存储器中的情况下，可变长编码单元VLC编码‘01’。在释放图象存储器中保存的图象的情况下，因为必需指示释放的图象序号，所以可变长编码单元VLC编码在‘001’之后释放的图象序号。同时在释放多个图象的情况下，必需编码多次释放的指示，另外，有时除释放图象的指令外，还编码保存图象的指令。因此，可变长编码单元VLC连续编码多个存储器管理指令MMCO，将表示存储器管理指令MMCO结束的‘1’最后编码。如上所述，将存储器管理指令MMCO编码成编码流Str。
图28是实现现有图像解码方法的图像解码装置的框图。图中，进行与图26的实现图像编码方法的图像编码装置的框图相同动作的设备标以相同序号，省略说明。
可变长解码单元VLD解码编码流Str，输出存储器管理指令MMCO、动作矢量MV、量化值Coef。图象时刻Time是从外部输入、指定显示的图象的信号。若应显示的图象是解码后的该图象，则选择器Sel选择加法单元Add的输出，送至显示单元Disp。若应显示的图象是图象存储器PicMeml中保存的图象，则从图象存储器PicMeml中读出，由选择器Sel选择，送至显示单元Disp。
如上所述，图象存储器PicMeml将对应于动作矢量MV的象素输出到动作补偿单元MC，动作补偿单元MC根据从图象存储器PicMeml得到的象素与动作矢量MV，生成预测图像。
另外，反向量化单元IQ反向量化量化值Coef，还原频率系数，逆正交变换单元IT再由频率系数逆频率变换为象素差分值。加法单元Add将预测图像与象素差分值相加，设为解码图像。
图象存储器PicMeml在由存储器管理指令MMCO指示图象存储器PicMeml中应释放的解码图像的情况下，释放保存该解码图像的区域，将其它解码图像保存在该区域中。
示出伴随逆频率变换与反向量化的实例来作为解码，但也可是不伴随逆频率变换或反向量化的解码(DPCM或ADPCM、线性预测编码等)。另外，也可以是逆频率变换与反向量化一体化、或如位平面编码等在频率变换后不伴逆随量化的解码。
可知通过以上图28的实现现有图像解码方法的图像解码装置，图24和图25所示现有图象编码类型的组合可正确解码由图26的实现现有图像编码方法的图像编码装置编码的编码流Str。
然而，作为图象编码类型，讨论更弹性的组合。
图1是表示图象的以前没有的预测结构、解码顺序与显示顺序的图。图1中，图象4前后B图象的预测结构不同。即，保存图象2的B图象，作为图象1和图象3的预测图像进行参照。结果，各图象的编码顺序和显示顺序如图1所示。
但是，图象5与图象6因为预测编码而未被参照，所以是未被保存的B图象。但是，与图24的情况不同，在解码时刻是其它图象的显示时刻，或未变为显示的时刻。即，在图象B5的解码时刻必需显示图象P4，在图象B6的解码时刻必需显示图象B5。另一方面，因为未保存图象B5与图象B6，所以在显示时刻也不能从图象存储器中输出图象B5与图象B6。因此，因为预测编码中未被参照的图象未保存在图象存储器中，所以现有的编码、解码方法不能解码图象B5与图象B6并进行显示。即，如图24所示实例那样，在未保存预测编码中未被参照的图象的情况下，仅能显示图象0、图象1、图象2、图象4、图象7。
这样，作为图象编码类型，若讨论更弹性的组合，则存在会产生解码后不能显示的图象的问题。另外，若另外追加图象存储器以用于显示，并将未保存在图象存储器PicMeml中的图象保存在显示用的其它图象存储器中，则可显示，但此时，存在其它图象存储器必需大的多余的存储器的缺点。
并且，即使导入用于显示的其它图象存储器，也会在流中途的再现中产生新的问题。图2是表示图象的预测结构、解码顺序与显示顺序的图。图中，与图25的不同之处在于在图象7的前后预测结构完全独立。I7以后的图象在编码、解码中不参照I7之前的时刻的图象。因此，若从I7图象开始解码，则可正确解码I7以后的图象，所以特征在于I7图象可从流中途再现。这样，最好在流中途插入I图象，按照MPEG-2，将该可从中途再现的结构称为GOP(图像组group of picture)。
但是，为了从流中途再现，必需保证即使在从中途再现的时刻再现图像在编码装置与解码装置之间为一致的，为此，初始化图象存储器的全图象区域是简单的方法。但是，图象6在解码图象7的时刻还未被显示地存储在图象存储器中，所以若在图象6显示之前单纯初始化全部图象存储器，则在图象6的显示时刻不能从图象存储器中显示图象6。
发明的内容
因此，本发明的目的在于在考虑图像编码或解码中必需的存储器量，并且不会产生不能解码显示的图象。
为了实现上述目的，本发明的图像编码方法边参照图象缓冲器中保持的图像边预测编码输入图像，并对编码后的所述输入图像解码，其特征在于：判断解码后的图像是参照用图像还是必需保持到显示时刻的输出用图像，根据判断结果，使参照用图像和输出用图像保持在所述图象缓冲器中。
这里，所述图像编码方法也可构成为具有：第1判断步骤，判断解码后的图像是否是参照用图像；第2判断步骤，判断解码后的图像是不是非参照用、且是必需保持到显示时刻的输出用图像；和管理步骤，管理图象缓冲器，使第1判断步骤中判断为参照用的图像的图像保持在所述图象缓冲器中，使第2判断步骤中判断为输出用图像的图像保持在所述图象缓冲器中。
根据该结构，除解码图像是否是参照用图像的判断外，还进行是否是输出用图像的判断，除参照用图像外，将在预测编码中未被参照但被解码的同时不能显示或输出的图像、作为输出用图像存储在图象缓冲器中。在图像编码时进行这种判断及图象缓冲器管理，验证解码动作，所以解码装置可确实在显示时刻将输出用图像显示或输出。
这里，所述图象缓冲器具有一定的大小，所述图像编码方法还具有第3判断步骤，判断图象缓冲器中保持的参照用图像是否参照完；和第4判断步骤，判断图象缓冲器中保持的输出用图像是否输出完，在所述管理步骤中，根据第3及第4判断步骤中的各判断结果，再使用所述一定大小的范围内保持图象缓冲器中的图像的区域。
根据该结构，在管理步骤中，在所述图象缓冲器的一定大小的范围内，再使用保持图像的区域来存储参照用图像与所述输出用图像，所以不必白白消耗存储器，将解码图像的图象缓冲器设为必要的最小限度的大小。
并且，所述图像编码方法也可具有编码步骤，对每个由多个编码图像构成的序列，编码表示该序列的编码中变为一定的所述大小的信息。
根据该结构，因为对每个序列所述大小一定，所以可弹性确定每个序列在预测编码中使用的图像的类型。
另外，在所述管理步骤中，在所述图象缓冲器中不存在可重新存储图像的区域的情况下，在保持第4判断步骤中判断为输出完的输出用图像的区域中，存储第1判断步骤中判断为参照用图像的图像和第2判断步骤中判断为参照用图像的图像之一。
根据该结构，在存储在图象缓冲器中的输出用图像的区域中存储已输出完的图像的区域中，存储新的图像。即，因为再使用存储输出完的图像的区域，所以可更确实地显示未输出完的图像。
并且，在所述管理步骤中，在所述图象缓冲器中不存在可新存储图像的区域的情况下，在保持着被存储在所述图象缓冲器中的输出用图像中显示顺序早(在先)的图像的区域中，保持第1判断步骤中判断为参照用图像的图像和第2判断步骤中判断为参照用图像的图像之一。
另外，所述图像编码方法还具有释放步骤，在包含多个编码图像的序列中途变更输入图像的大小的情况下，释放保持输出用图像的区域中、保持大小变更前的图像且存储后图像的全部或部分未被变更的图像的区域以外的区域。
根据该结构，当有大小(尺寸)变更时，由于输出用解码图像可残留在解码图像图象缓冲器中，所以可在大小变更时刻、不删除而尽可能多地输出未输出完的图像。
如上所述，根据本发明，以前不能正确显示的图象也可通过不持有多余的存储器而有效活用释放的存储器区域来显示，其实用价值高。
另外，本发明的图像解码方法、图像编码装置、图像解码装置、程序也具有与上述一样的结构、作用、效果。
另外，本发明的图像编码方法或图像解码方法可构成为以下的(1)至(16)之一。
(1)一种图像编码方法，参照解码后的保存在存储器中的解码完图像来预测编码图像信号，其中，包含如下步骤：从存储器中参照所述解码完图像，生成预测图像，编码所述预测图像与所述图像信号之差，设为编码流；解码所述编码后的所述预测图像与所述图像信号之差，将所述预测图像相加，设为解码图像，将规定的解码图像存储在所述存储器中；释放所述存储器的所有区域，将表示可否再使用的指示信息包含于所述编码流中。
(2)一种图像编码方法，参照解码完图像来预测编码图像信号，其中，从存储器中参照解码完图像，生成预测图像，编码所述预测后的所述预测图像与所述图像信号之差，设为编码流，解码所述编码后的所述预测图像与所述图像信号之差，将所述预测图像相加，设为解码图像，将为了生成预测图像而参照的图像和不能立即显示的图像中所述解码图像存储在所述存储器中。
(3)一种图像编码方法，参照解码完图像来预测编码图像信号，其中，从存储器中参照解码完图像，生成预测图像，编码所述预测后的所述预测图像与所述图像信号之差，设为编码流，解码所述编码后的所述预测图像与所述图像信号之差，将所述预测图像相加，设为解码图像，将所述解码图像存储在所述存储器中，或从所述存储器中释放不要的图像，当将所述解码图像存储在所述存储器中时，存储在所述存储器内的释放的区域中、保存显示完图像的区域中。
(4)一种的图像编码方法，参照解码后的保存在存储器中的解码完图像来预测解码编码流，其特征在于：包含
存储步骤，从所述存储器中参照所述解码完图像，生成预测图像，将所述预测图像与解码所述编码流得到的图像信号相加，设为解码图像，将规定的解码图像存储在存储器中；和
处理步骤，释放解码所述编码流得到的存储器的所有区域，根据表示可否再使用的指示信息，进行基于所述指示信息表示的信息的处理。
(5)一种的图像解码方法，参照解码完图像来预测解码编码流，其中，从存储器中参照解码完图像，生成预测图像，解码所述编码流，将所述预测图像相加，设为解码图像，将所述解码图像存储在所述存储器中，或从所述存储器中释放不要的图像，当将所述解码图像存储在所述存储器中时，存储在所述存储器内的释放的区域中、保存显示完图像的区域中。
(6)一种的图像解码方法，参照解码完图像来预测编码图像信号，其中，从存储器中参照解码完图像，生成预测图像，编码所述预测后的所述预测图像与所述图像信号之差，设为编码流，解码所述编码后的所述预测图像与所述图像信号之差，将所述预测图像相加，设为解码图像，将所述解码图像存储在所述存储器中，或从所述存储器中释放不要的图像，当将所述解码图像存储在所述存储器中时，存储在所述存储器内的释放的区域中、保存最老时刻的图像的区域中。
(7)一种参照解码完图像来预测解码编码流的图像解码方法，其中，从存储器中参照解码完图像，生成预测图像，解码所述编码流，将所述预测图像相加，设为解码图像，将所述解码图像存储在所述存储器中，或从所述存储器中释放不要的图像，当将所述解码图像存储在所述存储器中时，存储在所述存储器内的释放的区域中、保存最老时刻的图像的区域中。
(8)一种参照解码完图像来预测编码图像信号的图像编码方法，其中，从存储器中参照解码完图像，生成预测图像，编码所述预测后的所述预测图像与所述图像信号之差，设为编码流，解码所述编码后的所述预测图像与所述图像信号之差，将所述预测图像相加，设为解码图像，将所述解码图像存储在所述存储器中，或从所述存储器中释放不要的图像，当将所述解码图像存储在所述存储器中时，存储在所述存储器内、最初释放的可存储区域中。
(9)一种参照解码完图像来预测解码编码流的图像解码方法，其中，从存储器中参照解码完图像，生成预测图像，解码所述编码流，将所述预测图像相加，设为解码图像，将所述解码图像存储在所述存储器中，或从所述存储器中释放不要的图像，当将所述解码图像存储在所述存储器中时，存储在所述存储器内、最初释放的可存储区域中。
(10)一种参照解码完图像来预测编码图像信号的图像编码装置，其中，具备：预测部件，从存储器中参照解码完图像，生成预测图像；编码部件，编码由所述预测部件预测后的所述预测图像与所述图像信号之差，设为编码流；解码部件，解码所述编码后的所述预测图像与所述图像信号之差；加法部件，将由所述解码部件解码的所述预测图像与所述图像信号之差和所述预测图像相加；参照图像管理部件，进行判断，将为了生成预测图像而参照的图像和不能立即显示的图像存储在存储器中；和存储器部件，根据所述参照图像管理部件的判断，将所述加法部件的加法结果存储在所述存储器中。
(11)一种参照解码完图像来预测编码图像信号的图像编码装置，其中，具备：预测部件，从存储器中参照解码完图像，生成预测图像；编码部件，编码由所述预测部件预测后的所述预测图像与所述图像信号之差，设为编码流；解码部件，解码所述编码后的所述预测图像与所述图像信号之差；加法部件，将由所述解码部件解码的所述预测图像与所述图像信号之差和所述预测图像相加；参照图像管理部件，进行判断，将所述加法部件的加法结果存储在存储器中或从存储器中释放不要的图像；和存储器部件，根据所述参照图像管理部件的判断，将所述加法部件的加法结果存储在作为存储器中释放的区域、保存解码装置作为解码完图像而输出到外部的图像的区域中。
(12)一种参照解码完图像来预测解码编码流的图像解码装置，其中，具备：解码部件，解码所述编码流；预测部件，从存储器中参照解码完图像，生成预测图像；加法部件，将由所述解码部件解码后的所述预测图像与所述图像信号之差和所述预测图像相加；参照图像管理部件，进行判断，将所述加法部件的加法结果存储在存储器中或从存储器中释放不要的图像；和存储器部件，根据所述参照图像管理部件的判断，将所述加法部件的加法结果存储在作为存储器中释放的区域、保存作为解码完图像而输出到外部的图像的区域中。
(13)一种参照解码完图像来预测编码图像信号的图像编码装置，其中，具备：预测部件，从存储器中参照解码完图像，生成预测图像；编码部件，编码由所述预测部件预测后的所述预测图像与所述图像信号之差，设为编码流；解码部件，解码所述编码后的所述预测图像与所述图像信号之差；加法部件，将由所述解码部件解码的所述预测图像与所述图像信号之差和所述预测图像相加；参照图像管理部件，进行判断，将所述加法部件的加法结果存储在存储器中或从存储器中释放不要的图像；和存储器部件，根据所述参照图像管理部件的判断，将所述加法部件的加法结果存储在作为存储器中释放的区域、保存时刻最早的图像的区域中。
(14)一种参照解码完图像来预测解码编码流的图像解码装置，其中，具备：解码部件，解码所述编码流；预测部件，从存储器中参照解码完图像，生成预测图像；加法部件，将由所述解码部件解码后的所述预测图像与所述图像信号之差和所述预测图像相加；参照图像管理部件，进行判断，将所述加法部件的加法结果存储在存储器中或从存储器中释放不要的图像；和存储器部件，根据所述参照图像管理部件的判断，将所述加法部件的加法结果存储在作为存储器中释放的区域、保存时刻最早(先)的图像的区域中。
(15)一种参照解码完图像来预测编码图像信号的图像编码装置，其中，具备：预测部件，从存储器中参照解码完图像，生成预测图像；编码部件，编码由所述预测部件预测后的所述预测图像与所述图像信号之差，设为编码流；解码部件，解码所述编码后的所述预测图像与所述图像信号之差；加法部件，将由所述解码部件解码的所述预测图像与所述图像信号之差和所述预测图像相加；参照图像管理部件，进行判断，将所述加法部件的加法结果存储在存储器中或从存储器中释放不要的图像；和存储器部件，根据所述参照图像管理部件的判断，将所述加法部件的加法结果存储在作为存储器中释放的区域、释放顺序早的区域中。
(16)一种参照解码完图像来预测解码编码流的图像解码装置，其中，具备：解码部件，解码所述编码流；预测部件，从存储器中参照解码完图像，生成预测图像；加法部件，将由所述解码部件解码后的所述预测图像与所述图像信号之差和所述预测图像相加；参照图像管理部件，进行判断，将所述加法部件的加法结果存储在存储器中或从存储器中释放不要的图像；和存储器部件，根据所述参照图像管理部件的判断，将所述加法部件的加法结果存储在作为存储器中释放的区域、释放顺序早的区域中。
另外，存储使计算机执行本发明的图像编码方法及图像解码方法的程序的存储媒体为以下(17)-(23)之一。
(17)一种存储媒体，其特征在于：上述程序使计算机参照解码完图像来预测编码图像信号的图像编码方法，该图像编码方法从存储器中参照解码完图像，生成预测图像，编码所述预测到的所述预测图像与所述图像信号之差，设为编码流，解码所述编码后的所述预测图像与所述图像信号之差，将所述预测图像相加，设为解码图像，将为了生成预测图像而参照的图像和不能立即显示的图像中所述解码图像存储在所述存储器中。
(18)一种存储媒体，其特征在于：上述程序使计算机参照解码完图像来预测编码图像信号的图像编码方法，该图像编码方法从存储器中参照解码完图像，生成预测图像，编码所述预测到的所述预测图像与所述图像信号之差，设为编码流，解码所述编码后的所述预测图像与所述图像信号之差，将所述预测图像相加，设为解码图像，将所述解码图像存储在所述存储器中，或从所述存储器中释放不要的图像，在将所述解码图像存储在所述存储器中时，存储在所述存储器内的释放区域中保存显示完图像的区域中。
(19)一种存储媒体，其特征在于：上述程序使计算机参照解码完图像来预测解码编码流的图像解码方法，该图像解码方法从存储器中参照解码完图像，生成预测图像，解码所述编码流，将所述预测图像相加，设为解码图像，将所述解码图像存储在所述存储器中，或从所述存储器中释放不要的图像，在将所述解码图像存储在所述存储器中时，存储在所述存储器内的释放区域中保存显示完图像的区域中。
(20)一种存储媒体，其特征在于：上述程序使计算机参照解码完图像来预测编码图像信号的图像编码方法，该图像编码方法从存储器中参照解码完图像，生成预测图像，编码所述预测到的所述预测图像与所述图像信号之差，设为编码流，解码所述编码后的所述预测图像与所述图像信号之差，将所述预测图像相加，设为解码图像，将所述解码图像存储在所述存储器中，或从所述存储器中释放不要的图像，在将所述解码图像存储在所述存储器中时，存储在所述存储器内的释放区域中保存最老时刻图像的区域中。
(21)一种存储媒体，其特征在于：上述程序使计算机参照解码完图像来预测解码编码流的图像解码方法，该图像解码方法从存储器中参照解码完图像，生成预测图像，解码所述编码流，将所述预测图像相加，设为解码图像，将所述解码图像存储在所述存储器中，或从所述存储器中释放不要的图像，在将所述解码图像存储在所述存储器中时，存储在所述存储器内的释放区域中保存最老时刻图像的区域中。
(22)一种存储媒体，其特征在于：上述程序使计算机参照解码完图像来预测编码图像信号的图像编码方法，该图像编码方法从存储器中参照解码完图像，生成预测图像，编码所述预测到的所述预测图像与所述图像信号之差，设为编码流，解码所述编码后的所述预测图像与所述图像信号之差，将所述预测图像相加，设为解码图像，将所述解码图像存储在所述存储器中，或从所述存储器中释放不要的图像，在将所述解码图像存储在所述存储器中时，存储在所述存储器内最初释放的可存储区域中。
(23)一种存储媒体，其特征在于：上述程序使计算机参照解码完图像来预测解码编码流的图像解码方法，该图像解码方法从存储器中参照解码完图像，生成预测图像，解码所述编码流，将所述预测图像相加，设为解码图像，将所述解码图像存储在所述存储器中，或从所述存储器中释放不要的图像，在将所述解码图像存储在所述存储器中时，存储在所述存储器内最初释放的可存储区域中。
另外，本发明的图像编码装置中定义对流及图像解码装置的存储器限制条件且编码视频的方法也可以是以下的(A1)至(A26)之一。
(A1)一种定义对流及图像解码装置的存储器限制条件的图像编码方法，包含如下步骤：确定可使用的参照图象的最大数量；设定后方预测参照图象的最大数量；将后方预测参照图象的所述最大数量放在流的首标中；生成虚拟显示延迟缓冲器；生成显示计数器；对所述参照图象分配充足的存储空间；和编码所述视频。这里，虚拟显示延迟缓冲器是应存储在图像编码装置内的存储器中确保的显示用区域中的各显示用图象所对应的虚拟缓冲器，保持表示显示用图象的输出顺序的信息(图象顺序序号等)。显示计数器存储及更新应虚拟输出到显示器的图象的图象顺序序号。另外，所谓充足的存储空间是指存储参照图象及显示用图象的区域。
(A2)在(A1)记载的图像编码方法中，参照图象的所述最大数量对应于表示解码器的能力的水平值来决定。
(A3)在(A1)或(A2)记载的图像编码方法中，后方预测参照图象的所述最大数量比参照图象的所述最大数量少。
(A4)在(A1)、(A2)或(A3)记载的图像编码方法中，流整体的所述后方预测由后方预测参照图象的所述最大数量来限制。
(A5)在(A1)记载的图像编码方法中，所述虚拟显示延迟缓冲器的大小是从后方预测参照图象的所述最大数量中减去1。
(A6)在(A1)或(A5)记载的图像编码方法中，所述虚拟显示延迟缓冲器的物理存储器仅包含图象的显示顺序信息。
(A7)在(A1)记载的图像编码方法中，所述显示计数器被用于存储从虚拟显示延迟缓冲器中去除的图象的显示顺序信息。
(A8)在(A1)记载的图像编码方法中，包含如下步骤：使用可利用的参照图象来预测编码对象图象；编码所述编码对象图象；决定是否将所述编码后的图象用于预测；解码所述编码后的图象；将所述解码后的图象存储在所述参照图象缓冲器中；更新所述虚拟显示延迟缓冲器；和更新所述显示计数器。
(A9)在(A1)或(A8)记载的图像编码方法中，图象的所述预测在预测编码所述图象的情况下可使用一个或多个参照图象。
(A10)在(A1)或(A8)记载的图像编码方法中，所述参照图象仅在所述参照图象缓冲器满足存储器限制条件的情况下使用。
(A11)在(A1)或(A8)记载的图像编码方法中，所述参照图象在所述编码对象图象被用作参照图象的情况下被解码。
(A12)在(A1)、(A8)或(A10)记载的图像编码方法中，所述解码图象的存储包含如下步骤：决定参照图象数量对下一图象的存储器限制条件；从所述参照图象缓冲器中去除未使用的参照图象；和将所述解码后的图象加入所述参照图象缓冲器中。
(A13)在(A1)、(A8)、(A10)或(A12)记载的图像编码方法中，参照图象对下一图象的所述最大数量等于从参照图象对流的最大数量中减去所述虚拟显示延迟缓冲器的图象数量。
(A14)在(A1)、(A8)、(A10)或(A12)记载的图像编码方法中，所述未使用的参照图象对显示器的显示顺序信息在对显示器的所述显示顺序信息比所述显示计数器的值大的情况下被移动到虚拟显示延迟缓冲器中。
(A15)在(A1)或(A8)记载的图像编码方法中，所述虚拟显示延迟缓冲器在所述显示顺序信息比所述显示计数器的值大的情况下，存储所述图象的所述时间信息。
(A16)在(A1)、(A8)或(A15)记载的图像编码方法中，所述虚拟显示延迟缓冲器在所述显示顺序信息比所述显示计数器的值小的情况下，去除所述图象的所述显示顺序信息。
(A17)在(A1)、(A8)、(A10)、(A12)或(A13)记载的图像编码方法中，所述虚拟显示延迟缓冲器的所述图象数由存在于所述虚拟显示延迟缓冲器中的图象的显示顺序信息的合计数来定义。
(A18)在(A1)、(A8)记载的图像编码方法中，所述显示计数器的显示顺序信息在所述虚拟显示延迟缓冲器充满时或编码的图象数量等于所述参照图象的最大数量时开始更新。
(A19)在(A1)、(A8)或(A18)记载的图像编码方法中，所述显示计数器的显示顺序信息基于在所述显示计数器开始更新后编码的各图象的显示顺序信息来更新。
(A20)在(A1)记载的图像编码方法中，所述图像编码装置用的图像解码装置包含如下步骤：根据流首标来决定最大后置(post)解码缓冲器大小；决定必要的参照图象的最小数量；向参照图象分配充足的物理存储器空间；解码所述流；和输出所述流。
(A21)在(A1)或(A20)记载的图像编码方法中，所述最大后置解码缓冲器大小是由所述图像编码装置设定的后方参照图象的最大数量。
(A22)在(A1)或(A20)记载的图像编码方法中，必要的参照图象的所述最小数量相对可解码相同流的图像解码装置的能力水平固定。
(A23)在(A1)或(A20)记载的图像编码方法中，由所述图像解码装置分配的所述物理存储器空间可用于存储参照图象及后置解码器图象两者。
(A24)在(A1)或(A20)记载的图像编码方法中，参照图象及后置解码器图象两者的合计不超过所述分配的物理存储器空间。
(A25)在(A1)或(A20)记载的图像编码方法中，所述解码在编码的图象数量等于从所述最大后置解码缓冲器大小中减去1的数时或解码的图象的合计数量等于参照图象的所述决定的最小数量时的任一早的一方输出第1解码图象。
(A26)在(A1)或(A20)记载的图像编码方法中，解码后的图象若一旦为了输出而被送出，则从所述后置解码缓冲器中去除。
另外，本发明的图像解码装置中基于对流及图像解码装置的存储器限制条件来解码流的方法也可以是以下的(A27)至(A37)之一。
(A27)一种基于对流及图像解码装置的存储器限制条件来解码流的方法，包含如下步骤：决定用于流的参照图象的最大数量；决定后方预测参照图象的最大数量；计算后置解码缓冲器的最小大小；对参照图象缓冲器分配充足的物理存储器空间；对后置解码缓冲器分配充足的物理存储器空间；解码流；将解码后的图象存储在参照图象缓冲器中；将解码后的图象存储在后置解码缓冲器中；和输出解码后的图象。这里，后置解码缓冲器是指图像解码装置内的参照图象存储器中的显示用区域。
(A28)在(A27)记载的图像解码方法中，参照图象的所述最大数量对应于可解码流的能力水平，相对图像解码装置固定。
(A29)在(A27)记载的图像解码方法中，后方预测参照图象的所述最大可能数量被定义为从参照图象的所述最大数量中减去1的数量。
(A30)在(A27)记载的图像解码方法中，后置解码缓冲器的所述最小大小被定义成从后方预测参照图象的所述最大可能数量减去1的数量。
(A31)在(A27)或(A30)记载的图像解码方法中，从流中取得后置解码缓冲器的所述最小大小。
(A32)在(A27)或(A31)记载的图像解码方法中，后方预测参照图象的所述最大可能数量由向后置解码缓冲器的所述最小大小加上1的数量来定义。
(A33)在(A27)记载的图像解码方法中，参照图象缓冲器的所述最小大小被定义为参照图象的所述最大数量。
(A34)在(A27)或(A33)记载的图像解码方法中，所述参照图象缓冲器仅被用于存储参照图象。
(A35)在(A27)、(A30)或(A31)记载的图像解码方法中，所述后置解码缓冲器被用于存储非参照图象。
(A36)在(A27)、(A32)或(A33)记载的图像解码方法中，参照图象在被判断为非参照图象时从所述参照图象缓冲器中去除。
(A37)在(A27)、(A30)、(A31)或(A35)记载的图像解码方法中，后置解码缓冲器的图象在被输出时从所述后置解码缓冲器中去除。
根据以上结构，通过用相同的存储器限制条件来使流及图像解码装置两者动作，可保证正确解码流。否则，图像解码装置为了在解码过程中解码流，会发生不能确保充分的存储器空间的情况。
附图的简要说明
图1是表示图象的预测结构、解码顺序与显示顺序的图。
图2是表示图象的预测结构、解码顺序与显示顺序的图。
图3表示实现本发明的图像编码方法的图像编码装置的框图(实施形态1)。
图4表示示出本发明的参照图象管理单元的动作的流程图(实施形态1)。
图5(a)(b)(c)表示示出图象向存储器的保存状态的状态图。
图6表示示出本发明的图像编码装置的动作的流程图(实施形态2)。
图7表示示出本发明的图像编码装置的动作的流程图(实施形态3)。
图8表示示出本发明的图像编码装置的动作的流程图(实施形态4)。
图9表示实现本发明的图像解码方法的图像解码装置的框图(实施形态5)。
图10表示示出本发明的图像解码装置的动作的流程图(实施形态5)。
图11表示示出本发明的图像解码装置的另一动作的流程图(实施形态5)。
图12表示示出本发明的图像解码装置的再一动作的流程图(实施形态5)。
图13表示示出本发明的图像解码装置的又一动作的流程图(实施形态5)。
图14表示图像编码装置的虚拟显示延迟缓冲器的使用框图。
图15表示编码中后置解码缓冲器动作处理中的本发明的框图。
图16表示解码中后置解码缓冲器动作处理中的本发明的框图。
图17表示为了限制参照图象的最大数量而使用图像编码装置中的虚拟显示延迟缓冲器的一例。
图18表示为了决定用于显示第1图象用时间而使用虚拟显示延迟缓冲器的一例。
图19表示存储由计算机系统来实现上述各实施形态的图像编码方法及图像解码方法用程序的存储媒体的说明图(实施形态7)。
图20表示示出内容提供系统的整体结构的框图(实施形态8)。
图21表示示出使用图像编码方法及图像解码方法的便携电话的例子的外观图(实施形态8)。
图22表示便携电话的框图(实施形态8)。
图23表示示出数字播放用系统实例的结构图(实施形态8)。
图24表示示出图象的预测结构、解码顺序与显示顺序的图。
图25表示示出图象的预测结构、解码顺序与显示顺序的图。
图26表示实现现有图像编码方法的图像编码装置的框图。
图27表示示出存储器管理指令MMCO的符号例的对应图。
图28表示实现现有图像解码方法的图像解码装置的框图。
具体实施方式
下面，用附图来说明本发明的实施形态。
(实施形态1)
说明本发明的实施形态1。
图3是实现本发明的图像编码方法的图像编码装置的框图。图中，进行与图26的实现现有图像编码方法的图像编码装置的框图相同动作的设备标以相同序号，省略说明。
与图26的实现现有图像编码方法的图像编码装置的框图的不同之处在于，图3中附加了显示图象管理单元DispPicCtrl，并将显示图象管理单元DispPicCtrl的指示输出到参照图象管理单元RefPicCtrl与图象存储器PicMem2。
另外，在图3所示图像编码装置100中，重新设置了图象大小变更单元PicSize，在从外部取得变更后的图象大小的同时，从图象结构决定单元PicStruct取得各图象的编码类型(I图象、P图象、B图象)，以I图象的定时将表示变更的图象大小的信息输出到参照图象管理单元RefPicCtrl。
因为图象存储器PicMem2与图象存储器PicMem1的动作基本相同，所以仅说明不同的动作部分。
显示图象管理单元DispPicCtrl取得图象时刻Time，判断能否立即显示因为未被参照而本来未被保存的图象(是否有必要存储在图象存储器中，直到显示时刻为止)。图象时刻Time从外部输入，是指定显示的图象的信号。图象时刻的取得也可从例如通过包等传输路径传送图象的系统输出的时刻信息得到，或从利用将视频流与音频流多路的格式中的时刻信息取得，或从视频流的格式中的时刻信息取得。另外，也可以是对每个图象知道时刻的绝对时刻，或是图象间知道时间前后的相对时刻。并且，因为通常图象的显示间隔固定，所以也可将图象的显示顺序做为时刻来考虑。
另外，所谓可立即显示的情况是指由加法器Add相加得到的图象与图象时刻Time所指示的显示的图象一致的情况。在该情况下，图象存储器PicMem2中没有未显示且在为了编码而输入的图象之前应显示的图象。若不能立即显示，则即使是未被参照的图像，显示图象管理单元DispPicCtrl也将向参照图象管理单元RefPicCtrl发出指示，以便保存在图象存储器PicMem2中。结果，未立即显示的图象无论有无参照均必然被存储在图象存储器PicMem2中，由解码装置从图象存储器PicMem2可显示图象。
图4是本发明的参照图象管理单元RefPicCtrl的动作的流程图。
判断该解码图像(图象)是否为了做为预测图像被参照而应保存(步骤10)。若被参照，则前进到步骤12，否则，前进到步骤11。
在步骤11中，判断该解码图像是否可立即显示。所谓可立即显示是可在解码时刻原样显示(例如图1所示图象1)，所谓不能立即显示是指在后面必需显示(例如图1所示B5)。若可立即显示，则结束，否则，前进到步骤12。
在步骤12中，从图象存储器PicMem2中取得可保存的区域，在步骤13中，由存储器管理指令MMCO发出指示，将该解码图像保存取得的图象存储器PicMem2的区域中。
如上所述，未立即显示的图象保存在图象存储器PicMem2中，在变为显示时刻之时，可从图象存储器PicMem2中显示图象。另外，不需要显示用的多余的图象存储器，可将为了显示而必需保存的图象保存在参照用图象存储器中。
上述图象存储器PicMem2中有保存为了生成预测图像而参照的参照图象的参照用区域、和保存显示用图象的显示用区域。
但是，也可对上述每个GOP(图象组)进行图象大小的变更。该图象大小的变更仅在全部释放不要的参照图象保存的存储器的参照用区域(变为可再使用的状态)时进行。
但是，在这样进行图象大小的变更的情况下，如上所述，未显示的显示用图象被保存在存储器区域中，但必需明确决定应如何处理该未显示的显示用图象(应删除或应原样保存直到被显示)的处理方法。
这里，分阶段说明进行图象大小的变更时图象向存储器的保存状态。
图5(a)(b)(c)是分阶段表示图象向存储器的保存状态的状态图。
图5(a)中，图象200a、200b、200c是用于参照而保存的参照图象(为了生成预测图像而被参照的图象)，图象201a、201b、201c、201d、201e是用于显示而被保存的显示用图象(未显示的图象)。
图象201a、201b、201c、201d、201e按此顺序显示。
图5(a)中，示出保存参照图象200a、200b、200c的存储器区域全部被释放后变为可再使用状态的状态。
图5(b)中，示出在图5(a)所示状态之后变更图象大小(尺寸)，在保存参照图象200a的存储器区域中，保存图象大小被变更成变大的参照图象202a，并显示显示用图象201a，释放该存储器区域的状态。
图5(c)示出在图5(b)所示状态之后，再次释放显示用图象201b被保存的存储器区域，在保存显示用图象201a、201b的被释放的存储器区域中，保存图像大小被变更成变大的参照图象202b的状态，残留小的存储器区域203。在该状态下，即使释放显示用图象201(c)被保存的存储器区域，也不能重新保存参照图象(变更成图象大小变大)。
这里，若变更图象大小，则在存储器内混杂有不同的图象大小的图象(变更成图象大小变大的参照图象与大小变更前的未显示的显示用图象)。
由此，部分(片断)使用存储器，产生不能使用的小的存储器区域，存储器的使用效率恶化。另外，为了不部分使用存储器，当在存储器内再配置数据以使产生的小的存储器区域不存在时，存储器访问变得非常大，难以在此期间实时实现编码、解码动作。
因此，在变更图象大小的情况下，作为第1方法，释放未显示的显示用图象被保存的显示用区域、与参照图象被保存的参照用区域(变为可再使用的状态)，清楚显示未显示的显示用图象。从而，可防止由于混杂大小不同的图象而产生的存储器的部分使用，可抑制存储器的使用效率恶化。
上述图象大小的变更在以下的定时进行。即，图3所示图象大小变更单元PicSize接受图象结构决定单元PicStruct决定的各图象的编码类型(I图象、P图象、B图象)与从外部输入的变更的图象大小，将以I图象的定时进行图象大小变更的指令输出到参照图象管理单元RefPicCtrl。该I图象是例如插入到GOP最前面的特别的I图象(IDR图象)。
另外，在变更图象大小的情况下，作为第2方法，切换释放存储器的全部区域、以明确未显示的显示用图象的部件(手段)；或仅释放保存参照图象的参照用区域，通过将编码信号(流)解码的后述的图像解码装置(解码器)的判断，显示在大小变更前的图象中未显示的显示用图象中可显示的图象，不带义务地显示未显示的显示用图象的部件。此时，图像解码装置按显示顺序来显示未显示的图象中例如未被损伤的图象等可显示的图象。
从图像编码装置100输出的流Str中，包含配置表示当进行这种切换时、进行释放存储器的全部区域的方法、和仅释放保存参照图象的参照用区域的方法的任一种方法的指示信息(标志)或其它可识别信息。
在图像解码装置侧进行基于流中配置的指示信息的处理。
作为切换该指示信息表示的两个方法时的判断基准的实例，考虑按照申请来制作内容的人决定用哪个方法来进行，或若存储器中有余量，则仅释放参照用区域，不释放保存未显示的显示用图象的显示用区域(不释放存储器的全部区域)，或在变更成图象大小变小的情况下，仅释放参照用区域而不释放保存未显示的显示用图象的显示用区域(不释放存储器的全部区域)等。
通过以上结构，可实现解决现有问题的图像编码装置。
(实施形态2)
说明本发明的实施形态2。
在本实施形态中，图3所示显示图象管理单元DispPicCtrl对图象存储器PicMem2进行指示，以便在释放的存储器中保存图象的情况下，在未显示的图象的区域中不保存新的图象。通常，即使释放图象的区域，只要在该区域中未保存(改写)新的图象，则也可再现之前保存的图象。因此，即使假设保存未显示的图象的存储器区域被释放，通过在该存储器区域中不保存新的图象，在保存显示完的图象的区域中保存新的图象，从而在变为显示时刻之时，显示被释放的、但仍未改写地残留的未显示的图象。将位于该图象存储器的的图象区域中的图象称为显示用图象。所谓显示完实质上与向显示装置输出完含义相同，意味着解码装置实际上进行显示(或输出到显示装置)，并意味着被做为不是编码装置实际显示(或输出)，而是在指定为图象时刻Time时进行了显示(或输出)这样的处理。
图6是表示本实施形态的图像编码装置100的动作的流程图。本实施形态的特征在于，通过释放区域的存储器中被保存的图象是否显示完来决定图象的保存。
首先，在步骤20中，根据存储器管理指令MMCO的指示来判断该解码图像是否保存在图象存储器PicMem2中。
在保存的情况下，取得释放的图象区域(步骤21)，确认释放的图象区域中保存的图象是否显示完(步骤22)。若还未显示，则返回步骤21，重复处理，直到见到显示完的图象被保存的释放区域。
若看见显示完的图象被保存的释放区域，则将解码图像保存在该区域中(步骤23)。
由此，若未显示的图象显示完，则因为再使用保存该显示完的图象的区域，所以不改写地将未显示的图象保存在存储器中，直到被显示。
另外，可通过显示图象管理单元DispPicCtrl管理是否显示的信息，由此来判断保存在存储器中的图象是否显示完。
另外，图象区域是否是释放区域，可通过根据存储器管理指令MMCO将是否对每个图象区域释放的信息、例如[用过的(可用作参照图象)]或[未用过(以后不作为参照图象参照)]保存在图象存储器PicMem2中，并参照该被保持的信息来进行判断。
通过以上结构，可实现解决现有问题的图像编码装置。
如上所述，可防止新的图象改写未显示的图象，并可在变为显示时刻之时从释放完但未改写的区域进行图象显示。另外，不必多余的存储器，可保存为了显示而必需保存的图象。
另外，图象大小(尺寸)变更了的情况下的动作与实施形态1一样，所以省略说明。
(实施形态3)
说明本发明的实施形态3。
图7是表示本发明的实施形态3的图像编码装置100的动作的流程图。本实施形态的特征在于由释放存储器的时刻来决定图象的保存。
首先，在步骤30中，根据存储器管理指令MMCO的指示来判断该解码图像是否保存在图象存储器PicMem2中。
在保存的情况下，取得被释放的图象存储器区域中显示时刻最早的图象存储器区域(步骤31)，将解码图像保存在该区域中(步骤32)。
另外，也可不将在最老时刻释放的存储器区域做为图象的保存区域，而将在最老时刻解码、保存图象的存储器区域作为图象的保存区域。由于这些存储器区域，保存在其中的图象已被显示的可能性高。
另外，这些最早的时刻不必是时刻，也可以是最早的顺序，例如当然被显示的顺序也可以是最早的顺序。例如，显示顺序早的图象已被显示的可能性高，无论是否被显示，从保存显示顺序早的图象的存储器区域开始，以顺序做为存储器的保存区域被再使用。另外，因为通常图象的显示间隔是固定的，所以也可将图象的显示顺序做为其时刻。
如上所述，可防止新的图象改写未显示的图象，并可在变为显示时刻之时从释放完但未改写的区域开始显示图象。另外，不需多余的存储器，可保存为了显示而必需保存的图象。另外，与保存在图象存储器PicMem2中的图象是否被显示无关，可进行为了显示而应预先保存的图象的保存处理。另外，在最老时刻为显示时刻的最老时刻的情况下，例如可通过管理在显示图象管理单元DispPicCtrl是否显示了的信息，来判断是否是在最老时刻保存的图象。
另外，图象大小变更的情况下的动作与实施形态1一样，所以省略说明。
(实施形态4)
说明本发明的实施形态4。
图8是表示本发明的实施形态4的图像编码装置100的动作的流程图。本实施形态的特征在于由释放存储器的顺序来决定图象的保存。
首先，在步骤40中，根据存储器管理指令MMCO的指示来判断该解码图像是否被保存在图象存储器PicMem2中。
在保存的情况下，取得释放的区域中最初释放的图象区域(步骤41)，将解码图像保存在该区域中(步骤42)。
因为显示时刻的信息由系统管理，所以难以通过视频解码装置的制作方获得显示时刻。最初释放的图象的区域比在后释放的区域保存早的显示时刻的图象的可能性高。即，最初释放的图象已被显示的可能性高。因此，通过将该解码图像保存在最初释放的图象区域中，不改写未显示的图象的可能性变高。
另外，图象区域是否是最初释放的图象区域，可通过根据存储器管理指令MMCO，包含释放过的顺序，而将是否对每个图象区域释放的信息、例如[used：未释放的(可用作参照图象)]或[unused：释放完(以后不作为参照图象参照)]保存在图象存储器PicMem2中，并参照该保持的信息来进行判断。或也可将图象区域的使用方法固定成规定的顺序，按照该顺序来判断是否是最初释放的图象区域。例如将图象存储器PicMem2作为若存储新的图象、则顺序废弃存储时刻早的存储内容，作为总是保存最新的一定帧数(或图象数)的图像的先进先出方式(FIFO)的存储器，可判断是否是最初释放的图象区域。如上所述，可防止新的图象改写未显示的图象，并可在变为显示时刻之时从释放完但未改写的区域开始显示图象。
另外，图象大小变更情况下的动作与实施形态1一样，所以省略说明。
(实施形态5)
说明本发明的实施形态5。
图9是实现本发明的图像解码方法的图像解码装置的框图。图中，进行与图3的实现本发明的图像编码方法的图像编码装置的框图和图28的实现现有图像解码方法的图像解码装置的框图相同动作的设备标以相同序列，省略说明。
图9的图像解码装置150中，与表示现有例的图28的不同之处在于，图9中新设置了图象大小变更检测单元PicSiezeDet，其在从外部取得的变更的图象大小和从可变长解码单元VLD取得的存储器管理指令MMCO的基础上，以特别的I图象(IDR(Instantaneous Decoding Refresh)图象)的定时，将变更图象大小的指令输出到图象存储器PicMem2；和显示图象管理单元DispPicCtrl。
显示图象管理单元DispPicCtrl，在向图象存储器PicMem2中的释放的区域保存图象的情况下，指示不在未显示的图象的区域中保存新的图象。通常，即使释放图象的区域，只要该区域中未保存(改写)新的图象，则之前保存的图象数据就可残留在存储器内并再现。因此，即使假设释放未显示的图象，也可通过在被保存显示完的图象的区域中保存新的图象，从而在变为显示时刻之时，显示虽被释放、但仍未改写地残留的未显示的图象。另外，显示完实质上是与向显示装置输出完含义相同。
由此，若未显示的图象显示完，则因为再使用保存该显示完的图象的存储器区域，所以不改写地将未显示的图象保存在存储器中，直到被显示。
通过以上结构，可实现解决现有问题的图像解码装置。另外，图像解码装置150也可解码由实施形态3和实施形态4所示的图像编码装置100编码的编码信号。此时，利用图象存储器的动作与实施形态3和实施形态4所示的图像编码装置一样。即，在由图象存储器再使用释放的(以后不参照)的图象中，可使用由实施形态1-实施形态3记载的方法重新保存图象的区域的决定方法之一。
说明解码由上述实施形态3和实施形态4所示的图像编码装置编码的编码信号时的图象向存储器的保存方法。
最初，说明解码由实施形态3所示的图像编码装置编码的编码信号时的图象向存储器的保存方法。
首先，根据存储器管理指令MMCO的指示来判断从图像解码装置150的加法单元Add输出的解码图像是否保存在图象存储器PicMem2中。
在保存的情况下，取得在最老时刻的图象存储器区域，将解码图像保存在该区域中。
此时，也可不将在最老时刻释放的存储器区域设为图象的保存区域，而将在最老时刻解码图象并保存的存储器区域、或保存显示时刻最早的图象的存储器区域作为图象的保存区域。可以是这些存储器区域是因为保存在其中的图象已被显示的可能性高。
因为显示时刻的信息由系统管理，所以难以通过视频解码装置的制作方获得显示时刻。在最老时刻保存的图象的区域保存早的显示时刻的图象比在较新时刻保存的区域的可能性高。因为理所当然早的显示时刻的图象已被显示的可能性高，所以在最老时刻保存的图象已被显示的可能性高。因此，通过将该解码图像保存在于最老时刻保存的图象的区域中，不改写未显示的图象的可能性变高。另外，在最老时刻是编码图象的时刻的最老时刻的情况下，例如可按图象的预测结构、解码顺序来判断是否在最老时刻编码。
另外，这些最早的时刻不必是时刻，也可以是最早的顺序，例如当然也可以是显示顺序最早的顺序。例如，显示顺序早的图象已被显示的可能性高，无论是否被显示，从保存显示顺序早的图象的存储器区域开始，顺序被再使用为存储器的保存区域。另外，因为通常图象的显示间隔固定，所以也可考虑将图象的显示顺序做为时刻。
如上所述，可防止新的图象改写未显示的图象，并可在变为显示时刻之时从释放完但未改写的区域开始显示图象。另外，不必多余的存储器，可保存为了显示而必需保存的图象。
另外，与保存在图象存储器PicMem2中的图象是否被显示无关，可进行为了显示而应保存的图象的保存处理。另外，在最老时刻为显示时刻的最老时刻的情况下，例如可通过显示图象管理单元DispPicCtrl管理是否显示的信息来判断是否是在最老时刻保存的图象。
下面，说明解码由实施形态4所示的图像编码装置编码的编码信号时的图象向存储器的保存方法。
首先，根据存储器管理指令MMCO的指示来判断从图像解码装置150的上述加法单元Add输出的解码图像是否保存在图象存储器PicMem2中。
在保存的情况下，取得释放区域中最初释放的图象区域，将解码图像保存在该区域中。
因为显示时刻的信息由系统管理，所以难以通过视频解码装置的制作方获得显示时刻。最初释放的图象的区域保存早的显示时刻的图象比在后释放的区域的可能性高。即，最初释放的图象已被显示的可能性高。因此，通过将该解码图像保存在最初释放的图象区域中，不改写未显示的图象的可能性变高。
另外，图象区域是否是最初释放的图象区域，可通过根据存储器管理指令MMCO，包含释放顺序，将是否对每个图象区域释放的信息、例如[used：未释放的(可用作参照图象)]或[unused：释放完(后面不作为参照图象参照)]保存在图象存储器PicMem2中，并参照该保持的信息来进行判断。或也可将图象区域的使用方法固定成规定的顺序，按照该顺序来判断是否是最初释放的图象区域。例如将图象存储器PicMem2作为若存储新的图象、则顺序废弃存储时刻早的存储内容，总是保存最新的一定帧数(或图象数)的图像的先进先出方式(FIFO)的存储器，判断是否是最初释放的图象区域。
如上所述，可防止新的图象改写未显示的图象，并可在变为显示时刻之时从释放完但未改写的区域开始显示图象。
另外，显示单元Disp也可不配备在图像解码装置150中，而仅从图像解码装置150中送出由显示单元Disp显示图象所必需的数据，将显示单元Disp配备在图像解码装置150的外部。
这里，说明变更实施形态2中说明的图象大小情况下的图像解码装置150的动作。因为以下动作对实施形态3和4也相同，所以省略说明。
作为对应于变更实施形态2所示图象大小情况下和第1方法的方法，图像解码装置150当有图象大小的变更指令时，释放存储器保存参照图象的参照用区域和保存显示用图象的显示用区域，进行初始化。
图10是表示图像解码装置150的动作的流程图。
判断从图象大小变更检测单元PicSizeDet输出的信号是否表示图象大小的变更(步骤100)，在有图象大小变更的情况下(步骤100为是)，释放图象存储器PicMem2的全部存储器区域(可利用状态)，进行初始化(步骤102)，结束处理。
另一方面，在没有图象大小变更的情况下(步骤100为否)，判断从可变长解码单元VLD输出的存储器管理指令MMCO是否表示释放(初始化)图象存储器PicMem2的全部存储器区域(步骤101)，在表示的情况下(步骤101为是)，释放全部存储器区域(步骤102)，在未表示的情况下(步骤101为否)，仅释放保存参照图象的参照用区域(步骤103)，结束处理。
通过这样释放存储器的全部区域，可防止由于混杂大小不同的图象而产生的存储器的部分使用，可抑制存储器的使用效率恶化。
下面，作为对应于变更实施形态2所示图象大小情况下的第2方法的方法，说明图像解码装置150进行的动作。
在变更图象大小的情况下，切换释放存储器的全部区域的方法、或仅释放保存参照图象的参照用区域、显示未显示的图象中图像解码装置150可判断并显示的方法。
如实施形态2中说明的那样，表示释放存储器的全部区域或仅释放参照用区域的指示信息(标志)包含于从图像编码装置100输出的流Str的存储器管理指令MMCO中。
图像解码装置150根据存储器管理指令MMCO中包含的指示信息，判断进行上述两个方法中的哪一个。
图11是表示该判断动作的流程图。
首先，判断指示信息(标志)表示是否初始化存储器的全部区域(步骤150)，在表示初始化全部区域的情况下(步骤150为是)，释放包含保存未显示的显示用图象的显示用区域的存储器的全部区域，进行初始化(步骤151)，否则(步骤150为否)，仅释放参照用区域，进行初始化(步骤152)。
在该指示信息(标志)不表示全部区域的初始化的情况下，图像解码装置150仅释放参照用区域，显示位于参照用区域以外的区域中的未显示的图象中图像解码装置150可判断并显示的图象。
用流程图来说明仅初始化参照用区域的情况下的图像解码装置150的动作。
图12是表示图像解码装置150(解码器)的动作的流程图。
判断从图象大小变更检测单元PicSizeDet输出的信号是否表示变更图象大小(步骤200)，在不变更图象大小的情况下(步骤200为否)，显示保存在显示用区域中的应显示而未显示的图象(步骤203)。
另一方面，在变更图象大小的情况下(步骤200是)，判断保存在显示用区域中的显示用图象是否是大小变更前的图象(步骤201)，在不是变更前的情况下(步骤201为否)，显示应显示而未显示的图象(步骤203)。在是变更前的情况下(步骤201为是)，判断显示用图象可能显示，显示可显示的图象(步骤202)。
说明图像解码装置150在该可不显示判断中的动作。
图13是表示关于图像解码装置150的图象显示动作的流程图。
图13中向与图12相同的部分附加相同符号。
判断保存来用于显示的显示用图象是否是大小变更前的图象(步骤201)，在不是变更前图象的情况下(步骤201为否)，显示该图象。另一方面，在是变更前图象的情况下(步骤201为是)，判断显示的图象中是否有损伤(步骤211)，在没有损伤的情况下(步骤201为否)，显示为该图象可显示(步骤210)。在有损伤的情况下(步骤201为是)，不显示该图象，例如显示以前的图象。这里，所谓没有损伤是指即使应显示的图象是存储的图象的一部分，为了保存新的图象的数据也不进行改写。从而，图像解码装置150判断显示的图象中是否有损伤，将没有损伤的图象判断为可显示并显示。
这样，如图11、图12、图13的流程图中说明的那样，图像解码装置150当有图象大小的变更时，进行对应于表示是否初始化存储器全部区域的指示信息(标志)的、相对未显示的图象的显示。
通过以上图像解码装置150的图像解码方法，即使在有图象大小变更时，也可通过切换初始化存储器全部区域，或仅初始化参照用区域，显示可显示未显示的显示用图象，进行适当的解码。即，当例如存储器的自由容量少时，初始化存储器全部区域，设为可再使用，在存储器的自由容量大时，通过仅初始化参照用区域，可显示未显示的图象，弹性对应。
(实施形态6)
实施形态6中，用如下术语来进行说明。即，参照图象缓冲器是指使图像编码装置内的图象存储器PicMem2中的参照用区域与显示用区域重合的区域。虚拟显示延迟缓冲器是应存储在图像编码装置内的图象存储器PicMem2中确保的显示用区域中的各显示用图象所对应的虚拟缓冲器，保持该显示用图象的时间的参照序号(图象序号等)。参照存储器缓冲器是指图像解码装置内的图象存储器PicMem2中的参照用区域。后置解码缓冲器是指图像解码装置内的图象存储器PicMem2中的显示用区域。时间的参照序号是指按照显示时刻顺序的图象序号，相当于图象时刻Time。
首先说明图像编码装置。虚拟显示延迟缓冲器被用于限制图像编码装置内预测编码中使用的参照图象的最大数量。
图14表示决定虚拟显示延迟缓冲器与后方参照图象的最大数量之间的关系的处理。图14中的各模块表示图象结构决定单元PicStruct、参照图象管理单元RefPicCtrl及显示图象管理单元DispPicCtrl中的功能块或处理步骤。如图所示，针对该类和级的被允许的参照图象的最大数量NR由模块401决定。对该值进行各类和级定义，编码器将相当于NR的轮廓等级值编码为流信息，解码器从流的轮廓、等级值中取得NR。接着，图像编码装置设定最适于编码模块402中的视频序列的后方参照图象的最大数量NB。根据该NB值，可决定虚拟显示延迟缓冲器的大小。在NB小于2的情况下，不必虚拟显示延迟缓冲器。但是，在NB大于2的情况下，由模块404生成NB-1图象的虚拟显示延迟缓冲器。将存储在虚拟显示延迟缓冲器中的图象的信息确保在存储器中或任一寄存器中。该虚拟显示延迟缓冲器在图像编码装置中不需要大的物理存储器空间。若必需显示(输出)由图像解码装置解码的图像，则因为为了显示某个图象仅判断是否存储在虚拟显示延迟缓冲器中即可，所以不是将重构(解码)图象数据整体而仅是将特定是哪个重构(解码)图象的参照图象的记述(图象序号等)存储在虚拟显示延迟缓冲器中。除虚拟显示延迟缓冲器外，模块405生成显示计数器，将值确保在存储器中或任一寄存器中。该计数器用于判断从虚拟显示延迟缓冲器中去除不用的图象。根据类和级定义，图像编码装置接着如模块406所示生成针对参照图象的存储器空间的NR图象大小。
最好虚拟显示延迟缓冲器大小＝NB-1    (1)
其中，NB＜NR。
图15表示图像编码装置中的后置编码处理、即将编码后解码的图象(编码图象或简称为图象)存储在参照存储器缓冲器中的处理。图中的模块表示参照图象管理单元RefPicCtrl及显示图象管理单元DispPicCtrl中的功能块或处理步骤。在模块501编码一个图象后，判断模块502是否将图象用作参照图象。在图象是参照图象的情况下，根据式(2)来计算可参照的最大数量。
NMax＝NR-Fv  (2)
这里，Nmax表示可参照图象的最大数量，NR表示类和级定义所允许的参照图象的最大数量。Fv表示虚拟显示延迟缓冲器充满程度(フルネス)、即虚拟显示延迟缓冲器的大小(NB-1)中当前使用的数量。
在参照图象缓冲器的参照图象的数量小于Nmax的情况下，编码图象由模块506重构成(解码)且由模块507存储在参照图象缓冲器中。在不存在足够的空间的情况下，图像编码装置如模块504所示，从缓冲器中去除某个未使用的参照图象[unused(以后不作为参照图象参照)]，从而确保参照图象缓冲器中必需的区域。在不存在从缓冲器中去除的未使用的参照图象的情况下，编码图象不被用作参照图象。在编码图象不是参照图象的情况下，模块505将编码图象的时间的参照序号与显示计数器相比较。在非参照图象的时间的参照序号比显示计数器小的情况下，模块508更新虚拟显示延迟缓冲器。在模块508中，虚拟显示延迟缓冲器去除具有等于显示计数器或之前的时间的参照序号的图象，并将现在的非参照图象的时间的参照序号加入缓冲器中。具有比显示计数器小的时间的参照序号的虚拟缓冲器的图象数变为缓冲器的充满程度。显示计数器当编码图象的数量等于NB或虚拟计数器充满之一早时，首先开始更新动作。之后，显示计数器在每次编码模块509编码的全部图象时进行更新。
图16表示图像解码装置中的后置解码处理、即图像解码装置解码的图象(解码图象或简称为图象)存储在参照图象缓冲器中的处理。图中的模块表示显示图象管理单元DispPicCtrl的功能块或处理步骤。图象由模块601解码。模块602中，图像解码装置决定是否必需将图象存储为参照图象。在将解码后的图象存储为参照图象的情况下，由模块606将其存储在参照图象缓冲器中。否则，图像解码装置在模块603中检查是否是显示(输出)该图象的时间。在不是应显示(输出)解码后图象的时刻的情况下，模块604将图象存储在后置解码缓冲器中，直到显示(输出)时刻。后置解码缓冲器与参照图象缓冲器共享物理上相同的存储器区域。换言之，可切换相同的存储器的各区域用作参照图象缓冲器的情况与用作后置解码缓冲器的情况。
在模块605中，接着，图像解码装置根据这些显示定时，决定从参照图象缓冲器或后置解码缓冲器显示(输出)的图象。若显示(输出)来自后置解码缓冲器的图象，则从缓冲器中去除该图象。另外，参照图象仅在表示今后不由流参照时才从参照图象缓冲器中去除或移动到后置解码缓冲器中。
图17表示为了以各图象间隔来决定参照图象的最大数量而使用虚拟显示延迟缓冲器的方法的一例。本例中，允许的参照图象的最大数量NR设为4。图像编码装置将后方参照图象的最大数量NB设定为3。从而生成两个图象的虚拟显示延迟缓冲器(确保区域)。显示计数器被用于存储及更新虚拟显示(输出)的图象的时间的参照序号。图中，参照存储器缓冲器中的空白区域表示是空的，记载图象类型及序号的区域表示存储参照用图象，用斜线加阴影的区域表示存储显示用图象。另外，虚拟显示延迟缓冲器中的空白区域表示是空的，记载图象类型及序号的区域表示存储对应于参照存储器缓冲器中的显示用图象的时间的参照序号，用斜线加阴影的区域表示显示用图象的存储区域不存在于参照存储器缓冲器中。对应于参照存储器缓冲器中的加阴影的区域的相同数量的虚拟显示延迟缓冲器保持显示用图象的时间的参照序号。
如图所示，图象B2及B3被用作参照图象，因此，与IO及P4一直存储在参照存储器缓冲器中，显示计数器在编码图象B3后开始更新。在时间T6，B5不被用作参照图象，但因为其时间的参照序号比显示计数器大，所以必需更新为虚拟显示延迟缓冲器。因此，此时的虚拟显示延迟缓冲器的充满程度fv为1，且可参照图象的最大数量Nmax为3。
同样，在时间T7，不能用比显示计数器大的该时间的参照序号去除B5，但B6必需被更新为虚拟显示延迟缓冲器。因此此时的Nmax为2。参照图象I0必需通过不充足的存储器从参照存储器缓冲器中去除。因此，此时的B7仅通过P4及P8预测。
图18表示显示计数器使用虚拟显示延迟缓冲器来在先增加的一例。本例中，NR设为5。图像编码装置将多个逆向参照图象的最大数量Na设定为3。因此，生成两个图象的虚拟显示延迟缓冲器。
如图所示，B1、B2、B3及B4未被用作参照图象，但使用B7及B8。因此，B1及B2为了等待显示而在时间T3被存储在虚拟显示延迟缓冲器中。虚拟显示延迟缓冲器在时间T3充满，所以显示计数器在时间T3开始更新。显示计数器在其可开始更新前必需至少等待虚拟显示延迟缓冲器充满的理由是、其需要处理认为由图像解码装置发生的B图象的重新排列。
如图17所示，图像解码装置常常将参照图象缓冲器的一部分用作后置解码缓冲器。因此，根据参照图象缓冲器的固定物理存储器大小，图像解码装置操作参照图象缓冲器，使该部分用于参照图象，且余下的用作后置解码缓冲器。例如，在时刻T3，参照图象缓冲器整体被用于存储参照图象。另外，在时间T7，仅两个参照图象缓冲器被用于存储P4及P8参照图象。余下的被用于存储后置解码图象B5及B6。
由针对图像编码装置的类和级(profile and level)定义来规定图像解码装置侧使用的参照图象的最大数量。因此，图像编码装置可用到由类和级定义的参照图象的最大数量。因此，图像编码装置必需进行参照图象的管理，进行编码，以在图像解码装置根据该限制条件进行动作的情况下可实现同样的动作(参照图象数量不超过定义的值)。
同样，图像解码装置具有数量与图像编码装置相同的参照图象。并且，追加存储器空间对于后置解码缓冲器而言是必需的。后置解码图象的最大数量由式(3)来定义。
NP＝NR-2      (3)
这里，NP表示后置解码图象的最大数量，NR表示由类和级定义所定义的参照图象的最大数量。
因此，对于适合于类和级的图像解码装置而言，后置解码图象的最大数量必需在设计图像解码装置时被考虑。该后置解码图象的最大数量可根据式3来计算，或可由类和级定义来特定。若一旦后置解码图象的最大数量由类和级定义来特定，则值可根据式(4)导出后方预测图象的最大数量。
NB＝NP+1    (4)
这里，NB表示参照图象缓冲器的后方预测图象的最大数量。在本实施形态中，这是图像解码装置要求的最小存储器要件，以便能解码依据类和级定义的流。
后方预测数量也可为了削减由图像解码装置侧追加于参照图象缓冲器中的追加后置解码图象的数量而进行限制。例如，在将后方预测的最大数量限制为两个的情况下，必需仅将该情况下的一个追加后置解码图象追加到参照图象缓冲器中。这可避免图像解码装置侧向后置解码图象分配多余的物理存储器空间。
(实施形态7)
并且，通过将用于实现上述各实施形态中所示的图像编码方法及图像解码方法的程序记录在软盘等存储媒体中，可在独立的计算机系统中简单实施上述各实施形态所示的处理。
图19是使用记录在软盘等记录媒体中的程序，由计算机系统来实施上述各实施形态的图像编码方法及图像解码方法情况下的说明图。
图19(b)表示从软盘正面看的外观、截面结构及软盘，图19(a)表示作为记录媒体主体的软盘的物理模式的实例。软盘FD1内置于壳体F内，在该盘的表面，从外周向内周同心圆地形成多个磁道Tr，将各磁道沿角度方向分割成16个扇区Se。因此，存储上述程序的软盘在分配到上述软盘FD1上的区域中记录上述程序。
另外，图19(c)表示在软盘FD1中进行上述程序的记录再现的结构。在将实现图像编码方法及图像解码方法的上述程序记录在软盘FD1中的情况下，从计算机系统Cs经软盘驱动器FDD写入上述程序。另外，在将由软盘内的程序实现图像编码方法及图像解码方法的上述图像编码方法及图像解码方法构筑在计算机系统Cs中的情况下，由软盘驱动器FDD从软盘中程序，发送到计算机系统Cs。
另外，在上述说明中，将软盘用作记录媒体来进行说明，但即使使用光盘也可同样进行。另外，记录媒体不限于此，IC卡、ROM盒等只要能记录程序的媒体，都可同样实施。
(实施形态8)
这里，还说明上述实施形态所示的图像编码方法或图像解码方法的应用例与使用其的系统。
图20是表示实现内容配送服务的内容提供系统ex100的整体结构的框图。将通信服务的提供区域分割成期望的大小，在各小区内分别设置作为固定无线站(局)的基站ex107-ex110。
该内容提供系统ex100例如经因特网服务供应商ex102和电话网ex104、基站ex107-ex110，将计算机ex111、PDA(personal digitalassistant)ex112、相机ex113、便携电话ex114、带相机的便携电话ex115等各设备连接到因特网ex101上。
但是，内容提供系统ex100不限于图20的组合，也可任意组合连接。另外，也可不经作为固定无线站的基站ex107-ex110，将各设备直接连接于电话网ex104上。
相机ex113是数码摄像机等可拍摄动态图像的设备。另外，便携电话是PDC(Personal Digital Communications)方式、CDMA(Code Division MultipleAccess)方式、W-CDMA(Wideband-Code Division Multiple Access)方式或GSM(Global System for Mobile Communications)方式的便携电话机，或PHS(Personal Handyphone System)等任一都无妨。
另外，流动服务器ex103通过基站ex109、电话网ex104与相机ex113连接，使用相机ex113，根据用户发送的编码处理后的数据进行现场配送等。拍摄到的数据的编码处理既可由相机ex113进行，也可由进行数据发送处理的服务器等进行。另外，由相机116拍摄的动态图像数据也可经计算机ex111发送到流动服务器ex103。相机ex116是数码相机等可拍摄静态图像、动态图像的设备。此时，动态图像数据的编码既可由相机ex116进行，也可由计算机111进行。另外，编码处理在计算机ex111或相机116的LSIex117中进行处理。另外，也可将图像编码、解码用软件组装在作为可由计算机ex111等读取的记录媒体的任一存储媒体(CD-ROM、软盘、硬盘等)中。并且，也可由带相机的便携电话(移动电话)ex115来发送动态图像数据。此时的动态图像数据是由便携电话ex115具有的LSI编码处理后的数据。
在该内容提供系统ex100中，与上述实施形态一样对用户通过相机ex113、相机ex116等拍摄的内容(例如拍摄音乐现场的映像等)进行编码处理，发送到流动服务器ex103，另一方面，流动服务器ex103向有请求的客户机流配送上述内容数据。作为客户机，有可解码上述编码处理后的数据的计算机ex111、PDAex112、相机ex113、便携电话ex114等。由此，内容提供系统ex100是可在客户机接收并再现编码后的数据，并通过在客户机实时接收编码并再现，还可实现个人播放的系统。
也可在构成该系统的各设备的编码、解码中使用上述各实施形态所示的图像编码方法或图像解码方法。
作为一例，说明便携电话。
图21是表示使用上述实施形态中说明的图像编码方法及图像解码方法的便携电话ex115的图。便携电话ex115具有与基站ex110之间收发信电波用的天线ex201、CCD相机等可拍摄映像、静止图像的相机部ex203、显示解码相机部ex203拍摄的映像、天线ex201接收的映像等的数据的液晶显示器等显示部ex202、由操作键ex204群构成的主体部、输出声音用的扬声器等声音输出部ex208、输入声音用的麦克风等声音输入部ex205、保存拍摄到的动态图像或静态图像的数据、接收到的邮件的数据、动态图像的数据或静止图像的数据等编码后的数据或解码后的数据用的记录媒体ex207、可将记录媒体ex207装配在便携电话ex115中的插槽部ex206。记录媒体ex207存储作为SD卡等在塑料外内可电改写或擦除的非易失性存储器的EEPROM(Electrically Erasable and Programmable Read Only Memory)之一的闪存元件。
再用图22来说明便携电话ex115。便携电话ex115经同步总线ex313将电源电路部ex310、操作输入控制部ex304、图像编码部ex312、相机接口部ex303、LCD(Liquid Crystal Display)控制部ex302、图像解码部ex309、多路复用分离部ex308、记录再现部ex307、调制解调电路部ex306及声音处理部ex305与统一控制具备显示部ex202及操作键ex204的主体部的各部的主控制部ex311彼此连接。
电源电路部ex310当通过用户操作来结束通话及电源键变为导通状态时，通过从备用电池向各部供电，使带相机的数字便携电话ex115启动为可动作状态。
便携电话ex115根据由CPU、ROM及RAM等构成的主控制部ex311的控制，通过声音处理部ex305将通话模式时由声音输入部ex205收集的声音信号变换为数字声音数据，由调制解调电路部ex306进行扩频处理，由收发信电路部ex301实施数模变换处理及频率变换处理后，经天线ex201发送。另外，便携电话机ex115放大在声音通话模式时由天线ex201接收到的接收信号，实施频率变换处理及模数变换处理，由调制解调电路部ex306进行逆扩频处理，由声音处理部ex305变换为模拟声音信号后，经声音输出部ex208输出。
并且，当在数据通信模式时发送电子邮件的情况下，经操作输入控制部ex304将通过操作主体部的操作键ex204输入的电子邮件的文本数据发送到主控制部ex311。主控制部ex311由调制解调电路部ex306扩频处理文本数据，由收发信电路部ex301实施数模变换处理及频率变换处理后，经天线ex201发送到基站ex110。
在数据通信模式时发送图像数据的情况下，将由相机部ex203拍摄的图像数据经相机接口部ex303提供给图像编码部ex312。另外，在不发送图像数据的情况下，也可经相机接口部ex303及LCD控制部ex302将相机部ex203拍摄的图像数据直接显示于显示部ex202。
图像编码部ex312是具备本发明中说明的图像编码装置的结构，通过上述实施形态中所示图像编码装置中使用的编码方法压缩编码从相机部ex203提供的图像数据，变换为编码图像数据，发送到多路复用分离部ex308。另外，与此同时，便携电话机ex115经声音处理部ex305，将相机部ex203在拍摄中由声音输入部ex205收集到的声音作为数字声音数据发送到多路复用分离部ex308。
多路复用分离部ex308按规定的方式多路复用从图像编码部ex312提供的编码图像数据和从声音处理部ex305提供的声音数据，调制解调电路部ex306扩频处理结果得到的多路复用数据，收发信电路部ex301实施数模变换处理及频率变换处理后，经天线ex201发送。
当在数据通信模式时接收链接到主页等的动态图像文件的数据时，调制解调电路部ex306逆扩频处理经天线ex201从基站ex110接收到的接收信号，将结果得到的多路复用数据发送到多路复用分离部ex308。
另外，在解码经天线ex201接收到的多路复用数据中，多路复用分离部ex308通过分离多路复用数据，分成图像数据的编码流和声音的编码流，同步总线ex313将该编码图像数据提供给图像解码部ex309，同时，将该声音数据提供给声音处理部ex305。
接着，图像解码部ex309是具备本发明中说明的图像解码装置的结构，通过由上述实施形态所示编码方法所对应的解码方法解码图像数据的编码流，生成再现动态图像数据，经LCD控制部ex302提供给显示部ex202，从而，显示例如链接到主页上的动态图像文件中包含的动态图像数据。与此同时，声音处理部ex305在将声音数据变换为模拟声音信号后，提供给声音输出部ex208，由此，再现例如链接到主页上的动态图像文件中包含的声音数据。
不限于上述系统实例，近来基于卫星、地面波的数字播放成为话题，如图23所示，也可在数字播放用系统中组装上述实施形态的至少图像编码装置或图像解码装置之一。具体而言，播放站ex409经电波将映像信息的编码流传输到通信或播放卫星ex410。接收到编码流的播放卫星ex410接收播放用的电波，具有卫星播放收发信设备的家庭天线ex406接收该电波，通过电视(接收机)ex401或机顶盒(STB)ex407等装置解码编码流，并再现。另外，读取记录在作为记录媒体的CD或DVD等存储媒体ex402中的编码流，在解码的再现装置ex403中也安装上述实施形态所示的图像解码装置。此时，再现的映像信号被显示在监视器ex404中。另外，还考虑在连接于有线电视用的电缆ex405或卫星/地面波播放的天线ex406上的机顶盒ex407内安装图像解码装置，由电视的监视器ex408来再现。此时，也可不在机顶盒而在电视内组装图像解码装置。另外，也可能是具有天线ex411的车ex412从卫星ex410或从基站ex107等接收信号，并在车ex412具有的汽车导航装置ex413等显示装置中再现动态图像。
并且，也可由上述实施形态所示图像编码装置编码图像信号，并记录在记录媒体中。作为具体例，有将图像信号记录在DVD盘ex421中的DVD记录器或记录在硬盘中的盘记录器等记录器ex420。还可记录在SD卡ex422中。记录器ex420若具备上述实施形态所示的图像解码装置，则可再现记录在DVD盘ex421或SD卡ex422中的图像信号，并由监视器ex408显示。
另外，汽车导航装置ex413的结构考虑图22所示结构中去除相机部ex203、相机接口部ex303、图像编码部ex312的结构，计算机ex111或电视(接收机)ex401也可同样考虑。
另外，上述便携电话ex114等的终端除具有编码器、解码器双方的收发信型终端外，还可考虑仅有编码器的发送终端、仅有解码器的接收终端等3种安装形式。
这样，可将上述实施形态所示的图像编码方法或图像解码方法用于上述任一设备、系统中，从而可得到与上述实施形态说明的效果。
另外，本发明不限于上述实施形态，在不脱离本发明的范围下可进行种种变形或修正。
另外，在本实施形态中，显示和表现按应显示顺序重新排列图象顺序并输出。即，显示和表现将解码图像输出到显示器用的处理，例如，为了由其它记录设备进行记录而输出解码图像的动作也可认为是该显示的特殊情况。另外，在显示器具有图像存储器的情况下，也可比实际的显示时刻早地将解码图像发送到显示器。
产业上的可利用性
本发明被用于图像编码装置中，该装置边参照保存在解码图像缓冲器中的解码完图像边通过预测编码来编码图像，解码编码后的图像，将该解码图像存储在所述解码图像缓冲器中，及用于图像编码装置中，该装置边参照保存在解码图像缓冲器中的解码完图像，边解码通过预测编码而被编码的图像，将该解码图像存储在所述解码图像缓冲器中。

Claims (29)

1、一种图像编码方法，边参照保持在图象缓冲器中的图像，边预测编码输入图像，并对编码的所述输入图像进行解码，其特征在于：
对解码后的图像，判断是否是参照用图像、及是否是必需保持到显示时刻的输出用图像，根据判断结果使参照用图像和输出用图像保持在所述图象缓冲器中。
2、根据权利要求1所述的图像编码方法，其特征在于具有：
第1判断步骤，判断解码的图像是否是参照用图像；
第2判断步骤，判断解码后的图像是否是必需保持到显示时刻的输出用图像；和
管理步骤，管理图象缓冲器，使第1判断步骤中判断为参照用图像的图像和第2判断步骤中判断为输出用图像的图像保持在所述图象缓冲器中。
3、根据权利要求2所述的图像编码方法，其特征在于：
所述图象缓冲器具有一定的大小，
所述图像编码方法还具有第3判断步骤，判断图象缓冲器中保持的参照用图像是否参照完；和
第4判断步骤，判断图象缓冲器中保持的图像是否输出完，
在所述管理步骤中，根据第3及第4判断步骤中的各判断结果，再使用在所述一定大小的范围内保持着图象缓冲器中的图像的区域。
4、根据权利要求3所述的图像编码方法，其特征在于：
所述图像编码方法还具有编码步骤，对每个由多个编码图像构成的序列，编码表示该序列的编码中成为一定的所述大小的信息。
5、根据权利要求3所述的图像编码方法，其特征在于：
在所述管理步骤中，在所述图象缓冲器中不存在可重新存储图像的区域的情况下，在保持第4判断步骤中判断为输出完的非参照用图像的区域中，存储第1判断步骤中判断为参照用图像的图像和第2判断步骤中判断为输出用图像的图像之一。
6、根据权利要求3所述的图像编码方法，其特征在于：
在所述管理步骤中，在所述图象缓冲器中不存在可新存储图像的区域的情况下，在保持存储在所述图象缓冲器中的非参照用图像中显示顺序早的图像的区域中，保持第1判断步骤中判断为参照用图像的图像和第2判断步骤中判断为输出用图像的图像之一。
7、根据权利要求1所述的图像编码方法，其特征在于：
所述图像编码方法还具有释放步骤，在包含多个编码图像的序列中途变更输入图像的大小的情况下，释放保持着输出用图像的区域中、保持着大小变更前的图像且存储后图像的全部或部分未被变更的图像的区域以外的区域。
8、一种图像解码方法，边参照保持在图象缓冲器中的图像，边解码预测编码过的输入图像，其特征在于：
对解码后的图像，判断是否是参照用图像及是否是必需保持到显示时刻的输出用图像，根据判断结果使参照用图像和输出用图像保持在所述图象缓冲器中。
9、根据权利要求8所述的图像解码方法，其特征在于：
所述图像解码方法具有第1判断步骤，判断解码的图像是否是参照用图像；
第2判断步骤，判断解码后的图像是否是必需保持到显示时刻的输出用图像；和
管理步骤，管理图象缓冲器，使第1判断步骤中判断为参照用图像的图像和第2判断步骤中判断为输出用图像的图像保持在所述图象缓冲器中。
10、根据权利要求9所述的图像解码方法，其特征在于：
所述图象缓冲器具有一定的大小，
所述图像解码方法还具有：第3判断步骤，判断图象缓冲器中保持的参照用图像是否参照完；和
第4判断步骤，判断图象缓冲器中保持的图像是否输出完，
在所述管理步骤中，根据第3及第4判断步骤中的各判断结果，再使用在所述一定大小的范围内保持图象缓冲器中的图像的区域。
11、根据权利要求10所述的图像解码方法，其特征在于：
所述图像解码方法还具有解码步骤，对每个由多个编码图像构成的序列，取得该序列单位的变为一定的所述大小。
12、根据权利要求10所述的图像解码方法，其特征在于：
在所述管理步骤中，在所述图象缓冲器中不存在可重新存储图像的区域的情况下，在保持着第4判断步骤中判断为输出完的非参照用图像的区域中，存储第1判断步骤中判断为参照用图像的图像和第2判断步骤中判断为输出用图像的图像之一。
13、根据权利要求10所述的图像解码方法，其特征在于：
在所述管理步骤中，在所述图象缓冲器中不存在可新存储图像的区域的情况下，在保持着被存储在所述图象缓冲器中的非参照用图像中显示顺序早的图像的区域中，保持第1判断步骤中判断为参照用图像的图像和第2判断步骤中判断为输出用图像的图像之一。
14、根据权利要求8所述的图像解码方法，其特征在于：
所述图像解码方法还具有输出步骤，在包含多个编码图像的序列中途变更输入图像的大小的情况下，输出保持在图象缓冲器中的非参照用图像中、大小变更前的图像且存储后图像的全部或部分未被变更的图像。
15、一种图像编码装置，边参照保持在图象缓冲器中的图像，边预测编码输入图像，并对编码的所述输入图像解码，其特征在于：
对解码后的图像判断是否是参照用图像及是否是必需保持到显示时刻的输出用图像，根据判断结果使参照用图像和输出用图像保持在所述图象缓冲器中。
16、根据权利要求15所述的图像编码装置，其特征在于：
所述图像编码装置具有：第1判断部件，判断解码的图像是否是参照用图像；
第2判断部件，判断解码后的图像是否是必需保持到显示时刻的输出用图像；和
管理部件，管理图象缓冲器，使第1判断部件判断为参照用图像的图像或第2判断部件判断为输出用图像的图像保持在所述图象缓冲器中。
17、根据权利要求16所述的图像编码装置，其特征在于：
所述图象缓冲器具有一定的大小，
所述图像编码装置还具有第3判断部件，判断图象缓冲器中保持的参照用图像是否参照完；和
第4判断部件，判断图象缓冲器中保持的图像是否输出完，
所述管理步部件根据第3及第4判断部件的各判断结果，再使用在所述一定大小的范围内保持着图象缓冲器中的图像的区域。
18、根据权利要求17所述的图像编码装置，其特征在于：
所述图像编码装置还具有编码部件，对每个由多个编码图像构成的序列，对表示该序列的编码中变为一定的所述大小的信息编码。
19、根据权利要求17所述的图像编码装置，其特征在于：
所述管理部件，在所述图象缓冲器中不存在可重新存储图像的区域的情况下，在保持着由第4判断部件判断为输出完的非参照用图像的区域中，存储由第1判断部件判断为参照用图像的图像、和由第2判断部件判断为输出用图像的图像之一。
20、根据权利要求17所述的图像编码装置，其特征在于：
所述管理部件在所述图象缓冲器中不存在可新存储图像的区域的情况下，在保持着被存储在所述图象缓冲器中的非参照用图像中显示顺序早的图像的区域中，保持由第1判断部件判断为参照用图像的图像、和由第2判断部件判断为输出用图像的图像之一。
21、根据权利要求15所述的图像编码装置，其特征在于：
所述图像编码装置还具有释放部件，在包含多个编码图像的序列中途变更输入图像的大小的情况下，释放保持着输出用图像的区域中、对大小变更前的图像且是存储后图像的全部或部分未被变更的图像进行保持的区域以外的区域。
22、一种图像解码装置，边参照保持在图象缓冲器中的图像，边解码被预测编码过的输入图像，其特征在于：
对解码后的图像判断是否是参照用图像及是否是必需保持到显示时刻的输出用图像，根据判断结果使参照用图像和输出用图像保持在所述图象缓冲器中。
23、根据权利要求22所述的图像解码装置，其特征在于：
所述图像解码装置具有第1判断部件，判断解码的图像是否是参照用图像；
第2判断部件，判断解码后的图像是否是必需保持到显示时刻的输出用图像；和
管理部件，管理图象缓冲器，使由第1判断部件判断为参照用图像的图像和由第2判断部件判断为输出用图像的图像保持在所述图象缓冲器中。
24、根据权利要求23所述的图像解码装置，其特征在于：
所述图象缓冲器具有一定的大小，
所述图像解码装置还具有第3判断部件，判断图象缓冲器中保持的参照用图像是否参照完；和
第4判断部件，判断图象缓冲器中保持的图像是否输出完，
所述管理部件根据第3及第4判断部件的各判断结果，再使用在所述一定大小的范围内保持着图象缓冲器中的图像的区域。
25、根据权利要求24所述的图像解码装置，其特征在于：
所述图像解码装置还具有解码部件，对每个由多个编码图像构成的序列，取得成为该序列单位的一定的所述大小。
26、根据权利要求24所述的图像解码装置，其特征在于：
所述管理部件在所述图象缓冲器中不存在可重新存储图像的区域的情况下，在保持由第4判断部件判断为输出完的非参照用图像的区域中，存储由第1判断步部件判断为参照用图像的图像、和由第2判断部件判断为输出用图像的图像之一。
27、根据权利要求24所述的图像解码装置，其特征在于：
所述管理部件在所述图象缓冲器中不存在可新存储图像的区域的情况下，在保持被存储在所述图象缓冲器中的非参照用图像中显示顺序早的图像的区域中，保持由第1判断部件判断为参照用图像的图像、和由第2判断部件判断为输出用图像的图像之一。
28、根据权利要求22所述的图像解码装置，其特征在于：
所述图像解码装置还具有输出部件，在包含多个编码图像的序列中途变更输入图像的大小的情况下，输出被保持在图象缓冲器中的非参照用图像中、大小变更前的图像且是存储后图像的全部或部分未被变更的图像。
29、一种程序，其特征在于：在计算机中执行如权利要求1至7中任一项所记载的图像编码方法或如权利要求8至18任一项所记载的图像解码方法。
CNB038010216A 2002-07-11 2003-07-07 解码方法和解码装置 Expired - Lifetime CN100361535C (zh)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP202781/2002 2002-07-11
JP2002202781 2002-07-11
JP2002207681 2002-07-17
JP207681/2002 2002-07-17
JP2003006198 2003-01-14
JP006198/2003 2003-01-14
PCT/JP2003/008576 WO2004008774A1 (ja) 2002-07-11 2003-07-07 画像符号化方法及び画像復号化方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN2007101995286A Division CN101179733B (zh) 2002-07-11 2003-07-07 存储器管理方法

Publications (2)

Publication Number Publication Date
CN1557097A true CN1557097A (zh) 2004-12-22
CN100361535C CN100361535C (zh) 2008-01-09

Family

ID=30118918

Family Applications (2)

Application Number Title Priority Date Filing Date
CNB038010216A Expired - Lifetime CN100361535C (zh) 2002-07-11 2003-07-07 解码方法和解码装置
CN2007101995286A Expired - Lifetime CN101179733B (zh) 2002-07-11 2003-07-07 存储器管理方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN2007101995286A Expired - Lifetime CN101179733B (zh) 2002-07-11 2003-07-07 存储器管理方法

Country Status (18)

Country Link
US (12) US7206347B2 (zh)
EP (5) EP1406451B1 (zh)
JP (8) JP4651685B2 (zh)
KR (3) KR100961037B1 (zh)
CN (2) CN100361535C (zh)
AT (4) ATE413067T1 (zh)
AU (1) AU2003281129B2 (zh)
BR (2) BRPI0305432B1 (zh)
CA (1) CA2460471C (zh)
DE (3) DE60310842T2 (zh)
DK (3) DK1742479T3 (zh)
ES (4) ES2277092T3 (zh)
MX (1) MXPA04001979A (zh)
MY (1) MY135048A (zh)
PT (2) PT2278816E (zh)
SI (2) SI1742479T1 (zh)
TW (10) TWI492636B (zh)
WO (1) WO2004008774A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103370928A (zh) * 2011-03-10 2013-10-23 松下电器产业株式会社 视频处理装置和使用它的视频显示装置、以及同步信号输出方法
CN105917651A (zh) * 2014-05-30 2016-08-31 富士通株式会社 图像编码方法、装置以及图像处理设备

Families Citing this family (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7339955B2 (en) * 2000-09-25 2008-03-04 Pulse-Link, Inc. TDMA communication method and apparatus using cyclic spreading codes
AU2002343215C1 (en) 2001-11-06 2009-01-22 Panasonic Intellectual Property Corporation Of America Moving picture coding method, and moving picture decoding method
EP1406451B1 (en) * 2002-07-11 2007-01-03 Matsushita Electric Industrial Co., Ltd. Image coding and decoding method for H.264 using a virtual display buffer.
JP3513148B1 (ja) * 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
US7400683B2 (en) * 2003-11-18 2008-07-15 Lsi Corporation Device with virtual tilized image memory
US7590059B2 (en) * 2004-05-21 2009-09-15 Broadcom Corp. Multistandard video decoder
US7751324B2 (en) * 2004-11-19 2010-07-06 Nokia Corporation Packet stream arrangement in multimedia transmission
TWI289997B (en) * 2004-12-02 2007-11-11 Sony Corp Encoding device, method, and program
US9219917B2 (en) * 2005-01-19 2015-12-22 Thomson Licensing Method and apparatus for real time parallel encoding
US8498340B2 (en) * 2006-04-04 2013-07-30 Himax Technologies Limited Method and device for decoding and displaying video frames
US7949054B2 (en) 2006-06-01 2011-05-24 Microsoft Corporation Flexible data organization for images
CN101502096B (zh) * 2006-08-10 2013-06-26 佳能株式会社 图像解码设备
JP2008124772A (ja) * 2006-11-13 2008-05-29 Hitachi Ltd 符号化装置及び符号化方法
JP5008484B2 (ja) * 2007-07-11 2012-08-22 株式会社日立国際電気 映像処理方法
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
CN102118537B (zh) * 2009-12-31 2015-04-15 深圳富泰宏精密工业有限公司 图片错误隐藏系统及方法
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
KR101750495B1 (ko) * 2010-04-16 2017-06-27 에스케이텔레콤 주식회사 인터 예측 방법 및 그 인터 예측 방법을 이용한 동영상 부호화/복호화 방법
US9491483B2 (en) * 2010-04-16 2016-11-08 Sk Telecom Co., Ltd. Inter-prediction method and video encoding/decoding method using the inter-prediction method
MY166340A (en) 2011-06-30 2018-06-25 Ericsson Telefon Ab L M Reference picture signaling
KR102280242B1 (ko) 2011-09-09 2021-07-21 엘지전자 주식회사 인터 예측 방법 및 그 장치
US9420307B2 (en) 2011-09-23 2016-08-16 Qualcomm Incorporated Coding reference pictures for a reference picture set
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US10154276B2 (en) 2011-11-30 2018-12-11 Qualcomm Incorporated Nested SEI messages for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
KR102574868B1 (ko) * 2012-04-23 2023-09-06 엘지전자 주식회사 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
CN103389879B (zh) 2012-05-10 2016-08-17 慧荣科技股份有限公司 电子装置以及由电子装置传送数据至显示设备的方法
US9762903B2 (en) * 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
BR112014032228B1 (pt) * 2012-06-29 2023-01-17 Velos Media International Limited Dispositivo e método de codificação
US20160041996A1 (en) 2014-08-11 2016-02-11 Netapp, Inc. System and method for developing and implementing a migration plan for migrating a file system
KR20180044946A (ko) * 2015-08-25 2018-05-03 카와사키 주코교 카부시키 카이샤 복수의 로봇시스템간의 정보공유시스템 및 정보공유방법
US10404979B2 (en) * 2016-03-17 2019-09-03 Mediatek Inc. Video coding with interpolated reference pictures

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6230376A (ja) 1985-07-31 1987-02-09 Fujitsu Ltd 薄膜トランジスタの製造方法
JP2969782B2 (ja) * 1990-05-09 1999-11-02 ソニー株式会社 符号化データ編集方法及び符号化データ編集装置
JPH05137131A (ja) * 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
JPH05308622A (ja) * 1992-04-28 1993-11-19 Mitsubishi Electric Corp 画像符号化・復号化装置
JP3189257B2 (ja) * 1992-05-21 2001-07-16 ソニー株式会社 画像符号器
JPH0638197A (ja) * 1992-06-30 1994-02-10 Sony Corp 符号器、復号器、および符号化方法
US5398072A (en) * 1993-10-25 1995-03-14 Lsi Logic Corporation Management of channel buffer in video decoders
US5892882A (en) * 1994-03-23 1999-04-06 Pioneer Electronic Corporation Moving picture decoding device having a compressed picture data memory
US6009231A (en) * 1994-09-05 1999-12-28 Sony Corporation Reproduction of information using a ring buffer with read and write pointers separated from each other by substantially half of the total ring buffer capacity
TW330263B (en) * 1994-10-12 1998-04-21 Winbond Electronics Corp Digital video decoding system and method
JP3694912B2 (ja) 1995-02-23 2005-09-14 株式会社日立製作所 メモリ制御方法及び画像復号装置
US5724446A (en) * 1995-04-18 1998-03-03 Advanced Micro Devices, Inc. Video decoder apparatus using non-reference frame as an additional prediction source and method therefor
TW257848B (en) * 1995-04-19 1995-09-21 Silicon Integrated Sys Corp Adaptive display memory management system and method thereof
JP3704356B2 (ja) * 1995-07-21 2005-10-12 株式会社 日立製作所 符号化映像信号の復号化装置およびそれを用いた蓄積復号化装置
KR970707686A (ko) * 1995-09-20 1997-12-01 요트. 게. 아. 롤페즈 부호화된 디지털 비디오 신호 디코딩 방법 및 장치(Method and device for decoding coded video signals)
US5764921A (en) * 1995-10-26 1998-06-09 Motorola Method, device and microprocessor for selectively compressing video frames of a motion compensated prediction-based video codec
JP3535297B2 (ja) * 1996-01-26 2004-06-07 ローム株式会社 画像データ復号方法およびこの方法を用いた画像データ復号装置
JP3183155B2 (ja) * 1996-03-18 2001-07-03 株式会社日立製作所 画像復号化装置、及び、画像復号化方法
WO1997035422A1 (en) * 1996-03-19 1997-09-25 Mitsubishi Denki Kabushiki Kaisha Encoder, decoder and methods used therefor
JPH1013841A (ja) * 1996-06-20 1998-01-16 Oki Electric Ind Co Ltd 画像復号方法および画像復号装置
JPH1013791A (ja) * 1996-06-24 1998-01-16 Matsushita Electric Ind Co Ltd 映像信号復号化方法，及び映像信号復号化装置
TW351903B (en) * 1996-07-03 1999-02-01 Matsushita Electric Ind Co Ltd Encoding method, encoding apparatus, decoding and compositing method, decoding and composition appratus, and record medium recorded with the aforesaid methods for multiple images
AU718453B2 (en) * 1996-07-17 2000-04-13 Sony Corporation Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks
US6006231A (en) * 1996-09-10 1999-12-21 Warp 10 Technologies Inc. File format for an image including multiple versions of an image, and related system and method
US6104752A (en) * 1996-10-01 2000-08-15 Victor Company Of Japan, Ltd. Apparatus and method of decoding high efficiency coded picture data with picture size resizing
US5909224A (en) * 1996-10-18 1999-06-01 Samsung Electronics Company, Ltd. Apparatus and method for managing a frame buffer for MPEG video decoding in a PC environment
US6002438A (en) * 1996-10-25 1999-12-14 Texas Instruments Incorporated Method and apparatus for storing decoded video information
JP3599942B2 (ja) * 1997-02-13 2004-12-08 三洋電機株式会社 動画像符号化方法、及び動画像符号化装置
JPH10257499A (ja) 1997-03-17 1998-09-25 Matsushita Electric Ind Co Ltd 動画像符号化装置および方法
JPH10322643A (ja) 1997-03-19 1998-12-04 Fujitsu Ltd 画像データ処理方法及び装置
JP3373130B2 (ja) 1997-03-24 2003-02-04 沖電気工業株式会社 画像復号化装置
DE19727542A1 (de) * 1997-06-28 1999-01-07 Thomson Brandt Gmbh Verfahren zur Regenerierung der Originaldaten eines digital codierten Videofilms und Vorrichtung zur Durchführung des Verfahrens
JPH1141605A (ja) 1997-07-17 1999-02-12 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置および画像復号装置
JP4010024B2 (ja) * 1997-09-02 2007-11-21 ソニー株式会社 圧縮動画像信号のデコード装置
KR100301826B1 (ko) * 1997-12-29 2001-10-27 구자홍 비디오디코더
US6959045B2 (en) * 1997-12-30 2005-10-25 Mediatek, Inc. Reduced cost decoder using bitstream editing for image cropping
JPH11275580A (ja) * 1998-03-24 1999-10-08 Sony Corp 画像データ処理装置、画像データ復号装置及び画像データ符号化装置並びにそれらの方法
KR100284696B1 (ko) * 1998-06-29 2001-03-15 윤종용 Mpeg 복호 블럭에서의 수평/수직 주파수 변환장치
JP2000050272A (ja) 1998-07-31 2000-02-18 Sony Corp 復号化装置及び方法
JP2000059794A (ja) 1998-08-14 2000-02-25 Nippon Telegr & Teleph Corp <Ntt> 画像符号化データ作成方法，そのプログラム記憶媒体，画像符号化データ作成装置，画像通信方法および画像通信システム
FR2782437B1 (fr) * 1998-08-14 2000-10-13 Thomson Multimedia Sa Procede de commutation de flux mpeg
US6243140B1 (en) * 1998-08-24 2001-06-05 Hitachi America, Ltd Methods and apparatus for reducing the amount of buffer memory required for decoding MPEG data and for performing scan conversion
US6490324B1 (en) * 1998-12-08 2002-12-03 Stmicroelectronics, Inc. System, method and apparatus for a variable output video decoder
JP2000232649A (ja) 1998-12-10 2000-08-22 Fujitsu Ltd Ｍｐｅｇビデオ復号器及びｍｐｅｇビデオ復号方法
US6658056B1 (en) * 1999-03-30 2003-12-02 Sony Corporation Digital video decoding, buffering and frame-rate converting method and apparatus
JP2000324484A (ja) 1999-05-13 2000-11-24 Hitachi Ltd 画像データ処理装置
JP2001094941A (ja) * 1999-09-27 2001-04-06 Matsushita Electric Ind Co Ltd 圧縮画像処理装置及び圧縮画像処理方法
JP2001223987A (ja) * 1999-11-11 2001-08-17 Matsushita Electric Ind Co Ltd メモリ管理方法、画像符号化方法、画像復号化方法、画像表示方法、メモリ管理装置、メモリ管理プログラム記録媒体
US6836273B1 (en) 1999-11-11 2004-12-28 Matsushita Electric Industrial Co., Ltd. Memory management method, image coding method, image decoding method, image display method, memory management apparatus, and memory management program storage medium
US6697426B1 (en) * 2000-03-17 2004-02-24 Koninklijke Philips Electronics N.V. Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames
EP1156674A1 (en) * 2000-05-19 2001-11-21 THOMSON multimedia Method and device for decoding a video data stream in special reproduction modes
WO2002051162A1 (en) * 2000-12-20 2002-06-27 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for decoding motion video image
US6680973B2 (en) * 2001-03-29 2004-01-20 Koninklijke Philips Electronics N.V. Scalable MPEG-2 video decoder with selective motion compensation
JP2003274412A (ja) 2002-03-14 2003-09-26 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
EP1406451B1 (en) * 2002-07-11 2007-01-03 Matsushita Electric Industrial Co., Ltd. Image coding and decoding method for H.264 using a virtual display buffer.
AU2003241696A1 (en) * 2002-07-26 2004-02-16 Matsushita Electric Industrial Co., Ltd. Moving picture encoding method, moving picture decoding method, and recording medium
JP3554729B2 (ja) * 2002-07-30 2004-08-18 沖電気工業株式会社 画像処理装置
KR100543453B1 (ko) * 2003-04-24 2006-01-23 삼성전자주식회사 디지털 비디오 스트림의 역재생시 비트율을 제어하기 위한 장치 및 그 방법
JP4281720B2 (ja) * 2004-10-26 2009-06-17 ソニー株式会社 データ処理装置、データ処理方法、データ処理システム、プログラムおよび記録媒体
JP5328329B2 (ja) 2008-12-10 2013-10-30 キヤノン株式会社 インクジェット記録装置

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103370928A (zh) * 2011-03-10 2013-10-23 松下电器产业株式会社 视频处理装置和使用它的视频显示装置、以及同步信号输出方法
CN103370928B (zh) * 2011-03-10 2016-08-10 松下知识产权经营株式会社 视频处理装置和使用它的视频显示装置、以及同步信号输出方法
CN105917651A (zh) * 2014-05-30 2016-08-31 富士通株式会社 图像编码方法、装置以及图像处理设备
CN105917651B (zh) * 2014-05-30 2019-05-14 富士通株式会社 图像编码方法、装置以及图像处理设备

Also Published As

Publication number Publication date
EP1742480A3 (en) 2007-02-28
US8189680B2 (en) 2012-05-29
JP5647719B2 (ja) 2015-01-07
CN101179733A (zh) 2008-05-14
KR100961037B1 (ko) 2010-06-01
EP1742479A2 (en) 2007-01-10
EP1406451A1 (en) 2004-04-07
DE60324480D1 (de) 2008-12-11
JP2014014142A (ja) 2014-01-23
EP2053863B1 (en) 2012-03-07
US20140133572A1 (en) 2014-05-15
US8155206B2 (en) 2012-04-10
US20080056379A1 (en) 2008-03-06
KR100959969B1 (ko) 2010-05-27
US20050058206A1 (en) 2005-03-17
TWI638565B (zh) 2018-10-11
EP1406451B1 (en) 2007-01-03
US20080056380A1 (en) 2008-03-06
BR0305432A (pt) 2004-09-28
DE60310842T2 (de) 2007-10-11
TW201534111A (zh) 2015-09-01
ES2277092T3 (es) 2007-07-01
JP2014014143A (ja) 2014-01-23
JP5037657B2 (ja) 2012-10-03
EP2278816A2 (en) 2011-01-26
EP2278816A3 (en) 2011-09-21
KR20050018795A (ko) 2005-02-28
KR20080073367A (ko) 2008-08-08
DK1406451T3 (da) 2007-02-05
JP2010283880A (ja) 2010-12-16
TWI280058B (en) 2007-04-21
TW200723891A (en) 2007-06-16
US9412177B2 (en) 2016-08-09
TWI379595B (en) 2012-12-11
KR100961036B1 (ko) 2010-06-01
CA2460471A1 (en) 2004-01-22
TWI573447B (zh) 2017-03-01
JP2008172821A (ja) 2008-07-24
ATE413067T1 (de) 2008-11-15
EP1742480B1 (en) 2008-10-29
US20080056378A1 (en) 2008-03-06
JP5602294B2 (ja) 2014-10-08
US20140133561A1 (en) 2014-05-15
CA2460471C (en) 2012-02-07
TWI575946B (zh) 2017-03-21
TW201534112A (zh) 2015-09-01
TW201534110A (zh) 2015-09-01
TW201105146A (en) 2011-02-01
KR20080073781A (ko) 2008-08-11
EP2053863A1 (en) 2009-04-29
JP4914515B2 (ja) 2012-04-11
US9094666B2 (en) 2015-07-28
ES2317444T3 (es) 2009-04-16
DE60329427D1 (de) 2009-11-05
BRPI0305432B1 (pt) 2018-07-03
US20140133577A1 (en) 2014-05-15
WO2004008774A1 (ja) 2004-01-22
US20140133578A1 (en) 2014-05-15
EP1742479A3 (en) 2007-03-14
AU2003281129B2 (en) 2007-12-06
US8660192B2 (en) 2014-02-25
SI1406451T1 (sl) 2007-04-30
SI1742479T1 (sl) 2009-12-31
TWI320664B (en) 2010-02-11
JP4651685B2 (ja) 2011-03-16
ES2330555T3 (es) 2009-12-11
TWI573446B (zh) 2017-03-01
MY135048A (en) 2008-01-31
JP2010283878A (ja) 2010-12-16
US9088781B2 (en) 2015-07-21
TW200401568A (en) 2004-01-16
US7995658B2 (en) 2011-08-09
AU2003281129A1 (en) 2004-02-02
EP1406451A4 (en) 2004-07-07
CN101179733B (zh) 2011-11-02
JP5412538B2 (ja) 2014-02-12
ES2420583T3 (es) 2013-08-26
PT2278816E (pt) 2013-05-10
TW201404181A (zh) 2014-01-16
JP2009153175A (ja) 2009-07-09
ATE443972T1 (de) 2009-10-15
ATE350861T1 (de) 2007-01-15
TWI573442B (zh) 2017-03-01
JP4914459B2 (ja) 2012-04-11
US9088782B2 (en) 2015-07-21
US20070076801A1 (en) 2007-04-05
TW201720167A (zh) 2017-06-01
JP2014014144A (ja) 2014-01-23
CN100361535C (zh) 2008-01-09
TWI492636B (zh) 2015-07-11
TW201536033A (zh) 2015-09-16
TWI414187B (zh) 2013-11-01
US7206347B2 (en) 2007-04-17
EP1742479B1 (en) 2009-09-23
JP5647718B2 (ja) 2015-01-07
US8073059B2 (en) 2011-12-06
US20150262377A1 (en) 2015-09-17
EP1742480A2 (en) 2007-01-10
JP2012124949A (ja) 2012-06-28
US9390512B2 (en) 2016-07-12
EP2278816B1 (en) 2013-04-24
US20120213287A1 (en) 2012-08-23
US9088783B2 (en) 2015-07-21
DK2278816T3 (da) 2013-05-21
ATE548856T1 (de) 2012-03-15
DE60310842D1 (de) 2007-02-15
US20150262324A1 (en) 2015-09-17
PT1742479E (pt) 2009-11-17
TW200723890A (en) 2007-06-16
DK1742479T3 (da) 2009-12-14
MXPA04001979A (es) 2004-08-02

Similar Documents

Publication Publication Date Title
CN1557097A (zh) 图像编码方法及图像解码方法
CN1293762C (zh) 图象编码方法及图象解码方法
CN1295934C (zh) 移动向量编码方法和移动向量解码方法
CN1278562C (zh) 编码失真消除方法、视频编码方法、视频解码方法、装置及其程序
CN1926882A (zh) 运动补偿装置
CN1640148A (zh) 动态图像编码方法及动态图像解码方法
CN1666532A (zh) 图像编码方法和图像解码方法
CN100352287C (zh) 图像编码装置、图像解码装置及它们的方法
CN1516974A (zh) 图像编码方法和图像解码方法
CN101035287A (zh) 可变长度编码方法及装置
CN1830214A (zh) 编码模式决定装置、图像编码装置、编码模式决定方法和编码模式决定程序
CN1685732A (zh) 动态图像编码方法和动态图像解码方法
CN1922885A (zh) 图象解码装置和图象编码装置
CN1522544A (zh) 可变长度编码方法及可变长度解码方法
CN1515078A (zh) 可变长度编码方法,可变长度译码方法,存储介质,可变长度编码设备,可变长度译码设备,和位流
CN1685733A (zh) 动态画像的编码方法及解码方法
CN1612614A (zh) 帧内预测编码方法
CN1943246A (zh) 图像解码方法
CN1751512A (zh) 运动图像编码方法、运动图像解码方法及程序
CN1976457A (zh) 图像编码方法及图像编码装置
CN1568622A (zh) 动态图像的编码方法及解码方法
CN1739294A (zh) 图像编码方法
CN1271862C (zh) 动画图象编码方法和动画图象译码方法
CN1509575A (zh) 图像编码方法及图像译码方法
CN1620144A (zh) 图像信号处理方法、处理装置、处理程序及集成电路装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140926

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140926

Address after: Seaman Avenue Torrance in the United States of California No. 2000 room 200

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

CX01 Expiry of patent term

Granted publication date: 20080109

CX01 Expiry of patent term