CN1177486C - 图象编码方法、译码方法及译码设备 - Google Patents

图象编码方法、译码方法及译码设备

Info

Publication number
CN1177486C
CN1177486C CNB011374675A CN01137467A CN1177486C CN 1177486 C CN1177486 C CN 1177486C CN B011374675 A CNB011374675 A CN B011374675A CN 01137467 A CN01137467 A CN 01137467A CN 1177486 C CN1177486 C CN 1177486C
Authority
CN
China
Prior art keywords
frame
data
image
mentioned
cycle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB011374675A
Other languages
English (en)
Other versions
CN1354601A (zh
Inventor
�˱�Т
西孝启
角野真也
文仲丞
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Corp of America
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of CN1354601A publication Critical patent/CN1354601A/zh
Application granted granted Critical
Publication of CN1177486C publication Critical patent/CN1177486C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation
    • H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23614—Multiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242—Synchronization processes, e.g. processing of PCR [Program Clock References]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435—Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/633—Control signals issued by server directed to the network components or client
    • H04N21/6332—Control signals issued by server directed to the network components or client directed to client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/654—Transmission by server directed to the client

Abstract

本发明提供图象信号数据结构、图象编码方法及译码方法。与以往的图象数据结构相比，本发明的数据结构可以削减当帧的显示周期是固定的情况下的规定显示时刻所需要的位数，而且还可以与帧的显示周期是可变的图象相对应。本发明中，在图象编码信号的标记部分上插入帧的显示周期是否可变的显示周期识别符，当显示周期识别符表示显示周期是固定的情况下，在图象数据的标记的部分上插入显示周期数据的同时，在每一帧中插入表示帧号码的数据，另一方面，当显示周期识别符表示显示周期是可变的情况下，在每一帧中插入显示时刻数据。

Description

图象编码方法、译码方法及译码设备
本申请是申请号为98121454.1，申请日为1998年10月30日，发明名称为“图像信号数据结构、图像编码方法及译码方法”的分案申请。
                      技术领域
本发明涉及图像信号数据结构、图像编码方法以及图像译码方法，尤其涉及，包含与包括对应于图像的各帧的译码处理以及图像显示处理在内的再生处理的定时有关的再生定时数据的图像信号结构；包含该再生定时数据的图像编码信号的生成(编码处理)；以及该图像编码信号的译码处理。
进而，本发明涉及，生成上述图像编码信号的图像编码装置以及进行上述译码处理的图像译码装置；存储上述数据结构的图像编码信号的数据存储载体；以及为了用计算机实现进行上述编码处理以及译码处理的装置而存储有图像处理程序的数据存储载体。
                      背景技术
近年来，我们迎来了综合使用声音、图像及其它数据的多媒体时代，可以将以往的通过信息媒体即报纸、杂志、电视、收音机、电话等传递信息的方法，作为多媒体的对象进行处理。一般来说，所谓多媒体，是不只是表现文字，而且要同时表现与之建立关联的图形、声音、特别是图像等，但为了把上述以往的信息载体作为多媒体的对象，必须将其信息以数字形式表示。
可是，如果将上述各信息载体所具有的信息量作为数字信息量估算的话，相对于在文字的情况下每1字的信息量是1～2字节，在声音的情况下每1秒是64kb(电话通话质量)，而对于活动图像就得需要每1秒钟100Mb(现行电视播放质量)以上的信息量，因而，在上述电视等的信息载体中直接以数字形式使用该巨大的信息是不现实的。例如，电视电话已经由具有64kb～1.5Mb传输速率的综合服务数字网(ISDN：Integrated Services Digital Network)实现，但直接用ISDN传送电视摄象机的图像是不可能的。
其中，所需要的是信息的压缩技术，例如，对于电视电话来说，可以采用以ITU-T(国际电信联合·电信标准化部门)国际标准化后的H.261标准的活动图像压缩技术。另外，如果采用MPEG1标准的信息压缩技术，则可以在普通的音乐CD(激光盘)中将图像信息与音乐信号一同记录。
在此，所谓MPEG(Moving Picture Experts Group)，是涉及与活动图像相对应的图像信号的压缩、解压缩技术的国际标准，MPEG1是将活动图像数据压缩至1.5Mb，亦即将电视信号的信息压缩至约100分之1的标准。另外，由于以MPEG1标准为对象的传输速率主要被限制在约1.5Mb，因此在为了完成更高画质的要求而被标准化的MPEG2中，活动图像数据被压缩到2～15Mb。
在与这种目前已经实用化的MPEG1、2的标准对应的图像信号压缩解压缩技术中，由于作为基本上与各帧对应的图像显示定时的间隔(也就是帧速率)只采用固定帧速率，所以帧速率只有几种，因此在MPEG2中，根据和编码数据一同传送来的标志(frame rate code，帧速率编码)，参照图13所示的表，从多种帧速率(frame rate value)中选择由上述标志指定的帧速率。
可是，现在，用ISO(国际标准化机构)具体地说是推进MPEG1、MPEG2和标准化的工作小组(ISO/IEC JTC1/SC29/WG11)正在进行作为最新的图像编码方式的MPEG4的标准化工作。这种MPEG4使采用物体单位的编码处理和信号操作成为可能，从而实现为多媒体时代所必需的新功能。MPEG4最初是以低位速率的图像处理的标准化为目的，但现在其标准化的对象还包含与隔行图像对应的高位速率的图像处理，并扩充到更通用的图像处理。
如果在MPEG4中，在视频目标层(相当于MPEG2的视频顺序)的开头也追加和MPEG2的表(参照图13)同样的表，则可以用该表表现帧速率。但是，在MPEG4中，因为可以将从低位速率的图像信号到高位速率的高画质的图像信号的很宽范围的图像信号作为处理对象，所以所需要的帧速率无数，因此，在MPEG4中的实际问题是，用表进行帧速率的判断是困难的。
其中，在MPEG4中，为了和也可以说是无数的固定帧速率对应，并且为了和对于各帧来说图像显示定时和译码处理的定时的间隔是可变的图像对应，采用了其中包含被插入每帧中的各帧的显示时刻数据的数据结构。
图14展示常规的图像编码信号200的数据结构的一个例子。
具有以往的数据结构的图像信号200是与1个图像(在MPEG4中构造与1个目标对应的图像的帧系列)对应的信号，为跟着开头的着标H、使对应于各帧F(0)、F(1)、F(2)、...、F(n)的符号列Sa0、Sa1、Sa2、...、San按照传送顺序排列的结构。在此，n是在构成1个图像的帧系列中与各帧的数据的传送顺序对应的编号，设初始帧的号码n为0。
在此例中，在帧的符号列Sa0、Sa1、Sa2、...、San的开头配置了表示该帧的显示时刻的显示时刻数据Dt0、Dt1、Dt2、...、Dtn，各显示时刻数据之后配置有图像编码数据Cg0、Cg1、Cg2、...、Cgn。
由于这些显示时刻数据表示对于基准时刻的相对的时刻，因此随着构成图像的帧的数(帧数)的增多，表示该显示时刻所需要的信息量也就是显示时刻数据的位数将增多。
另外，在上述图像信号的译码一侧，根据被插入在与上述各帧对应的符号列Sa0～San中的上述显示时刻数据Dt0～Dtn，在该显示时刻数据指示的时刻进行相应帧的图像显示。
图15展示了在构成1个图像的帧系列中的与各帧对应的图像编码数据的传送顺序和显示顺序。这里，n如上所述是表示传送顺序的号码，n’是表示显示顺序的号码(将初始帧的号码n’设置为0)。另外，帧F(n)(F(0)～F(18))是根据图14所示的数据结构中的帧顺序(也就是传送顺序)排列的，帧F’(n)(F’(0)～F’(18))是将与上述传送顺序并列的各帧F(n)替换排列如图15中箭头所示其排列顺序变为显示顺序。因而，用箭头对应标出的帧F(n)和帧F’(n)是相同的帧，例如，帧F(0)、F(1)、F(2)、F(3)，分别是和帧F’(0)、F’(3)、F’(1)、F’(2)相同的帧。
在此，在被排列成传送顺序的F(n)(F(0)～F(18))中，帧F(0)、F(13)是I帧(Intra-Picture帧，即图像内的帧，以下还称为I-VOP)，帧F(1)、F(4)、F(7)、F(10)、F(16)，是P帧，(Predictive-Picture，预测图像帧，以下还称为P-VOP)，帧F(2)、F(3)、F(5)、F(6)、F(8)、F(9)、F(11)、F(12)、F(14)、F(15)、F(17)、F(18)，是B帧，(Bidirrectionally predictivePicture，双向预测帧，以下还称为B-VOP)。
另外，如上所述，在将排列成传送顺序(IPBBPB BPBBPBBIBBPBB)的帧F(n)(F(0)～F(18))排列替换为显示顺序(IBBPBBPBBPBBPBBIBBP)时的顺序号n’，用与各帧F(n)对应的帧号码B(n)(B(0)～B(18))表示。即，该帧号码B(n)的值表示表示显示顺序的号码n’，具体地说，如图15所示，变为B(0)＝0、B(1)＝3、...、B(17)＝16、B(18)＝17。因而，在此，图像显示中的I-VOP的周期L变为L＝15，图像显示中包含I-VOP和P-VOP的VOP的周期M变为M＝3。
而后，上述帧号码B(n)＝n’，用n通过下式(1)～(3)表示。
B(n)＝n＝0      (n＝0时)       ...(1)
B(n)＝n+M-1  (n＝M×i+1时)     ...(2)
其中，i、M是0以上的整数(0，1，2，...)。
B(n)＝n-1    (n是其它值时)     ...(3)
这里，上述条件(n＝0)是与最初的I-VOP对应的条件，条件(n＝M×i+1)是与最初的I-VOP以外的I-VOP和P-VOP两VOP对应的条件，条件(n是其它值时)是与B-VOP对应的条件。
上述式(1)～(3)是在周期性地传输与各I-VOP、P-VOP、B-VOP相当的帧符号列情况下定义上述显示顺序n’和传送顺序n的关系B(n)＝n’的式子，在与各I-VOP、P-VOP、B-VOP相当的帧符号列被以一定的周期传输以外的情况下，显示顺序n’和传送顺序n，变为用和上述式子(1)～(3)不同的关系式或方法一一对应地标出。
图16是用于说明与各帧对应的图像显示定时的间隔是可变的图像显示方法的一例的图。
图中，t’(n’)(t’(1)，t’(2)，t’(3)，t’(4)...)，表示进行帧F’(n’-1)的图像显示的时刻和进行帧F’(n’)的图像显示的时刻的时间间隔，h’(1)、h’(2)、h’(3)表示以进行帧F’(0)的图像显示的时刻h’(0)为基准进行帧F’(1)、F’(2)、F’(3)的图像显示的时刻。另外，h(n)(h(1)、h(2)、h(3)、h(4)、...)表示以进行帧F(0)＝F’(0)的图像显示的时刻h’(0)为基准进行帧F(n)(F(1)、F(2)、F(3)、F(4)、...)的图像显示的时刻。因而，在此，被排列成显示顺序的帧F’(n’)的显示顺序h’(n’)是h’(n’)＝h’(n’-1)+t’(n’)。进而h’(0)设置成h’(0)＝0。
接着，用图16简单地说明具有图14所示的图像数据结构的图像编码信号被译码并进行图像显示的状况。
在译码一侧，如果输入如图14所示的该图像编码信号200，则在对构成该图像编码信号200的各帧F(0)、F(1)、F(2)、...的图像编码数据Cg0、Cg1、Cg2、...实施译码处理的同时，在基于各帧的显示时刻数据Dt0、Dt1、Dt2、...的图像显示时刻h(0)、h(1)、h(2)、...进行与各帧F(0)、F(1)、F(2)、...对应的图像显示。
这样一来，不仅对于被编码后的图像信号(图像编码信号)相对各帧的图像显示定时的间隔(图像显示周期)为固定的信号，而且对于间隔可变的信号，也可以在译码一侧进行图像编码信号的译码并在规定的定时进行图像显示。
进而，当被编码后的图像信号是对于各帧的图像显示的间隔为固定的信号情况下，母容置疑，和上述图像显示周期可变的情况相同，与上述各帧F(0)、F(1)、F(2)、...对应的图像显示在基于各帧的显示时刻数据Dt0、Dt1、Dt2、...的图像显示时刻h(0)、h(1)、h(2)、...进行。
可是，帧速率(在1秒钟期间显示的帧的数量)如要单纯用k位(k为自然数)表示的话，就不能表现在电视广播中所使用的频率数(例如，29.97...Hz)正确地应为30000/1001Hz那样的值。
因此，这样的帧速率可以象如下那样表现。即，将规定的时间间隔(1 modulo time)例如设置为1秒，以将其N(N是自然数)等分后的微小单位时间(1/N)作为1单位时间(1 time tick)，无论对于帧速率是可变的图像，还是对于帧速率是固定的图像，都表示各帧的显示时刻。
具体地说，如图17(a)所示，排列为显示顺序的各帧F’(0)、F’(1)、F’(2)、F’(3)的图像VOP0、VOP1、VOP2、VOP3的显示时刻可以(比方说)以时刻X为基准由收集y(VOP rate increment)个微小单位时间(1/N)后的时间(y/N)来表示。例如，对于图像VOP0、VOP1、VOP2、VOP3，上述值y分别变为y＝y’0、y＝y’1、y＝y’2、y＝y’3。
图17(c)是具有用上述微小单位时间(1/N)和上述值y表示各帧的图像显示定时的数据结构的图像编码信号200a。
在该图像编码信号200a中，紧接着表示与微小单位时间相当的N(自然数)的、包含微小单位时间数据Dk的首标H之后，排列与各帧F(n)(F(0)、F(1)、F(2)、...)对应的符号列Sbn(Sb0、Sb1、Sb2、...)。在各符号列Sbn中，包含有以基准时刻x为基准，用上述微小单位时间(1/N)和其个数y测定的表示显示时刻h(n)(h(0)、h(1)、h(2)、...)的显示周期乘数数据Dyn(Dy0、Dy1、Dy2、...)。
进而，在图17(c)中，Cgn(Cg0、Cg1、Cg2、...)是与上述各帧F(n)(F(0)、F(1)、F(2)、...)对应的图像编码数据。
但是，如图17(b)所示，当图像VOP0是I-VOP(I帧)，VOP1、2是B-VOP(B帧)，VOP3是P-VOP(P帧)时，在作为图像编码信号200a的位流中，如图17(c)所示，作为接着与I-VOP(VOP0)相当的帧F(0)的符号列的帧F(1)、F(2)的符号列被排列成与P-VOP(VOP3)、B-VOP(VOP1)相当的符号。
以下，首先说明在用图14～图16说明的图像信号数据结构中的问题。
如上所述，当图像编码信号是在编码帧的显示间隔一定值T的图像信号之后的信号时，与各帧对应的图像显示定时h(n)变为h(n)＝n’×T。在此n’是表示显示顺序的号码，变为n’＝B(n)。
换言之，这种帧的显示间隔为一定值T的图像编码信号(即与帧速率是固定的图像对应的编码信号)，如果在译码一侧知道是上述一定的显示间隔的时间T，则传送顺序中的n号的帧F(n)的显示时刻h(n)虽然可以通过使上述的一定的显示间隔T增加n’(n＝B(n’))唯一确定，但存在在译码时，使用被插入到与帧F(n)(F(0)、F(1)、F(2)、...)对应的图像编码信号中的图14所示的显示时刻数据Dtn(Dt0、Dt1、Dt2、...)时，必须进行复杂的显示处理的问题。
以下，说明用图17说明过的图像信号数据结构的问题。
如上所述，在现在的MPEG4中所提出的图像信号的数据结构中，即使帧速率是固定的，帧速率的值(大小)也是不译码多帧不知其大小的结构，因此，存在难以简化实现实际的译码处理的电路结构的问题。
简单地说，如图17(b)所示，当VOP0是I-VOP(I帧)，VOP1、2是B-VOP(B帧)，VOP3是P-VOP(P帧)时，在作为图像编码信号200a的位流中，如图17(c)所示，由于紧接着与I-VOP(I帧)相当的帧F(0)排列着与P-VOP(P帧)相当的帧F(1)以及与B-VOP(B帧)相当的帧F(2)，因此存在直至与该B-VOP(B帧)对应的帧F(2)被传送来之前不知道帧显示周期(1 fixed VOP increment)的问题，也就是这种情况下存在着不知道I-VOP的显示定时和接着显示的B-VOP(B帧)的显示定时的间隔的问题。
                      发明内容
本发明就是为了解决上述问题而提出的，其目的在于提供一种图像信号数据结构，其对于相对在帧(对于各帧的图像显示的周期)等的译码一侧的各帧再生处理的周期是固定的图像编码信号，可以通过简单的硬件构成实施包含译码处理和显示处理的再生处理，而且，还可以对上述帧速率等是可变的图像编码信号进行再生处理。
本发明的目的还在于得到一种图像译码方法以及图像译码装置，其在译码一侧，对于相对帧速率(对于各帧的图像显示的周期)等的各帧再生处理的周期是固定的图像编码信号，可以用简单的硬件构成实施包含译码处理和显示处理的再生处理，而且，对于帧速率等是可变的图像编码信号也可以简单地进行再生处理，对于进行这样的图像编码处理的图像编码方法和图像编码装置以及图像编码信号，可以对应各帧的再生处理的周期是否可变，正确地进行包含译码处理以及图像显示处理的再生处理。
进而，本发明的目的在于得到可以使各种硬件构成做得简单的图像信号数据结构，这些硬件可以在进行各帧的数字处理之前，预先检测帧速率等是固定的图像编码信号的帧速率等的值(大小)，实现包含译码处理以及显示处理的再生处理。
再有，本发明的目的在于得到一种图像译码方法以及图像译码装置，其可以在进行各帧的译码处理之前预先检测帧速率等是固定的图像编码信号的帧速率等的值(大小)，对于该图像编码信号可以用简单的硬件构成实施包含译码处理以及显示处理的再生处理，可以正确地译码通过进行上述的编码处理的图像编码方法和图像编码装置，以及上述编码处理得到的图像编码信号。
另外，本发明的目的在于得到一种存储了上述数据结构的图像编码信号的数据存储载体以及存储了用于通过计算机实现上述图像编码方法以及图像译码方法的处理的图像处理程序的数据存储载体。
本发明提供一种译码方法，用于将图像信号译码，该图像信号承载对应于多个帧的图像数据、能够标识相继的帧之间的图像显示定时为不变的还是不一定为总是始终不变的显示周期标识符、及用于标识图像显示的周期的显示周期数据，所述方法包括如下步骤：通过对所述图像数据进行译码生成图像；以及当所述显示周期标识符标识所述图像显示定时是不变的时候，基于所述显示周期数据设置一个定时，在该定时进行一个帧的图像显示。
本发明提供一种图像译码设备，用于将图像信号译码，该图像信号承载对应于多个帧的图像数据、能够标识相继的帧之间的图像显示定时为不变的还是不一定为总是始终不变的显示周期标识符、及用于标识图像显示的周期的显示周期数据，所述图像译码设备包括：译码装置，通过对所述图像数据进行译码生成图像；以及定时设定装置，当所述显示周期标识符标识所述图像显示定时是不变的时候，基于所述显示周期数据设置一个定时，在该定时进行一个帧的图像显示。
本发明提供一种用于对帧进行编码的编码方法，所述方法包括：获取对应于多个帧的比特流；生成显示周期标识符，该显示周期标识符能够标识与该比特流对应的所有的帧的任何间隔是始终不变的还是可以变化的，每一个所述的间隔是两个相继的帧的图像显示时间之间的时间间隔；当显示周期标识符标识该间隔为不变的时候，对标识所有的帧内任意两个相继的帧的图像显示时间之间的一个固定的间隔的显示周期数据进行编码，并将编码后的显示周期数据、显示周期标识符和比特流多路化；以及当显示周期标识符标识该间隔为可变的时候，对标识所有的帧内一个帧的图像显示的时间的显示定时数据进行编码，并将每一帧的编码后的显示定时数据、显示周期标识符和比特流多路化。
本发明(方案1)的图像信号数据的结构，是用于如此输出图像信号使得在规定周期进行对应各帧的图像再生处理的图像信号数据结构，其包含表示对应于上述各帧的图像再生处理的周期是否可变的再生周期识别符。
本发明(方案2)在本发明的方案1所述的图像信号数据结构中，将上述再生周期识别符设置为，表示与上述各帧对应的图像显示的周期是否可变的显示周期识别符。
本发明(方案3)在本发明的方案2所述的图像信号数据结构中，作为上述显示周期识别符，在包含表示与上述各帧对应的图像显示周期是固定的显示周期固定识别符的同时，加上该显示周期固定识别符，还包含表示与上述各帧对应的图像显示的周期的显示周期数据，和与上述各帧对应的，表示帧的前后关系的帧位置数据。
本发明(方案4)在本发明的方案2所述的图像信号数据结构中，作为上述显示周期识别符，在包含表示与上述各帧对应的图像显示周期是固定的显示周期固定识别符的同时，加上该显示周期固定识别符，还包含响应各帧对于1个或多个基准时刻所需要的时刻被相对地设置的，表示对应各帧进行图像显示的定时的显示定时数据。
本发明(方案5)在本发明的方案1所述的图像信号数据结构中，将上述再生周期识别符设置成，与上述各帧的对应的、表示译码被编码的图像信号的译码处理的周期是否可变的译码周期识别符。
本发明(方案6)在本发明的方案5所述的图像信号数据结构中，作为上述显示周期识别符，在包含表示与上述各帧对应的译码处理的周期是固定的译码周期固定识别符的同时，加上该译码周期固定识别符，还包含表示与上述各帧对应的译码处理的周期的译码周期数据，和与上述各帧对应的，表示帧的前后关系的帧位置数据。
本发明(方案7)在本发明的方案5所述的图像信号数据结构中，作为上述译码周期识别符，在包含表示与上述各帧对应的译码处理的周期是固定的译码周期固定识别符的同时，加上该译码周期固定识别符，还包含响应各帧对于1个或多个基准时刻所需要的时刻被相对地设置的，表示对应与各帧进行译码处理的定时的译码定时数据。
本发明的(方案8)的图像编码方法是在输出通过编码对应于规定的图像的图像信号、由该编码得到的图像编码数据的同时，输出表示对应于上述图像的各帧的图像再生处理的周期是否可变的再生周期识别符的图像编码方法，作为上述图像信号，在输入了与上述各帧对应的图像再生处理的周期是固定的图像信号时，与上述再生周期识别符同时输出对应于上述各帧表示图像再生处理的周期的再生周期数据，和与上述各帧对应的，表示帧的前后关系的帧位置数据；作为上述图像信号，在输入了与上述各帧对应的图像再生处理的周期是可变的图像信号时，与上述再生周期识别符同时输出响应上述各帧对于1个或者多个基准时刻所需要的时刻被相对地设置的，表示对应各帧进行图像再生处理的定时的再生定时数据。
本发明(方案9)在本发明方案8所述的图像编码方法中，将上述再生周期识别符设置成，表示对应上述图像的各帧的图像显示的周期是否可变的显示周期识别符；将上述再生周期数据设置成，对应上述各帧表示图像显示的周期的显示周期数据；将上述再生定时数据设置成，响应上述各帧对于1个或者多个基准时刻所需要的时刻被相对地设置的，表示对应各帧进行图像显示的定时的显示定时数据。
本发明(方案10)在本发明方案8所述的图像编码方法中，将上述再生周期识别符设置成，与上述图像的各帧对应的，表示图像编码数据的译码处理的周期是否可变的译码周期识别符；将上述再生周期数据设置成，表示对应于上述各帧的译码处理的周期的译码周期数据；将上述再生定时数据设置成，响应上述各帧对于1个或多个基准时刻所需要的时刻被相对地设置的，表示对应各帧进行译码处理的定时的译码定时数据。
本发明(方案11)的图像译码方法，是译码包含对应于图像的各帧的图像编码数据和表示对应于各帧的图像再生处理的周期是否可变的再生周期识别符的图像编码信号的图像译码方法，当上述再生周期识别符表示与上述各帧对应的图像再生处理的周期是固定的时，将译码对应于各帧的图像编码数据得到的图像译码数据设置成，被包含在上述图像编码信号中的，表示对应于上述各帧的图像再生处理的周期的再生周期数据，和与上述各帧对应的，根据表示帧的前后关系的帧位置数据确定的再生定时图像数据；当上述再生周期识别符表示对应于上述各帧的图像再生处理的周期是可变的时，将译码对应于各帧的图像编码数据得到的图像译码数据设置成，根据被包含在上述图像编码信号中的，响应各帧对于1个或者多个基准时刻所需要的时刻被相对地设置的，表示对应各帧进行图像再生处理的定时的再生定时数据确定的再生定时的图像数据。
本发明(方案12)在本发明方案11所述的图像译码方法中，将上述再生周期识别符设置成，表示对应上述各帧的图像显示周期是否可变的显示周期识别符；将上述再生周期数据设置成表示对应上述各帧的图像显示的周期的显示周期数据；将上述再生定时数据设置成，表示对应于上述各帧进行图像显示的显示定时的显示定时数据。
本发明(方案13)在本发明方案11所述的图像译码方法中，根据包含成为译码处理的对象的对象帧的多个帧的显示定时数据，设定对应于上述各帧进行译码处理的译码定时。
本发明(方案14)在本发明方案13所述的图像译码方法中，将上述对象帧的译码定时，根据该对象帧的显示定时数据以及接着传送来的下一帧的显示定时数据，设定为比该两帧中早的一方的显示定时只早规定的偏差时间的定时。
本发明(方案15)在本发明方案14所述的图像译码方法中，当上述对象帧的显示定时比上述下一个帧的显示定时早时，将上述偏差时间设定为大于对于上述对象帧的译码处理所需要的时间；当上述下一个帧的显示定时比上述对象帧的显示时间早时，将上述偏差时间设定为大于对于对象帧的译码处理所需要的时间，和对于下一个帧的译码处理所需要的时间的合计时间。
本发明(方案16)在本发明方案11所述的图像译码方法中，将上述再生周期识别符设置成，对应于各帧的，表示图像编码数据的译码处理的周期是否可变的译码周期识别符，将上述再生周期数据设置成，表示对应上述各帧的译码处理的周期的译码周期数据；将上述再生定时数据设置成，表示对应上述各帧进行译码处理的译码定时的译码定时数据。
本发明(方案17)在本发明方案1所述的图像信号数据结构中，加上表示对应上述各帧的图像再生处理的周期是否可变的再生周期识别符，包含用自然数N表示N等分规定的时间间隔后得到的微小单位时间的大小的微小单位时间数据，和用乘数M(自然数)表示对应上述各帧的图像再生处理的周期是上述微小单位时间的M倍的再生周期乘数数据。
本发明(方案18)在本发明方案17所述的图像信号数据结构中，将上述再生周期识别符设置成，表示对应于上述各帧的图像显示的周期是否可变的显示周期识别符；将上述再生周期乘数数据设置成，用乘数M(自然数)表示对应上述各帧的图像显示的周期是上述微小单位时间的M倍的显示周期乘数数据。
本发明(方案19)在本发明方案17所述的图像信号数据结构中，将上述再生周期识别符设置成，与上述各帧对应的，译码被编码后图像信号的译码处理的周期是否可变的译码周期识别符，将上述再生周期乘数数据设置成，用乘数M(自然数)表示对应上述各帧的译码处理的周期是上述微小单位时间的M倍的译码周期乘数数据。
本发明(方案20)的图像编码方法，是在输出通过编码对应于规定的图像的图像信号由该编码得到的图像编码数据的同时，输出表示对应于上述图像的各帧的图像再生处理的周期是否可变的再生周期识别符的图像编码方法，作为上述图像信号，在输入了与上述各帧对应的图像再生处理的周期是固定的图像信号时，与上述再生周期识别符同时输出用自然数N表示N等分规定的时间间隔后得到的微小单位时间的大小的微小单位时间数据，和用乘数M(自然数)表示对应于上述各帧的图像再生处理的周期是上述微小单位时间的M倍的再生周期乘数数据。
本发明(方案21)在本发明方案20所述的图像编码中，将上述再生周期识别符设置成，表示对应于上述各帧的图像显示的周期是否可变的显示周期识别符；将上述再生周期乘数数据设置成，作为表示对应上述各帧的图像显示的周期相当于上述微小单位时间的几倍的倍数M(自然数)的显示周期乘数数据。
本发明(方案22)在本发明方案20所述的图像编码方法中，将上述再生周期识别符设置成，表示对应于各帧的图像编码数据的译码处理的周期是否可变的译码周期识别符，将上述再生周期乘数数据设置成，用乘数M(自然数)表示对应于上述各帧的译码处理的周期是上述微小单位时间M倍的译码周期乘数数据。
本发明(方案23)的图像译码方法，是译码包含以下数据的图像编码信号的图像译码方法，其中包含，对应于图像的各帧的图像编码数据；表示对应于该各帧的图像再生处理的周期是否可变的再生周期识别符；用自然数N表示N等分规定的时间间隔后得到的微小单位时间的大小的微小单位时间数据；用乘数M(自然数)表示对应上述各帧的图像再生处理的周期是上述微小单位时间的M倍的再生周期乘数数据，当上述再生周期识别符表示对应上述各帧的图像再生处理的周期是固定的时，将译码对应各帧的图像编码数据得到的图像译码数据，设置成表示上述微小单位时间的大小的微小单位时间数据，和根据表示对应上述各帧的图像再生处理的周期的再生周期乘数数据确定的再生定时的图像数据。
本发明(方案24)在本发明方案23所述的图像译码方法中，将上述再生周期识别符设置成，表示对应于上述图像显示的各帧的图像显示周期是否是可变的显示周期识别符；将上述再生周期乘数数据设置成，用乘数M(自然数)表示对应上述各帧的图像显示的周期是上述微小单位时间的M倍的显示周期乘数数据。
本发明(方案25)在本发明方案23所述的图像编码方法中，将上述再生周期识别符设置成，对应于上述图像的各帧的，表示图像编码数据的译码处理的周期是否可变的译码周期识别符；将上述再生周期乘数数据设置成，用乘数M(自然数)表示对应于上述各帧的译码处理的周期是上述微小单位时间的M倍的译码周期乘数数据。
本发明(方案26)的图像编码装置是编码对应规定的图像的图像信号的图像编码装置，其构成是包括：编码器，编码被输入的图像信号输出图像编码数据；周期判断装置，其根据上述图像信号，判断对应上述图像的各帧的图像再生处理的周期是否是可变的，并输出表示其判断结果的再生周期识别符；第1数据生成器，其根据上述图像信号，生成表示对应上述各帧的图像再生处理的周期的再生周期数据；第2数据生成器，其根据上述图像信号，生成与上述各帧对应的，表示帧的前后关系的帧位置数据；第3数据生成器，其根据上述图像信号，生成表示对应上述各帧进行图像再生处理的定时的再生定时数据；开闭开关，其根据上述再生周期识别符，在使上述再生周期数据导通的导通状态和切断该再生周期数据的切断状态之间切换；选择开关，其根据上述再生周期识别符，选择上述帧位置数据和上述再生定时数据的一方；多路复合器，其按照规定的顺序多路复合上述编码器、周期判断装置以及各开关的输出，将通过上述多路复合得到的位流作为图像编码信号输出。
本发明(方案27)的图像译码装置是译码并再生从本发明的技术特征26所述的图像编码装置输出的图像编码信号的图像译码装置，包括：数据分离装置，其接收上述图像编码信号，分离被包含在该图像编码信号中的图像编码数据、再生周期识别符、再生周期数据、帧位置数据以及再生定时数据；译码器，对每一帧译码上述图像编码数据生成图像译码数据；开闭开关，其根据上述再生周期识别符，在使上述再生周期数据导通的导通状态和切断该再生周期数据的切断状态之间切换；选择开关，其根据上述再生周期识别符，选择上述帧位置数据和再生定时数据的一方；显示装置，其根据上述图像译码数据，进行对应上述各帧的图像显示处理，图像译码装置的构成是，对应上述再生周期识别符，用在由上述再生周期数据以及帧位置数据确定的再生定时，或者由上述再生定时数据确定的再生定时，进行由上述译码器进行的译码处理以及由显示装置进行的图像显示处理中至少一方的处理。
本发明(方案28)的图像编码装置是编码对应规定的图像的图像信号的图像编码装置，包括：编码器，译码被输入的图像信号输出图像编码数据；周期判断装置，其根据上述图像信号，判断对应上述图像的各帧的图像再生处理的周期是否是可变的，并输出表示其判断结果的再生周期识别符；第1数据生成器，生成用自然数N表示N等分规定的时间间隔得到的微小单位时间的大小的微小单位时间数据；第2数据生成器，其根据上述图像信号，生成用M(自然数)表示对应上述各帧的图像再生处理的周期是上述微小单位时间的M倍的再生周期乘数数据；第3数据生成器，其根据上述图像信号，生成表示对应上述各帧进行图像再生处理的定时的再生定时数据；第1开闭开关，其根据上述再生周期识别符，在导通上述微小单位时间数据的导通状态和切断该微小单位时间数据的切断状态之间切换；第2开闭开关，其根据上述再生周期识别符，在导通上述再生周期乘数数据的导通状态和切断该再生周期乘数数据的切断状态之间切换；多路复合器，其按照规定的顺序多路复合上述编码器、周期判断器、第3数据生成器以及各开关的输出，图像编码装置的构成是，将通过上述多路复合得到的位流作为图像编码信号的输出。
本发明(方案29)的图像译码装置，是译码并再生从本发明的方案28所述的图像编码装置输出的图像编码信号的图像译码装置，包括：数据分离装置，其接收上述图像编码信号，分离被包含在该图像编码信号中的图像编码数据、再生周期识别符、微小单位时间数据、再生周期乘数数据以及再生定时数据；译码器，对上述每一帧译码上述图像编码数据生成图像译码数据；第1开闭开关，其根据上述再生周期识别符，在使上述再生周期乘数导通的导通状态和切断该数据的切断状态之间切换；第2开闭开关，其根据上述再生周期识别符，在使上述上述再生定时数据导通的导通状态和切断该数据的切断状态之间切换；显示装置，其根据上述图像译码数据，对应各帧进行图像显示处理，图像译码装置的构成是，对应上述再生周期识别符，由上述微小单位时间数据以及再生周期数据确定的再生定时，或者由上述再生定时数据确定的再生定时，进行上述由译码器进行的译码处理以及由显示装置进行的图像显示处理中至少一方的处理。
本发明(方案30)的数据存储载体是存储有以规定周期进行对应各帧的图像再生处理的图像信号的数据存储载体，其中使上述图像信号的构成包含，表示对应上述各帧的图像再生处理的周期是否可变的再生周期识别符。
本发明(方案31)的数据存储载体是存储有以规定周期进行对应各帧的图像再生处理的图像信号的数据存储载体，其中将上述图像信号设置成包含，表示对应上述各帧的图像再生处理的周期是否可变的再生周期识别符；用自然数N表示等分规定的时间间隔后得到的微小单位时间的大小的微小单位时间数据；用乘数M(自然数)表示对应上述各帧的图像再生处理的周期是上述微小单位时间的M倍的再生周期乘数数据。
本发明(方案32)的数据存储载体是存储有图像处理程序的数据存储载体，其中将上述图像处理程序设置成，使采用本发明技术特征8所述的图像编码方法的图像信号的译码处理可以在计算机中进行的编码处理程序。
本发明(方案33)的数据存储载体是存储有图像处理程序的数据存储载体，其中将上述图像处理程序设置成，使采用本发明技术特征11所述的图像译码方法的图像信号的译码处理可以在计算机中进行的译码处理程序。
本发明(方案34)的数据存储载体是存储有图像处理程序的数据存储载体，其中将上述图像处理程序设置成，使采用本发明技术特征20所述的图像编码方法的图像信号的译码处理可以在计算机中进行的译码处理程序。
本发明(方案35)的数据存储载体是存储有图像处理程序的数据存储载体，其中将上述图像处理程序设置成，使采用本发明技术特征23所述的图像译码方法的图像编码信号的译码处理可以在计算机中进行的译码处理程序。
                       附图说明
图1是展示对比帧显示周期是固定的情况(图(a))和帧显示周期是可变的情况(图(b))的本发明的实施例1的图像编码信号的数据结构的示意图。
图2是展示上述实施例1的根据帧显示周期是固定的图像编码信号的图像显示状况的示意图。
图3是展示生成上述实施例1的数据结构的图像编码信号的编码处理的流程的图。
图4是展示进行上述实施例1及其变形例的编码处理的图像编码装置的构成(图(a)、图(b))的方框图。
图5是展示译码上述实施例1的数据结构的图像编码信号的译码处理的流程图。
图6是展示进行上述实施例1及其变形例的译码处理的图像译码装置的构成(图(a)、图(b))的方框图。
图7是展示对比帧显示周期是固定的情况(图(a))和帧显示周期是可变的情况(图(b))的本发明的实施例2的与MPEG4对应的图像编码信号的数据结构的示意图。
图8是展示生成上述实施例2的数据结构的图像编码信号的编码处理的流程图。
图9是展示进行上述实施例2及其变形例的编码处理的图像编码装置的构成(图(a)、图(b))的方框图。
图10是展示译码上述实施例2的数据结构的图像编码信号的译码处理的流程图。
图11是展示进行上述实施例2及其变形例的译码处理的图像译码装置的构成(图(a)、图(b))的方框图。
图12是用于说明存储有为了用计算机进行上述各实施例的编码处理以及译码处理的程序的数据存储载体(图(a)、(b))以及上述计算机系统(图(c))的示意图。
图13是展示以往的MPEG2中的固定帧速率的表的示意图。
图14是用于说明具有以往的图像数据结构的图像编码信号的概念图。
图15是展示对比构成1个图像的帧系列中的数据传送顺序和数据显示顺序的示意图。
图16是展示常规的根据帧显示周期是可变的图像编码信号的图像显示状况的示意图。
图17是说明与现有的MPEG4对应的各帧(VOP)的显示时刻的表现方法(图(a)、(b))，以及对应MPEG4的图像编码信号的目前使用的数据结构(图(c))的示意图。
                    具体实施方式
以下，说明本发明的实施例。
实施例1
图1(a)是展示采用本发明的实施例1的帧显示周期是固定(一定)的图像编码信号100a的数据结构，图1(b)是展示采用本发明的实施例1的帧显示周期是可变的图像编码信号100b的数据结构。
上述图像编码信号100a(参照图1(a))是与1个图像(在MPEG4中与1个目标对应的图像)对应的、通过对帧显示周期是固定的图像信号进行译码得到的信号，其结构是，紧接着开头首标H按照传送顺序排列着对应各帧F(0)、F(1)、F(2)、...、F(n)的符号列Sa0、Sa1、Sa2、...、San。在此，n是在构成1个图像的帧系列中与各帧的数据传送对应的号码。
在该图像编码信号100a中，在首标H内插入表示帧显示周期是固定的显示周期识别符(显示周期固定识别符)Df以及表示帧显示周期的显示周期数据Dp，在对应各帧的符号列Sa0、Sa1、Sa2、...、San的开头插入表示与该帧的显示顺序n’相当的帧号码B(n)的帧号码数据B0、B1、B2、...、Bn。另外，在对应上述各帧的符号列Sa0、Sa1、Sa2、...、San中，包含编码各帧的图像信号得到的图像编码数据Cg0、Cg1、Cg2、...、Cgn。
图2是说明对应各帧的图像显示定时的间隔是固定的图像显示方法的一个例子的示意图，图中，和图16同样的符号表示同一部分，T是各帧的显示定时的间隔是固定的图像的帧显示周期。
在该图像编码信号100a中，如图2所示，如果将帧F(0)的显示时刻h(0)(＝h’(0))设置为h(0)＝0，与传送顺序并列的帧F(n)(n＝0，1，2，...)的显示时刻h(n)则可以用h(n)＝B(n)×T表示。具体地说，帧F(2)的显示时刻h(2)变为h＝B(2)×T，帧F(3)的显示时刻h(3)变为h(3)＝B(3)×T，帧F(1)的显示时刻h(1)变为h(1)＝B(1)×T，帧F(4)的显示时刻h(4)变为h(4)＝B(4)×T。
因而，在该图像编码信号100a的再生处理中，与各帧对应的通过图像编码数据的译码得到图像译码数据可以按照显示时刻h(n)顺序显示。进而在此，代表表示显示序号的号码n’的帧号码B(n)，作为表示传送序号的号码n的函数由在背景技术中说明的上述式子(1)～(3)确定。
另一方面，图像编码信号100b(参照图1(b))，是译码对应1个图像(在MPEG4中对应1个目标的图像)的，译码帧显示周期是可变的图像信号得到的信号，其结构是，接着开头的标记H，按照传送顺序排列与各帧F(0)、F(1)、F(2)、...、F(n)对应的符号列Sb0、Sb1、Sb2、...、Sbn。
在图像编码信号100b中，在首标H内插入表示帧显示周期是可变的显示周期识别符(显示周期可变识别符)Df，在对应各帧F(0)、F(1)、F(2)、...、F(n)的符号列Sb0、Sb1、Sb2、...、Sbn的开头插入表示显示该帧被的显示时刻h(0)、h(1)、h(2)、...、h(n)的显示时刻数据(显示时刻数据)Dt0、Dt1、Dt2、...、Dtn。另外，在图像编码信号100b中对应各帧的符号列Sb0、Sb1、Sb2、...、Sbn中包含通过对各帧的图像信号译码得到的图像译码数据Cg0、Cg1、Cg2、...、Cgn。
图像编码信号100b的再生处理的图像显示和具有图14所示的常规的数据结构的图像编码信号200的图像显示一样。
以下，说明其作用和效果。
在本发明的实施例1中，如图1(a)所示，帧显示周期是固定的图像编码信号100a其数据结构为，在该图像数据全部的首标部分上插入表示帧显示周期是固定的显示周期固定识别符Df和表示帧显示周期的显示周期数据Dp。与此同时，在每一帧中插入表示各帧号码B(0)、B(1)、B(2)、...、B(n)的帧号码数据B0、B1、B2、...、Bn。
在具有这种数据结构的图像编码信号100a中，由于从上述显示周期Dp中可以得到帧显示周期T，从帧号码数据Bn中可以得到在1个图像中的各帧在显示顺序上数是相当于哪个序号的帧，因此，可以用这些数据Dp及Bn唯一地确定各帧F(n)的显示时刻h(n)。
另一方面，如图1(b)所示，作为帧显示周期是可变的图像编码信号100b其数据结构变为，在其图像数据全部的首标部分上插入表示显示间隔是可变的显示周期可变识别符Df；进而和以往的图像编码信号200的数据结构相同，在每一帧中插入表示各帧的显示时刻h(0)、h(1)、h(2)、...、h(n)的显示时刻数据Dt0、Dt1、Dt2、...、Dtn。
因此，在再生上述图像编码信号100b时，可以在该显示时刻数据Dt0～Dtn所表示的显示时刻h(0)～h(n)进行对应各帧F(0)～F(n)的图像显示。
如上所述，通过在图像编码信号的首标部分插入表示帧显示周期是固定还是可变的显示周期识别符Df，还可以与帧显示周期是可变的图像相对应。进而，对于帧显示周期是固定的图像来说，可以不参照信息量多的各帧的显示时刻数据Dt0～Dtn，而根据显示周期数据Dp和信息量少的帧号码数据Bn进行各帧的图像显示，并可以将在译码一侧的图像处理电路设置成简单的电路结构。
以下，说明生成如上述那样的图像编码信号100a、100b的图像信号的编码处理及其译码处理。
图3是表示上述编码处理的流程图。
首先，在上述编码处理中，判断对应输入的规定的图像的图像信号的帧显示周期是否固定(步骤S11)。在其判断结果为帧显示周期是固定的情况下，将表示上述帧显示周期是固定的显示周期固定识别符Df附加在对应上述图像信号的位流的标记H中(步骤S11a)，进而将表示各帧的传送顺序的号码作为计数值使用，该计数值n被置于n＝0(步骤S12a)。接着，表示上述固定的帧显示周期T的显示周期数据Dp被附加在与上述图像信号对应的位流的首标H中(步骤S13a)。
接着，作为上述规定的图像的与传送顺序中的最初的帧F(0)对应的符号列Sa0，顺序在上述首标H上附加上对应的帧号码数据Bn(＝B0)以及图像编码数据Cgn(＝Cg0)(步骤S14a、S15a)。其后，判断在上述图像信号的编码处理中的处理对象帧是否是上述规定的图像的。在传送顺序中的最后的帧(步骤S16a)，如果该处理对象帧不是最后帧，则上述计数值n增加1(步骤S17a)，对于紧接着的帧F(1)进行在上述步骤S14a～S17a中的处理。
上述步骤S14a～S17a中的处理反复进行，直至在S16a中判断为处理对象帧是最后帧为止。
另一方面，在上述步骤S11中的判断结果为帧显示周期是可变的情况下，表示上述帧显示周期是可变的显示周期可变识别符Df被附加在与上述图像信号对应的位流的标记H上(步骤S11b)，进而将表示各帧的传送顺序的号码n作为计数值使用，该计数值n被置于n＝0(S12b)。接着，作为上述规定的图像的在传送顺序中与最初的F(0)对应的符号列，将对应的显示时刻数据Dtn(Dt＝0)以及图像编码数据Cgn(＝Cg0)顺序附加在上述标记上(步骤S13b、S14b)。其后，判断上述图像信号的编码处理中的处理对象帧在上述规定的图像中是否是最后的帧(步骤S15b)，如果该处理对象帧不是最后帧，则将上述计数值增加1(步骤S16b)，对于接着帧F(1)，进行上述步骤S13b～S16b中的处理。
在上述步骤S13b～S16b中的处理，直至在步骤S15b中判断为处理对象帧是最后帧之前反复进行。
图4(a)是表示作为进行在上述实施例1中的编码处理的硬件的图像编码装置1000的构成的方框图。
该编码装置1000包括：编码器1110，其对输入的图像信号Sg进行编码，生成图像编码数据Cgn；判断器1131，其根据上述被输入的图像信号Sg，判断帧显示周期是否一定(即，显示周期是固定还是可变)，输出表示显示周期是否一定的显示周期识别符Df；显示周期数据生成器(第1数据生成器)1132，其根据上述被输入的图像信号Sg，生成表示一定的帧显示周期T的显示周期数据Df。
另外，上述图像编码装置1000包括：号码数据生成器(第2数据生成器)1133，其根据上述被输入的图像信号Sg，生成在传送顺序中表示各帧的序号(帧号码B(n))的帧号码数据Bn；显示时刻数据生成器(第3数据生成器)1134，其根据上述被输入的图像信号Sg，生成表示各帧F(n)的显示时刻h(n)的显示时刻数据Dtn。
进而，上述图像编码装置1000包括：开闭开关1141，其根据来自上述判断器1131的显示周期识别符Df，在使来自上述数据生成器1132的显示周期数据Dp导通的导通状态和切断该显示周期数据Dp的切断状态之间切换；选择开关1142，其根据来自上述判断器1131的显示周期识别符Df，选择输出来自上述数据发生器1133的帧号码数据Bn和来自上述数据发生器1134的显示时刻数据Dtn的一方。
上述图像编码装置1000包括使来自上述判断器1131的显示周期识别符Df、来自上述编码器1110的编码数据Cgn、来自上述开闭开关1141的显示周期数据Dp及上述选择开关1142的输出多路复合，生成多重位流M1的多路复合器(MUX)1120，其构成是，将该多重位流M1作为帧显示周期是固定的图像编码信号100a，或者帧显示周期是可变的图像编码信号100b输出。
以下简单地说明上述图像编码装置1000的动作。
首先，如果在上述图像编码装置1000中输入与规定的图像对应的图像信号Sg，则在上述判断器1131中，进行该图像信号Sg的帧显示周期是否可变的判断，并输出表示判断结果的显示周期识别符Df。另外，此时，根据上述图像信号Sg，在第1～第3数据生成器1132～1134中，分别生成上述显示周期数据Dp、帧号码数据Bn以及显示时刻数据Dtn，在上述译码器1110中，上述图像信号Sg被译码后作为图像编码数据Cgn输出。
而后，上述显示周期识别符Df以及图像编码数据Cgn被输出到多路复合器1120。这时，上述显示周期数据Dp通过根据显示周期识别符Df开闭的开关1141被输出到多路复合器1120，帧号码数据Bn以及显示时刻数据Dtn通过根据显示周期识别符Df选择这两个数据中的一个的选择开关1142输出到上述多路复合器1120。
即，当作为图像信号Sg输入了对应上述各帧F(n)的图像显示的周期是固定的图像信号时，在输出上述显示周期固定识别符Df的同时，将表示对应上述各帧的图像显示的周期的显示周期数据Dp和对应上述各帧的、表示帧的前后关系的帧号码数据Bn输出到多路复合器1120。于是，在该多路复合器1120中，上述图像编码数据Cgn、显示周期固定识别符Df、显示周期数据Dp以及帧号码数据Bn被多路复合后作为图像编码信号100a输出。
另一方面，当作为上述图像信号Sg输入了对应上述各帧F(n)的图像显示的周期是可变的图像信号时，在输出上述显示周期可变识别符Df的同时，向上述多路复合器1120输出响应上述各帧对于1个或者多个基准时刻的需要被相对设定的、表示对应各帧进行图像显示的定时(显示时刻)h(n)的显示时刻数据Dtn。于是，在该多路复合器1120中，上述图像编码数据Cgn、显示周期固定识别符Df以及帧显示时刻数据Btn被多路复合后作为图像编码信号100b输出。
以下，用图5说明译码具有本实施例的数据结构的图像编码信号100a、100b的译码处理。
首先，在上述译码处理中，通过检测从编码一侧传送来的多重位流M1(图像编码信号100a或100b)中的显示周期识别符Df，判断该图像编码信号的显示周期是否固定(步骤S21)。其判断结果如果判断为显示周期是固定的，则将在传送顺序上相当于各帧F(n)的顺序号的计数值n置于0(步骤S21a)，其后，从图像编码信号的首标部分H读入表示显示周期T的显示周期数据Dp(步骤S22a)。
接着，从各帧的首标部分读入表示帧号码B(n)的帧号码数据Bn(步骤S23a)，各帧的显示时刻h(n)由算式h(n)＝B(n)×T求得(步骤S24a)。
而后，进行对应帧F(n)的图像编码数据Cgn的译码处理，对应帧F(n)的图像译码数据被设置成在显示时刻h(n)显示的图像数据(步骤S25a)。其后，判断处理对象帧F(n)是否是上述规定的图像传送顺序中的最后的帧(步骤S26a)，如果处理对象帧是上述规定的图像在传送顺序中的最后的帧，则译码处理结束，如果不是最后的帧，则上述计数值n被增加1(步骤S27a)，其后，上述步骤S23a～S26a的处理反复进行，直到在上述步骤S26a中判断为处理对象是最后的帧为止。
另一方面，在上述步骤S21中，如果判断为显示周期是可变的，则在传送顺序上与各帧F(n)的顺序相当的计数值n被置于0(步骤S21b)，其后，从各帧的标记部分读入表示帧F(n)的显示时刻h(n)的显示时刻数据Dtn(步骤S22b)，根据该显示时刻数据Dtn确定帧F(n)的显示时刻h(n)(步骤S23b)。接着，对应帧F(n)进行图像编码数据Cgn的译码处理，经过译码处理的帧F(n)的图像译码数据被设置成在显示时刻h(n)显示的图像数据(步骤S24b)。
其后，判断处理对象帧F(n)是否是上述规定的图像在传送顺序中的最后的帧(步骤S25b)，如果该处理对象帧是最后的帧，则译码处理结束。另一方面，如果上述处理对象帧不是最后的帧，则上述计数值n被加1(步骤S26b)，其后，上述步骤S22b～步骤S26b的处理反复进行，直到在步骤S25b中判断处理对象帧是最后的帧为止。
如上所述，用图5所示的处理顺序，对具有图1(a)、(b)所示的数据结构的图像编码信号进行译码。
图6(a)是展示作为在上述实施例1中进行译码处理的硬件的图像译码装置的构成的方框图。
该图像译码装置2000的构成是，对于从上述图像编码装置1000输出的作为图像编码信号100a或者100b的多重位流M1，进行包含译码处理以及显示处理的再生处理。
即，该图像译码装置2000包括：数据分离器(DEMUX)2110，其从上述多重位流M1中取出并分离图像编码数据Cgn、显示周期识别符Df、显示周期数据Dp以及帧号码数据Bn或者显示时刻数据Dtn；译码器2120，其对上述图像编码数据Cgn进行译码后输出图像译码数据Rg。
另外，上述图像译码装置2000包括：开闭开关2140，其根据上述显示周期识别符Df，在使上述显示周期数据Dp导通的导通状态和切断该显示周期数据Dp的切断状态之间切换；选择开关2150，其根据上述显示周期识别符Df，选择输出上述帧号码数据Bn以及上述显示时刻数据Dtn中的一个。
进而，上述图像译码装置2000包括：根据显示周期识别符Df以及各开关2140、2150的输出在规定的显示定时显示上述图像译码数据Rg的显示装置2130。
以下，简单地说明上述图像译码装置2000的工作情况。
首先，如果在上述图像译码装置2000中输入来自上述图像编码装置1000的多重位流M1，则在数据分离器2110中，从上述多重位流M1中分离显示周期识别符Df以及显示周期数据Dp，进而，对于每一帧从上述多重位流M1中分离出图像编码数据Cgn以及帧号码数据Bn或者显示时间数据Dtn。
而后，各帧的图像编码数据Cgn在译码器2120中被译码后作为图像译码数据Rg输出到显示装置2130。另外，上述显示周期数据Dp，通过依靠显示周期识别符Df开关的开闭开关2140输出到显示装置2130，各帧的帧号码数据Bn或者显示时间数据Dtn通过依靠显示周期识别符Df选择这些数据中的一个数据的选择开关2150输出到上述显示装置2130。
而在上述显示装置2130中，对应于显示周期是固定的图像译码数据Rg的各帧的图像，根据显示周期数据Dp以及帧号码数据Bn在规定的显示时刻显示，另一方面，对应显示周期是可变的图像译码数据Rg的帧的图像，根据显示时刻数据Dtn在规定的显示时刻显示。
这样，在本实施例1的图像信号数据结构中，因为将对图像信号译码可得到的图像编码信号的结构设置成包含表示对应各帧的图像显示处理的周期是否可变的显示周期识别符Df，所以当对于各帧的图像显示的周期是固定的时，就可以用简单的电路结构，也就是不参照在每一帧中信息量(位数)很大的显示时刻数据(显示定时数据)Dtn，而是根据显示周期数据Dp和信息量(位数)少的帧号码数据Bn，就可以进行图像译码数据Rg的显示处理。
另外，在显示周期是固定的图像编码信号100a中，由于包含表示图像显示周期T的显示周期数据Dp和表示帧的前后关系的帧号码Bn的数据(帧位置数据)Bn，因此可以用T×B(n)这样的简单运算确定对应各帧的图像显示的定时。
还有，在显示周期是固定的图像编码信号100b中，由于包含响应各帧对于1个或者多个基准时刻所需要的h’(0)(参照图2)被相对设置的、表示对应于各帧进行图像显示的显示时刻(显示定时)h(n)的显示时刻数据(显示定时数据)Dtn，因此当对应各帧的图像显示的周期是可变的时，可以和常规的数据结构同样地根据显示时刻数据Dtn，确定对应各帧F(n)的图像显示定时h(n)。
还有，在本实施例1的图像编码装置1000中包括根据输入的图像信号生成表示图像的显示周期是否可变的显示周期识别符Df的判断器1131，当输入了显示周期是固定的图像信号时，将上述显示周期识别符Df、表示图像显示的周期是否可变的显示周期数据Dp、表示帧的前后关系的帧号码数据Bn和图像编码数据Cgn多路复合后输出，当图像显示周期是可变的图像信号被输入时，由于将显示周期识别符Df以及表示各帧F(n)的显示时刻h(n)的显示时刻数据Dtn和图像编码数据Cgn多路复合后输出，因此无论对于各帧的图像显示的周期上可变的还是固定的，用于确定各帧的显示定时的数据都和图像编码数据Cgn一同输出。因而，可以削减在帧的显示周期是固定的情况下规定显示时刻所需要的位数，而且，也可以和常规一样地进行帧的显示周期是可变的图像的显示。
进而，在本实施例1的图像译码装置2000中具备：数据分离器2110，其分离被包含在从上述图像编码装置1000传送来的多重位流M1中的、显示周期识别符Df、表示图像显示的周期的显示周期数据Dp、表示帧的前后关系的帧号码数据Bn、表示各帧的显示时刻h(n)的显示时刻数据Dtn以及图像编码数据Cgn；译码器2120，对上述图像编码数据Cgn进行译码后输出图像译码数据Rg，由于根据显示周期数据Dp以及帧号码数据Bn，可在规定的显示定时显示显示周期是固定的图像译码数据Rg，并根据显示时刻数据Dtn可在规定的显示定时显示显示周期是可变的图像译码数据Rg，因此不管帧显示周期是否可变都可以在正确的显示定时显示。
进而，在用上述实施例1说明的图像信号数据结构中，在图像数据(多重位流)的开头插入显示周期识别符Df，在帧数据(各帧的符号列)的开头插入帧号码数据Bn和显示时刻数据Dtn等，但上述显示周期识别符、帧号码数据、显示时刻数据等不是必须插入到对应的标记的开头，如果将显示周期识别符以及显示周期数据插入图像数据(图像编码信号)的首标部分，将帧号码数据、显示时刻数据等插入对应帧的数据(符号列)的首标部分，则也可以插入到同步信号等的后面。
另外，在上述实施例1中，显示周期数据Dp被插入在紧跟着显示周期识别符Df之后，但显示周期数据Dp不是必须和显示周期识别符连续地插入其后显示周期数据也可以插入图像数据的标记部分中显示周期识别符的后面。
进而，在上述实施例1中，在图2中表示显示顺序号的号码n’(＝B(n))是从图像数据的显示顺序的开头开始分配序列号，但也不是必须从开头开始分配系列号，也可以周期性地将从预先规定的开头号码至结尾号码的多个号码作为帧号码分配。
例如，当用4位表示帧号码时，周期性地将从0至15的号码分配给各帧。这种情况下，对于显示时刻，可以用h’(n’)＝hp’(15)+(n’+1)×T表示。在此，hp’(n’)设置成表示在此前的周期中对应帧号码B(n)(＝n’)的显示时刻的数，因而，这种情况下，h’(n’)就表示在hp’(n’)的下个周期中与帧号码B(n)(＝n’)对应的显示时刻。进而，hp’(15)表示在此前的周期中对应最后的帧的显示时刻。
再有，在上述实施例1中，帧的确定由帧号码数据进行，但并不限于此，如果规定帧的前后关系的数据，则也可以使用规定的规则表示帧的前后关系的数据、参照规定的表规定帧的前后关系的数据等。
另外，在上述实施例1中的显示时刻数据是对于多个基准时间表示相对的时刻的数据，例如，基准时刻对于多个帧可以设定1个，还可以以前面的帧的显示时刻作为基准时刻。进而，还可以预先设定1个或者多个基准时刻，根据某个规则或信号，参照某个基准时刻决定是否表示帧的显示时刻。
再有，在上述实施例1中，作为对于在译码一侧的各帧用于确定再生处理的定时的附加数据，展示了包含用于设定各帧的显示定时的显示周期识别符、显示周期数据以及帧号码数据或者显示时刻数据的图像编码信号的数据结构，但图像编码信号的数据结构替代上述各帧的显示定时，也可以是确定各帧的译码处理的定时的附加数据，也就是包含译码周期识别符、译码周期数据，以及帧号码数据或者译码时刻数据的数据，以下将这样的数据结构作为实施例1的变形例进行说明。
(实施例1的变形例)
此实施例1的变形例的数据结构是将在实施例1中的图像编码信号100a中的显示周期识别符Df以及显示周期数据Dp置换为译码周期识别符以及译码周期数据，将在实施例1的图像编码信号100b中的显示时刻数据Dtn置换为译码时刻数据。
在此，上述译码周期识别符是与各帧对应的，表示译码图像编码信号的译码处理的周期是否可变的数据，在译码处理的周期是固定的图像编码信号中，作为译码周期固定识别符被插入；在译码处理的周期是可变的图像译码信号中，作为译码周期可变识别符被插入。
另外，上述译码周期数据是对应各帧表示译码处理的周期DT的数据，上述译码时刻数据是响应各帧对于1个或者多个基准时刻所需要的时刻被相对地设置的、表示对应各帧进行译码处理的定时(译码时刻D(tn))的数据。
还有，生成具有实施例1的变形例的数据结构的图像编码信号的编码处理，可以通过如下那样地置换在图3所示流程图中步骤S11、S11a、S11b、S13a、S13b的处理实现。
即，将步骤S11中的显示周期的判断处理置换为判断译码周期是否固定的处理，将步骤S11a中的附加显示周期固定识别符Df的处理置换为附加上述译码周期固定识别符的处理，将步骤S11b中的附加显示周期可变识别符Df的处理置换为附加上述译码周期可变识别符的处理。进而，将步骤S13a中的附加显示周期数据Dp的处理置换为附加上述译码周期数据的处理，将步骤S13b中的显示时刻数据Dtn的处理置换为附加上述译码时刻数据的处理。
图4(b)展示了作为进行上述实施例1的变形例的编码处理的硬件的图像编码装置1000a的构成。
该图像编码装置1000a具有判断器1131a，其代替上述实施例1中的图像编码装置1000的判断器1131，根据上述被输入的图像信号Sg，判断对应帧的译码处理的周期是否一定(即，译码周期是固定还是可变)，输出表示译码周期DT是否是一定的译码周期识别符DEf。
上述图像编码装置1000a还具备：译码数据生成器(第1数据生成器)1132a，其代替在上述实施例1中的图像编码装置1000中的显示周期数据发生器1132以及显示时刻生成器1134，根据上述被输入的图像信号Sg，生成表示帧的译码处理周期(固定周期)DT的译码周期数据DEp；以及译码时刻数据生成器(第3数据生成器)1134a，其根据上述被输入的图像信号Sg，生成表示各帧的译码时刻的译码时刻数据DEtn。
其它的构成和上述实施例1的图像编码装置1000相同。
在这样构成的图像编码装置1000a中，在多路复合器(MUX)1120中，将来自上述判断器1132的译码周期识别符DEf、来自上述编码器1110的图像编码数据Cgn、来自上述开闭开关1141的译码周期数据DEp以及上述选择开关1142的输出进行多路复合，多重位流M1a被作为译码周期是固定的图像编码信号或者译码周期是可变的图像编码信号输出。
另一方面，对具有实施例1的变形例的数据结构的图像编码信号进行译码的译码处理可以如下述那样通过置换在图5所示的流程图中的步骤S21、S22a、S22b、S23a、S23b、S24a、S24b、S25a的处理实现。
具体地说，将步骤S21中的显示周期的判断处理置换为判断译码周期是否固定的处理，将步骤S22a中的读入表示显示周期T的显示周期数据Dp的处理置换为读入表示显示周期DT的译码周期数据DEp的处理，将步骤S22b中读入表示显示时刻h(n)的显示时刻数据Dtn的处理置换为读入表示上述译码时刻Dh(n)的译码时刻数据DEtn的处理。
另外，将在步骤S23a以及S24a中的读入帧号码数据Bn确定显示时刻h(n)的处理置换为：根据译码周期数据DEp确定与顺序输入的各帧的图像编码数据对应的译码时刻Dh(n)，与此同时，根据上述帧号码数据Bn确定对于各帧的显示时刻h(n)的处理。
将在步骤S23b中的根据显示时刻数据Dtn确定显示时刻h(n)的处理置换为，在根据译码时刻数据DEtn确定译码时刻Dh(n)的同时根据该数据DEtn确定显示时刻h(n)的处理。
进而，将在步骤S25a中的、译码帧F(n)的图像编码数据Cgn后在显示时刻h(n)显示的处理置换为，在译码为译码时刻Dh(n)译码上述帧F(n)的图像编码数据Cgn，并在显示时刻h(n)显示的处理。将在步骤S24b中的、译码帧F(n)的图像编码数据Cgn后在显示时刻h(n)显示的处理置换为，在译码时刻Dh(n)译码上述帧F(n)的图像编码数据Cgn，并在显示时刻h(n)显示的处理。
另外，图6(b)展示了作为进行上述实施例1的变形例的译码处理的硬件的图像译码装置2000a的构成。
该图像译码装置2000a的构成是，对于从上述图像编码装置1000a输出的多重位流M1a，进行包含译码处理以及显示处理的再生处理。
即，该图像译码装置2000a具备有数据分离器(DEMUX)2110a，其代替在上述实施例1中的图像译码装置2000的数据分离器2110，从上述多重位流M1a中取得并输出图像译码数据Cgn、译码周期识别符DEf、译码周期数据DEp、以及帧号码数据Bn或者译码数据数据DEtn。
该图像译码装置2000a还包含：第1开闭开关2140a，其根据上述译码周期识别符DEf，在使译码周期数据DEp导通的导通状态和切断该译码周期数据DEp的切断状态之间转换；第开闭开关2150a，其根据上述译码周期识别符DEf，在导通上述帧号码数据Bn的导通状态和切断帧号码数据Bn的切断状态之间转换；第3开闭开关2160a，其根据上述译码周期识别符DEf，在导通上述译码时刻数DEtn的状态和切断该译码时刻数DEtn的切断状态之间转换。
而后，在该图像译码装置2000a中，将作为第1开闭开关2140a的输出的译码周期数据DEp，以及作为第3开闭开关2160a的输出的译码时刻数据DEtn提供给译码器2120a以及显示装置2130a，将作为上述第2开闭开关2150a的输出的帧号码数据Bn只提供给显示装置2130a。
而后，译码器2120a中的构成是，在根据上述译码周期数据DEp确定的定时(译码时刻Dh(n))将译码周期是固定的图像编码数据Cgn在每一帧中进行译码，另一方面，在根据上述译码周期数据DEp确定的定时(译码时刻Dh(n))将译码周期是可变的图像编码数据Cgn在每一个帧中进行译码。
进而，上述显示装置2130a中的构成是，在根据上述译码周期数据DEp和帧号码数据Bn确定的定时(显示时刻h(n))，将译码周期是固定的图像译码数据Rg对于每一帧进行显示，另一方面，在根据上述译码时刻数据DEtn确定的定时(显示时刻h(n))，将译码周期是可变的图像译码数据Rg对于每一帧进行显示。
其它的构成和上述实施例1的图像译码装置2000相同。
以下，简单地说明在上述实施例1的变形例中的图像译码装置2000a的动作。
在这样构成的图像译码装置2000a中，如果输入上述多重位流M1a，则在数据分离器2110a中，分离图像编码数据Cgn、译码周期识别符DEf、译码周期数据DEp以及帧号码数据Bn或者译码时间数据DEtn。
而后，在译码器2120a中，当被输入的图像译码信号的译码周期是固定的时，图像编码数据Cgn在根据上述译码周期数据DEp确定的定时(译码时刻Dh(n))在每一帧中被译码，从该译码器2120a输出的图像译码数据Rg，在根据上述译码周期数据DEp和帧号码数据Bn确定的定时(显示时刻h(n))在每一帧中被译码。
另一方面，当被输入的图像译码信号的译码周期是可变的时，图像编码数据Cgn在根据上述译码时刻数据DEtn确定的定时(译码时刻Dh(n))在每一帧中被译码，从该译码器2120a输出的图像译码数据Rg在根据上述译码时刻数据DEtn确定的定时(显示时刻h(n))在每一帧中被显示。
在这样的实施例1的变形例中，由于其构成和上述实施例1一样，是将编码图像信号得到的图像编码信号设置成包含表示对应各帧的图像译码处理的周期是否可变的译码周期识别符DEf，因此具有这样的效果，即，当对于各帧的图像译码处理的周期是固定的情况下，可以用简单的电路结构，也就是可以不参照在每一个帧中信息量(位数)很大的译码时刻数据DEtn，而只根据译码周期数据DEp进行图像编码数据的译码处理。
进而，在上述实施例1的变形例的图像译码装置中，展示了根据对于被包含在图像编码信号中的各帧来说用于确定译码处理的的定时的数据，在进行各帧的译码处理的同时，进行各帧的图像显示的情况，但上述图像译码装置，也可以根据对于被包含在图像编码信号中的各帧来说用于确定显示处理的定时的数据，在进行各帧的显示处理的同时，进行各帧的译码处理。
这种情况下，对应上述各帧进行译码处理的译码定时，根据包含成为译码处理的对象的对象帧的多个帧的显示定时数据设定。即，根据该对象帧的显示定时数据以及接着传送来的下一个帧的显示定时，将上述对象帧的译码定时设定为比该两个帧中早的一方的显示定时只提早规定的偏差时间的定时。
具体地说，成为译码处理对象的对象帧的显示定时在比该对象帧之后传送来的下一个帧的显示定时早时，将上述偏移设定为大于针对对象帧的译码处理所需要的时间。另一方面，当与成为译码处理对象的对象帧(例如P-VOP)的显示定时相比，接着该对象帧传送来的下一个帧(例如B-VOP)的显示定时的一方早时，将上述偏差时间设定为大于针对对象帧的译码处理所需要的时间和针对下一个帧的译码处理所需要的时间之和。
实施例2
图7(a)展示了在本发明的实施例2中的、帧显示周期是一定的图像编码信号120a的数据结构。
上述图像编码信号120a是对应1个图像(在MPEG4中与1个目标对应的图像)的、编码帧显示周期是固定的图像信号得到的信号，其结构是接着开头的首标H按照传送顺序排列对应的各帧F(0)、F(1)、F(2)、...、F(n)的符号列Sc0、Sc1、Sc2、...、Scn。在该图像编码信号120a中，在首标H内插入表示帧显示周期是否固定的显示周期识别符Df、用乘数M(自然数)表示帧显示周期是微小单位时间(1/N)M倍的显示周期乘数数据Dm以及表示用于求上述微小单位时间(1/N)的值N(自然数)的微小单位时间数据Dk；在各帧的符号列Sc0、Sc1、Sc2、...、Scn的前头插入表示该帧的显示时刻y’0、y’3、y’1、...、y’n’(参照图17(a))的显示时刻数据Dy0、Dy1、Dy2、...、Dyn。再有，在上述图像编码信号120a的首标H内，排列微小单位时间数据Dk、显示周期识别符Df以及显示周期乘数数据Dm，使其按照该顺序传送。
另外，在各帧的符号列Sc0、Sc1、Sc2、...、Scn上，紧接着上述显示时刻数据Dy0、Dy1、Dy2、...、Dyn插入有图像编码数据Cg0、Cg1、Cg2、...、Cgn。
在该图像编码信号120a中，如果将基准时刻设置为x(参照图17(a))，则对应于VOP0、VOP3、VOP1、...的各帧F(0)、F(1)、F(2)、...的显示时刻h(0)、h(1)、h(2)、...，可以根据显示时刻数据Dy0、Dy1、Dy2，作为x+y/N(y＝y’0、y’3、y’1、...)求得。
可是，在该图像编码信号120a中，由于包含微小单位时间数据Dk和显示周期乘数数据Dm，因此即使不使用上述显示时刻数据Dy0、Dy1、Dy2...，也可以从由微小单位时间数据Dk中得到的微小单位时间(1/N)和由显示周期乘数数据D m中得到M(自然数)的值中求帧的显示周期T(＝M×1/N)，可以在由基准时刻x确定的原本各帧F(n)的显示时刻h(n)(＝x+y×M×1/N)显示各帧的图像。
图7(b)展示了在本发明的实施例2中的、帧显示周期是可变的图像编码信号120b的数据结构。
该图像编码信号120b的数据结构是，在上述图像编码信号120a中去除标记部分H的显示周期乘数数据Dm。
以下，说明生成上述那样的图像编码信号120a或者120b的图像信号的编码处理及其译码处理。
图8是展示上述编码处理的流程图。
首先，在上述编码处理中，在与被输入的规定的图像对应的图像信号的位流的标记部分上附加上上述微小单位时间数据Dk(步骤S30)，进而，判断与该规定的图像对应的图像信号的显示周期是否固定(步骤S31)。当其判断结果为显示周期是固定的情况下，表示上述图像信号的显示周期是固定的显示周期固定识别符Df被附加在上述位流的标记上，使其接着上述微小单位时间数据Dk(步骤S32)，进而将上述显示周期乘数数据Dm附加在上述标记上，使其紧接着上述显示周期固定识别符Df(步骤S33)。
其后，与表示构成上述规定的图像的各帧F(n)的传送顺序的号码n相当的计数值n被置于n＝0(步骤S35)。
接着，作为在上述传送顺序中与最初的帧F(0)对应的符号列，顺序在上述标记H上附加上对应的帧的显示时刻数据Dyn(＝Dy0)和图像编码数据Dgn(＝Cg0)(步骤S36、S37)。其后，判断在上述图像信号中的处理对象帧是否是上述传送顺序上的最后的帧(步骤S38)，如果处理对象帧不是最后的帧，则与上述传送顺序是n号的帧F(n)(＝F(0))对应的计数值n被加1(步骤S39)，对于接着的帧F(n+1)(＝F(1))，进行在上述步骤S36～S39中的处理。
在上述步骤S36～S39中的处理，在步骤S38中判断为处理对象帧是最后帧之前反复进行。由此生成上述图像编码信号120a。
另一方面，在上述步骤S31中的判断结果为显示周期是可变的时，将表示上述图像信号的显示周期时可变的显示周期可变识别符Df附加在对应上述图像信号的位流的标记上，使其紧接着上述微小单位时间数据Dk(步骤S34)。其后，进行上述步骤S35～S39的处理，生成上述图像编码信号120b。
图9(a)是展示作为进行上述实施例2的编码处理的硬件的图像编码装置1200的构成的方框图。
上述实施例2的图像编码装置1200，和上述实施例1的图像编码装置1000一样，包含有：编码器1110，其对输入的图像信号Sg进行编码生成编码数据Cgn；判断器1131，其根据上述被输入的图像信号Sg，判断帧的显示周期是否一定(即，显示周期是固定的还是可变的)，而后输出表示显示周期是否一定的显示周期识别符Df。
上述图像处理装置1200还包含：微小单位时间数据生成器(第1数据生成器)1232，其根据上述被输入的图像信号Sg，生成微小单位时间数据Dk；显示周期乘数数据生成器(第2数据生成器)1233，其根据上述被输入的图像信号Sg，生成表示用于以微小单位时间为单位表现帧显示周期的数值M的显示周期乘数数据Dm；显示时刻数据生成器(第3数据生成器)1234，其根据上述被输入的图像信号Sg生成表示各帧的显示时刻h(n)的显示时刻数据(显示定时数据)Dyn。
进而，上述图像处理装置1200还包含：开闭开关1241，其根据来自上述判断器1131的显示周期识别符Df，在使上述显示周期乘数数据Dm导通的导通状态和切断该显示周期乘数数据Dm的切断状态之间切换。
上述图像处理装置1200包含：多路复合器(MUX)1220，它将来自上述第1数据生成器1232的微小单位时间数据Dk、来自上述判断器1131的显示周期识别符Df、来自上述开闭开关1241的显示周期乘数数据Dm、来自第3数据生成器1234的显示时刻数据Dyn以及来自上述编码器1110的图像编码数据Cgn进行多路复合，生成多重位流M2，其构成是，将该多重位流M2作为上述图像编码信号120a或者图像编码信号120b输出。
以下简单地说明上述图像编码装置1200的工作情况。
首先，如果向上述图像编码装置1200输入与规定的图像对应的图像信号Sg，则在上述判断器1131中进行该图像信号Sg的显示周期是否是可变的判断，并输出表示判断结果的显示周期识别符Df。这时，根据上述图像信号Sg，在第1～第3数据生成1232～1234中分别生成上述微小单位时间数据Dk、显示周期乘数数据Dm以及显示时刻数据Dyn；在上述编码器1110中，上述图像信号Sg被编码后作为图像编码数据Cgn输出。
这时，上述微小单位时间数据Dk、显示周期识别符Df、显示时刻数据Dyn以及图像编码数据Cgn直接被输出到多路复合器1220，上述显示周期乘数数据Dm通过依靠显示周期识别符Df变为导通状态的开闭开关1241输出到多路复合器1220。
即，当作为图像信号输入了对应上述各帧的图像显示的周期是固定的图像信号时，上述微小单位时间数据Dk、显示周期识别符Df、显示周期乘数数据Dm以及对应各帧的显示时刻数据Dtn和图像编码数据Cgn被输出到上述多路复合器1220。于是，在该多路复合器1220中，上述微小单位时间数据Dk、显示周期识别符Df、显示周期乘数数据Dm、图像编码数据Cgn以及显示时刻数据Dyn被多路复合，作为多路复合位流M2输出图像编码信号120a。
另一方面，当对应上述各帧的图像显示的周期是可变的图像信号被作为上述图像信号输入时，上述开闭开关1241在显示周期识别符Df的作用下变为切断状态，将上述各帧的显示时刻数据Dyn以及图像编码数据Cgn和上述微小单位时间数据Dk以及显示周期识别符Df一同输出到上述多路复合器1220。于是在该多路复合器1220中，和上述微小单位时间数据Dk以及显示周期识别符Df一同，多路复合各帧的显示时刻数据Dyn以及图像编码数据Cgn作为多重位流M2输出图像编码信号120b。
以下，用图10说明译码具有实施例2的图像信号数据结构的图像编码信号的译码处理。
图10是展示在上述实施例2中的译码处理的流程图。
首先，在译码处理中，读入从编码一侧传送来的多路复合位流M2(图像编码信号120a或者120b)中的微小单位时间数据Dk(步骤S40)，进而，通过显示周期识别符Df的检测，判断图像编码信号的显示周期是否是固定的(步骤S41)。该判断结果如果判断为显示周期是固定的，则从图像编码信号的标记H中，读入用该乘数M(自然数)表示显示周期T是微小单位时间(1/N)的M倍的显示周期乘数数据Dm(步骤S42a)，接着，根据上述被读入的微小单位时间数据Dk以及显示周期乘数数据Dm，通过演算T＝(1/N)×M求帧显示周期T(步骤S43a)。其后，在显示顺序上表示各帧F’(n’)的、与从开头帧开始的序号n’相当的计数值n’被置0(步骤S44a)，各帧F’(n’)的显示时刻h’(n’)由算式h’(n‘)＝n’×T求出(步骤S45a)。这时，进行在传送顺序上与各帧F(n)对应的图像编码数据Cgn的译码处理，生成对应帧F(n)的图像译码数据Rg。
其后，判断在显示顺序上所计数的显示顺序上的处理对象帧F’(n’)是否是上述规定的图像中的最后的帧(步骤S46a)，如果处理对象帧是最后的帧，则译码处理结束，如果不是最后的帧，则上述计数器值n’增加1(步骤S47a)，上述步骤S45a～47a的处理反复进行，直至在上述步骤S46a中至判断为处理对象帧是最后帧为止。
进而，在上述译码处理中，与上述被译码后的各帧F’(n’)对应的图像译码数据Rg以规定的显示顺序n’在对应的显示时刻h’(n‘)上显示。
另一方面，在上述步骤S41中，如果判断为显示周期是是可变的，则在传送顺序上相当于各帧F(n)的顺序号n的计数值n被置于0(步骤S42b)。接着，从各帧F(n)的标记部分H中读入表示该帧F(n)的显示时刻数据h(n)的显示时刻数据Dyn(步骤S43b)，进而根据该显示时刻数据Dyn求各帧F(n)的显示时刻h(n)(步骤S44b)。这时，在传送顺序上对应各帧F(n)进行图像编码数据Cgn的译码处理。
其后，判断在传送顺序上被计数的处理对象帧F(n)是否是在上述规定的图像中的最后的帧(步骤S44b)，如果该处理对象帧是最后的帧，则译码处理结束。另一方面，如果上述处理对象帧不是最后的帧，则在该译码处理中的计数值n被加1(步骤S46b)，其后，上述步骤S42b～步骤S46b的处理反复执行，直到在步骤S45b中判断为处理对象帧是最后的帧为止。
进而，在上述译码处理中，对应于被译码后的各帧F(n)的图像译码数据Rg以规定的显示顺序n’在对应该各帧F(n)的显示时刻h(n)显示。
图11(a)是表示作为进行上述实施例2的译码处理的硬件的图像译码装置的构成的方框图。
该图像译码装置2200的构成是，对从上述图像编码装置2000输出的作为图像编码信号120a或者120b的多重位流M2进行译码并再生。
即，该图像译码装置2200包含有：数据分离器(DEMUX)2210，其从上述多重位流M2取得微小单时间位数据Dk、显示周期识别符Df、显示周期乘数数据Dm、显示时刻数据Dyn以及图像编码数据Cgn；译码器2220，其对上述图像编码数据Cgn译码后输出图像译码数据Rg。
上述图像译码装置2200还具有：第1开闭开关2240，其根据上述显示周期识别符Df，在使上述显示周期乘数数据Dm导通的导通状态和切断该数据Dm的切断状态之间转换；第2开闭开关2250，其根据上述显示周期识别符Df，在使上述显示时刻数据Dyn导通的导通状态和切断该数据Dyn的切断状态之间转换。
进而，上述图像译码装置2200还具有：显示装置2230，其和上述微小单位时间数据Dk以及图像编码数据Rg的同时，通过各开关2240以及2250接收显示周期乘数数据Dm以及显示时刻Dty，根据这些数据在规定的显示定时显示图像。
以下简单地说明上述图像译码装置2200的动作。
首先，在上述图像译码装置2200中，如果输入来自上述图像编码装置1200的多重位流M2，则在数据分离器2210中，从上述多重位流M2中分离微小单位时间数据Dk、显示周期识别符Df以及显示周期乘数数据Dm，进而对于每一帧从上述多重位流M2中分离显示时刻数据Dyn以及图像编码数据Cgn。
而后，各帧的图像编码数据Cgn在译码器2220中被译码，并作为图像译码数据Rg输出到显示装置2230。这时，上述微小单位时间数据Dk被直接输出到上述显示装置2230，上述显示周期乘数数据Dm通过由显示周期识别符Df开闭的第1开闭开关2240输出到显示装置2230，各帧的显示时刻数据Dyn通过由显示周期识别符Df开闭的第2开闭开关2250输出到上述显示装置2230。在此，当上述多重位流M2是显示周期为固定的图像编码信号120a时，上述第1、第2开闭开关2240、2250变为导通状态，当上述多重位流M2是显示周期为可变的图像编码信号120b时，上述第1、第2开闭开关2240、2250变为断开状态。
由此，在上述显示装置2230中，与显示周期是固定的图像译码数据Rg对应的各帧的图像根据微小单位时间数据Dk以及显示周期乘数数据Dm在规定的显示定时显示。这种情况下，各帧的显示定时为由算式T×n’(T＝(1/N)×M)确定的显示时刻h’(n’)。另一方面，与显示周期是可变的图像译码数据Rg对应的帧图像，根据显示时刻数据Dty在规定的显示定时显示。这种情况下，规定的显示时刻为由显示时刻数据Dty确定的显示时刻h(n)。
这样，在本实施例2中，由于将图像编码信号的结构设置成，除了表示对应于各帧的显示周期是否可变的显示周期识别符Df外，还包含用自然数N表示N等分规定的时间间隔得到的微小单位时间(1/N)的大小的微小单位时间数据Dk和由显示周期相当于微小单位时间(1/N)的几倍(M)来表示上述固定帧显示周期T的显示周期乘数数据Dm，因此可以在进行各帧的译码处理之前预先检测帧速率是固定的图像编码信号的帧速率的值(大小)，具有可以将用于实现显示处理的各种硬件结构做得简单的效果。
进而，在上述实施例2中，作为对于在译码一侧的各帧来说用于确定再生处理的定时的附加数据，展示了包含用于设定各帧的显示定时的微小单位时间数据Dn、显示周期识别符Df、显示周期乘数数据Dm以及显示时刻数据Dyn的图像编码信号的数据结构，但图像编码信号的数据结构也可以包含确定各帧的译码处理的定时的附加数据(也就是微小单位时间数据、译码周期识别符、译码周期乘数数据以及译码时刻数据)，来可以代替上述各帧的显示定时。以下，将这样的数据结构作为实施例2的变形例加以说明。
实施例2的变形例
此实施例2的变形例的数据结构是，将实施例2的图像编码信号120a中的显示周期识别符Df以及显示周期乘数数据Dp置换为译码周期识别符DEf以及译码周期乘数数据DEp；将实施例2的图像编码信号120b中的显示时刻数据Dyn置换为译码时刻数据DEyn。
在此，上述译码周期识别符DEf是与各帧对应的、表示译码图像编码信号的译码处理的周期是否可变的数据，在译码处理的周期DT是固定的图像编码信号中，被作为译码周期固定识别符插入，在译码处理的周期DT是可变的图像编码信号中，被作为译码周期可变识别符插入。
另外，上述译码周期乘数数据DEm是用上述微小单位时间(1/N)的乘数值M也就是该周期相当于微小单位时间的几倍(M)来表示与各帧对应的译码处理的周期DT的数据，上述译码时刻数据DEyn是表示对应各帧进行译码处理的定时的数据。
还有，生成具有实施例2的变形例的数据结构的图像编码信号的编码处理可以通过如下那样地置换图8所示流程中的步骤S31、S32、S33、S34、S36的处理实现。
即，将步骤S31中的显示周期的判断处理置换为判断译码周期是否可变的处理，将步骤S32、S34中的附加显示周期固定识别符Df、显示周期可变识别符Df的处理分别置换为附加译码周期固定识别符DEf、译码周期可变识别符DEf的处理。进而，将步骤S33中的附加显示周期乘数数据Dm的处理置换为附加上述译码周期乘数数据DEm的处理，将步骤S36中的附加显示时刻数据Dyn的处理置换为附加上述译码时刻数据DEyn的处理。
另外，图9(b)展示了作为进行上述实施例2的变形例的译码处理的硬件的图像编码装置1200a的结构。
在该图像编码装置1200a中，代替上述实施例2中的图像编码装置1200的判断器1131具备有判断器1131a，该判断器1131a根据上述被输入的图像信号Sg，判断对应帧的译码处理的周期是否一定(也就是译码周期是固定还是可变)，输出表示译码周期是否是一定的译码周期识别符DEf。
另外，上述图像编码装置1200a，代替上述实施例2的图像编码装置1200中的显示周期乘数数据生成器1233和显示时刻数据生成器1234，分别具备有：译码周期乘数数据生成器(第2数据生成器)1233a，其根据上述被输入的图像信号Sg，生成将帧的译码处理的周期作为表示其相当于上述微小单位时间(1/N)的几倍的乘数值M的译码周期乘数数据DEm；译码时刻数据生成器(第3数据生成器)1234a，其根据上述被输入的图像信号Sg，生成表示各帧F(n)的译码时刻Dh(n)的译码时刻数据DEyn。
另外，在该图像编码装置1200a中，其多重器1220a的构成是，将上述微小单位时间数据Dk、译码周期乘数数据DEm以及译码时刻数据DEty和各帧F(n)的图像编码数据Cng多路复合，将作译码处理的周期是固定的图像编码信号或者译码周期是可变的图像编码信号作为多重位流M2a输出。
其它的构成和上述实施例2的图像编码装置1200相同。
以下，简单地说明本实施例2的变形例中的图像编码装置1200a的工作情况。
在这样构成的图像编码装置1200a中，如果有图像信号Sg输入时，则在上述判断器1131a中，进行该图像信号Sg的译码周期是否可变的判断，并输出表示判断结果的译码周期识别符DEf，另外，在第1数据生成器1232a中生成上述微小单位时间数据Dk，在第2、第3数据生成器1233a、1234a中生成译码周期乘数数据DEm、译码时刻数据DEyn，在上述译码器1110中对上述图像信号Sg译码后作为图像编码数据Cgn输出。
而后，在多路复合器(MUX)1220a中，输入来自上述判断器1231的译码周期识别符DEf、来自上述编码器1110的编码数据Cgn、以及来自第1和第3数据生成器1232、1234a的数据Dk、DEyn，与此同时，通过开闭开关1241a输入来自第2数据生成器1233a的译码周期乘数数据DEm。于是，从该多路复合器1220a中，将这些数据多路复合后的译码周期是固定的图像编码信号或者译码周期是可变的图像编码信号作为上述多重位流M2a输出。
另一方面，对具有实施例2的变形例的数据结构的图像编码信号进行译码的译码处理可以通过如以下那样置换图10所示流程中的规定的步骤S41、S42a、S43b、S44a、S44b、S45a、S47a的处理实现。
具体地说，将步骤S41中的显示周期的判断处理置换为判断译码周期是否固定的处理，将步骤S42a中的读入显示周期乘数数据Dm的处理置换为读入上述译码周期乘数数据DEm的处理，将步骤S43b中的读入表示显示时刻h(n)的数据Dyn的处理置换为读入表示上述译码时刻Dh(n)的数据DEyn的处理。
另外，将根据步骤S44b中的数据Dyn求显示时刻h(n)的处理置换为根据数据DEyn求译码时刻Dh(n)的处理，将在步骤S44a中的，与被计数在显示顺序上的各帧F’(n’)的从开头帧开始的顺序号n’相当的计数值n’被置0的处理置换为与被计数在显示顺序上的各帧F(n)的从开头帧开始的顺序号n相当的计数值n被置0的处理。
进而，将在步骤S45a中的通过算式h’(n’)＝n’×T求各帧F’(n’)的显示时刻h’(n’)的处理置换为用译码周期DT和表示该帧的传送位置的号码n通过Dh(n)＝n×DT求各帧F(n)的译码时刻D(h)的处理，将在步骤S47a中的增加计数值n’的处理置换为增加计数值n的处理。
另外，图11(b)表示了作为进行上述实施例2的变形例的译码处理的硬件的图像译码装置2200a的构成。
该图像译码装置2200a的构成变为，对于从上述图像编码装置1200a输出的多重位流M2a进行包含译码处理以及显示处理的再生处理。
即，该图像译码装置2200a，代替上述实施例2中的图像译码装置2200的数据分离器2210，具备：数据分离器(DEMUX)2210a，其从上述多重位流M2a中取得并输出微小单位时间数据Dk、译码周期识别符DEf、译码周期乘数识别符DEm、译码时刻数据DEyn以及图像编码数据Cgn。
另外，该图像译码装置2200a，代替上述实施例2中的图像译码装置2200中的第1、第2开闭开关2240、2250，具备有：第1开闭开关2240a，其根据译码周期识别符DEg控制译码周期乘数数据DEm的导通、非导通；和第2开闭开关2250a，其根据译码周期识别符DEg控制译码时刻数据DEyn的导通、非导通。
而后，在该图像译码装置2200a中，将来自数据分离器2210a的微小单位时间数据Df、作为第1和第2开关2240a和2250a的输出的译码周期乘数数据Dem和译码时刻数据DEyn，提供给译码器2220a以及显示装置2230a。
译码器2220a的构成变为，在根据上述微小单位时间数据Dk以及译码周期乘数数据DEm确定的定时(译码时刻Dh(n)＝DT×n)，将译码周期是固定的各帧F(n)的图像编码数据Cgn在每一帧中译码，在根据上述译码数据DEyn确定的定时(译码时刻Dh(n))，将译码周期是可变的各帧F(n)的图像编码数据Cgn在每一帧中译码。
另外，上述显示装置2230a的构成变为，在根据上述微小单位时间数据Dk以及译码周期乘数数据DEm确定的定时(显示时刻h(n))显示译码周期是固定的各帧F(n)的图像译码数据Rg，在根据上述译码时刻数据DEyn确定的定时(显示时刻h(n))显示译码周期是可变的各帧F(n)的图像译码数据Rg。
其它的构成和上述实施例2的图像译码装置2200相同。
以下，简单地说明上述实施例2中的图像译码装置2200a的工作情况。
在这样构成的图像译码装置2200a中，如果输入上述多重位流M2a，则在数据分离器2210a中，分离微小单位时间数据Dk、译码周期乘数数据DEm、译码周期识别符DEf、译码时刻数据DEyn以及图像编码数据Cgn。
而后，在上述译码器2220a中，当被输入的图像编码信号的译码周期是固定的时，在根据上述微小单位时间数据Dk以及译码周期乘数数据DEm确定的定时，将图像编码数据Cgn在每一帧中译码，当被输入的图像译码信号的译码周期是可变的时，图像编码数据Cgn，在根据上述译码时刻数据DEyn确定的定时(译码时刻Dh(n))，在每一帧中译码。在此，译码周期是固定的图像编码信号的译码时刻由表示传送顺序的号码n和译码周期DT＝(1/N×M)的积确定，译码周期是可变的图像编码信号的译码时刻由译码周期数据DEyn确定。
进而，在上述显示装置2230a中，与译码周期是固定的图像译码数据Rg对应的各帧F(n)的图像根据微小单位时间数据Dk以及译码周期乘数数据DEm在规定的显示定时显示，另一方面，与译码周期是可变的图像译码数据Rg对应的各帧F(n)的图像根据译码时刻数据DEtk在规定的显示定时显示。
在这样的实施例2的变形例中，因为和上述实施例2一样将编码图像信号得到的图像编码数据Cgn，设置成包含对应各帧表示图像译码处理的周期是否可变的译码周期识别符DEf、表示固定的译码周期的微小单位时间数据Dk及译码周期乘数数据DEm、表示译码时刻的译码时刻数据DEyn，所以，当对于各帧的图像译码处理的周期是固定的时，可以用简单的电路结构，也就是不参照在每一帧中信息量(位数)众多的译码时刻数据DEyn，而只根据对应1个图像的微小单位时间数据Dk以及信息量(位数)少的译码周期乘数数据DEm，可以简单地进行图像编码信号的译码处理。
另外，当对于各帧的图像译码处理的周期是可变的时，和以往一样，具有对每一帧参照译码时刻数据Deyn进行图像编码信号的译码处理的效果。
进而，在上述实施例2的变形例的图像译码装置2200a中，展示了根据被包含在图像编码信号中的对于各帧来说用于确定译码处理的定时的数据，在进行各帧的译码处理的同时，进行各帧的图像显示的情况。但此图像译码装置还可以根据被包含在图像编码信号中的对于各帧来说用于确定显示处理的定时的数据，在进行各帧的显示处理同时，进行各帧的译码处理。
这种情况下，对应上述各帧进行译码处理的译码定时根据包含成为译码处理对象的对象帧的多个帧显示定时数据设定。也就是，根据该对象帧的显示定时数据以及其后传送来的下一个帧的显示定时数据，将上述对象帧的译码定时设定为只比这两个帧中的早的一方的显示定时早规定的偏差时间的定时。
具体地说，当成为译码处理的对象的对象帧的显示定时，比接着该对象帧的数据传送来的下一个帧的显示定时早时，将上述偏差时间设定为：大于针对对象帧进行的译码处理所需要的时间。另一方面，当与成为处理对象的对象帧(例如P-VOP)的显示定时相比，紧接着该对象帧的数据传送来的下一个帧(例如B-VOP)的显示定时早时，将上述偏差时间设定为：大于针对对象帧进行译码处理所需要的时间和针对下一个帧进行译码处理所需要的时间的和。
进而，通过在软盘等的数据存储载体上存储编码处理程序或者译码处理程序，而这些程序是为了通过软件完成在上述各实施例及其变形例所示的图像编码处理装置或者图像译码处理装置中的图像处理用的，由此就可以在独立的计算机中简单地实现在上述各实施例中所示的处理。
图12是示出了使用存储有上述编码处理程序或者译码处理程序的软盘通过计算机实施上述各实施例及其变形例的编码处理或者译码处理的示意图。
图12(a)展示了从软盘的正面看的外观、断面构造以及软盘主体，图12(b)是展示该软盘主体的物理样式的例子。
上述软盘FD为将上述软盘主体D装在软盘壳FC内的结构，在该软盘主体D的表面上，多条磁道Tr形成从外周向内周的同心圆，各磁道Tr在圆心角方向上被分成16个扇区Se。因而，在存储有上述程序的软盘FD中，上述软盘主体D其上被分配的区域(扇区)Se上存储有作为上述程序的数据。
另外，图12(c)展示了对软盘FD存储上述程序以及使用存储在软盘FD上的程序完成由软件进行的图像处理的构成。
当在软盘FD上存储上述程序时，从计算机系统Cs将作为上述程序的数据，通过软盘驱动器FDD写入软盘FD中。另外，当用存储在软盘FD中的程序，在计算机系统Cs中构筑上述图像编码装置或者图像译码装置时，用软盘驱动器FDD从软盘FD中读出程序，加载于计算机系统Cs中。
进而，在上述说明中，对使用软盘作为数据存储载体进行了说明，但在使用光盘时也可以和使用上述软盘一样完成由软件进行的编码处理或者译码处理。另外，数据存储载体不仅限于上述光盘和软盘，IC卡、ROM盒等可以存储程序的载体都可以使用，在使用这些数据存储载体的情况下，也和使用上述软盘等的情况一样，可以由软件实施编码处理或者译码处理。
进而，通过将存储在软盘等的数据存储载体上的图像编码信号，设置成本实施例1、2或者这些变形例的图像信号数据，就可以在译码来自上述软盘的图像编码信号进行图像显示时，当帧显示周期或者译码处理的周期是固定的情况下，用简单的电路结构进行包含图像编码信号的译码处理以及显示处理的再生处理。
如上所述，如果采用本发明(方案1)的图像信号数据结构，则因为包含表示对应图像的各帧的图像再生处理的周期是否可变的再生周期识别符，所以在对于各帧的再生处理的周期是固定的情况下，可以用简单的电路结构进行被称为图像编码信号的译码处理和显示处理的图像信号的再生处理。
如果采用本发明(方案2)，则在本发明的方案1所述的图像信号数据结构中，因为，将上述再生周期识别符设置成，表示对应上述各帧的图像显示的周期是否可变的显示周期识别符，所以，当对于各帧的图像显示的周期是固定的情况下，可以用简单的电路结构，进行用图像编码信号的译码得到的译码数据的显示处理。
如果采用本发明(方案3)，则在本发明的方案2所述的图像信号数据结构中，因为，作为上述显示周期识别符，在包含表示对应上述各帧的图像显示的周期是固定的的显示周期固定识别符的同时，加上该显示周期固定识别符，包含表示对应上述各帧的图像显示的周期的显示周期数据，和与上述各帧对应的，表示帧的前后关系的帧位置数据，所以，当对应各帧的图像显示的周期是固定的情况下，可以根据显示周期数据和帧位置数据确定对应帧的图像显示的定时。
如果采用本发明(方案4)，则在本发明的方案2所述的图像信号数据结构中，因为，作为上述显示周期识别符，在包含表示对应上述各帧的图像显示的周期是可变的的显示周期可变识别符的同时，加上该显示周期可变识别符，包含响应各帧对于1个或者多个基准时刻所需要的时刻被相对地设定的，表示对应各帧进行图像显示的定时的显示定时数据，所以，当对应各帧的图像显示的周期是可变的情况下，可以根据显示定时数据确定对应帧的图像显示的定时。
如果采用本发明(方案5)，则在本发明的方案1所述的图像信号数据结构中，因为，将上述再生周期识别符设定为，与上述各帧对应的，表示译码经编码后的图像信号的译码处理的周期是否可变的译码周期识别符，所以，当对于各帧的译码处理的周期是固定的情况下，可以用简单的电路结构进行图像编码信号的译码处理。
如果采用本发明(方案6)，则在本发明的方案5所述的图像信号数据结构中，因为，作为上述译码周期识别符，在包含表示对应上述各帧的译码处理的周期是固定的的译码周期固定识别符的同时，加上该译码周期固定识别符，包含表示对应上述各帧的译码处理的周期的译码周期数据，和与上述各帧对应的，表示帧的前后关系的帧位置数据，所以，当对应各帧的译码处理的周期是固定的情况下，可以根据译码周期数据和帧位置数据确定对应帧的译码处理的定时。
如果采用本发明(方案7)，则在本发明的方案5所述的图像信号数据结构中，因为，作为上述译码周期识别符，在包含表示对应上述各帧的译码处理的周期是可变的的译码周期可变识别符的同时，加上该译码周期可变识别符，包含响应各帧对于1个或者多个基准时刻所需要的时刻被相对地设定的，表示对应各帧进行译码处理的定时的译码定时数据，所以，当对应各帧的译码处理的周期是可变的情况下，可以根据译码定时数据确定对应帧的译码处理的定时。
如果采用本发明(方案8)，则因为，当作为图像信号输入了对应各帧的图像再生处理的周期是固定的图像信号时，与再生周期识别符同时输出表示对应各帧的图像再生处理的周期的再生周期数据，和对应各帧的，表示帧的前后关系的帧位置数据；作为上述图像信号，当输入了对应各帧的图像再生处理的周期是可变的图像信号时，和再生周期识别符同时输出响应各帧对于1个或者多个基准时刻所需要的时刻被相对地设定的，表示对应各帧进行图像再生处理的定时再生定时数据，所以，可以附加并编码对应各帧的图像再生处理的周期是可变的图像信号，和帧的图像再生处理的周期是固定的图像信号的数据，使其与各自的图像信号相应地表示各帧的再生定时。因此当帧的再生处理周期是固定的情况下，可以削减规定再生处理时刻所需要的位数，而且，可以和以往一样地进行帧的再生处理周期是可变的图像再生处理。
如果采用本发明(方案9)，则在本发明的方案8所述的图像编码方法中，因为，将上述再生周期识别符设定为，表示与上述图像的各帧对应的图像显示的周期是否可变的显示周期识别符，将上述再生周期数据设置为，表示对应上述各帧的图像显示的周期的显示周期数据，将上述再生定时数据设置为，响应各帧对于1个或者多个基准时刻所需要的时刻被相对地设定的，表示对应各帧进行图像显示的定时的显示定时数据，所以，当帧的显示周期是固定的情况下，可以削减规定显示时刻所需要的位数，而且，可以和以往一样地进行帧的显示周期是可变的图像显示处理。
如果采用本发明(方案10)，则在本发明的方案8所述的图像编码方法中，因为，将上述再生周期识别符设定为，与上述图像的各帧对应的，表示图像编码数据译码处理的周期是否可变的译码周期识别符，将上述再生周期数据设置为，表示对应上述各帧的译码处理的周期的译码周期数据，将上述再生定时数据设置为，响应各帧对于1个或者多个基准时刻所需要的时刻被相对地设定的，表示对应各帧进行译码处理的定时的译码定时数据，所以，当帧的译码处理的周期是固定的情况下，可以削减规定各帧的译码处理的时刻所需要的位数，而且，可以简单地进行帧的译码处理周期是可变的图像译码处理。
如果采用本发明(方案11)的图像译码方法，则因为，当再生周期识别符表示与各帧对应的图像再生处理的周期是固定的时，将译码对应各帧译码图像编码数据得到的图像译码数据设置为，被包含在图像编码信号中的，根据对应各帧表示图像再生处理的周期的再生周期数据，和与各帧对应的，表示帧的前后关系的帧位置数据确定的再生定时的图像数据；当再生周期识别符表示对应各帧的图像再生处理的周期是可变的时，将译码对应各帧的图像编码数据得到的图像译码数据设置成，被包含在图像编码信号中的，根据响应各帧对于1个或者多个基准时刻所需要的时刻被相对地设定的，表示对应各帧进行图像再生处理的定时的再生定时数据确定的再生定时的图像数据，所以，对于图像编码信号，可以根据各帧的再生处理的定时是否可变的结果，正确地进行包含译码处理以及显示处理的再生处理。
如果采用本发明(方案12)，则在本发明的方案11所述的图像译码方法中，因为，将上述再生周期识别符设定为，表示与该各帧对应的图像显示的周期是否可变的显示周期识别符，将上述再生周期数据设置为，表示对应上述各帧的图像显示的周期的显示周期数据，将上述再生定时数据设置为，表示对应上述各帧进行图像显示的显示定时的显示定时数据，所以，对于图像编码信号，可以根据各帧的显示定时是否可变，正确地进行显示处理。
如果采用本发明(方案13)，则在本发明的方案11所述的图像译码方法中，因为，根据包含成为译码处理对象的对象帧的多个帧的显示定时数据，设定对应上述各帧进行译码处理的译码定时，所以，可以根据显示定时数据，对于各帧不只进行显示处理而且进行译码处理。
如果采用本发明(方案14)，则在本发明的方案13所述的图像译码方法中，因为，根据该对象帧的显示定时数据以及接着传送来的下一个帧的显示定时数据，将上述对象帧的译码定时设定为，比该两帧中早的一方的显示定时只早规定的偏差时间的定时，所以，可以根据显示定时数据，在不妨害显示出来的过程的情况下进行针对各帧的译码出来。
如果采用本发明(方案15)，则在本发明的方案14所述的图像译码方法中，因为，当上述对象帧的显示定时比上述下一个帧的显示定时早时，将上述偏差时间设定为大于针对上述对象帧进行译码处理所需要的时间，当上述下一个帧的显示定时比上述对象帧的显示定时早时，将上述偏差时间设定为大于针对对象帧的译码处理所需要的时间，和针对下一个帧的译码处理所需要的时间的和，所以，例如，可以根据上述显示定时数据，对加上I-VOP包含P-VOP和B-VOP的与帧系列对应的图像编码数据进行译码处理。
如果采用本发明(方案16)，则在本发明的方案11所述的图像译码方法中，因为，将上述再生周期识别符设定为，与该各帧对应的，表示图像编码数据的译码处理的周期是否是可变的译码周期识别符，将上述再生周期数据设置为，表示对应上述各帧的译码处理的周期的译码周期数据，将上述再生定时数据设置为，表示与上述各帧对应的进行译码处理的译码定时的译码定时数据，所以，对于图像编码信号，可以根据各帧的译码处理的定时是否可变，正确地进行译码处理。
如果采用本发明(方案17)，则在本发明的方案11所述的图像信号数据结构中，因为，加上表示对应上述各帧的图像再生处理的周期是否是可变的再生周期识别符，包含用自然数N表示N等分规定的时间间隔得到的微小单位时间的大小的微小单位时间数据，和用乘数M(自然数)表示对应上述各帧的图像再生处理的周期是上述微小单位时间的M倍的再生周期乘数数据，所以，可以在进行各帧的译码处理之前预先检测帧速率是固定的图像编码信号的帧速率的值(大小)，得到可以将用于实现包含译码处理以及显示处理的再生处理的各种硬件构成设置为简单的构成的图像信号数据结构。
如果采用本发明(方案18)，则在本发明的方案17所述的图像信号数据结构中，因为，将上述再生周期识别符设置为，表示与上述各帧对应的图像显示的周期是否是可变的显示周期识别符，将上述再生周期乘数数据设置为，用乘数M(自然数)表示对应上述各帧的图像显示的周期是上述微小单位时间的M倍的显示周期乘数数据，所以，可以将用于实现显示处理的各种的硬件构成设置成简单的构成。
如果采用本发明(方案19)，则在本发明的方案17所述的图像信号数据结构中，因为，将上述再生周期识别符设定为，与该各帧对应的，表示被编码后的图像信号的译码处理的周期是否是可变的译码周期识别符，将上述再生周期乘数数据设置为，用乘数M(自然数)表示对应上述各帧的译码处理的周期是上述微小单位时间的M倍的译码周期乘数数据，所以，可以将用于实现译码处理的各种硬件的构成设置成简单的构成。
如果采用本发明(方案20)的图像编码方法，则因为，当作为图像信号输入了对应各帧的图像再生处理的周期是固定的图像信号时，在输出表示对应图像的各帧的图像再生处理的周期是否是可变的再生周期识别符的同时，输出用自然数N表示N等分规定的时间间隔得到的微小单位时间的大小的微小单位时间数据，和用乘数M(自然数)表示对应上述各帧的图像再生处理的周期是上述微小单位时间的M倍的作为倍数值M的再生周期乘数数据，所以，对于帧速率是固定的图像编码信号，可以在进行各帧的译码处理之前预先检测其帧速率的值(大小)，可以用简单的硬件构成进行包含译码处理以及显示处理的再生处理。
如果采用本发明(方案21)，则在本发明的方案20所述的图像编码方法中，因为，将上述再生周期识别符设定为，表示与上述图像的各帧对应的图像显示的周期是否可变显示周期识别符，将上述再生周期乘数数据设置为，用乘数M(自然数)表示对应上述各帧的图像显示的周期是上述微小单位时间的M倍的作为倍数值M的再生周期乘数数据，所以，可以将用于实现在译码一侧的显示处理的各种硬件设置成简单的构成。
如果采用本发明(方案22)，则在本发明的方案20所述的图像编码方法中，因为，将上述再生周期识别符设定为，与该各帧对应的，表示图像编码数据的译码处理的周期是否可变的译码周期识别符，将上述再生周期乘数数据设置为，用乘数M(自然数)表示对应上述各帧的译码处理的周期是上述微小单位时间的M倍的译码周期乘数数据，所以，可以将用于实现译码处理的各种硬件设置成简单的结构。
如果采用本发明(方案23)的图像译码方法，则因为，当再生周期识别符表示与各帧对应的图像再生处理的周期是固定的时，将译码对应各帧的图像编码数据得到的图像译码数据设置为，被包含在图像编码信号中的，根据用自然数N表示N等分规定的时间间隔得到的微小单位时间的大小的微小单位时间数据，和用乘数M(自然数)表示对应上述各帧的图像再生处理的周期是上述微小单位时间的M倍的再生周期乘数数据确定的再生定时的图像数据，所以，可以在进行各帧的译码处理之前，检测帧速率是固定的图像编码信号的帧速率的值(大小)，可以将译码一侧的硬件设置成简单的构成。
如果采用本发明(方案24)，则在本发明的方案23所述的图像译码方法中，因为，将上述再生周期识别符设定为，表示与上述图像的各帧对应的图像显示的周期是否可变显示周期识别符，将上述再生周期乘数数据设置为，用乘数M(自然数)表示对应上述各帧的图像显示的周期是上述微小单位时间的M倍的显示周期数据，所以，可以将在译码一侧用于显示处理的硬件设置成简单的构成。
如果采用本发明(方案25)，则在本发明的方案23所述的图像编码方法中，因为，将上述再生周期识别符设定为，与该各帧对应的，表示图像编码数据的译码处理的周期是否可变的译码周期识别符，将上述再生周期乘数数据设置为，用乘数M(自然数)表示对应上述各帧的译码处理的周期是上述微小单位时间的M倍的译码周期乘数数据，所以，可以将在译码一侧用于译码处理的硬件设置成简单的构成。
如果采用本发明(方案26)的图像编码装置，则具备：根据图像信号，判断对应图像的各帧的图像再生处理的周期是否可变，并输出表示其判断结果的再生周期识别符的周期判断装置，因为该编码装置的构成是，根据上述再生周期识别符，切换表示图像再生处理的周期的再生周期数据以及表示帧的前后关系的帧位置数据，和表示进行图像再生处理的定时的再生定时数据，并和图像编码数据及再生周期识别符一同输出，所以，对于各帧的图像再生处理的周期是可变的图像信号，和帧的图像再生处理的周期是固定的图像信号，附加对应各个图像信号的，表示各帧的再生处理的定时的数据后被编码。因此，当帧的再生处理周期是固定的情况下，可以削减规定再生处理时刻所需要的位数，而且，可以简单地进行帧的再生处理周期是可变的图像的再生处理。
如果采用本发明(方案27)的图像译码装置，则在译码再生从本发明的方案26所述的图像编码装置输出的图像编码信号后再生的图像译码装置中，具备分离被包含在上述图像编码信号中的图像编码数据、再生周期识别符、再生周期数据、帧位置数据以及再生定时数据并输出的数据分离装置，因为，该图像译码装置的构成是，与上述再生周期识别符相应地，在由上述再生周期数据以及帧位置数据确定的再生定时，或者由上述再生定时数据确定的再生定时，进行在译码器中进行的图像编码数据的译码处理以及在显示装置中的图像显示处理这两者中至少一方的处理，所以，对于图像编码信号，可以与各帧的再生处理定时是否可变的相应地，正确地进行包含译码处理以及显示处理的再生处理。
如果采用本发明(方案28)的图像编码装置，则具备，根据图像信号，判断对应图像的各帧的图像再生处理的周期是否可变，并输出表示其判断结果的再生周期识别符的周期判断装置，因为，该图像编码装置的构成是，根据上述再生周期识别符，切换用自然数N表示N等分规定的时间间隔得到的微小单位时间的大小的微小单位时间数据以及用乘数M(自然数)表示对应上述各帧的图像再生处理的周期是上述微小单位时间的M倍的再生周期乘数数据，和表示对应各帧进行图像再生处理的定时的再生定时数据，并和图像编码数据以及再生周期识别符一同输出，所以，在译码一侧，对于帧速率是固定的图像编码信号，可以在进行各帧的译码处理之前预先检测其帧速率的值(大小)，可以以简单的硬件构成进行包含译码处理以及显示处理的再生处理。
如果采用本发明(方案29)的图像译码装置，则在译码再生从本发明的方案28所述的图像编码装置输出的图像编码信号的图像译码装置中，具备分离并输出被包含在上述图像编码信号中的图像编码数据、再生周期识别符、微小单位时间数据、再生周期数据以及再生定时数据的数据分离装置，因为该图像译码装置的构成是，与上述再生周期识别符相应地，在由上述微小单位时间数据以及再生周期乘数数据确定的再生定时，或者由上述再生定时数据确定的再生定时，进行在译码器中进行的译码处理以及在显示装置中的图像显示处理这两者中至少一方的处理，所以，可以在进行各帧的译码处理之前预先检测帧速率是固定的图像编码信号的帧速率的值(大小)，可以使译码一侧的硬件构成简单化。
如果采用本发明(方案30)的数据存储载体，则是存储有以规定的周期进行对应各帧的图像再生处理的图像信号的数据存储载体，因为，其数据结构是，将上述图像信号设置成，包含表示对应上述各帧的图像再生处理的周期是否可变的再生周期识别符，所以，通过使用该数据存储载体，在各帧的再生处理的周期是固定的情况下，可以用简单的电路结构进行被称为图像编码信号的译码处理和显示处理的图像信号的再生处理。
如果采用本发明(方案31)的数据存储载体，则是存储有以规定的周期进行对应各帧的图像再生处理的图像信号的数据存储载体，因为，将上述图像信号的数据结构设置成，包含表示对应上述各帧的图像再生处理的周期是否可变的再生周期识别符，和用自然数N表示N等分规定的时间间隔得到的微小单位时间的大小的微小单位时间数据，和用乘数M(自然数)表示对应上述各帧的图像再生处理的周期是上述微小单位时间的M倍的再生周期乘数数据，所以，通过使用该数据存储载体，就可以在进行各帧的译码处理之前预先检测帧速率是固定的图像编码信号的帧速率的值(大小)，可以将用于实现包含译码处理和显示处理的再生处理的各种的硬件设置成简单的构成。
如果采用本发明(方案32)的数据存储载体，则因为，存储有用于在计算机中进行本发明的方案8所述的图像编码方法中的图像信号的编码处理的编码处理程序，所以，通过将该程序加载到计算机中，在帧的再生处理周期是固定的情况下，就可以削减规定再生处理时刻所需要的位数，而且，可以实现简单地进行帧的再生处理周期是可变的图像再生处理的装置。
如果采用本发明(方案33)的数据存储载体，则因为，存储有用于在计算机中进行本发明的方案11所述的图像译码方法中的图像信号的译码处理的译码处理程序，所以，通过将该程序加载到计算机中，就可以实现对于图像编码信号，与各帧的再生处理的定时是否可变相应地，正确地进行包含译码处理以及显示处理的再生处理的装置。
如果采用本发明(方案34)的数据存储载体，则因为，存储有用于在计算机中进行本发明的方案20所述的图像编码方法中的图像信号的编码处理的编码处理程序，所以，通过将该程序加载到计算机中，就可以在进行各帧的译码处理之前预先检测帧速率是固定的图像编码信号的帧速率的值(大小)，可以实现以简单的硬件结构进行包含译码处理和显示处理的再生处理的装置。
如果采用本发明(方案35)的数据存储载体，则因为，存储有用于在计算机中进行本发明的方案23所述的图像译码方法中的图像编码信号的译码处理的译码处理程序，所以，通过将该程序加载到计算机中，就可以在进行各帧的译码处理之前预先检测帧速率是固定的图像编码信号的帧速率的值(大小)，可以实现使译码一侧的硬件构成简单化的装置。

Claims (3)

1.一种译码方法，用于将图像信号译码，该图像信号承载对应于多个帧的图像数据、能够标识相继的帧之间的图像显示定时为不变的还是不一定为总是始终不变的显示周期标识符、及用于标识图像显示的周期的显示周期数据，
所述方法包括如下步骤：
通过对所述图像数据进行译码生成图像；以及
当所述显示周期标识符标识所述图像显示定时是不变的时候，基于所述显示周期数据设置一个定时，在该定时进行一个帧的图像显示。
2.一种图像译码设备，用于将图像信号译码，该图像信号承载对应于多个帧的图像数据、能够标识相继的帧之间的图像显示定时为不变的还是不一定为总是始终不变的显示周期标识符、及用于标识图像显示的周期的显示周期数据，
所述图像译码设备包括：
译码装置，通过对所述图像数据进行译码生成图像；以及
定时设定装置，当所述显示周期标识符标识所述图像显示定时是不变的时候，基于所述显示周期数据设置一个定时，在该定时进行一个帧的图像显示。
3.一种用于对帧进行编码的编码方法，所述方法包括：
获取对应于多个帧的比特流；
生成显示周期标识符，该显示周期标识符能够标识与该比特流对应的所有的帧的任何间隔是始终不变的还是可以变化的，每一个所述的间隔是两个相继的帧的图像显示时间之间的时间间隔；
当显示周期标识符标识该间隔为不变的时候，对标识所有的帧内任意两个相继的帧的图像显示时间之间的一个固定的间隔的显示周期数据进行编码，并将编码后的显示周期数据、显示周期标识符和比特流多路化；以及
当显示周期标识符标识该间隔为可变的时候，对标识所有的帧内一个帧的图像显示的时间的显示定时数据进行编码，并将每一帧的编码后的显示定时数据、显示周期标识符和比特流多路化。
CNB011374675A 1997-10-31 1998-10-30 图象编码方法、译码方法及译码设备 Expired - Lifetime CN1177486C (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP30114897 1997-10-31
JP301148/1997 1997-10-31
JP161096/1998 1998-06-09
JP16109698 1998-06-09

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
CN981214541A Division CN1217547C (zh) 1997-10-31 1998-10-30 图像译码设备和译码方法

Publications (2)

Publication Number Publication Date
CN1354601A CN1354601A (zh) 2002-06-19
CN1177486C true CN1177486C (zh) 2004-11-24

Family

ID=26487352

Family Applications (5)

Application Number Title Priority Date Filing Date
CN981214541A Expired - Lifetime CN1217547C (zh) 1997-10-31 1998-10-30 图像译码设备和译码方法
CNB011374675A Expired - Lifetime CN1177486C (zh) 1997-10-31 1998-10-30 图象编码方法、译码方法及译码设备
CNB011374691A Expired - Lifetime CN1163078C (zh) 1997-10-31 1998-10-30 图像编码方法和图像编码设备
CNB011374713A Expired - Lifetime CN1177487C (zh) 1997-10-31 1998-10-30 图像编码方法、译码方法及译码设备
CNB011374705A Expired - Lifetime CN1233174C (zh) 1997-10-31 2001-11-16 译码方法、图象译码装置和编码方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN981214541A Expired - Lifetime CN1217547C (zh) 1997-10-31 1998-10-30 图像译码设备和译码方法

Family Applications After (3)

Application Number Title Priority Date Filing Date
CNB011374691A Expired - Lifetime CN1163078C (zh) 1997-10-31 1998-10-30 图像编码方法和图像编码设备
CNB011374713A Expired - Lifetime CN1177487C (zh) 1997-10-31 1998-10-30 图像编码方法、译码方法及译码设备
CNB011374705A Expired - Lifetime CN1233174C (zh) 1997-10-31 2001-11-16 译码方法、图象译码装置和编码方法

Country Status (12)

Country Link
US (6) US6654541B1 (zh)
EP (6) EP0914008B1 (zh)
JP (2) JP3232052B2 (zh)
KR (6) KR100384918B1 (zh)
CN (5) CN1217547C (zh)
BR (1) BR9804752B1 (zh)
DE (5) DE69813311T2 (zh)
ES (6) ES2663860T3 (zh)
ID (1) ID21213A (zh)
MY (1) MY118198A (zh)
SG (1) SG86337A1 (zh)
TW (1) TW383530B (zh)

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3232052B2 (ja) * 1997-10-31 2001-11-26 松下電器産業株式会社 画像復号化方法
US7369463B1 (en) 2000-02-21 2008-05-06 N.V. Organon Electronic alarm timer for use with a medical regimen
JP4208398B2 (ja) * 2000-10-05 2009-01-14 株式会社東芝 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置
JP4457506B2 (ja) * 2001-02-27 2010-04-28 ソニー株式会社 パケット化装置およびパケット化方法
GB2378343B (en) * 2001-08-03 2004-05-19 Sendo Int Ltd Image refresh in a display
CN100350488C (zh) * 2001-09-06 2007-11-21 汤姆森特许公司 可变位率数字编码音频数据文件的已过播放计时方法和装置
US7251812B1 (en) * 2001-10-31 2007-07-31 Microsoft Corporation Dynamic software update
ES2319634T3 (es) * 2002-03-11 2009-05-11 Caprotec Bioanalytics Gmbh Compuestos y metodos para analizar el proteoma.
US7454760B2 (en) * 2002-04-22 2008-11-18 Rosebud Lms, Inc. Method and software for enabling n-way collaborative work over a network of computers
US7017144B2 (en) * 2002-06-17 2006-03-21 Microsoft Corporation Combined image views and method of creating images
US6947954B2 (en) * 2002-06-17 2005-09-20 Microsoft Corporation Image server store system and method using combined image views
US20040034849A1 (en) * 2002-06-17 2004-02-19 Microsoft Corporation Volume image views and methods of creating volume images in which a file similar to a base file is stored as a patch of the base file
US7120786B2 (en) * 2002-06-17 2006-10-10 Microsoft Corporation Booting from a compressed image
US7260738B2 (en) * 2002-06-17 2007-08-21 Microsoft Corporation System and method for splitting an image across multiple computer readable media
US7464176B2 (en) * 2002-06-17 2008-12-09 Microsoft Corporation Multicast system and method for deploying multiple images simultaneously
JP4806888B2 (ja) * 2002-07-19 2011-11-02 ソニー株式会社 復号化装置及び復号化方法
JP5007759B2 (ja) * 2002-07-19 2012-08-22 ソニー株式会社 符号化装置、符号化方法、復号化装置及び復号化方法
CN1672409A (zh) * 2002-07-30 2005-09-21 皇家飞利浦电子股份有限公司 由用户控制的特技播放性能
US20040025012A1 (en) * 2002-07-30 2004-02-05 Burks David Patrick System for processing coded content and associated decoding instructions on a removable storage medium
JP4741458B2 (ja) * 2003-01-16 2011-08-03 カプロテック・バイオアナリティクス・ゲゼルシャフト・ミット・ベシュレンクテル・ハフツング 捕獲化合物、その収集物ならびにプロテオームおよび複合組成物を分析するための方法
JP4189358B2 (ja) * 2004-06-17 2008-12-03 株式会社東芝 画像符号化装置及び方法
JP4150730B2 (ja) * 2005-02-14 2008-09-17 株式会社東芝 画像符号化装置、および画像符号化方法
US8126312B2 (en) * 2005-03-31 2012-02-28 Apple Inc. Use of multiple related timelines
KR20070008289A (ko) * 2005-07-13 2007-01-17 삼성전자주식회사 디스플레이 장치 및 그것을 구비한 정보 처리 시스템,그리고 그것의 구동 방법
JP4904914B2 (ja) * 2006-05-17 2012-03-28 ソニー株式会社 ストリーム生成装置、撮像装置、およびストリーム生成方法
US8296268B2 (en) * 2006-07-21 2012-10-23 Samsung Electronics Co., Ltd. System and method for change logging in a firmware over the air development environment
JP5100311B2 (ja) * 2007-10-29 2012-12-19 キヤノン株式会社 動画像データ送信方法、通信装置、及びプログラム
US9792363B2 (en) 2011-02-01 2017-10-17 Vdopia, INC. Video display method
US9565476B2 (en) * 2011-12-02 2017-02-07 Netzyn, Inc. Video providing textual content system and method
FR3004054A1 (fr) * 2013-03-26 2014-10-03 France Telecom Generation et restitution d'un flux representatif d'un contenu audiovisuel
EP3591980A1 (en) * 2013-10-11 2020-01-08 SONY Corporation Reception device and reception method of video streams with changing frame rates
RU2662222C2 (ru) 2013-11-01 2018-07-25 Сони Корпорейшн Устройство и способ передачи, устройство и способ приема
US9582513B2 (en) 2013-12-08 2017-02-28 Microsoft Technology Licensing, Llc Accessing data in a compressed container through dynamic redirection
US20170118501A1 (en) * 2014-07-13 2017-04-27 Aniview Ltd. A system and methods thereof for generating a synchronized audio with an imagized video clip respective of a video clip
KR102312681B1 (ko) 2015-03-17 2021-10-13 한화테크윈 주식회사 영상 처리 시스템 및 방법
US10142707B2 (en) * 2016-02-25 2018-11-27 Cyberlink Corp. Systems and methods for video streaming based on conversion of a target key frame

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5461420A (en) 1992-09-18 1995-10-24 Sony Corporation Apparatus for coding and decoding a digital video signal derived from a motion picture film source
US5491516A (en) 1993-01-14 1996-02-13 Rca Thomson Licensing Corporation Field elimination apparatus for a video compression/decompression system
US5828786A (en) 1993-12-02 1998-10-27 General Instrument Corporation Analyzer and methods for detecting and processing video data types in a video data stream
US5640202A (en) * 1994-04-26 1997-06-17 Canon Kabushiki Kaisha Imaging system which changes the frame rate of the image signal
US5430533A (en) * 1994-05-31 1995-07-04 Lexmark International, Inc. Polymeric toner transfer member material
JP2894958B2 (ja) * 1994-10-14 1999-05-24 株式会社グラフィックス・コミュニケーション・ラボラトリーズ 画像復号化方式および装置
JPH08214265A (ja) 1995-01-31 1996-08-20 Sony Corp 符号化データの再生方法および再生装置
KR100197365B1 (ko) 1995-12-14 1999-06-15 전주범 디지탈 브이 씨 알의 배속 재생을 위한 영상 데이타 기록 장치
US6055271A (en) * 1996-01-18 2000-04-25 Sony Corporation Signal encoding method and apparatus and signal transmission method and apparatus involving the use of a number of pseudo access units
JP4016215B2 (ja) 1996-01-18 2007-12-05 ソニー株式会社 ディジタル信号符号化方法および装置、並びにディジタル信号伝送方法および装置
US6148135A (en) * 1996-01-29 2000-11-14 Mitsubishi Denki Kabushiki Kaisha Video and audio reproducing device and video decoding device
JPH09307856A (ja) 1996-05-10 1997-11-28 Victor Co Of Japan Ltd 早送り再生時にも良好な画像を再生できる圧縮画像データの発生装置
US5828370A (en) * 1996-07-01 1998-10-27 Thompson Consumer Electronics Inc. Video delivery system and method for displaying indexing slider bar on the subscriber video screen
US6084168A (en) * 1996-07-10 2000-07-04 Sitrick; David H. Musical compositions communication system, architecture and methodology
US6101195A (en) * 1997-05-28 2000-08-08 Sarnoff Corporation Timing correction method and apparatus
US6031584A (en) * 1997-09-26 2000-02-29 Intel Corporation Method for reducing digital video frame frequency while maintaining temporal smoothness
JP3232052B2 (ja) * 1997-10-31 2001-11-26 松下電器産業株式会社 画像復号化方法
US6056691A (en) * 1998-06-24 2000-05-02 Ecton, Inc. System for collecting ultrasound imaging data at an adjustable collection image frame rate
GB2383706B (en) * 2001-11-30 2005-03-30 Marconi Optical Components Ltd Modulation control
US20060263097A1 (en) * 2005-05-23 2006-11-23 Fujitsu Limited Optical transmitting apparatus, optical receiving apparatus, and optical communication system comprising them
JP4922594B2 (ja) * 2005-05-23 2012-04-25 富士通株式会社 光送信装置、光受信装置、およびそれらを含む光通信システム
JP4657860B2 (ja) * 2005-09-16 2011-03-23 富士通株式会社 光送信装置および光通信システム

Also Published As

Publication number Publication date
DE69805036T2 (de) 2002-10-10
DE69812190T2 (de) 2003-12-04
JP3232052B2 (ja) 2001-11-26
ES2172849T3 (es) 2002-10-01
ES2663860T3 (es) 2018-04-17
EP1117260A2 (en) 2001-07-18
BR9804752A (pt) 1999-11-03
CN1177487C (zh) 2004-11-24
CN1233174C (zh) 2005-12-21
EP1324613B1 (en) 2018-01-03
DE69815722D1 (de) 2003-07-24
DE69815722T2 (de) 2004-04-22
KR19990037567A (ko) 1999-05-25
KR20030090552A (ko) 2003-11-28
JP2008245325A (ja) 2008-10-09
CN1354603A (zh) 2002-06-19
EP1117258B1 (en) 2003-01-22
KR20030090554A (ko) 2003-11-28
DE69813311T2 (de) 2004-02-12
CN1354602A (zh) 2002-06-19
JP2000069477A (ja) 2000-03-03
US6654545B2 (en) 2003-11-25
EP1117261A3 (en) 2001-09-26
BR9804752B1 (pt) 2012-06-12
EP1117259A3 (en) 2001-09-26
DE69813311D1 (de) 2003-05-15
US6947659B2 (en) 2005-09-20
KR20030090553A (ko) 2003-11-28
TW383530B (en) 2000-03-01
KR20030090555A (ko) 2003-11-28
KR20010083251A (ko) 2001-08-31
US6671456B2 (en) 2003-12-30
ES2200998T3 (es) 2004-03-16
EP0914008B1 (en) 2002-04-24
KR100525862B1 (ko) 2005-11-02
EP1324613A3 (en) 2011-08-03
DE69810971D1 (de) 2003-02-27
US20040141730A1 (en) 2004-07-22
CN1354601A (zh) 2002-06-19
SG86337A1 (en) 2002-02-19
US20020018646A1 (en) 2002-02-14
KR100530406B1 (ko) 2005-11-22
US20020012399A1 (en) 2002-01-31
US20020018524A1 (en) 2002-02-14
DE69805036D1 (de) 2002-05-29
EP1117260A3 (en) 2001-09-26
KR100530395B1 (ko) 2005-11-22
KR100384918B1 (ko) 2003-08-19
CN1217547C (zh) 2005-08-31
ID21213A (id) 1999-05-06
ES2195966T3 (es) 2003-12-16
EP0914008A2 (en) 1999-05-06
EP1117259B1 (en) 2003-03-12
ES2187487T3 (es) 2003-06-16
EP0914008A3 (en) 2000-11-29
EP1117261A2 (en) 2001-07-18
DE69810971T2 (de) 2003-11-27
US6707986B2 (en) 2004-03-16
US6654541B1 (en) 2003-11-25
DE69812190D1 (de) 2003-04-17
US20020012400A1 (en) 2002-01-31
EP1117258A2 (en) 2001-07-18
EP1117260B1 (en) 2003-04-09
KR100530394B1 (ko) 2005-11-22
CN1216425A (zh) 1999-05-12
EP1117258A3 (en) 2001-09-26
ES2188572T3 (es) 2003-07-01
JP4510909B2 (ja) 2010-07-28
MY118198A (en) 2004-09-30
EP1324613A2 (en) 2003-07-02
US6549724B2 (en) 2003-04-15
EP1117259A2 (en) 2001-07-18
KR100471952B1 (ko) 2005-03-08
CN1163078C (zh) 2004-08-18
EP1117261B1 (en) 2003-06-18
CN1354604A (zh) 2002-06-19

Similar Documents

Publication Publication Date Title
CN1177486C (zh) 图象编码方法、译码方法及译码设备
CN1269360C (zh) 预先不了解画面类型情况下mpeg代码转换器的比率控制系统
CN100338949C (zh) 接收系统和lsi电路
CN1185876C (zh) 图像编码器及其方法、图像译码器及其方法
CN1178516C (zh) 利用编码历史信息的编码转换系统
CN1162001C (zh) 对多个运动图象编码的运动图象编码装置和方法
CN1943246A (zh) 图像解码方法
CN1926872A (zh) 信息处理设备、信息处理方法、程序和数据结构
CN1193440A (zh) 图象数据发送方法和装置及图象数据再生装置
CN100348044C (zh) 不同帧速率多流混合视频流的无缝译码装置
CN1804902A (zh) 数据处理装置
CN100341318C (zh) 存储型接收装置
CN1157942C (zh) 电视节目广播系统
CN1298121C (zh) 基于存储的广播系统、发送器和接收器
CN1898965A (zh) 运动图象编码方法和装置
CN100350803C (zh) 图象编码装置及图象译码装置
CN1647536A (zh) 从属数据流传输方法
CN1574944A (zh) 动态图像解码装置
CN1610388A (zh) 视频发送装置、接收机、视频传输系统及方法
CN1182727C (zh) 动图象译码方法,动图象译码装置
CN1957600A (zh) 通信系统和通信方法
CN1256854C (zh) 具有直联通过功能的变速数据线路复用装置
CN1882093A (zh) 利用编码历史信息的编码转换系统
CN1701612A (zh) 数据替换输出设备和方法

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MATSUSHITA ELECTRIC (AMERICA) INTELLECTUAL PROPERT

Free format text: FORMER OWNER: MATSUSHITA ELECTRIC INDUSTRIAL CO, LTD.

Effective date: 20140714

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20140714

Address after: California, USA

Patentee after: PANASONIC INTELLECTUAL PROPERTY CORPORATION OF AMERICA

Address before: Osaka Japan

Patentee before: Matsushita Electric Industrial Co.,Ltd.

CX01 Expiry of patent term

Granted publication date: 20041124

CX01 Expiry of patent term