WO1999038326A1 - Image transmitting method, image processing method, image processor, data storage medium - Google Patents

Image transmitting method, image processing method, image processor, data storage medium Download PDF

Info

Publication number
WO1999038326A1
WO1999038326A1 PCT/JP1999/000275 JP9900275W WO9938326A1 WO 1999038326 A1 WO1999038326 A1 WO 1999038326A1 JP 9900275 W JP9900275 W JP 9900275W WO 9938326 A1 WO9938326 A1 WO 9938326A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
screen
compressed
image
header
Prior art date
Application number
PCT/JP1999/000275
Other languages
English (en)
French (fr)
Inventor
Choong Seng Boon
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to BRPI9904785A priority Critical patent/BRPI9904785B8/pt
Priority to KR10-2001-7009670A priority patent/KR100394938B1/ko
Priority to DE1999601866 priority patent/DE69901866T2/de
Priority to US09/381,688 priority patent/US6418268B1/en
Priority to EP99901158A priority patent/EP0971543B1/en
Priority to KR10-1999-7008705A priority patent/KR100365259B1/ko
Publication of WO1999038326A1 publication Critical patent/WO1999038326A1/ja
Priority to US10/202,026 priority patent/US7155110B2/en

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103Selection of coding mode or of prediction mode
    • H04N19/107Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/435Processing of additional data, e.g. decrypting of additional data, reconstructing software from modules extracted from the transport stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/45Picture in picture, e.g. displaying simultaneously another television channel in a region of the screen
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/781Television signal recording using magnetic recording on disks or drums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/78Television signal recording using magnetic recording
    • H04N5/782Television signal recording using magnetic recording on tape
    • H04N5/783Adaptations for reproducing at a rate different from the recording rate
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Definitions

  • the present invention relates to an image transmission method, an image processing method, an image processing device, and a data storage medium, and more particularly to a method for transmitting encoded digital image data corresponding to an image composed of a plurality of frames, and a method for transmitting the digital image data.
  • Method and apparatus for performing an encoding process, method and apparatus for performing a decoding process on encoded digital image data, and a computer for performing an encoding process and a decoding process for digital image data by a computer The present invention relates to a data storage medium on which a program is recorded. Background art
  • inter-screen prediction with ffl of motion compensation is performed, that is, the pixel value of the pixel of the current screen is calculated by
  • the difference signal is expressed using a difference from the pixel value and the difference signal is encoded.
  • an input image signal is divided into a plurality of image signals so as to correspond to each of a plurality of blocks (macroblocks) constituting one screen (one frame).
  • the encoding process of the corresponding image signal Perform for each block.
  • one macro block is an image display area composed of 16 ⁇ 16 pixels in the one screen. If the input image signal corresponds to an arbitrary object image, the image signal bow constitutes a display area (object area) corresponding to the object image in one frame. Is divided so as to correspond to each of a plurality of blocks (macro blocks).
  • the image signal corresponding to each macroblock is further divided in accordance with a sub-block corresponding to an image display area composed of 8 ⁇ 8 pixels, and the image signal corresponding to each sub-block is subjected to DCT processing, and each sub-block is subjected to DCT processing. Generate a DCT coefficient corresponding to. After that, the DCT coefficients corresponding to each sub-block are quantized to generate quantized coefficients corresponding to each sub-block.
  • the method of encoding the image signal corresponding to the sub-block by the DCT process and the quantization process in this way is called an intra-frame encoding method.
  • inverse quantization processing and inverse DCT processing are sequentially performed on the quantization coefficient corresponding to each of the sub-blocks, and an image signal corresponding to each macro-block is reproduced.
  • the encoded data corresponding to the frame (so-called I picture) on which the image signal encoding process has been performed by the above-described intra-frame encoding method can be played back independently, and the decoding process can be performed for other frames. This can be done without referring to the two image data.
  • an image signal encoding method called an inter-frame encoding method.
  • this encoding method first, by using a method of detecting the motion of an image on a screen (frame), such as block matching, a code temporally adjacent to a frame to be processed which is the encoding target is used.
  • the image signal of the prediction macroblock is subtracted from the image of the target macroblock to generate a difference signal corresponding to the target macroblock, and the difference signal is converted into the subblock consisting of 8 ⁇ 8 pixels. Divide accordingly.
  • a DCT process is performed on the corresponding difference signal to generate a DCT coefficient, and a quantization process is further performed on the DCT coefficient to generate a quantized coefficient.
  • inverse quantization processing and inverse DCT processing are sequentially performed on the quantization coefficients (quantized DCT coefficients) of each of the above sub-blocks, and a differential signal corresponding to each macroblock is restored. Then, motion compensation is applied to the image signal of the decoded frame that has already been decoded to predict the image signal corresponding to the target MAC block in the frame to be decoded, i. Then, the prediction signal and the restored difference signal are added to reproduce the image signal of the target macro block.
  • the encoded data of a frame (so-called ⁇ picture or ⁇ ⁇ picture) that has been subjected to the encoding of an image and a symbol by the above-described inter-frame encoding method independently refers to the image signal of another frame. It can not be played without doing.
  • FIG. 10 (a) schematically shows image data (moving image data) corresponding to one moving image.
  • the one moving image includes a plurality of frames (pictures), and the moving image data D includes frame data P (l) to P (n) (n is a natural number) corresponding to each frame.
  • FIG. 10 (b) shows the in-screen compressed image data obtained by performing the above-described intra-frame coding processing on each of the frame data P (l) to P (n) constituting the above-described 5 image data D.
  • D shows the structure of D a.
  • the in-screen compressed image data Da includes frame encoded data Pa (l) to Pa (n) corresponding to each frame and a header Ha composed of data common to each frame.
  • each frame is an I picture that has been subjected to intra-frame encoding.
  • the header H is called V0L (Video Object Layer).
  • FIG. 0 (c) shows that the intra-frame encoding process is performed on a predetermined one of the frame data P (1) to P (n) constituting the moving image data D, and the other one is performed on the other frame data.
  • 3 shows the structure of inter-screen compressed image data Db obtained by performing frame interpolating processing.
  • the inter-frame encoding processing there are two types of the inter-frame encoding processing. One of them is a forward prediction encoding process in which the encoding process of the frame to be processed, which is the target of the encoding process, is performed with reference to the previous frame.
  • the other is bidirectional predictive encoding, in which encoding of a frame to be processed, which is the object of encoding, is performed with reference to the frames before and after it.
  • the inter-screen compressed image data Db includes frame data Pb (l) to Pb (n) corresponding to each frame and a header Hb including data common to each frame.
  • first frame of the moving image is an I-picture that has been subjected to intra-frame encoding processing, and the other frames are subjected to forward prediction encoding processing as the inter-frame encoding processing.
  • P-picture or n-directional prediction coding processing is only the first frame of the moving image.
  • the above-mentioned in-screen compressed image data Da is obtained by performing intra-frame encoding processing on all frames constituting a moving image without referring to other frames. Is not so high, and is suitable for random playback (decoding) processing for each frame. That is, the in-screen compressed image data Da has an advantage that the decoding process can be started immediately from any screen (frame) and the image can be reproduced.
  • the editability of compressed image data is better than the in-screen compressed image data obtained by the encoding process that does not depend on data of other frames.
  • the above-mentioned screen-compressed image data D b is obtained by performing an inter-frame encoding process that refers to another frame to almost all frames constituting a moving image. Although the efficiency is high, it is not suitable for random playback (decoding) processing for each frame.
  • decoding when decoding is started from a frame as a P-picture or a B-picture, decoding can be performed independently before the frame at which decoding is started. It is necessary to go back to the correct frame and perform the decoding process. This is because the frame in which the decoding process is started has been subjected to the encoding process with reference to another frame.
  • reproduction of frame coded data Pbe (l) to Pbc (ra) (m is a natural number) corresponding to the last 30 seconds of a moving image corresponding to 1 hour is performed.
  • Cannot be performed immediately from the head frame encoded data P be (l) see Fig. 10 (c)). That is, the reproduction of the data P be (l) is based on the previously independent reproducible data (here, the frame coded data Pb (l) corresponding to the first frame constituting the moving image). It cannot be performed until the decoding processing up to the frame encoding data immediately before the data P be (l) is completed. This is because the first frame coded data P be (l) is coded with reference to another frame.
  • fast-forward playback processing that skips S (natural number) frames can be performed on the above-described in-screen compressed image data Da (see Fig. 11 (a)).
  • frame encoded data Pa (l), Pas (l) to Fas (f) ( ⁇ is a natural number) to be decoded in the fast-forward playback processing are subjected to intra-screen encoding processing. This is because they correspond to I-pictures and can be played back independently without reference to the data of other frames.
  • the fast-rewind process reverse to the fast-forward playback process can be performed on the in-screen compressed image data Da in the same manner as the fast-forward playback process.
  • the fast-forward playback image corresponding to the S3 ⁇ 4 image is frame coded data P bs (l) to P bs (f ) Will be displayed sequentially at regular intervals.
  • the fast-rewind playback process that is the reverse of the fast-forward playback process cannot be performed on the inter-screen compressed image data Db. This is because with the inter-screen compressed image data D, the frame-encoded data for the last frame can be reproduced only after decoding of all the frame-encoded data is completed.
  • the headers Ha and Hb of the compressed image data Da and Db have an identification flag (independent reproduction suitability flag) indicating whether or not the compressed image data is suitable for independent reproduction. Contains.
  • the image data storage medium M stores in-screen compressed image data suitable for fast-forward playback processing as compressed image data corresponding to one moving image. It stores both D a and inter-image compressed image data D b with high encoding efficiency, that is, a high-quality reproduced image.
  • Dl to Dk are compressed image data corresponding to other moving images having headers Hl to Hk, respectively.
  • the header Ha of the above-mentioned in-screen compressed image data Da includes an independent reproduction suitability flag indicating that the data D a has high suitability for independent reproduction.
  • the header Hb of the inter-screen compressed image data Db includes an independent reproduction suitability flag indicating that the data Db has low suitability for independent reproduction.
  • the data storage medium is determined based on the independent playback suitability flags in the headers Ha and Hb of the compressed image data Da and Db. From M, compressed in-screen encoded data D as compressed image data corresponding to one moving image a is read. On the other hand, in the case of the normal reproduction process, the inter-screen compressed image data Db is read from the data storage medium M.
  • the countermeasure of ⁇ 2 is to insert a plurality of frame-encoded data corresponding to the I-picture at shorter intervals than normal intervals during the inter-screen compressed image data Db.
  • the frame coded data corresponding to the I-picture is inserted so that two of the frames reproduced in 0.5 seconds correspond to the I-picture.
  • the inter-plane compressed image data Db includes an independent reproduction suitability flag indicating that the data Db has high suitability for independent reproduction.
  • the fast-forward playback processing is performed based on a picture type flag (not shown) assigned to each frame, which indicates that the frame coded data corresponds to the picture. This can be realized by decoding only the frame encoded data corresponding to the picture.
  • the third measure is that since some frame-encoded data corresponding to P-pictures can be reproduced independently, such frame-encoded data is suitable for independent reproduction. That is, an independent reproduction suitability flag is added to indicate that the reproduction is appropriate. In other words, even if the frame coded data corresponding to the P picture constituting the inter-screen compressed image data D b indicates that it corresponds to the P picture by the picture type flag, As with the frame encoding data corresponding to the I picture, there is an image encoded without referring to the image data of another frame. Such frame-coded data corresponding to a specific P-picture can be independently reproduced.
  • the fast-forward playback processing can be performed with the victory evening flag and the independent rebuilding flag.
  • the suitability flag (not shown), it can be realized by decoding only the frame coded data corresponding to the I picture and the specific P picture.
  • FIG. 11 (c) shows an inter-screen compressed image data structure in which an independent playback suitability flag has been added to frame encoded data corresponding to a specific P-picture.
  • the inter-screen compressed image data Dc is a header corresponding to the header Hcl, Hc2,..., Hcf including the independent reproduction suitability flag, which is indicated by P ′ in a specific P-picture. It has a data structure inserted immediately before the system encoded data Pcs (l) to Pcs (f).
  • Pcs (l) to Pcs (f) are the frame coded data corresponding to each frame.
  • the compressed image data D is shown without distinction between the intra-screen compression-encoded data D a and the in-screen compression-encoded data D b. .
  • the compressed coded data D is composed of a header H at the beginning, which includes data common to each frame, and frame coded data P following the header H.
  • the synchronization signal Hsd corresponding to the compressed image data of one moving image, the data Hed common to each frame, and the independent reproduction suitability flag Hf are arranged.
  • alignment data Had for performing the alignment.
  • the compressed image data corresponding to one moving image includes information (independent reproduction suitability flag) indicating whether or not frame encoded data corresponding to all the frames constituting the moving image can be independently reproduced. have.
  • the independent reproduction suitability flag for the compressed image data is set to be independent for the compressed image data. The value indicates that the suitability for reproduction is large.
  • the independent playback suitability flag for the compressed image data is set to the suitability of independent playback for the compressed image data. Has a small value.
  • the independent playback suitability flag is described in the header including the common data located at the head of the compressed image data.
  • a synchronization signal 902 indicating the start of the moving image is arranged, and the synchronization signal 902 is represented by a unique 32-bit fixed-length code.
  • various common data 903-913 common to each frame are arranged. These common data 903 to 913 include data represented by fixed-length codes 903 to 909 and 911 to 913, as well as data represented by variable-length codes. 9 10 is included.
  • an independent reproduction suitability flag 914 and alignment data 915 are sequentially arranged.
  • the independent reproduction suitability flag 914 indicates whether or not the frame encoding data for each frame in the compressed image data can be reproduced independently at random. It is.
  • the independent reproduction suitability flag whose value is “1” indicates that the frame encoded data of the frames constituting the moving image can be reproduced independently.
  • an independent playback port capability flag whose value is “0” indicates that the compressed image data corresponding to the moving image includes a large amount of frame-encoded data that cannot be independently played back.
  • the alignment data 915 is for aligning data from the synchronization signal 902 to the independent reproduction suitability flag 914.
  • data 916 and data 917 relating to frame encoded data obtained by encoding image data corresponding to each frame of an actual moving image are arranged.
  • these data 916 and 917 actually include specific data such as DCT coefficients and quantization steps in MPEG 1, 2, and 4, etc. Data are shown as one data group without data.
  • a header including such common data must always be placed at the beginning of the compressed image data corresponding to one moving image.
  • frame-encoded data that can be reproduced independently for example, frame-coded data corresponding to an I-picture
  • This independent playable flag indicates whether the corresponding frame coded data can be played back independently without referring to the data of other frames.
  • the independently playable frame corresponding to the I picture is used for the inter-screen compressed image data into which the common data including the independently playable flag is periodically inserted as described above.
  • the fast-forward playback process can be performed by selectively decoding the encoded data.
  • frame encoding data is randomly selected from the compressed image data and decoding processing is performed. Whether the compressed image data corresponding to the moving image is suitable for fast-forward playback processing, etc. (suitability for independent playback), or the frame-encoded data in the compressed image data can be played independently Or not (whether independent playback is possible) must be quickly determined.
  • the suitability of the compressed image data for independent playback can be determined by extracting and analyzing the independent playback suitability flag and the like (data 9 14 shown in Tables 1 to 3) in the header containing the common data. it can.
  • the common data 90 0 located before the flag 914 in the header is checked. If all the data from 3 to 9 13 are extracted, and the common data is interpreted and the analysis is not performed, the data analysis processing for the header will be replaced with the analysis processing for the independent reproduction suitability flag 9 14 described above. Does not arrive. For example, it is necessary to check whether the value of the common data 90a is 11 "or not, and then the force where the common data 903b and 903c exist, the force, the force of the force, 7 is good.
  • the synchronization signal 902 indicating the start of the moving image and the synchronization signal 902 indicating the start of the moving image are provided before the independent reproduction suitability flag indicating the suitability of the FF compressed image data for independent reproduction.
  • a large number of data such as common data 903 to 913 for the frame encoded data are arranged.
  • common data there are many data that act as switches, that is, data whose subsequent data processing differs depending on the value of the data.
  • the present invention has been made in order to solve the above-described problems.
  • the header given to the compressed image data or the frame coding data corresponding to the image provides a data structure that can quickly detect the suitability of these data for independent reproduction and the possibility of independent reproduction.
  • An object of the present invention is to provide an encoding process for generating a compressed image data and a corresponding image processing method for performing a decoding process corresponding to the encoding process.
  • An object of the present invention is to provide an image processing apparatus that performs the above-described encoding and decoding processes, and a data storage medium that stores an image processing program for causing a computer to perform these processes. Disclosure of the invention
  • An image transmission method is a method for transmitting compressed image data obtained by compression-coding digital image data corresponding to an image composed of a screen of A process of transmitting the header including common data common to each of the screens, which constitutes the compressed image data, and thereafter, sequentially forming the compressed screen data corresponding to each of the screens, which constitutes the compressed image data.
  • the header transmission process whether the compressed image data included in the header is suitable for random reproduction processing for selecting and reproducing arbitrary compressed screen data
  • An identification flag indicating whether or not the data is transmitted so that only the fixed-length code data is interposed between the header position of the header and the identification flag.
  • the compressed image data corresponding to one moving image is stored in a header of the compressed image data as to whether the data is suitable for random independent reproduction for an arbitrary screen.
  • the compressed image corresponding to one moving image is transmitted.
  • the analysis of the identification flag can be performed quickly, and the suitability of the random independent data for the compressed image data can be shortened.
  • the header in the image transmission method according to the first aspect, includes a synchronization signal indicating a head position of the compressed image data and the common data.
  • the identification flag is set after the synchronization symbol. And before the variable length code data.
  • An image processing method is a method for compression-coding digital image data corresponding to an image comprising a plurality of screens to generate compressed image data. (Header generation processing for generating common header data common to each screen above, and screen data corresponding to each screen above) (Compression to generate compressed screen data by compression encoding) The header generation processing indicates whether or not the compressed image data is suitable for random reproduction processing for selecting and reproducing compressed screen data corresponding to an arbitrary screen. An identification flag is generated so that only fixed-length code data is interposed between the head position of the above-mentioned head and the identification flag.
  • digital image data corresponding to one moving image is subjected to a compression encoding process to generate a compressed image data.
  • a header including an identification flag indicating whether or not the screen is suitable for random independent reproduction of the screen is added to the compressed image data, and the header is added between the head position and the identification flag. Is transmitted so that only the fixed-length code data is interposed. Therefore, it is added to the compressed image data corresponding to one moving image, and when the header is analyzed, the identification flag is analyzed. , And the suitability of random self-reproduction for the F-reduced double image data can be detected in a short time.
  • a compression encoding process corresponding to each screen is performed after the header generation process, and the header generation is performed.
  • a synchronizing signal indicating the top position of the compressed image data is generated, an identification flag indicating suitability of the compressed image data for random reproduction processing is generated, and then the common data is generated.
  • the decoding side since the header arranges the data in the order of the synchronization signal, the identification flag, and the common data, the decoding side performs the analysis processing of the identification flag on the synchronization signal. It can be done immediately afterwards.
  • a compression encoding process corresponding to each screen is performed after the header generation process.
  • a synchronization signal indicating the leading position E of the compressed image data is generated, and then the fixed-length code data is generated as the common data.
  • the random reproduction process of the compressed image data is performed.
  • An identification flag indicating suitability for is generated, and then variable length code data is generated as the common data.
  • the image processing method having such a configuration, in the header, data is arranged in the order of the synchronization signal, the common data of the fixed-length code, the identification flag, and the variable-length code data.
  • the analysis processing of the common data can be skipped, and the analysis can be performed immediately after the analysis processing of the synchronization signal.
  • the image processing method having such a configuration, in the compressed image data obtained by the first compression encoding process without referring to another screen, the above-mentioned identification flag is set to the It indicates that it is suitable for random playback processing, and the compressed image obtained by both the second compression encoding processing referring to other screens and the first compression encoding processing. Indicates that the compressed image data is suitable or not for random re-processing. On the decoding side, compressed image data suitable for random reproduction Can quickly identify uncompressed compressed image data.
  • the present invention (Claim 7) is the image processing method according to Claim 3, wherein in addition to the header generation processing and the compression encoding processing, common data common to the respective screens is specified.
  • auxiliary header generation process that generates an auxiliary header containing individual data corresponding to the screen.
  • the compressed screen data corresponding to the specific screen is An independent playable flag indicating whether or not the image can be played back independently without referring to the screen data corresponding to the other screen is set in the query from the head position of the header to the independent playable flag.
  • an auxiliary header is added to the compressed screen data corresponding to the specific screen constituting the compressed image data, and the auxiliary header includes the compressed double-sided data of the specific screen.
  • the supplementary header contains an independent playable flag indicating whether or not it can be played back independently, and only the fixed code length data is interposed between the head position and the independent playable flag. Since the transmission is performed, it is possible to independently determine whether or not the compressed meta data can be independently reproduced for each frame.
  • An image processing method decodes compressed image data obtained by compression-coding digital image data corresponding to an image composed of a plurality of IJi, and A header analysis process for analyzing headers including common data common to the respective screens, the header analysis processing comprising: configuring the compressed image data; and configuring the compressed image data.
  • the header analysis process includes a playback process of decoding and reproducing compressed screen data obtained by compressing and encoding screen data corresponding to each of the above-described screens.
  • the compressed image data included in the header is a random playback process that selects and plays back compressed screen data corresponding to an arbitrary screen. Suitable for This is to analyze an identification flag indicating whether or not the identification flag is true.
  • the header analysis processing when decoding the compressed image data corresponding to one moving image, includes the fixed-length code data following the header start position.
  • the analysis of the identification flag which indicates whether or not the video is suitable for independent playback, is performed during the analysis of the header added to the compressed image data corresponding to one moving image. Can quickly analyze the identification flag, and can detect the suitability of random independent reproduction for the compressed image data in a short time.
  • the present invention (claim 9) is the image processing method according to claim 8, wherein a reproduction process corresponding to each screen is performed after the header analysis process, and in the header analysis process, The synchronization signal indicating the head position of the compressed image data is analyzed, the identification flag indicating the suitability of the compressed image data for random reproduction processing is analyzed, and then the common data is analyzed.
  • the image processing method having such a configuration, in the header analysis processing, data analysis is performed in the order of the synchronization signal, the identification flag, and the common data.
  • the analysis processing can be performed immediately after the synchronization signal analysis processing.
  • a reproduction process corresponding to each screen is performed after the header analysis process, and the header analysis is performed.
  • the synchronization signal indicating the head position of the compressed image data is analyzed, then the fixed-length code data is analyzed as the common data, and then the suitability for the random reproduction processing of the compressed image data is analyzed. Is analyzed, and then the variable length code data is analyzed as the common data.
  • the image processing method having such a configuration, in the above-described header analysis processing, the synchronization signal, the fixed-length code data as common data, the identification flag, and the variable-length code data as common data are transmitted in this order. Since the analysis is performed, the analysis processing of the identification flag can be skipped and the analysis processing of the common data can be skipped as necessary, and can be performed immediately after the analysis processing of the synchronization signal.
  • the present invention is the image processing method according to Claim 8, wherein the header analysis process and the reproduction process are performed on the processed screen as the compressed screen data. Performs the corresponding screen data on the first compressed image data containing only the first compressed screen data obtained by performing compression coding without referring to the screen data corresponding to other screens 1
  • the compressed screen data in addition to the first compressed screen data, the duplex data corresponding to the screen to be processed is converted to screen data corresponding to another screen. Is performed on the second compressed image data including the second compressed double-sided data obtained by performing the compression encoding with reference to the above, and the random reproduction process on the compressed image data is performed based on the identification flag. This is performed only for the compressed image data of the above item # 1.
  • the reproduction process is performed on the compressed image data obtained by the first compression encoding process that does not refer to another screen, and the second process that refers to another screen is performed. Since the reproduction process is performed on the compressed image data obtained by both the compression encoding process and the first compression encoding process, and the random reproduction process is performed only on the first compressed image data, On the decoding side, random playback processing can be performed well.
  • the present invention provides the image processing method according to Claim 8, wherein, in addition to the header analysis processing and the reproduction processing, a compressed screen data corresponding to a specific screen is provided. Includes an auxiliary header analysis process for analyzing the added auxiliary header including common data common to each screen and individual data corresponding to the specific screen, and corresponds to each screen after the header analysis process.
  • the auxiliary header analysis process is performed for a specific screen, and the auxiliary header analysis process is used to analyze fixed-length code data that continues from the leading position of the auxiliary header.
  • the compressed screen data corresponding to the specific screen included in the auxiliary header can be independently reproduced without referring to both image data of other screens Analyzes the independent playable flag that indicates is there.
  • the analysis processing of the auxiliary header indicated by i 3 ⁇ 4 [l] is performed on the compressed screen data corresponding to the specific screen forming the sweat: reduced image data.
  • the analysis processing of the auxiliary header the analysis of the independent playable flag included in the header is performed following the analysis of the fixed-length code data that follows from the head position of the auxiliary header. By itself, it can be determined whether or not the compressed screen data can be independently reproduced.
  • a dual image processing apparatus is a device that generates digital image data by compression encoding digital image data corresponding to an image composed of a plurality of screens, A prediction data generator that generates the predicted screen data based on the target screen data corresponding to the screen to be processed; and a difference between the target screen data and the predicted screen data. Processing means for outputting the difference screen data as a fractional value or the target screen data based on the control i, and compressing the output data of the arithmetic processing means to obtain a compressed data.
  • a data compressor to generate; a variable-length encoder for performing a variable encoding process on the compressed data from the data compressor to output compressed screen data corresponding to each screen; Based on the above, a header including common data common to each screen is generated, and the compressed image data described above is selected as one suitable for random playback processing for selecting and playing back a compressed screen image corresponding to an arbitrary screen.
  • the digital image data corresponding to one moving image is subjected to a compression encoding process to generate compressed image data.
  • a header including an identification flag indicating whether or not the image is suitable for a random independent re-cow for an arbitrary screen is added to the compressed image data.
  • only fixed-length code data is transmitted, so that the analysis of the identification flag is performed during the analysis of the hedge added to the compressed image data corresponding to one moving image.
  • the suitability of random independent reproduction for the compressed image data can be detected in a short time.
  • the present invention (claim 14) is the image processing device according to claim 13, wherein the variable-length encoder is configured to output the compressed image data before outputting the compressed image data corresponding to each image.
  • a header is output.
  • a synchronization signal indicating the start position of the compressed image data, an identification flag indicating suitability of the compressed image data for random reproduction processing, and the common data are output in this order. It is composed.
  • the synchronization signal, the identification flag, and the data are arranged in the order of the common data, so that the decoding side synchronizes the analysis processing of the identification flag with the decoding data. It can be performed immediately after the signal analysis processing.
  • the present invention (claim 15) is the image processing device according to claim 13, wherein the variable-length encoder outputs compressed screen data corresponding to each screen.
  • the synchronization signal indicating the start position of the compressed image data, the fixed-length code data as the common data, and the random reproduction of the compressed image data
  • the identification flag indicating aptitude and the variable-length code data as the common data are output in the order of 1 (chronological order).
  • the image processing apparatus having such a configuration, in the header, data is arranged in the order of the synchronization signal, the common data of the fixed-length code, the identification flag, and the variable-length code data. Accordingly, the analysis processing of the common data can be skipped, and the analysis can be performed immediately after the analysis processing of the synchronization signal.
  • the present invention (claim 16) is the image processing device according to claim 13, wherein the control step, the identification flag, and the compressed image data correspond to an arbitrary screen.
  • the target screen data is output from the processing means, and the data compressor outputs First compression encoding processing in which screen data corresponding to a screen to be processed is compressed without referring to screen data corresponding to another screen, and the first compressed screen data is output from the variable-length encoder. Is performed on all the screens that compose the image, the arithmetic processing means is controlled, and the identification flag selects the compressed image data and the compressed screen data corresponding to an arbitrary screen.
  • the difference screen data is output from the processing means, and the data compressor outputs the screen data corresponding to the i-th surface to be processed to another screen.
  • the second compression encoding process which is performed by referring to the corresponding screen data and outputs the second compressed screen data from the variable length encoder, is performed on a predetermined screen constituting the image.
  • the first compression encoding process is configured to control the arithmetic processing means so as to be performed on a screen other than the predetermined screen which composes the image. Things.
  • the identification flag is set to the random reproduction processing by the compressed image data.
  • the above-mentioned identification flag indicates that the compressed image data is not suitable for random reproduction processing. Therefore, on the decoding side, compressed image data suitable for random reproduction processing and random coding with high encoding efficiency are used. Compressed image data that is not suitable for playback processing can be quickly identified.
  • An image processing apparatus decodes compressed image data obtained by compression-coding digital image data corresponding to an image composed of a plurality of screens, An apparatus for generating reproduction image data corresponding to the image, comprising analyzing headers included in the compressed image data to generate header information, and each screen included in the compressed image data.
  • An analyzer that analyzes the data corresponding to the image and outputs the compressed screen data; i: a data decompressor that expands the compressed screen data corresponding to each surface to generate decompressed screen data; Then, a processing means for outputting the added screen data of the decompressed screen data and the predicted screen data or the decompressed screen data as the reproduction screen data, and the predicted screen data corresponding to the screen to be processed.
  • Processing image A predicted data generator that generates from the target decompressed screen data corresponding to, and whether the compressed image data is suitable for random reproduction processing for selecting and reproducing a compressed screen data corresponding to an arbitrary screen And control means for controlling the operation means based on an identification flag, which is one of the header information, and the analyzer is provided with a header header as necessary in the header analysis processing.
  • the configuration is such that the identification flag is analyzed by skipping common data consisting of a 13 ⁇ 41 constant-length code that follows from the position to the identification flag.
  • the image processing apparatus when decoding the compressed image data corresponding to one moving image, in the header analysis processing, the fixed-length code data is extended from the header top position. Analysis is skipped as necessary to analyze the identification flag that indicates whether this compressed image data is suitable for random independent playback on an arbitrary screen. During the analysis of the header attached to the corresponding compressed image data, the identification flag can be analyzed quickly, and the suitability of random independent reproduction for the compressed image data can be detected in a short time. You can do it.
  • the invention (claim 18) is an image processing apparatus according to claim 17.
  • the analyzer performs data analysis on the header according to a data input sequence to the analyzer, a synchronization signal indicating a start position of the compressed image data, and suitability for random reproduction processing of the compressed image data. , And the common data.
  • the image processing apparatus having such a configuration, in the header analysis processing, data analysis is performed in the order of the synchronization signal, the identification flag, and the common data.
  • the analysis processing can be performed immediately after the synchronization signal analysis processing.
  • the present invention (claim 19) is the image processing apparatus according to claim 17, wherein the analyzer is configured to analyze data for the header in accordance with a data input order to the analyzer. , A synchronization signal indicating the start position of the compressed image data, fixed-length code data as the common data, an identification flag indicating suitability for random reproduction processing of the compressed image data, and a variable-length code as the common data It is configured to perform data order.
  • the image processing apparatus having such a configuration, in the header analysis processing, data analysis is performed in the order of a synchronization signal, fixed-length code data as common data, an identification flag, and variable-length code data as common data. Therefore, the analysis processing of the identification flag can be performed immediately after the analysis processing of the synchronous signal, if necessary, by skipping the analysis processing of the fixed-length code data as the common data.
  • the present invention (claim 20) is the image processing apparatus according to claim 17, wherein the control means comprises: a compressed screen in which the identification flag power corresponds to an arbitrary screen.
  • the decompressed screen data corresponding to the screen to be processed is output from the arithmetic processing means as it is as playback screen data of the screen to be processed.
  • the decompression processing means is controlled so that the first decompression decoding process that does not refer to other screens is performed on all the screens constituting the image.
  • the image data does not indicate that it is suitable for random playback processing in which compressed screen data corresponding to an arbitrary screen is selected and played back, decompressed screen data corresponding to the screen to be processed and other data
  • decompressed screen data corresponding to the screen is output as the processing means or we treated surfaces of reproducing screen data, the second Shin that refer to other screens
  • the length decoding process is performed on a predetermined screen configuring the image, and the first decompression decoding process is performed on a screen other than the predetermined screen configuring the image. It is configured to control the arithmetic processing means.
  • the reproduction processing is performed on the compressed image data obtained by the first compression encoding processing that does not refer to another screen, and the second processing that refers to another screen is performed.
  • the reproduction process is performed on the compressed image data obtained by both the compression encoding process and the first compression encoding process, and the random reproduction process is performed only on the first compressed image data.
  • random reproduction processing can be performed favorably.
  • a data storage medium according to the present invention (claim 21) is a data storage medium storing an image processing program for compressing and encoding digital image data corresponding to an image composed of a plurality of screens.
  • the image processing program stores an encoding program for causing the digital image data to be compression-encoded by the dual image processing method according to claim 3 as the image processing program. is there.
  • the data storage medium having such a configuration by loading the above-mentioned encoding program into the computer, the digital image corresponding to one moving image is subjected to the compression encoding process, and the compressed image is recorded.
  • a header including an identification flag indicating whether or not this compressed image data is suitable for random independent reproduction on an arbitrary screen is added to the compressed image data, Since the encoding process for transmitting the header so that only fixed-length code data is interposed between the head position and the identification flag is performed by a convenience store, one moving image is generated. In the process of analyzing the header added to the corresponding compressed image data, the identification flag can be quickly analyzed, and the suitability of the random independent random image for the compressed image data can be analyzed. In a short time The image coding process that can be detected can be realized by software.
  • a data storage medium according to the present invention (claim 22) is for decompressing and decoding compressed image data obtained by compression-coding digital image data corresponding to an image composed of a plurality of screens.
  • a data storage medium storing an image processing program, wherein the image processing program is stored on a computer as the image processing program according to claim 8. This stores a decoding program for performing the decoding processing of the compressed image data by the 2R processing method.
  • the data storage medium having such a configuration by decoding the above decoding program in the evening, when decoding the compressed image data corresponding to one moving image, analysis of the header is performed.
  • the analysis of the identification flag indicating whether or not this compressed image data is suitable for random independent reproduction on an arbitrary screen is performed. Since the decoding process for performing the decoding is performed by the combination user, it is added to the compressed image data corresponding to one moving image, and the analysis of the identification flag is performed when the header is analyzed.
  • Decoding processing that can be performed quickly and that can detect the suitability of random independent reproduction of the compressed image data in a short time can be realized by software.
  • FIG. 1 is a diagram showing an image signal decoding structure according to Embodiment 1 of the present invention.
  • FIG. 1 (a) is a sequence header
  • FIG. 1 (b) is suitable for independent reproduction of an arbitrary frame.
  • Fig. II (c) shows compressed image data having a data structure with high compression efficiency.
  • FIG. 2 is a flowchart for explaining image encoding processing by the image processing method according to the first embodiment.
  • FIG. 3 is a block diagram illustrating a configuration of a dual image processing apparatus that performs the image encoding process according to the first embodiment.
  • FIG. 4 is a diagram showing a structure of compressed image data having a data structure different from that of the compressed image data according to the first embodiment of the present invention.
  • FIG. 5 is a diagram showing a structure of compressed image data according to a modification of the first embodiment of the present invention.
  • FIG. 5 (a) shows compressed image data having a data structure suitable for independent reproduction of an arbitrary frame.
  • FIG. 5 (b) shows compressed image data having a high data compression structure that has high compression efficiency and is suitable for independent reproduction of an arbitrary frame.
  • FIG. 6 is a flowchart for explaining image encoding processing by an image processing method according to a modification of the first embodiment.
  • FIG. 7 is a flowchart for explaining image decoding processing by an image processing method according to Embodiment 2 of the present invention.
  • FIG. 8 is a block diagram illustrating a configuration of an image processing apparatus that performs the image decoding process according to the second embodiment.
  • FIG. 9 is a data storage medium (FIGS. 9 (a) and 9 (b)) storing a program for performing the encoding and decoding processes of the above embodiments by a computer system, and the computer. It is a figure for demonstrating a system (FIG. 9 (c)).
  • FIG. 10 is a diagram for explaining the data structure of a conventional image coded signal (compressed data).
  • FIG. 10 (a) shows compressed image data corresponding to one moving image
  • 10 (b) shows compressed image data suitable for independent reproduction of an arbitrary frame
  • FIG. 10 (c) shows compressed image data having high compression efficiency.
  • FIG. 11 is a diagram for explaining a problem in the data structure of a conventional image coding signal.
  • FIG. 11 (a) shows compressed image data suitable for independent reproduction of an arbitrary frame.
  • FIG. 11 (b) shows compressed image data with high compression efficiency
  • FIG. 11 (C) shows compressed image data with high compression efficiency suitable for independent reproduction of arbitrary frames.
  • FIG. 12 is a conceptual diagram for explaining a data structure storing compressed image data corresponding to various moving images.
  • FIG. 13 is a diagram showing a configuration of a sequence header in conventional compressed image data.
  • the image transmission method provides a compressed image data obtained by compression-encoding digital image data (hereinafter, also simply referred to as moving image data) corresponding to a moving image composed of a plurality of screens (frames). This is a method of transmitting data.
  • the digital image data is data represented by a digital image signal including a luminance signal and a color difference signal.
  • This digital image signal corresponds to an image in a conventional rectangular image space (display screen). It may be an image signal or an image signal corresponding to an object area (VOP: Video Object Plane) including an object (both images of an arbitrary shape) on the display screen.
  • VOP Video Object Plane
  • FIG. 1 is a diagram for explaining an image transmission method according to the first embodiment, and FIG. 1 (a) particularly shows a data structure of a header portion of compressed image data.
  • the compressed image data DV includes a frame encoding data Dp corresponding to each frame and a header HV added before the frame encoding data Dp and indicating an attribute of the data Dp. .
  • the frame coded data Dp is obtained by compression-coding image data corresponding to each frame of a moving image.
  • the header Hv includes a synchronization signal Hsd indicating the start of the compressed image data DV, an identification flag (RA flag) Hfd indicating whether the compressed image data DV is suitable for random playback processing, It includes common data Hcd common to each frame, and the synchronization signal Hsd, the identification flag Hfd, and the alignment data Had for aligning the common data Hcd.
  • the random reproduction process is a process of randomly selecting and reproducing frame encoded data corresponding to an arbitrary frame.
  • the compression encoding process corresponding to the digital image data includes two types of processes as described in the related art, that is, an intra-frame encoding process and an inter-frame encoding process.
  • intraframe coding is performed on frame data ⁇ (1) to ⁇ ( ⁇ ) (see FIG. 10 (a)) corresponding to all frames of moving image data D.
  • the second compressed image data DVa obtained by performing the conversion process is data suitable for the random reproduction process. Therefore, in the header Hva in the first compressed image data Dva, the value of the identification flag Hid is set to a value “1” indicating that the compressed image data Dva is suitable for random reproduction processing. Has become.
  • an intra-frame encoding process is performed on the frame data P (l) corresponding to the first frame of the moving image data D, and the subsequent frames are processed.
  • the second compressed image data D vb obtained by subjecting the frame data P (2) to P (n) to interframe coding is not suitable for random reproduction.
  • the value of the identification flag Hfd is a value “0” indicating that the compressed image data Dvb is not suitable for random playback processing. I have.
  • the compressed screen data corresponding to each of the above frames is transmitted sequentially.
  • a synchronization signal Hsd indicating the head position of the compressed image data is transmitted, and then, a determination is made as to whether or not the compressed image data is suitable for random reproduction processing.
  • the indicated identification flag H is displayed. Thereafter, the common data Hcd and the alignment data Had are sequentially transmitted.
  • the digital individual image data D (see FIG. 10 (a)) is subjected to a compression encoding process, and the first compressed image data DVa and the second
  • FIG. 2 is a diagram for explaining an image processing method according to the first embodiment, and shows a flow of an encoding process by the image processing method.
  • the sequence synchronization signal Hsd indicating the start of the compressed image data DV corresponding to the digital moving image composed of a plurality of input images (frames) is generated.
  • Generated step 1012.
  • a 32-bit unique code is used as the synchronization signal Hsd, for example.
  • the identification flag Hfd indicating whether or not compression encoding should be performed without referring to a frame other than the skin processing frame to be encoded.
  • the value of the identification flag H fd is set to “1” when performing the compression encoding process without referring to other frames for all frames in the digital moving image, and otherwise, It is set to “0”.
  • step 104 codes such as common data and aligned data common to each frame are generated (step 104). Then, the data (frame data) of each frame constituting the moving image is sequentially transmitted. A process for compression encoding is performed.
  • step 106 A specific encoding process in step 106 will be briefly described.
  • the image data of each frame is divided so as to correspond to a plurality of macroblocks (image space composed of 16 ⁇ 16 pixels) constituting one screen (one frame).
  • the image data corresponding to each macroblock is divided so as to correspond to a subblock corresponding to an image space composed of 8 ⁇ 8 pixels, and the image data corresponding to each subblock is subjected to DCT processing.
  • the DCT coefficients corresponding to each sub-block are converted, and then the ⁇ CT coefficient corresponding to each sub-block is quantized to generate a quantized coefficient corresponding to each sub-block.
  • Coefficient is variable length It is converted to.
  • Such a process is performed on all macro blocks constituting one frame, and frame encoded data is output.
  • the predetermined frame data P (l) constituting the moving image data D is subjected to intra-frame encoding processing, and the fif constant frame data P (1) Frame data encoding processing is performed on frame data P (2) to P (n) other than.
  • predicted macroblocks are detected by a method that detects the motion of an image on a screen (frame), such as block matching.
  • frame a screen
  • the time between the image data corresponding to the coded frame temporally adjacent to the frame to be coded and the target macroblock to be coded A region composed of 16 ⁇ 16 pixels having the smallest pixel value error is detected as the above-mentioned prediction macro block.
  • the image data of the predicted macroblock is subtracted from both image data of the target macroblock, and a difference data corresponding to the target macroblock is generated. Further, the difference data is divided so as to correspond to the above-described sub-block composed of 8 ⁇ 8 pixels.
  • the corresponding difference data is subjected to DCT processing to generate DCT coefficients. Further, the DCT coefficient is subjected to a quantization process to generate a quantization coefficient. Finally, the quantized coefficients are converted to a variable number code. Such a process is performed on all macro blocks constituting one frame, and frame encoded data is output.
  • step 107 it is determined whether or not the input frame data corresponds to the last frame constituting the digital moving image. u If the result of this determination is that the input frame data does not correspond to the last frame, the encoding process in step 106 is performed, and the input frame data corresponds to the last frame. If there is, the encoding process for the moving image data is completed (step 108).
  • the compressed image data DVa suitable for the random reproduction processing shown in FIG. 1 (b) or the compressed image data DV not suitable for the random reproduction processing shown in FIG. b is generated.
  • Such a compressed image data is transmitted to the decoding device via a communication line, or supplied to the decoding device by storing it in a recording medium.
  • Tables 4, 5, and 6 show examples of the structure of the compressed image data obtained by such processing, especially the data arrangement in the header. Note that these tables show the structure of the compressed image data DV shown in FIG. 1 (a). In other words, in these tables, the compressed image data DVa suitable for random reproduction processing shown in FIG. 1 (b) and the compressed image data DVb not suitable for ortho random reproduction processing shown in FIG. I do not distinguish. (Table 4)
  • a synchronization signal 802 indicating the start of a moving image is arranged, and the synchronization signal 802 is represented by a unique fixed length code of 32 bits.
  • data 814 corresponding to a one-bit identification flag Hfd is arranged.
  • various common data 803 to 8 13 common to each frame are arranged.
  • These common data 803 to 813 include data 803 to 809 and 811 to 813 represented by fixed-length codes, and data represented by variable-length codes. 8 10 is included.
  • the aligned data 8 15 following the above-mentioned common data is used for aligning the data of the above-mentioned synchronization ⁇ 802, identification flag code 8 14, and common data 8 Q 3 to 8 13. It is.
  • the frame coding obtained by coding the image data corresponding to each frame of the actual moving image by the above-described intra-frame coding method or inter-frame coding method.
  • Data 8 16 and data 8 17 relating to the data are arranged. However, these data 8 16 and 8 17 actually contain concrete data such as DCT coefficients and quantum steps in MPEG 1, 2, and 4 etc. Data is shown as a single data group, not shown.
  • the data 814 corresponding to the identification flag Hfd is placed immediately after the sequence synchronization signal (data 802), and after a predetermined N bits from the data indicating the sequence synchronization signal, For example, it may be after the data 803. Preferably, it should be placed before data accompanied by the judgment condition (fixed length code data) or variable length code data. In any case, it is effective to place it near the beginning of the common data.
  • FIG. 3 is a block diagram for explaining the image coding apparatus according to the first embodiment.
  • the image encoding device 100a is a device that compresses and encodes digital image data (moving image data) corresponding to a moving image composed of a plurality of frames to generate compressed image data.
  • the image encoding apparatus 100a includes a prediction data generator 400 that generates predicted frame data 420 based on a target frame data corresponding to a frame to be processed; 6 and an adder 402 that outputs difference frame data as a difference value between the prediction frame data 420 and the prediction frame data 420.
  • the image encoding device 100a includes a data compressor 4003 that compresses the output data 421 of the adder to generate compressed data 423, And a variable-length encoder 41 that performs a variable-length encoding process on the compressed data 4 23.
  • the data compressor 403 includes a discrete cosine transformer (DCT unit) 404 that performs DCT processing on the output 421 of the adder 402, and an output 422 of the DCT unit 404. And a quantizer 405 for converting 2 into a halo and outputting the compressed data.
  • DCT unit discrete cosine transformer
  • the moving image data 416 input to the first input terminal 401 is transmitted to the prediction data generator 400 via the first switch 43a. 6 and the predicted frame data 420 is supplied to the adder 402 via the second switch 4334b.
  • the compressed data 423 output from the data compressor 403 is supplied to the prediction data generator 306 via a third switch 434 c, and the prediction data generator 406 is provided.
  • the motion information (motion vector) 4 18 generated in 6 is output to the variable length encoder 4 14 via the fourth switch 4 3 4 d.
  • the image encoding device 100a generates header information 436 including common data common to each screen based on the digital image data, and generates the header variable variable length encoder 4a.
  • Control signal 4 3 4 a to 4 3 4 d based on an external control signal 4 3 5. It has a controller 4 3 3.
  • the external control signal 435 indicates whether or not the compressed image data is suitable for random playback processing for selecting and playing back compressed screen data corresponding to an arbitrary screen.
  • the identification flag Hfd is included. P JP99 / 00275
  • variable-length encoder 4 14 performs a variable-length encoding process on the header information 4 36, the motion information 4 18, and the compressed data 4 23, and performs compression corresponding to the moving image.
  • the bit stream 431 as the image data Dv is output to the output terminal 415.
  • the variable-length encoder 4 14 changes the code corresponding to the identification flag Hfd from the head position of the header to the identification flag code. Up to this point, the output is such that only the code of the fixed-length code data is interposed.
  • the prediction data generator 406 receives the compressed data 423 from the data compressor 403 via the third switch 434c, and performs decompression processing on the compressed data 423.
  • a data decompressor 407 that outputs decompressed data 4 26, and the decompressed data 4 26 is added.
  • Vessel 409 the data decompressor 407 generates an inverse quantizer 407 a for inversely quantizing the compressed data 423 and an output 425 of the inverse quantizer 407 a.
  • it comprises an IDCT unit 407b that performs an inverse DCT process for converting frequency domain data into spatial domain data and outputs the decompressed data 426.
  • the prediction data generator 406 stores a frame memory 410 that stores the output (reproduced data) 427 of the second adder 409 as reference image data corresponding to the next processing frame. have.
  • the frame memory 410 is configured to output stored data based on an externally read address signal 428.
  • the prediction data generator 406 determines a motion vector MV corresponding to the target block of the current processing frame based on the input digital image data 416 and outputs the motion vector MV. 11; an address generator 4 1 2 for generating a read address signal 4 2 8 for the frame memory 4 10 based on the motion vector MV 4 18 from the motion detector 1 1 4; And a prediction signal acquisition unit 413 for acquiring the data of the area designated by the read address signal 428 in 410 and outputting the data as the prediction frame data 420. ing.
  • Digital image data is input to the first input terminal 401, while information (flag information) 435 of the identification flag Hfd is input to the second input terminal 432. Then, based on the flag information 435, the controller 433 generates the control i numbers 437a to 437d, and the switches 4334a to 434d are controlled to open and close.
  • the control signals 437a to 437d are the same control signal.
  • the switch 4 3 4 a. 4 3 4 d is opened by the control signal 4 3 3 a to 4 3 7 d of the controller 4 3 3 force.
  • the input digital image data is subjected to intra-frame encoding processing on frame data corresponding to all frames.
  • the digital image data passes through the adder 402 as it is and is input to the data compressor 403, where the data compression processing (DCT processing and quantization processing) corresponding to the MPEG is performed by the data compressor 403. Will be applied.
  • the compressed data (quantized coefficient) 423 from the data compressor 403 is converted into a variable length code by a variable length encoder 414.
  • frame decoding data Pa (l) to Pa (n) corresponding to each frame are generated.
  • the variable length encoder 4 14 converts the sequence synchronization signal (synchronization signal Hsd), the identification flag Hfdl (value 2 1), other common data Hcd, the alignment data Had, and the like into codes,
  • a header Hv a is formed.
  • the header HVa is formed such that the synchronization signal Hsd, the identification flag Hfdl, the common data Hcd, and the alignment data Had are transmitted in this order.
  • the encoded frame data Pa (l) to Pa (n) to which the header Hva is added are output from the variable length encoder 4 14 as compressed image data Dva.
  • the switch 4 3 4 a. 4 3 4 d is controlled to open and close by control signals 4 3 7 a to 4 3 7 d from the controller 4 3 3.
  • the frame data P (1) corresponding to the first frame is subjected to intra-frame encoding processing, and the subsequent frames are processed.
  • Corresponding frame data P (2) to P (n) are subjected to an inter-frame encoding process.
  • the input digital image data has an inter-frame code. Conversion processing is performed.
  • the prediction data generator 406 generates prediction data 420 corresponding to the frame to be processed based on the data of the frame that has already been subjected to the encoding processing. Then, in the first adder 402, the above-described predicted frame data 420 is subtracted from the frame data 416 corresponding to the frame to be processed, and a difference frame data 421 is generated.
  • the frame data 421 is converted to frequency domain data 422 by the DCT unit 404 in the data compressor 403, and further converted to quantized coefficients by the quantizer 405. Then, it is output to the variable length encoder 414 as compressed data 423.
  • variable-length encoder 4 14 converts the compressed data (quantized coefficient) 4 2 3 into a variable-length code to generate frame encoded data Pb (2) to Pb (n).
  • the compressed data 423 is input to the prediction data generator 406 via the third switch 434c. Then, the compressed data (quantized coefficient) 4 2 3 is inversely transformed by a data decompressor 407 into frequency domain data 4 25 by an inverse quantizer 407 a. 25 is converted to spatial domain data 426 by the inverse IDCT unit 407b, and output as dimensional data.
  • the restored data 426 is added to the above-mentioned predicted data 420, and is output as reproduced data 427.
  • This re-cow data 427 is stored in the frame memory 410 as reference data for encoding data of the next frame.
  • the motion detector 411 detects the motion information of the image for each frame by a method such as block matching based on the input digital image data 416, and the motion vector 4
  • the address is output to the address generator 4 12 as 1 8.
  • the address generator 412 uses the motion vector 418 to generate a framemeasurement.
  • An address signal 428 specifying a memory area in the memory 410 is generated.
  • the prediction signal acquisition unit 413 acquires the data of the memory area of the frame memory 410 designated based on the address signal 428 as the prediction data 420, and Output to the adder.
  • the motion vector 418 is output to the variable length encoder 414 via the fourth switch 434 d, and is converted to a variable length code by the variable length encoder 414. Converted.
  • a header Hvb is formed.
  • the header Hvb is formed such that the synchronization signal Hsd, the identification flag Hfd2, the common data Hcd, and the alignment data Had are transmitted in this order.
  • the coded frame data Pb) to Pb (n) to which the header Hvb is added are output from the variable length encoder 414 as compressed image data Dvb.
  • the digital image data corresponding to one moving image is subjected to the compression encoding process to generate the compressed image data.
  • the compressed image data is applied to an arbitrary screen.
  • An identification flag that indicates whether or not it is suitable for random independent playback is placed next to the synchronization signal Hsd at the beginning of the header, so it is added to the compressed image data corresponding to one moving image.
  • the identification flag can be analyzed quickly, and the suitability of random independent reproduction for the compressed image data can be detected in a short time.
  • an identification flag indicating the suitability of the random reproduction process for the compressed image data is used as the synchronization signal Hsd in the header.
  • the data structure of the above header is not limited to this.
  • the data structure of the above header is such that the first common data Hcdl composed of a fixed length code is arranged after the synchronization signal Hsd, and then the identification flag Hfd is arranged like the header Hvm shown in FIG. , followeded by a second common data H consisting of variable length Even Hcd2 and alignment data Had may be arranged sequentially.
  • FIGS. 5 and 6 are diagrams for explaining an image transmission method and an image processing method according to a modification of the first embodiment.
  • FIG. 5 is a diagram for explaining an image transmission method according to a modification of the first embodiment.
  • Fig. 5 (a) shows the first compressed image data DVc suitable for random playback processing
  • Fig. 5 (b) shows the second compressed image data DVd not suitable for random playback processing. Is shown.
  • the first compressed image data Dvc corresponds to the frame data P (l) to P (n) (see FIG. 10 (a)) corresponding to all the frames of the moving image data D. It is obtained by performing inner coding processing.
  • a frame header (VOL) Hvc (l)-; Hvc (n) is added before the frame encoding data Pa (l) -Pa (n) corresponding to each frame. I have.
  • each frame hegg Hvc (l) to Hvc (n) has independent playback indicating whether or not the corresponding frame encoded data Pa (l) to Pa (n) can be subjected to random playback processing.
  • the possible flag Hfdl is included.
  • the frame coded data Pa (l) to Pa (n) corresponding to each frame are obtained by the intra-frame coding process, and thus the above headers Hvc (l) to Hvc (n)
  • the value of the independent reproduction enable flag Hfdl in () is “1” indicating that random reproduction processing is possible for each frame coded data.
  • the synchronization signal Hsd, the independent playable flag Hfdl, the common data Hcd, and the alignment data Had are the first data. As shown in the figure, they are arranged in this order, similarly to the header HV in the compressed image data DV of the first embodiment.Although not shown here, the first embodiment is applied to the compressed image data Dvc. Similarly to the above, a header corresponding to the entire compressed image data Dvc including an identification flag Hfd indicating that the compressed image data Dvc is suitable for random reproduction processing is added.
  • the second compressed image data Dv described above corresponds to a predetermined frame of the moving image data D. This is obtained by performing intra-frame encoding on the corresponding frame data and performing inter-frame encoding on the other frames.
  • Each of the frame headers H vd (l),..., II vd (r),..., Hvd (n) has corresponding frame encoded data Pd (l), ' ⁇ , Pd (r ),..., Pd (n) include an independent playable flag Hfdl or HfdO indicating whether or not the random play processing is possible.
  • the frame headers HV d (1) and H vd (r) are independent.
  • the value of the reproducible flag Hfdl is “1” indicating that the frame encoded data Pd (l) and Pd (r) can be subjected to random reproduction processing.
  • frame coded data Pd (2), Pd (3), Pd (4), ⁇ , Pd (nl), and Pd (n) other than those described above are obtained by the interframe coding process.
  • the values indicate that these frame coded data Pd (2), Pd (3), Pd (4),-, Pd (nl), Pd (n) are not capable of random playback processing. 0 ".
  • the data Had are arranged in this order, like the header Hv in the compressed image data DV of the first embodiment shown in FIG.
  • the compressed image data Dvd includes an identification flag Hfd indicating that the compressed image data Dvd is not suitable for random reproduction processing, as in the first embodiment.
  • a header corresponding to the entire compressed image data DV d is provided.
  • a header corresponding to the entire compressed image data is transmitted, and then, the compressed screen data (corresponding to each of the frames) constituting the compressed image data is transmitted.
  • the compressed screen data (corresponding to each of the frames) constituting the compressed image data is transmitted.
  • all compressed image data In the transmission processing of the header corresponding to the frame or each frame header HVc or Hvd, first, the synchronization signal Hsd indicating the head position of the above-described compressed image data is transmitted, and then the identification flag Hfd or an independent flag is output.
  • the reproducible flags H fdl and H fdO are transmitted. After that, the common data Hcd and the alignment data Had are transmitted sequentially.
  • FIG. 6 is a diagram for explaining an image processing method according to a modification of the first embodiment.
  • This image processing method is an extension of the image processing method of the first embodiment shown in FIG. is there.
  • the image processing method of this modified example includes the steps 105 to 107 included in the image processing method of the first embodiment shown in FIG. 05, step 209, step 210, and step 207. Therefore, the processing of the other steps 201 to 204 and 208 included in the image processing method of this modified example is performed by the steps 101 to 104 and 207 included in the image processing method of the first embodiment. This is exactly the same as the processing of 108.
  • a sequence synchronization signal indicating the start of a compressed image data DV corresponding to a digital moving image composed of a plurality of input images (frames). Hsd is generated (step 202).
  • a 32-bit unique code is used as the synchronization signal Hsd, for example.
  • a code of an identification flag Hfd indicating whether or not to perform compression coding without referring to a frame other than the target frame to be coded is generated (step 2 0 3).
  • the value of the identification flag H fd is set to “1” when performing compression encoding processing on all the frames in the digital moving image without referring to other frames. 0 ”.
  • step 20 codes such as common data and aligned data common to each frame required when reproducing the compressed image data DV on the reproducing side are generated (step 20).
  • the processing of sequentially compressing and encoding the data (frame data) of each frame constituting the moving image is performed in steps 205, 209, 210.207.
  • a frame synchronization signal corresponding to each frame is generated (step 209).
  • This frame synchronization signal is a unique code indicating the start of each frame, which is different from the sequence synchronization signal in step 202.
  • an independent reproducible flag indicating whether or not the frame encoded data corresponding to the frame to be processed is independently reproducible is generated (step 210).
  • the input frame data is subjected to compression encoding processing to generate encoded frame data (step 206).
  • step 206 is exactly the same as the processing in step 106 in the image processing method according to the first embodiment.
  • the intra-frame encoding process is performed on all the frame data F (l) to F (n) constituting the video data D. You.
  • the identification flag H fd is “0”
  • intra-frame encoding processing is performed on a predetermined frame data constituting the moving image data D according to the independent reproduction enable flag, and a predetermined frame Inter-frame encoding processing is performed on frame data other than data.
  • step 207 it is determined whether or not the input frame data corresponds to the last frame constituting the digital moving image. If the result of this determination is that the input frame data does not correspond to the last frame, the generation of a frame synchronization signal in step 209, the generation of an independent reproducible flag in step 210, and the step The encoding process in 6 is performed again. If the input frame data corresponds to the last frame, the encoding process for the moving image data ends (step 208). Due to the above-described encoding processing, the compressed image data DVc suitable for the random reproduction processing shown in Fig. 5 (a) or the random reproduction processing shown in Fig. 5 (b) is not suitable for encoding. A highly efficient compressed image data DV d is generated.
  • Such compressed image data is transmitted to the decoding device side via a communication line, or supplied to the decoding device side by storing it in a recording medium.
  • the image processing method uses the image processing method.
  • a frame header (auxiliary header) is added to the frame encoding data (compressed screen data) corresponding to each frame constituting the compressed image data.
  • a fixed code length data is included between the head position of the frame header and the independent playable flag, including an independent playable flag indicating whether or not the frame encoded data of each frame is independently playable. Since only one night is interposed, the analysis of the identification flag in the header corresponding to the entire compressed image data can be performed quickly, and it is added to the frame coded data corresponding to each frame. In the process of analyzing the frame header, the analysis of the independent playable flag can be performed quickly.
  • This image processing method is a method of decoding compressed image data obtained by compressing and encoding digital image data corresponding to an image composed of a plurality of screens, and generating a reproduced image data corresponding to the image.
  • the compressed image data to be decoded is assumed to be compressed image data Dv having the data structure shown in FIG. 1 (a).
  • the compressed image data DV is not suitable for the compressed image data Dva suitable for random reproduction processing shown in FIG. 1 (b) and the random reproduction processing shown in FIG. This is one of the compressed image data DV b with high encoding efficiency.
  • FIG. 7 is a diagram for explaining an image processing method according to the second embodiment, and shows a flow of a decoding process by the image processing method.
  • Step 301 when compressed image data DV (detailed data structure is shown in Tables 4 to 6) encoded by the image processing method according to the first embodiment is input (Step 301), the encoding process is started. At this time, a sequence synchronization signal in the header added to the compressed image data DV is detected (step 302). This sequence synchronization signal corresponds to data 802 in Table 4.
  • control signal is provided by an external input (such as pressing a fast-forward button).
  • step 303 random access reproduction processing is not performed.
  • decoding of the common data (data 803 to 815 in Tables 4 to 6) in the header is performed. Then, the decoding process is performed for the frame encoded data corresponding to each frame (step 307).
  • each frame encoded data is reproduced by a predetermined decoding method (Step 310).
  • the frame coding data of the I frame is subjected to inverse quantization and inverse DCT sequentially on the quantized coefficients corresponding to each sub-block, and an image corresponding to each macro block is processed.
  • the processing for reproducing data is performed for every macro block constituting the frame.
  • an inter-frame decoding process that refers to reproduction data of another frame is performed.
  • the quantization coefficients (quantized DCT coefficients) of each sub-block are subjected to inverse quantization and inverse DCT processing around I, and each macro block is decoded. Is restored.
  • motion compensation is used to generate prediction data of the image data corresponding to the target macroblock in the frame to be processed, from the image data of the decoded frame that has already been decoded ⁇ b. Is done.
  • the prediction data and the restored difference data are added to reproduce the image data of the target macro block.
  • step 311 it is determined whether or not the encoded frame data to be decoded corresponds to the last frame in the compressed image data DV (step 311). If the result of this determination is that the frame coded data does not correspond to the last frame, the coding process in step 310 is performed again, and the frame coded data corresponds to the last frame. If so, the decoding process for the compressed image data DV ends (step 312).
  • step 303 random access reproduction processing is performed.
  • the identification flag Hfd described in the above description of the encoding process is extracted (step 304).
  • the data 814 of the self-identification flag Hid exists immediately after the data 802 (sequence synchronization signal). Therefore, after the decoding of the sequence synchronization signal, the identification flag H fd can be immediately extracted.
  • the value of the identification flag Hfd is examined to determine whether or not the input compressed image data DV is suitable for random access reproduction processing (independent reproduction processing) (step 30). Five ) .
  • the identification flag Hfd When the value of the identification flag Hfd is “1”, the identification flag Hfd indicates that the compressed image data DV is suitable for the independent reproduction process, and the value is “0”. In the case of, the identification flag H fd indicates that the compressed image data DV is not suitable for independent reproduction processing.
  • step 3 05 if the value of the identification flag Hfd is “1”, common data relating to image processing of each frame is analyzed after the identification flag Hfd. (Step 308). After that, the encoded data corresponding to each frame is reproduced by decoding (step 310).
  • the decoding process in step 310 in this case is different from the decoding process without random access only in the point L where the inter-frame decoding process is not performed.
  • step 311 it is determined whether or not the frame coded data to be decoded corresponds to the last frame in the I-denatured image data DV (step 311). If the result of this determination is that the frame-encoded data does not correspond to the last frame, the encoding process in step 310 is performed repeatedly, and the frame-encoded data corresponds to the last frame. If so, the decoding process for the compressed image data DV ends (step 312).
  • step S305 determines whether the result of the determination in step S305 is that the value of the identification flag Hfd is "0"
  • the decoding process corresponding to the input compressed image data Dv ends (step 31).
  • the image decoding process according to the second embodiment has a structure in which the header of the input compressed image data DV ⁇ and the identification flag Hid are placed immediately after the sequence synchronization signal.
  • the compressed image data DV corresponding to the moving image is suitable for independent processing, that is, whether or not all the frame coded data corresponding to each frame constituting the moving image can be independently reproduced. Can be determined immediately.
  • the detection processing of the sequence synchronization signal in step 302 is performed before the random access determination processing in step 303, but the detection processing of the sequence synchronization signal in step 302 is performed. May be performed after the random access determination processing in step 303.
  • the compressed image data D v to be decoded indicates that the header has an identification flag H fd immediately after the sequence synchronization signal, and the compressed image data D v In the header of the evening DV, the identification flag H fd may be placed after the fixed length of N bits.
  • the N-bit data is skipped, and the identification flag Hfd force is extracted ⁇ in step 304, the skipped N-bit is skipped in step 308. It will be decrypted, including the night.
  • identification flag H fd When the above-mentioned identification flag H fd is placed before data with a determination condition (fixed-length coded data) or variable-length coded data, there is no need to make a condition determination, and an independent reproducible flag can be used immediately. Is suitable for random access.
  • the identification flag Hfd when the identification flag Hfd is placed before the variable-length code, the data before the identification flag Hfd is subjected to the analysis of the data and the input header data and the data prepared in the table. Since there is no need for comparison, the identification flag H fd can be extracted quickly.
  • the input compressed image data Dv is not limited to the one having the header in which the identification flag is located immediately after the synchronization signal Hsd as a header corresponding to the entire compressed image data.
  • a frame header including an independently playable flag may be added to each of the encoded frames of the compressed image data.
  • the independent renewable flag exists for each frame. Therefore, only by looking at the frame-encoded data corresponding to each frame, it can be determined whether or not this frame can be independently reproduced. Also in this case, since the independent playable flag is located immediately after the frame synchronization signal in the frame header, it can be immediately determined whether or not this frame can be independently played.
  • FIG. 8 is a block diagram for explaining an image decoding apparatus according to the second embodiment.
  • the image decoding apparatus 100 Ob receives compressed image data 511 obtained by compressing and encoding digital image data corresponding to a moving image composed of a plurality of frames, and decodes the compressed image data. And a device for generating a reproduced image data corresponding to the image.
  • the compressed image data is generated by the image encoding device 100a of the first embodiment.
  • the image decoding device 100b analyzes the header and other data included in the compressed image data to generate control information 523 and motion information ⁇ 524, and An analyzer 502 that analyzes data corresponding to each frame included in the compressed image data 511 and outputs compressed frame data 512, and a decompressed frame that expands the compressed frame data corresponding to each of the above frames. And a data decompressor 503 for generating data 514.
  • the analyzer 502 skips the common data consisting of fixed-length codes extending from the header start position to the identification flag as needed, and performs the identification. It is configured to perform flag analysis.
  • the data decompressor 503 includes an inverse quantizer 503 a for performing inverse quantization on the compressed image data to generate frequency domain data 5 L3, and the inverse quantization
  • the inverse IDCT unit 5 which performs an inverse discrete cosine transform process (IDCT process) for converting the frequency domain data into the spatial domain data on the output of the device 5 03 a and outputs the decompressed frame data 5 14 0 3 b.
  • the upper image decoding apparatus 100b generates a predicted frame data 520 based on the decompressed frame data output from the data decompressor 503.
  • the measured data generator 506, the decompressed frame data corresponding to the processed frame from the data decompressor 503 and the predicted frame data 520 corresponding thereto are added, and the reproduced frame data 515 And an adder 505 for outputting the same to an output terminal 510.
  • the motion information (motion vector) 524 obtained by the analysis by the analyzer 502 is transmitted via the first switch 522a. It is supplied to a self-prediction data generator 500 fi, and the predicted frame data 520 is supplied to the adder 505 via a second switch 522 b. Also, the reproduced frame data 515 output from the adder 505 is supplied to the prediction data generator 506 via the third switch 522c. ing. Further, the image decoding apparatus 100 b transmits the respective switches 52 2 a 5 22 c based on the control information 52 3 obtained by analyzing the header in the analyzer 502. Is controlled by a control signal 52 5 a 5 25 c.
  • the prediction data generator 506 has a frame memory 507 for storing the output (reproduction data) 515 of the adder 505 as reference image data corresponding to the next processing frame.
  • the frame memory 507 has a configuration in which the stored data is piled up based on the read address signal 518.
  • the prediction data generator 506 includes an address generator that generates a read address signal 518 for the frame memory 510 based on the motion vector 517 from the analyzer 520. 508 and a reserved signal acquisition unit 509 which acquires data in an area designated by the read address signal 518 in the frame memory 510 and outputs the data as the predicted frame data 520.
  • the analyzer At 502 When the compressed image data in the format shown in Tables 4 to 6 that has been compression-encoded by the image encoding device 100a according to the first embodiment is input to the input terminal 501, first the analyzer At 502, the header of the compressed image data is analyzed, and a sequence synchronization signal and the like are detected. In addition, a random key for fast forward playback, fast rewind playback, or image editing of an image can be input by an external input (such as pressing the fast forward button). An external control signal (not shown) for performing access is input to the analyzer 5-2.
  • the analyzer 502 decodes the common data (data 803 to S15 in Tables 1 to 6), and encodes the frame corresponding to each frame. Preparations for data decryption processing are performed. In this case, the switches 522 a to 522 c are controlled to open and close according to the coding type of the frame (I picture, P picture, B picture) by the control signal from the controller 521. . In the analyzer 502, a motion vector 524 is extracted based on the frame data corresponding to each frame in the compressed image data, and a quantization width corresponding to each frame is extracted. And the quantized coefficient are output to the data decompressor 503 as compressed data 512.
  • the compressed data (quantization coefficient) ⁇ 2 is quantized by the data decompressor 503.
  • the inverse quantizer 503 a performs inverse quantization processing to convert the data into frequency domain data 503, and then performs the inverse DCT processing 503 b to perform inverse DCT processing to perform data processing on the empty area (decompressed data) Is converted to 5 1 4).
  • the inverse quantization process and the inverse DCT process are performed for each sub-block in a macro block constituting each frame. Then, the data is output from an output terminal 5 10 as reproduction data 5 15 via a decompressed data adder 5 05 corresponding to each macro block.
  • the data decompressor 503 sets the quantization coefficient (compressed data) corresponding to each subblock to the inverse quantization.
  • the decoding process and the inverse DCT process are sequentially performed, and the difference data corresponding to each macro block is restored as the decompressed data. Then, the difference data corresponding to the target macroblock is added to the corresponding prediction data by the adder 505, and output as reproduction data.
  • the prediction data generator 506 as in the prediction processing of the reproduced data power encoding device for the decoded frame stored in the frame memory 507, the end address generator 508 and As a result of motion compensation by the prediction signal acquisition unit 509, the prediction data is read out as prediction data corresponding to the target macroblock in the frame to be processed. That is, the address generator 508 of the prediction data generator 506 generates an address signal 518 of the frame memory 507 based on the motion vector from the analyzer 502. Then, the data of the area designated by the address signal in the frame memory is acquired as the above-mentioned predicted data 520 by the predicted signal acquiring unit 509.
  • the difference data from the data decompressor 503 and the prediction data are added by the adder 505 and output as reproduction data of the target macroblock.
  • the identification flag 523 is extracted and output to the controller 521.
  • the data 8 14 corresponding to the identification flag H fd is immediately placed immediately after the data 8 0 2 corresponding to the sequence synchronization signal.
  • the identification flag Hfd can be extracted in a short time.
  • the controller 521 analyzes the identification flag Hfd and determines whether the compressed image data is suitable for random playback processing. Is determined.
  • the analyzer 502 analyzes the common data ( (Variable length decoding), the reproduction process of the frame coded data corresponding to the predetermined frame is performed by the intermediate length 503.
  • the switches 52 2 a to 52 2 c are transmitted from the controller 52 1 to It is kept open by the control signal.
  • the controller 5 From 21, the information power not to perform independent decoding is supplied to the required part of the decoding device;
  • the analysis processing of the identification flag Hid is performed after the analysis processing of the sequence synchronization signal in the header of the compressed image data DV. Immediately determine whether the corresponding compressed image data DV is suitable for independent playback processing, that is, whether or not all the frame coded data corresponding to each frame constituting the moving image can be independently played back. be able to.
  • FIG. 9 is a diagram for explaining a case where the image processing in each of the above-described embodiments and its modifications is performed by a computer system using a floppy disk storing the above-described image processing program.
  • Fig. 9 (a) shows the external appearance, cross-sectional structure, and floppy disk main body as viewed from the front of the floppy disk
  • Fig. 9 (b) shows an example of the physical format of the floppy disk main body. ing.
  • the floppy disk FD has a structure in which the floppy disk main body D is housed in a floppy disk case FC, and a plurality of tracks are formed on the surface of the floppy disk main body D concentrically from the outer periphery toward the inner periphery. A track Tr is formed, and each track Tr is angularly divided into 16 sectors Se. Therefore, in the floppy disk FD storing the above program, the floppy disk main body D has the data as the above program recorded in the area (sector) Se allocated thereon. ing.
  • FIG. 9 (c) shows a configuration for performing image processing by software using a program i stored in the floppy disk FD and the above-mentioned program i for the floppy disk FD.
  • the description has been made using a floppy disk as a data storage.However, even when an optical disk is used, encoding or decoding by software is performed in the same manner as in the case of the floppy disk. Can be. Further, the storage medium is not limited to the above-mentioned optical disk and floppy disk, but may be any type such as an IC card or a ROM cassette as long as it can record a program. Even in the case of using, the image processing by software can be performed in the same manner as in the case of using the above-mentioned floppy disk or the like.
  • the image encoding i stored in a data storage medium such as a floppy disk is used as the image signal data structure according to the first embodiment or its modification, so that When decoding an image-encoded signal and displaying an image, the same effects as those of the decoding processing according to the second embodiment can be obtained.
  • the image transmission method, the image processing method, the image processing apparatus, and the data recording medium according to the present invention perform random access reproduction processing for randomly selecting and reproducing compressed data for an arbitrary frame of a moving image. It can be performed within the time required to avoid waiting time, and is extremely useful in image coding and decoding in systems that transmit and store image signals. It is suitable for random image processing of arbitrary frames, such as fast-forward playback, fast-rewind playback, and editing of compressed moving image data conforming to standards such as MPEG4.

Description

明 細 書 画像伝送方法, 画像処理方法, 画像処理装置, 及びデータ記憶媒体 技術分野
本発明は、 画像伝送方法, 画像処理方法, 画像処理装置, 及びデータ記憶媒体 に関し、 特に、 複数のフレームからなる画像に対応する符号化されたデジタル画 像データを伝送する方法、 デジタル画像データに対する符号化処理を行う方法及 び装置、 符号化されたデジタル画像デー夕に対する復号化処理を行う方法及び装 置、 並びに、 コンピュータによるデジタル画像データの符号化処理及び復号ィ匕処 理を行うためのプログラムが記録されたデータ記憶媒体に関するものである。 背景技術
デジタル画像情報, つまりデジタル信号により構成された画像データを効率よ く蓄積もしくは {云送するには、 デジタル画像情報を圧縮符号化する必要があり、 現状では、デジタル画像情報を圧縮符号化するための方法として、 J P E G (Joint Photographic Coding Experts Group) や M P E G (Moving Picture Experts Group; に準拠した画像処理技術に代表される離散コサイン変換 (D C T : Discrete Cosine transform ) の他に、 サブバンド、 ウェーブレツ 卜、 フラクタル等の波 形符号化方法がある。
また、 隣接するフレーム等の表示画面間における冗長な画像情報を取り除く方 法としては、 動き捕償を fflいた画面間予測を行い、 つまり現画面の画素の画素値 を、 これと前画面の画素の画素値との差分を用いて表し、 この差分信号を符号化 する方法がある。
以下、 従来の画像処理方法として、 動き補償を伴う D C T処理が行われる M P E G方式の画像符号化方法及び画像復号化方法について簡単に説明する。
この画像符号化方法では、 まず、入力された画像信号を、 1画面( 1フレーム) を構成する複数のブロック (マクロブロック) の各々に対応するよう複数の画像 信号に分割し、 各マクロブロックに対応する画像信号の符号化処理を上記マク口 ブロック毎に行う。 ここで一つのマクロブロックは、 上記 1画面における、 1 6 X 1 6画素からなる画像表示領域となっている。 なお、 入力される画像信号が任 意の才ブジヱク 卜画像に対応するものである場合は、 該画像信弓を、 1フレーム 中の該ォブジェク 卜画像に対応した表示領域 (ォブジェク 卜領域) を構成する複 数のブロック (マクロブロック) の各々に対応するよう分割する。
そして、 各マクロブロックに対応する画像信号を、 さらに 8 x 8画素からなる 画像表示領域に相当するサブプロックに対応させて分割し、 該サブプロック毎に 対応する画像信号に D C T処理を施して、 各サブプロックに対応する D C T係数 を生成する。 その後、 各サブプロックに対応する D C T係数を量子化して各サブ ブロックに対応する量子化係数を生成する。 このようにしてサブブロックに対応 する画像信号を D C T処理及び量子化処理により符号化する方法は、 フレーム内 符号ィ匕方法と呼ばれている。
また受信側では、 上記各サブプロックに対応する量子化係数に対して逆量子化 処理及び逆 D C T処理を順次施して、 各マクロプロックに対応する画像信号を再 生する。 なお、 上記フレーム内符号化方法により画像信号の符号化処理が施され たフレーム (いわゆる I ピクチャー) に対応する符号化データは、 独立再生可能 であり、 その復号化処理を、 他のフレームに対応する両像データを参照すること なく行うことができるものである。
これに対して、フレーム間符号ィ匕方法と呼ばれる画像信号の符号化方法がある。 この符号化方法では、 まず、 ブロックマッチングをはじめとする、 画面 (フレー ム) 上での画像の動きを検出する手法により、 符号化の対象となっている被処理 フレームに時間的に隣接する符号化処理済のフレームに対応する画像信号から、 符号化の対象となっている対象マクロプロックとの間での画素値の誤差が最も小 さい 1 6 x 1 6画素からなる領域を予測マクロブロックとして検出する。
続いて、 対象マクロブロックの画像ィ言 から予測マクロブロックの画像信号を 引き算して、 上記対象マクロブロックに対応する差分信号を生成し、 該差分信号 を、 上記 8 X 8画素からなるサブブロックに対応するよう分割する。 その後、 該 サブブロック毎に、対応する差分信号に D C T処理を施して D C T係数を生成し、 さらに該 D C T係数に量子化処理を施して量子化係数を生成する。 なお、 このようなフレーム間符号化方法における処理は、 入力される凼像信号 がォブジヱクト画像に対応するものである場合でも、 上記と同様に行われる。 また、 受信側では、 上記各サブブロックの量了化係数 (量子化された D C T係 数) に逆量子化処理及び逆 D C T処理を順次施して、 各マクロブロックに対応す る差分信号を復元し、 その後、 すでに復号化処理が施された復号化処理済フレー ムの画像信号から動き補償により、 復号化処理の対象となる、 被処理フレームに おける対象マク口プロックに対応する画像信号の予測 i 号を生成し、 該予測信号 と上記復元された差分信号とを加算して、 対象マクロプロックの画像信号を再生 する。 なお、 上記フレーム間符号化方法により画像 ί言号の符号化処理が施された フレーム (いわゆる Ρピクチャや Βピクチヤ) の符号化データは、 独立して、 つ まり他のフレームの画像信号を参照することなく再生できるものではない。
次に、 複数のフレーム (ピクチャ) 力、ら構成される動画像に対応する圧縮画像 データ (ビッ トス卜リーム) の構造について簡単に説明する。
第 1 0 (a)図は 1つの動画像に対応する凼像データ(動両デ一夕)を模式的に示 している。 上記 1つの動画像は、 複数のフレーム (ピクチャ) からなり、 上記動 画データ Dは、 上記各フレームに対応するフレームデータ P (l) 〜P (n) ( nは 自然数) を含んでいる。
また、第 1 0 (b)図は、上言 5¾画データ Dを構成する各フレームデータ P (l)〜 P (n) に上記フレーム内符号ィ匕処理を施して得られる画面内圧縮画像データ D a の構造を示している。
この画面内圧縮画像データ D aは、 各フレームに対応するフレーム符号化デー タ Pa(l)〜Pa(n)と、 各フレームに共通するデータからなるヘッダ H aとを含ん でいる。 ここでは、 各フレームは、 フレーム内符号化処理が施された I ピクチャ となっている。なお、 M P E G 4では、上記へッダ Hは V 0 L (Video Obj ect Layer) と呼ばれている。
また、第丄 0 (c)図は、上記動画データ Dを構成する各フレームデータ P (1)〜 P (n) のうちの所定のものに上記フレー厶内符号化処理を、 その他のものに対し てフレーム問符号化処理を施して得られる画面間圧縮画像データ D bの構造を示 している。 なお、 上記フレーム間符号化処理は 2種類ある。 その 1つは、 符号化処理の対 象となっている被処理フレームの符号化処理を、 その前のフレームを参照して行 う順方向予測符号化処理である。 もう 1つは、 符号化処理の対象となっている被 処理フレームの符号化処理を、 その前後のフレー厶を参照して行う双方向予測符 号化処理である。
上記画面間圧縮画像データ D bは、 各フレームに対応するフレーム^化デ一 タ Pb(l)〜P b(n)と、 各フレームに共通するデータからなるヘッダ H bとを含ん でいる。 ここでは、 上記動画像の最初のフレームのみフレーム内符号化処理が施 された Iピクチャとなっており、 その他のフレームは、 上記フレー厶間符号化処 理として順方向予測符号ィ匕処理が施された pピクチヤあるいはヌ χ¾·向予測符号化 処理が施された Βピクチヤとなっている。
ところで、 上記画面内圧縮画像データ D aは、 動画像を構成する全てのフレー ムに対して、 他のフレームを参照しないフレーム内符号化処理を施して得られた ものであるため、 符号化効率はあまり高くない力、 各フレームに対するランダム な再生 (復号化) 処理に適したものとなっている。 つまり、 上記画面内圧縮画像 データ D aでは、 どの画面 (フレーム) からでも直ちに復号化処理を開始して画 像再生を行うことができるという長所がある。特に、圧縮画像デー夕の編集性(圧 縮画像デ一夕を編集する際の処理のしゃすさ) は、 他のフレームのデータに依存 しない符号ィ匕処理により得られる画面内圧縮画像データの方が、 他のフレームの データに依存する符号化処理により得られる画面間圧縮画像データに比べて優れ ている。
一方、 上記画面問圧縮画像データ D bは、 動画像を構成するほぼ全てのフレー ムに対して、 他のフレームを参照するフレーム間符号化処理を施して得られたも のであるため、 符号化効率は高い反面、 各フレームに対するランダムな再生 (復 号化) 処理に適していない。 つまり、 上記画面問圧縮画像デ—夕 D bでは、 Pピ クチャあるいは Bピクチャとしてのフレームから復号化処理を開始する場合、 復 号イ^理が開始されるフレーム以前の独立して復号化可能なフレームまで遡って 復号化処理を施す必要がある。 これは、 該復号化処理が開始されるフレームが他 のフレームを参照して符号化処理が施されたものであるからである。 例えば、 画面内圧縮画像データ Daでは、 1時間に相当する動画像の最後方の 30秒間に相当するフレーム符号化データ P ae(l)〜P ae(m) (mは自然数) の 再生は、 その先頭のフレーム符号化データ P ae(l)から直ちに行うことができる (第 1 0 (b)図参照) 。
これに対して、 上記画面間圧縮画像データ Dbでは、 1時間に相当する動画像 の最後方の 30秒間に相当するフレーム符号化データ Pbe(l)〜Pbc(ra) (mは 自然数) の再生は、 その先頭のフレーム符号化データ P be(l)から直ちに行うこ とができない (第 1 0 (c)図参照) 。つまり、 このデータ P be(l)の再生は、以前 の独立して再生可能なデータ (ここでは動画像を構成する最初のフレームに相^ するフレーム符号化データ Pb(l)) からフレーム符号化データ P be(l)の直前の フレーム符号化デ一夕までの復号ィ匕処理が完了するまで、 行うことができない。 これは、 先頭のフレーム符号化デ一夕 P b e(l)が他のフレームを参照して符号化 されたものであるからである。
また、 上記画面内圧縮画像デ一夕 D aに対しては、 S (自然数) 個のフレーム をスキップする早送再生処理を行うことができる (第 1 1 (a)図参照)。 これは、 早送再生処理における復号化の対象となるフレーム符号化データ Pa(l), P a s(l)〜F as(f) (ίは自然数) は、 画面内符号化処理が施された Iピクチャに対 応するものであり、 すべて、 他のフレームのデ一夕を参照することなく独立して 再生できるからである。 なお、 早送再生処理とは逆の早巻戻し再 理について も、 画面内圧縮画像データ D aに対しては、 上記早送再生処理と同様に行うこと ができる。
一方、 上記画面間圧縮画像データ Dbに対しては、 S (自然数) 個のフレーム をスキップする早送再生処理は実質的には行うことはできない (第 1 1 (b)図参 照) 。 これは、 早送再生処理における復号化の対象となるフレーム符号化デ一夕 P b s (1)〜 P b s (f )は、 画面間符号化処理が施された Pピクチヤあるいは Bピク チヤに対応するものであるためである。 つまり、 上記フレーム符号化データ Pb s(l), P bs(2), P bs(3), · · ■, Fbs(f)の復号化処理は、 該各データ以前 の全てのフレーム符号化データの復号ィ匕処理に要する待ち時間 tbl, tb2, t b3, · · · , lb!が経過した後でなければ行うことができない。 言 、換えると、 早送再生処理における復号化の対象となるフレーム符号化データ P b s(1 )〜P b s (f)の再生時刻は、 通常の再生処理における時刻と同一となる。
この結果、 上記画面間圧縮画像デ—タ D bに対して早送再生処理を行つても、 上 §S¾画像に対する早送再生画像は、 フレーム符号化データ P b s(l)〜P b s(f) に対する再生静止画像が一定時間毎に順次表示されるものとなってしまう。
また、 早送再生処理とは逆の早巻戻し再生処理については、 画面間圧縮画像デ —夕 D bに対しては行うことができない。 これは、 画面間圧縮画像データ D で は、 全てのフレーム符号化データに対する復号化処理が完了した後でなければ、 最後のフレームに対するフレーム符号化データを再生することができないためで ある。
なお、 上記圧縮画像データ D a, D bのヘッダ H a , H bには、 該圧縮画像デ 一夕が独立再生に適したものであるか否かを示す識別フラグ (独立再生適性フラ グ) を含んでいる。
そこで、 圧縮画像データにおける符号化効率と早送再生処理等に対する適性と の間でのトレードォフの課題を解決するために、 以下のような対応が取られてい る。
その第 1の対応策は、 第 1 2図に示すように、 画像データの記憶媒体 Mには、 1つの動画像に対応する圧縮画像データとして、 早送再生処理に適した画面内圧 縮画像データ D aと、 符号化効率の高い, つまり高画質の再生画像が得られる画 面間圧縮画像データ D bの両方を格納しておくというものである。 なお第 1 2図 中、 D l〜D kは、 それぞれヘッダ H l〜H kを有する他の動画像に対応する圧 縮画像データである。 ここでは、 上記画面内圧縮画像データ D aのヘッダ H aに は、 該デ一夕 D aが独 再生に対する適性が大きいことを示す独立再生適性フラ グが含まれている。 また画面間圧縮画像データ D bのヘッダ H bには、 該データ D bが独立再生に対する適性が小さし、ことを示す独立再生適性フラグが含まれて いる。
この tf^、 甲.送再生処理の場合には、 上記各圧縮画像デ—タ D a及び D bのへ ッダ H a , H bにおける独立再生適性フラグに基づ 、て、 上記データ記憶媒体 M からは 1つの動画像に対応する圧縮画像データとして画面内圧縮符号化データ D aが読み出される。 一方、 通常再生処理の場合には、 卜.記データ記憶媒体 Mから は上記画面間圧縮画像データ D bが読み出される。
また、 笫 2の対応策は、 画面間圧縮画像デ一夕 D b中に、 Iビクチャに対応す るフレーム符号化データを、 通常の間隔に比べて短い間隔で複数挿入するという ものである。 通常は、 圧縮画像データでは、 0 . 5秒間に再生されるフレームの うち 2枚のフレームが Iビクチャに対応するものとなるよう、 Iビクチャに対応 するフレーム符号化デ一夕が挿入されている。 この凼面間圧縮画像デ一夕 D bに は、 該デ一夕 D bが独立再生に対する適性が大きいことを示す独立再生適性フラ グが含まれている。 この場合は、 早送再生処理は、 フレーム符号化デ一夕がェビ クチャに対応するものであること示す、 各フレーム毎に付与されているビクチャ タイプフラグ (図示せず) に基づいて、 Iピクチャに対応するフレーム符号化デ —夕のみを復号化することにより実現することができる。
さらに、 第 3の対応策は、 Pビクチャに対応するフレーム符号化データであつ ても独立冉生可能なものがあるため、 このようなフレーム符号化デ一夕には、 独 立再生に適してレ、ることを示す独立再生適性フラグを付与するというものである。 つまり、 画面間圧縮画像データ D bを構成する Pビクチヤに対応するフレーム符 号化データには、 ビクチャタイプフラグにより Pピクチャに対応するものである ことが示されているものであっても、 Iピクチャに対応するフレーム符号化デ一 夕と同様、 他のフレームの画像デ一夕を参照せずに符号化されたものがある。 こ のような特定の Pビクチャに対応するフレーム符号化データは独 して再生可能 である。 従って、 このような特定の Pビクチャに対応するフレーム符号化データ に、独立再生に適していることを示す独立再生適性フラグを付与することにより、 早送再生処理は、 ビクチャ夕イブフラグ及び独立再牛.適性フラグ (図示せず) に 基づいて、 Iピクチャ及び特定の Pビクチャに対応するフレーム符号化デ一夕の みを復号化することにより実現することができる。
第 1 1 (c)図は、 特定の Pビクチャに対応するフレーム符号化データに独立再 生適性フラグを付与した構造の画面間圧縮画像デ一夕を示している。
この画面間圧縮画像データ D cは、上記独立再生適性フラグを含むへッダ Hcl, Hc2, · · · , Hcf を、 特定の Pビクチャ 中 P ' で表示) に対応するフレ ム符号化データ P c s(l)〜P c s(f)の直前に挿入したデータ構造となっている。 なお、 H eは上記画面間圧縮画像データ D cのヘッダ、 P c(l)〜P c(n)は各フレ ー厶に対応するフレーム符号化データである。
次に、 上記各圧縮画像データ D a, D bにおけるヘッダの構成について第 1 3 図を用いて説明する。 なお、 第 1 3図では、 説明を簡単にするため、 圧縮画像デ —夕 Dを、 画面内圧縮符号化データ D aと画面内圧縮符号化デ一夕 D bを区別せ ずに示している。
上記圧縮符号化データ Dでは、 上述したように、 その先頭部分の、 各フレーム に共通なデータを含むヘッダ Hとこれに続くフレーム符号化データ Pとから構成 されている。
そして、 上記ヘッダ Hには、 1つの動画像の圧縮画像データに対応する同期信 号 H s dと、 各フレームに共通なデータ H e dと、 上記独立再生適性フラグ H f と、 これらのデータを整列するための整列データ H a dとが含まれている。 このように 1つの動画像に対応する圧縮画像データは、 該動画像を構成するす ベてのフレームに対応するフレーム符号化データが独立再生可能かどうかを示す ための情報 (独立再生適性フラグ) を有している。 例えば、 1つの動画像を構成 するすべてのフレームに対応するフレーム符号化データが独立再生可能である場 合には、 上記圧縮画像デ一タに対する独立再生適性フラグは、 圧縮画像デー夕に ついて独立再生の適性が大きいことを示す値となっている。 一方、 1つの動画像 に含まれる独立再生可能であるフレーム符号化デ一夕が少ない場合には、 上記圧 縮画像デ一タに対する独立再生適性フラグは、 圧縮画像デ一夕について独立再生 の適性が小さいことを示す値となっている。
そしてこの独立再生適性フラグは、 圧縮画像データの先頭に位置する共通デー 夕を含むへッダ内に記述されいる。
以下、 上記圧縮画像デー夕における共通データを含むへッダ内の具体的なデー 夕配列を、 表 1ないし表 3を用いて説明する。 なお、 これらの表 1〜表 3に記載 されているデータは、 上記へッダ内に伝送順に連続して酉己列されている。
上記ヘッダ内の先頭には、動画の開始を示す同期信号 9 0 2が配置されており、 この同期信号 9 0 2は一意的な 3 2ビッ 卜の固定長符号により表されている。 ま たこの同期信号 9 0 2に続いて、 各フレームに共通する種々の共通データ 9 0 3 〜9 1 3が配置されている。 これらの共通データ 9 0 3〜9 1 3には、 固定長符 号により表されるデータ 9 0 3〜9 0 9及び 9 1 1〜9 1 3の他に、 可変長符号 により表されるデータ 9 1 0が含まれている。
さらにこれらの共通デ一夕 9 0 3〜9 1 3に続いて、 独立再生適性フラグ 9 1 4及び整列データ 9 1 5が順次配置されている。
この独立再生適性フラグ 9 1 4は、 上述したように、 圧縮画像デ一夕における 各フレームに対^するフレーム符号化デ一夕がランダムに独立して再生可能であ るか否かを示すものである。 その値が「1」 である独立再生適性フラグは、 上記 動画像を構成するフレームのフレーム符号化データがすべて独立して再生可能で あることを示す。 一方その値が「0」 である独立再生口 J能フラグは、 上記動画像 に対応する圧縮画像データに、 独立再生が不可能であるフレーム符号化データが 多く含まれていることを示す。 また、 上記整列データ 9 1 5は、 上記同期信号 9 0 2から上記独立再生適性フラグ 9 1 4までのデータを整列するためのものであ る。
そして、 上記整列データ 9 1 5の後には、 実際の動画像の各フレームに対応す る画像データを符号化して得られるフレーム符号化データに関するデータ 9 1 6 及びデータ 9 1 7が配置されている。 ただし、 これらのデータ 9 1 6及び 9 1 7 については、 実際には M P E G 1 , 2 , 4等における D C T係数や量子化ステツ プ等の具体的データが含まれるが、 ここでは、 これらの具体的データを示さずに 1つのデータグループとして示している。
なお、 このような共通データを含むヘッダは、 1つの動画像に対応する圧縮画 像データの先頭部分に必ず置く必要がある。 ただし、 独立再生不可能なフレーム 符号化データを含む両面間圧縮画像データであっても、 独立再生可能なフレーム 符号化データ (例えば I ピクチャに対応するフレーム符号化データ) が一定周期 で繰り返し配列されているものでは、 上記独立再生適性フラグに代えて独立再生 口 J能フラグを含む共通デー夕を周期的に挿入することは有効である。 この独立再 生可能フラグは、 対応するフレーム符号化データ力く他のフレームのデ一夕を参照 せずに独立して再生可能か否かを示すものである。 つまり、 このように独立再生可能フラグを含む共通データが周期的に挿入され た画面間圧縮画像データに対しては、 I ピクチャに対応する独立再生可能なフレ
—ム符号化デー夕を選択的に復号化して早送再生処理を行うことができる。
(表 1 )
Figure imgf000012_0001
Figure imgf000013_0001
(表 3)
Figure imgf000014_0001
ところで、 圧縮画像データに対する早送再生処理や早巻 再^¾理の際には、 圧縮画像デー夕からフレー厶符号化デ一タをランダムに選択して復号化処理を行 うため、 〗つの動画像に対応する圧縮画像データが早送再生処理等に適したもの であるか否か (独立再生の適性) 、 あるいは圧縮画像デ一タにおけるフレーム符 号化データが独立して再生可能なものであるか否か (独立再生の可否) を素早く 判定する必要がある。
しかしながら、 従来の圧縮画像デー夕あるいはフレーム符号化デー夕に付与さ れるへッダからは、 これらのデータの独立再生の適性や独立再生の可否を素早く 検知することができないという問題があつた。
すなわち、 上記圧縮画像データの独立再生の適性等は、 上記共通データを含む ヘッダにおける独立再生適性フラグ等 (表丄〜表 3に示すデータ 9 1 4 ) を抽出 して解析すれば判定することができる。
ところ力 <、 上述したように、 上記ヘッダにおける独立再生適性フラグ 9 1 4の 値が 「1」 かどうかを調べるには、 該ヘッダにおけるこのフラグ 9 1 4の前に位 置する共通データ 9 0 3〜9 1 3をすベて抽出し、 該共通デ一夕を解釈しながら その分折を行わないと、 へッダに対するデータ解析処理が上記独立再生適性フラ グ 9 1 4に対する解析処理には到らない。例えば、共通デ一夕 9 0 aの値が 1 1」 であるかどうかを調べてからでないと、 共通データ 9 0 3 b及び 9 0 3 cが存在 する力、とつ力、力くわ力、り7よい。
このように上述した従来の圧縮画像データに付与されているヘッダでは、 該 FF 縮画像データの独立再生の適件を示す独立再生適性フラグの前に、 動画の開始を 示す同期信号 9 0 2やフレーム符号化データに対する共通データ 9 0 3〜9 1 3 等の多数のデータが配置されている。 また、 これらの共通データのうちには、 ス ィツチ的な働きをするデータ, つまりそのデータの値によって後のデータ処理が 異なるものとなるようなデータも多くある。
このため、 上記ヘッダにおけるデータの解析処理を開始してから、 上記独立再 生適性フラグの解析処理が行われるまでにかなりの時間を要してしまうという問 題があった。
本発明は、 上記のような問題点を解決するためになされたもので、 1つの動画 像に対応する圧縮画像デ一夕あるいはフレーム符号化デ一夕に付与されるへッダ からは、 これらのデータの独立冉生の適性や独立再生の可否を素早く検知するこ とができるデータ構造を冇する圧縮画像デ一夕を生成する符号化処理及びこれに 対応する復号ィ匕処理を行う画像処理方法を得ることを目的とする。
本発明は、 上記符号化処理及び復号化処理を行う画像処理装置及びこれらの処 理をコンピュータにより行わせるための画像処理プログラムを格納したデータ記 憶媒体を得ることを目的とする。 発明の開示
この発明 (請求の範囲第 1項) に係る画像伝送方法は、 の画面からなる画 像に対応するデジタル画像デー夕を圧縮符号化して得られる圧縮画像デー夕を伝 送する方法であって、 上記圧縮画像データを構成する、 上記各画面に共通な共通 データを含むへッダを伝送する処理と、その後、上記圧縮画像デ一夕を構成する、 上記各画面に対応する圧縮画面データを順次伝送する処理とを含み、 上記へッダ の伝送処理では、 該ヘッダに含まれる、 上記圧縮画像データが任意の圧縮画面デ 一タを選択して再生するランダム再生処理に適したものであるか否かを示す識別 フラグを、 上記へッダの先頭位置から該識別フラグまでの間には固定長符号デ一 夕のみが介在するよう伝送するものである。
このような構成の画像 fe送方法によれば、 1つの動画像に対応する圧縮画像デ —タを、 そのヘッダに、 このデータが任意の画面に対するランダムな独立再牛に 適したものであるか かを示す識別フラグを含めて伝送し、 この際、 上記ヘッダ には、上言己識別フラグの前には固定長符号データのみが介在するようにしたので、 1つの動画像に対応する圧縮画像データに付与されているへッダの解析処理の際 には上記識別フラグの解析を素早く行うことができ、 該圧縮画像データに対する ランダムな独立丙生の適性を短時間で することができる。
この発明 (請求の範囲第 2項) は、 請求の範囲第 1項記載の画像伝送方法にお いて、 上記ヘッダを、 上記圧縮画像データの先頭位置を示す同期信号と、 上記共 通デ一夕としての固定長符号データ及び可変長符号データと、 上記識別フラグと から構成し、 上記ヘッダの伝送処理では、 上記識別フラグを上記同期 ί言号の後で あってかつ可変長符号データの前に伝送するものである。
このような構成の画像伝送方法によれば、 上記識別フラグを、 同期信号の後で あってかつ可変長符号データの前に伝送するようにしたので、 復 化側では、 上 記識別フラグの解析処理を同期信号の解析処理後直ちに行うことができる。 この発明 (請求の範囲第 3項) に係る画像処理方法は、 複数の画面からなる画 像に対応するデジ夕ル画像デ一夕を圧縮符号化して圧縮画像データを生成する方 法であつて、 上記各画面に共通する共通デー夕を aむへッダを生成するへッダ生 成処理と、 上記各画面に対応する画面データを)十:縮符号化して圧縮画面データを 生成する圧縮符号化処理とを含み、 上記ヘッダ生成処理では、 上記圧縮画像デー クを、 任意の画面に対応する圧縮画面データを選択して再生するランダム再生処 理に適したものとするか否かを示す識别フラグを、 上記へッグの先頭位置から該 識別フラグまでの間には固定長符号デー夕のみが介在するよう生成するものであ る。
このような構成の画像処理方法によれば、 1つの動画像に対応するデジタル画 像データに圧縮符号化処理を施して圧縮画像デ—夕を生成し、 その際、 この圧縮 画像デー夕が任意の画面に対するランダムな独立再生に適したものであるか否か を示す識別フラグを含むへッダを上記圧縮画像データに付与し、 該へッダをその 先頭位置から該識別フラグまでの間には固定長符号デ一夕のみが介在するよう伝 送するので、 1つの動画像に対応する圧縮画像デ一タに付与されて 、るへッダの 解析処理の際には上記識別フラグの解析を素早く行うことができ、 該 F縮両像デ 一タに対するランダムな独 再生の適性を短時間で検知することができる。 この発明 (請求の範囲第 4項) は、 請求の範囲第 3項記載の画像処理方法にお いて、 上記ヘッダ生成処理の後に各画面に対応する圧縮符号化処理を行い、 上記 へッダ生成処理では、 上言己圧縮画像データの先頭位置を示す同期信号を生成し、 続いて上記圧縮画像データのランダム再生処理に対する適性を示す識別フラグを 生成し、 その後上記共通データを生成するものである。
このような構成の画像処理方法によれば、 上記ヘッダでは、 同期信号, 識別フ ラグ, 共通データの順にデータを配列したので、 復号化側では、 上記識別フラグ の解析処理を同期信 の解析処理後直ちに行うことができる。 この発明 (請求の範囲第 5項) は、 請求の範囲第 3項記載の画像処理方法にお いて、 上記ヘッダの生成処理の後に各画面に対応する圧縮符号化処理を行い、 上 記へッダの生成処理では、 上記圧縮画像データの先頭位 Eを示す同期信号を生成 し、 次に上記共通データとして固定長符号データを牛成し、 続いて、 上記圧縮画 像デー夕のランダム再生処理に対する適性を示す識別フラグを生成し .、 その後上 記共通デー夕として可変長符号デー夕を生成するものである。
このような構成の画像処理方法によれば、 上記ヘッダでは、 同期信号, 固定長 符号の共通データ,識別フラグ,可変長符号データの順にデータを配列したので、 識別フラグの解析処理を必要に応じて、 上記共通デー夕の解析処理を飛ばして、 同期信号の解析処理の直後に行うことができる。
この発明 (請求の範囲第 6項) は、 請求の範囲第 3項記載の画像処理方法にお いて、 上記圧縮符号化処理として、 彼処理画面に対応する画面データを、 他の画 面に対応する画面データを参照することなく圧縮符号化して第 1の圧縮画面デー タを生成する第 1の圧縮符号化処理と、 被処理画面に対応する画面データを、 他 の画面に対応する画面デー夕を参照して圧縮符号化して第 2の圧縮画面データを 生成する第 2の圧縮符号化処理とを含み、 上記圧縮画面デ一夕として第 1の圧縮 画面デ一夕のみを含む圧縮画像デー夕における上記識別フラグを、 該圧縮画像デ —タカ上記ランダム再生処理に適していることを示すものとし、 上記圧縮画面デ 一夕として第 1の ^縮画面データとともに第 2の圧縮画面データを含む圧縮画像 デ一夕における上記識別フラグを、 該圧縮画像データが上記ランダム再生処理に 適していないことを示すものとするものである。
このような構成の画像処理方法によれば、 他の画面を参照しない第 1の圧縮符 号ィ匕処理により得られる圧縮画像デ一夕では、 上記識别フラグを該 )王縮画像デ一 夕がランダム再生処理に適していることを示すものとし、 他の画面を参照する第 2の圧縮符号化処理と上記第 1の圧縮符号化処理の両方により得られる圧縮画像 デ一夕では、 上記識別フラグを該圧縮画像デー夕がランダム再牛処理に適して 、 ないことを示すものとしたので、 復号化側では、 ランダム再生処理に適した圧縮 画像データと、 符号化効率の高いがランダム再生処理には適していない圧縮画像 データを素早く区別することができる。 この発明 (請求の範囲第 7項) は、 請求の範囲第 3項記載の画像処理方法にお いて、 上記ヘッダ生成処理及び圧縮符号化処理に加えて、 上記各画面に共通する 共通データと特定画面に対応する個別データを含む捕助ヘッダを生成する補助へ ッダ生成処理を含み、 上記へッダ生成処理の後に各画面に対応する圧縮符号化処 理を行う際、 上記特定の画面に対応する圧縮画面データの前に補助へッダが付加 されるよう上記捕助へッダ生 理を行い、 丄記捕助へッダ生成処理では、 上記 特定画面に対応する圧縮画面データが、 他の画面に対応する画面データを参照す ることなく独立して再生可能なものであるか否かを示す独立再生可能フラグを、 上記へッダの先頭位置から該独立再生可能フラグまでの問には固定長符号デ一夕 のみが介在するよう生成するものである。
このような構成の画像処理方法によれば、 上記圧縮画像データを構成する特定 画面に対応する圧縮画面データに補助へッグを付加し、 該補助へッダには、 特定 画面の圧縮両面データが独立して再生可能であるか否かを示す独立再生可能フラ グを含め、 該捕助ヘッダを、 その先頭位置から該独立再生可能フラグまでの間に は固定符号長データのみが介在するよう伝送するので、 各フレーム毎に単独で、 圧縮画而データが独立再生可能か否かの判定を行うことができる。
この発明 (請求の範囲第 8項) に係る画像処理方法は、 複数の IJi からなる画 像に対応するデジタル画像データを圧縮符号化して得られる圧縮画像データを復 号化して、 上記画像に対応する再生画像データを生成する方法であって、 上記圧 縮画像データを構成する、 上記各画面に共通する共通データを含むへッダを解析 するへッダ解析処理と、 上記圧縮画像データを構成する、 上記各画面に対応する 画面デ一タを圧縮符号化して得られる圧縮画面データを、 復号ィヒして再生する再 生処理とを含み、 上記へッダ解析処理では、 .卜.記へッダの先頭位置から続く固定 長符号データの解析に続いて、 上記ヘッダに含まれる、 上記圧縮画像デ一夕が、 任意の画面に対応する圧縮画面データを選択して再生するランダム再生処理に適 したものであるか否かを示す識別フラグの解析を行うものである。
このような構成の画像処理方法によれば、 1つの動画像に対応する圧縮画像デ 一タを復号化する際、 そのへッダの解析処理では、 へッダ先頭位置から続く固定 長符号データの解析に続いて、 この圧縮画像データが任意の画面に対するランダ ムな独立再生に適したものであるか否かを示す識別フラグの解析を行うようにし たので、 1つの動画像に対応する圧縮画像データに付与されているへッダの解析 処理の際には上記識別フラグの解析を素早く行うことができ、 該圧縮画像データ に対するランダムな独立再生の適性を短時間で検知することができる。
この発明 (請求の範囲第 9項) は、 請求の範囲第 8項記載の画像処理方法にお いて、 上記ヘッダ解析処理の後に各画面に対応する再生処理を行い、 上記ヘッダ 解析処理では、 上記圧縮画像データの先頭位置を示す同期信号を解析し、 続いて 上記圧縮画像デー夕のランダム再生処理に対する適性を示す識別フラグを解析し、 その後上記共通デー夕を解析するものである。
このような構成の画像処理方法によれば、 上記へッダの解析処理では、 同期信 号, 識別フラグ, 共通データの順にデータ解析を行うので、 復号化の際には、 上 記識別フラグの解析処理を同期信号の解析処理後直ちに行うことができる。
この発明 (請求の範囲第 1 0項) は、 請求の範囲第 8項記載の画像処理方法に おいて、 上記ヘッダ解析処理の後に各画面に対応する再生処理を行い、 ヒ idへッ ダ解析処理では、 上記圧縮画像データの先頭位置を示す同期信号を解析し、 次に 上記共通デ一タとして固定長符号デー夕を解析し、 続いて、 上記圧縮画像デ一夕 のランダム再生処理に対する適性を示す識別フラグを解析し、 その後上記共通デ 一夕として可変長符号データを解析するものである。
このような構成の画像処理方法によれば、 上記ヘッダの解析処理では、 同期信 号, 共通データとしての固定長符号データ, 識別フラグ, 共通データとしての可 変長符号デ一夕の順にデー夕解析を行うので、識別フラグの解析処理を必要に応 じて、 上記共通データの解析処理を飛ばして、 同期信号の解析処理の直後に行う ことができる。
この発明 (請求の範囲第 1 1項) は、 請求の範囲第 8項記載の画像処理方法に おいて、 上記へッダ解析処理及び再生処理を、 上記圧縮画面データとして、 被処 理画面に対応する画面デー夕を他の画 ί¾1に対応する画面データを参照することな く圧縮符号ィヒして得られる第 1の圧縮画面データのみを含む第 1の圧縮画像デ一 タに対して行うとともに、 上記圧縮画面データとして、 上記第 1の圧縮画面デ一 夕に加えて、 被処理画面に対応する両面データを他の画面に対応する画面データ を参照して圧縮符号化して得られる第 2の圧縮両面デー夕を含む第 2の圧縮画像 デー夕に対して行し、、上記圧縮画像データに対するランダム再生処理を、 上記識 別フラグに基づいて上記笫 1の圧縮画像データに対してのみ行うものである。 このような構成の画像処理方法によれば、 他の画面を参照しない第 1の圧縮符 号ィ匕処理により得られる圧縮画像データに対して再生処理を行うとともに、 他の 画面を参照する第 2の圧縮符号化処理と上記第 1の圧縮符号化処理の両方により 得られる圧縮画像データに対して再生処理を行い、 ランダム再生処理は、 上記第 1の圧縮画像デー夕に対してのみ行うので、 復号化側では、 ランダム再生処理を 良好に行うことができる。
この発明 (請求の範囲第 1 2 ¾) は、 請求の範囲第 8項記載の画像処理方法に おいて、 上記ヘッダ解析処理及び再生処理に加えて、 特定画面に対応する圧縮画 面デー夕に付加されている、 各画面に共通する共通データ及び該特定画面に対応 する個別データを含む補助ヘッダを解析する補助へッダ解析処理を含み、 上記へ ッダ解析処理の後に各画面に対応する再生処理を行う際、 特定画面に対しては補 助へッダの解析処理を行い、 上記補助へッダ解析処理では、 上記補助へッダの先 頭位置から続く固定長符号データの解析に続いて、 上記補助へッダに含まれる、 上記特定画面に対応する圧縮画面デ一夕が、 他の画面の両像データを参照するこ となく独立して再生可能なものであるか否かを示す独立再生可能フラグの解析を 行うものである。
このような構成の画像処理方法によれば、 上記汗:縮凼像データを構成する特定 画面に対応する圧縮画面デー夕に i ¾[lされている補助へッダの解析処理を行い、 該補助へッダの解析処理では、 補助へッダの先頭位置から続く固定長符号デー夕 の解析に続いて、 該へッダに含まれる独立再生可能フラグの解析を行うので、 各 フレーム毎に単独で、 圧縮画面データが独立再生可能か否かの判定を行うことが できる。
この発明 (請求の範囲第 1 3項) に係る両像処理装置は、 複数の画面からなる 画像に対応するデジ夕ル画像データを圧縮符号化して圧縮画像デー夕を生成する 装置であって、 被処理画面に対応する対象画面データに基づいてその予測画面デ 一夕を生成する予測データ生成器と、 上記対象画面データと予測画面データの差 分値としての差分画面デ一夕あるいは該対象画面データを制御 i 号に基づ 、て出 力する演^!理手段と、 上記演算処理手段の出力デー夕を圧縮して圧縮デ一夕を 生成するデータ圧縮器と、 該データ圧縮器からの圧縮データに対して可変艮符号 ィ匕処理を施して、各画面に対応する圧縮画面データを出力する可変長符号化器と、 上記デジタル画像データに基づいて、 各画面に共通する共通データを含むヘッダ を生成するとともに、 上記圧縮画像データを、 任意の画面に対応する圧縮画面デ 一夕を選択して再生するランダム再生処理に適したものとするか否かを示す識別 フラグに基づいて、 上記演^ 理手段を制御する制御手段とを備え、 ヒ記ロ J変長 符号化器を、 上 i己識別フラグを含むヘッダを、 その先頭位置から上記識別フラグ までの間には固定長符号データのみが介在するよう出力する構成としたものであ な。
このような構成の画像処理装置によれば、 1つの動画像に対応するデジ夕ル画 像データに圧縮符号化処理を施して圧縮画像デ一タを生成し、 その際、 この圧縮 画像データが任意の画面に対するランダムな独立再牛に適したものであるか否か を示す識別フラグを含むへッダを上記圧縮画像データに付与し、 該へッダをその 先豆貞位置から該識别フラグまでの間には固定長符号デー夕のみが介在するよう伝 送するので、 1つの動画像に対応する圧縮画像データに付与されているへッグの 解析処理の際には上記識別フラグの解析を素早く行うことができ、 該圧縮画像デ 一夕に対するランダムな独立再生の適性を短時間で検知することができる。
この発明 (請求の範囲第 1 4項) は、 請求の範囲第 1 3項記載の画像処理装置 において、 上記可変長符号化器を、 上記各画面に対応する圧縮画面データを出力 する前に上記ヘッダを出力し、 この際、 上記圧縮画像データの先頭位置を示す同 期信号、上記圧縮画像デー夕のランダム再生処理に対する適性を示す識別フラグ、 及び上記共通デ一夕をこの順序で出力するよう構成したものである。
このような構成の画像処理装置によれば、 上記ヘッダでは、 同期信号, 識別フ ラグ, 共通デ一夕の順にデ一夕を配列したので、 復号化側では、 上記識別フラグ の解析処理を同期信号の解析処理後直ちに行うことができる。
この発明 (請求の範囲第 1 5項) は、 請求の範囲第 1 3項記載の画像処理装置 において、 上記可変長符号化器を、 上記各画面に対応する圧縮画面データを出力 する前に上記ヘッダを出力し、 上記ヘッダの出力の際には、 上記圧縮画像データ の先頭位置を示す同期信号、 上記共通データとしての固定長符号データ、 上記圧 縮画像データのランダム再生処理に対する適性を示す識別フラグ、 及び上記共通 データとしての可変長符号デー夕を、 この 1 (頃序で出力するよう構成したものであ る。
このような構成の画像処理装置によれば、 上記ヘッダでは、 同期信号, 固定長 符号の共通デ一夕,識別フラグ,可変長符号データの順にデータを配列したので、 識別フラグの解析処理を必要に応じて、 上記共通デー夕の解析処理を飛ばして、 同期信号の解析処理の直後に行うことができる。
この発明 (請求の範囲第 1 6項) は、 請求の範囲第 1 3項記載の画像処理装置 において、 上記制御于.段を、 上記識別フラグが、 上記圧縮画像データを、 任意の 画面に対応する圧縮画面データを選択して再生するランダム再生処理に適したも のとすることを示しているとき、 上記演^];理手段から上記対象画面デー夕が出 力され、 上記データ圧縮器では被処理画面に対応する画面データが他の画面に対 応する画面データを参照することなく圧縮され、 上記可変長符号化器から第 1の 圧縮画面データが出力される第 1の圧縮符号化処理が、 上記画像を構成するすべ ての画面に対して行われるよう、上記演算 · 理手段を制御し、上記識別フラグが、 上記圧縮画像デー夕を、 任意の画面に対応する圧縮画面データを選択して再生す るランダム再生処理に適したものとすることを示していないとき、 上記演^^理 手段から上記差分画面データが出力され、 上記データ圧縮器では被処理 i 面に対 応する画面データが他の画面に対応する画面デー夕を参照して圧縮され、 上記可 変長符号化器から第 2の圧縮画面デ一タが出力される第 2の圧縮符号化処理が、 上記画像を構成する所定の画面に対して行われ、 かつ卜.記第 1の圧縮符号化処理 力く、 上記画像を構成する、 上記所定の画面以外の画面に対して行われるよう、 上 記演算処理手段を制御する構成としたものである。
このような構成の画像処理装置によれば、 他の画面を参照しない第 1の圧縮苻 号化処理により得られる圧縮画像デー夕では、 上記識別フラグを該圧縮画像デ一 夕がランダム再生処理に適していることを示すものとし、 他の画面を参照する第 2の圧縮符号化処理と上記第 1の圧縮符号化処理の両方により得られる圧縮画像 データでは、 上記識別フラグを該圧縮画像データがランダム再生処理に適してい ないことを示すものとしたので、 復号化側では、 ランダム再生処理に適した圧縮 画像データと、 符号化効率の高いがランダム再生処理には適していない圧縮画像 データを素早く区別することができる。
この発明 (請求の範西第 1 7項) に係る画像処理装置は、 複数の画面からなる 画像に対応するデジタル画像デ一夕を圧縮符号化して得られる圧縮画像デ一タを 復号化して、 上記画像に対応する再生画像データを生成する装置であって、 上記 圧縮画像デー夕に含まれるへッダを解析してへッダ情報を生成するとともに、 上 記圧縮画像データに含まれる各画面に対応するデータを解析して圧縮画面データ を出力する解析器と、 i:記各凼面に対応する圧縮画面データを伸長して伸長画面 データを生成するデータ伸長器と、 制御信号に基づし、て上記伸長画面デー夕とそ の予測画面データとの加算画面データあるいは上記伸長画面データを、 再生画面 データとして出力する演^ 理手段と、 被処理画面に対応する予測画面データを 該被処理画面に対応する対象伸長画面デー夕から生成する予測デー夕生成器と、 上記圧縮画像デ一夕が任意の画面に対応する圧縮画面デー夕を選択して再生する ランダム再生処理に適しているか否かを示す、 上記へッダ情報の 1つである識別 フラグに基づいて、 上記演 »理手段を制御する制御手段とを備え、 上記解析器 を、 ヘッダの解析処理では、 必要に応じてヘッダ先頭位置から上記識別フラグま で続く 1¾1定長符号からなる共通データを飛ばして、 上記識別フラグの解析を行う よう構成したものである。
このような構成の画像処理装置によれば、 1つの動画像に対応する圧縮画像デ 一夕を復号化する際、 そのヘッダの解析処理では、 ヘッダ先頭位置から铳く固定 長符号デ一夕の解析に必 に応じて飛ばして、 この圧縮画像デー夕が任意の画面 に対するランダムな独立再生に適したものであるか否かを示す識別フラグの解析 を行うようにしたので、 1つの動画像に対応する圧縮画像デ一夕に付与されてい るへッダの解析処理の際には上記識別フラグの解析を素早く行うこと力でき、 該 圧縮画像データに対するランダムな独立再生の適性を短時間で検知することがで さる。
この発明 (請求の範囲第 1 8項) は、 請求の範囲第 1 7項記載の画像処理装置 において、 上記解析器を、 上記ヘッダに対するデータ解析を、 上記解析器へのデ 一夕入力順序に従って、 上記圧縮画像データの先頭位置を示す同期信号、 上記圧 縮画像デー夕のランダム再生処理に対する適性を示す識別フラグ、 及び上記共通 データの順に行うよう構成したものである。
このような構成の画像処理装置によれば、 上記へッダの解析処理では、 同期信 号, 識別フラグ, 共通データの順にデータ解析を行うので、 復号化の際には、 上 記識別フラグの解析処理を同期信号の解析処理後直ちに行うことができる。 この発明 (請求の範囲第 1 9項) は、 請求の範囲第 1 7項記載の画像処理装置 において、 上記解析器を、 上記ヘッダに対するデータ解析を、 上記解析器へのデ 一夕入力順序に従って、 上記圧縮両像データの先頭位置を示す同期信号、 上記共 通データとしての固定長符号データ、 上記圧縮画像データのランダム再生処理に 対する適性を示す識別フラグ、 及び上記共通データとしての可変長符号データの 順に行うよう構成したものである。
このような構成の画像処理装置によれば、 上記ヘッダの解析処理では、 同期信 号, 共通データとしての固定長符号データ, 識別フラグ, 共通データとしての可 変長符号データの順にデータ解析を行うので、 識別フラグの解析処理を必要に応 じて、 上記共通データとしての固定長符号デ一夕の解析処理を飛ばして、 同期信 号の解析処理の直後に行うことができる。
この発明 (請求の範囲第 2 0項) は、 請求の範囲第 1 7項記載の画像処理装置 において、 上記制御手段を、 上記識別フラグ力 上記圧縮画像データが任意の画 面に対応する圧縮画面データを選択して再生するランダム再生処理に適したもの であることを示しているとき、 被処理画面に対応する伸長画面デー夕がそのまま 上記演算処理手段から被処理画面の再生画面データとして出力される、 他の画面 を参照しない第 1の伸長復号化処理が、 上記画像を構成するすべての画面に対し て行われるよう、 .ヒ記演脑理手段を制御し、 上記識別フラグが、 上記圧縮画像 データが任意の画面に対応する圧縮画面デ一タを選択して再生するランダム再生 処理に適したものとすることを示していないとき、 被処理画面に対応する伸長画 面データと他の画面に対応する再生画面データとの加算値が上記演算処理手段か ら被処理両面の再生画面データとして出力される、 他の画面を参照する第 2の伸 長復号化処理が、 上記画像を構成する所定の画面に対して行われ、 かつ上記第 1 の伸長復号化処理が、 上記画像を構成する所定の画面以外の画面に対して行われ るよう、 上記演算処理手段を制御する構成としたものである。
このような構成の画像処理装置によれば、 他の画面を参照しない第 1の圧縮符 号化処理により得られる圧縮画像データに対して再生処理を行うとともに、 他の 画面を参照する第 2の圧縮符号化処理と上記第 1の圧縮符号化処理の両方により 得られる圧縮画像デ一夕に対して再生処理を行い、 ランダム再生処理は、 上記第 1の圧縮画像データに対してのみ行うことにより、 復号化側では、 ランダム再生 処理を良好に行うことができる。
この発明 (請求の範囲第 2 1項) に係るデータ記憶媒体は、 複数の画面からな る画像に対応するデジタル画像データを圧縮符号化するための画像処理プログラ ムを格納したデータ記憶媒体であって、 上記画像処理プログラムとして、 コンビ ユー夕に、 請求の範囲第 3項記載の両像処珲方法による上記デジタル画像デー夕 の圧縮符号化処理を行わせるための符号化プログラムを格納したものである。 このような構成のデータ記憶媒体によれば、 上記符号化プログラムをコンビュ 一夕にロードすることにより、 1つの動画像に対応するデジタル画像デ一夕に圧 縮符号化処理を施して圧縮画像デ一夕を生成し、 その際、 この圧縮画像データが 任意の画面に対するランダムな独立再生に適したものであるか否かを示す識別フ ラグを含むへッダを上記圧縮画像データに付与し、 該へッダをその先頭位置から 該識別フラグまでの間には固定長符号デー夕のみが介在するよう伝送する符号化 処理が、 コンビュ一夕により行われることとなるので、 1つの動画像に対応する 圧縮画像デ一夕に付与されているへッダの解析処理の際には上記識別フラグの解 析を素早く行うことができ、 該圧縮画像デ一夕に対するランダムな独立冉生の適 性を短時間で検知することができる画像符号化処理を、 ソフトウェアにより実現 できる。
この発明 (請求の範囲第 2 2項) に係るデータ記憶媒体は、 複数の画面からな る画像に対応するデジタル画像データを圧縮符号化して得られる圧縮画像デ一夕 を伸長復号化するための画像処理ァログラムを格納したデータ記憶媒体であって、 上記画像処理プログラムとして、 コンピュータに、 請求の範囲第 8項記載の両像 2R 処理方法による、 上記圧縮画像デ一夕の復号化処理を行わせるための復号化ブ口 グラムを格納したものである。
このような構成のデータ記憶媒体によれば、 上記復号化プログラムをコンビュ —夕に□—ドすることにより、 1つの動画像に対応する圧縮画像データを復号化 する際、 そのへッダの解析処理では、 へッダ先頭位置から続く固定長符号デー夕 の解析に続いて、 この圧縮画像データが任意の画面に対するランダ厶な独立再生 に適したものであるか否かを示す識別フラグの解析を行う復号化処理が、 コンビ ユー夕により行われることとなるので、 1つの動画像に対応する圧縮画像データ に付与されて 、るへッダの解析処理の際には上記識別フラグの解析を素早く行う ことができ、 該圧縮画像データに対するランダムな独立再生の適性を短時間で検 知することができる復号化処理をソフトウェアにより実現できる。 図面の簡単な説明
第 1図は、 本発明の実施の形態 1による画像信号デ一夕構造を示す図であり、 第 1 (a)図はシーケンスヘッダ、 第 1 (b)図は任意のフレームの独立再生に適した データ構造の圧縮画像データ、第丄(c)図は圧縮効率の高いデ—夕構造の圧縮画像 データを示している。
第 2図は、 上記実施の形態 1による画像処理方法による画像符号化処理を説明 するためのフローチヤ一卜図である。
第 3図は、 上記実施の形態 1の画像符号化処理を行う両像処理装置の構成を示 すブロック図である。
第 4図は、 本発明の実施の形態 1の圧縮画像デ—夕とはデータ構造が異なる圧 縮画像デー夕の構造を示す図である。
第 5図は、 本発明の実施の形態 1の変形例による圧縮画像データの構造を示す 図であり、 第 5 (a)図は任意のフレームの独立再生に適したデータ構造の圧縮画 像データ、第 5 (b)図は圧縮効率が高く しかも任意のフレームの独立再生にも適し たデ一タ構造の圧縮画像データを示している。
第 6図は、 上記実施の形態 1の変形例による画像処理方法による画像符号化処 理を説明するためのフローチヤ一ト「 である。 第 7図は、 本発明の実施の形態 2による画像処理方法による画像復号化処理を 説明するめたのフローチヤ一ト図である。
第 8図は、 上記実施の形態 2の画像復号化処理を行う画像処理装置の構成を示 すプロック^である。
第 9図は、 上記各実施の形態の符号化及び復号化処理をコンピュータシステム により行うためのプログラムを格納したデータ記憶媒体(第 9 (a)図,第 9 (b)図)、 及び上記コンピュータシステム (第 9 (c)図) を説明するための図である。
第 1 0図は、 従来の画像符号化信号 (圧縮デ一夕) のデータ構造を説明するた めの図であり、第 1 0 (a)図は 1つの動画像に対応する圧縮画像データ、第 1 0 (b) は任意のフレームの独立再生に適した圧縮画像データ、第 1 0 (c)図は圧縮効率 の高い圧縮画像データを示している。
第 1 1図は、 従来の画像符号ィ匕信号のデータ構造における問題点を説明するた めの図であり、第 i 1 (a)図は任意のフレームの独立再生に適した圧縮画像データ、 第 1 1 (b)図は圧縮効率の高い圧縮画像データ、 第 1 1 (C)図は圧縮効率が高く し かも任意のフレームの独立再生にも適した圧縮画像データを示している。
第 1 2図は、 種々の動画像に対応する圧縮画像データを格納しているデータ記 '^体を説明するための概念図である。
第 1 3図は、 従来の圧縮画像データにおけるシーケンスヘッダの構成を示す図 である。 発明を実施するための最良の形態
以下、 本発明の実施の形態について説明する。
〔実施の形態 1 )
本発明の実施の形態 1による画像伝送方法は、 複数の画面 (フレーム) からな る動画像に対応するデジタル画像データ (以下単に動画データともいう。 ) を压 縮符号化して得られる圧縮画像デ―タを伝送する方法である。
なお、 本実施の形態では、 上記デジタル画像データは、 輝度信号と色差信号を 含むデジタル画像信^により表されるデータであるとする。 また、 このデジタル 画像信号は、 従来の長方形形状の画像空間 (表示画面) における画像に対応する 画像信号であっても、 上記表示画面における、 物体 〔任意形状の両像) を含むォ ブジ jク 卜領域 (V O P : Video Object Plane) に対応する画像信号であっても よ
第 1図はこの実施の形態 1の画像伝送方法を説明するための図であり、第 1 (a) 図は特に圧縮画像デー夕のへッダ部分のデータ構造を示している。
上記圧縮画像データ D Vは、 各フレームに対応するフレーム符 化デ一夕 D p と、 該フレーム符号化データ D pの前に付加された、 該データ D pの属性を示す ヘッダ H Vを含んでいる。
ここで、 上記フレーム符号化データ D pは、 動画像の各フレームに対応する画 像データを圧縮符号化して得られるものである。 また上記ヘッダ H vは、 上記圧 縮画像デー夕 D Vの開始を示す同期信号 Hsdと、上記圧縮画像データ D Vがラン ダム再生処理に適しているか否かを示す識別フラグ(R Aフラグ) Hfdと、各フ レームに共通する共通データ Hcdと、上記同期信号 Hsd, 識別フラグ Hfd, 共通 データ Hcdを整列するための整列データ Hadとを含んでいる。なお、上記ランダ 厶再生処理は、 任意のフレームに対応するフレーム符号化データをランダムに選 択して再生する処理である。
また、 上記デジタル画像データに対応する圧縮符号化処理には、 従来技術にお いても説明したように 2種類の処理, つまりフレーム内符号化処理とフレー厶間 符号化処理がある。
第 1 (b)図に示すように、動画データ Dのすベてのフレームに対応するフレーム データ Ρ (1)〜Ρ (ιι) (第 1 0 (a)図参照)に対してフレーム内符号化処理を施して 得られる第 ίの圧縮幽—像データ D V aは、 上記ランダ厶再生処理に適したデータ である。 従って、 この第 1の圧縮画像デ一夕 D v aにおけるヘッダ H v aでは、 上記識別フラグ Hidの値は、この圧縮画像データ D v aがランダム再生処理に適 していることを示す値 「 1」 となっている。
また、第 1 (c)図に示すように、例えば、動画データ Dの先頭フレームに対応す るフレームデータ P (l)に対してフレーム内符号化処理を施し、それ以降のフレー ムに対応するフレームデータ P (2)〜 P (n)に対してフレーム間符 化処理を施し て得られる第 2の圧縮画像データ D v bは、 ヒ記ランダム再生処理に適していな いデータである。 従って、 この第 2の圧縮画像データ D v bにおけるヘッダ H v bでは、丄記識別フラグ Hfdの値は、 この圧縮画像データ D v bがランダム再生 処理に適していないことを示す値 「0」 となっている。
そして、 この実施の形態 1の画像伝送方法では、 上記圧縮画像データを構成す る、 上記各画面に共通な共通データを含むへッダが伝送され、 続 L、て、 上記圧縮 画像データを構成する、 上記各フレームに対応する圧縮画面データカ<順次伝送さ れる。 上記ヘッダ H vの伝送処理では、 まず、 上記圧縮画像データの先頭位置を 示す同期信号 Hsdが ί云送され、続いて上記圧縮画像データがランダム再生処理に 適したものである力、否かを示す識別フラグ H が ί¾¾される。 その後、上記共通 データ Hcdと整列データ Hadが順次伝送される。
次に、 本発明の実施の形態 1による画像処理方法について説明する。
この画像処理方法は、上記デジタル個像データ D (第 1 0 (a)図参照)に圧縮符 号化処理を施して、 上記圧縮画像データ D Vとして、 第 1の圧縮画像データ D V a及び第 2の圧縮画像データ D V bの一方を生成する符号化方法である。
第 2図はこの実施の形態 1による画像処理方法を説明するための図であり、 該 画像処理方法による符号化処理のフローを示している。
まず、 符号化処理カ<開始されると (ステップ 1 0 1 ) 、 複数枚の入力画像 (フ レーム) からなるデジタル動画に対応する圧縮画像デー夕 D Vの開始を示すシ一 ケンス同期信号 Hsdが生成される (ステップ 1 0 2 ) 。 ここでは、該同期信号 H sdには一例として 3 2ビッ 卜の一意的な符号を用いている。
続いて、 上記デジタル動画に含まれるすべてのフレームに対し、 符号化の対象 となる ί皮処理フレ―厶以外のフレームを参照しないで圧縮符号化すベきかどう力、 を示す識別フラグ Hfdの符号が生成される (ステップ 1 0 3 ) 。 このステップ 1 0 3では、 デジタル動画におけるすべてのフレームに対して他のフレームを参照 しない圧縮符号ィ匕処理を施すときは、 この識別フラグ H fdの値が「 1」 とされ、 そうでないときは 「0」 とされる。
その後に、 再生側で圧縮画像デーク D Vを再生するときに;^となる各フレー 厶に共通する共通デ一夕及び整列データ等の符号が生成される(ステップ 1 0 4 )。 そして、 上記動画像を構成する各フレームのデータ (フレームデータ) を順次 圧縮符号化する処理が行われる。
つまり、第 1のフレームに対応するフレームデータ P (l)が入力されると(ステ ップ 1 0 5 ) 、上記識別フラグ H の値に従って、入力されたフレームデータの 圧縮符号化処理が行われて、 フレーム符号化データ U pが生成される (ステップ 1 0 6 )
このステップ 1 0 6における具体的な符号化処理について簡単に説明する。 上記識別フラグ Hfdの値が「 1 iであるときには、動画データ Dを構成するす ベてのフレームデータ P (l)〜P (n)に対してフレーム内符号化処理が施される。 具体的には本実施の形態では、各フレームの画像デ- -夕は 1画面( 1フレーム) を構成する複数のマクロブロック (1 6 x 1 6画素からなる画像空間) に対応す るよう分割される。 さらに、 各マクロブロックに対応する画像データは、 8 x 8 画素からなる画像空間に相当するサブプロックに対応するよう分割される。 そし て、 該サブプロック毎に対応する画像データは D C T処理が施されて各サブプロ ックに対応する D C T係数に変換される。 その後、 各サブブロックに対応する ϋ C T係数が量子化されて各サブブロックに対応する量子化係数が生成される。 最 後に、 量子化係数が可変長符号に変換される。
このような処理が 1つのフレームを構成するすべてのマクロプロックに対して 行われてフレーム符号化データが出力される。
—方、識別フラグ Hfdが「 0」のときには、動画データ Dを構成する所定のフ レームデータ P (l)に対してフレーム内符号化処理が施され、 fif定のフレームデー タ P (1)以外のフレームデータ P (2)〜 P (n)に対しては、フレーム問符号化処理が 施される。
以下簡単にフレーム間符号化処理について説明する。
まず、 ブロックマッチングをはじめとする、 画面 (フレーム) 上での画像の動 きを検出する手法により予測マクロブロックが検出される。 つまり、 符号化の対 象となっている被処理フレームに時間的に隣接する符号化処理済フレームに対応 する画像デ一夕から、 符号化の対象となっている対象マクロプロックとの間での 画素値の誤差が最も小さい 1 6 X 1 6画素からなる領域が上記予測マクロプロ ックとして検出される。 続し、て、 対象マク□ブロックの両像デ一タから上記予測マクロブロックの画像 データが引き算されて、 上記対象マクロブロックに対応する差分デ一夕が生成さ れる。 さらにこの差分デ一タが、 上記 8 X 8画素からなるサブブロックに対応す るよう分割される。 その後、 該サブブロック毎に、 対応する差分データに D C T 処理が施されて D C T係数が生成される。 さらに該 D C T係数に量子化処理が施 されて量子化係数力性成される。最後に、量子化係数が可変艮符号に変換される。 このような処理が 1つのフレームを構成するすべてのマクロプロックに対して 行われてフレーム符号化データが出力される。
そして、 上記ステップ 1 0 6における符号化処理の後、 入力されたフレームデ 一夕がデジ夕ル動両を構成する最後のフレームに対応するものか否かが判定され る (ステップ 1 0 7 ) u この判定の結果、 入力フレームデータが最後のフレーム に対応するものでなければ、 上記ステップ 1 0 6での符号化処理が丙度行われ、 入カフレームデータが最後のフレームに対応するものであれば、 上記動画データ に対する符号化処理が終了する (ステップ 1 0 8 ) 。
以上のような符号化処理により、第 1 (b)図に示すランダム再生処理に適した圧 縮画像デ一夕 D V aあるいは第丄(c)図に示すランダム再生処理に適さない圧縮 画像データ D V bが生成される。
このような圧縮画像デ一夕は、通信回線を介して復号化装置側に伝送されたり、 記録媒体に保存することにより復号化装置側へ供給したりされる。
このような処理にて得られる圧縮画像デ一夕の構造, 特にヘッダにおけるデー タ配列の一例を (表 4 ) (表 5 ) (表 6 ) に示す。 なお、 これらの表では、 第 1 (a)図に示す圧縮画像データ D Vの構造が示されている。つまりこれらの表では、 第 1 (b)図に示すランダ厶再生処理に適した圧縮画像データ D V aと、 第 1 (c)図 に示オランダム再生処理に適さない圧縮画像データ D V bとを区別していない。 (表 4 )
Figure imgf000033_0001
(表 5 ) sprite— enable 1 bslbf if(sprite_enable){
sprite— width 13 uimsbf marker— bit 1 bslbf sprite— height 13 uimsbf marker— bit 1 bslbf sprite ΙΘΠ cooainaie 16 simsbf marW r r hit clhf cnrit tnn rondinatp 13 cimchf marker bit 1 bslbf no— of— sprite— warping_pointe 6 uimsbf sprite— warping— accuracy 2 uimsbf
808
sprite一 brightness— change 1 bslbf if(video_object_layer_shape=="rectangular"){
init— sprite— width 13 uimsbf rmrkeし bit 1 bslbf it— sprite— height 13 uimsbf marker— bit 1 bslbf init— sprite—left— coodinate 13 simsbf marker bit 1 bslbf init cnritp ton rnor!inatp
}
J
noし 8一 bit 1 bslbf if(not_8_bit){
809 quant precision 4 uimsbf bits per pixel 4 uimsbf
}
quant— type 1 bslbf if(quant_type){
load— intra— quant— mat 1 bslbf if(load— intra— quantjnat)
810 · intra— quant— mat 8*[2-G4] uimsbf load nonintra_quant_mat 1 bslbf if(load—nonintra— quant— mat)
nonintra_quant_mat 8 2-64J uimsbf
}
81 H , complexity一 estimation— disable 1 bslbf
Figure imgf000035_0001
なお、 これらの表 4〜表 6に記載されているデータは、 卜.記ヘッダ内に伝送順 に連続して配列されている。
上記ヘッダ内の先頭には、動画の開始を示す同期信号 8 0 2が配置されており、 この同期信号 8 0 2は一意的な 3 2ビッ 卜の固定長符号により表されている。 ま た、 この同期信号 8 0 2に続いて、 1ビッ 卜の識別フラグ Hfdに相当するデータ 8 1 4が配置されている。この識別フラグ Hidに相当するデ一夕 8 1 4に続いて、 各フレームに共通する種々の共通データ 8 0 3〜8 1 3が配置されている。 これ らの共通データ 8 0 3〜8 1 3には、 固定長符号により表されるデータ 8 0 3〜 8 0 9及び 8 1 1〜8 1 3の他に、 可変長符号により表されるデータ 8 1 0が含 まれている。 また、 上記共通データに続く整列データ 8 1 5は、 上記同期 {§号 8 0 2, 識別フラグ符号 8 1 4, 及び共通データ 8 Q 3〜8 1 3までのデータを整 列するためのものである。
そして、 卜 整列データ 8 1 5の後には、 実際の動画像の各フレームに対応す る画像データを、 上記フレーム内符号化方法あるいはフレーム間符号化方法によ り符号化して得られるフレーム符 化データに関するデータ 8 1 6及びデータ 8 1 7が配置されている。 ただし、 これらのデータ 8 1 6及び 8 1 7については、 実際には M P E G 1 , 2, 4等における D C T係数や量子ィヒステップ等の具体的 デ一夕が含まれる力く、 ここでは、 これらの具体的データは示さずに 1つのデータ グループとして示している。
なお、上記識別フラグ Hfdに相当するデータ 8 1 4は、シーケンス同期信号(デ 一夕 8 0 2 ) の直後に置いている力く、 当該シーケンス同期信号を示すデータより 所定の Nビッ 卜あと、 例えばデータ 8 0 3の後においてもよい。 好ましくは、 判 定条件を伴うデータ (固定長符号データ) や可変長符号データの前に置いたほう がよい。 いずれの場合にしても、 共通データの先頭に近いところに置くのが効果 的である。
次に上記実施の形態 1の画像処理方法による圧縮符号化処理を行う画像処理装 置 (画像符号化装置) について説明する。
第 3図は、 この実施の形態 1による画像符号化装置を説明するためのプロック 図である。 この画像符号化装置 1 0 0 aは、 複数のフレームからなる動画像に対応するデ ジタル画像データ (動画データ) を圧縮符号化して圧縮画像データを生成する装 ¾ ある。
この画像符号化装置 1 0 0 aは、 被処理フレームに対応する対象フレームデ一 夕に基づいてその予測フレームデータ 4 2 0を生成する予測データ生成器 4 0 6 と、 上記対象フレームデータ 4 1 6と予測フレームデ一夕 4 2 0の差分値として の差分フレームデータを出力する加算器 4 0 2とを有している。
また上記画像符号化装置 1 0 0 aは、 上記加算器の出力データ 4 2 1を圧縮し て圧縮データ 4 2 3を生成するデ一夕圧縮器 4 0 3と、 該デ一夕圧縮器からの圧 縮データ 4 2 3に対して可変長符号化処理を施す可変長符号化器 4 1 とを有し ている。 ここで上記データ圧縮器 4 0 3は、 上記加算器 4 0 2の出力 4 2 1に D C T処理を施す離散コサイン変換器 (D C T器) 4 0 4と、 該 D C T器 4 0 4の 出力 4 2 2を暈子化して上記圧縮データとして出力する量子化器 4 0 5とから構 成されている。
なお、 この画像符号化装置 1 0 0 aでは、 第 1の入力端子 4 0 1に入力される 動画データ 4 1 6は、 第 1のスィッチ 4 3 4 aを介して上記予測データ生成器 4 0 6に供給され、 上記予測フレームデータ 4 2 0は第 2のスィッチ 4 3 4 bを介 して上記加算器 4 0 2に供給されるようになっている。 また、 上記データ圧縮器 4 0 3から出力される圧縮データ 4 2 3は第 3のスィツチ 4 3 4 cを介して上記 予測データ生成器 0 6に供給され、 上記予測デ一夕生成器 4 0 6で生成された 動き情報 (動きべク トル) 4 1 8は第 4のスィッチ 4 3 4 dを介して上記可変長 符号化器 4 1 4に出力されるようになっている。
さらに、上記函像符号化装置 1 0 0 aは、上記デジタル両像データに基づいて、 各画面に共通する共通データを含むヘッダ情報 4 3 6を生成して上言己可変長符号 化器 4 1 4に出力するとともに、 外部からの制御信号 4 3 5に基づいて、 上言己ス イッチ 4 3 4 a〜4 3 4 dを制御信号 4 3 7 a〜4 3 7 dにより開閉制御する制 御器 4 3 3を有している。 ここで、 上記外部からの制御信号 4 3 5は、 上記圧縮 画像データを、 任意の画面に対応する圧縮画面データを選択して再生するラング ム再生処理に適したものとするか否かを示す識別フラグ H fdを含むものである。 P JP99/00275
36 そして、 上記可変長符号化器 4 1 4は、 上記ヘッダ情報 4 3 6 , 動き情報 4 1 8 , 及び圧縮データ 4 2 3に可変長符号化処理を施して、 上記動画像に対応する 圧縮画像データ D vとしてのビッ 卜ストリーム 4 3 1を出力端子 4 1 5に出力す る構成となっている。 また、 上記可変長符号化器 4 1 4は、 上記ヘッダ情報 4 3 6に基づいてヘッダ Π Vを出力する際、識別フラグ Hfdに対応する符号が、へッ ダの先頭位置から上記識別フラグ符号までの間には固定長符号データの符号のみ が介在するよう出力する構成となっている。
以下、 上記予測データ生成器 4 0 6の具体的な構成について簡単に説明する。 上記予測データ生成器 4 0 6は、 上記データ圧縮器 4 0 3からの圧縮データ 4 2 3を第 3のスィッチ 4 3 4 cを介して受け、 該圧縮データ 4 2 3に伸長処理を 施して伸長データ 4 2 6を出力するデータ伸長器 4 0 7と、 該伸長データ 4 2 6 を上 §己予測フレームデータ 4 2 0と加算して再生データ 4 2 7を山力する笫 2の カロ算器 4 0 9とを有している。 ここで、 上記データ伸長器 4 0 7は、 上記圧縮デ 一夕 4 2 3を逆量子化する逆量子化器 4 0 7 aと、 該逆量子化器 4 0 7 aの出力 4 2 5に対して、 周波数領域のデータを空間領域のデータに変換する逆 D C T処 理を施して上記伸長デ一夕 4 2 6を出力する I D C T器 4 0 7 bとから構成され ている。
また、 上記予測データ生成器 4 0 6は、 上記第 2の加算器 4 0 9の出力 (再生 データ) 4 2 7を、 次処理フレームに対応する参照画像データとして格納するフ レームメモリ 4 1 0を有している。 このフレームメモリ 4 1 0は、 外部からの読 出しアドレス信号 4 2 8に基づいて格納デ一夕を出力する構成となっている。
さらに、 この予測データ生成器 4 0 6は、 入力されるデジタル画像デ一夕 4 1 6に基づいて、 現処理フレームの対象ブロックに対応する動きべクトル M Vを求 めて出力する動き検出器 4 1 1と、 該動き検出器 1 1 4からの動きべクトル M V 4 1 8に基づいて上記フレームメモリ 4 1 0に対する読出しアドレス信号 4 2 8 を発生するァドレス生成器 4 1 2と、 上記フレームメモリ 4 1 0における、 該読 出しアドレス信号 4 2 8により指定された領域のデー夕を取得して上記予測フレ ー厶デ一夕 4 2 0として出力する予測信号取得器 4 1 3とを有している。
次に動作について説明する。 第 1入力端子 4 0 1にはデジタル画像データが入力され、 一方第 2入力端子 4 3 2には上記識別フラグ Hfdの情報(フラグ情報) 4 3 5が入力される。 すると、 フラグ情報 435に基づいて制御器 4 33では、制御 i 号 43 7a〜 4 37 dが生 成され、 上記各スィツチ 4 3 4 a〜4 34 dが開閉制御される。 ここで上記制御 信号 4 37 a〜4 3 7 dは、 同一の制御信号である。
上記識別フラグ H f dが、圧縮画像デ一夕 D Vをランダム再生処理に適したもの することを示している場合 (つまり上記識別フラグ Hfdの値が「1」の場合) 、 スィッチ 4 3 4 a〜 4 3 4 dは制御器 4 3 3力、らの制御信号 4 3 7 a〜 4 3 7 d により開かれる。 これにより入力されるデジタル画像データに対しては、 すべて のフレームに対応するフレ一厶データに対してフレー厶内符号ィ匕処理が施される こととなる。
つまり、 デジタル画像データは、 加算器 402をそのまま通過してデータ圧縮 器 40 3に入力され、 該データ圧縮器 4 0 3にて MP EGに対応したデータ圧縮 処理 (DCT処理と量子化処理) が施される。 該データ圧縮器 4 03からの圧縮 データ (量子化係数) 42 3は可変長符号化器 4 1 4にて可変長符号に変換され る。 このようにして各フレームに対応するフレーム衧号化データ Pa(l)〜Pa(n) が生成される。 またこのとき、 上記可変長符号化器 4 1 4では、 シーケンス同期 信号 (同期信号 Hsd) 、 識別フラグ Hfdl (値二 1) 、 その他の共通データ Hcd 及び整列データ Had等が符号に変換されて、ヘッダ Hv aが形成される。 このと き該へッダ H V aは、上記同期信号 Hsd, 識别フラグ Hfdl, 共通データ Hcd, 及 び整列データ H adがこの順序で伝送されるよう形成される。
そして、 ヘッダ Hv aが付加されたフレーム符号化データ Pa(l)〜Pa(n)が圧 縮画像データ Dv aとして上記可変長符号化器 4 1 4から出力される。
一方、上記識別フラグ Hfdが、圧縮画像データ D Vをランダム再生処理に適し ていないものすることを示している場合(つまり上記識別フラグ Hfdの値が「0」 の場合) 、 スィッチ 4 3 4 a~4 3 4 dは制御器 4 3 3からの制御信号 4 3 7 a 〜4 3 7 dにより開閉制御される。 これにより、 例えば、 入力されるデジタル画 像デ一夕に対しては、最初のフレームに対応するフレームデータ P ( 1 )に対しては フレーム内符号化処理力く施され、 それ以降のフレームに対応するフレームデータ P (2)~ P (n)に対しては、 フレーム間符号化処理が施されることとなる。
なお、 フレーム内符号化処理は、 上述したものと同一であるので、 以下にはフ レーム間苻号ィ匕処理について説明する。
上記スイッチ 4 3 4 a〜 4 3 4 dが制御器 4 3 3からの制御信号 4 3 7 a〜 4 3 7 dにより閉じられると、 入力されるデジタル画像データに対しては、 フレー ム間符号化処理が施されることとなる。
すなわち、 予測データ生成器 4 0 6では、 すでに符号化処理が施されたフレー ムのデ一夕に基づいて、 被処理フレームに対応する予測データ 4 2 0が^され る。 すると、 第 1の加算器 4 0 2にて被処理フレームに対応するフレームデータ 4 1 6から上記予測フレームデータ 4 2 0が引き算されて差分フレームデ一夕 4 2 1が生成される u この差分フレームデータ 4 2 1は、 上記デ一夕圧縮器 4 0 3 にて、 D C T器 4 0 4により周波数領域のデータ 4 2 2に変換され、 さらに量子 化器 4 0 5により量子化係数に変換されて、 圧縮データ 4 2 3として可変長符号 化器 4 1 4に出力される。
可変長符号化器 4 1 4では、 この圧縮データ (量子化係数) 4 2 3が可変長符 号に変換ざれてフレーム符号化データ P b(2)〜P b(n)が生成される。
また、 上記圧縮データ 4 2 3は、 第 3のスィツチ 4 3 4 cを介して予測データ 生成器 4 0 6に入力される。 するとこの圧縮データ (量子化係数) 4 2 3は、 デ —タ伸長器 4 0 7にて、 逆量子化器 4 0 7 aにより周波数領域のデータ 4 2 5に 逆変換され、 さらにこのデータ 4 2 5は逆 I D C T器 4 0 7 bにより空間領域の データ 4 2 6に変換され、 ί复元デ一夕として出力される。
そして第 2の加算器 4 0 9にて、 この復元データ 4 2 6は上記予測デ一夕 4 2 0と加算されて再生デ一夕 4 2 7として出力される。 この再牛データ 4 2 7は、 次のフレームのデ一タを符号化するための参照データとしてフレームメモリ 4 1 0に格納される。
このとき、 上記動き検出器 4 1 1では、 入力されるデジタル画像データ 4 1 6 に基づいて、 プロックマツチング等の方法によりフレーム問での画像の動き情報 が検出され、動きべク 卜ル 4 1 8として上記アドレス生成器 4 1 2に出力される。 このアドレス生成器 4 1 2では、 上記動きべク 卜ル 4 1 8に基づいてフレームメ モリ 4 1 0におけるメモリ領域を指定するアドレス信号 4 2 8が生成される。 す ると、 予測信号取得器 4 1 3により、 このァドレス信号 4 2 8に基づいて指定さ れたフレームメモリ 4 1 0のメモリ領域のデ一夕が予測データ 4 2 0として取得 されて上記各加算器に出力される。
また上記動きべク トル 4 1 8は上記第 4のスィッチ 4 3 4 dを介して上記可変 長符号化器 4 1 4に出力され、 該可変長符号化器 4 1 4にて可変長符号に変換さ れる。
このようにして各フレームに対応するフレーム符号化データ P b(l)〜P b(n) が生成される。 またこのとき、 上記可変長符号化器 4 1 4では、 シーケンス同期 信号 (同期信号 H sd) 、 識別フラグ Hfd2 (値 = 0 ) 、 その他の共通データ H cd 及び整列データ Had等が符号に変換されて、ヘッダ H v bが形成される。 なお該 ヘッダ H v bは、上記同期信号 H sd, 識別フラグ H fd2, 共通データ H cd, 及び整 列データ H adがこの順序で伝送されるよう形成される。
そして、 ヘッダ H v bが付加されたフレーム符号化データ P b )〜 P b(n)が圧 縮画像データ D v bとして上記可変長符号化器 4 1 4から出力される。
このように本実施の形態 1では、 1つの動画像に対応するデジタル画像デ一夕 に圧縮符号化処理を施して圧縮画像データを生成し、 その際、 この圧縮画像デー 夕が任意の画面に対するランダムな独立再生に適したものであるか否かを示す識 別フラグを、ヘッダの先頭に位置する同期信号 H sdの次に配置したので、 1つの 動画像に対応する圧縮画像データに付与されているへッダの解析処理の際には上 記識別フラグの解析を素早く行うことができ、 該圧縮画像デ一夕に対するランダ ムな独立再生の適性を短時間で検知することができる。
なお、 上記実施の形態 1では、 圧縮画像デー夕 D Vにおけるへッダ H Vのデー タ構造として、 圧縮画像データに対するランダ厶再生処理の適性を示す識別フラ グを、へッダ内の同期信号 Hsdの次に配置したものを/丁、したカ^上記へッダのデ —タ構造はこれに限るものてはない。
例えば、上記ヘッダのデータ構造は、第 4図に示すヘッダ Hvmのように、 同期 信号 Hsdの後に固定長符号からなる第 1の共通データ Hcdlを配置し、 その次に 上記識別フラグ Hfdを配置し、その後に可変長苻号からなる第 2の共通デ一タ H 夕 Hcd2及び整列データ Hadを順次配置した構造としてもよい。
(実施の形態 1の変形例)
第 5図及び第 6 ^は、 上記実施の形態 1の変形例による画像伝送方法及び画像 処理方法を説明するための図である。
第 5図は上記実施の形態 1の変形例による画像伝送方法を説明するための図で ある。
第 5 (a)図は、ランダム再生処理に適した第 1の圧縮画像データ D V cを示し、 第 5 (b)図はランダム再生処理に適していない第 2の圧縮画像デ一夕 D V dを示 している。
上記第 1の圧縮画像デ一夕 Dvcは、 動画データ Dのすベてのフレームに対応 するフレームデ一夕 P(l)~P(n) (第 10(a)図参照) に対してフレーム内符号 化処理を施して得られるものである。 そしてこの圧縮画像データ Dvcでは、 各 フレームに対応するフレーム符号化デ一夕 Pa(l)〜Pa(n)の前にフレームヘッダ (VOL) Hvc(l)〜; Hvc(n)が付与されている。 また、 各フレームヘッグ Hv c(l)~Hvc(n)には、 対応するフレーム符号化データ Pa(l)〜Pa(n)がランダム 再生処理の可能なものであるか否かを示す独立再生可能フラグ Hfdl が含まれて いる。
ここでは、 各フレームに対応するフレーム符号化データ Pa(l)〜Pa(n)は、 フ レーム内符号化処理により得られたものであるため、 上記各ヘッダ Hvc(l)〜H vc(n)の独立再生可能フラグ Hfdl の値は、 各フレーム符号化デ一夕がランダム 再生処理が可能であることを示す値 「1」 となっている。
なお、 上記各フレ一ムへッダ11 (:(1)〜11 (;(11)では、 同期信号 Hsd, 独立再 生可能フラグ Hfdl, 共通デ一夕 Hcd, 及び整列データ Had が、 第 1図に示す実 施の形態 1の圧縮画像デー夕 D Vにおけるヘッダ H Vと同様、 この順に配列され ている。 またここでは、 図示していないが、 上記圧縮画像データ Dvcには、 実 施の形態 1と同様、 この圧縮画像デ一夕 Dv cがランダム再生処理に適したもの であることを示す識別フラグ Hfd を含む、 圧縮画像デーダ Dv c全体に対応す るヘッダが付与されている。
一方、 上記第 2の圧縮画像デ一夕 Dv は、 動画データ Dの所定のフレームに 対応するフレームデータに対してフレーム内符号化処理を施し、 その他のフレ一 ムに対してフレーム間符号ィ 理を施して得られるものである。
この圧縮画像データ D V dにおいても、 上記圧縮画像データ Dv cと同様、 各 フレームに対応する'フレーム符号化データ dd), ···, Pd(r), ■■·, Pd(n)の前 にフレームヘッダ (VOL) H vd(l), …, Hvd(r), ■·-, Hvd(n)が付与され ている。 また、 各フレームヘッダ H vd(l), ···, II vd(r), ···, Hvd(n)には、 対応するフレーム符号化データ Pd(l), '··, Pd(r), …, Pd(n)がランダム再生 処理の可能なものであるか否かを示す独立再生可能フラグ Hfdl あるいは HfdO が含まれている。
ここでは、 フレーム符号化データ Fd(l), Pd(r)は、 フレーム内苻号化処理に より得られたものであるため、上記フレームヘッダ H V d (1), H vd(r)の独立冉 生可能フラグ Hfdl の値は、 該フレーム符号化データ Pd(l), Pd(r)がランダム 再生処理が可能であることを示す値「 1」 となっている。 一方、 上記以外のフレ ーム符号化データ Pd(2), Pd(3) , Pd(4),■··, Pd(n-l) , Pd(n)は、 フレー ム間符号ィ匕処理により得られたものであるため、上記フレームヘッダ Hv d(2), H vd(3), H v d(4), ·■·, H v d(n-l), H vd(n)の独立再生可能フラグ HfdO の値は、 これらのフレーム符号化デ一夕 Pd(2), Pd(3) , Pd(4),--, Pd(n-l) , Pd(n)がランダム再生処理が可能でないことを示す値「0」 となっている。 なお、 各フレームに対応するヘッダ Hvd(l), ···, H vd(r), …, Hvd(n)で は、 同期信号 Hsd, 独立再生可能フラグ Hfdlあるいは HfdO, 共通データ Hcd, 及び整列データ Hadが、第 1図に示す実施の形態 1の圧縮画像データ D Vにおけ るヘッダ Hvと同様、 この順に配列されている。 またここでは、 図示していない が、 上記圧縮画像データ Dv dには、 実施の形態 1と同様、 この圧縮画像データ Dv dがランダム再生処理に適したものでないことを示す識別フラグ Hfdを含 む、 圧縮画像デーダ D V d全体に対応するへッダが付与されている。
そして、 この実施の形態 1の変形例の画像伝送方法では、 上記圧縮画像データ 全体に対応するヘッダを伝送し、 続いて、 上記圧縮画像データを構成する、 上記 各フレームに対応する圧縮画面データ (フレーム符号化データ) が、 各フレーム に対応するフレームヘッダとともに順次伝送される。 このとき圧縮画像データ全 体に対応するヘッダ、 あるいは各フレームヘッダ H V cあるいは H v dの伝送処 理では、 まず、上記圧縮画像データの先頭位置を示す同期信号 H sdが伝送され、 続レ、て識別フラグ H f dあるいは独立再生可能フラグ H fdl, H fdOが伝送される。 その後、 上記共通デー夕 Hcdと整列デー夕 Hadが順次伝送される。
次に、 本発明の実施の形態 1の変形例による画像処理方法について説明する。 第 6図は、 上記実施の形態 1の変形例による画像処理方法を説明するための図 であり、 この画像処理方法は、 第 2図に示す実施の形態 1の画像処理方法を拡張 したものである。
すなわち、 この変形例の画像処理方法は、 第 2図に示す実施の形態 1の画像処 理方法に含まれるステップ 1 0 5〜ステップ 1 0 7の処理を、 第 6図に示すステ ップ 2 0 5, ステップ 2 0 9 , ステップ 2 1 0, ステップ 2 0 7の処理に変更し たものである。 従って、 この変形例の画像処理方法に含まれる他のステップ 2 0 1〜 2 0 4 , 2 0 8の処理は、 実施の形態 1の画像処理方法に含まれるステップ 1 0 1〜1 0 4 , 1 0 8の処理と全く同一である。
以下、 詳述する。
まず、 符号化処理が開始されると 〔ステップ 2 0 1 ) 、 複数枚の入力画像 (フ レーム) からなるデジ夕ル動画に対応する圧縮画像デ一夕 D Vの開始を示すシ一 ケンス同期信号 Hsdが生成される (ステップ 2 0 2 ) 。 ここでは、該同期信号 H sdには一例として 3 2ビッ 卜の一意的な符号を用いている。
続いて、 上記デジタル動画に含まれるすべてのフレームに対し、 符号化の対象 となる被処理フレーム以外のフレームを参照しないで圧縮符号化すべきかどうか を示す識別フラグ Hfdの符号が生成される (ステップ 2 0 3 )。 このステップ 2 0 3では、 デジタル動画におけるすべてのフレームに対して他のフレームを参照 しない圧縮符号化処理を施すときは、 この識別フラグ H fdの値が「 1」 とされ、 そうでないときは 「 0」 とされる。
その後に、 再生側で圧縮画像デー夕 D Vを再生するときに必要となる各フレ一 ムに共通する共通デ一夕及び整列デ一夕等の符号が生成される(ステップ 2 0 ) o そして、 上記動画像を構成する各フレームのデータ (フレームデータ) を順次 圧縮符号化する処理がステップ 2 0 5, 2 0 9 , 2 1 0 . 2 0 7にて行われる。 具体的には、 各フレームデータが入力されると (ステップ 2 0 5 ) 、 まず各フ レームに対応するフレーム同期信号が生成される (ステップ 2 0 9 ) 。 このフレ ーム同期信号は、 ステップ 2 0 2のシーケンス同期信号とは異なる、 各フレーム の開始を示す一意的な符号である。 次 、で彼処理対象となるフレームに対応する フレーム符号化データが独立再生可能なものか否かを示す独立再生可能フラグが 生成される (ステップ 2 1 0 ) 。 そして、上記識別フラグ H fd及び ¾3Ζ再生可能 フラグの値に従って、 入力されたフレームデータの圧縮符号化処理が行われて、 フレーム符号化データが生成される (ステップ 2 0 6 ) 。
なお、 このステップ 2 0 6における具体的な苻 ζ·化処理は、 上記実施の形態 1 の画像処理方法におけるステップ 1 0 6の処理と全く同一である。
つまり、 上記識別フラグ H fdの値が「1」であるときには、動画デ一夕 Dを構 成するすべてのフレームデータ F (l)〜F (n)に対してフレーム内符号化処理が施 される。 一方、識別フラグ H fd力 「0」のときには、 独立再生可能フラグに応じ て、 動画データ Dを構成する所定のフレー厶デ一夕に対してフレーム内符号化処 理が施され、 所定のフレームデータ以外のフレームデータに対しては、 フレーム 間符号化処理が施される。
そして、 上記ステップ 2 0 6における符号化処理の後、 入力されたフレームデ —夕がデジタル動画を構成する最後のフレ一ムに対応するものか否かが判定され る (ステップ 2 0 7 ) 。 この判定の結果、 入力フレームデータが最後のフレーム に対応するものでなければ、 上記ステップ 2 0 9でのフレーム同期信号の生成, ステップ 2 1 0での独立再生可能フラグの生成, 及びステップ 2 0 6での符号化 処理が再度行われる。 また入カフレームデータが最後のフレームに対応するもの であれば、 上記動画データに対する符号化処理が終了する (ステップ 2 0 8 ) 。 以上のような符号化処理により、第 5 (a)図に示すランダム再生処理に適した圧 縮画像デ一夕 D V cあるいは第 5 (b)図に示すランダム再生処理に適さないが符 号化効率の高い圧縮画像デ一夕 D V dが生成される。
このような圧縮画像デ一タは、通信回線を介して復号化装置側にィ云送されたり、 記録媒体に保存することにより復号ィ匕装置側へ供給したりされる。
このような実施の形態 1の変形例では、 実施の形態 1の画像処理方法による苻 号化処理に加えて、 上記圧縮画像データを構成する各フレームに対応するフレー ム符弓化デ一夕 (圧縮画面デ一夕) にフレームヘッダ (補助ヘッダ) を付加し、 該フレームヘッダには、 各フレームのフレーム符号化データが独立して再生可能 であるか否かを示す独立再生可能フラグを含め、 該フレームヘッダの先頭位置か ら該独立再生可能フラグまでの間には固定符号長デ一夕のみが介在するようにし たので、 圧縮画像データ全体に対応するへッダにおける識別フラグの解析を素早 く行うことができるだけでなく、 各フレームに対応するフレーム符号化データに 付与されているフレームへッダの解析処理の際には、 上記独立再生可能フラグの 解析を素早く行うことができる。 この変形例では、 特に圧縮画像データの早送再 生処理を行う場合には、フレームヘッダにおける独立再生可能フラグに基づいて、 各フレームに対応するフレーム符号化データが独立再生可能か否かを素早く検出 して、 早送再生処理を良好に行うことができる。
(実施の形態 2 )
次に、 本発明の実施の形態 2による画像処理方法について説明する。
この画像処理方法は、 複数の画面からなる画像に対応するデジタル画像データ を圧縮符号化して得られる圧縮画像デ一タを復号化して、 上記画像に対応する再 生画像デー夕を生成する方法である。 ここで復号化処理の対象となる圧縮画像デ —夕は、第 1 (a)図に示すデータ構造を有する圧縮画像データ D vとする。なお、 具体的には、該圧縮画像データ D Vは、第 1 (b)図に示すランダム再生処理に適し た圧縮画像データ D v a及び第 1 (c)図に示すランダム再生処理に適さないが符 号化効率の高い圧縮画像データ D V bの一方である。
第 7図はこの実施の形態 2による画像処理方法を説明するための図であり、 該 画像処理方法による復号化処理のフローを示している。
まず、実施の形態 1の画像処理方法により符号化された圧縮画像データ D V (表 4〜表 6で詳細なデータ構造を示すもの) が入力される (ステップ 3 0 1 ) と、 符号化処理の際に圧縮画像デー夕 D Vに付与されたへッダにおけるシーケンス同 期信号が検出される (ステップ 3 0 2 ) 。 なお、 このシーケンス同期信号は表 4 におけるデータ 8 0 2に相当する。
続いて、外部操作による制御信号に基づいて、画像の早送再生, 早巻戻し再生. あるいは画像編集のためのランダムァクセス再生処理を行うかどうかが判定され る (ステップ 3 0 3 ) 。 ここでは上記制御信号は、 外部の入力 (早送りボタンの 押圧操作など) によって与えられる。
上記ステツプ 3 0 3での判定の結果、 ランダムァクセス再生処理を行わなレ、場 合には、 上記ヘッダにおける共通データ (表 4〜表 6におけるデータ 8 0 3〜8 1 5 ) の解読が行われ、 各フレームに対応するフレーム符 化データに対する復 号化処理の準備が行われる (ステップ 3 0 7 ) 。
その後、 各フレーム符号化データが所定の復号化方法により再生される (ステ ッゾ 3 1 0 ) 。
本実施の形態では、 Iフレームのフレーム符号化データに対しては、 各サブブ ロックに対応する量子化係数に対して逆量子化処理及び逆 D C T処理を順次施し て、 各マクロブロックに対応する画像データを再生する処理カ、 上記フレームを 構成する全てのマクロプロック毎に行われる。
また、 Pフレームあるいは Bフレームに対応するフレ一ム符号化デ一夕に対し ては、 他のフレームの再生データを参照するフレー厶間復号化処理が行われる。 つまり、 このフレーム間復号ィ匕処理では、 各サブブロックの量子化係数 (量子 化された D C T係数) に逆量子化処理及び逆 D C T処理が) I頃次施されて、 各マク ロブ口ックに対応する差分データが復元される。 その後、 すでに復号 <b 理が施 された復号化処理済フレームの画像データから動き補償により、 復号ィ 理の対 象となる、 被処理フレームにおける対象マクロブロックに対応する画像データの 予測データが生成される。 この予測データと上記復元された差分データとが加算 されて、 対象マクロプロックの画像データが再生される。
その後、 復号化処理の対象となるフレーム符号化データが上記圧縮画像データ D Vにおける最後のフレームに対応するものか否かが判定される (ステップ 3 1 1 ) 。 この判定の結果、 フレーム符号化データ力く最後のフレームに対応するもの でなければ、 上記ステップ 3 1 0での符号化処理が再度行われ、 フレーム?^化 データが最後のフレームに対応するものであれば、 上記圧縮画像データ D Vに対 する復号化処理が終了する (ステップ 3 1 2 ) 。
一方、 上記ステップ 3 0 3での判定の結果、 ランダムアクセス再生処理を行う 場合には、 まず、 復号化の対象となる圧縮画像データがランダム冉牛処理に適し たものであるか否かが判定される。 つまり、 上記符号化処理の説明にて述べた識 別フラグ Hfdが抽出される (ステップ 3 0 4 ) 。 本実施の形態 2では、 データ 8 0 2 (シーケンス同期信号)のすぐあとに卜.言己識別フラグ Hidのデータ 8 1 4力く 存在している。従って、 シーケンス同期信号の解読後は、識別フラグ H fdを直ち に抽出できる。
次に上記識別フラグ H fdの値が調べられて、上記入力された圧縮画像データ D Vがランダムアクセス再生処理 (独立再生処理) に適したものであるか否かが判 定される (ステップ 3 0 5 ) 。
上記識別フラグ H fdの値が I 1」である場合は、該識别フラグ Hfdは、上記圧 縮画像デ一タ D Vが独立再生処理に適していることを示しており、その値が「 0」 である場合は、該識別フラグ H fdは、上記圧縮画像データ D Vが独立再生処理に 適していないことを示している。
上記ステップ 3 0 5での判定の結果、上記識別フラグ H fdの値が「 1」であつ た場合には、該識別フラグ Hfdの後に鲩く、各フレームの画像処理に関する共通 データが解析される (ステップ 3 0 8 ) 。 その後に各フレームに対応する符号化 符号化データが復号化により再生される (ステップ 3 1 0 ) 。 なお、 この場合の ステップ 3 1 0による復号化処理は、 ランダムアクセスしない場合の復号化処理 とは、 フレーム間復号化処理が行われな L、点のみ異なつている。
その後、 復号化処理の対象となるフレーム符号化データが上記 I土縮画像データ D Vにおける最後のフレームに対応するもの力、否かが判定される (ステップ 3 1 1 ) 。 この判定の結果、 フレーム符号化データが最後のフレームに対応するもの でなければ、 上記ステップ 3 1 0での符号化処理が冉度行われ、 フレーム符号化 デ一タが最後のフレームに対応するものであれば、 上記圧縮画像データ D Vに対 する復号化処理が終了する (ステップ 3 1 2 ) 。
一方、上記ステップ S 3 0 5での判定の結果、識別フラグ H fdの値が「 0」 で あった場合、 すなわち圧縮画像データ D Vが独立再生処理に適したものでなし、場 合には、独立再生処理を行わない旨のメッセージが出力され(ステップ 3 0 6 ) 、 入力された圧縮画像データ D vに対応する復号化処理が終了する (ステップ 3 1 2 ) o
このように本実施の形態 2の画像復号化処理では、 入力される圧縮画像データ D Vのへッダカ <、識別フラグ H idがシーケンス同期信号のすぐあとに置かれてい る構造となつているので、 動画像に対応する圧縮画像デー夕 D Vが独立再 理 に適したもの力、, つまり該動画像を構成する各フレームに対応するフレーム符号 化デ一タがすべて独立再生可能なものであるか否かをすぐに判定することができ る。
なお、 上記実施の形態 2では、 ステップ 3 0 2のシーケンス同期信号の検出処 理は、 ステップ 3 0 3のランダムアクセス判定処理前に行っているが、 ステップ 3 0 2のシーケンス同期信号の検出処理は、 ステップ 3 0 3のランダムアクセス 判定処理後に行ってもよい。
また、 上記実施の形態 2では、 復号化対象となる圧縮画像データ D vとして、 そのヘッダには識別フラグ H f d がシーケンス同期信号の直後に配置されている ものを示した力く、圧縮画像デー夕 D Vのへッダ内で識別フラグ H f dは Nビッ 卜の 固定苻号長デ一夕のあとに配置されていてもよい。 この場合には、 ランダムァク セス処理の際には、 ステップ 3 0 4にて、 その Nビッ 卜のデータを飛ばして識別 フラグ Hfd力〈抽出され、 ステップ 3 0 8では、上記飛ばされた Nビッ 卜のデ一夕 を含めて解読される。
また、 上記識別フラグ H fd を、 判定条件を伴うデータ (固定長符号化データ) または可変長符号化されたデータの前に置いた場合には、 条件判定をする必要が なく直ちに独立再生可能フラグを抽出できるのでランダムアクセスに適している。 特に、識別フラグ Hfdを可変長符号の前に配置した場合、識別フラグ H fdの前の データの角军析処理では、 入力されたへッダのデ一夕とテーブルに用意されたデー タと比較する 要がないので、 識別フラグ H fdを早く抽出できる。
また、 入力される圧縮凼像データ D vは、 該圧縮画像データ全体に対応するへ ッダとして、上記識別フラグが同期信号 Hsdの直後に配置されたへッダを有する ものに限らず、 第 5図に示すように、 圧縮画像データを構成する各フレーム符号 化データに、 独立再生可能フラグを含むフレームへッダが付加されているもので あってもよい。 この場合には、 各フレー厶毎に独立再生可能フラグ力く存在するた め、 各フレームに対応するフレーム符号化データをみるだけで、 このフレームが 独立再生可能なものであるかどうががわかる。 この場合も、 フレームヘッダ内で は、 フレーム同期信号のすぐ後に独立再生可能フラグが配置されているので、 こ のフレームが独立再生可能か否かを直ちに判定できる。
次に上記実施の形態 2の画像処理方法による圧縮復号化処理を行う画像処理装 置 (画像復号化装置) について説明する。
第 8図は本実施の形態 2による画像復号化装置を説明するためのプロック図で ある。
この画像復号化装置 1 0 O bは、 複数のフレームからなる動画像に対応するデ ジタル画像データを圧縮符号化して得られる圧縮画像データ 5 1 1を受け、 該圧 縮画像デー夕を復号化して、 上記画像に対応する再生画像デー夕を生成する装置 である。 ここで上記圧縮画像データは、 上記実施の形態 1の画像符号化装置 1 0 0 aにより生成されたものとする。
すなわち、上記画像復号化装置 1 0 0 bは、 上記圧縮画像データに含まれるへ ッダ及びその他のデータを解析して制御情報 5 2 3や動き情幸 β 5 2 4を生成する とともに、 上記圧縮画像データ 5 1 1に含まれる各フレームに対応するデータを 解析して圧縮フレームデータ 5 1 2を出力する解析器 5 0 2と、 上記各フレーム に対応する圧縮フレームデータを伸長して伸長フレームデ一夕 5 1 4を生成する データ伸長器 5 0 3とを有している。
本実施の形態 2では、 上記解析器 5 0 2は、 ヘッダの解析処理では、 必要に応 じてへッダ先頭位置から上記識別フラグまで続く固定長符号からなる共通データ を飛ばして、 上記識別フラグの解析を行うよう構成されている。 また、 該データ 伸長器 5 0 3は、 上記圧縮画像データに対して逆量子化処理を施して周波数領域 のデータ 5 L 3を生成する逆量了化器 5 0 3 aと、 該逆量子化器 5 0 3 aの出力 に対して、 周波数領域のデータを空間領域のデータに変換する逆離散コサイン変 換処理 (I D C T処理) を施して上記伸長フレームデータ 5 1 4を出力する逆 I D C T器 5 0 3 bとから構成されている。
また、 上 画像復号化装置 1 0 0 bは、 上記データ伸長器 5 0 3から出力され た伸長フレームデ一夕に基づいて、 その予測フレームデータ 5 2 0を生成する予 測データ生成器 5 0 6と、 上記データ伸長器 5 0 3からの彼処理フレームに対応 する伸長フレームデータと、 これに対応する予測フレームデータ 5 2 0とを加算 して再生フレームデータ 5 1 5を出力端子 5 1 0に出力する加算器 5 0 5とを有 している。
なお、 この画像復号化装置 1 0 0 bでは、 上記解析器 5 0 2での解析により得 られた動き情報 (動きべクトル) 5 2 4は第 1のスィツチ 5 2 2 aを介して上言己 予測データ生成器 5 0 fiに供給され、 上記予測フレームデータ 5 2 0は第 2のス イッチ 5 2 2 bを介して上記加算器 5 0 5に供給されるようになっている。また、 上記加算器 5 0 5から出力される再生フレームデ一夕 5 1 5は、 第 3のスィッチ 5 2 2 cを介して卜.記予測データ生成器 5 0 6に供給されるようになっている。 さらに上記画像復号化装置 1 0 0 bは、 上記解析器 5 0 2でのへッダの解析に より得られた制御情報 5 2 3に基づいて、 上記各スィツチ 5 2 2 a 5 2 2 cを 制御信号 5 2 5 a 5 2 5 cにより制御する制御器 5 2 1を有している。
以下、 上記予測データ生成器 5 0 6の構成について簡単に説明する。
この予測データ生成器 5 0 6は、 上記加算器 5 0 5の出力 (再生データ) 5 1 5を、 次処理フレームに対応する参照画像データとして格納するフレームメモリ 5 0 7を有している このフレ一厶メモリ 5 0 7は、 読出しァドレス信号 5 1 8 に基づいて格納データを山力する構成となっている。
さらに、 この予測データ生成器 5 0 6は、 上記解析器 5 0 2からの動きべク 卜 ル 5 1 7に基づいて上記フレームメモリ 5 1 0に対する読出しアドレス信号 5 1 8を発生するァドレス生成器 5 0 8と、 上記フレームメモリ 5 1 0における、 該 読出しアドレス信号 5 1 8により指定された領域のデータを取得して上記予測フ レームデータ 5 2 0として出力する予则信号取得器 5 0 9とを有している。
次に動作について説明する。
実施の形態 1の画像符号化装置 1 0 0 aにより圧縮符号化された、 表 4〜表 6 に示したフォーマツ 卜の圧縮画像データが入力端子 5 0 1に入力されると、まず、 解析器 5 0 2にて、 圧縮画像データにおけるヘッダの解析が行われ、 シーケンス 同期信号等が検出される。 また、 外部の入力 (早送りボタンの押圧操作など) に よって、 画像の早送再生, 早巻戻し再生, あるいは画像編集のためのランダムァ クセスを行うかどうかの外部制御信号 (図示せず) が上記解析器 5 ϋ 2に入力さ れる。
上記ランダムアクセスを行わない場合には、 解析器 5 0 2にて共通データ (表 1〜表 6におけるデータ 8 0 3から S 1 5 ) の解読が? τわれ、 各フレームに対応 するフレーム符号化データの復号ィ匕処理のための準備が行われる。 この場合、 ス イッチ 5 2 2 a〜5 2 2 cは、 制御器 5 2 1からの制御信号によりフレームの符 号化タイプ ( Iピクチャ, Pピクチャ, Bピクチャ) に^じて開閉制御される。 また、 上記解析器 5 0 2では、 圧縮画像データにおける各フレームに対応する フレーム苻号化データに基づいて動きべク 卜ル 5 2 4が抽出され、 さらに各フレ —ムに対応する量子化幅や量子化係数が圧縮データ 5 1 2として上記データ伸長 器 5 0 3に出力される。
こ で、 上記フレーム符号化データがフレーム内符号化処理により得られたも のである場合は、 卜.記圧縮データ (量子化係数) 5 丄 2は、 上記データ伸長器 5 0 3にて、 量子化器 5 0 3 aによる逆量子化処理が施されて周波数領域のデータ 5 0 3に変換され、 さらに逆 D C T処理 5 0 3 bによる逆 D C T処理が施されて 空問領域のデータ (伸長データ) 5 1 4に変換される。 この逆量子化処理及び逆 D C T処理は、 各フレームを構成するマクロプロックにおけるサブプロック毎に 行われる。 そして、 各マクロブロックに対応する伸長データ力加算器 5 0 5を介 して再生データ 5 1 5として出力端子 5 1 0から出力される。
また、 フレーム符号化データがフレーム間符号化処理により得られたものであ る場合には、 上記データ伸長器 5 0 3では、 各サブブロックに対応する量子化係 数 (圧縮データ) に逆量子化処理及び逆 D C T処理が順次施されて、 各マクロブ 口ックに対応する差分データが上記伸長データとして復元される。 そして対象マ クロブロックに対応する差分データは、 対応する予測データと加算器 5 0 5にて 加算されて、 再生データとして出力される。
このとき、 予測データ生成器 5 0 6では、 フレームメモリ 5 0 7に格納されて いる復号ィ匕処理済フレームの再生データ力 符号化装置の予測処理と同様に、 了 ドレス生成器 5 0 8と予測信号取得器 5 0 9による動き補償により、 被処理フレ —厶における対象マクロプロックに対応する予測データとして読み出される。 つまり、 上記予測データ生成器 5 0 6のァドレス生成器 5 0 8では、 上記解析 器 5 0 2からの動きべク トルに基づいてフレームメモリ 5 0 7のァドレス信号 5 1 8が生成される。 すると、 予測信号取得器 5 0 9により、 フレームメモリにお ける、 ァドレス信号により指定された領域のデータが上記予測デ一夕 5 2 0とし て取得される。
そして、 上記データ伸長器 5 0 3からの差分データと上記予測データとが上記 加算器 5 0 5にて加算されて、 対象マクロブロックの再生データとして出力され る。
一方、 ランダムアクセスをする場合には、 復 化の対象となる圧縮画像データ が独立再生に適したものであるか否かが、 該圧縮画像データにおけるヘッダの識 別フラグの解析により判定される。
つまり、 上記解析器 5 0 2では、 上記識別フラグ 5 2 3が抽出されて制御器 5 2 1へ出力される。
本実施の形態では、 上記圧縮画像データのヘッダでは、 シーケンス同期信号に 対応するデータ 8 0 2のすぐあとに、識別フラグ H fdに対応するデータ 8 1 4力く 配置されているので、へッダの解析処理では、識別フラグ Hfdを短時間で抽出で きる。
上記識別フラグが制御器 5 2 1に出力されると、 該制御器 5 2 1では、 上記識 別フラグ Hfdの分析が行われて、圧縮画像データがランダム再生処理に適したも のであるか否かの判定が行われる。
この判定の結果、 上記圧縮画像データが独立再生に適したものである場合 (上 記識別フラグ Hfdの値が「 1」の i ^r)、解析器 5 0 2にて共通デー夕の解析(可 変長復号化) が行われた後、 所定のフレームに対応するフレーム符号化データの 再生処理が丄記デ一夕仲長器 5 0 3にて行われる。 この場合の復号化処理では、 ランダムアクセスしない場合の復号ィ匕処理のようにフレーム間復号化が行われる ことはないので、 スィッチ 5 2 2 a〜 5 2 2 cは、制御器 5 2 1からの制御信号に より開状態に保持される。
ヒ記識別フラグ H idの判定の結果、該識別フラグ Hfdの値が「 Q」であつた場 合、 すなわち圧縮画像データが独立再牛に適したものでない場合には、 制御器 5 2 1からは独立復号化を行わない旨の情報力 上記復号化装置の所要の部分に供 糸合さ; Πる。
このように本実施の形態 2の画像復号化装置では、 圧縮画像データ D Vのへッ ダにおけるシーケンス同期信号の解析処理に続 、て、識別フラグ Hidの解折処理 が行われるので、 動画像に対応する圧縮画像データ D Vが独立再生処理に適した もの力、, つまり該動画像を構成する各フレームに対応するフレーム符号化データ がすべて独立再生可能なものであるか否かをすぐに判定することができる。
さらに、 上記各実施の形態及びその変形例で示した画像処理方法による画像処 理をソフ卜ウェアにより行うための画像処理プログラムを、 フロッピーディスク 等のデータ記憶媒体に記録するようにすることにより、 上記各実施の形態で示し た画像処理を、 独立したコンピュータシステムにおし、て簡単に実現することが可 肯 bと 'よる。
第 9図は、 上記各実施の形態及びその変形例における画像処理を、 上記画像処 理プログラムを格納したフロッピーディスクを用いて、 コンピュータシステムに より実施する場合を説明するための図である。
第 9 (a)図は、 フロッピ一ディスクの正面からみた外観、断面構造、及びフロッ ピ一ディスク本体を示し、第 9 (b)図は、該フロッピーディスク本体の物理フォー マツ 卜の例を示している。
上記フロッピーディスク F Dは、 上記フロッピーディスク本体 Dをフロッピー ディスクケース F C内に収容した構造となっており、 該フロッピーディスク本体 Dの表面には、 同心円伏に外周からは内周に向かって複数のトラック T rが形成 され、各トラック T rは角度方向に 1 6のセクタ S eに分割されている。従って、 上記プログラムを格納したフロッピーディスク F Dでは、 上記フロッピーディス ク本体 Dは、 その上に割り当てられた領域 (セクタ) S eに、 上記プログラムと してのデ一夕が記録されたものとなっている。
また、第 9 (c)図は、フロッピーディスク F Dに対する上記プログラムの言 ¾i、 及びフロッピ一ディスク F Dに格納したプログラムを用いたソフトウエアによる 画像処理を行うための構成を示している。
上記プログラムをフロッピーディスク F Dに記録する場合は、 コンピュータシ S3 ステム C sから上記プ nグラムとしてのデータを、 フロッピーディスク ドライブ F DDを介してフロッピーディスク F Dに書き込む。 また、 フロッピーディスク F Dに記録されたプログラムにより、 上記画像符号化装置あるいは画像復号化装置 をコンピュータシステム C s中に構築する場合は、 フロッピ一ディスク ドライブ FDDによりプログラムをフロッピーディスク F Dから読み出し、コンピュータシ ステム C sに口一ドする。
なお、 上記説明では、 データ記'隨体としてフロッピ一ディスクを用いて説明 を行ったが、 光ディスクを用いても上記フロッピーディスクの場合と同様にソフ トウエアによる符号化処理あるいは復号化処理を行うことができる。 また、 デ一 夕記憶媒体は上記光ディスクゃフロッピーディスクに限るものではなく、 I C力 ード、 R O Mカセッ ト等、 プログラムを記録できるものであればどのようなもの でもよく、 これらのデータ記録媒体を用いる場合でも、 上記フロッピーディスク 等を用いる場合と向様にソフ トウェアによる画像処理を実施することができる。 さらに、 フロッピ一ディスク等のデータ記憶媒体に格納された画像符号化 i 号 を、本実施の形態 1あるいはその変形例の画像信号データ構造とすることにより、 上言己フ口ツビ一ディスクからの画像符号化信号を復号化して画像表示する際には、 上記実施の形態 2の復号化処理と同様な効果が得られる。 産業上の利用可能性
以上のように本発明に係る画像伝送方法, 画像処理方法, 凼像処理装置, 及び データ記録媒体は、 動画像の任意フレームに対する圧縮データをランダムに選択 して再生するランダムァクセス再生処理を、 待ち時間が生ずることがないよう要 求される時問内に行うことができ、 画像信号の伝送や記憶を行うシステムにおけ る画像符号ィヒ処理や画像復号化処理では極めて有用であり、 特に、 M P E G 4等 の規格に準拠した圧縮された動画データの早送再生, 早巻き戻し再生, 編集等の 任意のフレームに対するランダムな画像処理に適している。

Claims

請 求 の 範 囲
1 . ^(の画面からなる画像に対応するデジ夕ル画像データを圧縮符号化して 得られる圧縮画像デ一夕を伝送する方法であつて、
上記圧縮画像デー夕を構成する、 上記各画面に共通な共通データを含むへッダ を伝送する処理と、
その後、 上記圧縮画像データを構成する、 上記各画面に対応する圧縮画面デー 夕を順次伝送する処理とを含み、
上記へッダの伝送処理では、
該へッダに含まれる、 上記圧縮画像デー夕が任意の圧縮画面デー夕を選択して 再生するランダム再生処理に適したものであるか否かを示す識別フラグを、 上記 へッダの先頭位置から該識別フラグまでの間には固定長符号デー夕のみが介在す るよつ伝送することを特徴とする画像伝送方法。
2 . 請求の範閉第 1項記載の画像伝送方法において、
上記ヘッダを、 上記圧縮画像データの先頭位置を示す同期信号と、 上記共通デ —夕としての固定長符号データ及び可変長符号デ一夕と、 上記識別フラグとから 構成し、
上記ヘッダの伝送処理では、
上記識別フラグを上記同期信号の後であつてかつ可変長符号データの前に伝送 することを特徴とする画像伝送方法。
3 . ネ ¾の画面からなる画像に対応するデジ夕ル画像デ一夕を圧縮^化して 圧縮画像データを生成する方法であつて、
上記各画面に共通する共通データを含むへッダを生成するへッダ生成処理と、 上記各画面に対応する画面デ一夕を圧縮符号化して圧縮画面デー夕を生成する 圧縮符号化処理とを含み、
卜.記ヘッダ生成処理では、
上記圧縮画像データを、 任意の画面に対応する圧縮 ¾ώデータを選択して再生 するランダム再生処理に適したものとするか否かを示す識別フラグを、 上記へッ ダの先頭位置から該識別フラグまでの間には固定長符号データのみが介在するよ う生成することを特徴とする画像処理方法。
. 請求の範囲第 3項記載の画像処理方法において、
上記ヘッダ生成処理の後に各画面に対応する圧縮符号ィヒ処理を行い、 上記ヘッダ生成処理では、
上記圧縮画像デー夕の先頭位置を示す同期信号を生成し、 続いて上記圧縮画像 データのランダム再生処理に対する適性を示す識別フラグを生成し、 その後上記 共通デ一タを生成することを特徴とする画像処理方法。
5 . 請求の範囲第 3 ί貞記載の画像処理方法において、
上記ヘッダの生成処理の後に各画面に対応する圧縮符号化処理を行い、 上記へッダの生成処理では、
上記圧縮画像データの先頭位置を示す同期信号を生成し、 次に上記共通データ として固定長符号データを生成し、 続いて、 上記圧縮画像デ一夕のランダム再生 処理に対する適性を示す識別フラグを生成し、 その後上記共通データとして可変 長符号データを生成することを特徴とする画像処理方法。
6 . 請求の範囲第 3項記載の画像処理方法において、
上記圧縮符弓化処理として、
被処理画面に対応する画面デー夕を、 他の画面に対応する画面デー夕を参照す ることなく圧縮符号化して第 1の圧縮両面データを生成する第 1の圧縮符号化処 理と、
被処理画面に対応する画面デー夕を、 他の画面に対応する画面デ一夕を参照し て圧縮符号化して第 2の圧縮画面データを生成する第 1の圧縮^"化処理とを含 み、
上記圧縮画面データとして第 1の圧縮画面データのみを含む圧縮画像データに おける上記識別フラグを、 該圧縮画像データが上記ランダ厶再生処理に適してい ることを示すものとし、
上記圧縮画面データとして第 1の圧縮画面データとともに第 2の圧縮画面デ一 夕を含む圧縮画像デー夕における上記識別フラグを、 該圧縮画像データが上記ラ ンダム再生処理に適していないことを示すものとすることを特徴とする画像処理 方法。
7 . 請求の範囲第 3項記載の凼像処理方法において、 上記へッダ生成処理及び圧縮符号化処理に加えて、 上記各画面に共通する共通 データと特定画面に対応する個別データを含む補助へッダを生成する補助へッダ 生成処理を含み、
上記へッダ生成処理の後に各凼面に対応する圧縮符号化処理を行う際、 上記特 定の画面に対応する圧縮画面データの前に補助ヘッダが付加されるよう上記補助 ヘッダ生成処理を行い、
上記補助へッダ生成処理では、
上記特定画面に対応する圧縮画面データが、 他の画面に対応する画面データを 参照することなく独立して再生可能なものである力、否かを示す独立再生可能フラ グを、 上記へッダの先頭位置から該独立再生可能フラグまでの間には固定長符号 データのみが介在するよう生成することを特徴とする画像処理方法。
8 . 複数の画面からなる画像に対応するデジ夕ル画像デー夕を圧縮符号化して 得られる圧縮画像データを復号化して、 上記画像に対応する再生画像データを生 成する方法であって、
上記圧縮画像データを構成する、 上記各画面に共通する共通データを含むへッ ダを解析するへッダ解析処理と、
上記圧縮画像デ—タを構成する、 上記各兩面に対応する画面デ—タを圧縮符号 化して得られる圧縮画面データを、 復号化して再生する再生処理とを含み、 上記へッダ解析処理では、 上記へッダの先頭位置から続く固定長符号データの 解析に続いて、 上記ヘッダに含まれる、 上記 H:縮画像データ力 任意の画面に対 応する圧縮画面デー夕を選択して再生するランダム再生処理に適したものである か否かを示す識別フラグの解析を行うことを特徴とする画像処理方法。
9 . 請求の範囲第 8項記載の画像処理方法にお 、て、
上記へッダ解析処理の後に各画面に対応する再生処理を行い、
上記ヘッダ解析処理では、
上記圧縮画像デ一夕の先頭位置を示す同期信号を解析し、 続 、て上記圧縮画像 データのランダム再生処理に対する適性を示す識別フラグを解析し、 その後上記 共通デ一タを解析することを特徴とする画像処理方法。
1 0 . 請求の範囲第 8項記載の画像処理方法において、 上記へッダ解析処理の後に各画面に対応する再生処理を行し \ 上記ヘッダ解析処理では、
上 土縮画像データの先頭位置を示す同期信号を解析し、 次に上記共通デ一夕 として固定長符号データを解析し、 続いて、 上記圧縮画像データのランダム再生 処理に対する適性を示す識別フラグを解析し、 その後上記共通データとして可変 長符号データを解析することを特徴とする画像処理方法。
1 1 . 請求の範囲第 8項記載の画像処理方法において、
上記へッダ解析処理及び再生処理は、
上記圧縮画面デ一夕として、 被処理画面に対応する画面データを他の画面に対 応する画面データを参照することなく圧縮符号化して得られる第 1の圧縮画面デ 一夕のみを含む第 1の圧縮画像データに対して行われるとともに、
上記圧縮画面データとして、 上記第 1の圧縮画面データに加えて、 被処理画面 に対応する画面デー夕を他の画面に対応する画面デー夕を参照して圧縮符号化し て得られる第 2の圧縮画面デ一夕を含む第 2の圧縮画像デ—夕に対して行われ、 上記圧縮画像デー夕に対するランダム再生処理は、 上記識別フラグに基づ 、て 上記第 1の圧縮画像デ一タに対してのみ行われることを特徴とする画像処理方法。 1 2 . 請求の範囲第 8項記載の画像処理方法において、
上記へッダ 1¾斜斤処理及び再生処理に加えて、
特定画面に対応する圧縮画面データに付加されている、 各画面に共通する共通 デー夕及び該特定画面に対応する個別デ—タを含む補助へッダを解析する補助へ ッダ解析処理を含み、
上記へッダ解析処理の後に各画面に対応する再生処理を行う際、 特定画面に対 しては補助へッダの解析処理を行レ、、
上記補助へッダ解析処理では、 上記補助へッダの先頭位置から綜く固定長符号 データの解析に続いて、 上記補助ヘッダに含まれる、 上記特定画面に対応する圧 縮画面デー夕が、 他の画面の画像データを参照することなく独立して再生可能な ものであるか否かを示す独立再生可能フラグの解析を行うことを特徴とする画像 処理方法。
1 3 . 複数の画面からなる画像に対応するデジタル画像データを圧縮符号化し て圧縮画像データを生成する装置であつて、
被処理画面に対応する対象画面データに基づ L、てその予測画面データを^す る予測データ生成器と、
上記対象画面データと予測画面データの差分値としての差分凼向データあるい は該対象画面デー夕を制御信号に基づ ^、て出力する演算処理手段と、
上記演算処理手段の出力デー夕を圧縮して圧縮データを生成するデータ圧縮器 と、
該デー夕圧縮器からの圧縮デー夕に対して可変長符号化処理を施して、 各画面 に対応する圧縮画面デ一夕を出力する可変長符号化器と、
上記デジタル画像デ一夕に基づいて、 各画 ώに共通する共通デ一タを含むへッ ダを生成するとともに、 上記圧縮画像データを、 任意の画面に対応する圧縮画面 データを選択して再生するランダム再 理に適したものとするか否かを示す識 別フラグに基づいて、 上記演 理手段を制御する制御手段とを備え、
上記可変艮符号化器は、 上記識別フラグを含むヘッダを、 その先頭位置から上 記識別フラグまでの間には固定長^ ·データのみが介在するよう出力する構成と なっていることを特徴とする画像処理装置。
1 4 . 請求の範囲第 1 3項記載の画像処理装置において、
上記可変長符号化器は、
上記各画面に対応する ί十」縮画面データを出力する前に上記へッダを出力し、 この際、 上記圧縮画像データの先頭位置を示す同期信号、 上記圧縮画像データ のランダム再生処理に対する適性を示す識別フラグ、 及び上記せ-通デ一夕をこの 順序で出力するよう構成されていることを特徴とする画像処理装置。
1 5 . 請求の範囲第 1 3項記載の画像処理装置において、
上記可変長符号化器は、
上記各画面に対応する圧縮画面データを出力する前に上記へッダを出力し、 上記ヘッダの出力の際には、
上記圧縮画像データの先頭位置を示す同期信号、 上記共通データとしての固定 長符号データ、 上記圧縮画像データのランダム再生処理に対する適性を示す識別 フラグ、 及び上記共通デー夕としての可変長符号デ一タを、 この順序で出力する 構成となっていることを特徴とする画像処理装藺.。
1 6 . 請求の範囲第 1 3項記載の画像処理装置において.、
上記制御手段は、
上記識別フラグが、 上記圧縮画像デ一夕を、 任意の画面に対^する圧縮画面デ ータを選択して再生するランダム再生処理に適したものとすることを示している とさ、
上記演算処理手段から上記対象画面デー夕が出力され、 上記データ圧縮器では 被処理画面に対応する画面デ一夕が他の画面に対応する画面データを参照するこ となく圧縮され、 上記可変長符号化器から第 1の JI縮画面データが出力される第 1の圧縮符号化処理が、 h記画像を構成するすべての画面に対して行われるよう、 上記演 理手段を制御し、
上記識別フラグが、 上記圧縮画像データを、 任意の画面に対応する圧縮画面デ 一タを選択して再生するランダム再 理に適したものとすることを していな いとき、
上記演算処理手段から上言 [^^画面データが出力され、 上記データ圧縮器では 被処理画面に対応する画面データが他の画面に対 する画面デ一タを参照して圧 縮され、 上記可変長符号化器から第 2の圧縮画面データが出力される第 2の圧縮 符号化処理が、 上記画像を構成する所定の画面に対して行われ、 かつ上記第 1の 圧縮符号化処理が、 上記画像を構成する、 上記所定の画面以外の画面に対して行 われるよう、 上記演算処理手段を制御することを特徴とする画像処理装置。
1 7 . 複数の画面からなる画像に対応するデジタル画像デ一夕を圧縮符号ィ匕し て得られる圧縮凼像デ一タを復号化して、 上記画像に対応する再生画像デー夕を 生成する装置であって、
上記圧縮画像デー夕に含まれるへッダを解析してへッダ情報を生成するととも に、 ヒ記圧縮画像データに含まれる各画面に対応するデータを解析して圧縮画面 データを出力する解析器と、
上記各画面に対応する圧縮画面デ一タを伸長して伸長画面デー夕を生成するデ ータ伸長器と、
制御信号に基づいて上記伸長画面データとその予測画面データとの加算画面デ ータあるいは上記伸長画面デ一タを、 再生画面データとして出力する演,理手 段と、
被処理画面に対応する予測画面データを該被処理画面に対応する対象伸長画面 データから生成する予測データ生成器と、
上記圧縮画像データが任意の画面に対応する圧縮画面データを選択して再生す るランダム再生処理に適しているか否かを示す、 上記へッダ情報の 1つである識 別フラグに基づ L、て、 上記演算処理手段を制御する制御手段とを備え、
上記解析器は、 ヘッダの解析処理では、 必要に応じてヘッダ先頭位置から上記 識別フラグまで続く固定長符号からなる共通データを飛ばして、 上記識別フラグ の解析を行うよう構成されていることを特徴とする画像処理装置。
1 8 . 請求の範囲第 1 7項記載の画像処理装置において、
上記解析器は、
上記へッダに対するデータ解析を、 上記解析器へのデータ入力順序に従って、 上記圧縮画像データの先頭位置を示す同期信号、 上記圧縮画像データのランダム 再生処理に対する適性を示す識別フラグ、 及び上記共通データの順に行うよう構 成されていることを特徴とする画像処理装置。
1 9 . 請求の範囲第 1 7項記載の画像処理装置において、
上記解析器は、
上記へッダに対するデ一タ解析-を、 上記解析器へのデ一タ入力順序に従って、 上記圧縮画像データの先頭位置を示す同期信号、 上記共通データとしての固定長 符号データ、 上記圧縮画像データのランダム再生処理に対する適性を示す識別フ ラグ、 及び上記共通データとしての可変長符号デー夕の順に行うよう構成されて いることを特徴とする画像処理装置。
2 0 . 請求の範囲第 1 7項記載の画像処理装置において、
上記制御手段は、
上記識別フラグが、 上記圧縮画像データが任意の画面に対応する圧縮画面デー 夕を選択して再生するランダム再生処理に適したものであることを示していると さ、
被処理画面に対応する伸長画面データがそのまま上記演^理手段から被処理 画面の再生 111囪デ一夕として出力される、 他の画面を参照しない第 1の伸長復号 化処理が、 上記画像を構成するすべての画面に対して行われるよう、 上記演算処 理手段を制御し、
上記識別フラグが、 上記圧縮画像データが任意の画面に対応する圧縮両面デー 夕を選択して再生するランダム再生処理に適したものとすることを示していない とさ、
被処理凼面に対応する伸長画面データと他の両面に対応する再生画面データと の加算値が上記演算処理手段から被処理画面の再生画面データとして出力される、 他の画面を参照する第 2の伸長復号化処理が、 上記画像を構成する所定の画面に 対して行われ、 かつ上記第 1の伸長復号化処理が、 上記幽像を構成する所定の画 面以外の画面に対して行われるよう、 上記演算処理手段を制御することを特徴と する画像処理装置。
2 1 . 複数の画面からなる画像に対応するデジタル画像データを圧縮符号化す るための画像処理プログラムを格納したデ一夕記憶媒体であって、
上記画像処理プログラムは、 コンビユー夕に、 請求の範囲第 3項記載の画像処 理方法による上記デジタル画像データの圧縮符号化処理を行わせるための符号化 プログラムであることを特徴とするデータ記憶媒体。
2 2 . 複数の画面からなる画像に対応するデジタル画像デ一夕を圧縮符号化し て得られる圧縮画像データを伸長復号化するための画像処理プログラムを格納し たデータ記憶媒体であって、
上記画像処理プログラムは、 コンビユー夕に、 請求の範囲第 8項記載の画像処 理方法による、 上記圧縮画像デー夕の復号化処理を行わせるための復号化プログ ラムであることを特徴とするデータ記憶媒体。
PCT/JP1999/000275 1998-01-23 1999-01-25 Image transmitting method, image processing method, image processor, data storage medium WO1999038326A1 (en)

Priority Applications (7)

Application Number Priority Date Filing Date Title
BRPI9904785A BRPI9904785B8 (pt) 1998-01-23 1999-01-25 método de processamento de imagem para decodificar dados de imagem comprimidos
KR10-2001-7009670A KR100394938B1 (ko) 1998-01-23 1999-01-25 화상 전송 방법, 화상 데이터 배열 및 화상 데이터 배열방법
DE1999601866 DE69901866T2 (de) 1998-01-23 1999-01-25 Verfahren zur bilddatenverarbeitung
US09/381,688 US6418268B1 (en) 1998-01-23 1999-01-25 Image processing method for decoding compressed image data
EP99901158A EP0971543B1 (en) 1998-01-23 1999-01-25 Image data processing method
KR10-1999-7008705A KR100365259B1 (ko) 1998-01-23 1999-01-25 화상 처리 방법
US10/202,026 US7155110B2 (en) 1998-01-23 2002-07-25 Image transmission method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP10/11068 1998-01-23
JP1106898 1998-01-23

Related Child Applications (3)

Application Number Title Priority Date Filing Date
US09/381,688 A-371-Of-International US6418268B1 (en) 1998-01-23 1999-01-25 Image processing method for decoding compressed image data
US09/660,441 Division US6400889B1 (en) 1998-01-23 2000-09-12 Image processing method for decoding compressed image data
US09/660,442 Division US6449424B1 (en) 1998-01-23 2000-09-12 Image transmission method and computer readable image data structure

Publications (1)

Publication Number Publication Date
WO1999038326A1 true WO1999038326A1 (en) 1999-07-29

Family

ID=11767677

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1999/000275 WO1999038326A1 (en) 1998-01-23 1999-01-25 Image transmitting method, image processing method, image processor, data storage medium

Country Status (12)

Country Link
US (4) US6418268B1 (ja)
EP (3) EP0971543B1 (ja)
JP (3) JP3380763B2 (ja)
KR (3) KR100394938B1 (ja)
CN (4) CN1167275C (ja)
BR (1) BRPI9904785B8 (ja)
DE (2) DE69910805T2 (ja)
ES (3) ES2204777T3 (ja)
ID (1) ID22974A (ja)
MY (1) MY124052A (ja)
TW (1) TW416220B (ja)
WO (1) WO1999038326A1 (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2359918A (en) * 2000-03-01 2001-09-05 Sony Uk Ltd Audio and/or video generation apparatus having a metadata generator
KR20030003063A (ko) * 2001-06-29 2003-01-09 마츠시타 덴끼 산교 가부시키가이샤 데이터 재생 장치 및 데이터 재생 방법
US7483581B2 (en) 2001-07-02 2009-01-27 Qualcomm Incorporated Apparatus and method for encoding digital image data in a lossless manner
FI114527B (fi) 2002-01-23 2004-10-29 Nokia Corp Kuvakehysten ryhmittely videokoodauksessa
KR100931915B1 (ko) 2002-01-23 2009-12-15 노키아 코포레이션 비디오 코딩시 이미지 프레임들의 그루핑
US20040199660A1 (en) * 2003-02-14 2004-10-07 Nokia Corporation Method of multiplexing compressed and uncompressed internet protocol packets
US8194751B2 (en) * 2003-02-19 2012-06-05 Panasonic Corporation Moving picture coding method and moving picture decoding method
US7809843B1 (en) * 2003-09-18 2010-10-05 Intel Corporation Globally unique identification in communications protocols and databases
JP4721258B2 (ja) * 2005-01-11 2011-07-13 株式会社リコー 画像処理装置、画像処理方法、プログラム及び情報記録媒体
WO2007106844A2 (en) 2006-03-14 2007-09-20 Divx, Inc. Federated digital rights management scheme including trusted systems
JP5092459B2 (ja) * 2006-07-18 2012-12-05 富士ゼロックス株式会社 遠隔指示システム及び遠隔指示システム用のプログラム
CN101198052B (zh) * 2006-12-04 2010-05-19 华为技术有限公司 一种视频编码方法、解码方法及其装置
WO2008072452A1 (ja) * 2006-12-11 2008-06-19 Panasonic Corporation 動画像復号化装置、半導体装置、映像機器および動画像復号化方法
KR100813989B1 (ko) * 2007-06-18 2008-03-14 삼성전자주식회사 복수개의 주사 패턴을 이용한 부호화 방법, 복호화 방법,및 그 장치
US8997161B2 (en) 2008-01-02 2015-03-31 Sonic Ip, Inc. Application enhancement tracks
US8045836B2 (en) * 2008-01-11 2011-10-25 Texas Instruments Incorporated System and method for recording high frame rate video, replaying slow-motion and replaying normal speed with audio-video synchronization
KR101635876B1 (ko) 2009-01-07 2016-07-04 쏘닉 아이피, 아이엔씨. 온라인 콘텐츠를 위한 미디어 가이드의 단일, 공동 및 자동 생성
KR101664125B1 (ko) * 2009-09-22 2016-10-10 삼성전자주식회사 랜덤 액세스 가능한 영상 인코딩 시스템 및 방법
CA2782825C (en) 2009-12-04 2016-04-26 Divx, Llc Elementary bitstream cryptographic material transport systems and methods
US8914534B2 (en) 2011-01-05 2014-12-16 Sonic Ip, Inc. Systems and methods for adaptive bitrate streaming of media stored in matroska container files using hypertext transfer protocol
WO2012140839A1 (ja) * 2011-04-11 2012-10-18 パナソニック株式会社 ストリーム生成装置およびストリーム生成方法
TWI604720B (zh) 2011-07-02 2017-11-01 三星電子股份有限公司 視訊解碼裝置
US9467708B2 (en) 2011-08-30 2016-10-11 Sonic Ip, Inc. Selection of resolutions for seamless resolution switching of multimedia content
US8964977B2 (en) 2011-09-01 2015-02-24 Sonic Ip, Inc. Systems and methods for saving encoded media streamed using adaptive bitrate streaming
US8909922B2 (en) 2011-09-01 2014-12-09 Sonic Ip, Inc. Systems and methods for playing back alternative streams of protected content protected using common cryptographic information
KR101921935B1 (ko) * 2012-02-16 2018-11-27 삼성전자 주식회사 카메라의 동영상 촬영장치 및 방법.
US10051264B2 (en) * 2012-04-20 2018-08-14 Qualcomm Incorporated Marking reference pictures in video sequences having broken link pictures
US9716892B2 (en) * 2012-07-02 2017-07-25 Qualcomm Incorporated Video parameter set including session negotiation information
KR102147475B1 (ko) 2012-07-11 2020-08-26 한국전자통신연구원 Mpeg 데이터를 처리하는 방법 및 시스템
WO2014010955A1 (ko) * 2012-07-11 2014-01-16 한국전자통신연구원 Mpeg 데이터를 처리하는 방법 및 시스템
US9313510B2 (en) 2012-12-31 2016-04-12 Sonic Ip, Inc. Use of objective quality measures of streamed content to reduce streaming bandwidth
US9191457B2 (en) 2012-12-31 2015-11-17 Sonic Ip, Inc. Systems, methods, and media for controlling delivery of content
US9037001B2 (en) * 2013-03-14 2015-05-19 Qualcomm Incorporated Method and apparatus of decoding low-rate visible light communication signals
US10397292B2 (en) 2013-03-15 2019-08-27 Divx, Llc Systems, methods, and media for delivery of content
US9906785B2 (en) 2013-03-15 2018-02-27 Sonic Ip, Inc. Systems, methods, and media for transcoding video data according to encoding parameters indicated by received metadata
US9094737B2 (en) 2013-05-30 2015-07-28 Sonic Ip, Inc. Network video streaming with trick play based on separate trick play files
US9967305B2 (en) 2013-06-28 2018-05-08 Divx, Llc Systems, methods, and media for streaming media content
KR101994599B1 (ko) 2013-10-25 2019-06-28 미디어텍 인크. 전송 동기화 이벤트에 따라 압축된 픽처의 전송을 제어하는 방법 및 장치
US9866878B2 (en) 2014-04-05 2018-01-09 Sonic Ip, Inc. Systems and methods for encoding and playing back video at different frame rates using enhancement layers
US10498795B2 (en) 2017-02-17 2019-12-03 Divx, Llc Systems and methods for adaptive switching between multiple content delivery networks during adaptive bitrate streaming
KR102056064B1 (ko) * 2017-10-27 2019-12-16 (주)유양디앤유 광학 카메라 통신 장치 및 방법
US11109041B2 (en) * 2019-05-16 2021-08-31 Tencent America LLC Method and apparatus for video coding

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05308610A (ja) * 1992-04-28 1993-11-19 Toshiba Corp 帯域圧縮信号処理装置
JPH06261303A (ja) * 1993-01-11 1994-09-16 Sony Corp 画像信号符号化方法、復号化方法および画像信号記録媒体
JPH0845249A (ja) * 1994-07-29 1996-02-16 Sharp Corp 符号化データ管理装置
JPH08163508A (ja) * 1994-12-05 1996-06-21 Matsushita Electric Ind Co Ltd ビデオサーバ装置
JPH09139915A (ja) * 1995-11-16 1997-05-27 Matsushita Electric Ind Co Ltd 圧縮動画像復号・表示装置および圧縮動画像簡易編集装置

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR970007530B1 (ko) 1991-09-30 1997-05-10 가부시기가이샤 도시바 대역 압축 신호 처리 장치
JP2785220B2 (ja) * 1992-09-22 1998-08-13 ソニー株式会社 データ符号化装置および方法、並びにデータ復号化装置および方法
JP3358835B2 (ja) 1992-12-14 2002-12-24 ソニー株式会社 画像符号化方法及び装置
US5535008A (en) * 1993-03-16 1996-07-09 Victor Company Of Japan, Ltd. Method for jump-reproducing video data of moving picture coded with high efficiency
EP0643213B1 (en) 1993-09-13 1998-03-04 Honda Giken Kogyo Kabushiki Kaisha Air-fuel ratio detection system for internal combustion engine
JP3378345B2 (ja) * 1994-03-28 2003-02-17 株式会社東芝 再生装置、記録方法および再生方法
JP2931754B2 (ja) * 1994-04-08 1999-08-09 株式会社東芝 記録媒体、データ記録方法、再生装置およびデータ再生システム
JP3248380B2 (ja) * 1994-12-15 2002-01-21 ソニー株式会社 データ復号化装置およびデータ復号化方法
JP3270983B2 (ja) * 1994-12-21 2002-04-02 ソニー株式会社 画像データ符号化方法及び装置、画像データ復号化方法及び装置
CA2168327C (en) * 1995-01-30 2000-04-11 Shinichi Kikuchi A recording medium on which a data containing navigation data is recorded, a method and apparatus for reproducing a data according to navigationdata, a method and apparatus for recording a data containing navigation data on a recording medium.
JPH08339637A (ja) 1995-04-11 1996-12-24 Toshiba Corp 記録媒体とこの記録媒体へのデータの記録装置とその記録方法、その記録媒体からのデータの再生装置とその再生方法
CA2173812C (en) 1995-04-11 2000-02-08 Shinichi Kikuchi Recording medium, recording apparatus and recording method for recording data into recording medium, and reproducing apparatus and reproduction method for reproducing data from recording medium
WO1997007509A1 (fr) * 1995-08-21 1997-02-27 Matsushita Electric Industrial Co., Ltd. Disque optique multimedia capable de conserver pendant longtemps la fraicheur du contenu en images, appareil et procede de reproduction de ce disque
JP4059355B2 (ja) * 1996-04-04 2008-03-12 パイオニア株式会社 情報記録装置及び情報記録方法並びに情報再生装置及び情報再生方法
US5983229A (en) * 1997-06-05 1999-11-09 Eastman Kodak Company Extension persistence mechanism for a digital image format
JP3860323B2 (ja) 1997-10-27 2006-12-20 三菱電機株式会社 画像復号化装置、画像復号化方法
KR100345235B1 (ko) * 1998-11-08 2005-07-29 엘지전자 주식회사 디지털데이터스트림기록방법및그장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05308610A (ja) * 1992-04-28 1993-11-19 Toshiba Corp 帯域圧縮信号処理装置
JPH06261303A (ja) * 1993-01-11 1994-09-16 Sony Corp 画像信号符号化方法、復号化方法および画像信号記録媒体
JPH0845249A (ja) * 1994-07-29 1996-02-16 Sharp Corp 符号化データ管理装置
JPH08163508A (ja) * 1994-12-05 1996-06-21 Matsushita Electric Ind Co Ltd ビデオサーバ装置
JPH09139915A (ja) * 1995-11-16 1997-05-27 Matsushita Electric Ind Co Ltd 圧縮動画像復号・表示装置および圧縮動画像簡易編集装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP0971543A4 *

Also Published As

Publication number Publication date
DE69901866T2 (de) 2003-01-23
KR100394938B1 (ko) 2003-08-19
EP1119200A2 (en) 2001-07-25
CN1167275C (zh) 2004-09-15
EP1119199A3 (en) 2002-07-24
US6400889B1 (en) 2002-06-04
MY124052A (en) 2006-06-30
JP3380797B2 (ja) 2003-02-24
CN1312937C (zh) 2007-04-25
JPH11275576A (ja) 1999-10-08
DE69910805T2 (de) 2004-07-01
CN1135845C (zh) 2004-01-21
EP0971543B1 (en) 2002-06-19
KR20010005638A (ko) 2001-01-15
CN1633183A (zh) 2005-06-29
KR100365259B1 (ko) 2003-01-24
BRPI9904785B8 (pt) 2016-05-17
CN1379593A (zh) 2002-11-13
EP0971543A4 (en) 2001-05-09
BR9904785B1 (pt) 2014-01-28
JP2001057678A (ja) 2001-02-27
US6418268B1 (en) 2002-07-09
EP1119200A3 (en) 2007-12-12
JP2001069515A (ja) 2001-03-16
CN1256046A (zh) 2000-06-07
CN1361633A (zh) 2002-07-31
KR100446365B1 (ko) 2004-09-01
ES2662593T3 (es) 2018-04-09
US6449424B1 (en) 2002-09-10
KR20010089626A (ko) 2001-10-06
US7155110B2 (en) 2006-12-26
TW416220B (en) 2000-12-21
US20030007781A1 (en) 2003-01-09
JP3380763B2 (ja) 2003-02-24
JP4418090B2 (ja) 2010-02-17
EP1119199A2 (en) 2001-07-25
DE69910805D1 (de) 2003-10-02
ES2204777T3 (es) 2004-05-01
EP0971543A1 (en) 2000-01-12
ES2178374T3 (es) 2002-12-16
EP1119199B1 (en) 2003-08-27
BR9904785A (pt) 2000-03-08
EP1119200B1 (en) 2018-01-17
KR20010089627A (ko) 2001-10-06
DE69901866D1 (de) 2002-07-25
ID22974A (id) 1999-12-23

Similar Documents

Publication Publication Date Title
WO1999038326A1 (en) Image transmitting method, image processing method, image processor, data storage medium
KR101227330B1 (ko) 화상 부호화 장치 및 화상 복호화 장치
JP3147792B2 (ja) 高速再生のためのビデオデータの復号化方法及びその装置
JP2003052040A (ja) Mpegデータ再生装置
JPH0898142A (ja) 画像再生装置
JP3307163B2 (ja) 符号化方法と符号化装置、および、復号化方法と復号化装置
JP3727236B2 (ja) 映像記録装置及び映像再生装置
JP3381726B2 (ja) データ再生方法
JP3721971B2 (ja) Mpeg画像データ記録装置及び記録媒体
JP3624435B2 (ja) 情報再生装置及び方法
MXPA99008689A (en) Image transmitting method, image processing method, image processor, data storage medium
JP2002354417A (ja) 画像再生装置及び画像再生方法
JP2003092733A (ja) Mpegデータ記録装置
JP2004229323A (ja) Mpeg画像データ記録装置
JP2004266846A (ja) Mpeg画像データ記録方法
JP2004266847A (ja) 記録媒体
JP2002305726A (ja) 記録媒体
JP2002305725A (ja) データ再生装置
JP2002320200A (ja) データ記録方法
JP2003052018A (ja) Mpegデータ記録装置
JP2003116106A (ja) Mpegデータ記録方法
JP2003092734A (ja) Mpegデータ記録装置
JP2003111026A (ja) Mpegデータ記録方法
JPH11187353A (ja) 記録方法および装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 99800063.9

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): BR CN ID IN KR MX SG US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

WWE Wipo information: entry into national phase

Ref document number: IN/PCT/1999/30/KOL

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 1019997008705

Country of ref document: KR

Ref document number: PA/a/1999/008689

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 1999901158

Country of ref document: EP

Ref document number: 09381688

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1999901158

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 1019997008705

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1999901158

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1019997008705

Country of ref document: KR