WO2004008776A1 - 動画像符号化装置及び動画像復号化装置 - Google Patents

動画像符号化装置及び動画像復号化装置 Download PDF

Info

Publication number
WO2004008776A1
WO2004008776A1 PCT/JP2003/008954 JP0308954W WO2004008776A1 WO 2004008776 A1 WO2004008776 A1 WO 2004008776A1 JP 0308954 W JP0308954 W JP 0308954W WO 2004008776 A1 WO2004008776 A1 WO 2004008776A1
Authority
WO
WIPO (PCT)
Prior art keywords
memory
field
image data
area
frame
Prior art date
Application number
PCT/JP2003/008954
Other languages
English (en)
French (fr)
Inventor
Martin Schlockermann
Bernhard Schuur
Shinya Kadono
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to BRPI0305554A priority Critical patent/BRPI0305554B8/pt
Priority to US10/488,474 priority patent/US7760803B2/en
Priority to CA2460473A priority patent/CA2460473C/en
Priority to EP03741394.5A priority patent/EP1443772B1/en
Priority to MXPA04002302A priority patent/MXPA04002302A/es
Priority to ES03741394.5T priority patent/ES2536543T3/es
Priority to AU2003281135A priority patent/AU2003281135B2/en
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Publication of WO2004008776A1 publication Critical patent/WO2004008776A1/ja
Priority to US11/976,547 priority patent/US7742523B2/en
Priority to US12/774,957 priority patent/US8139637B2/en
Priority to US13/397,103 priority patent/US9001891B2/en
Priority to US13/397,128 priority patent/US8989264B2/en
Priority to US14/632,405 priority patent/US9420301B2/en
Priority to US14/632,443 priority patent/US9402081B2/en
Priority to US14/632,349 priority patent/US9473781B2/en
Priority to US14/632,498 priority patent/US9398305B2/en
Priority to US14/632,370 priority patent/US9479790B2/en
Priority to US15/070,580 priority patent/US9942561B2/en
Priority to US15/198,012 priority patent/US9906806B2/en
Priority to US15/197,993 priority patent/US9936210B2/en
Priority to US15/907,615 priority patent/US10230971B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/127—Prioritisation of hardware or computational resources
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/16—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter for a given display mode, e.g. for interlaced or progressive display mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H04N19/426—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements using memory downsizing methods
    • H04N19/428—Recompression, e.g. by spatial or temporal decimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H04N19/433—Hardware specially adapted for motion estimation or compensation characterised by techniques for memory access
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/573—Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Definitions

  • the present invention relates to a video encoding device and a video decoding device.
  • the present invention relates to a memory management control of a multi-frame buffer used for storing reference image data in video encoding and decoding, and more particularly, to a memory management method for interlaced video data.
  • Video is being used in a growing number of applications ranging from video technology and video conferencing to DVD and digital television.
  • it is necessary to transmit a considerable amount of data via a conventional transmission line having a limited effective frequency band.
  • To transmit digital data in a limited transmission band it is essential to reduce or reduce the amount of transmission data.
  • Video coding standards have been developed to compress the amount of video data in a common way so that different manufacturers can interoperate between multiple systems designed for the application.
  • the video coding standards are ITU's H.261, H.263 and ISOZIEC's MPEG-1, MPEG-2, and MPEG-4.
  • a picture represents a frame or a field.
  • the encoder uses motion detection to search for the position of highly correlated image data in the encoded frame. Is performed. Further, the encoder and the decoder perform motion compensation for extracting predicted image data corresponding to the motion vector.
  • the illustrated video encoder includes a transform unit 13 for transforming spatial video data into a frequency domain, a quantizer 14 for quantizing transform coefficients obtained by the transform unit 13, and a quantized transform coefficient.
  • a variable length encoding unit 15 for entropy encoding for entropy encoding, a video buffer 17 for supplying the compressed video data of the variable bit rate to the transmission line according to the transmission rate, a decoder 16, And a prediction unit 19.
  • a pixel value is input in PCM (pulse code modulation).
  • the difference unit 11 calculates a difference value between the video data 10 and the motion compensated image 12.
  • the motion-compensated image 12 is obtained by decoding an already-encoded image and performing motion compensation (“target decoded image”). This is done by the decoder 16 corresponding to the video encoder.
  • the decoder 16 reverses the encoding procedure. That is, the decoder 16 adds an inverse quantization unit (Q-1), an inverse transform unit (IDCT), and the decoded difference to the motion compensation image. And an adder that generates a previous image similar to that obtained on the decoding side.
  • the motion compensation data of the current picture is Based on the prediction of motion between the picture and the decoded picture, it is generated from the picture data of the corresponding decoded picture.
  • the motion prediction value is represented by a two-dimensional motion vector that indicates the displacement of a pixel between the decoded picture and the current picture.
  • motion estimation is performed in block units. That is, in the decoded picture, the block having the strongest correlation with the block of the target frame is set as the motion compensation image.
  • a motion prediction unit 19 for performing the motion prediction and a motion compensation unit MC for generating a motion-compensated image from a decoded picture corresponding to the motion vector are incorporated in the encoder.
  • the video encoder shown in Fig. 1 operates as follows.
  • the video image of the video signal 10 is usually divided into a certain number of small blocks called macroblocks.
  • the video image 20 shown in FIG. 2 is divided into a plurality of macro blocks 21. Each macroblock typically has a pixel size of 16 ⁇ 16.
  • each slice consists of multiple macroblocks and is a unit of synchronization recovery when data is lost. Note that the arrangement of macroblocks constituting one slice does not need to be composed of only the macroblocks in the same row as shown in FIG. There may be different slice breaks.
  • an I-picture When encoding image data for a video only by reducing the spatial redundancy in the image, the resulting picture is called an I-picture.
  • An I picture is coded with reference to only the pixel values in the picture. Encoded I-picture, to temporal information to reduce the amount of data is not available, the size of the encoded data have a size Q
  • Efficient compression by utilizing the temporal redundancy existing between consecutive pictures
  • predictive coding between consecutive pictures is performed based on motion prediction and compensation. If the reference picture selected in motion estimation is one picture that has already been encoded and decoded, it is called a P picture. If there are two reference pictures (usually the display order is forward and backward with respect to the target picture), it is called a B picture.
  • motion compensation for each 16 ⁇ 16 macroblock can be performed using different block sizes.
  • Each motion vector is based on a motion compensation block size of 4x4, 4x8, 8x4, 8x8, 8x16, or 16x16 pixel blocks. Can be determined.
  • the advantage of using a small motion compensation block is that it can describe fine motion.
  • the motion compensation processing Based on the result of the motion prediction processing, the motion compensation processing performs prediction based on the determined motion vector. Then, information included in the prediction error block obtained from the predicted block is converted into a conversion coefficient in the conversion unit 13. Generally, two-dimensional DCT (discrete cosine transform) is often used. The obtained transform coefficients are quantized, and finally, entropy coding (V L C) is performed in an entropy coding unit 15. The motion vector calculated by the motion prediction unit 19 is used for motion compensation, and is incorporated into the compressed video data 18 via the variable length coding unit 15 and the video buffer 17. Output.
  • DCT discrete cosine transform
  • the transmission stream of the compressed video data 18 is transmitted to a decoder (video decoding device), where an encoded video image sequence is reproduced based on the received data.
  • the configuration of the decoder corresponds to the configuration of the decoder 16 provided in the video encoder shown in FIG.
  • the motion prediction unit and the motion compensation unit include a multi-frame buffer for providing various reference pictures. Information indicating each reference image is added to the motion vector.
  • the internal configuration of the multi-frame buffer is as shown in FIG. 3, and reference numeral 30 indicates the whole.
  • the multi-frame buffer is composed of a plurality of memory areas 31 and 32 for storing frames of video signals.
  • the memory area of the multi-frame buffer 30 is composed of two different types of memory areas, namely, a short-time area 33 for storing a reference picture mainly used as a reference image only for a short time, and a long-term area for mainly. It is divided into a long-term area 34 where the reference picture used over time is stored.
  • the multi-frame buffer stores appropriately selected reference pictures for encoding or decoding a special image.
  • the procedure for storing a reference picture is divided into two processing stages: (1) rearrangement of reference pictures and (2) buffering of reference pictures.
  • Reference pictures are arranged based on reference picture order information transmitted in the slice layer.
  • the ordering of reference pictures only affects the encoding or decoding of macroblocks contained in one slice.
  • the purpose of this processing is to assign a smaller number to frequently referenced pictures and assign a code with a shorter code length to smaller numbers, thereby reducing the number of bits of information indicating the reference image to be referenced in motion compensation.
  • each encoded or decoded image of interest is stored in addition to the multi-frame buffer.
  • Pictures in the short-time area of the multi-frame buffer are periodically replaced by new images in a first-in first-out (FIFO) manner.
  • FIFO first-in first-out
  • the buffer has enough unused memory space, there is no need to erase any image data to store the image data for the image currently being processed. If the unused area of the multi-frame buffer is filled with new image data that has already been processed, the earliest stored image data is replaced with the image data of the currently encoded / decoded new image.
  • each image that is additionally stored in or deleted from the multi-frame buffer is explicitly selected.
  • the memory control is performed according to the memory management control processing parameters that ensure the corresponding memory management control on the encoding and decoding sides.
  • a unique identification number for explicitly specifying a target picture is assigned to each memory area.
  • Each memory area is assigned an index indicating the order after the above-mentioned (1) rearrangement of the reference pictures, and is referred to as a reference index.
  • interlaced video data cannot be handled particularly efficiently. Since interlaced video data is composed of two fields (top field and bottom field) where each frame is different in time and vertical spatial position, and can be encoded in field units, memory management is complicated. There is a problem that it becomes. Disclosure of the invention
  • the present invention provides a video encoding device, a video decoding device, a memory management device, and the like that can efficiently manage an image memory in encoding and decoding of interlaced video data. With the goal.
  • a moving picture coding apparatus comprises: a storage unit having a plurality of memory areas capable of storing image data of a frame including a top field and a bottom field; Encoding means for encoding an input image in a field unit while performing motion prediction and motion compensation by referring to image data stored in the memory area in a field unit; and A memory management unit that manages the image data of the field encoded by the encoding unit; and the image data of the decoded field is managed by the memory management unit.
  • Storage means for storing the data in any one of the above memory areas.
  • the moving picture decoding apparatus comprises: a storage unit having a plurality of memory areas capable of storing image data of a frame including a top field and a bottom field; Decoding means for decoding an input image in field units while performing motion compensation by referring to image data in field units; memory management means for managing the plurality of memory areas in frame units; Storage means for storing the image data of the field re-decoded by the decoding means in any of the plurality of memory areas under the control of the memory management means. .
  • the memory management device encodes or decodes a moving image.
  • a memory management device in a device that performs storage the storage device having a plurality of memory areas capable of storing image data of a frame including a top field and a bottom field; and Management means for managing, and memory access means for storing field image data in any of the plurality of memory areas and reading field image data from any of the plurality of memory areas under management by the management means And characterized in that:
  • video decoding devices and memory management devices it is possible to store one frame data or two field data (top field data and bottom field data). Regardless of whether image data is stored in each memory area and image data is read from each memory area in frame units or field units, memory management is always performed in frame units. Memory management in encoding and decoding of race video data is simplified and more efficient. In particular, when interlaced video data is coded in units of frames and in which fields are coded in units of frames, efficient memory management is required because only unified frame-based memory management is required. Memory management is realized.
  • the memory management unit manages whether or not image data can be stored for each of the plurality of memory areas on a frame basis, and the storage unit determines that the storage can be performed by the memory management unit.
  • the image data of the field may be stored in a managed memory area. That is, the memory management means manages the memory area by setting a storage permission flag corresponding to each of the plurality of memory areas to “used” or “unused”.
  • the image data of the field may be stored in a memory area in which the storage permission flag indicates “unused”.
  • the memory management unit sets a storage permission flag corresponding to the memory area to “use”, When the image data is not stored in the memory area, when the stored frame is unnecessary, or when both the stored top field and bottom field are unnecessary. Then, the storage permission flag corresponding to the memory area is set to “unused”. As a result, a 1-bit storage permission flag is assigned to the memory area for storing the two field data, and a change is made based on the state of the 1-bit storage permission flag. This makes it possible to manage whether or not image data can be stored in each memory area. This simplifies management-related processing and requires a small memory capacity for management.
  • the memory management unit may manage, for each of the plurality of memory areas, a “short-time area” for short-time reference or a “long-time reference J” for long-time reference in units of frames.
  • the memory management means manages the memory area by setting a long-time flag associated with each of the plurality of memory areas to a “short-time area” or a “long-time area”. Is also good.
  • the memory management means may use the frame, top field, or bottom field image data stored in the memory area where the long time flag is set in the “short time area” for a long time reference. To change, set the long time flag to “long time area”.
  • a one-bit long-time flag is assigned to the memory area storing the two field data, and the state of the one-bit long-time flag is determined.
  • the reference attributes "short-time reference” or “long-time reference”
  • Memory capacity is small.
  • the image data stored in the “short time area” can be moved to the “long time area” simply by changing the long time flag from “short time area J” to “short time area”.
  • the present invention can be realized not only as the above-described moving picture coding apparatus, moving picture decoding apparatus, and memory management apparatus, but also as a moving picture coding method, a moving picture decoding method, and a memory management method. It can be realized as a computer, as a program, or as a computer-readable recording medium on which a program is recorded.
  • FIG. 1 shows a block diagram of a motion compensated DPC M video encoder.
  • FIG. 2 shows a subdivision of a video image for encoding and decoding processing.
  • FIG. 3 shows the overall configuration of a multi-frame buffer used for motion prediction and motion compensation.
  • FIG. 4 shows the data stored in association with one memory area.
  • FIG. 5 shows a block diagram of the motion prediction and motion compensation unit.
  • FIG. 6 shows an example of a control method of the multi-frame buffer.
  • FIG. 7 is a block diagram showing a configuration of a video encoder according to Embodiment 2.
  • FIG. 8 is a diagram showing types of input video signals or coding units
  • FIG. 8 (a) shows an example of video signals coded in frame units
  • Fig. 8 (c) shows an example of a video signal encoded in a field unit
  • Fig. 8 (c) shows an example of a video signal encoded in a state where frames and fields are mixed.
  • FIG. 9 is a flowchart showing the operation procedure of the memory management unit.
  • FIG. 10 is a table showing an example of memory management by the memory management unit.
  • FIG. 10 (a) shows an example of memory management corresponding to FIG. 8 (a)
  • FIG. 10 (b) shows an example of memory management corresponding to FIG. 8 (c)
  • FIG. 10 (c) shows an example of memory management corresponding to FIG. 8 (c).
  • Fig. 11 is a diagram showing the storage state of the reference image in the buffer, and Fig. 11 (a) shows the storage state of the buffer when the input video signal is encoded in frame units.
  • Fig. 11 (b) shows the storage state of the buffer when the input video signal is encoded in units of fields.
  • FIG. 11 (c) shows the storage state of the buffer when the input video signal is encoded with a mixture of frames and fields.
  • FIG. 12 is a block diagram showing the configuration of the video decoder according to the present invention.
  • FIG. 13 is an explanatory diagram of a recording medium that stores a program for realizing the video encoder and the video decoder according to the present invention by a computer system.
  • FIG. 14 is a block diagram showing an overall configuration of a content supply system for realizing a content distribution service according to the present invention.
  • FIG. 15 is a diagram showing an example of the mobile phone according to the present invention.
  • FIG. 16 is a block diagram showing a configuration of the mobile phone.
  • FIG. 17 is a diagram showing a configuration of a digital broadcasting system according to the present invention.
  • the video encoder (moving image encoding device) according to Embodiment 1 of the present invention will be described with reference to the drawings.
  • the video encoder has a configuration shown in FIG. 1 and a characteristic memory management function shown in FIG. 5 described later.
  • the following description focuses on the differences from the conventional video encoder.
  • FIG. 3 shows the entire configuration of the multi-frame buffer.
  • the multi-frame buffer 30 includes a plurality of memory areas 31 and 32 for storing a reference image composed of two fields, namely, a top field and a bottom field.
  • the data stored in each of the memory areas 31 and 32 is as shown in FIG.
  • Each memory area 41 is used to store a top field 42 and a pottom field 43, where each field data is independently written or read.
  • the memory unit (multi-frame buffer) 52 is updated according to the memory control information.
  • a storage permission flag 44 assigned to each memory area is set.
  • are marked by Reference images required for motion prediction or motion compensation of a series of images are retained in the frame buffer by clearing the storage permission flag.
  • the storage permission flag 44 is set to the "unused" state.
  • the storage permission flag 44 is used regardless of whether one field of the frame, both fields, or the frame is stored.
  • Storage permission flag 4 4 indicates the state of the frame, but what is stored is managed in each memory (field) unit, and only one of the top field or the bottom field is stored. Is the other It can also indicate that the other field is storable.
  • the storage permission flag can be stored in the memory section (multi-frame buffer) 52 or, alternatively, in the memory control section 53 associated with the corresponding memory area of the multi-frame. Just associating one storage permission flag 44 with each top and field field pair eliminates the need for additional hardware to handle interlaced video data.
  • one long-time flag 45 may be assigned to each memory area 41.
  • the flag 45 is stored in the memory unit (multi-frame buffer, buffer) 52 or the memory control unit 53 associated with each memory area. By using this long time flag 45, it is shown that each memory area is stored in the long time reference image. By setting the long time flag 45 in this manner, the shift processing (movement) of the image from the short time area 33 to the long time area 34 is realized.
  • the long-time memory area 34 stores the top or bottom field in one of the top and bottom field positions 42 and 43. This improves the efficient storage of long-term image data. This is achieved by providing two storage enable flags for each long-term memory area that allow each field location to indicate "unused".
  • step 62 An example of the memory management control method is shown in FIG.
  • the process of memory control for the multi-frame buffer is started.
  • step 63 first, a memory area storing two fields that are not required in the subsequent field processing is selected.
  • the storage permission flag 44 is set to "unused". Is set to One field data that constitutes the same frame is stored. If there is a memory area being used and the other field area of the memory area is unused, the other field data may be stored in the unused field area. For example, if the top field data of the same frame has already been stored in the memory area and the field field data has not been stored, the bottom field may be stored in the unstored bottom field area of that memory area. .
  • the video encoder can generate control information based on the definition in the adopted coding standard.
  • the memory control information selects a memory area having a long-time image data (step 65). Then, in step 66, the long-time flags 45 of these memory areas are set.
  • step 67 the field to be processed is stored at each "unused" field location in the memory area according to the memory control parameters, and then in step 68, the encoding or decoding process is restarted.
  • the present invention relates to a motion prediction and motion compensation unit using a plurality of reference images, and the plurality of reference images are stored in a memory unit having a memory area for each reference image.
  • Each memory area stores video data of one frame including a top field and a bottom field. Storage of video data in a memory unit is controlled by a memory control unit.
  • One storage permission flag is assigned to each memory area to permit storing image data of two consecutive fields in one memory area.
  • storage permission flag 44 and the long-time flag 45 have been described simultaneously in the first embodiment, only one of them may be used, and the other may not be used, or may be replaced by another method.
  • Embodiment 2 of the present invention a video encoder and a video decorator according to Embodiment 2 of the present invention will be described.
  • This embodiment is equivalent to a detailed version of the first embodiment, and is common to the first embodiment in that memory management is performed in units of frames.
  • FIG. 7 is a block diagram showing a configuration of the video encoder 70 according to the second embodiment.
  • This video encoder 70 performs memory management for a multi-frame buffer on a frame-by-frame basis even if the structure and coding unit of the input video signal 10 are frame units, field units, or a mixture thereof.
  • the difference unit 11, the conversion unit 13, the quantization unit 14, the variable length coding unit 15, the video buffer 17, the decoder 16, the motion prediction unit 19, and the memory management unit 7 1 is provided.
  • the decoder 16 includes an inverse quantization unit 16a, an inverse discrete cosine transform unit 16b, a buffer 16c, and a motion compensation unit 16d. Note that the same components as those of the conventional video encoder shown in FIG. 1 and the video encoder in Embodiment 1 are denoted by the same reference numerals, and description thereof will be omitted.
  • the video encoder 70 of the present embodiment includes a characteristic memory management unit 71.
  • the memory management unit 71 uses the external information indicating whether the image of the input video signal 10 has been encoded in what unit (frame unit, field unit, or a mixture thereof).
  • the same processing unit as the unit It instructs the motion compensating unit 16d and the motion predicting unit 19 so as to be in the same order, and manages the reference image stored in the multi-frame buffer, that is, the buffer 16c, for each frame. Specifically, as shown in FIG.
  • the processing in the motion compensation unit 16 d and the motion prediction unit 19 is performed in frame units or field units so as to correspond to the coding unit. It is controlled so that it is performed, and memory management is performed on a frame basis.
  • the memory area is a unit for storing one frame data or two field data (top field data and bottom field data).
  • a 1-bit storage permission flag and a 1-bit long-time flag are assigned to each image data, and in each image data (in the present embodiment, for each frame, or for each pair of a top field and a bottom field), “ J j ⁇ Not used judge whether the storage area is “long time” or “short time J area”, and record it.
  • These flags are 16 c or provided in the memory management unit 71.
  • “Unused J And “use” mean that image data (frame data, top field data or bottom field data) can be stored in the corresponding memory area, and that storage is prohibited.
  • the “long time area” and the “short time area” refer to the respective areas when the buffer 16c is classified into two types of storage areas, knobs, storage areas mainly for long-term reference, and the like. It mainly corresponds to a storage area for short-term reference.
  • FIG. 9 is a flowchart showing the operation procedure of the memory management unit 71.
  • the memory management unit 71 determines the coding unit of the input video signal 10 based on the input external information (step S70), and encodes the picture of the video signal 10 in frame units.
  • Step S70 ⁇ frame unit
  • the motion compensation by the motion compensation unit 16d and the motion prediction by the motion prediction unit 19 are controlled so as to be in frame units.
  • the reference image is removed from the buffer 16c and stored in the long-term area and the short-term area in the frame unit (step S71), while the picture of the video signal 10 is coded in the field unit.
  • the motion compensation by the motion compensation unit 16 d and the motion prediction by the motion prediction unit 19 are controlled so as to be in units of fields.
  • Frame by frame Fa 1 6 stores the removal of the reference image to c ⁇ beauty long and stores this in the region / short region (Step S 7 2).
  • FIG. 10 is a table showing an example of memory management by the memory management unit 71.
  • the memory management unit 71 handles each frame (that is, memory area) as shown in FIG. 10 (a).
  • the storage permission flag and the long time flag that have been set it is determined whether each frame is in the “used” or “unused” state, and whether the “long” or “short j” area Stored in the area Records, references, and updates.
  • the memory management unit 71 determines, as shown in FIG. 10 (b), the difference between the top field and the bottom field.
  • a storage permission flag and a long time flag, etc. corresponding to each pair (that is, memory area)
  • each pair, that is, for each frame is in either “used J / unused” state.
  • long time Z “short time” records refers to, or updates which area of the j area is stored. The detailed procedure is described in FIG. 6 in the first embodiment. It is as shown in the flowchart.
  • the memory management unit 71 sets the frame as shown in FIG. 10 (c). For the field, use the storage permission flag and long time flag etc. corresponding to each frame, and for the field, use the storage permission flag and long time flag etc. corresponding to each pair of the top field and the bottom field This means that, for each frame or for each pair of the top field and the bottom field, that is, for each frame, whether the state is “used” or “unused” and “long j / short” Records in which area of the time J area it is stored, refers to, and updates.
  • the specific control procedure of the storage permission flag is as follows. That is, when image data has not been stored in the memory area, when frame data stored in the memory area is no longer needed (when it is decided not to use it), or when frame data is stored in the memory area. Yes If both top field data and bottom field data are no longer needed (when it is decided not to use any field data), set the storage permission flag corresponding to that memory area to “unused”. I do. This Thus, new frame data or field data can be stored in the memory area.
  • top field data, or bottom field data is stored in the “unused” memory area, set the storage permission flag corresponding to that memory area to “used”. .
  • the storage permission flag corresponding to that memory area is set to “used j, but the same frame is used.
  • the data of the bottom field or top field that constitutes is controlled so that it can be stored in the other field area of the memory area.
  • the specific control procedure of the long time flag is as follows.
  • the image data stored in the memory area when the frame data is stored, the frame data is stored, and when only the top field data is stored, only the top field data and the bottom field data are stored). If it is stored, the bottom field data is used. If both the top field data and bottom field data are stored, both the top field data and the bottom field data are used for short-time reference. If so, set the long-time flag corresponding to that memory area to “short-term area”. This makes it possible to use it as a buffer memory of the FIFO together with the other "short-time area" memory areas.
  • the long time flag corresponding to the memory area is set to the “long time area”. This ensures that the image data is retained in the memory area until it is explicitly deleted from the memory area (it becomes “unused”).
  • FIG. 11 is a diagram illustrating a storage state of the reference image in the buffer.
  • FIG. 11 (a) shows the storage state of the buffer 16c when the input video signal 10 is encoded in frame units
  • FIG. 11 (b) shows the input video signal 1
  • Fig. 11 (c) shows the storage state of the buffer 16c when 0 is encoded in units of fields
  • Fig. 11 (c) shows that the input video signal 10 is encoded in a state where frames and fields are mixed.
  • FIG. 12 is a block diagram showing a configuration of a video decoder 100 including a memory management unit 109 having the same function as that of the memory management unit 71 described above.
  • the video decoder 100 corresponds to encoding by the input buffer 102 that temporarily holds the input encoded video signal 101 and the variable-length encoding unit 15 included in the video encoder 70.
  • the variable length decoder 103 for decoding, the inverse quantization unit 104 for performing inverse quantization corresponding to the quantization by the quantization unit 14 provided in the video encoder 70, and the video encoder 70 are An inverse discrete cosine transform unit 105 that performs an inverse transform of the transform performed by the transform unit 13 provided, an adder 106 that adds an image and outputs a video signal 110, and a multi that stores a reference image.
  • a buffer 107 as a frame buffer and a motion vector included in the coded video signal 101 are obtained via the variable-length decoder 103, and the buffer 107 is obtained using the motion vector.
  • Motion compensation unit 108 that performs motion compensation on the reference image stored in the Ru and a management unit 1 0 9.
  • the memory management unit 109 uses the same unit as the unit.
  • the motion compensating unit 108 is instructed to be a processing unit, and the reference image stored in the multi-frame buffer, that is, the buffer 107 is managed in frame units. More specifically, if the picture of the input coded video signal 101 is coded in frame units in a GOP (or a sequence) or the like, the processing in the motion compensation unit 108 is performed in full. Control is performed in units of frames and memory management is performed in units of frames. On the other hand, the picture of the input coded video signal 101 is not included in the GOP (or sequence).
  • the processing in the motion compensation unit 108 is controlled to be performed in units of fields, and the memory management is performed in units of frames.
  • the details of the memory management in the video decoder 100 are described in detail in the video encoder except that motion compensation is performed using the motion vector included in the input coded video signal 101. Same as memory management in 70.
  • the video encoding device, the video decoding device, and the memory management according to the present invention have been described based on the two embodiments. However, the present invention is not limited to these embodiments. is not.
  • the memory management should not be performed on a frame-by-frame basis but on a frame-by-frame basis.
  • field units may be mixed. For example, by assigning a 1-bit storage enable flag and a 2-bit long-time flag to each memory area, “use” Z “unused j” is managed on a frame basis and “short-time area” "The long-term area j may be managed on a field-by-field basis.
  • the memory management (“used J /“ unused ”,“ long time area ”/“ short time area J) ”is realized by the flag corresponding to the picture (frame or field).
  • the present invention is not limited to the memory management using the flag, for example, the picture number (“unused”) among the pictures stored in the buffer in the “used j (or“ unused ”) state.
  • a management table that records a reference index or a number indicating each area of the buffer is provided. Similar memory management may be performed by providing a management table that records the number of the picture stored in the “long time area” (or the reference index or the number indicating each area of the buffer).
  • FIG. 13 is an explanatory diagram of a recording medium for storing a program for realizing the video encoder and the video decoder according to the above-described embodiment using a computer system.
  • FIG. 13 (a) shows an example of a physical format of a flexible disk as a recording medium body.
  • Fig. 13 (b) shows the appearance, cross-sectional structure, and flexible disk of the flexible disk as viewed from the front.
  • the flexible disk FD is built in the case F.
  • a plurality of tracks Tr are formed concentrically from the outer periphery toward the inner periphery, and each track has 16 sectors in the angular direction. Se has been split. Therefore, in the flexible disk storing the program, a video encoder and a video decoder as the program are recorded in an area allocated on the flexible disk FD.
  • FIG. 13 (c) shows a configuration for recording and reproducing the above program on the flexible disk FD.
  • the above video encoder and video decoder are constructed in a computer system by a program in a flexible disk
  • a flexible disk drive is required.
  • the program is read from the flexible disk by live and transferred to the computer system.
  • the recording medium for storing the program is not limited to a flexible disk, but may be an optical disk such as a CD-ROM or a DVD-ROM, a memory card, a ROM cassette, or the like.
  • the video encoder and the video decoder according to the present invention can be applied to various devices and systems. Hereinafter, application examples of the video encoder and the video decoder in the above embodiment will be described.
  • FIG. 14 is a block diagram showing the overall configuration of a content supply system eX100 that realizes a content distribution service.
  • the communication service providing area is divided into desired sizes, and base stations eX107 to ex110, which are fixed radio stations, are installed in each cell.
  • the content supply system ex100 is, for example, provided to the Internet exl01 by an Internet service provider ex102 and a telephone network exl04, and base stations ex107 to ex1 "1.
  • Devices such as a computer exl 11, a PDA (personal digital assistant) exll 2, a camera exl 13, a mobile phone exl 14, and a mobile phone with a camera ex 115 are connected via 0.
  • the supply system eX100 is not limited to the combination as shown in Fig. 14, and may be connected by combining any of them. Each device may be directly connected to the telephone network ex104 without going through the 110.
  • the camera eX113 is a device capable of shooting moving images such as a digital video camera.
  • PDC Persona ID igita IC ommunications
  • CDMA Code Diision Multiple Access
  • W-CDMA Wideband — Code Division Multiple
  • GSM global IS ystem for ob om Communications
  • PHS Persona IH andyphone system
  • the streaming device exl03 is connected to the base station e from the camera ex113.
  • the encoding of the photographed data may be performed by the camera eX113, or may be performed by a server or the like that performs the data transmission processing.
  • the moving image data shot by the camera ex116 may be transmitted to the streaming server / ex103 via the computer ex111.
  • the camera ex116 is a device such as a digital camera capable of shooting still images and moving images.
  • the encoding of the moving image data may be performed by the camera ex116 or the computer ex11.
  • the encoding process is performed in the LSIex11 of the computer ex11 and the camera ex16.
  • the software for image encoding and decoding may be incorporated in any storage medium (CD-ROM, flexible disk, hard disk, etc.) that is a recording medium readable by a computer ex11 or the like.
  • moving image data may be transmitted by a camera-equipped mobile phone ex 115. The moving image data at this time is data that has been encoded by the LSI included in the mobile phone eX115.
  • the content (for example, a video image of a music live) captured by the user with the camera ex113, the camera ex116, and the like can be compared with the above embodiment.
  • the encoding processing is performed and transmitted to the streaming server eX103.
  • the streaming server ex103 transmits the above-mentioned content data to the requested client. Is streamed.
  • the client include a computer ex111, a PDA ex112, a camera exl13, a mobile phone exl14, etc., which can decode the encoded data.
  • the content supply system ex 1000 can receive and reproduce the encoded data at the client, and further receive, decode, and reproduce the data in real time at the client. This makes it possible to implement personal broadcasting.
  • each device constituting this system may be performed using the video encoder or the video decoder shown in each of the above embodiments.
  • FIG. 15 is a diagram illustrating a mobile phone ex 115 using the video encoder and the video decoder described in the above embodiment.
  • the mobile phone eX115 has an antenna eX201 for transmitting and receiving radio waves to and from the base station ex110, a camera unit ex2 that can capture images and still images from CCD cameras, etc. 03, camera section ex203, display section eX202, such as a liquid crystal display, which displays decoded data of the image received by antenna eX201, etc.
  • the mobile phone eX115 has a slot eX206 that allows the recording media ex207 to be attached to it.
  • the recording media ex207 is a non-volatile memory that can be electrically rewritten and erased in a plastic case such as an SD card.
  • EEPROM Electrically II y Erasable This is a type of flash memory device that is a type of and programmable read only memory.
  • the mobile phone ex1 15 has a main control unit e X 3 1 1, which is equipped with a display unit ex 2 0 2 and operation keys ex 2 0 4, and controls each unit of the main unit. , Power supply circuit section ex 310, operation input control section ex 304, image encoding section ex 310, camera interface section ex 303, LCD (Liquid Crystal Display) control section ex 3 02, image decoding unit eX309, demultiplexing unit eX308, recording / reproducing unit ex307, modulation / demodulation circuit ex306 and audio processing unit ex305 synchronized They are connected to each other via a bus ex3 13.
  • a bus ex3 13 13
  • the power supply circuit unit eX310 supplies the camera-equipped digital mobile phone eX10 by supplying power from the battery pack to each unit when the call end and the power key are turned on by a user operation. 1 Start 5 in an operable state.
  • the mobile phone ex115 can process audio signals collected by the audio input unit ex205 in the voice call mode based on the control of the main control unit eX311, which includes a CPU, ROM and RAM.
  • the ex-305 converts the digital audio data into digital voice data, which is then subjected to spread spectrum processing in the modulation / demodulation circuit eX306 and the digital-analog conversion and frequency conversion processing in the transmission / reception circuit ex301. And transmit it via antenna eX201.
  • the mobile phone eX115 also amplifies the data received by the antenna ex201 in the voice call mode, performs frequency conversion processing and analog-to-digital conversion processing, and performs modulation and demodulation circuit eX306 to scan the data.
  • the signal is despread and converted into analog voice data by a voice processing unit eX305, and then output via a voice output unit eX208. Further, when sending an e-mail in the data communication mode, the text data of the e-mail input by operating the operation key eX204 of the main unit is mainly transmitted through the operation input control unit eX304. It is sent to the control unit ex311.
  • the main control section eX311 performs the spread spectrum processing of the text data in the modulation and demodulation circuit section ex306, and performs the digital analog conversion processing and the frequency conversion processing in the transmission / reception circuit section eX301. After that, it transmits to the base station eX110 via the antenna eX201.
  • the image data captured by the camera unit eX203 is supplied to the image encoding unit eX312 via the camera interface unit eX303. I do.
  • the image data captured by the camera unit ex203 is displayed on the display unit ex203 via the camera interface unit eX303 and the LCD control unit ex302. It is also possible to display directly on 02.
  • the image encoding unit eX312 has a configuration provided with the video encoder described in the present invention, and uses the image data supplied from the camera unit eX203 for the video encoder described in the above embodiment.
  • the image data is converted into encoded image data by performing compression encoding according to the encoding method used, and is transmitted to the demultiplexing unit ex308.
  • the mobile phone ex115 receives the sound collected by the audio input unit ex205 during imaging by the camera unit eX203 via the audio processing unit ex305. Is transmitted to the demultiplexing unit ex308 as the audio data of.
  • the demultiplexing unit eX308 multiplexes the encoded image data supplied from the image encoding unit ex312 and the audio data supplied from the audio processing unit ex305 in a predetermined manner, The resulting multiplexed data is subjected to spread spectrum processing in the modulation and demodulation circuit section ex306, digital and analog conversion processing and frequency conversion processing in the transmission and reception circuit section ex301, and then to the antenna ex. Transmit via 201.
  • the received data received from the base station ex110 via the antenna eX201 is received by the modem circuit eX306.
  • the spectrum despreading process is performed, and the resulting multiplexed data is sent to the demultiplexing unit eX308.
  • the demultiplexing unit ex308 demultiplexes the multiplexed data to obtain a bit stream of the re-image data.
  • the audio data is separated into a bit stream of the audio data, and the encoded image data is supplied to the image decoding unit eX309 via the synchronous bus eX313 and the audio data is processed into the audio processing unit ex3005. To supply.
  • the image decoding unit eX309 has a configuration provided with the video decoder described in the above embodiment, and corresponds to the encoding method shown in the above embodiment. Reproduced moving image data is generated by decoding by the decoding method, and this is supplied to the display unit eX202 via the LCD control unit eX302, and thereby, for example, the moving image linked to the homepage is generated. The moving image data included in the image file is displayed. At this time, at the same time, the audio processing unit ex305 converts the audio data into analog audio data, and supplies the analog audio data to the audio output unit ex208, whereby, for example, the moving image linked to the home page The audio data contained in the file is played.
  • the present invention is not limited to the example of the above system, and digital broadcasting using satellites and terrestrial waves has recently become a topic.
  • the bit stream of the video information is transmitted via radio waves or broadcast satellite e. x 4 10 transmitted.
  • the broadcasting satellite eX410 receiving this transmits a radio wave for broadcasting, receives this radio wave with the home antenna eX406 having the satellite broadcasting receiving equipment, and sets the television (receiver) eX4 0 1 or a bit stream is decoded by a device such as set-top box (STB) eX407 and reproduced.
  • STB set-top box
  • the video decoder described in the above embodiment is also used in a reproducing device eX403 that reads and decodes a bitstream recorded on a storage medium eX402, such as a CD or DVD, which is a recording medium. It is possible to implement. In this case, the reproduced video signal is displayed on the monitor eX404.
  • a video decoder is mounted in a set-top box ex 407 connected to a cable TV cable ex 405 or a satellite Z terrestrial broadcasting antenna ex 406, and this is connected to a TV monitor ex. A configuration in which playback is performed with 408 is also conceivable. At this time, a video decoder may be incorporated in the TV instead of the set-top box.
  • a signal is received from a satellite ex 4 10 or a base station ex 1 0 7 or the like by a car e X 4 1 2 having an antenna ex 4 1 1, and a power ex 4 1 It is also possible to play a moving image on a display device such as 3rd.
  • an image signal can be encoded by the video encoder described in the above embodiment and recorded on a recording medium.
  • a recorder e x420 such as a DVD recorder for recording an image signal on the DVD disk eX421 and a disk recorder for recording on a hard disk. Furthermore, it can be recorded on an SD card e x 4 2 2. If the recorder ex420 has the video decoder described in the above embodiment, the image signal recorded on the DVD disc ex421 or the SD card eX422 is reproduced, and the monitor eX408 is used. Can be displayed.
  • the configuration of the force navigation eX413 is, for example, a camera unit eX203 and a camera interface unit ex303, of the configuration shown in FIG.
  • a configuration excluding the image encoding unit eX312 is conceivable, and the same is conceivable for the combination ex111 and television (receiver) ex401.
  • terminals such as the above-mentioned mobile phone eX114 are not only transmission / reception terminals having both an encoder and a decoder, but also transmission terminals having only an encoder and reception terminals having only a decoder. There are three possible implementation formats.
  • the video encoder or the video decoder described in the above embodiment can be used for any of the above-described devices and systems, and by doing so, the effects described in the above embodiment can be obtained. Can be. Further, the present invention is not limited to the above embodiment, and various changes or modifications can be made without departing from the scope of the present invention. Industrial potential
  • a video encoding device, a video decoding device, a memory management device, and the like according to the present invention are a video encoder and a video decoder realized by an electronic circuit such as an LSI or software implemented on a computer. Can be used. For example, it is useful as a video encoder and a video decoder provided in a computer, a PDA, a digital broadcast transmitter, a portable telephone, and the like that encodes a moving image or decodes and reproduces the encoded moving image.

Abstract

動画像を符号化する映像エンコーダ（７０）であって、トップフィールドとボトムフィールドとを含むフレームの画像データを格納することが可能な複数のメモリ領域を有するバッファ（１６ｃ）と、メモリ領域に格納された画像データをフィールド単位で参照することによって動き予測と動き補償を行いながら入力画像をフィールド単位で符号化するための動き予測部（１９）、動き補償部（１６ｄ）、差分器（１１）、変換部（１３）及び量子化部（１４）と、複数のメモリ領域をフレーム単位で管理するメモリ管理部（７１）と、符号化されたフィールドの画像データを復号化し、復号化したフィールドの画像データをメモリ管理部（７１）による管理の下で複数のメモリ領域のいずれかに格納するための逆量子化部（１６ａ）及び逆離散コサイン変換部（１６ｂ）等を備える。

Description

明 細 書
動画像符号化装置及び動画像復号化装置 技術分野
本発明は、 映像の符号化及び復号化における参照用画像データの格納 に用いられるマルチフ レームバッファのメモリ管理制御に関し、 特に、 インタ一レース映像データのためのメモリ管理方法に関する。 背景技術
動画像は、 映像技術や映像会議から D V Dやデジタルテレビにいたる 範囲にわたって増大しつつある数多くのアプリケーションに採用されて いる。 動画像を伝送するためには、 有効周波数帯域が限られた従来の伝 送路を介してかなりの量のデータを伝送することが必要とされる。 限ら れた伝送帯域でデジタルデータを伝送するためには、 伝送データの量を 圧縮又は削減することが不可欠となる。
異なる製造会社によってアプリケーション用に設計された複数のシス テム間における相互利用が可能となるように、 共通の方法で映像データ の量を圧縮する映像符号化規格が策定されている。 映像符号化規格は、 I T Uの H . 2 6 1 、 H . 2 6 3と I S OZ I E Cの M P E G— 1 、 M P E G— 2、 M P E G— 4である。
その多くの規格における基本となる符号化のアプローチは、 以下の主 要なステージからなる。
1 . 映像を構成するピクチャの処理をブロック レベルで行うことが可 能となるように、 各ピクチャをピクセルからなるブロックに分割する。 ピクチャとは、 フレームもしくはフィールドを表す。
2. 1 つのブロックの映像データに、 変換、 量子化及びエン トロピ一 符号化を施すことで、 ピクチャの空間的な冗長性を減少させる。
3 . 連続するピクチャ間の相関を利用し、 連続するフレーム間の差分 を符号化する。
これは、 動き予測及び補償の技術によって達成される。 各ブロック毎 にフ レーム間で相関の強い予測画像データを示す動きべク トルを決定す るために、 エンコーダでは符号化されたフ レーム内で相関の強い画像デ ータ位置を検索する動き検出が行われる。 更に、 エンコーダ及びデコー ダでは動きベク トルに対応する予測画像データを抽出する動き補償が実 行される
映像エンコーダ （動画像符号化装置） の構成例は、 図 1 に示される通 リである。 図示された映像エンコーダは、 空間映像データを周波数領域 に変換する変換部 1 3と、 変換部 1 3で得られた変換係数を量子化する 量子化部 1 4と、 量子化された変換係数をエン トロピ一符号化する可変 長符号化部 1 5 と、 可変ビッ トレ一 卜の圧縮映像データを伝送レー トに あわせて伝送路に供給するための映像バッファ 1 7と、デコーダ 1 6と、 動き予測部 1 9 とを備える。
図 1 に示されるエンコーダの映像データ 1 0は、 P C M (パルス符号 変調） で画素値が入力される。 差分器 1 1 ば、 映像データ 1 0と、 動き 補償画像 1 2の差分値を計算する。 動き補償画像 1 2は、 既に符号化さ れた画像を復号化し、動き補償することによって得られる （「対象の復号 化画像」）。 これは、 映像エンコーダに対応するデコーダ 1 6によって行 われる。 デコーダ 1 6は、 符号化手順を逆に行う、 つまり、 デコーダ 1 6は、 逆量子化部 （Q— 1 ) と、 逆変換部 （ I D C T ) と、 復号化され た差分を動き補償画像と加算することによって復号側で得られるものと 同様の前画像を生成する加算器とから構成される。
動き補償符号化においては、 対象ピクチャの動き補償データは、 その ピクチャと復号化したピクチャとの間での動きの予測に基づいて、 対応 する復号化したピクチャのピクチャデータから生成される。 動きの予測 値は、 復号化したピクチャと対象ピクチャとの間のピクセルの変位を示 す 2次元動きベク トルで表現される。 通常、 動き予測は、 ブロック単位 で行われる。 すなち、 復号化したピクチャで、 対象フ レームのブロック と最も相関が強いブロックが動き補償画像とされる。 この動き予測を行 う動き予測部 1 9と、 動きベク トルに対応して復号化したピクチャから 動き補償画像を生成する動き補償部 M Cがエンコーダに組み込まれる。 図 1 に示される映像エンコーダは、 次のように動作する。 映像信号 1 0の映像画像は、 通常、 マクロブロックと呼ばれる、 ある個数の小さな ブロック群に分割される。 たとえば、 図 2に示された映像画像 2 0は、 複数のマクロブロック 2 1 に分割される。 各マクロブロックは、 通常、 1 6 X 1 6の画素サイズをもっている。
さらに、 ピクチャは、 ある個数のスライス 2 2に分割される。 各スラ イスは、 複数のマクロブロックからなり、 データ喪失時の同期復帰の単 位である。 なお、 1 つのスライスを構成するマクロブロックの配列は、 図 2に示されるように同じ行のマクロブロックのみで構成される必要は 無く、 複数の行のマクロブロックを包含したり、 行の途中で異なるスラ イスの区切りがあってもよい。
画像中の空間的な冗長性を減少させることだけによつて映像の画像デ ータを符号化したときには、 その結果得られるピクチャは、 I ピクチャ と呼ばれる。 I ピクチャは、 ピクチャ内の画素値のみを参照して符号化 される。 符号化された I ピクチャは、 データ量を削減するための時間的 な情報が利用できないために、 その符号化されたデータのサイズが大き い Q
連続するピクチャ間に存在する時間的な冗長性を利用して効率的な圧 縮を行うために、 動き予測及び補償に基づいて、 連続するピクチャ間で の予測符号化が行われる。 動き予測において選択された参照ピクチャが 既に符号化し復号化された 1 つのピクチャである場合にば、 Pピクチャ と呼ばれる。 また、 参照ピクチャが 2つ （通常は表示順序が対象ピクチ ャに対し前方と後方） の場合には、 Bピクチャと呼ばれる。
現在策定中の画像符号化方式である H . 2 6 L規格では、 各 1 6 X 1 6マクロブロックにおける動き補償は、 異なるブロックサイズを用いて 行うことができる。 個々の動きベク トルは、 動き補償のブロックサイズ である 4 X 4、 4 X 8、 8 X 4、 8 X 8、 8 X 1 6、 又は、 1 6 X 1 6画 素のブロックに対して、 決定することができる。 小さい動き補償ブロッ クにすることの有用性は、 細かい動きを記述することができるというこ とである。
動き予測処理の結果に基づいて、 動き補償処理は、 決定された動きべ ク トルに基づく予測を行う。 そして、 予測されたブロックから得られる 予測誤差ブロックに含まれる情報は、 変換部 1 3において、 変換係数に 変換される。 一般に、 2次元 D C T (離散コサイン変換） がよく用いら れる。 得られた変換係数は、 量子化され、 最後に、 エン トロピー符号化 部 1 5において、 エントロピー符号化 （V L C ) が行われる。 なお、 動 き予測部 1 9で算出された動きベク トルは、 動き補償に用いられるとと もに、 可変長符号化部 1 5及び映像バッファ 1 7を経て、 圧縮映像デー タ 1 8に組み込まれて出力される。
圧縮映像データ 1 8の伝送ス トリームはデコーダ（動画像復号化装置） に送信され、 そこで、 受信データに基づいて、 符号化された映像画像の シーケンスが再生される。 デコーダの構成は、 図 1 に示された映像ェン コーダが備えるデコーダ 1 6の構成に対応している。
新しい映像符号化方式では、 より効率的な画像の符号化を可能にする ために、 ピクチャ間の複数参照ピクチャをもつことができる。 そのため に、 動き予測部及び動き補償部は、 様々な参照ピクチャを提供するため のマルチフレームバッファを備える。 動きべク トルには、 個々の参照画 像を示す情報が付加される。
マルチフレームバッファの内部構成は、 図 3に示される通りであり、 参照符号 3 0が全体を示している。 マルチフ レームバッファは、 映像信 号のフ レームを格納する複数のメモリ領域 3 1 、 3 2から構成される。 マルチフ レームバッファ 3 0のメモリ領域は、 2つの異なる種類のメモ リ領域、 つまり、 主として短時間だけ参照画像として使われる参照ピク チヤが格納される短時間領域 3 3、 及び、 主と して長時間に渡って使わ れる参照ピクチヤが格納される長時間領域 3 4に分割される。
マルチフレームバッファは、 特別な画像を符号化又は復号化するため に、 適宜選択された参照ピクチャを格納する。 参照ピクチャの格納手順 は、 2つの処理ステージ、つまり、（ 1 )参照ピクチャの並び替え、及び、 ( 2 ) 参照ピクチャのバッファリングに分割される。
( 1 ) 参照ピクチャは、 スライスレイヤ一で送信されてく る参照ピクチ ャ順序情報に基づいて、 並べられる。 参照ピクチャの順序づけは、 1 つ のスライスに含まれるマクロブロック群の符号化又は復号化処理だけに 影響する。 この処理の目的は、 頻繁に参照されるピクチャに小さい番号 を割り当て、 小さい番号ほど短い符号長の符号を割り当てることで、 動 き補償の際に参照する参照画像を示す情報のビッ ト数を削減することで
¾5る。
( 2 ) 参照ピクチャのバッファリングでは、 各符号化/復号化処理のた めにマルチフレームバッファに格納された参照ピクチャを更新するとき に、 符号化又は復号化対象のピクチャのバッファリングを制御する。 参照ピクチャのバッファリングのために、 2つの異なるメモリ管理制 御モー ドの 1 つ、 つまり、 Γシフ 卜窓バッファリングモード」 又は 「適応 的メモリ制御バッファリングモード」 を用いることができる。
シフ ト窓バッファリングモードでは、 対象の各符号化又は復号化画像 は、 マルチフレームバッファに追加して格納される。 マルチフレームバ ッファの短時間領域のピクチャは、 先入れ先出し （ F I F O ) 方式で、 新たな画像によって周期的に置き換えられていく。 バッファが十分な容 量の未使用メモリ領域を持っている限り、 現在処理されている画像の画 像データを格納するためにいかなる画像データも消去する必要がない。 もし、 マルチフ レームバッファの未使用領域が既に処理された新たな画 像データで満杯になったときには、 最も早く格納された画像データが現 在符号化/復号化された新しい画像の画像データに置き換えられていく 適応的メモリ制御バッファリングモードにおいては、 マルチフレーム バッファに追加して格納される、 又は、 そこから削除される各画像は明 示的に選択される。 符号化及び復号化側での対応するメモリ管理制御を 確実にするメモリ管理制御処理パラメータに従って、 メモリ制御が行わ れる。 このような画像の置換処理を行うために、 各メモリ領域には、 明 示的に対象ピクチャを指定するための固有の識別番号が割り当てられて いる。 なお、 各メモリ領域には、 上記 （ 1 ) の参照ピクチャの並べ替え を行った後の順序を示すインデックスが割り当てられており、 これを参 照インデックスと呼ぶ。
以上のメモリ管理制御モードには、 いくつかの問題が残されている。 従来のメモリ管理制御モードでは、 特に、 インタ一レース映像データを 効率的に扱うことができない。 インタ一レース映像データは、 各フ レー ムが時間及び垂直方向の空間位置が異なる 2つのフィールド （ トップフ ィ一ルド及びボトムフィールド） で構成され、 フィールド単位で符号化 され得るので、 メモリ管理が複雑になってしまうという問題がある。 発明の開示
そこで、 本発明は、 インターレース映像データに対する符号化及び復 号化における画像メモリの管理を効率的に行うことが可能な動画像符号 化装置、 動画像復号化装置及びメモリ管理装置等を提供することを目的 とする。
上記目的を達成するために、 本発明に係る動画像符号化装置は、 トツ プフィールドとボトムフィールドとを含むフ レームの画像データを格納 することが可能な複数のメモリ領域を有する記憶手段と、 前記メモリ領 域に格納された画像データをフィール ド単位で参照することによって動 き予測と動き補償を行いながら入力画像をフィ一ルド単位で符号化する 符号化手段と、 前記複数のメモリ領域をフレーム単位で管理するメモリ 管理手段と、 前記符号化手段により符号化されたフィール ドの画像デー タを復号化し、 復号化したフィール ドの画像データを前記メモリ管理手 段による管理の下で前記複数のメモリ領域のいずれかに格納する格納手 段とを備えることを特徴とする。
また、 本発明に係る動画像復号化装置は、 トップフィールドとボトム フィールドとを含むフ レームの画像データを格納することが可能な複数 のメモリ領域を有する記憶手段と、 前記メモリ領域に格納された画像デ ータをフィール ド単位で参照することによって動き補償を行いながら入 力画像をフィール ド単位で復号化する復号化手段と、 前記複数のメモリ 領域をフレーム単位で管理するメモリ管理手段と、 前記復号化手段によ リ復号化されたフィ一ルドの画像データを前記メモリ管理手段による管 理の下で前記複数のメモリ領域のいずれかに格納する格納手段とを備え ることを特徴とする。
さらに、 本発明に係るメモリ管理装置は、 動画像を符号化又は復号化 する装置におけるメモリ管理装置であって、 トップフィールドとボトム フィールドとを含むフ レームの画像データを格納することが可能な複数 のメモリ領域を有する記憶手段と、 前記複数のメモリ領域をフレーム単 位で管理する管理手段と、 前記管理手段による管理の下で、 フィール ド の画像データを前記複数のメモリ領域のいずれかに格納及びフィールド の画像データを前記複数のメモリ領域のいずれかから読み出すメモリア クセス手段とを備えることを特徴とする。
これらの動画像符号化装置、 動画像復号化装置及びメモリ管理装置に よれば、 1 つのフレームデータ、 又は、 2つのフィールドデータ （ トツ プフィールドデータ及びボトムフィールドデータ） を格納することが可 能な各メモリ領域への画像データの格納及び各メモリ領域からの画像デ —タの読み出しがフレーム単位及ぴフィールド単位のいずれで行われて も、 メモリ管理については常にフレーム単位で行われるので、 インタ一 レース映像データに対する符号化及び復号化におけるメモリ管理が簡素 化され、 効率化される。 特に、 インターレース映像データがフ レーム単 位で符号化されるピクチャとフィ一ルド単位で符号化されるピクチャと が混在する場合は、 統一されたフレーム単位でのメモリ管理だけで済む ので、 効率的なメモリ管理が実現される。
ここで、 前記メモリ管理手段は、 前記複数のメモリ領域それぞれにつ いて、 画像データの格納が可能か否かをフレーム単位で管理し、 前記格 納手段は、 前記メモリ管理手段により格納が可能と管理されているメモ リ領域に前記フィール ドの画像データを格納してもよい。 つまり、 前記 メモリ管理手段は、 前記複数のメモリ領域それぞれに対応づけた格納許 可フラグを 「使用」 又は 「未使用」 にセッ トすることによって、 前記メ モリ領域を管理し、 前記格納手段は、 前記格納許可フラグが 「未使用」 を示すメモリ領域に前記フィールドの画像データを格納してもよい。 た とえば、 前記メモリ管理手段は、 前記メモリ領域にフ レーム、 トップフ ィールド又はボトムフィール ドの画像データが格納された場合に、 当該 メモリ領域に対応する格納許可フラグを 「使用」 にセッ トし、 前記メモ リ領域に画像データが格納されていない場合、 格納されているフ レーム が不要となった場合、 又は、 格納されている トップフィール ド及びボ卜 ムフィール ドの両方が不要となった場合に、 当該メモリ領域に対応する 格納許可フラグを 「未使用」 にセッ トする。 これによつて、 2つのフィ —ルドデータを格納するメモリ領域に対して 1 ビッ 卜の格納許可フラグ が割リ当てられ、 その 1 ビッ 卜の格納許可フラグの状態を判断したリ変 更したりするだけで各メモリ領域への画像データの格納許否に関する管 理が可能となり、 管理に係る処理が簡素化されるとともに、 管理のため のメモリ容量が小さく て済む。
また、 前記メモリ管理手段は、 前記複数のメモリ領域それぞれについ て、 短時間参照のための 「短時間領域」 か長時間参照のための 「長時間 参照 J かをフ レーム単位で管理してもよい。 つまり、 前記メモリ管理手 段は、 前記複数のメモリ領域それぞれに対応づけた長時間フラグを 「短 時間領域」 又は 「長時間領域」 にセッ トすることによって、 前記メモリ 領域を管理してもよい。 例えば、 前記メモリ管理手段は、 前記長時間フ ラグが 「短時間領域」 にセッ 卜されたメモリ領域に格納されているフレ —ム、 トップフィールド又はボトムフィールドの画像データを長時間参 照用に変更する場合に、 当該長時間フラグを 「長時間領域」 にセッ トす る。 これによつて、 これによつて、 2つのフィールドデータを格納する メモリ領域に対して 1 ビッ 卜の長時間フラグが割リ当てられ、 その 1 ビ ッ 卜の長時間フラグの状態を判断したリ変更したりするだけで各メモリ 領域の参照属性 （「短時間参照用」 か 「長時間参照用」 か） に関する管理 が可能となり、 管理に係る処理が簡素化されるとともに、 管理のための メモリ容量が小さくて済む。 さらに、 長時間フラグを 「短時間領域 J か ら 「短時間領域」 に変更するだけで、 「短時間領域」 に格納されている画 像データを 「長時間領域」 に移動させることができる。
なお、 本発明は、 上記のような動画像符号化装置、 動画像復号化装置 及びメモリ管理装置として実現することができるだけでなく、 動画像符 号化方法、 動画像復号化方法及びメモリ管理方法として実現したり、 プ ログラムと して実現したり、 プログラムが記録されたコンピュータ読み 取り可能な記録媒体と して実現したりすることもできる。 図面の簡単な説明
図 1 は、動き補償された D P C M映像エンコーダのブロック図を示す。 図 2は、 符号化及び復号化処理のための映像画像の副次的な分割を示 す。
図 3は、 動き予測及び動き補償に用いられるマルチフ レームバッファ の全体構成を示す。
図 4は、 1 つのメモリ領域に関連づけて格納されているデータを示す。 図 5は、 動き予測 動き補償部のブロック図を示す。
図 6は、 マルチフレームバッファの制御方法の例を示す。
図 7は、 実施の形態 2における映像エンコーダの構成を示すブロック 図である。
図 8は、入力される映像信号又は符号化の単位の種類を示す図であり、 図 8 ( a ) は、 フレーム単位で符号化される映像信号の例を示し、 図 8 ( b ) は、 フィール ド単位で符号化される映像信号の例を示し、 図 8 ( c ) は、 フ レームとフィールドが混在した状態で符号化される 映像信号の例を示す。
図 9は、 メモリ管理部の動作手順を示すフローチャー トである。 図 1 0は、メモリ管理部によるメモリ管理の例を示すテーブルであり、 図 1 0 ( a ) は、 図 8 ( a ) に対応したメモリ管理の例を示し、 図 1 0 ( b ) は、 図 8 ( b ) に対応したメモリ管理の例を示し、 図 1 0 ( c ) は、 図 8 ( c ) に対応したメモリ管理の例を示す。
図 1 1 は、 バッファにおける参照画像の格納状態を示す図であり、 図 1 1 ( a ) は、 入力される映像信号がフ レーム単位で符号化される 場合におけるバッファの格納状態を示し、
図 1 1 ( b ) は、 入力される映像信号がフィールド単位で符号化され る場合におけるバッファの格納状態を示し、
図 1 1 ( c ) は、 入力される映像信号がフレームとフィールドが混在 した状態で符号化される場合におけるバッファの格納状態を示す。
図 1 2は、本発明に係る映像デコーダの構成を示すブロック図である。 図 1 3は、 本発明に係る映像エンコーダ及び映像デコーダをコンビュ —タシステムにより実現するためのプログラムを格納する記録媒体につ いての説明図である。
図 1 4は、 本発明に係るコンテンツ配信サービスを実現するコンテン ッ供給システムの全体構成を示すブロック図である。
図 1 5は、 本発明に係る携帯電話の一例を示す図である。
図 1 6は、 同携帯電話の構成を示すブロック図である。
図 1 7は、 本発明に係るディジタル放送用システムの構成を示す図で ある。 発明を実施するための最良の形態
(実施の形態 1 )
以下、 本発明の実施の形態 1 における映像エンコーダ （動画像符号化 装置） について図面を参照しながら説明する。 なお、 本実施の形態にお ける映像エンコーダは、 図 1 に示される構成を備えるとともに、 後述す る図 5に示される特徴的なメモリ管理機能を備える。 以下、 従来の映像 エンコーダと異なる点を中心に説明する。
上述したように、 図 3には、 マルチフ レームバッファの全体構成が示 されている。 マルチフレームバッファ 3 0は、 2つのフィールド、 つま リ、 トップフィール ド及びボトムフィール ドからなる参照画像を格納す る複数のメモリ領域 3 1 、 3 2を備える。 メモリ領域 3 1 、 3 2のそれ ぞれに格納されたデータは、 図 4に示される通りである。 各メモリ領域 4 1 は、 トップフィールド 4 2及びポトムフィールド 4 3を格納するの に用いられ、 そこで、 各フィール ドデータが独立して書き込まれたり、 読み出されたりする。
動き予測及び動き補償のための適切な参照画像を生成することは、 図 5に示されたメモリ制御部 5 3によって行われる。 各画像の符号化又は 復号化が終了すると、 メモリ部 （マルチフレームバッファ） 5 2は、 メ モリ制御情報に従って更新される。 新たな画像、 例えば、 符号化又は復 号化の対象となる画像データを格納するのに用いられるメモリ領域は、 各メモリ領域に 1 つずつ割リ当てられた格納許可フラグ 4 4をセッ 卜す ることでマーク付けされる。 一連の画像の動き予測又は動き補償のため に必要となる参照画像は、 格納許可フラグを解除することで、 フレーム バッファに保持される。 メモリ部 （マルチフレームバッファ） 5 2から 画像を削除するときには、 格納許可フラグ 4 4を 「未使用」 状態にセッ 卜する。 フ レームの片方のフィール ド、 両フィール ド、 フ レームのいず れが格納されていても、 格納許可フラグ 4 4が使用状態になる。 格納許 可フラグ 4 4はフレームの状態を示すが、 何が格納されているかは各メ モリ （フィールド） 単位で管理されており、 トップフィールドもしくは ボトムフィールドの一方のフィールドのみが格納されている場合は、 他 方のフィールドが格納可能である.ことも示すことができる。
格納許可フラグは、 メモリ部 （マルチフレームバッファ） 5 2、又は、 それに替えて、 マルチフ レームの対応するメモリ領域に関連づけたメモ リ制御部 5 3内に格納しておく ことができる。 トツプ及びポ卜厶フィ一 ルド対ごとに 1 つの格納許可フラグ 4 4を対応させるだけで、 インター レース映像データを扱うためのハードウェアの付加が不要となる。
さらに、 1 つの長時間フラグ 4 5を各メモリ領域 4 1 に割り当てても よい。 このフラグ 4 5は、 メモリ部 （マルチフレームパ、ッファ） 5 2又 は各メモリ領域に関連づけられたメモリ制御部 5 3内に格納される。 こ の長時間フラグ 4 5を用いることで、 各メモリ領域は、 長時間参照画像 に格納されていることが示される。 このように、 長時間フラグ 4 5をセ ッ 卜することで、 短時間領域 3 3から長時間領域 3 4への画像のシフ ト 処理 （移動） が実現される。
なお、 本発明の実施の形態では、 長時間メモリ領域 3 4は、 トップ及 ぴボトムフィールド位置 4 2、 4 3のいずれかに トップ又はボトムフィ 一ル ドを格納するようになっており、 それによつて、 長時間画像データ の効率的な格納を改善している。 これは、 各フィール ド位置が 「未使用」 を示すことを可能にするような各長時間メモリ領域用の 2つの格納許可 フラグを設けることで達成される。
メモリ管理制御の方法の例は、 図 6に示される。 ステップ 6 1 におけ る画像の符号化又は復号化処理が終了すると、 ステップ 6 2に示される ように、 マルチフレームバッファのためのメモリ制御の処理が開始され る。 ステップ 6 3において、 まず、 後のフィールド処理で必要とはなら ない 2つのフィール ドを格納しているメモリ領域が選択され、 続いて、 ステップ 6 4において、 格納許可フラグ 4 4が 「未使用」 にセッ 卜され る。 なお、 同一フ レームを構成する一方のフィール ドデータが格納され ているメモリ領域があリ、 そのメモリ領域の他方のフィ一ルド領域が未 使用であれば、 その未使用のフィールド領域に他方のフィ一ルドデータ を格納してもよい。 例えば、 同じフ レームの トップフィール ドデータが メモリ領域に格納済みでポトムフィールドデータが未格納であれば、 そ のメモリ領域の未格納のボトムフィール ド領域にボトムフィール ドを格 納してもよい。
このようにして、 未使用のフィールド対のメモリ空間ごとに、 新しい 画像データの書き込みが可能となる。 この選択は、 映像エンコーダから 送られてきたメモリ制御情報に基づいて行われる。 映像エンコーダは、 採用されている符号化規格での定義に基づく制御情報を生成することが できる。
さらに、 メモリ制御情報は、 長時間画像データを持つメモリ領域を選 択する （ステップ 6 5 )。 そして、 ステップ 6 6で、 これらのメモリ領域 の長時間フラグ 4 5がセッ 卜される。
ステップ 6 7において、 メモリ制御パラメータに従って、 処理対象の フィール ドは、 メモリ領域の各 「未使用」 フィール ド位置に格納され、 その後、 ステップ 6 8において、 符号化又は復号化処理が再開される。 以上のように、 本発明は、 複数の参照画像を用いる動き予測及び動き 補償部に関し、 複数の参照画像は、 各参照画像のメモリ領域を持つメモ リ部に格納される。 各メモリ領域は、 トップフィール ド及びボトムフィ 一ル ドを含む 1 つのフ レームの映像データを格納するようになっている メモリ部への映像データの格納は、 メモリ制御部によって制御される。 2つの連続するフィール ドの画像データを 1 つのメモリ領域に格納する ことを許可する 1 つの格納許可フラグが各メモリ領域に割リ当てられて いる。 これによつて、 映像信号がインターレース映像データである場合 には、 画像の符号化 ■ 復号化 ■ 動き予測 ■ 動き補償はフィ一ルド単位も しくはフ レーム単位で行われるが、 メモリ部の管理（「使用」 /「未使用 J の管理等） については常にフレーム単位で行われるので、 メモリ管理の ための管理処理が簡単化される。
なお、 実施の形態 1 で格納許可フラグ 4 4と長時間フラグ 4 5を同時 に説明したが、 いずれか一方のみを使用し、 他方を使用しない若しくは 他の方法で代用しても構わない。
(実施の形態 2 )
次に、 本発明の実施の形態 2における映像エンコーダ及び映像デコ一 タについて説明する。 本実施の形態は、 実施の形態 1 を詳細化したもの に相当し、 メモリ管理をフ レーム単位で行う点で、 実施の形態 1 と共通 する。
図 7は、 実施の形態 2における映像エンコーダ 7 0の構成を示すプロ ック図である。 この映像エンコーダ 7 0は、 入力された映像信号 1 0の 構造及び符号化の単位がフレーム単位、 フィールド単位及びそれらの混 在であってもマルチフ レームバッファに対するメモリ管理をフ レーム単 位で行う点に特徴を有し、 差分器 1 1 、 変換部 1 3、 量子化部 1 4、 可 変長符号化部 1 5、 映像バッファ 1 7、 デコーダ 1 6、 動き予測部 1 9 及びメモリ管理部 7 1 を備える。 デコーダ 1 6は、 逆量子化部 1 6 a 、 逆離散コサイン変換部 1 6 b、 バッファ 1 6 c及び動き補償部 1 6 dを 備える。 なお、 図 1 に示される従来の映像エンコーダ及び実施の形態 1 における映像エンコーダと同様の構成要素には同一の符号を付し、 その 説明を省略する。
本実施の形態の映像エンコーダ 7 0は、 特徴的なメモリ管理部 7 1 を 備える。 このメモリ管理部 7 1 は、 入力された映像信号 1 0の画像がい かなる単位 （フ レーム単位、 フィール ド単位、 あるいは、 それらの混在） で符号化されたかを示す外部情報に基づいて、 その単位と同一の処理単 位となるように動き補償部 1 6 d及び動き予測部 1 9に指示するととも に、 フレーム単位で、 マルチフレームバッファ、 つまり、 ノくッファ 1 6 cに格納される参照画像の管理を行う。 具体的には、 図 8 ( a ) に示さ れるように、 入力された映像信号 1 0のピクチャが G O P ( Group Of Picture , 又は、 シーケンス） 等においてフレーム単位で符号化される場 合には、 動き補償部 1 6 d及び動き予測部 1 9での処理がフ レーム単位 で行われるように制御するとともにメモリ管理についてはフ レーム単位 で行い、 一方、 図 8 ( b ) に示されるように、 入力された映像信号 1 0 のピクチャが G O P (又は、 シーケンス） 等においてフィールド単位で 符号化される場合には、 動き補償部 1 6 d及び動き予測部 1 9での処理 がフィール ド単位で行われるように制御するとともにメモリ管理につい てはフレーム単位で行い、 さらに一方、 図 8 ( c ) に示されるように、 入力された映像信号 1 0のピクチャがピクチャあるいは G O P (又は、 シーケンス） 等ごとにフレームとフィールドが混在して符号化される場 合には、 その符号化単位に対応するように動き補償部 1 6 d及び動き予 測部 1 9での処理がフレーム単位又はフィールド単位で行われるように 制御するとともにメモリ管理についてはフレーム単位で行う。
なお、 メモリ管理の内容は、 基本的には実施の形態 1 と同様であり、 ここでは、 1 つのフレームデータ又は 2つのフィールドデータ （ トップ フィール ドデータ及びボトムフィール ドデータ） を格納する単位である メモリ領域ごとに 1 ビッ 卜の格納許可フラグ及び 1 ビッ 卜の長時間フラ グを割り当て、 画像データごと （本実施の形態では、 フレームごと、 又 は、 トップフィールドとボトムフィールドとの対ごと） に、「使用 j Z Γ未 使用」 のいずれの状態であるか、 保存領域が 「長時間」 / 「短時間 J 領 域のいずれであるかを判断したり、記録したりする。これらのフラグは、 ッファ 1 6 c又はメモリ管理部 7 1 内に設けられる。 なお、 「未使用 J 及び 「使用」 は、 それぞれ、 対応するメモリ領域に画像データ （フ レー ムデータ、 トップフィールドデータ又はボトムフィールドデータ） を格 納することが可能であること、 及び、 格納することが禁止されているこ とを示す。 また、 「長時間領域」 及び 「短時間領域」 は、 それぞれ、 バッ ファ 1 6 cを 2種類の記憶領域に分類した場合における各領域、つまリ、 主に長期間参照のための格納領域及び主に短期間参照のための格納領域 に相当する。
図 9は、 メモリ管理部 7 1 の動作手順を示すフローチヤ一卜である。 メモリ管理部 7 1 は、 入力された外部情報に基づいて、 入力される映像 信号 1 0の符号化の単位を判断し （ステップ S 7 0 )、映像信号 1 0のピ クチャがフレーム単位で符号化される場合には （ステップ S 7 0で Γフ レーム単位」）、 動き補償部 1 6 dによる動き補償及び動き予測部 1 9に よる動き予測についてはフレーム単位となるように制御するとともに、 フレーム単位でバッファ 1 6 cへの参照画像の格納ノ除去及び長時間領 域 短時間領域への格納を行い （ステップ S 7 1 )、 一方、 映像信号 1 0 のピクチャがフィール ド単位で符号化される場合には （ステップ S 7 0 で Γフィ一ルド単位」）、 動き補償部 1 6 dによる動き補償及び動き予測 部 1 9による動き予測についてはフィール ド単位となるように制御する とともに、 フレーム単位でバッファ 1 6 cへの参照画像の格納 除去及 び長時間領域/短時間領域への格納を行う （ステップ S 7 2 )。
図 1 0は、 メモリ管理部 7 1 によるメモリ管理の例を示すテーブルで ある。 メモリ管理部 7 1 は、 入力された映像信号 1 0がフレーム単位で 符号化される場合には、 図 1 0 ( a ) に示されるように、 フ レーム （つ まり、 メモリ領域） ごとに対応させた格納許可フラグ及び長時間フラグ 等を用いることで、 フレームごとに、 「使用」 / 「未使用」 のいずれの状 態にあるか、 及び、 「長時間」 / 「短時間 j 領域のいずれの領域に格納さ れているかを記録したり、 参照したり、 更新したりする。
—方、 入力された映像信号 1 0がフィールド単位で符号化される場合 には、 メモリ管理部 7 1 は、 図 1 0 ( b ) に示されるように、 トップフ ィ一ルドとボトムフィールドとの対 （つまり、 メモリ領域） ごとに対応 させた格納許可フラグ及び長時間フラグ等を用いることで、 対ごとに、 つまり、 フ レーム単位で、「使用 Jノ Γ未使用」のいずれの状態にあるか、 及び、 「長時間」 Z 「短時間 j 領域のいずれの領域に格納されているかを 記録したり、 参照したり、 更新したりする。 この詳細な手順は、 実施の 形態 1 における図 6のフローチヤ一卜に示される通りである。
さらに、 入力された映像信号 1 0がフ レーム単位とフィールド単位と が混在する状態で符号化される場合には、 メモリ管理部 7 1 は、 図 1 0 ( c ) に示されるように、 フレームに対してはフレームごとに対応させ た格納許可フラグ及び長時間フラグ等を用い、 フィールドに対してはト ップフィールドとボトムフィールドとの対ごとに対応させた格納許可フ ラグ及び長時間フラグ等を用いることで、 フレームごと、 又は、 トップ フィールドとボトムフィールドの対ごとに、 つまり、 フレ一厶単位で、 「使用」 「未使用」 のいずれの状態にあるか、 及び、 「長時間 j / 「短 時間 J 領域のいずれの領域に格納されているかを記録したり、 参照した リ、 更新したりする。
ここで、 格納許可フラグの具体的な制御手順は次の通りである。 つま リ、 メモリ領域に画像データが未だ格納されていない場合、 メモリ領域 に格納されているフ レームデータが不要となった場合 （使用しないこと が確定した場合）、又は、 メモリ領域に格納されている トップフィール ド データ及びボトムフィール ドデータの両方が不要となった場合 （いずれ のフィールドデータも使用しないことが確定した場合） に、 そのメモリ 領域に対応する格納許可フラグを 「未使用」 にセッ トする。 これによつ て、 そのメモリ領域への新たなフ レームデータあるいはフィール ドデ一 タの格納が可能になる。
—方、 「未使用」 のメモリ領域に新たなフ レームデータ、 トップフィー ルドデータ又はボトムフィールドデータを格納した場合には、 そのメモ リ領域に対応する格納許可フラグを 「使用」 にセッ 卜する。 これによつ て、 そのメモリ領域への他のフレームデータあるいはフィールドデータ の格納が禁止され、 既に格納されているフレームデータあるいはフィー ルドデータがメモリ領域に保持されることが確保される。なお、「未使用」 のメモリ領域に トップフィ一ル ドデータ又はボトムフィ一ル ドデータを 格納した場合には、 そのメモリ領域に対応する格納許可フラグを「使用 j にセッ 卜するが、 同一フ レームを構成するボトムフィール ド又はトップ フィ一ルドのデータについては、 そのメモリ領域の他方のフィールド領 域に格納することができるものとして制御する。
また、 長時間フラグの具体的な制御手順は次の通りである。 つまり、 メモリ領域に格納された画像データ （フ レームデータが格納されている 場合には当該フレームデータ、 トップフィ一ルドデータだけが格納され ている場合には当該 トップフィールドデータ、 ボトムフィールドデータ だけが格納されている場合には当該ボトムフィール ドデータ、 トップフ ィールドデータとボトムフィールドデータの両方が格納されている場合 には当該トップフィール ドデータとボ トムフィール ドデータの両方） を 短時間の参照用と して用いる場合に、 そのメモリ領域に対応する長時間 フラグを 「短時間領域」 にセッ トする。 これによつて、 他の 「短時間領 域」 のメモリ領域とともに、 F I F Oのバッファメモリとして使用する ことが可能となる。
一方、 メモリ領域に格納された画像データ （フ レームデータが格納さ れている場合には当該フレームデータ、 トップフィ一ルドデータだけが 格納されている場合には当該トップフィール ドデータ、 ボトムフィ一ル ドデータだけが格納されている場合には当該ポ卜厶フィ一ルドデータ、 トップフィール ドデータとボトムフィール ドデータの両方が格納されて いる場合には当該 トップフィ一ルドデータとボトムフィールドデータの 両方） を長時間の参照用と して用いる場合に、 そのメモリ領域に対応す る長時間フラグを 「長時間領域」 にセッ トする。 これによつて、 その画 像データが明示的にメモリ領域から削除 （「未使用」 となる） まで、 メモ リ領域に保持されることが確保される。 また、 長時間フラグが 「短時間 領域」 にセッ トされたメモリ領域に格納されているフ レーム、 トップフ ィ一ルド又はボトムフィール ドの画像データを長時間参照用に変更する 場合 Iこは、 その長時間フラグを 「長時間領域」 にセッ トする。 これによ つて、 簡単に、 画像データを 「短時間領域」 から 「長時間領域」 に移動 させることができる。
図 1 1 は、 バッファにおける参照画像の格納状態を示す図である。 図 1 1 ( a ) は、 入力される映像信号 1 0がフ レーム単位で符号化される 場合におけるバッファ 1 6 cの格納状態を示し、 図 1 1 ( b ) は、 入力 される映像信号 1 0がフィール ド単位で符号化される場合におけるバッ ファ 1 6 cの格納状態を示し、 図 1 1 ( c ) は、 入力される映像信号 1 0がフレームとフィールドが混在した状態で符号化される場合における バッファ 1 6 cの格納状態を示す。
以上のように、 本実施の形態における映像エンコーダ 7 0によれば、 入力された映像信号 1 0の符号化単位がフ レーム単位、 フィールド単位 及びそれらの混在のいずれであっても、 メモリ管理についてはフレーム 単位で行われる。 したがって、 フ レーム単位とフィール ド単位とが混在 する複雑なメモリ管理方式に比べ、 メモリ管理のための処理負荷や回路 規模が削減される。 なお、 本実施の形態におけるメモリ管理部 7 1 は、 映像エンコーダだ けでなく、 映像デコーダ （動画像復号化装置） にも適用することができ る。 図 1 2は、 上述のメモリ管理部 7 1 と同一機能をもつメモリ管理部 1 0 9を備える映像デコーダ 1 0 0の構成を示すブロック図である。 映 像デコーダ 1 0 0は、 入力された符号化映像信号 1 0 1 を一時的に保持 する入力バッファ 1 0 2と、 映像エンコーダ 7 0が備える可変長符号化 部 1 5による符号化に対応する復号化を行う可変長復号器 1 0 3と、 映 像エンコーダ 7 0が備える量子化部 1 4による量子化に対応する逆量子 化を行う逆量子化部 1 0 4と、 映像エンコーダ 7 0が備える変換部 1 3 による変換の逆変換を行う逆離散コサイン変換部 1 0 5と、 画像の加算 を行って映像信号 1 1 0を出力する加算器 1 0 6と、 参照画像を格納す るマルチフレームバッファとしてのバッファ 1 0 7 と、 符号化映像信号 1 0 1 に含まれる動きべク トルを可変長復号器 1 0 3を介して取得し、 その動きベク トルを用いて、 バッファ 1 0 7に格納された参照画像に対 して動き補償を行う動き補償部 1 0 8と、 メモリ管理部 1 0 9とを備え る。
メモリ管理部 1 0 9は、 入力された符号化映像信号 1 0 1のピクチャ がいかなる単位 （フ レーム単位 フィール ド単位） で符号化されている か示す外部情報に基づいて、 その単位と同一の処理単位となるように動 き補償部 1 0 8に指示するとともに、 フレーム単位で、 マルチフレーム バッファ、つまり、バッファ 1 0 7に格納される参照画像の管理を行う。 具体的には、 入力された符号化映像信号 1 0 1 のピクチャが G O P (又 は、シーケンス）等においてフレーム単位で符号化されている場合には、 動き補償部 1 0 8での処理がフ レーム単位で行われるように制御すると ともにメモリ管理についてはフレーム単位で行い、 一方、 入力された符 号化映像信号 1 0 1 のピクチャが G O P (又は、 シーケンス） 等におい てフィールド単位で符号化されている場合には、 動き補償部 1 0 8での 処理がフィールド単位で行われるように制御するとともにメモリ管理に ついてはフレーム単位で行う。 なお、 この映像デコーダ 1 0 0における メモリ管理の詳細については、 入力された符号化映像信号 1 0 1 に含ま れる動きべク トルを用いて動き補償が行われる点を除いて、 映像ェンコ —ダ 7 0におけるメモリ管理と同一である。
以上、 本発明に係る動画像符号化装置、 動画像復号化装置及びメモリ 管理について、 2つの実施の形態に基づいて説明したが、 本発明は、 こ れらの実施の形態に限定されるものではない。
本実施の形態のように、 格納許可フラグ 4 4と長時間フラグ 4 5を同 時に備える必要は無く、 いずれか一方のみを使用し、 他方を使用しない 若しくは他の方法で代用しても構わない。
更に、 メモリ制御の簡易化よりも、 メモリ管理の高機能化及びバッフ ァフ レームの使用効率の向上を重視するならば、 メモリ管理をフ レーム 単位で固定的に行うのではなく、 フ レーム単位とフィール ド単位とを混 在させてもよい。 例えば、 各メモリ領域に 1 ビッ トの格納許可フラグと 2 ビッ 卜の長時間フラグを割り当てることで、 「使用」 Z 「未使用 j の管 理についてはフ レーム単位で行い、 「短時間領域」 「長時間領域 j の管 理についてはフィールド単位で行ってもよい。
なお、 上記実施の形態では、 メモリ管理 （「使用 J / 「未使用」、 「長時 間領域」 / 「短時間領域 J ) は、 ピクチャ （フレーム又はフィールド） に 対応するフラグによって実現されたが、 本発明は、 フラグを用いたメモ リ管理に限定されるものではない。 たとえば、 バッファに格納されてい るピクチャのうち、 「使用 j (あるいは、 「未使用」） 状態にあるピクチャ の番号 （あるいは参照インデックス、 あるいはバッファの各領域を示す 番号） を記録した管理テーブルを設けたり、 「短時間領域」 （あるいは、 「長時間領域」） に格納されているピクチャの番号 （あるいは参照ィンデ ックス、 あるいはバッファの各領域を示す番号） を記録した管理テープ ルを設けることで、 同様のメモリ管理を行ってもよい。
また、 上記実施の形態で示したメモリ管理機能を備える映像ェンコ一 ダ及び映像デコーダをプログラムとして実現することもできる。 そのよ うなプログラムをフレキシブルディスク等の記録媒体に記録して流通さ せることで、 あらゆる場所に置かれた汎用のコンピュータを本発明に係 る映像エンコーダ又は映像デコーダとして機能させることができる。 図 1 3は、 上記実施の形態の映像エンコーダ及び映像デコーダをコン ピュータシステムにより実現するためのプログラムを格納するための記 録媒体についての説明図である。 図 1 3 ( a ) は、 記録媒体本体である フ レキシブルディスクの物理フォーマツ 卜の例を示している。 図 1 3 ( b ) は、 フレキシブルディスクの正面からみた外観、 断面構造、 及び フレキシブルディスクを示している。 フレキシブルディスク F Dはケ一 ス F内に内蔵され、 該ディスクの表面には、 同心円状に外周からは内周 に向かって複数の トラック T rが形成され、 各トラックは角度方向に 1 6のセクタ S eに分割されている。 従って、 上記プログラムを格納した フレキシブルディスクでは、 上記フレキシブルディスク F D上に割リ当 てられた領域に、 上記プログラムとしての映像エンコーダ及ぴ映像デコ ーダが記録されている。 また、 図 1 3 ( c ) は、 フレキシブルディスク F Dに上記プログラムの記録再生を行うための構成を示す。 上記プログ ラムをフレキシブルディスク F Dに記録する場合は、 コンピュータシス テム C sから上記プログラムと しての映像エンコーダ及び映像デコーダ をフレキシブルディスク ドライブを介して書き込む。 また、 フレキシブ ルディスク内のプログラムにより上記映像エンコーダ及び映像デコーダ をコンピュータシステム中に構築する場合は、 フレキシブルディスク ド ライブによりプログラムをフレキシブルディスクから読み出し、 コンビ ユータシステムに転送する。 なお、 プログラムを格納する記録媒体は、 フレキシブルディスクだけに限られず、 C D— R O M、 D V D - R O M 等の光ディスクやメモリカード、 R O Mカセッ ト等であってもよい。 また、 本発明に係る映像エンコーダ及び映像デコーダは、 様々な機器 やシステムに適用することができる。 以下、 上記実施の形態における映 像エンコーダ及び映像デコーダの応用例を説明する。
図 1 4は、 コンテンツ配信サービスを実現するコンテンツ供給システ ム e X 1 0 0の全体構成を示すプロック図である。 通信サービスの提供 エリアを所望の大きさに分割し、 各セル内にそれぞれ固定無線局である 基地局 e X 1 0 7〜 e x 1 1 0が設置されている。 このコンテンツ供給 システム e x 1 0 0は、 例えば、 インタ一ネッ ト e x l 0 1 にインタ一 ネッ トサービスプロバイダ e X 1 0 2及び電話網 e x l 0 4、 及び基地 局 e x 1 0 7〜 e x 1 "1 0を介して、 コンピュータ e x l 1 1 、 P D A ( p e r s o n a l d i g i t a l a s s i s t a n t ) e x l l 2、 カメラ e x l 1 3、 携帯電話 e x l 1 4、 カメラ付きの携帯電話 e x 1 1 5等の各機器が接続される。 なお、 コンテンッ供給システム e X 1 0 0は図 1 4のような組合せに限定されず、 いずれかを組み合わせて 接続するようにしてもよい。 また、 固定無線局である基地局 e X 1 0 7 〜 e X 1 1 0を介さずに、 各機器が電話網 e x 1 0 4に直接接続されて もよい。
カメラ e X 1 1 3はデジタルビデオカメラ等の動画撮影が可能な機器 である。 また、 携帯電話は、 P D C ( P e r s o n a I D i g i t a I C o m m u n i c a t i o n s ) 方式、 C D M A ( C o d e D i i s i o n M u l t i p l e A c c e s s ) 方式、 W— C D M A (W i d e b a n d — C o d e D i v i s i o n M u l t i p l e A c c e s s )方式、若しくは G S M ( G l o b a I S y s t e m f o r M o b i l e C o mm u n i c a t i o n s ) ^itOj^wBsS 機、 又は P H S ( P e r s o n a I H a n d y p h o n e S y s t e m) 等であり、 いずれでも構わない。
ス トリーミ ングサ一ノく e x l 0 3は、 カメラ e x 1 1 3から基地局 e
X 1 0 9、 電話網 e X 1 0 4を通じて接続されており、 カメラ e x 1 1 3を用いてユーザが送信する符号化処理されたデータに基づいたライブ 配信等が可能になる。 撮影したデータの符号化処理は力メラ e X 1 1 3 で行っても、 データの送信処理をするサーバ等で行ってもよい。 また、 カメラ e x 1 1 6で撮影した動画データはコンピュータ e x 1 1 1 を介 してス ト リ一ミングサ一 / e X 1 0 3に送信されてもよい。 カメラ e x 1 1 6はデジタルカメラ等の静止画、 動画が撮影可能な機器である。 こ の場合、 動画データの符号化はカメラ e x 1 1 6で行ってもコンビュ一 タ e x l 1 1 で行ってもどちらでもよい。 また、 符号化処理はコンビュ —タ e x 1 1 1 やカメラ e x l 1 6が有する L S I e x 1 1 7において 処理することになる。 なお、 画像符号化 ■ 復号化用のソフ トウエアをコ ンピュータ e x l 1 1等で読み取り可能な記録媒体である何らかの蓄積 メディア （C D— R OM、 フレキシブルディスク、 ハードディスク等） に組み込んでもよい。 さらに、 カメラ付きの携帯電話 e x 1 1 5で動画 データを送信してもよい。 このときの動画データは携帯電話 e X 1 1 5 が有する L S I で符号化処理されたデータである。
このコンテンツ供給システム e X 1 0 0では、 ユーザがカメラ e x 1 1 3、 カメラ e x 1 1 6等で撮影しているコンテンツ （例えば、 音楽ラ ィブを撮影した映像等） を上記実施の形態と同様に符号化処理してス ト リーミングサーバ e X 1 0 3に送信する一方で、 ス トリーミングサーバ e x 1 0 3は要求のあったクライアン トに対して上記コンテンツデータ をス トリーム配信する。 クライアン トとしては、 上記符号化処理された データを復号化することが可能な、 コンピュータ e x 1 1 1 、 P D A e x 1 1 2、 カメラ e x l 1 3、 携帯電話 e x l 1 4等がある。 このよう にすることでコンテンツ供給システム e x 1 0 0は、 符号化されたデ一 タをクライアントにおいて受信して再生することができ、 さらにクライ アン 卜においてリアルタイムで受信して復号化し、再生することにより、 個人放送をも実現可能になるシステムである。
このシステムを構成する各機器の符号化、 復号化には上記各実施の形 態で示した映像エンコーダあるいは映像デコーダを用いるようにすれば よい。
その一例と して携帯電話について説明する。 図 1 5は、 上記実施の形 態で説明した映像エンコーダと映像デコーダを用いた携帯電話 e X 1 1 5を示す図である。 携帯電話 e X 1 1 5は、 基地局 e x 1 1 0との間で 電波を送受信するためのアンテナ e X 2 0 1 、 C C Dカメラ等の映像、 静止画を撮ることが可能なカメラ部 e x 2 0 3、 カメラ部 e x 2 0 3で 撮影した映像、 アンテナ e X 2 0 1 で受信した映像等が復号化されたデ ータを表示する液晶ディスプレイ等の表示部 e X 2 0 2、 操作キ一 e X 2 0 4群から構成される本体部、 音声出力をするためのスピーカ等の音 声出力部 e X 2 0 8、 音声入力をするためのマイク等の音声入力部 e x 2 0 5、 撮影した動画もしくは静止画のデータ、 受信したメールのデ一 タ、 動画のデータもしくは静止画のデータ等、 符号化されたデータ又は 復号化されたデータを保存するための記録メディア e x 2 0 7、 携帯電 話 e X 1 1 5に記録メディア e x 2 0 7を装着可能とするためのスロッ 卜部 e X 2 0 6を有している。 記録メディア e x 2 0 7は S Dカード等 のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモ リである E E P R O M ( E l e c t r i c a I I y E r a s a b l e a n d P r o g r a mm a b l e R e a d O n l y M e m o r y ) の一種であるフラッシュメモリ素子を格納したものである。
さらに、 携帯電話 e x 1 1 5について図 1 6を用いて説明する。 携帯 電話 e x 1 1 5は表示部 e x 2 0 2及び操作キー e x 2 0 4を備えた本 体部の各部を統括的に制御するようになされた主制御部 e X 3 1 1 に対 して、 電源回路部 e x 3 1 0、 操作入力制御部 e x 3 0 4、 画像符号化 部 e x 3 1 2、 カメラインタ一フェース部 e x 3 0 3、 L C D ( L i q u i d C r y s t a l D i s p l a y ) 制御部 e x 3 0 2、 画像復 号化部 e X 3 0 9、 多重分離部 e X 3 0 8、 記録再生部 e x 3 0 7、 変 復調回路部 e x 3 0 6及ぴ音声処理部 e x 3 0 5が同期バス e x 3 1 3 を介して互いに接続されている。
電源回路部 e X 3 1 0は、 ユーザの操作により終話及び電源キーがォ ン状態にされると、 バッテリパックから各部に対して電力を供給するこ とによりカメラ付ディジタル携帯電話 e X 1 1 5を動作可能な状態に起 動する。
携帯電話 e x 1 1 5は、 C P U、 R O M及び R A M等でなる主制御部 e X 3 1 1 の制御に基づいて、 音声通話モード時に音声入力部 e x 2 0 5で集音した音声信号を音声処理部 e x 3 0 5によってディジタル音声 データに変換し、 これを変復調回路部 e X 3 0 6でスぺク トラム拡散処 理し、 送受信回路部 e x 3 0 1 でディジタルアナログ変換処理及び周波 数変換処理を施した後にアンテナ e X 2 0 1 を介して送信する。 また携 帯電話機 e X 1 1 5は、 音声通話モード時にアンテナ e x 2 0 1 で受信 した受信データを増幅して周波数変換処理及びアナログディジタル変換 処理を施し、 変復調回路部 e X 3 0 6でスぺク トラム逆拡散処理し、 音 声処理部 e X 3 0 5によってアナログ音声データに変換した後、 これを 音声出力部 e X 2 0 8を介して出力する。 さらに、 データ通信モード時に電子メールを送信する場合、 本体部の 操作キー e X 2 0 4の操作によって入力された電子メールのテキス トデ ータは操作入力制御部 e X 3 0 4を介して主制御部 e x 3 1 1 に送出さ れる。 主制御部 e X 3 1 1 は、 テキス 卜データを変復調回路部 e x 3 0 6でスぺク 卜ラム拡散処理し、 送受信回路部 e X 3 0 1 でディジタルァ ナログ変換処理及び周波数変換処理を施した後にアンテナ e X 2 0 1 を 介して基地局 e X 1 1 0へ送信する。
データ通信モード時に画像データを送信する場合、 カメラ部 e X 2 0 3で撮像された画像データをカメラインタ一フェース部 e X 3 0 3を介 して画像符号化部 e X 3 1 2に供給する。 また、 画像データを送信しな い場合には、 カメラ部 e x 2 0 3で撮像した画像データをカメラインタ 一フェース部 e X 3 0 3及び L C D制御部 e x 3 0 2を介して表示部 e x 2 0 2に直接表示することも可能である。
画像符号化部 e X 3 1 2は、 本願発明で説明した映像エンコーダを備 えた構成であり、 カメラ部 e X 2 0 3から供給された画像データを上記 実施の形態で示した映像エンコーダに用いた符号化方法によって圧縮符 号化することにより符号化画像データに変換し、 これを多重分離部 e x 3 0 8に送出する。 また、 このとき同時に携帯電話機 e x 1 1 5は、 力 メラ部 e X 2 0 3で撮像中に音声入力部 e x 2 0 5で集音した音声を音 声処理部 e x 3 0 5を介してディジタルの音声データと して多重分離部 e x 3 0 8に送出する。
多重分離部 e X 3 0 8は、 画像符号化部 e x 3 1 2から供給された符 号化画像データと音声処理部 e x 3 0 5から供給された音声データとを 所定の方式で多重化し、 その結果得られる多重化データを変復調回路部 e x 3 0 6でスペク トラム拡散処理し、 送受信回路部 e x 3 0 1 でディ ジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ e x 2 0 1 を介して送信する。
データ通信モード時にホームページ等にリンクされた動画像ファイル のデータを受信する場合、 アンテナ e X 2 0 1 を介して基地局 e x 1 1 0から受信した受信データを変復調回路部 e X 3 0 6でスぺク 卜ラム逆 拡散処理し、 その結果得られる多重化データを多重分離部 e X 3 0 8に 送出する。
また、 アンテナ e X 2 0 1 を介して受信された多重化データを復号化 するには、 多重分離部 e x 3 0 8は、 多重化データを分離することによ リ画像データのビッ トス トリームと音声データのビッ トス トリームとに 分け、 同期バス e X 3 1 3を介して当該符号化画像データを画像復号化 部 e X 3 0 9に供給すると共に当該音声データを音声処理部 e x 3 0 5 に供給する。
画像復号化部 e X 3 0 9は、 上記実施の形態で説明した映像デコーダ を備えた構成を有し、 画像データのビッ トス トリ一ムを上記実施の形態 で示した符号化方法に対応した復号化方法で復号することにより再生動 画像データを生成し、 これを L C D制御部 e X 3 0 2を介して表示部 e X 2 0 2に供給し、 これにより、 例えばホームページにリンクされた動 画像ファイルに含まれる動画データが表示される。 このとき同時に音声 処理部 e x 3 0 5は、 音声データをアナログ音声データに変換した後、 これを音声出力部 e x 2 0 8に供給し、 これにより、 例えばホームぺ一 ジにリンクされた動画像ファイルに含まる音声データが再生される。 なお、 上記システムの例に限られず、 最近は衛星、 地上波によるディ ジタル放送が話題となっており、 図 1 7に示すようにディジタル放送用 システムにも上記実施の形態の少なく とも映像エンコーダ又は映像デコ —ダのいずれかを組み込むことができる。 具体的には、 放送局 e X 4 0 9では映像情報のビッ トス トリームが電波を介して通信又は放送衛星 e x 4 1 0に伝送される。 これを受けた放送衛星 e X 4 1 0は、 放送用の 電波を発信し、 この電波を衛星放送受信設備をもつ家庭のアンテナ e X 4 0 6で受信し、 テレビ （受信機） e X 4 0 1 又はセッ ト トップボック ス （S T B) e X 4 0 7等の装置により ビッ トス トリームを復号化して これを再生する。 また、 記録媒体である C Dや D V D等の蓄積メディア e X 4 0 2に記録したビッ トス トリームを読み取り、 復号化する再生装 置 e X 4 0 3にも上記実施の形態で示した映像デコーダを実装すること が可能である。 この場合、 再生された映像信号はモニタ e X 4 0 4に表 示される。 また、 ケーブルテレビ用のケーブル e x 4 0 5又は衛星 Z地 上波放送のアンテナ e x 4 0 6に接続されたセッ ト トップボックス e x 4 0 7内に映像デコーダを実装し、 これをテレビのモニタ e x 4 0 8で 再生する構成も考えられる。 このときセッ ト トップボックスではなく、 テレビ内に映像デコーダを組み込んでも良い。 また、 アンテナ e x 4 1 1 を有する車 e X 4 1 2で衛星 e x 4 1 0から又は基地局 e x 1 0 7等 から信号を受信し、 車 e x 4 1 2が有する力一ナビゲーシヨン e x 4 1 3等の表示装置に動画を再生することも可能である。
さらに、 画像信号を上記実施の形態で示した映像エンコーダで符号化 し、 記録媒体に記録することもできる。 具体例と しては、 D V Dデイス ク e X 4 2 1 に画像信号を記録する D V Dレコーダや、 ハードディスク に記録するディスク レコーダ等のレコーダ e x 4 2 0がある。 更に S D カード e x 4 2 2に記録することもできる。 レコーダ e x 4 2 0が上記 実施の形態で示した映像デコーダを備えていれば、 D V Dディスク e x 4 2 1 や S Dカード e X 4 2 2に記録した画像信号を再生し、 モニタ e X 4 0 8で表示することができる。
なお、 力一ナビゲ一シヨン e X 4 1 3の構成は例えば図 1 6に示す構 成のうち、カメラ部 e X 2 0 3とカメラインタ一フェース部 e x 3 0 3、 画像符号化部 e X 3 1 2を除いた構成が考えられ、 同様なことがコンビ ユータ e x 1 1 1 やテレビ （受信機） e x 4 0 1 等でも考えられる。 また、 上記携帯電話 e X 1 1 4等の端末は、 符号化器 ' 復号化器を両 方持つ送受信型の端末の他に、 符号化器のみの送信端末、 復号化器のみ の受信端末の 3通りの実装形式が考えられる。
このように、 上記実施の形態で示した映像エンコーダあるいは映像デ コーダを上述のいずれの機器 - システムに用いることは可能であり、 そ うすることで、 上記実施の形態で説明した効果を得ることができる。 さらに、 本発明はかかる上記実施の形態に限定されるものではなく、 本発明の範囲を逸脱することなく種々の変形又は修正が可能である。 産業上の利用の可能性
本発明に係る動画像符号化装置、 動画像復号化装置及びメモ リ管理装 置等は、 L S I 等の電子回路又はコンピュータ上で実行されるソフ トゥ エアで実現される映像エンコーダ及び映像デコーダと して利用すること ができる。 例えば、 動画像を符号化したり、 符号化された動画像を復号 化して再生するコンピュータ、 P D A、 デジタル放送送信機及び携帯電 話機等に備えられる映像エンコーダ及び映像デコーダと して有用である,

Claims

請 求 の 範 囲
1 . 動画像を符号化する装置であって、
トップフィ一ルドとボトムフィールドとを含むフレームの画像データ を格納することが可能な複数のメモリ領域を有する記憶手段と、
前記メモリ領域に格納された画像データをフィール ド単位で参照する ことによって動き予測と動き補償を行いながら入力画像をフィール ド単 位で符号化する符号化手段と、
前記複数のメモリ領域をフ レーム単位で管理するメモリ管理手段と、 前記符号化手段により符号化されたフィール ドの画像データを復号化 し、 復号化したフィール ドの画像データを前記メモリ管理手段による管 理の下で前記複数のメモリ領域のいずれかに格納する格納手段と を備えることを特徴とする動画像符号化装置。
2 . 前記メモリ管理手段は、 前記複数のメモリ領域それぞれについて、 画像データの格納が可能か否かをフ レーム単位で管理し、
前記格納手段は、 前記メモリ管理手段によリ格納が可能と管理されて いるメモリ領域に前記フィ一ルドの画像データを格納する
ことを特徴とする請求の範囲 1記載の動画像符号化装置。
3 . 前記メモリ管理手段は、 前記複数のメモリ領域それぞれに対応づけ た格納許可フラグを「使用」又は「未使用 jにセッ トすることによって、 前記メモリ領域を管理し、
前記格納手段は、 前記格納許可フラグが 「未使用」 を示すメモリ領域 に前記フィ一ルドの画像データを格納する
ことを特徴とする請求の範囲 2記載の動画像符号化装置。
4 . 前記メモリ管理手段は、 前記メモリ領域にフ レーム、 トップフィ一 ルド又はボトムフィールドの画像データが格納された場合に、 当該メモ リ領域に対応する格納許可フラグを 「使用」 にセッ トし、 前記メモリ領 域に画像データが格納されていない場合、 格納されているフレームが不 要となった場合、 又は、 格納されている トップフィールド及びボトムフ ィールドの両方が不要となった場合に、 当該メ モリ領域に対応する格納 許可フラグを 「未使用」 にセッ 卜する
ことを特徴とする請求の範囲 3記載の動画像符号化装置。
5 . 前記格納手段は、 同一のフレームを構成する トップフィール ド及び ボトムフィール ドの画像データが 1 つのメモリ領域に格納されることと なるよう に、 前記トップフィ一ル ド又は前記ポ卜ムフィ一ルドの画像デ ータをメモリ領域に格納する
ことを特徴とする請求の範囲 4記載の動画像符号化装置。
6 . 前記メモリ管理手段は、 前記複数のメモリ領域それぞれについて、 短時間参照のための 「短時間領域」 か長時間参照のための 「長時間参照」 かをフ レーム単位で管理する
ことを特徴とする請求の範囲 1 記載の動画像符号化装置。
7 . 前記メモリ管理手段は、 前記複数のメモリ領域それぞれに対応づけ た長時間フラグを 「短時間領域」 又は 「長時間領域」 にセッ トすること によって、 前記メモリ領域を管理する
ことを特徴とする請求の範囲 6記載の動画像符号化装置。
8 . 前記メモリ管理手段は、 前記長時間フラグが 「短時間領域」 にセッ 卜されたメモリ領域に格納されているフ レーム、 トップフィール ド又は ボトムフィールドの画像データを長時間参照用に変更する場合に、 当該 長時間フラグを 「長時間領域」 にセッ トする
ことを特徴とする請求の範囲 7記載の動画像符号化装置。
9 . トップフィ一ルドとポト厶フィ一ルドとを含むフレームの画像デー タを格納することが可能な複数のメモリ領域を用いて動画像を符号化す る方法であって、
前記メモリ領域に格納された画像データをフィ一ルド単位で参照する ことによって動き予測と動き補償を行いながら入力画像をフィールド単 位で符号化する符号化ステップと、
前記複数のメモリ領域をフ レーム単位で管理するメモリ管理ステップ 前記符号化ステップで符号化されたフィール ドの画像データを復号化 し、 復号化したフィール ドの画像データを前記メモリ管理ステップでの 管理の下で前記複数のメモリ領域のいずれかに格納する格納ステップと を含むことを特徴とする動画像符号化方法。
1 0 . トップフィールドとボトムフィールドとを含むフレームの画像デ —タを格納することが可能な複数のメモリ領域を用いて動画像を符号化 するためのプログラムであって、
前記メモリ領域に格納された画像データをフィ一ルド単位で参照する ことによって動き予測と動き補償を行いながら入力画像をフィールド単 位で符号化する符号化ステップと、
前記複数のメモリ領域をフレーム単位で管理するメモリ管理ステップ 前記符号化ステップで符号化されたフィール ドの画像データを復号化 し、 復号化したフィールドの画像データを前記メモリ管理ステップでの 管理の下で前記複数のメモリ領域のいずれかに格納する格納ステップと を含むことを特徴とするプログラム。
1 1 . 動画像を復号化する装置であって、
トップフィールドとボトムフィールドとを含むフレームの画像データ を格納することが可能な複数のメモリ領域を有する記憶手段と、
前記メモリ領域に格納された画像データをフィールド単位で参照する ことによって動き補償を行いながら入力画像をフィールド単位で復号化 する復号化手段と、
前記複数のメモリ領域をフ レーム単位で管理するメモリ管理手段と、 前記復号化手段によリ復号化されたフィール ドの画像データを前記メ モリ管理手段による管理の下で前記複数のメモリ領域のいずれかに格納 する格納手段と
を備えることを特徴とする動画像復号化装置。
1 2 .前記メモリ管理手段は、前記複数のメモリ領域それぞれについて、 画像データの格納が可能か否かをフ レーム単位で管理し、
前記格納手段は、 前記メモリ管理手段により格納が可能と管理されて いるメモリ領域に前記フィール ドの画像データを格納する
ことを特徴とする請求の範囲 1 1記載の動画像復号化装置。
1 3 . 前記メモリ管理手段は、 前記複数のメモリ領域それぞれに対応づ けた格納許可フラグを 「使用 j 又は 「未使用 j にセッ トすることによつ て、 前記メモリ領域を管理し、 前記格納手段は、 前記格納許可フラグが 「未使用」 を示すメモリ領域 に前記フィール ドの画像データを格納する
ことを特徴とする請求の範囲 1 2記載の動画像復号化装置。
1 4 . 前記メモリ管理手段は、 前記メモリ領域にフレーム、 トップフィ —ルド又はボトムフィール ドの画像データが格納された場合に、 当該メ モリ領域に対応する格納許可フラグを 「使用」 にセッ トし、 前記メモリ 領域に画像データが格納されていない場合、 格納されているフ レームが 不要となった場合、 又は、 格納されている トップフィールド及びボトム フィール ドの両方が不要となった場合に、 当該メ モリ領域に対応する格 納許可フラグを 「未使用」 にセッ 卜する
ことを特徴とする請求の範囲 1 3記載の動画像復号化装置。
1 5 . 前記格納手段は、 同一のフ レ一厶を構成する トップフィールド及 びボトムフィールドの画像データが 1 つのメモリ領域に格納されること となるように、 前記トップフィ一ルド又は前記ポトムフィールドの画像 データをメモリ領域に格納する
ことを特徴とする請求の範囲 1 4記載の動画像復号化装置。
1 6 .前記メモリ管理手段は、前記複数のメモリ領域それぞれについて、 短時間参照のための 「短時間領域 J か長時間参照のための 「長時間参照 j かをフ レーム単位で管理する
ことを特徴とする請求の範囲 1 1 記載の動画像復号化装置。
1 7 . 前記メモリ管理手段は、 前記複数のメモリ領域それぞれに対応づ けた長時間フラグを Γ短時間領域」 又は 「長時間領域 j にセッ トするこ とによって、 前記メモリ領域を管理する
ことを特徴とする請求の範囲 1 6記載の動画像復号化装置。
1 8 . 前記メモリ管理手段は、 前記長時間フラグが 「短時間領域」 にセ ッ 卜されたメモリ領域に格納されているフ レーム、 トップフィール ド又 はボトムフィールドの画像データを長時間参照用に変更する場合に、 当 該長時間フラグを 「長時間領域」 にセッ トする
ことを特徴とする請求の範囲 1 7記載の動画像復号化装置。
1 9 . トップフィール ドとボトムフィール ドとを含むフ レームの画像デ ータを格納することが可能な複数のメモリ領域を用いて動画像を復号化 する方法であって、
前記メモリ領域に格納された画像データをフィ一ルド単位で参照する ことによって動き補償を行いながら入力画像をフィ一ルド単位で復号化 する復号化ステップと、
前記複数のメモリ領域をフレーム単位で管理するメモリ管理ステップ 前記復号化ステップで復号化されたフィール ドの画像データを前記メ モリ管理ステップでの管理の下で前記複数のメモリ領域のいずれかに格 納する格納ステップと
を含むことを特徴とする動画像復号化方法。
2 0 . トップフィール ドとボトムフィール ドとを含むフ レームの画像デ ータを格納することが可能な複数のメモリ領域を用いて動画像を復号化 するためのプログラムであって、
前記メモリ領域に格納された画像データをフィールド単位で参照する ことによって動き補償を行いながら入力画像をフィ一ルド単位で復号化 する復号化ステップと、
前記複数のメモリ領域をフ レーム単位で管理するメモリ管理ステップ 前記復号化ステップで復号化されたフィールドの画像データを前記メ モリ管理ステップでの管理の下で前記複数のメモリ領域のいずれかに格 納する格納ステップと
を含むことを特徴とするプログラム。
2 1 . 動画像を符号化又は復号化する装置におけるメモリ管理装置であ つて、
トップフィールドとボトムフィールドとを含むフレームの画像データ を格納することが可能な複数のメモリ領域を有する記憶手段と、
前記複数のメモリ領域をフレーム単位で管理する管理手段と、 前記管理手段による管理の下で、 フィールドの画像データを前記複数 のメモリ領域のいずれかに格納及びフィ一ルドの画像データを前記複数 のメモリ領域のいずれかから読み出すメモリアクセス手段と
を備えることを特徴とするメモリ管理装置。
2 2 . 動画像を符号化又は復号化する装置におけるメモリの管理方法で あって、
前記装置は、 トップフィールドとポトムフィ一ルドとを含むフレーム の画像データを格納することが可能な複数のメモリ領域を有する記憶手 段を備え、
前記メモリの管理方法は、
前記複数のメモリ領域をフレーム単位で管理する管理ステップと、 前記管理ステップでの管理の下で、 フィールドの画像データを前記複 数のメモリ領域のいずれかに格納及びフィールドの画像データを前記複 数のメモリ領域のいずれかから読み出すメモリアクセスステップと を含むことを特徴とするメモリ管理方法。
2 3 . 動画像を符号化又は復号化する装置においてメモリの管理するた めのプログラムであって、
前記装置は、 トップフィールドとボトムフィールドとを含むフレーム の画像データを格納することが可能な複数のメモリ領域を有する記憶手 段を備え、
前記プログラムは、
前記複数のメモリ領域をフレーム単位で管理する管理ステップと、 前記管理ステップでの管理の下で、 フィールドの画像データを前記複 数のメモリ領域のいずれかに格納及びフィールドの画像データを前記複 数のメモリ領域のいずれかから読み出すメモリアクセスステップと を含むことを特徴とするプログラム。
PCT/JP2003/008954 2002-07-15 2003-07-15 動画像符号化装置及び動画像復号化装置 WO2004008776A1 (ja)

Priority Applications (20)

Application Number Priority Date Filing Date Title
BRPI0305554A BRPI0305554B8 (pt) 2002-07-15 2003-07-15 “dispositivo de gerenciamento de memória em um aparelho para a codificação ou a decodificação de imagens em movimento e método de gerenciamento de memória empregado por um aparelho para a codificação ou a decodificação de imagens em movimento”
US10/488,474 US7760803B2 (en) 2002-07-15 2003-07-15 Moving picture encoding device and moving picture decoding device
CA2460473A CA2460473C (en) 2002-07-15 2003-07-15 Moving picture coding apparatus and moving picture decoding apparatus
EP03741394.5A EP1443772B1 (en) 2002-07-15 2003-07-15 Moving picture encoding device and moving picture decoding device
MXPA04002302A MXPA04002302A (es) 2002-07-15 2003-07-15 APARATO DE CODIFICACION DE IMáGENES EN MOVIMIENTO Y APARATO DE DECODIFICACION DE IMáGENES EN MOVIMIENTO.
ES03741394.5T ES2536543T3 (es) 2002-07-15 2003-07-15 Dispositivo de codificación de imágenes en movimiento y dispositivo de decodificación de imágenes en movimiento
AU2003281135A AU2003281135B2 (en) 2002-07-15 2003-07-15 Moving picture coding apparatus and moving picture decoding apparatus
US11/976,547 US7742523B2 (en) 2002-07-15 2007-10-25 Moving picture coding apparatus and moving picture decoding apparatus
US12/774,957 US8139637B2 (en) 2002-07-15 2010-05-06 Moving picture coding apparatus and moving picture decoding apparatus
US13/397,103 US9001891B2 (en) 2002-07-15 2012-02-15 Moving picture coding apparatus and moving picture decoding apparatus
US13/397,128 US8989264B2 (en) 2002-07-15 2012-02-15 Moving picture coding apparatus and moving picture decoding apparatus
US14/632,405 US9420301B2 (en) 2002-07-15 2015-02-26 Moving picture coding apparatus and moving picture decoding apparatus
US14/632,443 US9402081B2 (en) 2002-07-15 2015-02-26 Moving picture coding apparatus and moving picture decoding apparatus
US14/632,349 US9473781B2 (en) 2002-07-15 2015-02-26 Moving picture coding apparatus and moving picture decoding apparatus
US14/632,498 US9398305B2 (en) 2002-07-15 2015-02-26 Moving picture coding apparatus and moving picture decoding apparatus
US14/632,370 US9479790B2 (en) 2002-07-15 2015-02-26 Moving picture coding apparatus and moving picture decoding apparatus
US15/070,580 US9942561B2 (en) 2002-07-15 2016-03-15 Moving picture coding apparatus and moving picture decoding apparatus
US15/198,012 US9906806B2 (en) 2002-07-15 2016-06-30 Moving picture coding apparatus and moving picture decoding apparatus
US15/197,993 US9936210B2 (en) 2002-07-15 2016-06-30 Moving picture coding apparatus and moving picture decoding apparatus
US15/907,615 US10230971B2 (en) 2002-07-15 2018-02-28 Moving picture coding apparatus and moving picture decoding apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02015606A EP1383339A1 (en) 2002-07-15 2002-07-15 Memory management method for video sequence motion estimation and compensation
EP02015606.3 2002-07-15

Related Child Applications (4)

Application Number Title Priority Date Filing Date
US10488474 A-371-Of-International 2003-07-15
US10/488,474 A-371-Of-International US7760803B2 (en) 2002-07-15 2003-07-15 Moving picture encoding device and moving picture decoding device
US11/976,547 Continuation US7742523B2 (en) 2002-07-15 2007-10-25 Moving picture coding apparatus and moving picture decoding apparatus
US12/774,957 Continuation US8139637B2 (en) 2002-07-15 2010-05-06 Moving picture coding apparatus and moving picture decoding apparatus

Publications (1)

Publication Number Publication Date
WO2004008776A1 true WO2004008776A1 (ja) 2004-01-22

Family

ID=29762616

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2003/008954 WO2004008776A1 (ja) 2002-07-15 2003-07-15 動画像符号化装置及び動画像復号化装置

Country Status (10)

Country Link
US (14) US7760803B2 (ja)
EP (4) EP1383339A1 (ja)
JP (7) JP4440572B2 (ja)
CN (1) CN1307839C (ja)
AU (1) AU2003281135B2 (ja)
BR (1) BRPI0305554B8 (ja)
CA (1) CA2460473C (ja)
ES (1) ES2536543T3 (ja)
MX (1) MXPA04002302A (ja)
WO (1) WO2004008776A1 (ja)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1383339A1 (en) 2002-07-15 2004-01-21 Matsushita Electric Industrial Co., Ltd. Memory management method for video sequence motion estimation and compensation
AU2003241696A1 (en) * 2002-07-26 2004-02-16 Matsushita Electric Industrial Co., Ltd. Moving picture encoding method, moving picture decoding method, and recording medium
US20040252197A1 (en) * 2003-05-05 2004-12-16 News Iq Inc. Mobile device management system
US7715479B2 (en) * 2003-07-21 2010-05-11 International Business Machines Corporation Power-aware on-chip memory management for video coding algorithms
BRPI0414397A (pt) * 2003-09-17 2006-11-21 Thomson Licensing geração de imagem de referência adaptativa
US20050207490A1 (en) * 2004-03-18 2005-09-22 Wang Jason N Stored picture index for AVC coding
CN100568975C (zh) * 2005-04-15 2009-12-09 索尼株式会社 解码装置、解码方法
EP1911278A2 (en) * 2005-08-04 2008-04-16 Nds Limited Advanced digital tv system
JP4762095B2 (ja) * 2006-09-20 2011-08-31 株式会社東芝 画像復号装置及び画像復号方法
US7777751B2 (en) * 2006-11-27 2010-08-17 Lsi Corporation Tiled memory array for full search motion estimation
US8363721B2 (en) 2009-03-26 2013-01-29 Cisco Technology, Inc. Reference picture prediction for video coding
JPWO2012096186A1 (ja) 2011-01-14 2014-06-09 パナソニック株式会社 画像符号化方法、画像復号方法、メモリ管理方法、画像符号化装置、画像復号装置、メモリ管理装置および画像符号化復号装置
JP6394966B2 (ja) * 2012-01-20 2018-09-26 サン パテント トラスト 時間動きベクトル予測を用いた、符号化方法、復号方法、符号化装置、及び、復号装置
EP3829177A1 (en) 2012-02-03 2021-06-02 Sun Patent Trust Image coding method, image decoding method, image coding apparatus, image decoding apparatus, and image coding and decoding apparatus
JP6421931B2 (ja) 2012-03-06 2018-11-14 サン パテント トラスト 動画像符号化方法及び動画像符号化装置
US20150085939A1 (en) * 2012-04-13 2015-03-26 Sharp Kabushiki Kaisha Devices for sending and receiving a long-term reference picture indicator
WO2014051409A1 (ko) * 2012-09-28 2014-04-03 삼성전자 주식회사 참조 픽처 정보를 이용한 병렬 처리 비디오 부호화 방법 및 장치, 병렬 처리 비디오 복호화 방법 및 장치
JP5845202B2 (ja) * 2013-03-22 2016-01-20 株式会社東芝 画像圧縮装置および画像処理システム
EP2854405A1 (en) * 2013-09-26 2015-04-01 Thomson Licensing Method and apparatus for encoding and decoding a motion vector representation in interlaced video using progressive video coding tools
JP6405664B2 (ja) * 2014-03-28 2018-10-17 日本電気株式会社 映像符号化装置、映像符号化方法、及びプログラム
JP6453652B2 (ja) * 2015-01-09 2019-01-16 株式会社東芝 映像伝送システム
CN106937168B (zh) * 2015-12-30 2020-05-12 掌赢信息科技（上海）有限公司 一种利用长期参考帧的视频编码方法、电子设备及系统
US11140413B2 (en) * 2017-10-03 2021-10-05 Amimon Ltd. Video compression system
US11044477B2 (en) * 2019-12-16 2021-06-22 Intel Corporation Motion adaptive encoding of video
CN116800976B (zh) * 2023-07-17 2024-03-12 武汉星巡智能科技有限公司 伴睡婴幼儿时音视频压缩和还原方法、装置及设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07274174A (ja) * 1994-03-17 1995-10-20 Internatl Business Mach Corp <Ibm> デジタル信号デコーダ・システム
JPH08298666A (ja) * 1995-03-01 1996-11-12 Matsushita Electric Ind Co Ltd 画像処理装置
JPH08307875A (ja) * 1995-05-02 1996-11-22 Matsushita Electric Ind Co Ltd 画像メモリ装置および動きベクトル検出回路
JPH10117356A (ja) * 1996-08-22 1998-05-06 Matsushita Electric Ind Co Ltd 画像処理装置
JPH10210484A (ja) * 1997-01-24 1998-08-07 Nec Corp フレーム・バッファ管理方式
JPH114443A (ja) * 1997-06-11 1999-01-06 Matsushita Electric Ind Co Ltd 情報処理装置
JPH11136680A (ja) * 1997-10-29 1999-05-21 Matsushita Electric Ind Co Ltd 画像符号化方法及び装置

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4719568A (en) * 1982-12-30 1988-01-12 International Business Machines Corporation Hierarchical memory system including separate cache memories for storing data and instructions
US5317717A (en) * 1987-07-01 1994-05-31 Digital Equipment Corp. Apparatus and method for main memory unit protection using access and fault logic signals
US5175618A (en) * 1990-10-31 1992-12-29 Victor Company Of Japan, Ltd. Compression method for interlace moving image signals
US5317397A (en) * 1991-05-31 1994-05-31 Kabushiki Kaisha Toshiba Predictive coding using spatial-temporal filtering and plural motion vectors
JPH05268594A (ja) * 1992-03-18 1993-10-15 Sony Corp 動画像の動き検出装置
JPH05292393A (ja) * 1992-04-14 1993-11-05 Fujitsu Ltd 動画編集処理方式
US5489943A (en) * 1994-02-14 1996-02-06 Sony Corporation One-pass adaptive bit rate control
IT1269513B (it) * 1994-05-18 1997-04-01 Ausimont Spa Elastomeri termoplastici fluorurati dotati di migliorate proprieta' meccaniche ed elastiche,e relativo processo di preparazione
JPH0837662A (ja) * 1994-07-22 1996-02-06 Hitachi Ltd 画像符号化復号化装置
EP0710033A3 (en) * 1994-10-28 1999-06-09 Matsushita Electric Industrial Co., Ltd. MPEG video decoder having a high bandwidth memory
US6301299B1 (en) * 1994-10-28 2001-10-09 Matsushita Electric Industrial Co., Ltd. Memory controller for an ATSC video decoder
US6064803A (en) 1995-03-01 2000-05-16 Matsushita Electric Industrial Co., Ltd. Image information decoder with a reduced capacity frame memory
JPH08272977A (ja) * 1995-03-30 1996-10-18 Fujitsu Ltd 予測符号化方式復号化装置
JP3347954B2 (ja) * 1995-11-02 2002-11-20 三菱電機株式会社 動画像符号化装置及び動画像復号化装置
US5798788A (en) * 1996-02-01 1998-08-25 David Sarnoff Research Center, Inc. Method and apparatus for evaluating field display functionality of a video decoder
JP2942497B2 (ja) 1996-03-22 1999-08-30 ローム株式会社 画像データ復号表示方法および装置
KR100215824B1 (ko) * 1996-04-09 1999-08-16 구자홍 엠펙 디코더의 프레임 메모리 및 영상 데이타 디코딩방법
US6088391A (en) * 1996-05-28 2000-07-11 Lsi Logic Corporation Method and apparatus for segmenting memory to reduce the memory required for bidirectionally predictive-coded frames
US5835636A (en) * 1996-05-28 1998-11-10 Lsi Logic Corporation Method and apparatus for reducing the memory required for decoding bidirectionally predictive-coded frames during pull-down
EP0825781B1 (en) 1996-08-22 2004-10-27 Matsushita Electric Industrial Co., Ltd. Image processor
US6072548A (en) 1997-07-28 2000-06-06 Lsi Logic Corporation Video decoder dynamic memory allocation system and method allowing variable decoded image size
JPH1155591A (ja) * 1997-08-04 1999-02-26 Furukawa Electric Co Ltd:The 画像処理装置およびその方法
US6249318B1 (en) * 1997-09-12 2001-06-19 8×8, Inc. Video coding/decoding arrangement and method therefor
JPH11120690A (ja) 1997-10-14 1999-04-30 Matsushita Electric Ind Co Ltd ディスク装置及びバッファ管理方法
JPH11127438A (ja) * 1997-10-21 1999-05-11 Toshiba Corp 動画復号化装置用メモリ管理方法及びその装置
EP0921497B1 (en) * 1997-12-02 2004-03-24 Daewoo Electronics Corporation Interlaced binary shape coding apparatus
JP4026238B2 (ja) 1998-07-23 2007-12-26 ソニー株式会社 画像復号装置及び画像復号方法
JP2000209597A (ja) * 1999-01-19 2000-07-28 Matsushita Electric Ind Co Ltd 画像デ―タ符号化装置および方法
US6658056B1 (en) * 1999-03-30 2003-12-02 Sony Corporation Digital video decoding, buffering and frame-rate converting method and apparatus
JP3701825B2 (ja) 1999-11-01 2005-10-05 日本電信電話株式会社 動画像符号化方法、動画像符号化装置、動画像復号方法、動画像復号装置、および動画像符号化、復号プログラムを記憶した記憶媒体
GB2381403B (en) 2000-05-10 2004-12-01 Picturetel Corp Video coding using multiple buffers
US20040008775A1 (en) * 2002-07-12 2004-01-15 Krit Panusopone Method of managing reference frame and field buffers in adaptive frame/field encoding
EP1383339A1 (en) * 2002-07-15 2004-01-21 Matsushita Electric Industrial Co., Ltd. Memory management method for video sequence motion estimation and compensation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07274174A (ja) * 1994-03-17 1995-10-20 Internatl Business Mach Corp <Ibm> デジタル信号デコーダ・システム
JPH08298666A (ja) * 1995-03-01 1996-11-12 Matsushita Electric Ind Co Ltd 画像処理装置
JPH08307875A (ja) * 1995-05-02 1996-11-22 Matsushita Electric Ind Co Ltd 画像メモリ装置および動きベクトル検出回路
JPH10117356A (ja) * 1996-08-22 1998-05-06 Matsushita Electric Ind Co Ltd 画像処理装置
JPH10210484A (ja) * 1997-01-24 1998-08-07 Nec Corp フレーム・バッファ管理方式
JPH114443A (ja) * 1997-06-11 1999-01-06 Matsushita Electric Ind Co Ltd 情報処理装置
JPH11136680A (ja) * 1997-10-29 1999-05-21 Matsushita Electric Ind Co Ltd 画像符号化方法及び装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FUKUHARA T.: "Very low bit-rate video coding with block partitioning and adaptive selection of two time-differential frame memories", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 7, no. 1, February 1997 (1997-02-01), pages 212 - 220, XP000678892 *
See also references of EP1443772A4 *

Also Published As

Publication number Publication date
ES2536543T3 (es) 2015-05-26
AU2003281135A1 (en) 2004-02-02
JP5261592B2 (ja) 2013-08-14
JP2014143727A (ja) 2014-08-07
EP1443772B1 (en) 2015-03-04
EP1383339A1 (en) 2004-01-21
JP5205343B2 (ja) 2013-06-05
US20120147964A1 (en) 2012-06-14
US20160309174A1 (en) 2016-10-20
JP5530541B2 (ja) 2014-06-25
CA2460473C (en) 2012-08-28
BR0305554A (pt) 2004-09-28
US9402081B2 (en) 2016-07-26
US9936210B2 (en) 2018-04-03
JP2009296605A (ja) 2009-12-17
JP5658391B2 (ja) 2015-01-21
US9398305B2 (en) 2016-07-19
US20120144143A1 (en) 2012-06-07
US20080062187A1 (en) 2008-03-13
US20100215093A1 (en) 2010-08-26
JP2012182835A (ja) 2012-09-20
US20150172725A1 (en) 2015-06-18
US20150172685A1 (en) 2015-06-18
MXPA04002302A (es) 2005-04-08
JP5687787B2 (ja) 2015-03-18
US9473781B2 (en) 2016-10-18
US7760803B2 (en) 2010-07-20
JP2004040816A (ja) 2004-02-05
JP2014143726A (ja) 2014-08-07
US9906806B2 (en) 2018-02-27
US20160198170A1 (en) 2016-07-07
JP2013110770A (ja) 2013-06-06
US20150172700A1 (en) 2015-06-18
US9479790B2 (en) 2016-10-25
US8989264B2 (en) 2015-03-24
US20040190614A1 (en) 2004-09-30
US9001891B2 (en) 2015-04-07
US20180192065A1 (en) 2018-07-05
BRPI0305554B8 (pt) 2021-06-29
EP2894859A1 (en) 2015-07-15
US7742523B2 (en) 2010-06-22
US20150172684A1 (en) 2015-06-18
EP2894858A1 (en) 2015-07-15
AU2003281135B2 (en) 2007-09-20
US9420301B2 (en) 2016-08-16
CA2460473A1 (en) 2004-01-22
EP1443772A4 (en) 2010-04-07
CN1557098A (zh) 2004-12-22
CN1307839C (zh) 2007-03-28
BRPI0305554B1 (pt) 2018-04-03
JP2014143725A (ja) 2014-08-07
US8139637B2 (en) 2012-03-20
US10230971B2 (en) 2019-03-12
US20160309175A1 (en) 2016-10-20
US20150172686A1 (en) 2015-06-18
JP4440572B2 (ja) 2010-03-24
JP5658390B2 (ja) 2015-01-21
EP1443772A1 (en) 2004-08-04
US9942561B2 (en) 2018-04-10

Similar Documents

Publication Publication Date Title
JP5687787B2 (ja) 動画像復号化装置及びその方法
JP4767991B2 (ja) 画像符号化方法および画像符号化装置
JP5242719B2 (ja) 画像符号化方法
JP4749516B2 (ja) 復号化システム
WO2004004357A1 (ja) 動画像の符号化方法、復号化方法、データストリーム、データ記録媒体およびプログラム
JP4481970B2 (ja) 画像符号化装置及びその方法
JP4481612B2 (ja) 画像復号化装置及びその方法
KR100943563B1 (ko) 동화상 부호화 장치 및 동화상 복호화 장치

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

WWE Wipo information: entry into national phase

Ref document number: 10488474

Country of ref document: US

Ref document number: 2003281135

Country of ref document: AU

WWE Wipo information: entry into national phase

Ref document number: PA/a/2004/002302

Country of ref document: MX

WWE Wipo information: entry into national phase

Ref document number: 20038010402

Country of ref document: CN

Ref document number: 2460473

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 1020047003792

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 2003741394

Country of ref document: EP

Ref document number: 560/CHENP/2004

Country of ref document: IN

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 2003741394

Country of ref document: EP