WO1995013682A1 - Animation encoding method, animation decoding method, animation recording medium and animation encoder - Google Patents

Animation encoding method, animation decoding method, animation recording medium and animation encoder Download PDF

Info

Publication number
WO1995013682A1
WO1995013682A1 PCT/JP1994/001868 JP9401868W WO9513682A1 WO 1995013682 A1 WO1995013682 A1 WO 1995013682A1 JP 9401868 W JP9401868 W JP 9401868W WO 9513682 A1 WO9513682 A1 WO 9513682A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
image signal
quantization
image
predetermined
Prior art date
Application number
PCT/JP1994/001868
Other languages
English (en)
French (fr)
Inventor
Teruhiko Suzuki
Original Assignee
Sony Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corporation filed Critical Sony Corporation
Priority to KR1019950702855A priority Critical patent/KR960700609A/ko
Priority to BR9406469A priority patent/BR9406469A/pt
Priority to AT94931688T priority patent/ATE204690T1/de
Priority to PL94310055A priority patent/PL175445B1/pl
Priority to DE69428034T priority patent/DE69428034T2/de
Priority to US08/481,395 priority patent/US5748243A/en
Priority to EP94931688A priority patent/EP0679031B1/en
Priority to AU80672/94A priority patent/AU687915B2/en
Publication of WO1995013682A1 publication Critical patent/WO1995013682A1/ja

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation

Definitions

  • the present invention relates to a moving image encoding method, a moving image decoding method, a moving image recording medium, and a moving image encoding device.
  • the present invention relates to a moving picture coding method, a moving picture decoding method, a moving picture recording medium, and a moving picture coding apparatus.
  • a moving picture signal is recorded on a recording medium such as an optical disc or a magnetic tape, and reproduced.
  • Video signals such as videoconferencing systems, videophone systems, and broadcasting equipment from the transmitting side to the receiving side via the transmission path, and receive and display them on the receiving side. It is suitable to be applied to the case. Background art
  • the line correlation of the moving image signal is used to efficiently utilize the transmission path.
  • the image signal is compressed and coded by using the image data.
  • the amount of information can be compressed by processing the image signal by orthogonal transformation such as discrete cosine transformation (DCT).
  • DCT discrete cosine transformation
  • the inter-frame correlation it is possible to further compress and encode the moving image signal.
  • FIG. 17 shows an example of compression encoding of a moving image signal when the inter-frame correlation is used.
  • three images shown in column A show frame images PCI, PC2, and PC3 at times t1, t2, and t3, respectively.
  • Frame image PC 1 and PC 2 are generated by calculating the difference between the image signals of PC 1 and PC 2.
  • PC 23 is generated by calculating the difference between the frame images PC 2 and PC 3.
  • Column B shows the difference image, and the difference is shown in black for convenience.
  • the images of frames that are temporally adjacent to each other do not have such a large change, and when the difference between them is calculated, the difference signal becomes a small value. Therefore, if this difference signal is encoded, the code amount can be compressed. For example, in this figure, it is sufficient to encode only the black portion of column B. However, if only the differential signal is transmitted, the original image cannot be restored if there is no correlation between the frames as in a scene change.
  • the image of each frame is set to one of three types of I-pictures (intra-coded), P (forward prediction), or B (bidirectional), and the image signal is compressed. as shown in t ie 1 8 so that encode, and an image signal of 1 7 full rate arm to frame F 1 ⁇ F 1 7 and group O defenses puncture, and 1 unit of processing .
  • the image signal of the first frame F1 (frame shown in black) is encoded as an I-picture
  • the second frame F2 (frame shown in white) is encoded as a B-picture.
  • the third frame F 3 (the frame indicated by oblique lines) is processed as a P-picture.
  • the fourth and subsequent frames F4 to F17 are alternately processed as B or P victims.
  • the image signal for one frame is transmitted as it is.
  • a picture signal of P picture basically, as shown in A of Fig. 18, the difference from the picture signal of I picture or P picture that precedes it is transmitted.
  • an image signal of the B-victure basically, as shown in B of FIG. 18, the difference from the average value of the temporally preceding frame or the succeeding frame or both is obtained. Then, the difference is encoded.
  • Figure 19 shows the principle of the method for encoding a video signal in this way. ing.
  • column A shows the original image
  • column B shows the coded image.
  • the first frame F 1 is processed as an I-picture, and is transmitted as it is to the transmission path as transmission data F 1 X (intra-coding).
  • the second frame F2 is processed as a B-victory, the temporally preceding frame F1 and the temporally following frame F3 or an average thereof. The difference from the value is calculated, and the difference is transmitted as transmission data F 2 X.
  • the processing as a B picture is described in more detail, and four types of processing can be selected for each macroblock.
  • the first process is to transmit the data of the original frame F2 as it is as the transmission data F2X (SP1 (intra-encoding)), similar to the case of the I picture. It becomes the processing of.
  • the second processing is to calculate a difference from the frame F 3 that is later in time and transmit the difference (SP 2 (backward prediction coding)).
  • the third process is to transmit the difference from the temporally preceding frame F1 (SP3 (forward predictive coding)).
  • SP3 forward predictive coding
  • a difference between the average value of the preceding frame F1 and the average value of the following frame F3 is generated, and the difference is transmitted as transmission data F2X. (SP 4 (Bidirectional predictive coding)).
  • an image by the processing method that minimizes the transmission data among these four methods is regarded as the transmission data of the macro block.
  • the motion vector X 1 (the motion vector between frames F 1 and F 2) between the image of the frame for which the difference is to be calculated (predicted image) (For forward prediction)), or X2 (movement vector between frames F3 and F2 (for backward prediction)), or both X1 and X2 (bidirectional prediction) Is transmitted with force ⁇ , differential data.
  • the frame F 3 of the P-victure uses the frame F 1 that precedes in time as the predicted image, and the difference signal from this frame and the motion vector X 3 perform. This is transmitted as transmission data F3X (SP3 (forward prediction coding)). Alternatively, the data of the original frame F3 is transmitted as it is as the transmission data F3X (SP1 (intra coding)). As in the case of the B picture, which method is used for transmission is selected in units of macbooks where the amount of transmitted data is smaller.
  • FIG. 20 shows a specific configuration example of a device that encodes and transmits a moving image signal based on the above-described principle and decodes it.
  • Numeral 1 indicates the configuration of an encoding apparatus as a whole, which encodes an input moving image signal VD and transmits it to a recording medium 3 as a transmission path.
  • Numeral 2 denotes a decoding apparatus as a whole, which reproduces a signal recorded on a recording medium 3, decodes the signal, and outputs a video signal.
  • the input video signal VD is input to the pre-processing circuit 11, where it is separated into a luminance signal and a chrominance signal (in this case, a color difference signal).
  • AZD conversion is performed in 2 and 1/3.
  • the video signal converted into a digital signal by A / D conversion by the A / D converters 12 and 13 is supplied to the frame memory 14 and written.
  • the luminance signal is written to the luminance signal frame memory 15 and the chrominance signal is written to the chrominance signal frame memory 16.
  • the format conversion circuit 17 converts the frame format signal written in the frame memory 14 into a block format signal c, that is, as shown in FIG.
  • the image signal written in the memory 14 is frame format data in which V lines are collected in a line composed of H dots per line.
  • the format conversion circuit 17 divides this one-frame signal into M slices in units of 16 lines.
  • Each slice is then divided into M macroblocks.
  • Each macro block is composed of luminance signals corresponding to 16 x 16 pixels (dots).
  • the luminance signal is further divided into blocks Y [1] to ⁇ [4] in units of 8 ⁇ 8 dots.
  • the 16 ⁇ 16 dot luminance signal corresponds to an 8 ⁇ 8 dot Cb signal and an 8 ⁇ 8 dot Cr signal of two blocks of color difference signals. DCT processing described later is performed in units of 8 ⁇ 8 dots.
  • the data BD converted into the block format is supplied from the format conversion circuit 17 to the encoder 18, where it is encoded (encoded).
  • the details of the signal will be described later with reference to FIG. 22.
  • the signal encoded by the encoder 18 is recorded on the recording medium 3 as a bit stream or output to the transmission path. You.
  • the data reproduced from the recording medium 3 is supplied to the decoder 31 of the decoding device 2 and is decoded (decoded).
  • the details of the decoder 31 will be described later with reference to FIG.
  • the data decoded by the decoder 31 is input to the format conversion circuit 32 and converted from the book format to the frame format.
  • the luminance signal of the frame format is supplied to the luminance signal frame memory 34 of the frame memory 33 and written therein, and the color difference signal is supplied to the color difference signal frame memory 35 and written therein.
  • the luminance signal and the color difference signal read from the luminance signal frame memory 34 and the color difference signal frame memory 35 are D / A converted by the D / A converters 36 and 37, respectively. It is supplied to the post-processing circuit 38 and synthesized. Then, it is output and displayed on a display (not shown) such as a CRT.
  • the image data BD to be coded is input to a motion vector detection circuit ( ⁇ V—Det) 50 in macroblock units.
  • Ugokibeku torr detection circuit 5 0 according to a predetermined sequence which is set in advance, the image data of each frame, I picture is treated as a P-picture or B Bikucha ( It is determined in advance whether an image of each frame input sequentially is processed as an I, P, or B picture.
  • a group object composed of frames F1 to F17 is processed as I, B, P, B, P, B, and P.
  • the image data of the frame (for example, frame F1) processed as an I-picture is transferred from the motion vector detection circuit 50 to the front original image portion 51a of the frame memory 5I and stored.
  • the image data of the frame that is processed as a B picture (for example, frame F 2) is transferred to and stored in the original image section 51 b, and is processed as a P picture.
  • the image data of (for example, frame F3) is transferred to and stored in the rear original image section 5Ic.
  • the signal of each victim stored in the frame memory 51 is read out therefrom, and the prediction mode switching circuit (M0de-SW) 52 performs frame prediction mode processing or field processing. Prediction mode processing is performed. Further, under the control of the prediction determination circuit 54, the calculation unit 53 performs calculation of intra-picture prediction, forward prediction, backward prediction or bidirectional prediction. Which of these processes is to be performed is determined on a macro- ⁇ basis in accordance with the prediction error signal (the difference between the reference image to be processed and the predicted image corresponding thereto). You. For this reason, the motion vector detection circuit 50 calculates the sum of absolute values (or sum of squares) of the prediction error signal used for this determination. Generated in D block units.
  • the prediction mode switching circuit 52 When the frame prediction mode is set, the prediction mode switching circuit 52 outputs the four luminance blocks Y [1] to Y [4] supplied from the motion vector detection circuit 50. Is output as it is to the subsequent operation unit 53. That is, in this case, as shown in FIG. 23 (A), the data of the odd field lines and the data of the even field lines are included in each luminance block. They are mixed. In this frame prediction mode, prediction is performed in units of four luminance blocks (Mac blocks ⁇ blocks), and one motion vector is calculated for each of the four luminance blocks. Is supported.
  • the prediction mode switching circuit 52 receives the signal input from the motion vector detection circuit 50 in the configuration shown in FIG. 23 ( ⁇ ).
  • the luminance blocks ⁇ [] and ⁇ [2] are represented by dots of odd-numbered lines, for example.
  • the other two luminance blocks ⁇ [3] and ⁇ [4] are composed of even-field line data and output to the arithmetic unit 53.
  • one motion vector corresponds to two luminance blocks ⁇ [1] and ⁇ [2], and the other two luminance blocks ⁇ block ⁇ For [3] and ⁇ [4], one other motion vector is supported.
  • the motion vector detection circuit 50 calculates the intra-picture coding evaluation value, the sum of the absolute values of the prediction errors in the forward, backward, and bidirectional predictions in the frame prediction mode, and the field prediction.
  • the absolute value sum of the prediction errors of the forward, backward and bidirectional predictions in the mode is output to the prediction determination circuit 54.
  • the prediction decision circuit 54 compares the evaluation value of the intra-picture coding and the sum of absolute values of the respective prediction errors, and determines the frame prediction mode or the file mode corresponding to the prediction mode having the smallest value.
  • the prediction mode is instructed to the prediction mode switching circuit 52.
  • the prediction mode switching circuit 52 performs the above-described processing on the input signal, and outputs data to the calculation unit 53.
  • the field prediction mode is selected when the motion of the moving image is fast
  • the frame prediction mode is selected when the motion is slow.
  • the color difference signal is a mixture of odd field line data and even field line data, as shown in Fig. 23 (A). In this state, it is supplied to the arithmetic unit 53.
  • the upper half (4 lines) of each of the color difference blocks Cb and Cr is a luminance block Y [1 , Y [2] are the color difference signals of the odd field, and the lower half (4 lines) is the luminance block ⁇ [3], even number corresponding to ⁇ [4].
  • the motion vector detection circuit 50 is used as a color difference signal of the field.
  • any of intra-picture coding, forward prediction, backward prediction, and bidirectional prediction is performed as follows.
  • the absolute value sum of the prediction errors of the forward prediction the signal A ij McHenry port Bed D click of the reference image
  • the absolute value of the difference A ij- B ij of the signal B ij McHenry blocks of the predicted image Find the sum — i A ij-B ij I of IA ij — B ij l.
  • the absolute value sum of the prediction error between the backward prediction and the bidirectional prediction is obtained in the same manner as in the forward prediction (by changing the predicted image to a different predicted image from that in the forward prediction).
  • the sum of absolute values of the prediction errors can be obtained for both the frame prediction mode and the field prediction mode.
  • Prediction judgment circuit 54 indicates the smallest of the absolute values of the prediction errors of the forward prediction, backward prediction, and bidirectional prediction in the frame prediction mode, the field prediction mode, and the prediction error of the inter-prediction. Select as the sum of absolute values of. Further, the sum of the absolute value of the prediction error of the inter prediction and the evaluation value of the intra-coding are compared, and the smaller one is selected, and the mode corresponding to the selected value is determined as the prediction mode ( (P-mode). That is, if the evaluation value of the intra-picture encoding is smaller, the intra-picture encoding mode is set.
  • P-mode prediction mode
  • the prediction mode switching circuit 52 is configured to convert a signal of the macroblock of the reference image into a frame or a field prediction mode corresponding to the mode selected by the prediction determination circuit 54,
  • the t- motion vector detection circuit 50 provided to the arithmetic unit 53 is used to calculate the motion between the predicted image corresponding to the prediction mode (P-mode) selected by the prediction determination circuit 54 and the reference image.
  • the vector MV is detected and output to the variable length coding circuit (VLC) 58 and the motion compensation circuit (M-comp) 64. As the motion vector, the motion vector that minimizes the sum of the absolute values of the corresponding prediction errors is selected.
  • the prediction determination circuit 54 sets the intra-picture coding mode (motion compensation mode) as the prediction mode. Mode), and switch the operation unit 53 to the contact a side. As a result, the I-victure image data is input to the DCT mode switching circuit (DCTCTL) 55.
  • DCTCTL DCT mode switching circuit
  • This DCT mode switching circuit 55 has four luminance blocks as shown in FIG. 24 (A) or (B). Data in the odd and even fields (frame DCT mode) or separated (field DCT mode). C) to one of the states Output to the DCT circuit 56. That is, the DCT mode switching circuit 55 compares the coding efficiency when DCT processing is performed by mixing odd and even field data with the coding efficiency when DCT processing is performed in a separated state. And select a mode with good coding efficiency. For example, as shown in Fig. 24 (A), the input signal has a configuration in which the odd and even fields are mixed, and the lines of the odd fields vertically adjacent to each other are formed.
  • the input signal has a configuration in which the lines of the odd and even fields are separated, and the lines of the odd fields that are vertically adjacent to each other are connected to each other. Calculates the difference between the signals of the even field and the signal of the even field, and calculates the sum (or sum of squares) of their absolute values.
  • the brightness book The data structure in each mode is substantially the same.
  • the frame prediction mode is selected in the prediction mode switching circuit 52, there is a high possibility that the frame DC mode is also selected in the DC mode switching circuit 55.
  • the file is also generated in the DCT mode switching circuit 55.
  • C The DCT mode is likely to be selected. However, this is not always the case, and the prediction mode switching circuit 52 (in this case, the mode is determined such that the sum of absolute values of the prediction errors is small. In the switching circuit 55, the mode is determined so that the coding efficiency is improved.
  • the I-picture image data output from the DCT mode switching circuit 55 is input to the DC ⁇ circuit 56, subjected to DC ⁇ (discrete cosine transform) processing, and converted into DCT coefficients.
  • This DC ⁇ coefficient is input to a quantization circuit (Q) 57 and is quantized in a quantization step corresponding to the data storage amount (buffer storage amount (B-full)) of the transmission buffer (Buffer) 59. After that, it is input to the variable length coding circuit 58.
  • the variable length coding circuit 58 corresponds to the quantization step (scale (QS)) supplied from the quantization circuit 57.
  • the image data supplied from the quantization circuit 57 (in this case, the I-picture ) Is converted into a variable-length code such as a Huffman code, and is output to the transmission buffer 59.
  • the variable length coding circuit 58 also has a quantization step (scale (QS)) from the quantization circuit 57 and a prediction mode (intra-picture prediction, forward prediction, backward prediction or bidirectional prediction) from the prediction decision circuit 54.
  • the mode (P-mode) that indicates which is set, the motion vector MV from the motion vector detection circuit 50, and the prediction flag (frame prediction mode or The footage (P-FLG) that indicates which of the field prediction modes has been set, and the DCT flag output by the DCT mode switching circuit 55 (frame DCT mode or field DCT mode)
  • the flag (DCT-FLG) that indicates which one of these has been set is input, and these are also variable-length coded.
  • the transmission buffer 59 temporarily stores the input data and outputs data corresponding to the storage amount to the quantization circuit 57. Transmit buffer 59 stores the data
  • the quantization scale of the quantization circuit 57 is increased by the quantization control signal (B-full), thereby reducing the data amount of the quantized data.
  • the transmission buffer 59 reduces the quantization scale of the quantization circuit 57 by the quantization control signal (B-full). As a result, the data amount of the quantized data is increased. In this way, overflow or underflow of the transmission buffer 59 is prevented.
  • the data stored in the transmission buffer 59 is read out at a predetermined timing, output to a transmission path, or recorded on the recording medium 3.
  • the I-victure data output from the quantization circuit 57 is input to the inverse quantization circuit (IQ) 60 and corresponds to the quantization step supplied from the quantization circuit (QS) 57. Dequantized.
  • the output of the inverse quantization circuit 60 is input to the inverse DCT (IDCT) circuit 61 and subjected to inverse DCT processing.
  • the block is rearranged by the block rearrangement circuit (B 1 0 ck Change) 65. Books are sorted according to each DCT mode (frame / field).
  • the output signal of the book rearrangement circuit 65 is supplied to the forward prediction image section (FP) 63 a of the frame memory 63 via the arithmetic unit 62 and stored therein.
  • FP forward prediction image section
  • the motion vector detection circuit 50 first processes image data of each sequentially input frame as, for example, I, B, P, B, P, and B pictures. After processing the image data of the input frame as an I-picture, before processing the image of the next input frame as a B-picture, the next input frame Process the image data as P-victure. This is because a B picture involves backward prediction and cannot be decoded unless a P picture as a backward prediction image is prepared beforehand.
  • the motion vector detection circuit 50 after processing the I picture, Processing of the P-victory image data stored in the original image section 51c is started. Then, as in the case described above, the sum of the absolute values of the differences (prediction errors) between the frames or between the fields in units of Mac n blocks is calculated by the motion vector detection circuit 50. Is supplied to the prediction judgment circuit 54.
  • the prediction decision circuit 54 performs a prediction mode of frame / field prediction mode and intra-picture coding or forward prediction in accordance with the sum of absolute values of the prediction errors of the macroblock of the P-picture. Set.
  • the operation unit 53 switches the switch to the contact a side as described above. Therefore, this data is transmitted via the DCT mode switching circuit 55, the DCT circuit 56-the quantization circuit 57, the variable-length coding circuit 58, and the transmission buffer 59 as in the case of the I-victure data. Transmitted to the road.
  • This data is passed through the inverse quantization circuit 60, the inverse DCT circuit 61, the block rearrangement circuit 65, and the arithmetic unit 62, and the backward prediction image portion (B-P ) 6 3b is supplied and stored.
  • the switch In the forward prediction mode, the switch is switched to the contact b, and the image data (in this case, the I-picture image) stored in the forward prediction image section 63 a of the frame memory 63 is read out.
  • the motion compensation is performed by the motion compensation circuit 64 in accordance with the motion vector output from the motion vector detection circuit 50. That is, when the setting of the forward prediction mode is instructed by the prediction determination circuit 54, the motion compensation circuit 64 converts the read address of the forward prediction image section 63a into the motion vector detection circuit 50. Then, the data is read out from the position corresponding to the position of the currently output macroblock by the amount corresponding to the motion vector, and predicted image data is generated.
  • the predicted image data output from the motion compensation circuit 64 is supplied to a computing unit 53a.
  • the arithmetic unit 53a corresponds to the macroblock supplied from the motion compensation circuit 64 from the data of the macroblock of the reference image supplied from the prediction mode switching circuit 52.
  • the predicted image data to be subtracted Outputs the difference (prediction error).
  • the difference data is transmitted to the transmission path via the DCT mode switching circuit 55, the DCT circuit 56, the quantization circuit 57, the variable length code north circuit 58, and the transmission buffer 59.
  • the difference data is locally decoded by the inverse quantization circuit 60 and the inverse DCT circuit 61, and is input to the arithmetic unit 62 via the block rearrangement circuit 65.
  • the same data as the predicted image data supplied to the computing unit 53 a is also supplied to the computing unit 62.
  • the arithmetic unit 62 adds the prediction image data output from the motion compensation circuit 64 to the difference data output from the inverse DCT circuit 61. As a result, the image data of the original (decoded) P picture is obtained.
  • the image data of the P victim is supplied to and stored in the rear prediction image section 63b of the frame memory 63.
  • the prediction judgment circuit 54 is configured to calculate the difference between frames or the difference between fields (prediction error) in units of macroblocks.
  • the frame no-field mode is set according to the magnitude of the absolute value sum of, and the prediction mode is set to intra-frame prediction mode, forward prediction mode, backward prediction mode, or bidirectional prediction mode.
  • the switch is switched to the contact a or b in the intra-frame prediction mode or the forward prediction mode. At this time, the same processing as in the case of P picture is performed and the data is transmitted.
  • the switch is switched to the contact c or d, respectively.
  • the image data in this case, the image of the P-picture
  • the motion compensation circuit 64 The motion is compensated according to the motion vector output by the motion vector detection circuit 50. That is, the motion compensation circuit 6 4
  • the macroblock that outputs the read address of the backward prediction image section 63b is output from the motion vector detection circuit 50. Data is read out from the position corresponding to the motion vector by the amount corresponding to the motion vector, and predicted image data is generated.
  • the predicted image data output from the motion compensation circuit 64 is supplied to a computing unit 53b.
  • This difference data is transmitted to the transmission line via the DCT mode switching circuit 55, the DCT circuit 56, the quantization circuit 57, the variable length coding circuit 58, the transmission buffer 59, and the switch contacts.
  • the image (in this case, the image of the P picture) data is read out and subjected to motion compensation by the motion compensation circuit 64 in accordance with the motion vector output by the motion vector detection circuit 50. It is.
  • the motion compensation circuit 64 changes the read addresses of the forward prediction image section 63a and the backward prediction image section 63b.
  • the motion vector from the position corresponding to the position of the macroblock that the motion vector detection circuit 50 is currently outputting (the motion vector in this case is for the forward prediction image and for the backward prediction image).
  • the data is read out with a shift corresponding to (the two for predicted images) and predicted image data is generated.
  • the predicted image data output from the motion compensation circuit 64 is supplied to a calculator 53c.
  • the arithmetic unit 53 c is supplied by the motion compensation circuit 64 from the macroblock data of the reference image supplied from the motion vector detection circuit 50.
  • the average value of the predicted image data obtained is subtracted, and the difference is output.
  • This difference data is transmitted to the transmission line via the DCT mode switching circuits 55, 0 (: the chopping circuit 56, the quantization circuit 57, the variable length coding circuit 58, and the transmission buffer 59).
  • the B-victure image is not stored in the frame memory 63 because it is not regarded as a predicted image of another image.
  • the forward predictive image section 63a and the backward predictive image section 63b are switched between banks as necessary, and are switched to one or the other with respect to a predetermined reference image.
  • the stored image can be switched and output as a forward prediction image or a backward prediction image.
  • the chrominance block is similarly processed using the macro ⁇ block shown in FIGS. 23 and 24 as a unit.
  • the motion base click preparative Le when processing color difference block is the corresponding luminance Bed 1 alpha click motion base click preparative Le vertical and horizontal, those respectively 1 Zeta 2 is used.
  • FIG. 25 is a block diagram showing a configuration of an example of the decoder 31 of FIG.
  • the image data supplied via the transmission path or the recording medium is received by a receiving circuit (not shown) or reproduced by a reproducing device, and is temporarily stored in a receiving buffer (Bufffer) 81. After that, it is supplied to the variable length decoding circuit (IVLC) 82 of the decoding circuit 90.
  • IVLC variable length decoding circuit
  • the variable-length decoding circuit (IVLC) 82 performs variable-length decoding of the data supplied from the reception buffer 81, and performs motion vector (MV), prediction mode (P-mode) and The prediction flag (P-FLG) is supplied to the motion compensation circuit (M-comp) 87.
  • the DCT flag (DCT-FLG) is output to the inverse block reordering circuit (B10ck Change) 88 and the quantization step (QS) is output to the inverse quantization circuit (IQ) 83. And outputs the decoded image data to the inverse quantization circuit 83.
  • the inverse quantization circuit 83 inversely quantizes the image data supplied from the variable length decoding circuit 82 in the same manner according to the quantization step supplied from the variable length decoding circuit 82, and Output to DCT circuit 84.
  • the data (DCT coefficient) output from the inverse quantization circuit 83 is subjected to inverse DCT processing in the inverse DCT circuit 84 and supplied to the computing unit 85.
  • the data supplied from the inverse DCT circuit 84 is I-picture data
  • the data is output from the arithmetic unit 85 and the image data (P or B
  • the data is supplied to and stored in the forward predicted image section (FP) 86 a of the frame memory 86 for generating predicted image data of the data. This data is output to the format conversion circuit 32 (FIG. 20).
  • the frame memory is used.
  • the arithmetic unit 85 adds the image data (difference data) supplied from the inverse DCT circuit 84 and outputs the result.
  • the added data that is, the decoded P-picture data, is used to generate frame image memory 8 for generating predicted image data of image data (B-picture or P-picture data) input later to the arithmetic unit 85. It is supplied to and stored in the backward prediction image part (B-P) 86b of No. 6.
  • the data in the intra prediction mode is stored in the backward prediction image section 86 b without any special processing in the arithmetic unit 85 like the I-picture data. Since this P-picture is the image to be displayed next to the next B-picture, it is still the format conversion Not output to road 32. That is, as described above, the P picture input after the B picture is processed and transmitted before the B picture.
  • the forward prediction image of the frame memory 86 is corresponding to the prediction mode supplied from the variable length decoding circuit 82.
  • I-picture image data stored in section 86a for forward prediction mode
  • P-picture image data stored in backward prediction image section 86b for backward prediction mode
  • both image data in the case of bidirectional prediction mode
  • the motion compensation circuit 87 performs motion compensation corresponding to the motion vector output from the variable length decoding circuit 82.
  • a predicted image is generated.
  • motion compensation is not required, that is, in the case of the intra prediction mode, a predicted image is not generated.
  • the data subjected to the motion compensation by the motion compensation circuit 87 in this way is added to the output of the inverse DCT circuit 84 in the arithmetic unit 85.
  • This addition output is output to the format conversion circuit 32.
  • the added output is B-victure data, and is not stored in the frame memory 86 because it is not used for generating a predicted image of another image.
  • the image data of the P-picture stored in the backward prediction image section 86b is read and supplied to the arithmetic unit 85 through the motion compensation circuit 87. However, no motion compensation is performed at this time.
  • the motion vector used is one for the luminance signal, which is reduced by 1 in the vertical and horizontal directions.
  • the transform coding in the above-described image coding makes it possible to compress the amount of information by concentrating the signal power on a specific coordinate axis by using the correlation of the input signal.
  • DCT is a transform method used for such transform coding. This is one example of orthogonal transformation.
  • the DCT uses the two-dimensional correlation of the image signal to concentrate signal power on a specific frequency component, and encodes only the concentratedly distributed coefficients to enable compression of the amount of information. For example, in a part where the picture is flat and the autocorrelation of the image signal is high, the DCT coefficients are concentrated and distributed to low frequency components, and other components have small values. Therefore, in this case, it is possible to compress the amount of information by coding only the coefficients concentratedly distributed in the low frequency band.
  • the DCT coefficient is widely dispersed from low to high frequency components. Then, in order to accurately represent a discontinuous point of a signal such as a contour with a DCT coefficient, an extremely large number of coefficients are required, and coding efficiency is reduced. At this time, if the quantization characteristics of the coefficients are made coarser or the coefficients of the high-frequency components are truncated to compress the image as in the past, the deterioration of the image signal becomes noticeable, for example, fluctuations around the contour. Such distortion (such as connect effect or mosquito noise, hereinafter simply referred to as noise) occurs.
  • noise such as connect effect or mosquito noise
  • Pre-filter and post-filter are used to solve this problem. For example, by using a one-pass filter as the pre-filter and improving the coding efficiency, it is possible to suppress the generation of noise. Also, as a post-filter, it is used to remove the generated noise inconspicuously using a one-pass filter. As such a post-filter, there is, for example, an ⁇ -filter / media-filter.
  • the present invention has been made in view of the above points, and provides a moving picture coding method and a moving picture coding method capable of minimizing the reduction of information on fine pattern of an image while reducing noise even in a signal band having a poor SN ratio.
  • An image decoding method, a moving image recording medium, and a moving image encoding apparatus are proposed.
  • the image signal encoding method generates at least one signal band of a predetermined image signal based on non-linear characteristics to generate an I-th quantized coefficient.
  • a predetermined conversion process is performed to generate a conversion coefficient, the conversion coefficient is quantized to generate a second quantization coefficient, and the second quantization coefficient is generated. Is variable-length coded.
  • the image signal decoding method of the present invention includes the step of performing variable length decoding of a received encoded image signal, performing first inverse quantization on the variable length decoded signal, and performing the first inverse quantization.
  • a predetermined inverse transform process is performed on the quantized signal in a predetermined block unit, and a second inverse transform is performed on the signal subjected to the predetermined inverse transform based on the nonlinear characteristic. Perform quantization.
  • the image recording medium of the present invention at least a part of the signal band of the predetermined image signal is quantized based on the non-linear characteristic to generate a first quantization coefficient, and an I-th quantization coefficient , A predetermined conversion process is performed for each predetermined block unit to generate a conversion coefficient, the conversion coefficient is quantized to generate a second quantization coefficient, and a second quantization coefficient Is variable-length encoded, and the variable-length encoded signal is recorded on a recording medium.
  • the image signal encoding apparatus includes a first quantization unit that quantizes at least a part of a predetermined image signal based on a nonlinear characteristic to generate a first quantization coefficient.
  • a second quantization means 57 for generating two quantization coefficients and a variable length coding means 58 for performing variable length coding on the second quantization coefficient are provided.
  • the image signal decoding apparatus of the present invention includes a variable length decoding unit 82 for performing variable length decoding on the received encoded image signal, and a first inverse quantum unit for the variable length decoded signal.
  • Second inverse quantization means 71 for performing a second inverse quantization based on the non-linear characteristic with respect to the signal on which the predetermined inverse transformation has been performed.
  • FIG. 1A is a block diagram showing a configuration of an embodiment of an image signal encoding device according to the present invention.
  • FIG. 1B is a block diagram showing the configuration of another embodiment of the image signal encoding device according to the present invention.
  • Figures 2 ( ⁇ ) and 2 ( ⁇ ) are block diagrams showing the configuration of the nonlinear quantization circuit.
  • FIG. 3 is a characteristic curve diagram for explaining the nonlinear quantization characteristic.
  • FIGS. 4 ( ⁇ ⁇ ) and 4 ( ⁇ ) are block diagrams showing the configuration of the nonlinear inverse quantization circuit.
  • FIG. 5 is a characteristic curve diagram for explaining the nonlinear quantization characteristic.
  • FIG. 6 is a signal waveform diagram for explaining a change in a signal in the nonlinear quantization circuit.
  • FIG. 7 is a characteristic curve diagram for explaining the nonlinear quantization characteristic.
  • FIG. 8 is a signal waveform diagram for explaining a signal change in the nonlinear inverse quantization circuit.
  • FIG. 9 is a characteristic curve diagram for explaining the nonlinear inverse quantization characteristic.
  • FIG. 10 ( ⁇ ) is a block diagram showing the configuration of an embodiment of the moving picture decoding apparatus according to the present invention.
  • FIG. 10 ( ⁇ ) is a block diagram showing the configuration of another embodiment of the video decoding device according to the present invention.
  • FIG. 11 is a block diagram showing the configuration of the nonlinear quantization circuit in the second embodiment.
  • FIG. 12 is a block diagram showing the configuration of the nonlinear inverse quantization circuit according to the second embodiment.
  • FIGS. 13 ( ⁇ ) and 13 ( ⁇ ) are characteristic curves for explaining the quantization characteristics of the nonlinear quantization circuit.
  • FIGS. 14 ( ⁇ ) and 14 ( ⁇ ) are characteristic curves for explaining the inverse quantization characteristics of the nonlinear inverse quantization circuit.
  • FIG. 15 (A) shows the configuration of a moving picture coding apparatus according to the fourth embodiment. It is a block diagram.
  • FIG. 15 ( ⁇ ) is a block diagram showing the configuration of the moving picture coding apparatus according to the sixth embodiment.
  • FIG. 16 ( ⁇ ) is a block diagram showing a configuration of a moving picture decoding apparatus according to the fourth embodiment.
  • FIG. 16 ( ⁇ ) is a block diagram showing the configuration of the moving picture decoding apparatus according to the sixth embodiment.
  • Fig. 17 is a schematic diagram for explaining the principle of compression encoding of a moving image signal when the inter-frame correlation is used.
  • FIG. 18 is a schematic diagram for explaining a type of a picture when image data is compressed.
  • FIG. 19 is a schematic diagram for explaining the principle of encoding a moving image signal.
  • FIG. 20 is a block diagram showing a configuration of an image signal encoding device and an image signal decoding device.
  • FIG. 21 is a schematic diagram for explaining the format conversion operation of the format conversion circuit in FIG.
  • FIG. 22 is a block diagram showing the configuration of the encoder in FIG.
  • FIG. 23 is a schematic diagram for explaining the operation of the prediction mode switching circuit in FIG.
  • FIG. 24 is a schematic diagram for explaining the operation of the DC mode switching circuit in FIG. ⁇
  • FIG. 25 is a block diagram showing a configuration example of the decoder of FIG. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 1 ( ⁇ ) shows the first embodiment of the present invention as a whole.
  • a nonlinear quantization circuit (NLQ) 70 and a nonlinear inverse quantization circuit (NLQ) are used. Except for NLIQ) 71, the configuration is the same as that of the conventional video encoding device shown in FIG. 22 described above.
  • the nonlinear quantization circuit 70 will be described with reference to FIG. That is, the pixel value of the current image in the case of the intra-encoded macroblock, and the inter-frame or inter-field encoded macroblock n In the case of a block, the difference value between frames or between fields after motion compensation is supplied to the input terminal 200 in block units, that is, in units of 8 ⁇ 8 pixels. You.
  • the image signal S 201 supplied to the input terminal 200 is input to a low-pass filter (LPF) 201 and an adder 202.
  • LPF low-pass filter
  • the one-pass filter 201 the low frequency component of the input image signal S201 is extracted for each block.
  • ⁇ The output of the pass filter 201 is output to the adders 202 and 204.
  • the difference between the input image signal S201 and the output value S202 of the D-pass filter 210 is calculated and output for each pixel of each block (S2 0 3). Since the output value S202 of the low pass filter 201 is a low frequency component of the image signal, the output S203 of the adder 202 is a signal indicating the amplitude of the high frequency component of the image.
  • the signal S203 is input to a non-linear quantization circuit 203 for a high-frequency signal.
  • the nonlinear quantization circuit 203 for the ⁇ frequency signal performs nonlinear quantization using the nonlinear characteristics shown in FIG.
  • the horizontal axis in the figure is the value (amplitude value) of the input image signal S203, and the vertical axis is the value (amplitude value) of the output signal S204.
  • the negative side is the origin target.
  • FIG. 3 shows an example of the non-linear characteristics as NC, but some non-linear quantization characteristics are possible. Therefore, in the case of the characteristic shown in FIG. 3, a value larger than the input signal S 203 is output as S 204.
  • the output signal S 204 of the nonlinear quantization circuit 203 for the high-frequency signal is input to the adder 204.
  • the adder 204 adds the signal S204 and the output signal S202 of the n-pass filter 201 to the corresponding pixel of each pick and outputs the sum (S2 0 5).
  • S 202 is a low-frequency component of the image signal S 201 input to the nonlinear quantization circuit 70
  • S 204 is a high-frequency component of the S 210 after nonlinear quantization. Therefore, the output S 205 of the nonlinear quantization circuit 70 becomes a signal in which the ⁇ frequency component of the input signal S 210 is emphasized.
  • the image signal whose high frequency has been emphasized by the nonlinear quantization circuit 70 is input to the DCT circuit 56.
  • the DCT circuit 56 performs DC ⁇ conversion for each block of 8 ⁇ 8 pixels, inputs the converted value to the quantization circuit 57, and the quantized value is variable-length coded. Input to circuit 58.
  • the output of the quantization circuit 57 is also input to the inverse quantization circuit 60.
  • the inverse quantization circuit 60 performs the reverse operation of the quantization circuit 57.
  • the inverse DC ⁇ circuit 61 performs an inverse DCT transform on the output value of the inverse quantization circuit 60, and then inputs the restored signal to the nonlinear inverse quantization circuit 71.
  • the nonlinear inverse quantization circuit 71 is configured as shown in FIG. 4 ( ⁇ ), and performs the inverse operation of the nonlinear quantization circuit 70.
  • the block unit signal S401 input from the input terminal 400 of the nonlinear inverse quantization circuit 71 is input to the ⁇ -pass filter 410 and the adder 402.
  • ⁇ The path filter 401 extracts the low frequency component of the signal S401.
  • u The output signal S402 of the path filter 401 is input to the adders 402 and 404.
  • the adder 402 the difference between the signals S401 and S402 is obtained for each corresponding pixel of each block ⁇ and output (S403).
  • the signal S402 represents the low frequency component of the signal S401
  • the signal S403 represents the high frequency component of the signal S401.
  • the signal S 403 is input to a high-frequency signal nonlinear inverse quantization circuit 403.
  • the nonlinear inverse quantization circuit 403 of the high-frequency signal performs nonlinear quantization using the nonlinear characteristic I ⁇ C shown in FIG.
  • the horizontal axis in FIG. 5 is the value (amplitude value) of the input image signal S 403, and the vertical axis is the value (amplitude value) of the output signal S 404.
  • the inverse quantization characteristic used in the linear inverse quantization circuit for high-frequency signals 403 must be the inverse quantization characteristic that performs the inverse operation of the quantization characteristics used in the nonlinear quantization circuit 203 for high-frequency signals.
  • the output of the non-linear inverse quantization circuit for high frequency signal 403 is input to the adder 404.
  • the adder 404 adds the signal S404 and the signal S402 to each corresponding pixel of each block and outputs the result (S405).
  • the nonlinear inverse quantization circuit ⁇ 1 performs an operation of restoring the high-frequency component emphasized by the nonlinear quantization circuit 70 (such a nonlinear quantization operation is generated by transform coding.
  • Fig. 6 shows how the signal changes in the nonlinear quantization circuit 70 of Fig. 2 (A). 20.
  • the signal of (a) is a low-frequency component as shown in (b) extracted by the mouth-pass filter 201. This is the signal S202.
  • the difference between S 2 0 I and S 2 0 2 is obtained by the adder 20 2, and the signal is output as a signal S 203 as a high-frequency component (d).
  • the difference between the maximum value of the signal and the flat part at this time is A!
  • the high-frequency component is emphasized by nonlinear quantization.
  • (E) shows the output S204 of the nonlinear quantization circuit 203 of the high-frequency signal.
  • the difference between the maximum value and the flat portion of the time signal is A 2 (A 2> A ⁇ ).
  • the adder 204 calculates the signal S202 and the signal S204.
  • the addition results in an output signal S 205 (f).
  • Figure 7 shows the nonlinear quantization characteristics.
  • the horizontal axis is the value of the input signal, and the vertical axis is the value of the output signal. Here, only the positive side characteristics are shown. The negative side is the origin target.
  • the maximum value of the distortion and noise components generated during the transform coding has a value of 509, which is the maximum value of the signal input to the transform circuit (the DCT circuit in this embodiment). That is, it has a linear relationship with the maximum value of the input to the conversion circuit.
  • the maximum value of the input signal is. Without nonlinear quantization, the maximum distortion caused by transform coding is N! (Fig. 7).
  • FIG. 8 shows how the signal changes in the nonlinear inverse quantization circuit 71 of FIG. 4 (A).
  • A) is obtained by processing the signal of (f) in FIG. 6 by the DCT conversion circuit 56, the quantization circuit 57, the inverse quantization circuit 60, and the inverse DCT circuit 61.
  • the signal S401 input to the circuit 71 is shown.
  • B) shows the c signal S402 from which the low-frequency component S402 is extracted by the signal S401 from the n-path filter 40].
  • the adder 402 extracts the high-frequency component S403 by taking the difference between the signal S401 and the signal S402.
  • S 403 is shown in (d).
  • the signal shown in (d) is added with distortion caused by transform coding.
  • the maximum value of the signal is A 2 ′ and the maximum value of distortion is N 2 ′.
  • (E) shows the output S 403 of the nonlinear inverse quantization circuit 403 of the high-frequency signal.
  • Figure 9 shows the inverse quantization characteristics.
  • the maximum value of the distortion at this time is that Do and N 3.
  • the maximum value of distortion when non-linear inverse quantization is not performed is N 2 ′ Z a. Compared to the case without nonlinear quantization,-only distortion It can be seen that the maximum value has decreased.
  • this nonlinear quantization operation is performed in units of blocks input to the conversion circuit (DCT conversion circuit in this embodiment). This is because the degradation caused by transform coding is closed in the book. This will prevent you from losing information unnecessarily across the book.
  • FIG. 10 (A) shows a moving picture decoding apparatus according to the first embodiment. Except for the non-linear inverse quantization circuit (NLIQ) 91, the configuration is the same as the conventional one, so that the description of the parts already described in the conventional example is omitted.
  • the nonlinear inverse quantization circuit 91 is similar to the nonlinear inverse quantization circuit 71 described above with reference to FIGS. 1 and 4 (A). This is for performing the reverse operation of the circuit 70.
  • the nonlinear quantization characteristic of the nonlinear quantization circuit 70 and the nonlinear inverse quantization characteristic of the nonlinear inverse quantization circuit 91 have mutually opposite characteristics.
  • the nonlinear quantization circuit is provided immediately before the DCT circuit, and the nonlinear inverse quantization circuit is provided immediately after the inverse DCT circuit, so that the image signal encoding device and the image signal decoding device can be connected. Consistency can be maintained. Also, with the method in this embodiment, it is possible to reproduce a minimum number of images even when the image signal decoding device does not have a nonlinear inverse quantization circuit.
  • the image signal decoding device does not have the nonlinear inverse quantization circuit, a signal in which the high frequency component is emphasized is decoded and displayed.
  • the image signal decoding device in this case is the same as the conventional example.
  • the inverse quantization characteristic of the nonlinear inverse quantizer 91 and the quantization characteristic of the nonlinear quantizer 70 need not necessarily be the exact opposite characteristics.
  • the dequantization of the inverse quantization characteristic is larger than the emphasis of the quantization characteristic, the effect of applying a one-pass filter to the decoded image is obtained, and the opposite field is obtained. In this case, the effect of applying contour enhancement to the decoded image is obtained.
  • the SN ratio can be effectively improved by performing pre-processing and post-processing having non-linear characteristics in cooperation with a signal band in which the SN ratio tends to deteriorate due to encoding.
  • the mosquito noise can be reduced, but the reduction of the fine pattern information of the image can be suppressed, making it difficult to distinguish the distortion of the conventional image from the fine pattern of the image.
  • the second embodiment is a modification of the first embodiment, except for the nonlinear quantizer (NLQ) 70 and the non-linear inverse quantizers ( ⁇ 1113 ⁇ 4) 71, 91 described above except for the I-th embodiment.
  • the configuration is the same as that of the embodiment. That is, FIG. 11 shows the internal configuration of the nonlinear quantization circuit 70 in the second embodiment.
  • the image signal S 110 input to the non-linear quantization circuit 70 is expressed in band ⁇ units in bandpass filter 1 (1 1 0 1) to bandpass filter ⁇ (1 1 On ).
  • Node-pass filters 1 (1I0I) to bandpass filters n (1110n) are filters having different passbands.
  • Bandpass filter 1 (110) is the filter with the lowest passband (single-pass filter), and bandpass filter n (1) On is the best.
  • the bandpass filter output signals S1101 to S110n are sent to the first nonlinear quantizer (1112) to the nth nonlinear quantizer (112n). Each is entered. For each frequency component of the input signal S110, nonlinear quantization with different quantization characteristics is performed according to the frequency.
  • Figure 13 (A) shows an example of the quantization characteristics of each nonlinear quantization circuit shown in Fig. 11.
  • the frequency characteristic of the first nonlinear quantizer (1 1 2 1) is characteristic 1 in FIG. 13 (A), and the quantization characteristic of the n-th nonlinear quantizer (1 1 2 ⁇ ) is characteristic n It is.
  • Output signals S 1 1 2 1 to S 1 1 2 n from the non-linear quantization circuit are input to the adder 1 1 3 0.
  • the adder 110 adds the frequency components after the nonlinear quantization and outputs the result (S110).
  • FIG. 12 is a configuration diagram of the nonlinear inverse quantization circuits 71 and 91. That is, the output signal S1200 from the inverse DCT circuit is input to the first band-pass filter (1 201) to the ⁇ -th band-pass filter (120 ⁇ ).
  • the first band-pass filter (1201) to the ⁇ -th band-pass filter ⁇ (120- ⁇ ) are filters having different passbands.
  • the second bandpass filter (1 201) is the filter with the lowest passband (one-pass filter), and the ⁇ th bandpass filter (1 2 On) Is the filter with the highest passband (high-bass filter).
  • the output signals S 12 0 1 to S 12 0 ⁇ from the NAND bus filters (12 0 I to I 20 ⁇ ) are output from the first nonlinear inverse quantization circuits (12 21) to ⁇ is input to the nonlinear inverse quantization circuit (122 ⁇ ). For each frequency component of the signal S 1 200 from the inverse DCT circuit, a different inverse amount according to the frequency Performs non-linear inverse quantization of child characteristics.
  • Fig. 14 (A) An example of the inverse quantization characteristics of each nonlinear inverse quantization circuit shown in Fig. 12 is shown in Fig. 14 (A).
  • the frequency characteristic of the first nonlinear inverse quantizer (1 2 2 1) is characteristic 1 in FIG. 14 (A), and the quantization characteristic of the n-th nonlinear inverse quantizer (1 2 2 ⁇ ) is Is the characteristic ⁇ .
  • each inverse quantization characteristic must be a characteristic that performs the inverse operation of the quantization characteristic.
  • Output signals S 1 2 2 1 to S 1 2 2 n from the nonlinear inverse quantization circuit are input to an adder 1 2 3 0.
  • the adder 1230 adds each frequency component after the nonlinear quantization and outputs the result (S1231).
  • the high-frequency components emphasized by the nonlinear inverse quantization circuits 71 and 91 are returned to the original levels.
  • the second embodiment is characterized in that nonlinear quantization and nonlinear inverse quantization are performed with nonlinear quantization characteristics that differ depending on the frequency component of the input image signal as described above. As described above, in the case of the second embodiment, the SN ratio can be further improved by making the quantization characteristics different according to the frequency component of the input signal. Visual impression can be improved.
  • the third embodiment is also a modification of the first embodiment, and is the same as the first embodiment except for a linear quantization circuit 70, a nonlinear inverse quantization circuit 71, and a variable length coding circuit 58. .
  • the overall configuration of the image encoding device according to the third embodiment has the configuration shown in FIG.
  • the configuration of the nonlinear quantization circuit 70 is given in FIG. 2 (B).
  • the controller 206 of the quantization circuit determines the quantization characteristics used in the nonlinear quantization circuit 203 of the high-frequency signal. Switch adaptively on a per-block basis.
  • the controller 206 of the quantization circuit examines the characteristics of the input image signal S 201 or the high-frequency signal S 203 for each block, and determines a quantization characteristic to be used according to the characteristics. .
  • the signal QL indicating the quantization characteristic to be used is output to the nonlinear quantization circuit 203 for the high frequency signal.
  • the quantization characteristic group is given, for example, in FIG. 13 (B).
  • the characteristic of the input image signal is, for example, edge information, is, for example, amplitude information of the input signal, and is, for example, a correlation between luminance and a color difference signal.
  • a quantization characteristic that emphasizes the edge that is, a non-linear quantization characteristic corresponding to a large value of n in FIG. 13 (B).
  • a quantization characteristic that emphasizes the edge that is, a non-linear quantization characteristic corresponding to a large value of n in FIG. 13 (B).
  • the nonlinear quantization characteristic corresponding to the larger value of n in FIG. 13 (B) is selected.
  • the luminance value is low and the corresponding color difference Cb or Cr is one of the values ⁇ ⁇
  • non-linear processing makes the noise of the original image more conspicuous.
  • the linear quantization characteristic (characteristic 0) in Fig. 13 ( ⁇ ) is selected.
  • the signal QL indicating the quantization characteristic is also output to the variable length coding circuit 58.
  • the variable length coding circuit 58 performs variable length coding on the signal QL indicating the quantization characteristic and transmits the signal QL.
  • the overall configuration of the image decoding apparatus is the same as that of the first embodiment except for the variable length decoding circuit 82 and the inverse quantization circuit 9], and is given in FIG. 10 ( ⁇ ).
  • the configuration of the nonlinear inverse quantization circuits 71 and 91 is given in FIG.
  • the controller 406 of the inverse quantization circuit adaptively switches the inverse quantization characteristics used in the nonlinear inverse quantization circuit 403 of the high-frequency signal on a block basis.
  • the signal QL indicating the quantization characteristic transmitted from the image signal encoding device is decoded by the variable length decoding circuit 82 and output to the nonlinear inverse quantization circuit 91 as a signal QL ′ indicating the inverse quantization characteristic. Is done.
  • the controller 4 06 of the inverse quantization circuit follows the signal QL 'indicating the inverse quantization characteristic. Then, the inverse quantization characteristic is determined for each block and output to the nonlinear inverse quantization circuit 403 for the high-frequency signal.
  • the nonlinear inverse quantization circuit 403 for the high-frequency signal switches the inverse quantization characteristics in units of blocks according to the signal QL ′ indicating the inverse quantization characteristics.
  • the inverse quantization characteristic is given, for example, in FIG. 14 ( ⁇ ).
  • the S-ratio and the visual impression are further improved by adaptively switching the quantization characteristics according to the characteristics of the input image signal. can do.
  • the inverse quantization characteristic is adaptively switched by the transmitted QL '.
  • the QL' Irrespective of this, it is also possible to adaptively control the inverse quantization characteristic according to the decoded image signal S401 or the high-frequency component S403 of the decoded image signal.
  • the fourth embodiment is an effective embodiment when the nonlinear quantization circuit and the nonlinear inverse quantization circuit cannot be installed before and after the transformation circuit (DCT and IDCT circuits in this embodiment). is there.
  • a configuration diagram of an image signal encoding device according to the fourth embodiment is shown in FIG. The difference from the first embodiment is that the non-linear quantization circuit 70 is placed at the head of the encoding device. In Figure I5 ( ⁇ ), the non-linear quantization circuit 70 is placed before the motion vector detection circuit 50, but after the motion vector detection circuit 50, that is, the motion vector It may be between the detection circuit 50 and the prediction mode switching circuit 52.
  • the configuration of the nonlinear quantization circuit 70 is the same as that of the first embodiment, and is shown in FIG.
  • the signal input to the DCT circuit cannot be processed.
  • Non-linear quantization enters the transform circuit (DCT circuit) as in the first embodiment. This is done on a block-by-block basis. In this case, when the interframe or interfield coding is not performed, that is, in the case of the intra coded macro ⁇ , the same result as in the first embodiment can be obtained. I can do it.
  • the configuration of the nonlinear inverse quantization circuit 91 is the same as that of the first embodiment, and is given in FIG.
  • the operation of the non-linear inverse quantization circuit 91 is the same as that of the first embodiment.
  • the non-linear quantization circuit is located before the motion compensation circuit. Consistency is not always obtained between the non-linear quantization and the non-linear inverse quantization between the encoder and the decoder. According to the same principle as the principle shown in the first embodiment, distortion caused by transform coding can be removed. As described above, in the case of the fourth embodiment, even when the nonlinear quantization circuit and the nonlinear inverse quantization circuit cannot be provided immediately before and immediately after the conversion circuit, the forefront part of the encoding apparatus and the decoding can be performed. By providing a linear quantization and non-linear inverse quantization circuit at the end of the device, it is possible to reduce mosquito noise and prevent the loss of fine image information in signal bands where the S S ratio is poor. be able to.
  • the fifth embodiment is a modification of the fourth and second embodiments.
  • the fourth embodiment is the same as the fourth embodiment except for the nonlinear quantization circuit and the nonlinear inverse quantization circuit.
  • the overall configuration of the image signal encoding circuit and the image signal decoding device according to the fifth embodiment is the same as that of the fourth embodiment, and has the configuration shown in FIGS. 15 and 16.
  • the configuration of the non-linear quantization circuit 70 in the fifth embodiment is the same as that of the second embodiment and is given in FIG. Also, the nonlinear inverse quantization circuit in the fifth embodiment is used.
  • the configuration of the route 7] is similar to that of the second embodiment and is given in FIG.
  • the fifth embodiment is an embodiment in which the fourth embodiment is modified to perform nonlinear quantization processing with different nonlinear quantization characteristics depending on the frequency component of the input image signal, as in the second embodiment. is there.
  • the sixth embodiment is a modification of the fourth and third embodiments.
  • the fourth embodiment is the same as the fourth embodiment except for a non-linear quantization circuit, a variable length coding circuit, a variable length decoding circuit and a non-linear inverse quantization circuit.
  • the overall configuration of the image signal encoding circuit and the image signal decoding device in the sixth embodiment has the configuration shown in FIGS. 15 (B) and 16 (B).
  • the configuration of the nonlinear quantization circuit 70 in the sixth embodiment is the same as that of the third embodiment and is given in FIG.
  • the configuration of the nonlinear inverse quantization circuit 71 in the sixth embodiment is the same as that of the third embodiment and is given in FIG. 4 (B).
  • the sixth embodiment is a modification of the fourth embodiment, in which the nonlinear quantization characteristics can be adaptively switched on a per-book basis depending on the characteristics of the input image signal, similarly to the third embodiment. This is an example.
  • the signal indicating the used non-linear quantization characteristic is variable-length coded and transmitted to the image signal decoding device.
  • the image signal decoding device determines the nonlinear inverse quantization characteristic from the transmitted signal indicating the nonlinear quantization characteristic.
  • pre-processing and post-processing having non-linear characteristics are performed in cooperation with a signal band in which the S / N ratio tends to worsen due to encoding, thereby effectively improving the S / N ratio Can be improved.
  • the signal band where the SN ratio is poor the mosquito noise can be reduced, but the reduction of the fine pattern information of the image can be suppressed, which results in the distortion of the conventional image and the fine pattern of the image.
  • Even if it is difficult to distinguish between the two it is possible to suppress the reduction of the pattern in the flat part of the image signal, so that the S / N ratio can be improved and the visual impression can be improved.
  • Moving image recording medium and moving image code Device can be realized.
  • the distortion in the transform coding is generated by closing in the block used for the transform, the above-described pre-processing and post-processing operations are performed by closing the block for each transform coding.
  • propagation of mosquito noise in the time direction can be reduced.
  • the conventional motion-compensated prediction is used, noise fluctuations caused by the propagation of distortion noise in the time direction are reduced, and video coding that can improve the visual impression
  • a method, a moving image decoding method, a moving image recording medium, and a moving image encoding device can be realized.
  • the image signal encoding method and the image signal encoding device of the present invention can be used for a video software creating device for compressing a digital video signal and recording the compressed digital video signal on a recording medium such as a disk or a tape. Further, the image signal encoding method and the image signal encoding device of the present invention are designed to compress digital video signals in systems such as CATV, satellite broadcasting, video conferencing, video telephony, and video on demand. It can be used as a distribution device for sending out to a wired or wireless transmission path.
  • the recording medium of the present invention can be used as a digital video disc for general consumers and a digital video disc for rental companies.
  • the image signal decoding method and the image signal decoding device of the present invention can be used for a reproducing device for reproducing a disk or a tape on which a compressed video signal is recorded. Further, the image signal decoding method and the image signal decoding apparatus according to the present invention provide a receiving apparatus for reproducing a transmitted compressed video signal in a system such as CATV, satellite broadcasting, video conference, video phone, and video demand. Can be used.

Description

明 細 書 発明の名称
動画像符号化方法、 動画像復号化方法、 動画像記録媒体及び 動画像符号化装置 技術分野
本発明は動画像符号化方法、 動画像復号化方法、 動画像記録媒体及び 動画像符号化装置に関し、 例えば動画像信号を光ディ スクや磁気テープ などの記録媒体に記録し、 これを再生してディ スプレイ などに表示した り、 テレビ会議システム、 テレビ電話システム、 放送用機器等動画像信 号を伝送路を介して送信側から受信側に伝送し、 受信側においてこれを 受信して表示する場合に適用して好適なものである。 背景技術
例えば、 テ レビ会議システムやテレビ電話システム等のよう に、 動画 像信号を遠隔地に伝送するシステムにおいては、 伝送路を効率良く 利用 するため、 動画像信号のラ ィ ン相関ゃフ レーム間相関を利用して、 画像 信号を圧縮符号化するよう になされている。 実際上ライ ン相関を利用す ると、 画像信号を離散コサイ ン変換 （D C T (discrete cosine transf orm)) 等の直交変換により処理する等により情報量を圧縮するこ とがで き る。 またフ レーム間相関を利用すると、 動画像信号をさ らに圧縮して 符号化することが可能となる。
図 1 7 は、 フ レーム間相関を利用した場合の動画像信号の圧縮符号化 の例を示す。 図において、 A列に示す 3枚の画像は、 時刻 t 1、 t 2、 t 3 におけるフ レーム画像 P C I、 P C 2、 P C 3 をそれぞれ示す。 フ レーム画像 P C 1 と P C 2の画像信号の差を演算して P C 1 2 を生成し- またフ レーム画像 P C 2 と P C 3の差を演算して P C 2 3 を生成する。 B列は差分画像を示し、 便宜上差を黒く示している。
一般に、 時間的に隣接するフ レームの画像は、 それ程大きな変化を有 していないため、 両者の差を演算すると、 その差分信号は小さな値のも のとなる。 そこで、 この差分信号を符号化すれば、 符号量を圧縮するこ とができる。 例えばこの図では、 B列の黒く示した部分のみの符号化で 良いことになる。 しかしながら、 差分信号のみを伝送したのでは、 シ一 ンチェンジのよう にフ レーム間に相関が無い場合には、 元の画像を復元 することができない。
そこで各フ レームの画像を I (イ ン ト ラ符号化） ピク チャ、 P (前方 向予測） ビクチャ又は B (両方向予測） ビクチャの 3種類のビクチャ のいずれかのビクチャと し、 画像信号を圧縮符号化するよう にしている t すなわち図 1 8 に示すように、 フ レーム F 1 ~ F 1 7 までの 1 7 フ レー ムの画像信号をグループォブビクチャと して、 処理の 1 単位とする。 そ してその先頭のフ レーム F 1 (黒く示すフ レーム） の画像信号は I ビク チヤと して符号化し、 第 2番目のフ レーム F 2 (白く示すフ レーム） は B ビクチャと して、 また第 3番目のフ レーム F 3 (斜線で示すフ レーム ) は P ピクチヤと して、 それぞれ処理する。 以下第 4番目以降のフ レー ム F 4〜 F 1 7 は、 B ビクチャ又は P ビクチャと して交互に処理する。
I ピクチヤの画像信号と しては、 その 1 フ レーム分の画像信号をその まま伝送する。 これに対して P ピクチャの画像信号と しては、 基本的に は図 1 8 の Aに示すよう に、 それよ り時間的に先行する I ビクチャ又は P ピクチャの画像信号からの差分を伝送する。 さ らに B ビクチャの画像 信号と しては、 基本的には図 1 8の Bに示すよう に、 時間的に先行する フ レーム又は後行する フ レーム又はその両方の平均値からの差分を求め、 その差分を符号化する。
図 1 9 は、 このよう にして動画像信号を符号化する方法の原理を示し ている。 この図において、 A列は原画像を示し、 B列は符号化された画 像を示す。 図のよう に、 最初のフ レーム F 1 は I ビクチャと して処理さ れるため、 そのまま伝送データ F 1 Xと して伝送路に伝送される （画像 内符号化） 。 これに対して、 第 2のフ レーム F 2 は B ビクチヤと して処 理されるため、 時間的に先行するフ レーム F 1 と、 時間的に後行するフ レーム F 3 と、 又はその平均値との差分が演算され、 その差分が伝送デ ータ F 2 Xと して伝送される。 ただしこの B ピクチャと しての処理は、 さ らに細かく説明すると、 マク ロブ^ ック単位で 4種類の処理が選択可 能である。
その第 1 の処理は、 元のフ レーム F 2のデータをそのまま伝送データ F 2 Xと して伝送するものであり ( S P 1 (イ ン ト ラ符号化） ） 、 I ピ クチャにおける場合と同様の処理となる。 第 2の処理は、 時間的に後の フ レーム F 3からの差分を演算し、 その差分を伝送するものである （ S P 2 (後方予測符号化） ） 。 第 3の処理は、 時間的に先行するフ レーム F 1 との差分を伝送するものである （ S P 3 (前方予測符号化） ） 。 さ らに第 4の処理は、 時間的に先行するフ レーム F 1 と後行するフ レーム F 3の平均値との差分を生成し、 これを伝送データ F 2 X と して伝送す るものである （ S P 4 (両方向予測符号化） ） 。
これらの 4つの方法のうちの、 伝送データが最も少な く なる処理方法 による画像がそのマク ロブロックの伝送データ とされる。 なお差分デー タ を伝送するとき、 差分を演算する対象となるフ レームの画像 （予測画 像） との間の動きベク トル X 1 (フ レーム F 1 と F 2の間の動きべク ト ノレ （前方予測の場合） ） 、 も し く は X 2 (フ レーム F 3 と F 2の間の動 きべク トル （後方予測の場合） ） 、 または X 1 と X 2の両方 （両方向予 測の場合） 力 <、 差分データ と共に伝送される。
また P ビクチャのフ レーム F 3 は、 時間的に先行するフ レーム F 1 を 予測画像と して、 このフ レームとの差分信号と、 動きべク トル X 3 が演 算され、 これが伝送データ F 3 Xと して伝送される （ S P 3 (前方予測 符号化） ） 。 あるいはまた、 元のフ レーム F 3のデータがそのまま伝送 データ F 3 Xと して伝送される （ S P 1 (イ ン ト ラ符号化） ） 。 いずれ の方法により伝送されるかは、 B ビクチャにおける場合と同様に、 伝送 データがより少なく なる方がマク ブ n ック単位で選択される。
図 2 0 は、 上述した原理に基づいて、 動画像信号を符号化して伝送し. これを復号化する装置の具体構成例を示している。 1 は全体と して符号 化装置の構成を示し、 入力された動画像信号 V Dを符号化し、 伝送路と しての記録媒体 3 に伝送するよう になされている。 そして 2 は全体と し て復号化装置の構成を示し、 記録媒体 3 に記録された信号を再生し、 こ れを復号して映像信号を出力するよう になされている。
符号化装置 1 においては、 入力された映像信号 V Dが前処理回路 1 1 に入力され、 そ こで輝度信号と色信号 （この例の場合、 色差信号） に分 離され、 それぞれ A Z D変換器 1 2 、 1 3で A Z D変換される。 A / D 変換器 1 2、 1 3 によ り A / D変換されてデジタ ル信号となった映像信 号は、 フ レームメ モ リ 1 4 に供給され書き込まれる。 輝度信号は輝度信 号フ レームメ モ リ 1 5 に、 また色差信号は色差信号フ レームメ モ リ 1 6 にそれぞれ書き込まれる。
フォーマッ ト変換回路 1 7 は、 フ レームメ モ リ 1 4 に書き込まれたフ レームフォーマッ トの信号を、 ブ D ック フォーマッ ト の信号に変換する c すなわち、 図 2 1 に示すよう に、 フ レームメ モ リ 1 4 に書き込まれた画 像信号は、 1 ライ ン当り H ドッ 卜の画素よりなるライ ンが Vライ ン集め られたフ レームフォーマツ 卜のデータ とされている。 フォーマツ ト変換 回路 1 7 は、 この 1 フ レームの信号を、 1 6ラ イ ンを単位と して M個のス ラ イ スに区分する。
そ して各ス ラ イ スは、 M個のマク ブロ ック に分割される。 各マク D ブ π ック は、 1 6 X 1 6個の画素 （ ドッ ト） に対応する輝度信号によ り構成 され、 この輝度信号はさ らに 8 X 8 ドッ トを単位とするブ ック Y [ 1 ] 〜Υ [ 4 ] に区分される。 そしてこの 1 6 X 1 6ドッ トの輝度信号には、 8 X 8 ドッ トの C b信号と、 8 X 8 ドッ トの C r信号の 2 ブロ ックの色 差信号が対応する。 後述する D C T処理は、 この 8 X 8 ドッ ト を単位と して行われる。
このよう に、 ブロ ック フォーマッ ト に変換されたデータ B Dは、 フォ —マッ ト変換回路 1 7からエンコーダ 1 8 に供紿され、 こ こでェ ンコ一 ド （符号化） される。 その詳細については、 図 2 2 を参照して後述する, エ ンコーダ 1 8 によりエ ンコー ドされた信号は、 ビッ トス ト リ ームと し て記録媒体 3 に記録され、 または伝送路に出力される。
記録媒体 3 よ り再生されたデータは、 復号化装置 2のデコーダ 3 1 に 供給されてデコー ド （復号化） される。 デコーダ 3 1 の詳細については- 図 2 5 を参照して後述する。 デコーダ 3 1 によ りデコー ドされたデ一タ は、 フォーマッ ト変換回路 3 2 に入力され、 ブ ック フォーマツ トから フ レームフォーマッ ト に変換される。 そして、 フ レームフォーマッ ト の 輝度信号は、 フ レームメ モ リ 3 3 の輝度信号フ レームメ モ リ 3 4 に供給 されて書き込まれ、 色差信号は色差信号フ レームメ モ リ 3 5 に供給され て書き込まれる。 輝度信号フ レームメ モ リ 3 4 と色差信号フ レームメ モ リ 3 5 よ り読み出された輝度信号と色差信号は、 D / A変換器 3 6 と 3 7 によ りそれぞれ D / A変換され、 後処理回路 3 8 に供給されて合成さ れる。 そ して例えば C R T等のディ スプレイ （図示せず） に出力され表 示される。
次に図 2 2 を参照して、 エンコーダ 1 8の構成例について説明する。 符号化されるべき画像データ B Dは、 マク Ώブロ ック単位で動きべク ト ル検出回路 （Μ V— D e t ) 5 0 に入力される。 動きべク トル検出回路 5 0 は、 予め設定されている所定のシーケ ンスに従って、 各フ レームの 画像データを、 I ピクチャ、 P ピクチャ又は B ビクチャと して処理する ( シーケンシャルに入力される各フ レームの画像を、 I 、 P 、 Bのいずれ のビクチャと して処理するかは予め定められている。 例えば、 図 i 8 に 示したよう に、 フ レーム F 1 〜 F 1 7 によ り構成されるグループォブビ クチャが、 I 、 B、 P、 B、 P 、 B、 P と して処理される。
I ビクチャと して処理されるフ レーム （例えばフ レーム F 1 ) の画像 データは、 動きべク ト ル検出回路 5 0からフ レームメモ リ 5 I の前方原 画像部 5 1 a に転送されて記憶され、 B ピクチャと して処理される フ レ —ム （例えばフ レーム F 2 ) の画像データ は、 原画像部 5 1 b に転送さ れて記憶され、 P ビクチャと して処理されるフ レーム （例えばフ レーム F 3 ) の画像データ は、 後方原画像部 5 I c に転送されて記憶される。 また次のタ イ ミ ングにおいて、 さ らに B ビクチャ （フ レーム F 4 ) 又 は P ビクチヤ （フ レーム F 5 ) と して処理すべきフ レームの画像が入力 されたとき、 それまで後方原画像部 5 1 c に記憶されていた最初の P ビ クチャ （フ レーム F 3 ) の画像データ力 <、 前方原画像部 5 1 a に転送さ れ、 次の B ビクチャ （フ レーム F 4 ) の画像データが、 原画像部 5 1 b に記憶 （上書き） され、 次の P ピクチャ （フ レーム F 5 ) の画像データ が、 後方原画像部 5 1 c に記憶 （上書き） される。 このような動作が順 次繰り返される。
フ レームメ モ リ 5 1 に記憶された各ビクチャの信号は、 そこから読み 出され、 予測モー ド切り替え回路 （M 0 d e — S W ) 5 2 において、 フ レーム予測モー ド処理、 又はフ ィ ール ド予測モー ド処理が行われる。 さ らにまた予測判定回路 5 4 の制御の下に、 演算部 5 3 において、 画像内 予測、 前方予測、 後方予測又は両方向予測の演算が行われる。 これらの 処理のうちいずれの処理を行うかは、 予測誤差信号 （処理の対象とされ ている参照画像と、 これに対する予測画像との差分） に対応してマク ロ ブ σ ック単位で決定される。 このため、 動きべク トル検出回路 5 0 は、 この判定に用いられる予測誤差信号の絶対値和 （自乗和でもよい） をマ ク Dブロ ック単位で生成する。
こ こで、 予測モー ド切り替え回路 5 2 におけるフ レーム予測モー ドと フィ ール ド予測モー ドについて説明する。 フ レーム予測モー ドが設定さ れた場合において予測モー ド切り替え回路 5 2 は、 動きべク トル検出回 路 5 0 よ り供給される 4個の輝度ブ ック Y [ 1 ] 〜Y [ 4 ] を、 その まま後段の演算部 5 3 に出力する。 すなわちこの場合においては、 図 2 3 ( A ) に示すよう に、 各輝度ブ ϋ ック に奇数フィ ール ドのライ ンのデ ータ と、 偶数フィ ール ドのライ ンのデータ とが混在した状態となってい る。 このフ レーム予測モー ドにおいては、 4個の輝度ブロ ック （マク ブ π ック） を単位と して予測が行われ、 4個の輝度ブロ ック に対して 1 個の動きベク ト ルが対応される。
これに対して、 予測モー ド切り替え回路 5 2 は、 フィ ール ド予測モー ドにおいては、 図 2 3 ( Α ) に示す構成で動きベク ト ル検出回路 5 0 よ り入力される信号を、 図 2 3 ( Β ) に示すよう に、 4個の輝度ブ ック のうち、 輝度ブ口 ック Υ [ 】 ] と Υ [ 2 ] を、 例えば奇数フィ 一ル ドの ライ ンの ドッ ト によりのみ構成させ、 他の 2個の輝度ブロ ック Υ [ 3 ] と Υ [ 4 ] を、 偶数フィ ール ドのライ ンのデータによ り構成させて、 演 算部 5 3 に出力する。 この場合においては、 2個の輝度ブ σ ック Υ [ 1 ] と Υ [ 2 ] に対して、 1 個の動きべク ト ルが対応され、 他の 2個の輝 度ブ η ック Υ [ 3 ] と Υ [ 4 ] に対して、 他の 1 個の動きベク ト ルが対 応される。
動きべク ト ル検出回路 5 0 は、 画像内符号化の評価値と、 フ レーム予 測モー ドにおける前方向、 後方向及び両方向予測の各予測誤差の絶対値 和と、 フィ ール ド予測モー ドにおける前方向、 後方向及び両方向予測の 各予測誤差の絶対値和を、 予測判定回路 5 4 に出力する。 予測判定回路 5 4 は、 画像内符号化の評価値及び各予測誤差の絶対値和を比較し、 そ の値が最も小さい予測モー ドに対応するフ レーム予測モー ド又はフィ一 ル ド予測モー ドを予測モー ド切り換え回路 5 2に指示する。 予測モー ド 切り換え回路 5 2は、 入力信号に上述した処理を施して、 データを演算 部 5 3に出力する。 一般には、 動画像の動きが速い場合にはフ ィ 一ル ド 予測モー ドが選択され、 動きの遅い場合にはフ レーム予測モー ドが選択 される。
なお色差信号は、 フ レーム予測モー ドの場合、 図 2 3 ( A) に示すよ う に、 奇数フィ 一ルドのライ ンのデータ と偶数フィ 一ル ドのライ ンのデ ータ とが混在する状態で、 演算部 5 3に.供給される。 またフィ ール ド予 測モー ドの場合、 図 2 3 (B ) に示すよう に、 各色差ブ ック C b、 C rの上半分 （ 4ライ ン） が、 輝度プロ ック Y [ 1 ] 、 Y [ 2 ] に対応す る奇数フ ィ ール ドの色差信号とされ、 下半分 （ 4ラ イ ン） が、 輝度ブ口 ック Υ [ 3 ] 、 Υ [ 4 ] に対応する偶数フ ィ ール ドの色差信号とされる < また動きべク トル検出回路 5 0は、 次のよう にして予測判定回路 5 4 において、 画像内符号化、 前方予測、 後方予測又は両方向予測のいずれ の予測を行うか及びフ レーム予測またはフ ィ 一ルド予測のいずれを行う かを決定するための予測誤差の絶対値和を生成する。 すなわち、 画像内 符号化の予測誤差の絶対値和に相当する評価値と して、 これから符号化 される参照画像のマク ロブ口 ックの信号 A ijとその平均値との差の絶対 値和∑ I A ij— (A ijの平均値） I を求める。 また前方予測の予測誤差 の絶対値和と して、 参照画像のマク 口ブ D ックの信号 A ijと、 予測画像 のマク ブロ ックの信号 B ijの差 A ij— B ijの絶対値 I A ij— B ij l の 和∑ i A ij- B ij I を求める。 また、 後方予測と両方向予測の予測誤差 の絶対値和も、 前方予測における場合と同様に （その予測画像を前方予 測における場合と異なる予測画像に変更して） 求める。 また予測誤差の 絶対値和は、 フ レーム予測モー ド、 フ ィ ール ド予測モー ドの両方につい て求められる。
これらの絶対値和は、 予測判定回路 5 4に供給される。 予測判定回路 5 4 は、 フ レーム予測モー ド、 フ ィ ール ド予測モー ドそれぞれの前方予 測、 後方予測及び両方向予測の予測誤差の絶対値和のうち、 最も小さい ものをィ ンタ一予測の予測誤差の絶対値和と して選択する。 さ らにこの ィ ンター予測の予測誤差の絶対値和と、 画像内符号化の評価値とを比較 し、 その小さい方を選択し、 この選択した値に対応するモー ドを予測モ — ド （P- mode) と して選択する。 すなわち画像内符号化の評価値の方が 小さければ、 画像内符号化モー ドが設定される。 ィ ンタ 一予測の予測誤 差の絶対値和の方が小さければ、 前方予測、 後方予測又は両方向予測モ 一 ドのうち、 対応する絶対値和が最も小さかったモー ドが設定される このよう に予測モー ド切り換え回路 5 2 は、 参照画像のマク 口プロ ッ クの信号を、 フ レーム又はフィ 一ルド予測モー ドのうち、 予測判定回路 5 4 により選択されたモー ドに対応する構成で、 演算部 5 3 に供袷する t 動きべク トル検出回路 5 0 は、 予測判定回路 5 4 によ り選択された予測 モー ド （P- mode) に対応する予測画像と参照画像の間の動きべク ト ル MV を検出し、 可変長符号化回路 （V L C ) 5 8 と動き補償回路 （M— c o m p ) 6 4 に出力する。 この動きベク ト ルと しては、 対応する予測誤差 の絶対値和が最小となるものが選択される。
予測判定回路 5 4 は、 動きべタ トル検出回路 5 0が前方原画像部 5 1 a より I ピクチヤの画像データ を読み出しているとき、 予測モー ドと し て画像内符号化モー ド （動き補償を行わないモー ド） を設定し、 演算部 5 3のスィ ッチを接点 a側に切り替える。 これにより I ビクチャの画像 データが D C Tモー ド切り替え回路 （D C T C T L ) 5 5 に入力され る。
この D C Tモ一 ド切り替え回路 5 5 は、 図 2 4 ( A ) 又は （B ) に示 すよう に、 4個の輝度ブ。 ック のデータ を、 奇数フィ ール ドのラ イ ンと 偶数フィ ール ドのライ ンが混在する状態 （フ レーム D C Tモー ド） 、 ま たは分離された状態 （フィ ール ド D C Tモー ド） のいずれかの状態にし て、 D C T回路 5 6 に出力する。 すなわち D C Tモー ド切り替え回路 5 5 は、 奇数フィ 一ルドと偶数フィ 一ルドのデータを混在して D C T処理 した場合における符号化効率と、 分離した状態において D C T処理した 場合の符号化効率とを比較し、 符号化効率の良好なモー ドを選択する。 例えば入力された信号を、 図 2 4 ( A ) に示すよう に、 奇数フィ 一ル ドと偶数フィ ールドのライ ンが混在する構成と し、 上下に隣接する奇数 フィ ール ドのラ イ ンの信号と偶数フィ ール ドのライ ンの信号の差を演算 し、 さ らにその絶対値の和 （または自乗和） を求める。 また入力された 信号を、 図 2 4 ( B ) に示すよう に、 奇数フィ ールドと偶数フィ ール ド のライ ンが分離した構成と し、 上下に隣接する奇数フィ 一ル ドのライ ン 同士の信号の差と、 偶数フィ ール ドのライ ン同士の信号の差を演算し、 それぞれの絶対値の和 （または自乗和） を求める。
さ らに両者 （絶対値和） を比較し、 小さい値に対応する D C Tモー ド を設定する。 すなわち前者の方が小さければ、 フ レーム D C Tモー ドを 設定し、 後者の方が小さければ、 フィ ール ド D C Tモー ドを設定する。 そして選択した D C Tモー ドに対応する構成のデータを D C T回路 5 6 に出力するとともに、 選択した D C Tモー ドを示す D C Tフ ラ グ（DCT- F LG) を、 可変長符号化回路 5 8 と動き補償回路 6 4 に出力する。
予測モー ド切り替え回路 5 2 における予測モー ド （図 2 3 ) と、 この D C Tモー ド切り替え回路 5 5 における D C Tモー ド （図 2 4 ) を比較 して明らかなよう に、 輝度ブ ック に関しては両者の各モー ドにおける データ構造は実質的に同一である。 一般には予測モー ド切り替え回路 5 2 において、 フ レーム予測モー ドが選択された場合、 D C Τモー ド切り 替え回路 5 5 においても、 フ レーム D C Τモー ドが選択される可能性が 高い。
また予測モー ド切り替え回路 5 2 において、 フィ ール ド予測モー ドが 選択された場合、 D C Tモー ド切り替え回路 5 5 においても、 フ ィ 一ル ド D C Tモー ドが選択される可能性が高い。 しかしながら必ずしも常に そのよう になされるわけではなく 、 予測モー ド切り替え回路 5 2 (こおい ては、 予測誤差の絶対値和が小さ く なるよう にモー ドが決定される。 ま た D C Τモー ド切り替え回路 5 5 においては、 符号化効率が良好となる よう にモー ドが決定される。
D C Tモー ド切り替え回路 5 5 より出力された I ピクチャの画像デ一 タ は、 D C Τ回路 5 6 に入力され、 D C Τ (離散コサイ ン変換） 処理さ れ、 D C T係数に変換される。 この D C Τ係数は、 量子化回路 （Q) 5 7 に入力され、 送信バッファ （B u f f e r ) 5 9のデータ蓄積量 （バ ッファ蓄積量 （B- full) ) に対応した量子化ステップで量子化された後. 可変長符号化回路 5 8 に入力される。 可変長符号化回路 5 8 は、 量子化 回路 5 7 より供給される量子化ステップ （スケール （QS) ) に対応して. 量子化回路 5 7 より供給される画像データ （この場合、 I ビクチャのデ ータ） を、 例えばハフマン符号などの可変長符号に変換して、 送信バッ ファ 5 9 に出力する。
可変長符号化回路 5 8 にはまた、 量子化回路 5 7 より量子化ステップ (スケール （QS) ) 、 予測判定回路 5 4 より予測モー ド （画像内予測、 前方予測、 後方予測又は両方向予測のいずれが設定されたかを示すモー ド （P - mode) ) 、 動きべク トル検出回路 5 0 よ り動きべク ト MV) 、 予測モー ド切り替え回路 5 2 より予測フラグ （フ レーム予測モー ド又は フィ ール ド予測モー ドのいずれが設定されたかを示すフテグ （P- FLG)) および D C Tモー ド切り替え回路 5 5が出力する D C Tフラグ （フ レー 厶 D C Tモー ド又はフィ ール ド D C Tモー ドのいずれが設定されたかを 示すフラグ （DCT- FLG)) が入力されており、 これらも可変長符号化され る。
送信バッファ 5 9 は、 入力されたデータを一時蓄積し、 蓄積量に対応 するデータを量子化回路 5 7 に出力する。 送信バッファ 5 9 は、 そのデ ータ残量が許容上限値まで増量すると、 量子化制御信号 （B-full) によ つて量子化回路 5 7の量子化スケールを大き く することにより、 量子化 データのデータ量を低下させる。 またこれとは逆に、 データ残量が許容 下限値まで減少すると、 送信バッ フ ァ 5 9は、 量子化制御信号 （B- full ) によって量子化回路 5 7の量子化スケールを小さ く することによ り、 量子化データのデータ量を増大させる。 このよう にして、 送信バッ フ ァ 5 9のオーバフ ロ ー又はアンダフ 口 一が防止される。 そ して送信バッフ ァ 5 9に蓄積されたデータ は、 所定のタイ ミ ングで読み出され、 伝送路 に出力され又は記録媒体 3に記録される。
—方量子化回路 5 7より出力された I ビクチヤのデータは、 逆量子化 回路 （ I Q) 6 0に入力され、 量子化回路 （QS) 5 7より供給される量 子化ステップに対応して逆量子化される。 逆量子化回路 6 0の出力は、 逆 D C T ( I D C T) 回路 6 1 に入力されて逆 D C T処理された後、 ブ ロ ック並び換え回路 （B 1 0 c k C h a n g e ) 6 5によ り、 各 D C Tモー ド （フ レーム /フ ィ ール ド） に対応してブ ックの並び換えが行 われる。 ブ ック並び換え回路 6 5の出力信号は、 演算器 6 2を介して フ レームメ モ リ 6 3の前方予測画像部 （ F— P ) 6 3 aに供給されて記 憶される。
動きべク ト ル検出回路 5 0は、 シーケ ンシャルに入力される各フ レー ムの画像データ を、 例えば I 、 B、 P、 B、 P、 B のピクチャと し てそれぞれ処理する場合、 最初に入力されたフ レームの画像データ を I ピクチャと して処理した後、 次に入力されたフ レームの画像を Bビクチ ャと して処理する前に、 さ らにその次に入力されたフ レームの画像デー タを Pビクチヤと して処理する。 Bピクチャは、 後方予測を伴う ため、 後方予測画像と しての Pピクチャが先に用意されていないと、 復号する こ とができないからである c
そこで動きべク ト ル検出回路 5 0は、 I ピク チャの処理の次に、 後方 原画像部 5 1 c に記憶されている P ビクチヤの画像データの処理を開始 する。 そ して、 上述した場合と同様に、 マク nブロ ック単位でのフ レー ム間又はフィ ール ド間差分 （予測誤差） の絶対値和が、 動きべク ト ル検 出回路 5 0から予測判定回路 5 4 に供給される。 予測判定回路 5 4 は、 この P ビクチャのマク ロブロ ックの予測誤差の絶対値和に対応して、 フ レーム/フィ ール ド予測モー ド及び画像内符号化、 又は前方予測の予測 モー ドを設定する。
演算部 5 3 はフ レーム内符号化モー ドが設定されたとき、 スィ ッチを 上述したよう に接点 a側に切り替える。 従ってこのデータ は、 I ビクチ ャのデータ と同様に、 D C Tモー ド切り替え回路 5 5 、 D C T回路 5 6 - 量子化回路 5 7、 可変長符号化回路 5 8、 送信バッファ 5 9 を介して伝 送路に伝送される。 また、 このデータ は、 逆量子化回路 6 0、 逆 D C T 回路 6 1 、 ブ ック並び換え回路 6 5、 演算器 6 2 を介してフ レームメ モ リ 6 3 の後方予測画像部 （B— P ) 6 3 b に供給されて記憶される。 前方予測モー ドの時、 スィ ッチが接点 bに切り替えられると共に、 フ レームメ モ リ 6 3の前方予測画像部 6 3 a に記憶されている画像 （この 場合 I ビクチャの画像） データが読み出され、 動き補償回路 6 4 によ り - 動きべク ト ル検出回路 5 0が出力する動きべク トルに対応して動き補償 される。 すなわち動き補償回路 6 4 は、 予測判定回路 5 4 よ り前方予測 モー ドの設定が指令されたとき、 前方予測画像部 6 3 a の読み出しァ ド レスを、 動きべク ト ル検出回路 5 0がいま出力しているマク ブロ ック の位置に対応する位置から動きべク ト ルに対応する分だけずら してデー タ を読み出し、 予測画像データを生成する。
動き補償回路 6 4 よ り出力された予測画像データは、 演算器 5 3 a に 供給される。 演算器 5 3 a は、 予測モー ド切り替え回路 5 2 より供給さ れた参照画像のマク nブ π ックのデータから、 動き補償回路 6 4 よ り供 給された このマク ロブ ック に対応する予測画像デ一タ を減算し、 その 差分 （予測誤差） を出力する。 この差分データ は、 D C Tモー ド切り替 え回路 5 5 、 D C T回路 5 6、 量子化回路 5 7、 可変長符号北回路 5 8 · 送信バッファ 5 9を介して伝送路に伝送される。 また、 この差分データ は、 逆量子化回路 6 0、 逆 D C T回路 6 1 によ り局所的に復号され、 ブ 口 ック並び換え回路 6 5 を介して演算器 6 2 に入力される。
この演算器 6 2 にはまた演算器 5 3 a に供給されている予測画像デー タ と同一のデータが供給されている。 演算器 6 2 は、 逆 D C T回路 6 1 が出力する差分データ に、 動き補償回路 6 4が出力する予測画像データ を加算する。 これにより元の （復号した） P ピクチャの画像データが得 られる。 この P ビクチヤの画像データは、 フ レームメ モ リ 6 3の後方予 測画像部 6 3 b に供給され、 記憶される。
動きべク ト ル検出回路 5 0 は、 このよう に I ピクチャと P ビクチャの データが前方予測画像部 6 3 a と後方予測画像部 6 3 b にそれぞれ記憶 された後、 次に B ビクチヤの処理を実行する。 予測判定回路 5 4 は、 マ ク ロブ n ック単位でのフ レーム間差分又はフィ ール ド間差分 （予測誤差
) の絶対値和の大きさに対応して、 フ レームノフィ ール ドモー ドを設定 し、 また予測モー ドをフ レーム内予測モー ド、 前方予測モー ド、 後方予 測モー ド又は両方向予測モー ドのいずれかに設定する。 上述したよう に、 フ レーム内予測モー ド又は前方予測モー ドの時、 スィ ッチは接点 a又は bに切り替えられる。 このとき P ピクチヤにおける場合と同様の処理が 行われデータが伝送される。
これに対して、 後方予測モー ド又は両方向予測モー ドが設定された時、 スィ ツチは、 接点 c又は d にそれぞれ切り替えられる。 スィ ツチが接点 c に切り替えられている後方予測モー ドの時、 後方予測画像部 6 3 b に 記憶されている画像 （この場合、 P ビクチャの画像） データが読み出さ れ、 動き補償回路 6 4 により、 動きべク トル検出回路 5 0が出力する動 きべク ト ルに対応して動き補償される。 すなわち動き補償回路 6 4 は、 予測判定回路 5 4 より後方予測モー ドの設定が指令されたとき、 後方予 測画像部 6 3 bの読み出しア ド レスを、 動きべク トル検出回路 5 0がい ま出力しているマク ロブ ックの位置に対応する位置から動きべク ト ル に対応する分だけずらしてデータを読み出し、 予測画像データを生成す る。
動き補償回路 6 4 よ り出力された予測画像データ は、 演算器 5 3 b に 供袷される。 演算器 5 3 bは、 予測モー ド切り替え回路 5 2 よ り供給さ れた参照画像のマク ロブ1 α ックのデータから、 動き補償回路 6 4 よ り供 袷された予測画像データ を減算しその差分を出力する。 この差分データ は、 D C Tモー ド切り替え回路 5 5、 D C T回路 5 6、 量子化回路 5 7■ 可変長符号化回路 5 8、 送信バッファ 5 9 を介して伝送路に伝送される, スィ ツチが接点 d に切り替えられている両方向予測モー ドの時、 前方 予測画像部 6 3 a に記憶されている画像 （この場合、 I ピクチャの画像 ) データ と、 後方予測画像部 6 3 bに記憶されている画像 （この場合、 P ピクチャの画像） データが読み出され、 動き補償回路 6 4 によ り、 動 きべク ト ル検出回路 5 0が出力する動きべク ト ルに対応して動き補償さ れる。
すなわち、 動き補償回路 6 4 は、 予測判定回路 5 4 よ り両方向予測モ 一ドの設定が指令されたとき、 前方予測画像部 6 3 a と後方予測画像部 6 3 bの読み出しア ド レスを、 動きべク ト ル検出回路 5 0 がいま出力し ているマク ブロ ックの位置に対応する位置から動きべク ト ル （この場 合の動きべク ト ルは、 前方予測画像用と後方予測画像用の 2つとなる） に対応する分だけずら してデータを読み出し、 予測画像データ を生成す る。
動き補償回路 6 4 より出力された予測画像データは、 演算器 5 3 c に 供給される。 演算器 5 3 c は、 動きべク ト ル検出回路 5 0 より供給され た参照画像のマク ロブロ ックのデータから、 動き補償回路 6 4 よ り供紿 された予測画像データの平均値を減算し、 その差分を出力する。 この差 分データ は、 D C Tモー ド切り替え回路 5 5、 0 (：丁回路 5 6、 量子化 回路 5 7、 可変長符号化回路 5 8、 送信バッファ 5 9 を介して伝送路に 伝送される。
B ビクチャの画像は、 他の画像の予測画像とされることがないため、 フ レームメ モ リ 6 3 には記憶されない。 なおフ レームメ モ リ 6 3 におい て、 前方予測画像部 6 3 a と後方予測画像部 6 3 bは、 必要に応じてバ ンク切り替えが行われ、 所定の参照画像に対して、 一方又は他方に記憶 されているものを、 前方予測画像あるいは後方予測画像と して切り替え て出力することができ る。
上述の処理においては、 輝度ブロ ックを中心と して説明したが、 色差 ブ ϋ ックについても同様に、 図 2 3及び図 2 4 に示すマク ロブ σ ック を 単位と して処理される。 なお色差ブロ ックを処理する場合の動きべク ト ルは、 対応する輝度ブ1 α ックの動きべク ト ルを垂直方向と水平方向に、 それぞれ 1 Ζ 2 にしたものが用いられる。
次に図 2 5 は、 図 2 0 のデコーダ 3 1 の一例の構成を示すブ ック図 である。 伝送路又は記録媒体を介して供給される画像データ は、 図示せ ぬ受信回路で受信され又は再生装置で再生され、 受信バッファ （ B u f f e r ) 8 1 に一時記憶される。 その後、 復号回路 9 0の可変長復号化 回路 （ I V L C ) 8 2 に供給される。
可変長複号化回路 （ I V L C ) 8 2 は、 受信バッファ 8 1 よ り供^さ れたデータを可変長復号化し、 動きべク ト ル （MV ) 、 予測モー ド （P - mo d e ) 及び予測フ ラグ （P - FLG )を動き補償回路 （M— c o m p ) 8 7 に供 袷する。 また D C Tフラク" （D CT- FLG )は逆プロ ック並び換え回路 （B 1 0 c k C h a n g e ) 8 8 に、 量子化ステップ （QS ) を逆量子化回路 ( I Q ) 8 3 に、 それぞれ出力するとともに、 復号された画像データを 逆量子化回路 8 3 に出力する。 逆量子化回路 8 3 は、 可変長復号化回路 8 2 よ り供袷された画像デー タを、 同じ く可変長復号化回路 8 2 より供給された量子化ステップに従 つて逆量子化し、 逆 D C T回路 8 4 に出力する。 逆量子化回路 8 3 よ り 出力されたデータ （D C T係数） は、 逆 D C T回路 8 4で逆 D C T処理 されて演算器 8 5 に供給される。
逆 D C T回路 8 4 よ り供給された画像データが、 I ビクチャのデータ である場合、 そのデータ は演算器 8 5 より出力され、 演算器 8 5 に後に 入力される画像データ （ Pまたは B ビクチャのデータ） の予測画像デー タ生成のために、 フ レームメ モ リ 8 6の前方予測画像部 （ F— P ) 8 6 a に供給されて記憶される。 またこのデータ はフォーマツ ト変換回路 3 2 (図 2 0 ) に出力される。
逆 D C T回路 8 4 より供給された画像データ力く、 その 1 フ レーム前の 画像データを予測画像データ とする P ビクチヤのデータであって、 前方 予測モー ドのデータである場合、 フ レームメ モ リ 8 6 の前方予測画像部 8 6 a に記憶されている 1 フ レーム前の画像データ （ I ビクチャのデ一 タ） が読み出され、 動き補償回路 8 7で可変長復号化回路 8 2 よ り出力 された動きベク トルに対応する動き補償が施される。
そして演算器 8 5 において、 逆 D C T回路 8 4 より供給された画像デ —タ （差分のデータ） と加算され出力される。 この加算されたデータ、 すなわち復号された P ピクチヤのデータは、 演算器 8 5 に後に入力され る画像データ （B ビクチャ又は P ピクチャのデータ） の予測画像データ 生成のために、 フ レームメ モ リ 8 6の後方予測画像部 （ B— P ) 8 6 b に供給されて記憶される。
P ビクチャのデータであっても画像内予測モー ドのデータ は、 I ピク チヤのデータ と同様に演算器 8 5で特に処理は行わず、 そのまま後方予 測画像部 8 6 bに記憶される。 この P ビクチャは次の B ビクチャの次に 表示されるべき画像であるため、 この時点ではまだフォーマツ ト変換回 路 3 2へ出力されない。 すなわち上述したよう に B ビクチャの後に入力 された P ピクチャが、 B ビクチャよ り先に処理され、 伝送されている。 逆 D C T回路 8 4 より供給された画像データが、 B ビクチヤのデータ である場合、 可変長復号化回路 8 2 よ り供給された予測モー ドに対応し て、 フ レームメモ リ 8 6の前方予測画像部 8 6 a に記億されている I ビ クチャの画像データ （前方予測モー ドの場合） 、 後方予測画像部 8 6 b に記憶されている P ビクチャの画像データ （後方予測モー ドの場合） 、 またはその両方の画像データ （両方向予測モー ドの場合） が読み出され. 動き補償回路 8 7 において、 可変長復号化回路 8 2 より出力された動き べク トルに対応する動き補償が施されて、 予測画像が生成される。 ただ し動き補償を必要と しない場合すなわち画像内予測モー ドの場合、 予測 画像は生成されない。
このようにして動き補償回路 8 7で動き補償が施されたデータは、 演 算器 8 5 において、 逆 D C T回路 8 4の出力と加算される。 この加算出 力はフォーマッ ト変換回路 3 2 に出力される。 ただしこの加算出力は B ビクチャのデータであり、 他の画像の予測画像生成のために利用される ことがないため、 フレームメモ リ 8 6 には記憶されない。 B ビクチャの 画像が出力された後、 後方予測画像部 8 6 bに記憶されている P ビクチ ャの画像データが読み出され、 動き補償回路 8 7 を介して演算器 8 5 に 供給される。 ただしこのとき動き補償は行われない。
また上述の処理においては、 輝度信号の処理について説明したが、 色 差信号の処理も同様に行われる。 ただし、 この場合動きべク トルは、 輝 度信号用のものを垂直方向及び水平方向に 1 ノ 2 にしたものが用いられ る。
と ころで上述の画像符号化における変換符号化は、 入力信号の相関を 利用し、 ある特定の座標軸に信号電力を集中させることにより情報量の 圧縮を可能とする。 D C Tはこう した変換符号化に用いられる変換方式- 特に直交変換の 1 例である。 D C Tは画像信号の持つ 2次元相関性を利 用して、 ある特定の周波数成分に信号電力を集中させ、 この集中分布し た係数のみを符号化することで情報量の圧縮を可能とする。 例えば、 絵 柄が平坦で画像信号の自己相関性が高い部分では、 D C T係数は低周波 数成分へ集中分布し、 他の成分は小さな値となる。 従ってこの場合は低 域へ集中分布した係数のみを符号化することで、 情報量の圧縮が可能と なる。
と ころが画像のエッジ等のよう に輪郭を含む画像信号では、 D C T係 数は低周波から高周波数成分まで広く 分散して発生する。 すると輪郭の ような信号の不連続点を D C T係数で精度良く表すためには、 非常に多 く の係数を必要と し、 符号化効率が落ちることになる。 このとき従来の よう に画像の髙圧縮符号化のために係数の量子化特性を粗く した り、 高 周波数成分の係数を打ち切ったりすると、 画像信号の劣化が目立ち、 例 えば輪郭のまわりに揺らぎのよう な歪み （コ ナイ フェク ト又はモスキ 一ト ノ ィ ズ等、 以下簡単にノ ィズという） が発生する。
また画像符号化においては動き補償予測を用いているために、 上述し たよう なノ ィ ズは次々 と予測フ レームに伝播し、 時間方向へ伝播されて いく 。 その結果再生画像では、 ノ イズが不規則に揺らいでいるよう に見 え、 視覚上非常に不快に感じられるよう になる。 この問題を解決するた めに、 前置フィ ルタ及び後置フィ ルタが用いられる。 前置フィ ルタ と L て例えば、 一パス フ ィ ルタを用い、 符号化効率を向上させることで、 ノ イ ズの発生を抑制することができる。 また後置フ ィ ルタ と しても、 一パスフ ィ ルタを用い発生したノ イ ズを目立たないよう に除去するため に用いられる。 こう した後置フ ィ ルタ と しては例えば ε フィ ルタゃメデ イ ア ンフ ィ ノレタがある。
と ころがこのよう に、 モス — ト ノ ィ ズを低減するために前置フ ィ ル タゃ後置フ ィ ルタを用いると、 モスキー ト ノ イ ズを低減するだけでな く 画像信号がもつ視覚的重要な情報をも損失させてしま う。 すなわち S N 比が悪い信号帯域では、 画像の歪みと画像の細かい模様の区別が難し く ロ ーパスフィ ルタ により、 画像の平坦部にある模様をも失われぼやけた 画像になってしまう問題がある。
本発明は以上の点を考慮してなされたもので、 S N比が悪い信号帯域 でもノ イ ズを低減させながら画像の細かい模様の情報の低減を最小限に 押え得る動画像符号化方法、 動画像復号化方法、 動画像記録媒体及び動 画像符号化装置を提案しょう とするものである 発明の開示
本発明の画像信号符号化方法は、 所定の画像信号の少なく とも一部の 信号帯域を、 非線形特性に基づいて量子化して第 I の量子化係数を生成 し、 当該第 】 の量子化係数に対して、 所定のブ D ック単位毎に、 所定の 変換処理を行って変換係数を生成し、 当該変換係数を量子化して第 2 の 量子化係数を生成し、 当該第 2 の量子化係数を可変長符号化するよう に する。
また、 本発明の画像信号復号化方法は、 受信した符号化画像信号を可 変長復号化し、 当該可変長復号化された信号に対して第 1 の逆量子化を 行い、 当該第 1 の逆量子化がなされた信号に対して、 所定のブロ ック単 位で、 所定の逆変換処理を行い、 当該所定の逆変換がなされた信号に対 して、 非線形特性に基づいて第 2の逆量子化を行う よう にする。
さ らに本発明の画像記録媒体において、 所定の画像信号の少な く とも 一部の信号帯域を、 非線形特性に基づいて量子化して第 1 の量子化係数 を生成し、 第 I の量子化係数に対して、 所定のブ π ック単位毎に、 所定 の変換処理を行って変換係数を生成し、 変換係数を量子化して第 2の量 子化係数を生成し、 第 2の量子化係数を可変長符号化し、 可変長符号化 された信号を記録媒体に記録するよう にする。 また、 本発明の画像信号符号化装置は、 所定の画像信号の少な く と も 一部の信号帯域を、 非線形特性に基づいて量子化して第 1 の量子化係数 を生成する第 1 の量子化手段 7 0 と、 第 1 の量子化係数に対して、 所定 のブ ック単位毎に、 所定の変換処理を行って変換係数を生成する変換 手段 5 6 と、 当該変換係数を量子化して第 2の量子化係数を生或する第 2の量子化手段 5 7 と、 当該第 2の量子化係数を可変長符号化する可変 長符号化手段 5 8 とを有するよう にする。
さ らに、 本発明の画像信号復号化装置は、 受信した符号化画像信号を 可変長復号化する可変長復号化手段 8 2 と、 可変長復号化された信号に 対して第 1 の逆量子化を行う第 1 の逆量子化手段 6 0 と、 第 1 の逆量子 化がなされた信号に対して、 所定のブロ ック単位で、 所定の逆変換処理 を行う逆変換手段 6 1 と、 所定の逆変換がなされた信号に対して、 非線 形特性に基づいて第 2の逆量子化を行う第 2の逆量子化手段 7 1 とを有 するよう にする。
動画像信号を所定の予測画像信号を用いて符号化し、 符号化された信 号に所定の演算を施し、 演算により得られた信号を量子化し、 量子化し た信号を可変長符号化する際に、 画像信号の S N比が低下する信号の帯 域を、 非線形特性に基づいて量子化して強調させる。 そして復号側にお いては、 符号側と逆の特性を持つ非線形特性に基づいて復号信号を逆量 子化し復調する。 これによ り、 画像の歪みと画像の細かい模様の区別が 難しかった場合でも、 画像信号の平坦部にある模様の低減を押えること ができ るので、 ノ ィ ズを低減させながら画像の細かい模様情報の低減は 押え、 S N比の改善と視覚的印象を改善し得る。 図面の簡単な説明
図 1 ( A ) は本発明による画像信号符号化装置の一実施例の構成を示 すブ σ ック図である。 図 1 (B) は本発明による画像信号符号化装置の他の実施例の構成を 示すブ ϋ ック図である。
図 2 ( Α) 及び 2 (Β) は非線形量子化回路の構成を示すブ ック図 である。
図 3 は非線形量子化特性の説明に供する特性曲線図である。
図 4 ( Α) 及び 4 (Β ) は非線形逆量子化回路の構成を示すブ ック 図である。
図 5 は非線形量子化特性の説明に供する特性曲線図である。
図 6 は非線形量子化回路での信号の変化の説明に供する信号波形図で ある。
図 7 は非線形量子化特性の説明に供する特性曲線図である。
図 8 は非線形逆量子化回路での信号の変化の説明に供する信号波形図 である。
図 9 は非線形逆量子化特性の説明に供する特性曲線図である。
図 1 0 (Α ) は本発明による動画像復号化装置の一実施例の構成を示 すブロ ック図である。
図 1 0 (Β) は本発明による動画像復号化装置の他の実施例の構成を 示すブ^ ック図である。
図 1 1 は第 2の実施例における非線形量子化回路の構成を示すブ η ッ ク図である。
図 I 2 は第 2の実施例における非線形逆量子化回路の構成を示すプロ ック図である。
図 1 3 ( Α) 及び 1 3 (Β) は非線形量子化回路の量子化特性の説明 に供する特性曲線図である。
図 1 4 ( Α) 及び 1 4 (Β) は非線形逆量子化回路の逆量子化特性の 説明に供する特性曲線図である。
図 1 5 ( A ) は第 4の実施例における動画像符号化装置の構成を示す ブ ϋ ック図である。
図 1 5 ( Β ) は第 6の実施例における動画像符号化装置の構成を示す ブロ ック図である。
図 1 6 ( Α ) は第 4の実施例における動画像復号化装置の構成を示す ブロ ック図である。
図 1 6 ( Β ) は第 6の実施例における動画像復号化装置の構成を示す ブロ ック図である。
図 1 7 はフ レーム間相関を利用した場合の動画像信号の圧縮符号化の 原理の説明に供する略線図である。
図 1 8 は画像データを圧縮する場合における ビクチャのタイプの説明 に供する略線図である。
図 1 9 は動画像信号を符号化する原理の説明に供する略線図である。 図 2 0 は画像信号の符号化装置と復号化装置の構成を示すプロ ック図 である。
図 2 1 は図 2 0 におけるフォーマツ ト変換回路のフォーマツ ト変換の 動作の説明に供する略線図である。
図 2 2 は図 2 0 におけるエンコーダの構成を示すブロ ック図である。 図 2 3 は図 2 2 における予測モー ド切り替え回路の動作の説明に供す る略線図である。
図 2 4 は図 2 2 における D C Τモー ド切り替え回路の動作の説明に供 する略線図である。 ·
図 2 5 は図 2 0のデコーダの構成例を示すブロ ック図である。 発明を実施するための最良の形態
( 1 ) 第 】 の実施例
図 1 ( Α ) においては全体と して本発明の第 1 の実施例を示し、 この 実施例では非線形量子化回路 （N L Q ) 7 0及び非線形逆量子化回路 （ N L I Q ) 7 1 を除き、 上述した図 2 2 に示す従来の動画像符号化装置 と同様の構成である。 非線形量子化回路 7 0 を図 2 ( A ) を用いて説明 する。 すなわち、 非線形量子化回路 7 0 には、 ィ ン ト ラ符号化マク ブ ロ ックの場合には現画像の画素値が、 またフ レーム間又はフィ ール ド間 符号化マク nブ u ックの場合には動き補償を行った後のフ レーム間又は フィ 一ル ド間差分値が、 それぞれ入力端子 2 0 0 にブ ϋ ック単位、 すな わち 8 X 8画素単位で供給される。 入力端子 2 0 0 に供給された画像信 号 S 2 0 1 は、 ロ ーパスフィ ルタ （ L P F ) 2 0 1 及び加算器 2 0 2 に 入力される。 一パスフィ ルタ 2 0 1 では入力画像信号 S 2 0 1 の低周 波成分が各ブ D ック毎に取り出される。 η —パスフィ ルタ 2 0 1 の出力 は加算器 2 0 2及び 2 0 4 に出力される。
加算器 2 0 2では入力画像信号 S 2 0 1 と D—パスフィ ルタ 2 0 1 の 出力値 S 2 0 2の差分が各ブ i ックの対応する画素ごとに計算され出力 される （ S 2 0 3 ) 。 ーパスフィ ルタ 2 0 1 の出力値 S 2 0 2 は画像 信号の低周波成分であるから、 加算器 2 0 2の出力 S 2 0 3 は画像の高 周波成分の振幅を示す信号である。 信号 S 2 0 3 は高周波信号の非線形 量子化回路 2 0 3 に入力される。
髙周波信号の非線形量子化回路 2 0 3 は図 3 に示す非線形特性を用い、 非線形量子化を行う。 図中の横軸は入力画像信号 S 2 0 3の値 （振幅値 ) であり、 縦軸は出力信号 S 2 0 4の値 （振幅値） である。 なおこ こで は、 正側特性のみを示す。 負側は、 原点対象である。 y = xが示す点線 力 線形量子化特性を表す。 線形量子化特性を用いる場合、 高周波信号 の非線形量子化回路 .2 0 3 の入力信号 S 2 0 3 と出力信号 S 2 0 4 は同 一の信号となり、 従って菲線形量子化回路 7 0の入力信号と出力信号は 同一の信号となる。 図 3では非線形特性を N Cと して一例を示すが、 非 線形量子化特性はいく つか考えられる。 従って図 3の特性の場合、 入力 信号 S 2 0 3 よ り も大きな値が S 2 0 4 と して出力される。 高周波信号の非線形量子化回路 2 0 3の出力信号 S 2 0 4 は加算器 2 0 4 に入力される。 加算器 2 0 4では信号 S 2 0 4及び n —パス フ ィ ル タ 2 0 1 の出力信号 S 2 0 2 を各プ ックの対応する画素ごとに加算し その和を出力する （ S 2 0 5 ) 。
S 2 0 2 は非線形量子化回路 7 0 に入力された画像信号 S 2 0 1 の低 周波成分であり、 S 2 0 4 は S 2 0 1 の非線形量子化後の高周波成分で ある。 従って非線形量子化回路 7 0の出力 S 2 0 5 は入力信号 S 2 0 1 の髙周波成分を強調した信号となる。 非線形量子化回路 7 0 によって高 域が強調された画像信号は、 D C T回路 5 6 に入力される。
従来と同様に D C T回路 5 6 は 8 X 8画素のブ πック毎に D C Τ変換 を行い、 量子化回路 5 7 に変換後の値を入力し、 量子化後の値は可変長 符号化回路 5 8 に入力される。 また量子化回路 5 7の出力は、 逆量子化 回路 6 0 にも入力される。 逆量子化回路 6 0では量子化回路 5 7 の逆の 操作を行う。 逆 D C Τ回路 6 1 は逆量子化回路 6 0の出力値を逆 D C T 変換した後、 復元された信号を非線形逆量子化回路 7 1 に入力する。 非線形逆量子化回路 7 1 は図 4 ( Α ) に示すよう に構成され、 非線形 量子化回路 7 0の逆の操作を行う。 非線形逆量子化回路 7 1 の入力端 4 0 0 より入力されたブロ ック単位信号 S 4 0 1 は π —パス フ ィ ルタ 4 0 1 及び加算器 4 0 2 に入力される。 π —パス フ ィ ルタ 4 0 1 では信号 S 4 0 1 の低周波成分が抽出される。 u —パスフィ ルタ 4 0 1 の出力信号 S 4 0 2 は加算器 4 0 2及び 4 0 4 に入力される。 加算器 4 0 2 では信 号 S 4 0 1 及び S 4 0 2の差分が各ブ π ックの対応する画素ごとに求め られ出力される （ S 4 0 3 ) 。 これにより信号 S 4 0 2 は信号 S 4 0 1 の低周波成分、 信号 S 4 0 3 は信号 S 4 0 1 の高周波成分を表す。 信号 S 4 0 3 は高周波信号の非線形逆量子化回路 4 0 3 に入力される。 高周波信号の非線形逆量子化回路 4 0 3 は図 5 に示す非線形特性 I Ν Cを用い、 非線形量子化を行う。 図 5 に示す非線形特性 I N Cは、 図 3 に示した非線形特性 N C と対称な特性を有する。 すなわち、 図 3及び図 5 における各特性は、 直線 y = Xに対して対称となっている。 なおこ こ でも、 正側特性のみを示す。 負側は、 原点対象である。
図 5の横軸は入力画像信号 S 4 0 3の値 （振幅値） であり、 縦軸は出 力信号 S 4 0 4の値 （振幅値） である。 y = Xが示す点線が線形逆量子 化特性を表す。 線形逆量子化特性を用いる場合、 高周波信号の非線形逆 量子化回路 4 0 3の入力信号 S 4 0 3 と出力信号 S 4 0 4 は同一の信号 とな り、 従って非線形逆量子化回路 7 】 の入力信号と出力信号は同一の 信号となる。
また高周波信号の菲線形逆量子化回路 4 0 3で使用する逆量子化特性 は、 高周波信号の非線形量子化回路 2 0 3 で使用した量子化特性の逆の 操作を行う逆量子化特性でなければならない。 高周波信号の非線形逆量 子化回路 4 0 3の出力は、 加算器 4 0 4 に入力される。 加算器 4 0 4 は 信号 S 4 0 4及び信号 S 4 0 2 を各ブ ϋ ックの対応する画素ごとに加算 し出力する （ S 4 0 5 ) 。 以上のよう に非線形逆量子化回路 Ί 1 は非線 形量子化回路 7 0 により強調された高周波成分をもとに戻す操作を行う ( このような非線形量子化操作が、 変換符号化によって生じたモスキー ト ノ イ ズ等のノ イ ズを低減する原理を説明する。 図 6 は図 2 ( A ) の非 線形量子化回路 7 0での信号の変化の様子を示す。 （ a ) は信号 S 2 0 】 の 1 例である。 （ a ) の信号は口 一パス フ ィ ルタ 2 0 1 によ り （ b ) のような低周波成分が抽出される。 これが信号 S 2 0 2である。
一方加算器 2 0 2 により S 2 0 I と S 2 0 2の差分がと られ、 高周波 成分と して信号 S 2 0 3力く ( d ) のよう に出力される。 このときの信号 の最大値と平坦部の差を A！ とする。 このとき高周波成分を非線形量子 化することによ り強調する。 高周波信号の非線形量子化回路 2 0 3の出 力 S 2 0 4 を （ e ) に示す。 このとき信号の最大値と平坦部の差は A 2 となる （ A 2 > A ι ) 。 加算器 2 0 4 は信号 S 2 0 2 と信号 S 2 0 4 を 加算し、 出力信号 S 2 0 5 を生成する （ f ) 。
図 7 に非線形量子化特性を示す。 横軸は入力信号の値、 縦軸は出力信 号の値である。 なおここでは、 正側特性のみを示す。 負側は、 原点対象 である。 ここで、 変換符号化の際に生じる歪み、 ノ イズ成分の最大値は 変換回路 （この実施例の場合 D C T回路） に入力する信号の最大値の 50 9 の値を持つと仮定する。 すなわち、 変換回路への入力の最大値と線形 の関係にある。 入力信号の最大値が である場合を考える。 非線形量 子化を行わない場合、 変換符号化によって生じる歪みの最大値は N！ で あるとする （図 7 ) 。 非線形量子化を行った場合、 A , は A 2 = a X A ！ となる。 このとき、 歪みの最大値は D C Tに入力する信号の 50%であ ることから、 非線形量子化後の値を D C T変換することによって生じる 歪みの最大値は、 N 2 = a X N！ となると考えられる。
図 8 は、 図 4 ( A ) の非線形逆量子化回路 7 1 での信号の変化の様子 を示す。 （ a ) は図 6の （ f ) の信号を D C T変換回路 5 6、 量子化回 路 5 7、 逆量子化回路 6 0、 逆 D C T回路 6 1 によって処理を行った後- 菲線形逆量子化回路 7 1 に入力された信号 S 4 0 1 を示す。 信号 S 4 0 1 から n —パス フ ィ ルタ 4 0 】 によ り低周波成分 S 4 0 2が抽出される c 信号 S 4 0 2 を （ b ) に示す。
加算器 4 0 2 は信号 S 4 0 1 と信号 S 4 0 2の差分をとることによ り、 高周波成分 S 4 0 3 を抽出する。 S 4 0 3 を （ d ) に示す。 この （ d ) に示される信号には、 変換符号化によって生じた歪みが付加されている このとき信号の最大値は A 2 ' 、 歪みの最大値は N 2 ' であるとする。 高周波信号の非線形逆量子化回路 4 0 3の出力 S 4 0 3 を （ e ) に示 す。 また逆量子化特性を図 9 に示す。 非線形逆量子化により、 信号の最 大値は A 3 = A ' a となる。 またこのとき歪みの最大値は N 3 とな る。 非線形逆量子化を行わない場合の歪みの最大値は、 N 2 ' Z a とな る。 非線形量子化を行わない場合と比較すると、 - だけ歪みの 最大値が減少したことがわかる。
以上のような方法によ り、 高周波成分を強調して符号化することによ り、 歪みを減少させることが可能となる。 この非線形量子化操作は、 上 述したよう に変換回路 （この実施例の場合 D C T変換回路） に入力する ブ D ック単位で行う。 これは変換符号化によって生じる劣化は、 ブ ッ ク内で閉じているためである。 このことによ り、 ブ ック を越えて必要 以上に情報を失う ことを防ぐことができる。
図 1 0 ( A ) に第 1 の実施例における動画像復号化装置を示す。 非線 ' 形逆量子化回路 （N L I Q ) 9 1 を除き、 従来と同様であるので、 既に 従来例にて説明してある部分については、 説明を省略する。 この非線形 逆量子化回路 9 1 について説明すると、 非線形逆量子化回路 9 1 は、 図 1 及び図 4 ( A ) に上述した非線形逆量子化回路 7 1 と同様の回路であ り、 非線形量子化回路 7 0 と逆の操作を行うためのものである。 またこ のとき、 非線形量子化回路 7 0の持つ非線形量子化特性及び非線形逆量 子化回路 9 1 の持つ非線形逆量子化特性は、 互いに逆の特性を持つ。 この実施例においては非線形量子化回路を D C T回路の直前に、 また 非線形逆量子化回路を逆 D C T回路の直後に設けることによ り、 画像信 号符号化装置及び画像信号復号化装置の間で整合性を保つことが出来る, またこの実施例における方法では、 画像信号復号化装置が非線形逆量子 化回路を持たない場合においても最低限の画像を再生することが可能で ある。 画像信号復号装置が非線形逆量子化回路を持たない場合、 高周波 成分が強調されたままの信号が復号され表示される。 この場合の画像信 号復号装置は従来例と同様である。
また非線形逆量子化器 9 1 の逆量子化特性と非線形量子化器 7 0 の量 子化特性は、 互いに正反対の特性である必要は必ずしもない。 量子化特 性のエンファ シス よ り も逆量子化特性のディ ェ ンファ シスが大きい場合 は、 復号画像に口一パスフ ィ ルタ をかけた効果が得られ、 それと逆の場 合には、 復号画像に輪郭強調をかけた効果が得られる。
以上の構成によれば、 符号化により S N比が悪く な りがちな信号帯域 に、 非線形特性をもつ前処理及び後処理を連携して施すことによ り、 S N比を効果的に改善できる。 すなわち S N比が悪い信号帯域において、 モスキー ト ノ イ ズは低減させながらも、 画像の細かい模様情報の低減は 押えることができ、 これにより、 従来画像の歪みと画像の細かい模様の 区別が難しかった場合でも、 画像信号の平坦部にある模様の低減を押え ることができ るので、 S N比の改善と視覚的印象の改善を図ることがで き る。
さ らに変換符号化における歪みは変換に用いるブ ック内で閉じて発 生するので、 上述の前処理及び後処理の操作を変換符号化を行ぅブ o ッ ク単位で閉じて行う ことにより、 モスヰ一ト ノ ィ ズの時間方向への伝搬 を小さ くすることが可能となる。 これにより従来動き補償予測を用いて いるために、 時間方向へ歪みノ ィ ズが伝搬することによ り見られたノ ィ ズの揺らぎが軽減され、 視覚的印象の改善を図ることができ る。
( 2 ) 第 2の実施例
第 2の実施例は第 1 の実施例の変形であり、 非線形量子化回路 （N L Q ) 7 0及び非線形逆量子化回路 （^1 し 1 ¾ ) 7 1 、 9 1 を除き上述し た第 I の実施例と同一構成である。 すなわち、 第 2の実施例における非 線形量子化回路 7 0の内部構成を図 1 1 に示す。 非線形量子化回路 7 0 に入力される画像信号 S 1 1 0 0 はブ σ ック単位で、 パン ドパス フ ィ ル タ 1 ( 1 1 0 1 ) 〜バン ドパス フ ィ ルタ η ( 1 1 O n ) に入力される。
ノぺ' ン ドパス フ イ ノレタ 1 ( 1 I 0 I ) 〜バン ドパス フ ィ ルタ n ( 1 1 0 n ) はそれぞれ異なる通過周波数帯域を持つフ ィ ルタである。 バ ン ド パ ス フ ィ ルタ 1 ( 1 1 0 】 ） が最も通過周波数帯域の低いフ ィ ルタ （ 一 パス フ イ ノレタ ） であり、 バン ドパス フ ィ ルタ n ( 1 】 O n ) が最も通過 周波数帯域が高いフ ィ ルタ （ハイ パス フ ィ ルタ ） である。
バン ドパス フ ィ ルタ の出力信号 S 1 1 0 1 〜 S 1 1 0 n は第 1 の非線 形量子化回路 （ 1 1 2 1 ) 〜第 nの非線形量子化回路 （ 1 1 2 n ) にそ れぞれ入力される。 入力信号 S 1 1 0 0の各周波数成分に対し、 周波数 に応じて異なる量子化特性の非線形量子化を行う。
図 1 1 に示す各非線形量子化回路の量子化特性の例を図 1 3 ( A ) に 示す。 第 1 の非線形量子化回路 （ 1 1 2 1 ) の周波数特性は図 1 3 ( A ) における特性 1 であり、 また第 nの非線形量子化回路 （ 1 1 2 η ) の 量子化特性は特性 nである。 周波数成分が低く なるにつれ、 線形量子化 特性 （ y = x ) に近く なるような量子化特性を用いる。 従って高周波成 分ほど強調されることになる。 非線形量子化回路からの出力信号 S 1 1 2 1 〜 S 1 1 2 n は加算器 1 1 3 0 に入力される。 加算器 1 1 3 0 では 非線形量子化後の各周波数成分を加算し出力する （ S 1 1 3 0 ) 。
次にこの実施例における非線形逆量子化回路 7 1 及び 9 1 を図 1 2 を 用いて説明する。 図 1 2 は非線形逆量子化回路 7 1 及び 9 1 の構成図で ある。 すなわち逆 D C T回路からの出力信号 S 1 2 0 0 は第 1 のバ ン ド パス フ ィ ルタ （ 1 2 0 1 ) 〜第 πのバン ドパス フ ィ ノレタ （ 1 2 0 η ) に 入力される。 第 1 のバン ドパス フ ィ ルタ （ 1 2 0 1 ) から第 πのバ ン ド パス フ ィ ルタ η ( 1 2 0 η ) は、 それぞれ異なる通過帯域を持ったフ ィ ルタである。 第 〗 のバン ドパス フ ィ ルタ （ 1 2 0 1 ) が最も低い通過帯 域をもつフ ィ ルタ （ 一パス フ ィ ルタ ） であり、 第 ηのバ ン ドパス フ ィ タ （ 1 2 O n ) が最も高い通過帯域を持つフ ィ ルタ （ハイ バス フ ィ ル タ） である。
ノ ン ドバス フ ィ ルタ （ 1 2 0 I 〜 I 2 0 η ) からの出力信号 S 1 2 0 1 ~ S 1 2 0 η は、 第 1 の非線形逆量子化回路 （ 1 2 2 1 ) 〜第 ηの非 線形逆量子化回路 （ 1 2 2 η ) にそれぞれ入力される。 逆 D C T回路か らの信号 S 1 2 0 0の各周波数成分に対し、 周波数に応じて異なる逆量 子化特性の非線形逆量子化を行う。
図 1 2 に示す各非線形逆量子化回路の逆量子化特性の例を図 1 4 ( A ) に示す。 第 1 の非線形逆量子化回路 （ 1 2 2 1 ) の周波数特性は、 図 1 4 ( A ) における特性 1 であり、 また第 nの非線形逆量子化回路 （ 1 2 2 η ) の量子化特性は特性 πである。 周波数成分が低く なるにつれ、 線形量子化特性 （ y = x ) に近く なるような逆量子化特性を用いる。 こ の時、 各逆量子化特性は量子化特性の逆の操作を行う特性でなければな らない。 例えば逆量子化特性 1 は量子化特性 1 の逆の操作を行う特性で なければならない。 これはすなわち、 量子化特性 1 と逆量子化特性 1 は y = Xについて対称の関係になければならない。
非線形逆量子化回路からの出力信号 S 1 2 2 1 から S 1 2 2 n は加算 器 1 2 3 0 に入力される。 加算器 1 2 3 0では非線形量子化後の各周波 数成分を加算し、 出力する （ S 1 2 3 1 ) 。 この非線形逆量子化回路 7 1、 9 1 により強調された高周波成分が元のレベルに戻される。 第 2の 実施例では、 以上のよう に入力画像信号の周波数成分によって異なる非 線形量子化特性で非線形量子化及び非線形逆量子化を行う ことが特徴で ある。 このように第 2の実施例の場合には、 入力信号の周波数成分に応 じて量子化特性を異なるものとすることによ り、 さ らに S N比を向上さ せることができ、 また画像の視覚的印象も向上させるこ とができ る。
( 3 ) 第 3の実施例
第 3の実施例も第 1 の実施例の変形であり、 菲線形量子化回路 7 0、 非線形逆量子化回路 7 1 及び可変長符号化回路 5 8 を除き第 1 の実施例 と同一である。 第 3の実施例における画像符号化装置の全体構成は、 図 1 ( B ) に示される構成を持つ。 また非線形量子化回路 7 0の構成は、 図 2 ( B ) に与えられる。 第 3の実施例では量子化回路の制御器 2 0 6 が高周波信号の非線形量子化回路 2 0 3で使用される量子化特性をブ n ック単位で適応的に切替える。
量子化回路の制御器 2 0 6 は入力画像信号 S 2 0 1 又は、 高周波信号 S 2 0 3の特性を各ブ π ック毎に調べ、 その特性に応じて使用する量子 化特性を決定する。 この場合、 使用する量子化特性を示す信号 Q Lを高 周波信号の非線形量子化回路 2 0 3 に出力する。 量子化特性群は例えば. 図 1 3 ( B ) で与えられる。 入力画像信号の特性とは、 例えばエッジ情 報であり、 また例えば入力信号の振幅情報であり、 また例えば輝度と色 差信号の相関である。 具体的には、 ブ D ック内に画像のエッジ部が有る 場合、 このエッジ部を強調するような量子化特性、 すなわち図 1 3 ( B ) において大きい nの値に対応する非線形量子化特性が選択される。 ま た、 ブロ ック内の信号の振幅が大きいほど、 図 1 3 ( B ) においてより 大きい nの値に対応する非線形量子化特性が選択される。 また、 輝度の 値が低く 、 且つ、 対応する色差 C b、 C r の何れか一方の値が髙ぃブ ック については、 非線形処理を行う と原画のノ ィズが目立ち易く なるた め、 図 1 3 ( Β ) の線形量子化特性 （特性 0 ) が選択される。 量子化特 性を示す信号 Q Lはまた、 可変長符号化回路 5 8 に出力される。 可変長 符号化回路 5 8では、 量子化特性を示す信号 Q Lを可変長符号化し伝送 する。
この実施例における画像復号化装置の全体構成は、 可変長復号回路 8 2及び逆量子化回路 9 】 を除き第 1 の実施例と同様で、 図 1 0 ( Β ) で 与えられる。 また非線形逆量子化回路 7 1 及び 9 1 の構成は、 図 4 ( Β ) で与えられる。 第 3の実施例では、 逆量子化回路の制御器 4 0 6が高 周波信号の非線形逆量子化回路 4 0 3で使用される逆量子化特性をブ D ック単位で適応的に切替える。 画像信号符号化装置から伝送された量子 化特性を示す信号 Q Lは、 可変長復号回路 8 2で復号され、 非線形逆量 子化回路 9 1 に逆量子化特性を示す信号 Q L ' と して出力される。
逆量子化回路の制御器 4 0 6 は逆量子化特性を示す信号 Q L ' に従つ て、 ブ ック単位で逆量子化特性を決定し、 高周波信号の非線形逆量子 化回路 4 0 3 に出力する。 高周波信号の非線形逆量子化回路 4 0 3 は、 逆量子化特性を示す信号 Q L ' に従って、 逆量子化特性をブ ック単位 で切替える。 逆量子化特性は例えば図 1 4 ( Β ) で与えられる。 このよ う に第 3の実施例の場合には、 入力画像信号の性質に応じて、 量子化特 性を適応的に切替えることによ り、 さ らに S Ν比及び'視覚的印象を向上 することができる。
上述したよう に、 本実施例では、 逆量子化特性を伝送された Q L ' に よ り適応的に切り換えるよう にしているが、 復号化画像に輪郭強調等の 効果を加えたい場合、 この Q L ' によらず、 復号化された画像信号 S 4 0 1 又は復号化された画像信号の高周波成分 S 4 0 3 に応じて適応的に 逆量子化特性を制御することもでき る。
( 4 ) 第 4の実施例
この第 4の実施例は非線形量子化回路及び非線形逆量子化回路を、 変 換回路 （この実施例の場合 D C T、 I D C T回路） の前後に設置するこ とが出来ない場合に有効な実施例である。 第 4の実施例における画像信 号符号化装置の構成図を図 1 5 ( Α ) に示す。 第 I の実施例との相違点 は非線形量子化回路 7 0が符号化装置の先頭におかれている事である。 図 I 5 ( Α ) では非線形量子化回路 7 0 は動きベク ト ル検出回路 5 0 の 前に置かれているが、 動きべク ト ル検出回路 5 0 の後、 すなわち、 動き べク ト ル検出回路 5 0及び予測モー ド切替え回路 5 2の間にあっても良 い。
非線形量子化回路 7 0の構成は、 第 1 の実施例と同様で図 2 ( Α ) に 示される。 第 4の実施例においては、 動き補償の前に非線形量子化を行 うため、 D C T回路に入力される信号そのものを処理することができな い。 非線形量子化は第 1 の実施例と同様に変換回路 （D C T回路） に入 力するブロ ック単位で行われる。 この場合、 フ レーム間又はフ ィ ール ド 間符号化を行わない場合、 すなわちィ ン ト ラ符号化マク ϋブ η ック の場 合、 第 1 の実施例と同一の結果を得ることが出来る。
第 4の実施例における画像信号復号装置を図 I 6 ( Α ) に示す。 第 1 の実施例との相違点は非線形逆量子化回路 9 1 が復号回路の最後に置か れていることである。 画像信号は復号回路 9 0で復号された後、 非線形 逆量子化回路 9 1 にて非線形逆量子化される。 非線形逆量子化回路 9 1 の構成は第 1 の実施例と同様で、 図 4 ( Α ) で与えられる。 非線形逆量 子化回路 9 1 の動作は第 1 の実施例と同様である。
第 4の実施例では非線形量子化回路が動き補償回路の前段にあるため. 符号化装置及び復号化装置の間の非線形量子化及び非線形逆量子化の間 で必ずしも整合性はとれないが、 第 1 の実施例に示した原理と同様の原 理により変換符号化により生じた歪みを除去することができ る。 このよ う に第 4の実施例の場合には、 変換回路の直前、 直後に非線形量子化回 路、 非線形逆量子化回路を設けるこ とができない場合においても、 符号 化装置の最前部及び復号装置の最後部に菲線形量子化及び非線形逆量子 化回路を設けることによ り、 S Ν比が悪い信号帯域において、 モスキー ト ノ ィ ズを低減しながらも、 画像の細かい情報の損失を防ぐことができ る。
( 5 ) 第 5の実施例
第 5の実施例は第 4の実施例及び第 2の実施例の変形である。 非線形 量子化回路及び非線形逆量子化回路を除き第 4 の実施例と同一である。 第 5の実施例における画像信号符号化回路及び画像信号復号装置の全体 構成は第 4の実施例と同様で図 1 5及び図 1 6 に示される構成を持つ。 第 5 の実施例における非線形量子化回路 7 0 の構成は第 2 の実施例と同 様で図 1 1 で与えられる。 また第 5の実施例における非線形逆量子化回 路 7 】 の構成は第 2の実施例と同様で図 1 2で与えられる。 第 5の実施 例は、 第 4の実施例を変形し、 第 2の実施例と同様に入力画像信号の周 波数成分によって異なる非線形量子化特性で非線形量子化処理を行う よ うにした実施例である。
( 6 ) 第 6の実施例
第 6 の実施例は第 4の実施例及び第 3の実施例の変形である。 非線形 量子化回路、 可変長符号化回路、 可変長復号化回路及び非線形逆量子化 回路を除き第 4の実施例と同一である。 第 6の実施例における画像信号 符号化回路及び画像信号復号装置の全体構成は図 1 5 ( B ) 及び図 1 6 ( B ) に示される構成を持つ。 第 6の実施例における非線形量子化回路 7 0の構成は第 3の実施例と同様で図 2 ( B ) で与えられる。
また第 6の実施例における非線形逆量子化回路 7 1 の構成は第 3 の実 施例と同様で図 4 ( B ) で与えられる。 第 6の実施例は、 第 4 の実施例 を変形し、 第 3 の実施例と同様に入力画像信号の特性によって非線形量 子化特性がブ ック単位で適応的に切替えられるよう にした実施例であ る。 使用した非線形量子化特性を示す信号を可変長符号化し、 画像信号 復号装置に伝送する。 画像信号復号装置では、 伝送された非線形量子化 特性を示す信号から非線形逆量子化特性を決定する。
上述のよう に本発明によれば、 符号化により S N比が悪く な りがちな 信号帯域に、 非線形特性をもつ前処理及び後処理を連携して施すこ とに より、 S N比を効果的に改善でき る。 すなわち S N比が悪い信号帯域に おいて、 モスキー ト ノ ィ ズは低減させながらも、 画像の細かい模様情報 の低減は押えることができ、 これによ り、 従来画像の歪みと画像の細か い模様の区別が難しかった場合でも、 画像信号の平坦部にある模様の低 減を押えるこ とができるので、 S N比の改善と視覚的印象の改善し得る 動画像符号化方法、 動画像復号化方法、 動画像記録媒体及び動画像符号 化装置を実現でき る。
さ らに変換符号化における歪みは変換に用いるブ ° ック内で閉じて発 生するので、 上述の前処理及び後処理の操作を変換符号化を行う プロ ッ ク単位で閉じて行う ことにより、 モスキー ト ノ ィ ズの時間方向への伝搬 を小さ く することが可能となる。 これにより従来動き補償予測を用いて いるために、 時間方向へ歪みノ ィ ズが伝搬することによ り見られたノ ィ スの揺らぎが軽減され、 視覚的印象の改善し得る動画像符号化方法、 動 画像復号化方法、 動画像記録媒体及び動画像符号化装置を実現でき る。 産業上の利用可能性
本発明の画像信号符号化方法及び画像信号符号化装置は、 ディ ジタ ル ビデオ信号を圧縮してディ スクやテープ等の記録媒体に記録するための ビデオソフ ト作成装置に利用することができ る。 また、 本発明の画像信 号符号化方法及び画像信号符号化装置は、 C A T V、 衛星放送、 テ レ ビ 会議、 テレビ電話、 ビデオオンデマン ド等のシステムにおいて、 デイ ジ タルビデオ信号を圧縮して、 有線又は無線の伝送路に送り出すための配 信装置に利用することができる。
また、 本発明の記録媒体は、 一般消費者向けのディ ジタ ルビデオディ ス クや、 レ ンタ ル業者向けのディ ジタ ルビデオディ スク と して利用でき る。
また、 本発明の画像信号復号化方法及び画像信号復号化装置は、 圧縮 ビデオ信号の記録されたディ スクやテープを再生する再生装置に利用で き る。 また、 本発明の画像信号復号化方法及び画像信号復号化装置は、 C A T V , 衛星放送、 テレビ会議、 テレビ電話、 ビデオオ ンデマン ド等 のシス テムにおいて、 伝送された圧縮ビデオ信号を再生する受信装置に 利用することができ る。

Claims

37 請 求 の 範 囲
1. 画像信号を符号化するための画像信号符号化方法において、 所定の画像信号の少なく とも一部の信号帯域を、 非線形特性に基づい て量子化して第 1 の量子化係数を生成し、
上記第 1 の量子化係数に対して、 所定のブ ック単位毎に、 所定の変 換処理を行って変換係数を生成し、
上記変換係数を量子化して第 2の量子化係数を生成し、
上記第 2の量子化係数を可変長符号化する
こ とを特徴とする画像信号符号化方法。
2. 上記非線形特性に基づく量子化は、 上記ブ D ック単位で行われる ことを特徴とする請求の範囲第 1 項に記載の画像信号符号化方法。
3. 上記非線形特性に基づく量子化は、
上記所定の画像信号を高周波信号と低周波信号に分割し、
上記高周波信号を所定の非線形特性に基づいて量子化し、
上記量子化された高周波信号と上記低周波信号とを合成するよう にし た
ことを特徴とする請求の範囲第 1 項に記載の画像信号符号化方法。
4. 上記非線形特性に基づく量子化は、
上記所定の画像信号を高周波信号と低周波信号に分割し、
上記高周波信号を、 上記所定の画像信号又は上記高周波信号の特性に 応じて適応的に切り換えられた非線形特性で量子化し、
上記量子化された高周波信号と上記低周波信号とを合成するよう にし た 38 ことを特徴とする請求の範囲第 1 項に記載の画像信号符号化方法。
5. 上記非線形特性に基づく量子化は、
上記所定の画像信号を複数の周波数成分に分割し、
上記複数の周波数成分について高周波成分ほど強調される複数の非線 形特性で量子化し、
上記量子化された複数の周波数成分を合成するよう にした
ことを特徴とする請求の範囲第 1 項に記載の画像信号符号化方法。
6. 入力画像信号と、 予測画像との差分を演算して上記所定の画像信号 を生成する
ことを特徴とする請求の範囲第 1 項に記載の画像信号符号化方法。
7. 上記非線形特性の適応的な切り換えは、 上記ブロ ック単位で行われ. 上記切り換えられた菲線形特性を識別するための識別情報を符号化す る
ことを特徴とする請求の範囲第 4項に記載の画像信号符号化方法。
8. 符号化された画像信号を復号化する画像信号復号化方法において、 受信した符号化画像信号を可変長復号化し、
上記可変長復号化された信号に対して第 1 の逆量子化を行い、 上記第 1 の逆量子化がなされた信号に対して、 所定のプロ ック単位で. 所定の逆変換処理を行い、
上記所定の逆変換がなされた信号に対して、 非線形特性に基づいて第 2の逆量子化を行う
ことを特徵とする画像信号復号化方法。
9. 上記非線形特性に基づく 逆量子化は、 上記ブ o ック単位で行われる 39 ことを特徴とする請求の範囲第 8項に記載の画像信号復号化方法。
10. 上記非線形特性に基づく逆量子化は、
上記所定の逆変換がなされた信号を高周波信号と低周波信号に分割し- 5 上記高周波信号を所定の非線形特性に基づいて逆量子化し、
上記逆量子化された高周波信号と上記低周波信号とを合成するよう に した
ことを特徴とする請求の範囲第 8項に記載の画像信号復号化方法。
1 0 1 1 . 上記非線形特性に基づく逆量子化は、
上記所定の逆変換がなされた信号を高周波信号と低周波信号に分割し- 上記高周波信号を、 適応的に切り換えられた非線形特性で逆量子化し. 上記逆量子化された高周波信号と上記低周波信号とを合成するよう に した
15 ことを特徴とする請求の範囲第 8項に記載の画像信号復号化方法。
1 2. 上記非線形特性に基づく逆量子化は、
上記所定の逆変換がなされた信号を複数の周波数成分に分割し、 上記複数の周波数成分について高周波成分ほど抑圧される複数の非線 20 形特性で逆量子化し、
上記逆量子化された複数の周波数成分を合成するよう にした
ことを特徴とする請求の範囲第 8項に記載の画像信号復号化方法。
1 3. 上記第 2の逆量子化がなされた信号と予測画像とを加算して復号化 25 画像を生成する
ことを特徵とする請求の範囲第 8項に記載の画像信号復号化方法。 40
1 4. 複数の非線形特性を識別するための識別情報を復号化し、
上記復号化された識別情報に基づいて、 上記非線形特性の適応的な切 り換えを上記プロ ック単位で行う
ことを特徴とする請求の範囲第 1 1項に記載の画像信号復号化方法。
1 5. 符号化された画像信号が記録された画像記録媒体において、 所定の画像信号の少な く とも一部の信号帯域を、 非線形特性に基づい て量子化して第 1 の量子化係数を生成し、
上記第 1 の量子化係数に対して、 所定のブ D ック単位毎に、 所定の変 換処理を行って変換係数を生成し、
上記変換係数を量子化して第 2の量子化係数を生成し、
上記第 2の量子化係数を可変長符号化し、
上記可変長符号化された信号を記録媒体に記録する
こ とによ り形成されたことを特徴とする画像信号記録媒体。
1 6. 上記非線形特性に基づく量子化は、 上記ブ D ック単位で行われる ことを特徴とする請求の範囲第 1 5項に記載の画像信号記録媒体。
1 7. 上記非線形特性に基づく量子化は、
上記所定の画像信号を高周波信号と低周波信号に分割し、
上記高周波信号を所定の非線形特性に基づいて量子化し、
上記量子化された高周波信号と上記低周波信号とを合成するよう にし た
ことを特徴とする請求の範囲第 1 5項に記載の画像信号記録媒体。
18. 上記非線形特性に基づく 量子化は、
上記所定の画像信号を高周波信号と低周波数信号に分割し、 4 1 上記高周波信号を、 上記所定の画像信号又は上記高周波信号の特性に 応じて適応的に切り換えられた非線形特性で量子化し、
上記量子化された高周波信号と上記低周波信号とを合成するよう にし た
ことを特徴とする請求の範囲第 1 5項に記載の画像信号記録媒体。
1 9. 上記非線形特性に基づく量子化は、
上記所定の画像信号を複数の周波数成分に分割し、
上記複数の周波数成分について高周波成分ほど強調される複数の^線 形特性で量子化し、
上記量子化された複数の周波数成分を合成するよう にした
ことを特徴とする請求の範囲第 1 5項に記載の画像信号記録媒体。
20 . 入力画像信号と、 予測画像との差分を演算して上記所定の画像信号 を生成する
ことを特徵とする請求の範囲第 15項に記載の画像信号記録媒体。
21 . 上記非線形特性の適応的な切り換えは、 上記ブ ック単位で行われ. 上記切り換えられた非線形特性を識別するための識別情報を符号化し. 上記符号化された識別情報を上記記録媒体に記録する
ことにより形成されたことを特徴とする請求の範囲第 1 8項に記載の画 像信号記録媒体。
22. 画像信号を符号化するための画像信号符号化装置において、
所定の画像信号の少な く とも一部の信号帯域を、 非線形特性に基づい て量子化して第 1 の量子化係数を生成する第 1 の量子化手段と、
上記第 1 の量子化係数に対して、 所定のブ n ック単位毎に、 所定の変 換処理を行って変換係数を生成する変換手段と、
上記変換係数を量子化して第 2の量子化係数を生成する第 2の量子化 手段と、
上記第 2の量子化係数を可変長符号化する可変長符号化手段と
を有することを特徴とする画像信号符号化装置。
23. 上記第 1 の量子化手段は、 上記非線形特性に基づく 量子化を、 上記 ブ ϋ ック単位で行う
ことを特徴とする請求の範囲第 22項に記載の画像信号符号化装置。
24. 上記第 1 の量子化手段は、
上記所定の画像信号を高周波信号と低周波信号に分割する手段と、 上記高周波信号を所定の非線形特性に基づいて量子化する量子化手段 と、
上記量子化された高周波信号と上記低周波信号とを合成する手段と を有することを特徴とする請求の範囲第 22項に記載の画像信号符号化
25. 上記第 1 の量子化手段は、
上記所定の画像信号を高周波信号と低周波信号に分割する手段と、 上記高周波信号を、 上記所定の画像信号又は上記高周波信号の特性に 応じて適応的に切り換えられた非線形特性で量子化する量子化手段と、 上記量子化された高周波信号と上記低周波信号とを合成する手段と を有することを特徴とする請求の範囲第 22項に記載の画像信号符号化 装置。
26. 上記第 1 の量子化手段は、 上記所定の画像信号を複数の周波数成分に分割する手段と、
上記複数の周波数成分について高周波成分ほど強調される複数の非線 形特性で量子化する量子化手段と、
上記量子化された複数の周波数成分を合成する手段と
を有することを特徴とする請求の範囲第 22項に記載の画像信号符号化 装置。
27. 入力画像信号と、 予測画像との差分を演算して上記所定の画像信号 を生成する手段を有する
ことを特徴とする請求の範囲第 22項に記載の画像信号符号化装置。
28. 上記非線形特性の適応的な切り換えは、 上記ブ ック単位で行われ. 上記可変長符号化手段は、 上記切り換えられた非線形特性を識別する ための識別情報を符号化する
ことを特徴とする請求の範囲第 25項に記載の画像信号符号化装置。
29. 符号化された画像信号を復号化する画像信号復号化装置において、 受信した符号化画像信号を可変長復号化する可変長復号化手段と、 上記可変長復号化された信号に対して第 1 の逆量子化を行う第 1 の逆 量子化手段と、
上記第 1 の逆量子化がなされた信号に対して、 所定のブ口 ック単位で 所定の逆変換処理を行う逆変換手段と、
上記所定の逆変換がなされた信号に対して、 非線形特性に基づいて第 2の逆量子化を行う第 2の逆量子化手段
を有することを特徴とする画像信号復号化装置。
30. 上記非線形特性に基づく逆量子化は、 上記ブ η ック単位で行われる 44 ことを特徴とする請求の範囲第 29項に記載の画像信号復号化装置。
31. 上記第 2の逆量子化手段は、
上記所定の逆変換がなされた信号を高周波信号と低周波信号に分割す る手段と、
上記高周波信号を所定の非線形特性に基づいて逆量子化する逆量子化 手段と、
上記逆量子化された高周波信号と上記低周波信号とを合成する手段と を有することを特徴とする請求の範囲第 29項に記載の画像信号復号化 装置。
32. 上記第 2の逆量子化手段は、
上記所定の逆変換がなされた信号を高周波信号と低周波信号に分割す る手段と、
上記高周波信号を、 適応的に切り換えられた非線形特性で逆量子化す る逆量子化手段と、
上記逆量子化された高周波信号と上記低周波信号とを合成する手段と を有することを特徴とする請求の範囲第 29項に記載の画像信号復号化
33. 上記第 2の逆量子化手段は、
上記所定の逆変換がなされた信号を複数の周波数成分に分割する手段 と、
上記複数の周波数成分について高周波成分ほど抑圧される複数の非線 形特性で逆量子化する逆量子化手段と、
上記逆量子化された複数の周波数成分を合成する手段と
を有することを特徴とする請求の範囲第 29項に記載の画像信号復号化 装置。
34. 上記第 2の逆量子化がなされた信号と予測画像とを加算して復号化 画像を生成する手段
を有することを特徴とする請求の範囲第 29項に記載の画像信号復号化 装置。
35. 上記可変長復号化手段は、 複数の非線形特性を識別するための識別 情報を復号化し、
上記第 2の逆量子化手段は、 上記復号化された識別情報に基づいて、 上記非線形特性の適応的な切り換えを上記プロ ック単位で行う
ことを特徴とする請求の範囲第 32項に記載の画像信号復号化装置。
PCT/JP1994/001868 1993-11-08 1994-11-07 Animation encoding method, animation decoding method, animation recording medium and animation encoder WO1995013682A1 (en)

Priority Applications (8)

Application Number Priority Date Filing Date Title
KR1019950702855A KR960700609A (ko) 1993-11-08 1994-11-07 동화상 부호화 방법, 동화상 복호화 방법, 동화상 기록 매체 및 동화상 부호화 장치(Animation encoding method, animation decoding method, animation recording medium and animation encoder)
BR9406469A BR9406469A (pt) 1993-11-08 1994-11-07 Processo e aparelho para codificar/decodificar sinais de imagem e suporte para gravação de sinais de imagem
AT94931688T ATE204690T1 (de) 1993-11-08 1994-11-07 Bildsignalkodierung und -dekodierung
PL94310055A PL175445B1 (pl) 1993-11-08 1994-11-07 Sposób i urządzenie do kodowania sygnału wizyjnego
DE69428034T DE69428034T2 (de) 1993-11-08 1994-11-07 Bildsignalkodierung und -dekodierung
US08/481,395 US5748243A (en) 1993-11-08 1994-11-07 Method for encoding and decoding motion picture as a function of its non-linear characteristic
EP94931688A EP0679031B1 (en) 1993-11-08 1994-11-07 Encoding and decoding picture signals
AU80672/94A AU687915B2 (en) 1993-11-08 1994-11-07 Animation encoding method, animation decoding method, animation recording medium and animation encoder

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP30356593 1993-11-08
JP5/303565 1993-11-08

Publications (1)

Publication Number Publication Date
WO1995013682A1 true WO1995013682A1 (en) 1995-05-18

Family

ID=17922543

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1994/001868 WO1995013682A1 (en) 1993-11-08 1994-11-07 Animation encoding method, animation decoding method, animation recording medium and animation encoder

Country Status (12)

Country Link
US (1) US5748243A (ja)
EP (1) EP0679031B1 (ja)
KR (1) KR960700609A (ja)
CN (1) CN1076934C (ja)
AT (1) ATE204690T1 (ja)
AU (1) AU687915B2 (ja)
BR (1) BR9406469A (ja)
CA (1) CA2153407A1 (ja)
DE (1) DE69428034T2 (ja)
ES (1) ES2159575T3 (ja)
PL (1) PL175445B1 (ja)
WO (1) WO1995013682A1 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3855286B2 (ja) * 1995-10-26 2006-12-06 ソニー株式会社 画像符号化装置および画像符号化方法、画像復号化装置および画像復号化方法、並びに記録媒体
KR100230251B1 (ko) * 1995-12-13 1999-11-15 윤종용 동영상 부호화장치에 있어서 신호처리방법 및 회로
JP4028900B2 (ja) * 1996-01-11 2007-12-26 富士通株式会社 動画像符号化装置及び動画像復号化装置
US6324301B1 (en) * 1996-01-24 2001-11-27 Lucent Technologies Inc. Adaptive postfilter for low bitrate visual telephony noise removal
US6256068B1 (en) * 1996-05-08 2001-07-03 Matsushita Electric Industrial Co., Ltd. Image data format conversion apparatus
US6678311B2 (en) 1996-05-28 2004-01-13 Qualcomm Incorporated High data CDMA wireless communication system using variable sized channel codes
JPH1093920A (ja) * 1996-09-17 1998-04-10 Nec Corp Ｍｐｅｇ２スロー再生装置
US6278735B1 (en) * 1998-03-19 2001-08-21 International Business Machines Corporation Real-time single pass variable bit rate control strategy and encoder
US6195394B1 (en) * 1998-11-30 2001-02-27 North Shore Laboratories, Inc. Processing apparatus for use in reducing visible artifacts in the display of statistically compressed and then decompressed digital motion pictures
US7433532B2 (en) * 2002-05-01 2008-10-07 Kestrel Corporation Max entropy optimized retinal camera
US7324595B2 (en) * 2003-09-22 2008-01-29 Lsi Logic Corporation Method and/or apparatus for reducing the complexity of non-reference frame encoding using selective reconstruction
US7864857B1 (en) * 2004-06-30 2011-01-04 Teradici Corporation Data comparison methods and apparatus suitable for image processing and motion search
JP4150730B2 (ja) * 2005-02-14 2008-09-17 株式会社東芝 画像符号化装置、および画像符号化方法
CN100380952C (zh) * 2005-06-06 2008-04-09 威盛电子股份有限公司 数字影像解码装置及其方法
CN100380953C (zh) * 2005-06-06 2008-04-09 威盛电子股份有限公司 数字影像解码装置及其方法
CN100384246C (zh) * 2005-06-06 2008-04-23 威盛电子股份有限公司 数字影像解码装置及其方法
JP4987322B2 (ja) * 2006-02-28 2012-07-25 株式会社東芝 動画像復号装置及び動画像復号方法
CN101098473B (zh) * 2006-06-30 2012-05-09 联想(北京)有限公司 一种图像编码方法及装置
WO2015076140A1 (ja) * 2013-11-20 2015-05-28 京セラドキュメントソリューションズ株式会社 画像圧縮伸張装置および画像形成装置
JP6669622B2 (ja) * 2016-09-21 2020-03-18 Kddi株式会社 動画像復号装置、動画像復号方法、動画像符号化装置、動画像符号化方法及びコンピュータ可読記録媒体

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62166680A (ja) * 1986-01-18 1987-07-23 Sony Corp 直交変換予測符号化方式
JPH0346483A (ja) * 1989-07-14 1991-02-27 Nippon Telegr & Teleph Corp <Ntt> 画像信号用サブバンド符号化方式
JPH03209988A (ja) * 1990-01-11 1991-09-12 Matsushita Electric Ind Co Ltd 符号化装置
JPH04152782A (ja) * 1989-12-07 1992-05-26 Toshiba Corp 画像符号化伝送装置

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4268861A (en) * 1978-09-18 1981-05-19 Massachusetts Institute Of Technology Image coding
JPS57109479A (en) * 1980-12-26 1982-07-07 Sony Corp Picture quality adjusting circuit
JPS6093682A (ja) * 1983-10-25 1985-05-25 Sony Corp デイジタル非線形プリエンフアシス回路
US5072290A (en) * 1986-09-19 1991-12-10 Canon Kabushiki Kaisha Color image signal encoding device
US4779133A (en) * 1986-10-23 1988-10-18 Nippon Television Network Corporation Low-noise television system
JP2783534B2 (ja) * 1986-11-13 1998-08-06 キヤノン株式会社 符号化装置
NL8700565A (nl) * 1987-03-10 1988-10-03 Philips Nv Televisiesysteem waarin aan een transformatiekodering onderworpen gedigitaliseerde beeldsignalen worden overgebracht van een kodeerstation naar een dekodeerstation.
US4875095A (en) * 1987-06-30 1989-10-17 Kokusai Denshin Denwa Kabushiki Kaisha Noise-shaping predictive coding system
US4953032A (en) * 1988-11-30 1990-08-28 Hitachi, Ltd. Motion signal generating circuit for use in a television receiver
US5073821A (en) * 1989-01-30 1991-12-17 Matsushita Electric Industrial Co., Ltd. Orthogonal transform coding apparatus for reducing the amount of coded signals to be processed and transmitted
JPH0832047B2 (ja) * 1989-04-28 1996-03-27 日本ビクター株式会社 予測符号化装置
ES2040499T3 (es) * 1989-05-12 1993-10-16 Rai Radiotelevisione Italiana Dispositivo mejorado para la codificacion por transformada cosinusoidal de videosenales digitales.
US5016104A (en) * 1989-06-22 1991-05-14 Massachusetts Institute Of Technology Receiver-compatible noise reduction systems
DE3925663A1 (de) * 1989-08-03 1991-02-07 Thomson Brandt Gmbh Digitales signalverarbeitungssystem
US5542008A (en) * 1990-02-28 1996-07-30 Victor Company Of Japan, Ltd. Method of and apparatus for compressing image representing signals
US5136377A (en) * 1990-12-11 1992-08-04 At&T Bell Laboratories Adaptive non-linear quantizer
KR940000468B1 (ko) * 1991-01-22 1994-01-21 삼성전자 주식회사 적응 변조에 의한 영상신호 송수신 방식 및 회로
JPH05167891A (ja) * 1991-12-17 1993-07-02 Sony Corp ２次元ノイズシェーピングフイルタ回路
US5434623A (en) * 1991-12-20 1995-07-18 Ampex Corporation Method and apparatus for image data compression using combined luminance/chrominance coding
KR0141824B1 (ko) * 1991-12-23 1998-07-15 구자홍 가변길이의 적응 영상 압축 방법 및 장치
JP2621747B2 (ja) * 1992-10-06 1997-06-18 富士ゼロックス株式会社 画像処理装置
JP3291597B2 (ja) * 1993-06-07 2002-06-10 日本テキサス・インスツルメンツ株式会社 動き検出回路及びノイズ低減回路
US5517327A (en) * 1993-06-30 1996-05-14 Minolta Camera Kabushiki Kaisha Data processor for image data using orthogonal transformation
US5487087A (en) * 1994-05-17 1996-01-23 Texas Instruments Incorporated Signal quantizer with reduced output fluctuation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62166680A (ja) * 1986-01-18 1987-07-23 Sony Corp 直交変換予測符号化方式
JPH0346483A (ja) * 1989-07-14 1991-02-27 Nippon Telegr & Teleph Corp <Ntt> 画像信号用サブバンド符号化方式
JPH04152782A (ja) * 1989-12-07 1992-05-26 Toshiba Corp 画像符号化伝送装置
JPH03209988A (ja) * 1990-01-11 1991-09-12 Matsushita Electric Ind Co Ltd 符号化装置

Also Published As

Publication number Publication date
DE69428034D1 (de) 2001-09-27
EP0679031B1 (en) 2001-08-22
US5748243A (en) 1998-05-05
DE69428034T2 (de) 2002-04-18
BR9406469A (pt) 1996-01-23
ATE204690T1 (de) 2001-09-15
EP0679031A4 (en) 1999-01-20
PL175445B1 (pl) 1998-12-31
PL310055A1 (en) 1995-11-13
CN1076934C (zh) 2001-12-26
CA2153407A1 (en) 1995-05-18
ES2159575T3 (es) 2001-10-16
AU8067294A (en) 1995-05-29
AU687915B2 (en) 1998-03-05
KR960700609A (ko) 1996-01-20
EP0679031A1 (en) 1995-10-25
CN1116480A (zh) 1996-02-07

Similar Documents

Publication Publication Date Title
US6587509B1 (en) Reducing undesirable effects of an emphasis processing operation performed on a moving image by adding a noise signal to a decoded uncompressed signal
JP3163830B2 (ja) 画像信号伝送方法及び装置
WO1995013682A1 (en) Animation encoding method, animation decoding method, animation recording medium and animation encoder
JPH07123447A (ja) 画像信号記録方法および画像信号記録装置、画像信号再生方法および画像信号再生装置、画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JPH06205438A (ja) 画像信号符号化方法および画像信号符号化装置、画像信号復号化方法および画像信号復号化装置、ならびに画像信号記録媒体
JPH08237669A (ja) 画像信号処理装置、画像信号処理方法および画像信号復号化装置
JP3911035B2 (ja) 動画像符号化方法及び動画像符号化装置
US6256349B1 (en) Picture signal encoding method and apparatus, picture signal transmitting method, picture signal decoding method and apparatus and recording medium
JP3980659B2 (ja) 動画像符号化方法及び装置、動画像復号化方法及び装置。
JPH0818979A (ja) 画像処理装置
US6556714B2 (en) Signal processing apparatus and method
EP0541287B1 (en) Video signal coding apparatus and decoding apparatus
JPH07231449A (ja) 画像信号符号化装置及び画像信号復号化装置
JPH08172628A (ja) 変換符号化された画像データの復号化時に生じる量子化ノイズの低減方法及び変換符号化された画像データの復号化装置
JP4121567B2 (ja) 動画像符号化方法、動画像復号化方法、動画像符号化装置及び動画像復号化装置
JPH07107464A (ja) 画像符号化装置および復号化装置
JP3322376B2 (ja) 動画像復号化方法及び動画像復号化装置
JP3480980B2 (ja) 画像信号伝送方法及び装置、並びに画像信号復号化方法及び装置
JPH06276482A (ja) 画像信号符号化方法、装置、復号化方法及び装置
JP3516622B2 (ja) 復号化装置及び方法
JP3307379B2 (ja) 復号化装置及び方法
JP3500340B2 (ja) コーディング装置及び方法
JP3516621B2 (ja) 符号化装置及び方法
JPH10327413A (ja) 画像符号化方法及び装置、画像復号装置、画像復号化復号装置、イントラ符号化制御方法、並びにイントラ符号化制御処理を行う無線画像通信端末装置
JP3164110B2 (ja) 符号化装置及び方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 94190890.9

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): AU BR CA CN KR PL RU US VN

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT DE ES FR GB IT NL

WWE Wipo information: entry into national phase

Ref document number: 1994931688

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2153407

Country of ref document: CA

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 08481395

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1994931688

Country of ref document: EP

WWG Wipo information: grant in national office

Ref document number: 1994931688

Country of ref document: EP