DE60310842T2 - Verfahren zur Codierung und Decodierung von H.264 Bildern mittels eines virtuellen Anzeigepuffers. - Google Patents

Verfahren zur Codierung und Decodierung von H.264 Bildern mittels eines virtuellen Anzeigepuffers. Download PDF

Info

Publication number
DE60310842T2
DE60310842T2 DE2003610842 DE60310842T DE60310842T2 DE 60310842 T2 DE60310842 T2 DE 60310842T2 DE 2003610842 DE2003610842 DE 2003610842 DE 60310842 T DE60310842 T DE 60310842T DE 60310842 T2 DE60310842 T2 DE 60310842T2
Authority
DE
Germany
Prior art keywords
image
picture
decoded
memory
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE2003610842
Other languages
English (en)
Other versions
DE60310842D1 (de
Inventor
Chong Soon Lim
Teck Wee Foo
Sheng Mei Shen
Shinya Nishinomiya-shi Kadono
Satoshi Yawata-shi Kondo
Makoto Moriguchi-shi HAGAI
Kiyofumi Abe
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of DE60310842D1 publication Critical patent/DE60310842D1/de
Application granted granted Critical
Publication of DE60310842T2 publication Critical patent/DE60310842T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/60—Memory management
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/18—Timing circuits for raster scan displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H04N19/126—Details of normalisation or weighting functions, e.g. normalisation matrices or variable uniform quantisers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/423—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation characterised by memory arrangements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/55—Motion estimation with spatial constraints, e.g. at image or region borders
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs
    • H04N21/44004—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream, rendering scenes according to MPEG-4 scene graphs involving video buffer management, e.g. video decoder buffer or video display buffer
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2360/00—Aspects of the architecture of display systems
    • G09G2360/12—Frame memory handling

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Color Television Systems (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)

Description

  • Technisches Gebiet
  • Die vorliegende Erfindung bezieht sich auf ein Bildcodierungsverfahren zum effizienten Komprimieren eines bewegten Bildes, und ein Bilddecodierungsverfahren zum korrekten Decodieren des codierten Bildes und zum Anzeigen desselben.
  • Stand der Technik
  • Mit dem Aufkommen des Multimediazeitalters, das Audio-, Video- und Pixelwerte von anderen integral handhabt, sind bestehende Informationsmedien, wie z. B. Zeitungen, Zeitschriften, Fernsehgeräte, Radiogeräte und Telephone sowie andere Mittel, über die Informationen unter das Volk gebracht werden, in den Multimediabereich gelangt. Allgemein ausgedrückt bezieht sich Multimedia auf etwas, das repräsentiert wird durch Assoziation nicht nur mit Zeichen, sondern auch mit Graphiken, Ton und insbesondere Bildern und dergleichen gemeinsam. Um jedoch die obenerwähnten bestehenden Informationsmedien in den Multimediabereich zu integrieren, erscheint es als Voraussetzung, solche Informationen in digitaler Form darzustellen.
  • Wenn jedoch die Informationsmenge berechnet wird, die in jedem der obenerwähnten Informationsmedien als Menge an digitaler Information enthalten ist, erfordert die Informationsmenge pro Zeichen 1-2 Bytes, während der Ton mehr als 64 Kbits (Telephonqualität) pro Sekunde erfordert, und für ein bewegtes Bild mehr als 100 Mbits (derzeitige Fernsehaufnahmequalität) pro Sekunde erfordert. Es ist daher nicht realistisch, die Unmengen an Informationen direkt im digitalen Format über die obenerwähnten Informationsmedien zu handhaben. Zum Beispiel wurde ein Videotelephon bereits über ISDN (Integrated Services Digital Network) im praktischen Gebrauch mit einer Übertragungsrate von 64 Kbit/s bis 1,5 Mbit/s verwirklicht, jedoch ist es nicht praktikabel, Videos zu übermitteln, die vom Fernsehbildschirm abgenommen oder von einer Fernsehkamera aufgenommen worden sind. Dies erfordert daher Informationskompressionstechniken, wobei z. B. im Fall der Videotelephonie Videokompressionstechniken konform mit den Normen H.261 und H.263 verwendet werden, die von ITU-T (International Telecommunication Union – Telecommunication Standardization Sector) international vereinbart worden sind. Gemäß den Informationskompressionstechniken, die mit der Norm MPEG-1 konform sind, können Bildinformationen sowie Musikinformationen auf einer gewöhnlichen Musik-CD (Compaktdisc) gespeichert werden.
  • Hierbei ist MPEG (Moving Picture Experts Group) eine internationale Norm zum Komprimieren von bewegten Bildsignalen, wobei MPEG-1 eine Norm ist, die Videosignale auf 1,5 Mbit/s komprimiert, d. h. Informationen von Fernsehsignalen etwa auf ein Hunderstel herunter komprimiert. Die Übertragungsrate innerhalb des Umfangs der MPEG-1-Norm ist vornehmlich auf etwa 1,5 Mbit/s begrenzt, weshalb MPEG-2, die im Hinblick auf die Erfüllung der Anforderungen von qualitativ hochwertigen Bildern vereinbart wurde, eine Datenübertragung von bewegten Bildsignalen mit einer Rate von 2-15 Mbit/s erlaubt. Unter den vorliegenden Umständen hat eine Arbeitsgruppe (ISO/IEC JTC1/SC29/WG11) im Auftrag der Normung von MPEG-1 und MPEG-2 eine Kompressionsrate erreicht, die über das hinausgeht, was MPEG-1 und MPEG-2 erreicht haben, Codierungs/Decodierungsoperationen auf objektweiser Basis verwirklicht und MPEG-4 vereinbart, um eine neue Funktion zu verwirklichen, die im Multimediazeitalter erforderlich ist. Im Verlauf der Vereinbarung von MPEG-4 wurde auf die Normung des Codierungsverfahrens für eine niedrige Bitrate gezielt, jedoch wird das Ziel derzeit auf eine vielseitigere Codierung von bewegten Bildern mit einer hohen Bitrate einschließlich verschachtelten Bildern erweitert.
  • Seit kurzem befindet sich eine neue Bildcodierung als eine Codierung der nächsten Generation von MPEG-4, genannt JVC, im Verfahren der Normung, gemeinsam erarbeitet von ITU-T und ISO/IEC.
  • 24 ist ein Diagramm, das eine Vorhersagestruktur, eine Decodierungsreihenfolge und eine Anzeigereihenfolge von Bildern zeigt. "Bild" ist ein Ausdruck, der entweder ein Vollbild oder ein Halbbild bezeichnet, wobei der Ausdruck "Bild" hier anstelle von Vollbild oder Halbbild in der vorliegenden Beschreibung verwendet wird. Die schraffierten Bilder in 24 stellen die Bilder dar, die für einen Zugriff im Speicher zu speichern sind, wenn andere Bilder codiert/decodiert werden. I0 ist ein intracodiertes Bild, während P3, P6 und P9 vorhersagecodierte (prädiktionscodierte) Bilder sind (P-Bilder). Die Vorhersagecodierung im Schema der JVT-Norm unterscheidet sich von derjenigen der herkömmlichen MPEG-1/2/4. Ein beliebiges Bild wird aus mehreren codierten Bildern als Referenzbild ausgewählt, wobei aus dem Referenzbild ein Vorhersagebild erzeugt werden kann. Zum Beispiel kann ein Bild P9 ein beliebiges Bild aus den drei Bildern I0, P3 und P6 auswählen und ein Vorhersagebild unter Verwendung des ausgewählten Bildes erzeugen. Folglich erhöht dies eine Möglichkeit, ein besser anwendbares Vorhersagebild auszuwählen, als der herkömmliche Fall der Anwendung von MPEG-1/2/4, und verbessert somit eine Kompressionsrate. B1, B2, B4, B5, B7 und B8 sind bidirektional vorhersagecodierte Bilder (B-Bilder), die sich von der Interbildvorhersage unterscheiden, in der mehrere Bilder (zwei Bilder) ausgewählt werden und ein Vorhersagebild unter Verwendung der ausgewählten Bilder erzeugt und anschließend codiert wird. Es ist insbesondere bekannt, dass die Genauigkeit des Vorhersagebildes deutlich verbessert werden kann, ebenso wie die Kompressionsrate, durch Ausführen einer Interpolationsvorhersage unter Verwendung eines Durchschnittsbildes der zwei Bilder zeitlich vorausgehend und nachfolgend, um ein Vorhersagebild zu erzeugen. Die Kennzeichen "I" für ein intracodiertes Bild, "P" für ein vorhersagecodiertes Bild und "B" für ein bidirektional vorhersagecodiertes Bild werden verwendet, um das Codierungsverfahren für jedes Bild zu unterscheiden.
  • Um auf die zeitlich vorangehenden und nachfolgenden Bilder für die B-Bilder zuzugreifen, sollten die zeitlich vorangehenden Bilder zuerst codiert/decodiert werden. Dies wird als Umordnung von Bildern bezeichnet, und findet häufig in der herkömmlichen MPEG-1/2/4 statt. Im Gegensatz zu einer Codierungsreihenfolge (Stromreihenfolge = streaming order) ist daher eine Reihenfolge der Anzeige der Bilder, die decodiert sind (Anzeigereihenfolge), umgeordnet, wie in 24 gezeigt ist, die eine Vorhersagestruktur, eine Decodierungsreihenfolge und eine Anzeigereihenfolge von Bildern zeigt. B-Bilder im Beispiel der 24 werden in dem Moment angezeigt, wenn der Strom (stream) decodiert wird, weshalb keine Notwendigkeit besteht, diese zu speichern, wenn auf diese nicht von anderen Bildern Bezug genommen wird. I-Bilder und P-Bilder jedoch müssen in einem Speicher gespeichert werden, da sie nach dem Decodieren angezeigt werden, wenn das Decodieren des folgenden B-Bildes abgeschlossen ist.
  • Die Ausdrücke und die Bedeutungen der schraffierten Bilder im Diagramm, das die Vorhersagestruktur, die Decodierungsreihenfolge und die Anzeigereihenfolge der Bilder zeigt, sind die gleichen wie diejenigen, die in 24 verwendet werden.
  • 26 ist ein Blockdiagramm, das eine Bildcodierungsvorrichtung zum Verwirklichen eines herkömmlichen Bildcodierungsverfahrens zeigt. Im Folgenden wird eine Operation der Bildcodierungsvorrichtung für die Verwirklichung des herkömmlichen Bildcodierungsverfahrens in 26 erläutert.
  • Eine Bildstrukturbestimmungseinheit PicStruct bestimmt einen Codierungstyp (I-Bild, P-Bild und B-Bild) für jedes Bild, benachrichtigt eine Referenzbildsteuereinheit RefPicCtrl über den Codierungstyp und die Bilder, auf die bei der Codierung Bezug genommen werden kann, und informiert ferner eine Umordnungseinheit ReOrder über die Codierungsreihenfolge der Bilder. Die Umordnungseinheit ReOrder ordnet die Reihenfolge eines Eingangsbildes PicIn in eine Codierungsreihenfolge um und gibt die umgeordneten Bilder an eine Bewegungsschätzeinheit ME sowie eine Subtraktionseinheit Sub aus. Die Bewegungsschätzeinheit ME nimmt auf die in einem Bildspeicher PicMem1 gespeicherten Referenzbilder Bezug, bestimmt ein anwendbares Referenzbild und ermittelt einen Bewegungsvektor, der eine Pixelposition des Referenzbildes angibt, und sendet diesen zu einer Variable-Länge-Codierungseinheit VLC, zum Bildspeicher PicMem1 und zu einer Bewegungskompensationseinheit MC. Der Bildspeicher PicMem1 gibt die Pixel des Referenzbildes entsprechend dem Bewegungsvektor MV an die Bewegungskompensationseinheit MC aus, während die Bewegungskompensationseinheit MC ein Vorhersagebild unter Verwendung der Pixel in dem aus dem Bildspeicher PicMem1 gewonnenen Referenzbild und dem Bewegungsvektor MV erzeugt.
  • Die Subtraktionseinheit Sub berechnet eine Differenz zwischen dem von der Umordnungseinheit ReOrder aufgezeichneten Bild und dem Vorhersagebild. Die Differenz wird mittels einer Orthogonaltransformationseinheit T in Frequenzkoeffizienten konvertiert, woraufhin die Frequenzkoeffizienten von der Quantisierungseinheit Q quantisiert und als quantisierte Werte Coef ausgegeben werden.
  • Eine Inversquantisierungseinheit IQ quantisiert invers die quantisierten Werte Coef und stellt diese als Frequenzkoeffizienten wieder her. Die Inversorthogonaltransformationseinheit IT führt eine inverse Frequenzkonversion für die als Pixeldifferentialwerte auszugebenden Frequenzkoeffizienten durch. Eine Additionseinheit Add addiert das Vorhersagebild zu den Pixeldifferentialwerten und erhält ein decodiertes Bild.
  • Die Referenzbildsteuereinheit RefPicCtrl beurteilt entsprechend dem Codierungstyp des Bildes, ob das decodierte Bild im Bildspeicher PicMem1 zu speichern ist, um darauf als Referenzbild Bezug zu nehmen, und ob das decodierte Bild aus dem Bildspeicher PicMem1 zu entfernen ist (darauf nicht mehr als Referenzbild Bezug genommen wird), und meldet die Operation unter Verwendung eines Speichersteuerbefehls MMCO.
  • Ein Schalter SW wird eingeschaltet, wenn der Speichersteuerbefehl MMCO eine Speicherung angeordnet hat und somit das decodierte Bild im Bildspeicher PicMem1 als Referenzbild gespeichert worden ist. Der Bildspeicher PicMem1 gibt den Bereich frei, wo das decodierte Bild gespeichert ist, so dass andere decodierte Bilder gespeichert werden können, wenn der Bildspeicher PicMem1 anweist, dass das decodierte Bild aus dem Bildspeicher PicMem1 entfernt werden soll.
  • Die Variable-Länge-Codierungseinheit VLC codiert die quantisierten Werte Coef, den Bewegungsvektor MV und den Speichersteuerbefehl MMCO und gibt einen codierten Strom Str aus.
  • Der Fall, in dem die Codierung die Frequenzkonversion und die Quantisierung enthält, ist gezeigt, jedoch kann die Codierung diese auch nicht enthalten, wie z. B. DPCM, ADPCM und eine lineare Vorhersagecodierung. Die Codierung kann eine Codierung sein, in der die Frequenzkonversion und die Quantisierung integriert sind, oder eine Codierung, die nicht von einer Quantisierung nach der Frequenzkonversion begleitet ist, wie in einer Bitebene-Codierung.
  • 27 zeigt Bitströme des Speichersteuerbefehls MMCO. Die Variable-Länge-Codierungseinheit VLC codiert "000", was eine Freigabe eines gesamten Speicherbereiches bedeutet, so dass der Bildspeicher zu Beginn der Codie rung/Decodierung oder im Kopf der GOP (Group of Picture = Bildgruppe) initialisiert wird. Ferner codiert die Variable-Länge-Codierungseinheit VLC "01", wenn das decodierte Bild im Bildspeicher gespeichert wird. Wenn ein im Bildspeicher gespeichertes Bild gleichzeitig freigegeben wird, codiert die Variable-Länge-Codierungseinheit VLC eine Bildnummer gefolgt von "001", da die freizugebende Bildnummer angegeben werden muss. Wenn mehrere Bilder freigegeben werden, muss der Befehl zum Freigeben eines Bildes mehrmals codiert werden, weshalb ein Befehl zum Speichern eines Bildes zusätzlich zum Befehl zum Freigeben eines Bildes codiert wird. Die Variable-Länge-Codierungseinheit VLC codiert sequentiell mehrere Speichersteuerbefehle MMCO und codiert zuletzt "1", was anzeigt, dass der Speichersteuerbefehl MMCO abgeschlossen ist. Auf diese Weise wird der Speichersteuerbefehl MMCO als ein codierter Strom Str codiert.
  • 28 ist ein Blockdiagramm, das eine Bilddecodierungsvorrichtung zum Verwirklichen eines herkömmlichen Bilddecodierungsverfahrens zeigt. Für die Vorrichtungen, die in der gleichen Weise wie die Bildcodierungsvorrichtung zum Verwirklichen des herkömmlichen Bildcodierungsverfahrens, wie in 26 gezeigt, arbeiten, sind mit den gleichen Nummern bezeichnet.
  • Eine Variable-Länge-Decodierungseinheit VLD decodiert einen codierten Strom Str und gibt einen Speichersteuerbefehl MMCO, einen Bewegungsvektor MV und quantisierte Werte Coef aus. Eine Bildzeit Time wird von außerhalb eingegeben und ist ein Signal zum Spezifizieren eines anzuzeigenden Bildes. Wenn ein anzuzeigendes Bild ein decodiertes Bild ist, wird eine Ausgabe von der Addiereinheit Add an einer Auswahlvorrichtung Sel ausgewählt und zu einer Anzeigeeinheit Disp ausgesendet. Wenn ein anzuzeigendes Bild ein im Bildspeicher PicMem1 gespeichertes Bild ist, wird es aus dem Bildspeicher PicMem1 ausgelesen, an der Auswahlvorrichtung Sel ausgewählt und an eine Anzeigeeinheit Disp ausgegeben.
  • Wie oben beschrieben worden ist, gibt der Bildspeicher PicMem1 an die Bewegungskompensationseinheit MC Pixel entsprechend dem Bewegungsvektor MV aus, während die Bewegungskompensationseinheit MC ein Vorhersagebild entsprechend den vom Bildspeicher PicMem1 zusammen mit dem Bewegungsvektor MV erhaltenen Pixeln ein Vorhersagebild erzeugt.
  • Die Inversquantisierungseinheit IQ quantisiert invers die quantisierten Werte Coef und stellt diese als Frequenzkoeffizienten wieder her. Ferner führt die Inversorthogonaltransformation IT eine inverse Frequenzkonversion für die als Pixeldifferentialwerte auszugebenden Frequenzkoeffizienten durch. Die Additionseinheit Add addiert das Vorhersagebild zu den Pixeldifferentialwerten, um ein decodiertes Bild zu erzeugen.
  • Der Bildspeicher PicMem1 gibt den Bereich frei, in dem das decodierte Bild gespeichert ist, so dass ein anderes decodiertes Bild gespeichert werden kann.
  • Das Beispiel der Decodierung, die die inverse Frequenzkonversion und die inverse Quantisierung enthält, ist oben beschrieben worden, jedoch kann die Decodierung auch diese nicht enthalten, wie z. B. DPCM, ADPCM und eine lineare Vorhersagecodierung. Die Decodierung kann eine Decodierung sein, in der die inverse Frequenzkonversion und die inverse Quantisierung integriert sind, oder eine Decodierung, die nicht von der inversen Quantisierung nach der Frequenzkonversion begleitet wird, wie in einer Bitebene-Codierung.
  • Bei der Verwendung der Bilddecodierungsvorrichtung zum Verwirklichen des in 28 gezeigten herkömmlichen Bilddecodierungsverfahrens ist offensichtlich, dass die Kombination der herkömmlichen Bildcodierungstypen, wie in den 24 und 25 gezeigt ist, eine korrekte Decodierung des codierten Stroms Str erlaubt, der mittels der Bildcodierungsvorrichtung zum Verwirklichen des in 26 gezeigten herkömmlichen Bildcodierungsverfahrens codiert worden ist.
  • Die flexiblere Kombination wird hier als Bildcodierungstyp betrachtet.
  • 1 ist ein Diagramm, das eine Vorhersagestruktur, eine Decodierungsreihenfolge und eine Anzeigereihenfolge von Bildern zeigt, die im Stand der Technik nicht existieren. Die Vorhersagestruktur bezüglich des B-Bildes unterscheidet sich in der Umgebung von Bild 4 in 1. Das heißt, Bild 2, das ein B-Bild ist, ist im Bildspeicher gespeichert, um darauf als Vorhersagebild des Bildes 1 und des Bildes 3 Bezug zu nehmen. Folglich sind die Codierungsreihenfolge und die Anzeigereihenfolge jedes Bildes so beschaffen, wie in 1 gezeigt ist.
  • Die Bilder B5 und B6 sind B-Bilder, die nicht gespeichert werden, da auch sie nicht in einer Vorhersagecodierung Bezug genommen wird. Im Unterschied zu 24 jedoch ist der Anzeigezeitpunkt für die Bilder B5 und B6 noch nicht zu dem Zeitpunkt gekommen, zu dem diese decodiert werden, da noch ein anderes Bild anzuzeigen ist. Das heißt, zum Zeitpunkt der Decodierung des Bildes B5 soll das Bild P4 angezeigt werden, und zum Zeitpunkt der Decodierung des Bildes B6 soll das Bild B5 angezeigt werden. Da die Bilder B5 und B6 nicht gespeichert werden, können sie nicht zum Anzeigezeitpunkt aus dem Bildspeicher entnommen werden. Die Bilder, auf die nicht für die Vorhersagecodierung Bezug genommen wird, werden daher nicht im Bildspeicher gespeichert, weshalb die Bilder B5 und B6 unter Verwendung des herkömmlichen Codierungs/Decodierungsverfahrens nicht nach dem Decodieren angezeigt werden können. Im Fall der Nichtspeicherung der Bilder, auf die in der Vorhersagecodierung nicht Bezug genommen wird, wie in dem in 24 gezeigten Beispiel, können nämlich nur die Bilder 1, 2, 4 und 7 angezeigt werden.
  • Bei Betrachtung der flexibleren Kombination als Bildcodierungstyp besteht daher das Problem, dass die Bilder nicht nach der Decodierung angezeigt werden können. Es ist denkbar, einen weiteren Bildspeicher für die Anzeige hinzufügen und die Bilder, die nicht im Bildspeicher PicMem1 gespeichert werden, für die Anzeige in diesem Bildspeicher zu speichern, so dass sie angezeigt werden können; der Schwachpunkt hierbei ist jedoch, dass dieser Bildspeicher in diesem Fall einen großen Speicher erfordert.
  • Ferner entsteht ein neues Problem bei der Wiedergabe eines Bildes in der Mitte des Stroms, selbst wenn ein weiterer Bildspeicher für die Anzeige hinzugefügt wird. 2 ist ein Diagramm, das eine Vorhersagestruktur, eine Decodierungsreihenfolge und eine Anzeigereihenfolge der Bilder zeigt. Der Unterschied im Vergleich zur 25 besteht darin, dass die Vorhersagestruktur in der Umgebung des Bildes 7 vollständig unabhängig wird. Die Bilder nach einem Bild 17 werden nicht herangezogen, wenn die Bilder mit einem Anzeigezeitpunkt vor dem Bild 17 codiert/decodiert werden. Daher können die dem Bild 17 folgenden Bilder korrekt codiert werden, wenn die Decodierung beim Bild 17 beginnt und das Bild 17 unabhängig reproduziert werden kann. Auf diese Weise findet häufig das Einfügen des I-Bildes während der Strombildung statt. Dieses System zum Reproduzieren eines Bildes in der Mitte des Stroms, das konform mit MPEG-2 ist, wird GOP (Bildgruppe) genannt.
  • Die Entsprechung eines reproduzierten Bildes der Bilddecodierungsvorrichtung und diejenige der Bildcodierungsvorrichtung im Fall der Reproduktion des Bildes in der Mitte des Stroms muss sichergestellt werden, wobei das einfache Verfahren darin besteht, den gesamten Bereich des Bildspeichers zu initialisieren. Jedoch ist Bild 6 noch nicht angezeigt und im Bildspeicher gespeichert worden, wenn Bild 7 decodiert wird, weshalb Bild 6 nicht aus dem Bildspeicher zum Anzeigezeitpunkt angezeigt werden kann, wenn der gesamte Bildspeicher initialisiert wird, bevor die Anzeige des Bildes 6 stattfindet.
  • Die Aufgabe der vorliegenden Erfindung ist daher, die Anzeige der Bilder zu erlauben, die nach dem Decodieren nicht angezeigt werden können, indem die zum Codieren/Decodieren des Bildes benötigte Speichermenge in Betracht gezogen wird.
  • Das Dokument "TEXT OF COMMITY DRAFT OF JOINED VIDEO SPECIFICATION (ITU-T REC. H-264 ISO/IEC 14496-10 AVC) MPEG 02/N4810", ISO/IEC JTC1/SC29/WG11 MPEG02/N4810, Fairfax, USA, Mai 2002, S. I-X, 1-133, offenbart eine Tabelle 8.8 einer Speichermanagementsteueroperation und einen Abschnitt 11.1 einer Erläuterung des B-Bild-Konzepts.
  • US 5.724.446 offenbart ein Videodecodierersystem, z. B. für die Verwendung mit MPEG-Videokompression, das ein vorangehendes B-Vollbild als eine zusätzliche Vorhersagequelle für das aktuelle B-Vollbild zusammen mit vergangenen und zukünftigen Referenzvollbildern verwendet, wie durch die MPEG-Spezifikation definiert ist.
  • Das Dokument "Proposal for minor changes to multi-frame buffering syntax for improving coding efficiency of B-pictures", ISO/IEC JTC1/SC29/WG11 und ITU-T SG16 Q-6, 29. Januar 2002, Kondo u. a., offenbart ebenfalls, dass Blöcke in B-Bildern unter Bezugnahme auf vorangehende B-Bilder zusätzlich zu I- oder P-Bildern als Vorwärtsreferenzbilder codiert werden können.
  • Offenbarung der Erfindung
  • Um die obigen Aufgaben zu lösen, werden ein Bilddecodierungsverfahren und eine entsprechende Vorrichtung vorgeschlagen, wie in den Ansprüchen 7 und 2 definiert ist.
  • Mit dem obenbeschriebenen Aufbau kann eine korrekte Decodierung des Stroms (stream) sichergestellt werden, indem sowohl der Strom als auch die Bilddecodierungsvorrichtung unter den gleichen Speicherrandbedingungen betrieben werden. Andernfalls kann kein ausreichender Speicherraum für die Bilddecodierungsvorrichtung zum Decodieren des Stroms im Verlauf der Decodierung sichergestellt werden.
  • Kurzbeschreibung der Zeichnungen
  • 1 ist ein Diagramm, das eine Vorhersagestruktur, eine Decodierungsreihenfolge und eine Anzeigereihenfolge von Bildern zeigt.
  • 2 ist ein Diagramm, das eine Vorhersagestruktur, eine Decodierungsreihenfolge und eine Anzeigereihenfolge der Bilder zeigt.
  • 3 ist ein Blockdiagramm, das eine Bildcodierungsvorrichtung zum Verwirklichen eines Bildcodierungsverfahrens zeigt, das in einer ersten Ausführungsform beschrieben wird.
  • 4 ist ein Flussdiagramm, das eine Operation einer Referenzbildsteuereinheit zeigt, die in der ersten Ausführungsform beschrieben wird.
  • 5A, 5B und 5C sind Zustandsdiagramme, die einen Speicherzustand der Bilder im Speicher zeigen.
  • 6 ist ein Flussdiagramm, das eine Operation der Bildcodierungsvorrichtung zeigt, die in einer zweiten Ausführungsform beschrieben wird.
  • 7 ist ein Flussdiagramm, das eine Operation der Bildcodierungsvorrichtung zeigt, die in einer dritten Ausführungsform beschrieben wird.
  • 8 ist ein Flussdiagramm, das eine Operation der Bildcodierungsvorrichtung zeigt, die in einer vierten Ausführungsform beschrieben wird.
  • 9 ist ein Blockdiagramm, das eine Bilddecodierungsvorrichtung zum Verwirklichen eines Bilddecodierungsverfahrens der vorliegenden Erfindung, wie in einer fünften Ausführungsform beschrieben ist, zeigt.
  • 10 ist ein Flussdiagramm, das eine Operation der Bilddecodierungsvorrichtung der vorliegenden Erfindung zeigt, die in der fünften Ausführungsform beschrieben wird.
  • 11 ist ein Flussdiagramm, das eine weitere Operation der Bilddecodierungsvorrichtung der vorliegenden Erfindung zeigt, die in der fünften Ausführungsform beschrieben wird.
  • 12 ist ein Flussdiagramm, das eine weitere Operation der Bilddecodierungsvorrichtung der vorliegenden Erfindung zeigt, die in der fünften Ausführungsform beschrieben wird.
  • 13 ist ein Flussdiagramm, das eine weitere Operation der Bilddecodierungsvorrichtung der vorliegenden Erfindung zeigt, die in der fünften Ausführungsform beschrieben wird.
  • 14 ist ein Blockdiagramm, das eine Nutzung eines virtuellen Anzeigeverzögerungspuffers einer Bildcodierungsvorrichtung zeigt.
  • 15 ist ein Blockdiagramm, das eine Verarbeitung einer Nachdecodiererpufferoperation zum Codieren gemäß der vorliegenden Erfindung zeigt.
  • 16 ist ein Blockdiagramm, das eine Verarbeitung einer Nachdecodiererpufferoperation zum Decodieren gemäß der vorliegenden Erfindung zeigt.
  • 17 ist ein Beispiel der Verwendung des virtuellen Anzeigeverzögerungspuffers der Bildcodierungsvorrichtung zum Begrenzen der maximalen Anzahl der Referenzbilder.
  • 18 ist ein Beispiel der Verwendung des virtuellen Anzeigeverzögerungspuffers zum Festlegen des Zeitpunkts zum Anzeigen eines ersten Bildes.
  • 19 ist eine Darstellung eines Speichermediums zum Speichern eines Programms für die Verwirklichung des Bildcodierungsverfahrens und des Bilddecodierungsverfahrens jeder Ausführungsform in einem Rechnersystem, wie in einer siebten Ausführungsform beschrieben wird.
  • 20 ist ein Blockdiagramm, das einen Gesamtaufbau eines Inhaltzuführungssystems zeigt, wie in einer achten Ausführungsform beschrieben wird.
  • 21 ist eine Übersicht, die ein Beispiel eines Zellentelephons zeigt, das Bildcodierungs/Decodierungsverfahren der vorliegenden Erfindung verwendet, wie in der achten Ausführungsform beschrieben wird.
  • 22 ist ein Blockdiagramm des Zellentelephons.
  • 23 ist ein Blockdiagramm, das ein Beispiel eines digitalen Rundfunksystems zeigt, wie in der achten Ausführungsform beschrieben wird.
  • 24 ist ein Diagramm, das eine Vorhersagestruktur, eine Decodierungsreihenfolge und eine Anzeigereihenfolge von Bildern zeigt.
  • 25 ist ein Diagramm, das eine Vorhersagestruktur, eine Decodierungsreihenfolge und eine Anzeigereihenfolge von Bildern zeigt.
  • 26 ist ein Blockdiagramm der Bilddecodierungsvorrichtung zum Verwirklichen des herkömmlichen Bildcodierungsverfahrens.
  • 27 ist ein Abbildungsdiagramm, das Beispiele von Codes für Speichersteuerbefehle MMCO zeigt.
  • 28 ist ein Blockdiagramm einer Bilddecodierungsvorrichtung zum Verwirklichen des herkömmlichen Bilddecodierungsverfahrens.
  • Bester Modus zur Ausführung der Erfindung
  • Es folgt eine Beschreibung einer ersten Ausführungsform der vorliegenden Erfin dung.
  • (Erste Ausführungsform)
  • 3 ist ein Blockdiagramm, das eine Bildcodierungsvorrichtung zum Verwirklichen eines Bildcodierungsverfahrens der vorliegenden Erfindung zeigt. Für Vorrichtungen, die in der gleichen Weise arbeiten, wie in dem Block beschrieben worden ist, der eine Bildcodierungsvorrichtung zum Verwirklichen des herkömmlichen Codierungsverfahrens, wie in 26 gezeigt ist, sind mit den gleichen Bezugszeichen bezeichnet, wobei die Erläuterung somit verkürzt ist.
  • Unterschiede zwischen dem Blockdiagramm der 26, das die Bildcodierungsvorrichtung zum Verwirklichen des herkömmlichen Bildcodierungsverfahrens zeigt, und dem Blockdiagramm der 3, das die Bildcodierungsvorrichtung zum Verwirklichen des Bildcodierungsverfahrens gemäß der vorliegenden Erfindung zeigt, bestehen darin, dass eine Anzeigebildsteuereinheit DisPicCtrl zu 3 hinzugefügt ist, und dass die von der Anzeigebildsteuereinheit DisPicCtrl gesendeten Befehle an eine Referenzbildsteuereinheit RefPicCtrl und einen Bildspeicher PicMem2 ausgegeben werden.
  • Die in der in 3 gezeigte Bildcodierungsvorrichtung 100 ist neuartig eine Bildgrößenmodifikationseinheit PicSize zum Erlangen einer durch externe Operationen modifizierten Bildgröße sowie eines Codierungstyps jedes Bildes (I-Bild, P-Bild und B-Bild) von der Bildstrukturbestimmungseinheit PicStruct und zum Ausgeben von Informationen, die die zu modifizierende Bildgröße angeben, an eine Referenzbildsteuereinheit RefPicCtrl eingesetzt.
  • Die Operation des Bildspeichers PicMem2 ist nahezu die gleiche wie diejenige des Bildspeichers PicMem1, weshalb nur unterschiedliche Operationen erläutert werden.
  • Die Anzeigebildsteuereinheit DisPicCtrl erlangt einen Bildzeitpunkt Time und beurteilt, ob ein Bild, das nicht gespeichert ist, da es nicht als Bezug dient, sofort angezeigt werden kann, oder nicht (ob es notwendig ist, das Bild im Bildspeicher zu speichern, bis dessen Anzeigezeitpunkt kommt). Der Bildzeitpunkt Time, ein Signal zum Spezifizieren eines anzuzeigenden Bildes, wird von außen eingege ben. Der Bildzeitpunkt kann auf folgende Weise erhalten werden: von der Zeitinformation, die vom System zum Übermitteln von Bildern über eine Übertragungsleitung ausgegeben wird, wie z. B. ein Paket, von der Zeitinformation im Prozess der Formatierung eines Videostroms (video stream) und Audiostroms (audio stream) zum Muliplexieren derselben; oder von der Zeitinformation im Prozess der Formatierens eines Videostroms. Der Bildzeitpunkt kann entweder ein absoluter Zeitpunkt sein, der den Zeitpunkt für jedes Bild mitteilt, oder ein relativer Zeitpunkt, der die Reihenfolge der Bilder mitteilt. Außerdem sind die Intervalle für das Anzeigen von Bildern normalerweise festgelegt, weshalb die Reihenfolge der Anzeige der Bilder als Anzeigezeitpunkt betrachtet werden kann.
  • Der Fall, in dem das Bild sofort anzeigbar ist, ist nun ein Fall, in welchem das nach der Berechnung im Addierer Add gewonnene Bild dem anzuzeigenden Bild entspricht, das vom Bildzeitpunkt Time angegeben wird. In diesem Fall ist ein Bild, das vor dem Bild anzuzeigen ist, das noch nicht angezeigt und für die Codierung ausgegeben worden ist, nicht im Bildspeicher PicMem2 zu finden. Wenn das Bild nicht sofort anzeigbar ist, weist die Anzeigebildsteuereinheit DisPicCtrl die Referenzbildsteuereinheit RefPicCtrl an, das Bild im Bildspeicher PicMem2 zu speichern, selbst wenn es nicht als Bezug dient. Folglich wird das Bild, das nicht sofort angezeigt wird, im Bildspeicher PicMem2 ohne Fehler gespeichert, unabhängig davon, ob es als Bezug dient, oder nicht, und kann aus dem Bildspeicher PicMem2 in der Decodierungsvorrichtung angezeigt werden.
  • 4 ist ein Flussdiagramm, das eine Operation der Referenzbildsteuereinheit RefPicCtrl der vorliegenden Erfindung zeigt.
  • Die Referenzbildsteuereinheit RefPicCtrl beurteilt, ob ein decodiertes Bild (Bild) für die Bezugnahme für ein Vorhersagebild zu speichern ist (Schritt 10). Wenn das decodierte Bild für eine Bezugnahme verwendet werden soll, rückt die Operation zum Schritt 12 vor, ansonsten zum Schritt 11.
  • In Schritt 11 beurteilt die Referenzbildsteuereinheit RefPicCtrl, ob das decodierte Bild sofort anzeigbar ist. "sofort anzeigbar" bedeutet hier, dass das decodierte Bild zu dem Zeitpunkt seiner Decodierung angezeigt werden kann (siehe z. B. Bild 1 in 1). Das decodierte Bild, das nicht sofort anzeigbar ist, bedeutet, dass es später angezeigt werden muss (z. B. B5 in 5). Wenn das Bild sofort anzeigbar ist, ist die Operation abgeschlossen, ansonsten wird zu Schritt 12 vorgerückt.
  • Im Schritt S12 erlangt die Referenzbildsteuereinheit RefPicCtrl einen Bereich, der zum Speichern eines Bildes im Bildspeicher PicMem2 fähig ist, und befiehlt unter Verwendung eines Speichersteuerbefehls MMCO in Schritt 13, das decodierte Bild in dem erlangten Bereich im Bildspeicher PicMem2 zu speichern.
  • Auf diese Weise wird das Bild, das nicht sofort angezeigt wird, im Bildspeicher PicMem2 gespeichert und kann für die Anzeige aus dem Bildspeicher PicMem2 ausgegeben werden, wenn der Zeitpunkt zu dessen Anzeige gekommen ist. Dies erfordert keinen unnötigen Bildspeicher, der für ein Bild für die Anzeige zugewiesen wird, wobei ein Bild, das für die Anzeige gespeichert werden muss, in den für ein Bild für den Bezug zugewiesenen Bildspeicher gespeichert werden kann.
  • Der Bildspeicher PicMem2 enthält eine Bereich für die Bezugnahme, in welchem ein Referenzbild gespeichert wird, um ein Vorhersagebild zu erzeugen, und einen Bereich für die Anzeige, in welchem ein Bild für die Anzeige gespeichert wird.
  • Indessen kann eine Bildgröße für jede GOP (Bildgruppe), wie oben erwähnt, modifiziert werden. Die Modifikation der Bildgröße findet nur dann statt, wenn ein gesamter Bereich für die Bezugnahme im Speicher, der ein unnötiges Referenzbild speichert, freigegeben wird (den Zustand des Speichers wiederverwendbar macht).
  • Wenn jedoch die Modifikation der Bildgröße wie oben beschrieben stattfindet, wird das Bild für die Anzeige, das noch nicht angezeigt worden ist, im Speicherbereich gespeichert, wobei es erforderlich ist, explizit eine Kopierstrategie dafür zu bestimmen, wie dieses Bild für die Anzeige, dass jedoch noch nicht angezeigt ist, zu handhaben ist (ob es zu löschen ist oder bis zur Anzeige zu speichern ist).
  • Hier wird ein Speicherzustand von Bildern im Speicher, wenn die Änderung der Bildgröße stattfindet, in Stufen erläutert.
  • 5A, 5B und 5C sind Zustandsdiagramme, die den Speicherstatus der Bilder im Speicher in Stufen zeigen.
  • In 5A sind die Bilder 200a, 200b und 200c Bilder für die Bezugnahme (die Bilder, die für die Bezugnahme zu verwenden sind, um ein Vorhersagebild zu erzeugen), während die Bilder 201a, 201b, 201c, 201d und 201e Bilder für die Anzeige sind (Bilder, die anzuzeigen sind und noch nicht angezeigt worden sind).
  • Die Bilder 201a, 201b, 201c, 201d und 201e werden in der numerischen Reihenfolge angezeigt, wie in 5A gezeigt ist.
  • 5A zeigt den Zustand, in dem die gesamten Speicherbereiche, die für die Referenzbilder 200a, 200b und 200c zugewiesen sind, für die Wiederverwendung freigegeben sind.
  • 5B zeigt, dass die Bildgröße dem in 5A gezeigten Zustand folgend modifiziert wird. Ein Referenzbild 202a, das auf eine größere Größe modifiziert wird, wird in dem Speicherbereich gespeichert, in dem das Referenzbild 200a gespeichert wurde. Ferner wird das Bild für die Anzeige 201a für die Anzeige ausgegeben und dessen Speicherbereich freigegeben.
  • 5C zeigt einen Zustand, in dem der Speicherbereich, der das Bild für die Anzeige 201b speichert, nachdem in 5B gezeigten Zustand freigegeben wird. Ein Referenzbild 202b, das zu einer größeren Größe modifiziert wird, wird in dem Speicherbereich gespeichert, in dem die Bilder für die Anzeige 201a und 201b gespeichert wurden, wobei ein kleiner Speicherbereich 203 übrig bleibt. Auch wenn der Speicherbereich, der das Bild für die Anzeige 201c speichert, freigegeben wird, kann das Referenzbild (dessen Bildgröße vergrößert ist) nicht erneut gespeichert werden.
  • Wenn somit die Bildgröße modifiziert wird, werden Bilder unterschiedlicher Bildgrößen im Speicher gemischt (die Referenzbilder, deren Bildgrößen vergrößert sind, und die Bilder für die Anzeige, die noch nicht angezeigt worden sind und deren Größen nicht modifiziert sind).
  • Folglich wird der Speicher bruchstückhaft verwendet, was einen kleinen Speicherbereich erzeugt, der nicht verwendet werden kann, wobei die Nutzbarkeit somit beeinträchtigt ist. Wenn die Daten im Speicher repositioniert werden, so dass der durch die Modifikation der Bildgröße verursachte kleine Speicherbereich verschwindet, nimmt der Speicherzugriff stark zu, wobei es schwierig ist, die Codierungs- und Decodierungsoperationen in Echtzeit zu verwirklichen.
  • Wenn die Bildgröße modifiziert wird, sind zwei Verfahren denkbar. Das erste Verfahren ist, den Bereich für die Anzeige freizugeben, in welchem die Bilder für die Anzeige, die noch nicht angezeigt worden sind, gespeichert sind, und den Bereich für die Referenz, in welchem die Referenzbilder gespeichert sind (als wiederverwendbarer Zustand), und die Anzeige der Bilder für die Anzeige, die noch nicht angezeigt worden sind, aufzugeben. Dies kann die bruchstückhafte Verwendung des Speichers verhindern, die durch die Mischung der Bilder unterschiedlicher Größen hervorgerufen wird, wobei die Beeinträchtigung der Nutzbarkeit des Speichers reduziert werden kann.
  • Die Modifikation der Bildgröße, die oben beschrieben worden ist, findet wie im Folgenden beschrieben statt. Die Bildgrößenmodifikationseinheit PicSize, die in 3 gezeigt ist, empfängt den Codierungstyp (I-Bild, P-Bild und B-Bild) jedes Bildes, der von der Bildstrukturbestimmungseinheit PicStruct bestimmt worden ist, und die Bildgröße für die Modifikation, die von außen eingegeben wird, und gibt an die Referenzbildsteuereinheit RefPicCtrl einen Befehl zum Modifizieren der Bildgröße mit dem Zeitpunkt zum Starten der Codierung des I-Bildes aus. Das I-Bild ist ein spezielles I-Bild (IDR-(Sofortdecodierungsauffrischung)-Bild), das z. B. am Anfang der GOP einzufügen ist.
  • Das zweite Verfahren ist, ein Verfahren zum Freigeben des gesamten Bereiches des Speichers und Verwerfen der Bilder für die Anzeige, die noch nicht angezeigt worden sind, und ein Verfahren zum Freigeben nur des Bereiches für die Bezugnahme, in welchem die Referenzbilder gespeichert sind, und Anzeigen der Bilder für die Anzeige, die noch nicht angezeigt worden sind, umzuschalten, bevor die größte Modifikation stattfindet, wobei von einer Bilddecodierungsvorrichtung (Decodierer) zum Decodieren eines codierten Signals (Strom), auf den später Bezug genommen wird, eine Beurteilung zu treffen, so dass die Anzeige der Bilder für die Anzeige, die noch nicht angezeigt worden sind, nicht obligatorisch ist. In diesem Fall zeigt die Bilddecodierungsvorrichtung die anzeigbaren Bilder, z. B. die unbeschädigten Bilder, entsprechend der Anzeigereihenfolge an.
  • Für die Operation einer solchen Umschaltung zeigen die Befehlsinformationen (Kennzeichen) eines der folgenden Verfahren an: das Verfahren zum Freigeben des gesamten Bereiches des Speichers; und das Verfahren zum Freigeben nur des Bereiches für die Referenz, in dem das Referenzbild gespeichert ist, oder es sind identifizierbare Informationen im Strom Str enthalten, der von der Bildcodierungsvorrichtung 100 ausgegeben wird.
  • Auf der Seite der Bilddecodierungsvorrichtung arbeitet der Prozess auf der Grundlage der Befehlsinformationen, die im Strom platziert sind.
  • Die folgenden Beispiele sind als Beurteilungskriterien denkbar, um zwischen den zwei Verfahren umzuschalten, wie durch die Befehlsinformationen angezeigt wird: ein Inhalterzeuger kann das Verfahren gemäß einer Anwendung festlegen; nur der Bereich für die Referenz wird freigegeben, jedoch nicht der Bereich für die Anzeige, der ein Bild für die Anzeige speichert, das noch nicht angezeigt worden ist (Nichtfreigabe des gesamten Bereiches des Speichers), wenn der Speicher den Raum bereitstellen kann.
  • Mit dem obigen Aufbau kann die Bildcodierungsvorrichtung verwirklicht werden, um die bestehenden Probleme zu lösen.
  • (Zweite Ausführungsform)
  • Es folgt eine Beschreibung einer zweiten Ausführungsform der vorliegenden Erfindung.
  • In der vorliegenden Ausführungsform befiehlt die Anzeigebildsteuereinheit DisPicCtrl, die in 3 gezeigt ist, dem Bildspeicher PicMem2, ein Bild nicht erneut in dem Bereich zu speichern, der das Bild speichert, das noch nicht angezeigt worden ist, wenn ein Bild im freigegebenen Speicherbereich gespeichert wird. Normalerweise, selbst wenn ein Bereich für ein Bild freigegeben wird, kann ein vorher richtig gespeichertes Bild reproduziert werden, solange ein Bild nicht erneut im Bereich gespeichert (überschrieben) wird. Selbst wenn ein Speicherbereich, in dem das Bild gespeichert ist, das noch nicht angezeigt ist, freigegeben wird, kann das Bild, das noch nicht angezeigt worden ist und zum Zeitpunkt der Anzeige freigegeben wird, jedoch ohne überschrieben zu werden belassen wird, angezeigt werden, indem ein Bild nicht erneut im Speicherbereich gespeichert wird, sondern in dem Bereich, wo das Bild, das bereits angezeigt worden ist, gespeichert ist. Das Bild im freigegebenen Speicherbereich des Bildspeichers wird als Bild für die Anzeige bezeichnet. "bereits angezeigt" ist hier praktisch gleichbedeutend mit "bereits an eine Anzeigevorrichtung ausgegeben".
  • 6 ist ein Flussdiagramm, das eine Operation der Bildcodierungsvorrichtung 100 der vorliegenden Ausführungsform zeigt. Die vorliegende Ausführungsform ist dadurch gekennzeichnet, dass der Speicher des Bildes bestimmt wird durch Beurteilung, ob das im vorgegebenen Bereich im Speicher gespeicherte Bild bereits angezeigt worden ist, oder nicht.
  • Zuerst beurteilt im Schritt 20 die Bildcodierungsvorrichtung 100, ob das decodierte Bild im Bildspeicher PicMem2 zu speichern ist, auf der Grundlage der Befehle, die im Speichersteuerbefehl MMCO angegeben sind.
  • Im Fall des Speicherns des decodierten Bildes im Bildspeicher wird der vorgegebene Bildbereich erhalten (Schritt 21), und es wird geprüft (Schritt 22), ob ein im vorgegebenen Bildbereich gespeichertes Bild bereits angezeigt worden ist, oder nicht. Wenn es noch nicht angezeigt worden ist, kehrt die Operation zum Schritt 21 zurück und die Verarbeitung wird fortgesetzt, bis der freigegebene Bereich, in dem das bereits angezeigte Bild gespeichert worden ist, gefunden ist.
  • Wenn ein solcher freigegebener Bereich gefunden wird, wird das decodierte Bild in dem Bereich gespeichert (Schritt 23).
  • Wenn somit das anzuzeigende Bild angezeigt wird, wird das noch nicht angezeigte Bild im Speicher gespeichert, ohne überschrieben zu werden, bis dessen Anzeigezeitpunkt erreicht ist, da der Bereich, der das angezeigte Bild speichert, wiederverwendet wird.
  • Ob ein im Speicher gespeichertes Bild bereits angezeigt worden ist, oder nicht, kann von der Anzeigebildsteuereinheit BPC anhand von Verwaltungsinformationen darüber, ob das Bild angezeigt ist oder nicht, beurteilt werden.
  • Ob ein Bildbereich ein freigegebener Bereich ist, oder nicht, kann beurteilt werden, indem auf die Informationen darüber Bezug genommen wird, ob jeder Bildbereich freigegeben ist, oder nicht, z. B. "genutzt (als Referenzbild verwendbar)" oder "ungenutzt (nicht mehr als Referenzbild genutzt)", was im Bildspeicher PicMem2 entsprechend dem Speicherbefehl MMCO gespeichert wird.
  • Mit dem obigen Aufbau kann die Bildcodierungsvorrichtung der vorliegenden Erfindung so verwirklicht werden, dass sie die bestehenden Probleme beseitigt.
  • Das Überschreiben eines Bildes erneut über das Bild, das noch nicht angezeigt worden ist, kann so verhindert werden, so dass das letztere Bild für die Anzeige aus dem Bereich ausgegeben werden kann, der bereits freigegeben worden ist, jedoch zum Anzeigezeitpunkt noch nicht überschrieben ist. Das Bild, das für die Anzeige zu speichern ist, kann gespeichert werden, ohne einen unnötigen Speicher zu benötigen.
  • Da die Operation in dem Fall, der die Modifikation der Bildgröße erfordert, die Gleiche ist wie die erste Ausführungsform, wird die Erläuterung abgekürzt.
  • (Dritte Ausführungsform)
  • Es folgt eine Beschreibung der dritten Ausführungsform der vorliegenden Erfindung.
  • 7 ist ein Flussdiagramm einer Operation der Bildcodierungsvorrichtung 100 der dritten Ausführungsform der vorliegenden Erfindung. Die vorliegende Ausführungsform ist dadurch gekennzeichnet, dass der Speicher des Bildes entsprechend dem Zeitpunkt, zu dem der Speicher freigegeben wird, bestimmt wird.
  • Zuerst beurteilt in Schritt 30 die Bildcodierungsvorrichtung 100, ob das decodierte Bild im Bildspeicher PicMem2 zu speichern ist, oder nicht, auf der Grundlage des Befehls, der im Speichersteuerbefehl MMCO angegeben ist.
  • Im Fall der Speicherung des decodierten Bildes im Bildspeicher wird der freigegebene Bildspeicherbereich, dessen Anzeigezeitpunkt innerhalb des freigegebenen Bereiches am frühesten ist, erhalten (Schritt 31), wobei das decodierte Bild im erhaltenen Bereich gespeichert wird (Schritt 32).
  • Der Speicherbereich, in dem das Bild decodiert und zum frühesten Zeitpunkt gespeichert wird, anstelle des Speicherbereiches, der zum frühesten Anzeigezeitpunkt freigegeben wird, kann als ein Bereich zum Speichern des Bildes zugewiesen werden. Es besteht daher eine hohe Wahrscheinlichkeit, dass die in diesen Speicherbereichen gespeicherten Bilder bereits angezeigt worden sind.
  • Die frühesten Zeitpunkte beruhen nicht unbedingt auf der Zeit, und können der früheste Zeitpunkt entsprechend einer Reihenfolge sein, z. B. kann es der früheste Zeitpunkt gemäß einer Anzeigereihenfolge sein. Zum Beispiel ist es sehr wahrscheinlich, dass ein Bild, dessen Anzeigereihenfolge die Früheste ist, bereits angezeigt worden ist, wobei ein Speicherbereich, der ein solches Bild speichert, seinerseits als ein Speicherbereich im Speicher wiederverwendet werden kann, unabhängig davon, ob er bereits angezeigt worden ist, oder nicht. Normalerweise sind die Intervalle der Anzeige von Bildern regelmäßig, weshalb die Reihenfolge der Anzeige von Bildern als Anzeigezeitpunkt betrachtet werden kann.
  • Das erneute Überschreiben eines Bildes über das Bild, das noch nicht angezeigt worden ist, kann somit verhindert werden, so dass das letztere Bild für die Anzeige aus dem Bereich ausgegeben werden kann, der bereits freigegeben ist jedoch noch nicht zum Anzeigezeitpunkt überschrieben worden ist. Das Bild, das für die Anzeige gespeichert werden muss, kann gespeichert werden, ohne einen unnötigen Speicher zu benötigen. Die Verarbeitung des Speicherns des Bildes, das für die Anzeige gespeichert werden muss, kann ausgeführt werden, unabhängig davon, ob das im Bildspeicher PicMem2 gespeicherte Bild bereits angezeigt worden ist, oder nicht. Wenn der früheste Zeitpunkt den frühesten Zeitpunkt in der Anzeigezeit angibt, kann von der Anzeigebildsteuereinheit DisPicCtrl, die die Informationen darüber, ob das Bild angezeigt worden ist, oder nicht, verwaltet, beurteilt werden, ob das Bild zu frühesten Zeitpunkt gespeichert worden ist, oder nicht.
  • Da eine Operation in einem Fall, in dem eine Modifikation einer Bildgröße erforderlich ist, die Gleiche ist wie die Obenbeschriebene in der ersten Ausführungsform, wird die Erläuterung abgekürzt.
  • (Vierte Ausführungsform)
  • Es folgt eine Erläuterung einer vierten Ausführungsform der vorliegenden Erfindung.
  • 8 ist ein Flussdiagramm, das eine Operation der Bildcodierungsvorrichtung 100 gemäß der vierten Ausführungsform der vorliegenden Erfindung zeigt. Die vorliegende Ausführungsform ist dadurch gekennzeichnet, dass ein Speicher des Bildes entsprechend einer Reihenfolge der Freigabe des Speichers bestimmt wird.
  • Zuerst beurteilt die Bildcodierungsvorrichtung 100 im Schritt 40, ob das decodierte Bild im Bildspeicher PicMem2 zu speichern ist, oder nicht, auf der Grundlage des Befehls, der im Speichersteuerbefehl MMCO angegeben ist.
  • Im Fall der Speicherung des decodierten Bildes im Bildspeicher wird der Bildspeicherbereich, der zum frühesten Zeitpunkt innerhalb des freigegebenen Bereiches freigegeben worden ist, erhalten (Schritt 41), wobei das decodierte Bild im erhaltenen Bereich gespeichert wird (Schritt 42).
  • Da es ein System ist, das die Informationen über den Anzeigezeitpunkt verwaltet, ist es schwierig, den Anzeigezeitpunkt in Abhängigkeit von einem Verfahren zum Herstellen einer Videodecodierungsvorrichtung zu erhalten. Es ist sehr wahrscheinlich, dass das Bild mit dem frühesten Anzeigezeitpunkt in dem zuerst freigegebenen Bereich gespeichert ist, als in dem Bereich, der zu einem späteren Zeitpunkt freigegeben wird. Das heißt, es ist sehr wahrscheinlich, dass das zuerst freigegebene Bild bereits angezeigt worden ist. Es besteht daher eine hohe Wahrscheinlichkeit, dass das Bild, das noch nicht angezeigt worden ist, nicht überschrieben wird, wenn das decodierte Bild in dem zuerst freigegebenen Speicherbereich gespeichert wird.
  • Ob der Bildbereich ein freigegebener Bereich ist, oder nicht, kann beurteilt werden durch Bezugnahme auf Informationen darüber, ob jeder Bildbereich freigegeben ist, oder nicht, z. B. "genutzt (nutzbar als Referenzbild)" oder "ungenutzt (nicht mehr als Referenzbild genutzt)", was im Bildspeicher PicMem2 entspre chend dem Speichersteuerbefehl MMCO gespeichert wird. Oder, die Verwendung des Bildbereiches kann im Voraus entsprechend einer vorgegebenen Prozedur festgelegt werden, um zu beurteilen, ob der Bildbereich derjenige ist, der gemäß der Prozedur zuerst freigegeben wird. Dies kann z. B. beurteilt werden, indem der Bildspeicher PN2 als Speicher arbeitet, der ein FIFO-Verfahren (First In First Out) verwendet, mit dem die Inhalte einer Aufzeichnung, deren Zeitpunkt aufzeichnet, dass das Bild erneut zu speichern ist, sequentiell der Reihe nach verworfen werden und die spätesten Bilder einer festen Anzahl von Vollbildern (oder einer Anzahl von Bildern) immer gespeichert sind. Das erneute Überschreiben eines Bildes über ein Bild, das noch nicht angezeigt worden ist, kann somit verhindert werden, so dass das letztere Bild für eine Anzeige aus dem Bereich ausgegeben werden kann, der bereits freigegeben, jedoch zum Anzeigezeitpunkt noch nicht überschrieben ist.
  • Da eine Operation in dem Fall, in dem die Modifikation der Bildgröße erforderlich ist, die Gleiche ist wie die obenbeschriebene in der ersten Ausführungsform, wird die Erläuterung abgekürzt.
  • (Fünfte Ausführungsform)
  • Es folgt eine Erläuterung einer fünften Ausführungsform der vorliegenden Erfindung.
  • 9 ist ein Blockdiagramm einer Bilddecodierungsvorrichtung zum Verwirklichen des Bilddecodierungsverfahrens der vorliegenden Erfindung. Für die Vorrichtungen, die in der gleichen Weise arbeiten wie eine Bildcodierungsvorrichtung zum Verwirklichen des Bildcodierungsverfahrens gemäß der vorliegenden Erfindung, wie im Blockdiagramm der 3 gezeigt ist, und eine Bilddecodierungsvorrichtung zum Verwirklichen des herkömmlichen Bilddecodierungsverfahrens, wie im Blockdiagramm der 28 gezeigt ist, sind mit den gleichen Bezugszeichen versehen, wobei die Erläuterung hierbei abgekürzt wird.
  • Der Unterschied zwischen der in 9 gezeigten Bilddecodierungsvorrichtung 150 und dem Beispiel der in 28 gezeigten herkömmlichen Vorrichtung besteht darin, dass eine Bildgrößenmodifikationserfassungseinheit PicSizeDet und eine Anzeigebildsteuereinheit DisPicCtrl neu hinzugefügt sind. Die Bildgrößen modifikationserfassungseinheit PicSizeDet gibt einen Befehl zum Modifizieren der Bildgröße zum Zeitpunkt des Beginns der Codierung eines speziellen I-Bildes (IDR-Bild) auf der Grundlage der Bildgröße für die Modifikation, die von außen erhalten wird, und des Speichersteuerbefehls MMCO, der von der Variable-Länge-Decodierungseinheit VLD erhalten wird, aus.
  • Die Anzeigebildsteuereinheit DisPicCtrl befiehlt dem Bildspeicher PicMem2, ein Bild nicht erneut in dem Bereich für das Bild zu speichern, das noch nicht angezeigt worden ist, wenn das neue Bild im freigegebenen Bereich gespeichert wird. Normalerweise, auch wenn ein Bereich für ein Bild freigegeben ist, bleiben Daten eines Bildes, das unmittelbar vorher gespeichert worden ist, im Speicher und können reproduziert werden, solange kein Bild erneut in dem Bereich gespeichert (überschrieben) wird. Das Bild, das zum Zeitpunkt der Anzeige freigegeben ist, jedoch ohne Überschreibung verbleibt, kann angezeigt werden durch erneutes Speichern eines Bildes in dem Bereich, wo das Bild, das bereits angezeigt worden ist, gespeichert ist, selbst wenn der Speicherbereich, in dem das Bild, das noch nicht angezeigt worden ist, freigegeben worden ist. "Bereits angezeigt" ist hier praktisch gleichbedeutend mit "bereits an eine Anzeigevorrichtung ausgegeben".
  • Wenn somit das anzuzeigende Bild angezeigt wird, wird das Bild, das noch nicht angezeigt worden ist, in den Speicher gespeichert, ohne überschrieben zu werden, bis dessen Anzeigezeitpunkt kommt, da der Bereich, der das angezeigte Bild speichert, wiederverwendet wird.
  • Mit dem obigen Aufbau kann die Bilddecodierungsvorrichtung der vorliegenden Erfindung verwirklicht werden, um die bestehenden Probleme zu beseitigen. Die Bilddecodierungsvorrichtung 150 kann ein codiertes Signal decodieren, das von der in den dritten und vierten Ausführungsformen gezeigten Bildcodierungsvorrichtung 100 codiert worden ist. In diesem Fall ist die Operation der Verwendung des Bildspeichers die gleich wie die obenbeschriebene für die Bildcodierungsvorrichtung, die in den dritten und vierten Ausführungsformen gezeigt ist. Das heißt, für die Wiederverwendbarkeit des Bildbereiches, der freigegeben ist (nicht mehr für die Referenz verwendet wird), im Bildspeicher kann irgendein Verfahren des Festlegens des Bereiches für das erneut zu speichernde Bild verwendet werden, das in den ersten bis dritten Ausführungsformen beschreiben worden ist.
  • Es folgt eine Beschreibung von Verfahren zum Speichern des Bildes im Speicher, wenn das codierte Signal decodiert wird, das von der in den dritten und vierten Ausführungsformen gezeigten Bildcodierungsvorrichtung codiert worden ist.
  • Zuerst wird das Verfahren des Speicherns des Bildes im Speicher zu dem Zeitpunkt der Decodierung des codierten Signals, das von der in der dritten Ausführungsform gezeigten Bildcodierungsvorrichtung codiert worden ist, erläutert.
  • Die Bilddecodierungsvorrichtung 150 beurteilt, ob das von der Additionseinheit Add in der Bilddecodierungsvorrichtung 150 ausgegebene decodierte Bild im Bildspeicher PicMem2 zu speichern ist, oder nicht, auf der Grundlage des Befehls, der im Speichersteuerbefehl MMCO angegeben ist.
  • Wenn das decodierte Bild im Bildspeicher gespeichert wird, wird der zuerst vorgegebene Bildspeicherbereich erhalten und das decodierte Bild wird im erhaltenen Bereich gespeichert.
  • Hierbei kann als ein Bereich zum Speichern des Bildes der Speicherbereich zugewiesen werden, in dem das Bild decodiert wird und zum frühesten Zeitpunkt gespeichert worden ist, oder der Speicherbereich, in dem das Bild mit dem frühesten Anzeigezeitpunkt gespeichert ist, anstelle des Speicherbereiches, der zum frühesten Zeitpunkt freigegeben wird. Es besteht daher eine hohe Wahrscheinlichkeit, dass die in diesem Speicherbereichen gespeicherten Bilder bereits angezeigt worden sind.
  • Da es ein System ist, dass die Informationen über den Anzeigezeitpunkt verwaltet, ist es schwierig, den Anzeigezeitpunkt in Abhängigkeit von einem Verfahren zum Herstellen einer Bildanzeigevorrichtung zu erhalten. Es ist sehr wahrscheinlich, dass das Bild mit dem frühesten Anzeigezeitpunkt in dem Bereich gespeichert ist, in dem das Bild zum frühesten Zeitpunkt gespeichert wird, als demjenigen, in dem das Bild zu einem späteren Zeitpunkt gespeichert wird. Es ist sehr wahrscheinlich, dass das zum frühesten Zeitpunkt gespeicherte Bild bereits angezeigt worden ist, da es natürlich ist, dass das Bild mit dem frühesten Anzeigezeitpunkt bereits angezeigt worden ist. Es besteht daher eine hohe Wahrschein lichkeit, dass das Bild, das noch nicht angezeigt worden ist, nicht überschrieben wird, wenn das decodierte Bild in dem Bereich gespeichert wird, in dem das Bild gespeichert worden ist, das zum frühesten Zeitpunkt gespeichert worden ist. Wenn der früheste Zeitpunkt dem frühesten Zeitpunkt entspricht, zu dem das Bild codiert worden ist, kann anhand der Vorhersagestruktur und der Decodierungsreihenfolge des Bildes beurteilt werden, ob das Bild z. B. zum frühesten Zeitpunkt codiert worden ist.
  • Die frühesten Zeitpunkte beruhen nicht unbedingt auf der Zeit, und können die frühesten Zeitpunkte entsprechend einer Reihenfolge sein, z. B. können es die frühesten Zeitpunkte gemäß einer Anzeigereihenfolge sein. Es ist z. B. sehr wahrscheinlich, dass ein Bild, dessen Anzeigereihenfolge die früheste ist, bereits angezeigt worden ist, wobei ein Speicherbereich, der ein solches Bild speichert, seinerseits als Speicherbereich im Speicher wiederverwendet werden kann, unabhängig davon, ob er bereits angezeigt worden ist, oder nicht. Normalerweise sind die Intervalle der Anzeige von Bildern regelmäßig, weshalb die Reihenfolge der Anzeige von Bildern als Anzeigezeitpunkt betrachtet werden kann.
  • Das erneute Überschreiben eines Bildes über das Bild, das noch nicht angezeigt worden ist, kann somit verhindert werden, so dass das letztere Bild für die Anzeige aus dem Bereich ausgegeben werden kann, der bereits freigegeben, jedoch zum Anzeigezeitpunkt nicht überschrieben worden ist. Ferner kann das Bild, das für die Anzeige zu speichern ist, gespeichert werden, ohne einen unnötigen Speicher zu benötigen.
  • Die Verarbeitung des Speicherns des Bildes, das für die Anzeige zu speichern ist, kann ausgeführt werden, unabhängig davon, ob das im Bildspeicher PicMem2 gespeicherte Bild bereits angezeigt worden ist, oder nicht. Wenn der früheste Zeitpunkt den frühesten Zeitpunkt in der Anzeigezeit angibt, kann von der Anzeigebildsteuereinheit DisPicCtrl, die Informationen darüber verwaltet, ob das Bild angezeigt worden ist, oder nicht, beurteilt werden, ob das Bild zum frühesten Zeitpunkt gespeichert worden ist, oder nicht.
  • Es folgt eine Beschreibung eines Verfahrens zum Speichern eines Bildes im Speicher, wenn das codierte Signal, das von der in der vierten Ausführungsform gezeigten Bildcodierungsvorrichtung codiert worden ist, decodiert wird.
  • Die Bilddecodierungsvorrichtung 150 beurteilt, ob das von der obenerwähnten Additionseinheit Add ausgegebene decodierte Bild des Bilddecodierungsverfahrens 150 im Bildspeicher PicMem2 zu speichern ist, auf der Grundlage des im Speichersteuerbefehl MMCO angegebenen Befehls.
  • Im Fall der Speicherung des decodierten Bildes im Bildspeicher wird der zuerst freigegebene Bildspeicher erhalten und das decodierte Bild wird im erhaltenen Bereich gespeichert.
  • Da es ein System ist, das die Informationen über den Anzeigezeitpunkt verwaltet, ist es schwierig, den Anzeigezeitpunkt in Abhängig von einem Verfahren zur Herstellung einer Videodecodierungsvorrichtung zu erhalten. Es ist sehr wahrscheinlich, dass das Bild mit dem frühesten Anzeigezeitpunkt in dem zuerst freigegebenen Bereich gespeichert ist, als in dem Bereich, der zu einem späteren Zeitpunkt freigegeben wird. Das heißt, es ist wahrscheinlich, dass das zuerst freigegebene Bild bereits angezeigt worden ist. Es ist daher sehr wahrscheinlich, dass das Bild, das noch nicht angezeigt worden ist, durch das Speichern des decodierten Bildes in dem zuerst freigegebenen Bildbereich nicht überschrieben wird.
  • Ob der Bildbereich ein zuerst freigegebener Bildbereich ist, oder nicht, kann beurteilt werden durch Bezugnahme auf die Informationen darüber, ob jeder Bildbereich freigegeben ist, z. B. "genutzt (nutzbar als Referenzbild)" oder "ungenutzt (nicht mehr als Referenzbild genutzt)", was im Bildspeicher PicMem2 entsprechend dem Speichersteuerbefehl MMCO gespeichert wird, einschließlich der Reihenfolge der Freigabe der Bilder. Oder, die Nutzung des Bildbereiches kann im voraus auf eine vorgegebene Prozedur festgelegt werden, um zu beurteilen, ob der Bildbereich derjenige ist, der gemäß der Prozedur zuerst freigegeben wird. Dies kann z. B. beurteilt werden, indem der Bildspeicher PicMem2 als ein Speicher arbeitet, der ein FIFO-Verfahren (First in First out) verwendet, mit dem die Inhalte einer Aufzeichnung mit altem Aufzeichnungszeitpunkt sequenziell verworfen werden, wenn neue Daten aufgezeichnet werden, so dass die spätesten Bilder einer festen Anzahl von Vollbildern (oder ein Anzahl von Bildern) immer gespeichert sind.
  • Somit kann das erneute Überschreiben eines Bildes über ein Bild, das noch nicht angezeigt worden ist, verhindert werden, wobei das Bild für die Anzeige aus dem Bereich ausgegeben werden kann, der bereits freigegeben, jedoch zum Anzeigezeitpunkt nicht überschrieben worden ist.
  • Die Anzeigeeinheit Disp kann außerhalb der Bilddecodierungsvorrichtung 150 installiert sein, statt in dieser enthalten zu sein, so dass die Bilddecodierungsvorrichtung 150 nur die Daten senden braucht, die für die Anzeige eines Bildes an der Anzeigeeinheit Disp erforderlich sind.
  • Hier ist eine Operation der Bilddecodierungsvorrichtung 150 dargestellt, wenn die Bildgröße modifiziert wird, wie bereits in der zweiten Ausführungsform erläutert worden ist. Die Operation ist jedoch die gleiche wie diejenige, die in den dritten und vierten Ausführungsformen beschrieben worden ist, weshalb die Erläuterung abgekürzt wird.
  • Ein Verfahren entsprechend dem ersten Verfahren in dem Fall, in dem die Bildgröße modifiziert wird, wie in der zweiten Ausführungsform gezeigt, besteht darin, dass die Bilddecodierungsvorrichtung 150 einen gesamten Bereich im Speicher freigibt, der den Bereich für die Referenz enthält, in dem das Referenzbild gespeichert ist, sowie den Bereich für die Anzeige, in dem das Bild für die Anzeige gespeichert ist, und eine Initialisierung durchführt, wenn ein Befehl zum Modifizieren der Bildgröße empfangen wird.
  • 10 ist ein Flussdiagramm, das eine Operation der Bildcodierungsvorrichtung 150 zeigt.
  • Die Bildcodierungsvorrichtung 150 beurteilt, ob ein von der Bildgrößenmodifikationserfassungseinheit PicSizeDet ausgegebenes Signal eine Modifikation einer Bildgröße anzeigt (Schritt 100). Wenn dies zutrifft (ja im Schritt 100), gibt die Bildcodierungsvorrichtung 150 einen gesamten Speicherbereich des Bildspeichers PicMem2 frei (als wiederverwendbaren Zustand), initialisiert diesen (Schritt 102) und beendet die Verarbeitung.
  • Wenn die Bildgröße nicht modifiziert wird (nein in Schritt 100), beurteilt die Bildcodierungsvorrichtung 150, ob der von der Variable-Länge-Decodierungseinheit VLD ausgegebene Speichersteuerbefehl MMCO die Freigabe (Initialisierung) des gesamten Speicherbereichs im Bildspeicher PicMem2 anzeigt (Schritt 101), und gibt, falls dies zutrifft (ja in Schritt 101), den gesamten Speicherbereich frei (Schritt 102), und gibt, falls dies nicht zutrifft (nein in Schritt 101), nur den Bereich für die Referenz frei (Schritt 103), in dem das Referenzbild gespeichert ist, und beendet die Verarbeitung.
  • Die Freigabe des gesamten Bereiches des Speichers verhindert somit die bruchstückhafte Verwendung des Speichers, die durch das Mischen der Bilder unterschiedlicher Größen hervorgerufen wird, wodurch die Beeinträchtigung der Nutzbarkeit des Speichers reduziert werden kann.
  • Als nächstes wird eine Operation der Bilddecodierungsvorrichtung 150 entsprechend dem zweiten Verfahren in dem Fall der Modifikation der Bildgröße, wie in der zweiten Ausführungsform gezeigt, erläutert.
  • Im Fall des Modifizierens der Bildgröße werden die Verfahren untereinander umgeschaltet: ein Verfahren der Freigabe des gesamten Bereiches des Speichers oder ein Verfahren der Freigabe nur des Bereiches für die Referenz, in dem das Referenzbild gespeichert ist, und das Anzeigens des anzeigbaren Bildes unter den Bildern, die noch nicht angezeigt worden sind, wobei von der Bilddecodierungsvorrichtung 150 ein Urteil gefällt wird.
  • Wie in der zweiten Ausführungsform beschrieben worden ist, ist die Befehlsinformation (Kennzeichen), die angibt, entweder den gesamten Speicherbereich freizugeben oder nur den Bereich für die Referenz freizugeben, im Speichersteuerbefehl MMCO in dem Strom Str enthalten, der von der Bildcodierungsvorrichtung (100) ausgegeben wird.
  • Die Bilddecodierungsvorrichtung 150 bestimmt eines der zwei Verfahren, die oben beschrieben worden sind, auf der Grundlage der im Speichersteuerbefehl MMCO enthaltenen Befehlsinformation.
  • 11 ist ein Flussdiagramm, das eine Bestimmungsoperation zeigt.
  • Zuerst beurteilt die Bilddecodierungsvorrichtung 150, ob die Befehlsinformation (Kennzeichen) die Initialisierung des gesamten Bereiches des Speichers anzeigt oder nicht (Schritt 150). Wenn sie die Initialisierung des gesamten Bereiches anzeigt (ja im Schritt 150), gibt die Bilddecodierungsvorrichtung 150 den gesamten Bereich für die Initialisierung frei, einschließlich des Bereiches für die Anzeigespeicherung des Bildes für die Anzeige, das noch nicht angezeigt worden ist (Schritt 151), und gibt ansonsten (nein in Schritt 150) nur den Bereich für die Referenz zur Initialisierung frei (Schritt 152).
  • Wenn die Befehlsinformation (Kennzeichen) nicht die Initialisierung des gesamten Bereiches anzeigt, gibt die Bilddecodierungsvorrichtung 150 nur den Bereich für die Referenz frei. Als Bild, das noch nicht angezeigt worden ist und in einem anderen Bereich als den Bereich für die Referenz gespeichert ist, beurteilt die Bilddecodierungsvorrichtung 150 das Bild und zeigt das anzeigbare Bild an.
  • Es folgt eine Beschreibung der Operation der Bilddecodierungsvorrichtung 150 im Fall der Initialisierung nur des Bereiches für die Referenz mit Bezug auf ein Flussdiagramm.
  • 12 ist ein Flussdiagramm, das eine Operation der Bilddecodierungsvorrichtung 150 (Decodierer) zeigt.
  • Die Bilddecodierungsvorrichtung 150 beurteilt, ob das von der Bildgrößenmodifikationserfassungseinheit PicSizeDet ausgegebene Signal eine Modifikation einer Bildgröße anzeigt, oder nicht (Schritt 200). Solange es nicht die Modifikation der Bildgröße anzeigt (nein im Schritt 200), zeigt die Bilddecodierungsvorrichtung 150 das anzuzeigende Bild an, das noch nicht angezeigt worden ist und im Bereich für die Anzeige gespeichert ist (Schritt 203).
  • Wenn indessen das Signal die Modifikation der Bildgröße anzeigt (ja in Schritt 200), bestimmt die Bilddecodierungsvorrichtung 150, ob das Bild für die Anzeige, das im Bereich für die Anzeige gespeichert ist, dasjenige vor Stattfinden der Modifikation der Größe ist (Schritt 201). Wenn dies nicht der Fall ist (nein in Schritt 210), zeigt die Bilddecodierungsvorrichtung 150 das anzuzeigende Bild an, das noch nicht angezeigt worden ist (Schritt 203). Wenn es der Fall ist (ja in Schritt 201), beurteilt die Bilddecodierungsvorrichtung 150, ob das Bild für die Anzeige anzeigbar ist oder nicht, und zeigt es auf der Grundlage der Beurteilung an (Schritt 202).
  • Es folgt eine Beschreibung einer Operation der Bilddecodierungsvorrichtung 150 für eine Beurteilung darüber, ob das Bild angezeigt werden kann, oder nicht.
  • 13 ist ein Flussdiagramm, das die Operation der Bilddecodierungsvorrichtung 150 bezüglich einer Anzeige des Bildes zeigt.
  • In 13 sind die gleichen Markierungen für die gleiche Verarbeitung eingesetzt, wie in 12 beschrieben worden ist.
  • Die Bilddecodierungsvorrichtung 150 beurteilt, ob das Bild für die Anzeige, das im Bereich für die Anzeige gespeichert ist, dasjenige vor Stattfinden der Modifikation der Größe ist (Schritt 201). Wenn das Bild nicht dasjenige vor Stattfinden der Modifikation ist (nein in Schritt 201), zeigt die Bilddecodierungsvorrichtung 150 das Bild an. Wenn andererseits das Bild dasjenige vor Stattfinden der Modifikation ist (ja in Schritt 201), bestimmt die Bilddecodierungsvorrichtung 150, ob das anzuzeigende Bild beschädigt ist oder nicht (Schritt 211). Wenn das Bild nicht beschädigt ist (nein in Schritt 211), wird das Bild als anzeigbar betrachtet und daher angezeigt (Schritt 210). Wenn es beschädigt ist (ja in Schritt 211), wird stattdessen z. B. das Vorhersagebild angezeigt. Nicht beschädigt zu sein, bedeutet hier, dass das anzuzeigende Bild nicht überschrieben worden ist, so dass neue Bilddaten gespeichert sind, selbst wenn das Bild ein Teil eines gespeicherten Bildes ist. Auf diese Weise beurteilt die Bilddecodierungsvorrichtung 150, ob das anzuzeigende Bild beschädigt ist oder nicht, bestimmt ein unbeschädigtes Bild als anzeigbar, und zeigt dieses an.
  • Wie in den Flussdiagrammen der 11, 12 und 13 erläutert ist, zeigt somit die Bilddecodierungsvorrichtung 150 das Bild an, das noch nicht angezeigt worden ist, entsprechend der Befehlsinformation (Kennzeichen), die angibt, ob der gesamte Bereich des Speichers zu initialisieren ist, oder nicht, wenn die Modifikation der Bildgröße stattfindet.
  • Aufgrund des Bilddecodierungsverfahrens der Bilddecodierungsvorrichtung 150, wie oben beschrieben worden ist, wird eine geeignete Decodierung verwirklicht, indem entweder auf das Initialisieren des gesamten Bereiches des Speichers oder das Initialisieren nur des Bereiches für die Referenz umgeschaltet wird, und das Bild für die Anzeige, das noch nicht angezeigt worden ist, sogar dann angezeigt wird, wenn die Modifikation der Bildgröße durchgeführt wird. Das heißt, wenn z. B. der freie Bereich im Speicher klein ist, wird der gesamte Bereich im Speicher für die Wiederverwendung initialisiert, während dann, wenn er groß ist, der Fall flexibel gehandhabt werden kann, indem die Anzeige des Bildes erlaubt wird, das noch nicht angezeigt worden ist, nachdem nur der Bereich für die Referenz initialisiert worden ist.
  • (Sechste Ausführungsform)
  • Die folgenden Ausdrücke werden in einer sechsten Ausführungsform verwendet. Das heißt, ein Referenzbildpuffer ist ein Bereich, der einen Bereich für die Referenz und denjenigen für die Anzeige im Bildspeicher PicMem2 in einer Bildcodierungsvorrichtung kombiniert. Ein virtueller Anzeigeverzögerungspuffer ist ein virtueller Puffer für jedes Bild für die Anzeige, das im Bereich für die Anzeige zu speichern ist, der im Bildspeicher PicMem2 in der Bildcodierungsvorrichtung enthalten ist, und speichert vorübergehend Referenznummern der Bilder für die Anzeige (Bildnummern oder dergleichen). Ein Referenzspeicherpuffer ist ein Bereich für die Referenz im Bildspeicher PicMem2 in einer Bilddecodierungsvorrichtung. Ein Nachdecodiererpuffer ist ein Bereich für die Anzeige im Bildspeicher PicMem2 in der Bilddecodierungsvorrichtung. Die vorübergehenden Referenznummern sind die Nummern, die für die Bilder entsprechend der Reihenfolge der Anzeigezeit zugewiesen sind, und können ein Äquivalent für den Bildzeitpunkt Time sein.
  • Die Erläuterung beginnt zuerst mit der Bildcodierungsvorrichtung. Der virtuelle Anzeigeverzögerungspuffer wird verwendet, um die maximale Anzahl von Referenzbildern zu begrenzen, die für die von der Bildcodierungsvorrichtung durchgeführte Vorhersagecodierung verwendet werden.
  • 14 zeigt die Verarbeitung der Bestimmung einer Beziehung zwischen dem virtuellen Anzeigeverzögerungspuffer und der maximalen Anzahl der zurückliegenden Referenzbilder. Jedes Modul in 14 repräsentiert einen Funktionsblock oder einen Verarbeitungsschritt einer Bildstrukturbestimmungseinheit PicStruct, einer Referenzbildsteuereinheit RefPicCtrl und einer Anzeigebildsteu ereinheit DisPicCtrl. Wie im Diagramm gezeigt ist, wird die zulässige maximale Anzahl von Referenzbildern NR für dieses Profil und die Ebene im Modul 401 bestimmt. Dieser Wert ist für jedes Profil und jede Ebene definiert, weshalb der Codierer den Wert von Profil/Ebene codiert, ein Äquivalent von NR, als Information auf einem Strom, und ein Decodierer NR entsprechend dem Wert von Profil/Ebene im Strom erhält. Die Bildcodierungsvorrichtung setzt anschließend die maximale Anzahl von zurückliegenden Referenzbildern NB, die für die Codierung einer Videosequenz optimal ist, im Modul 402. Die Größe des virtuellen Anzeigeverzögerungspuffers kann auf der Grundlage dieses Wertes NB bestimmt werden. Wenn NB kleiner als 2 ist, wird der virtuelle Anzeigeverzögerungspuffer nicht benötigt. Wenn jedoch NB größer oder gleich 2 ist, wird im Modul 404 ein virtueller Anzeigeverzögerungspuffer erzeugt, der NB-1 Bilder speichern kann.
  • Die Information über das im virtuellen Anzeigeverzögerungspuffer gespeicherte Bild wird im Speicher oder in irgendeinem Register gehalten. Dieser virtuelle Anzeigeverzögerungspuffer erfordert keinen großen physikalischen Speicherraum in der Bildcodierungsvorrichtung. Dies liegt daran, dass mit Beschreibungen der Referenzbilder (Bildnummern oder dergleichen) zum Identifizieren, und nicht der gesamte Teil des rekonstruierten (decodierten) Bildes, jedoch, welches rekonstruierte Bild, im virtuellen Anzeigeverzögerungspuffer gespeichert werden, da die Beurteilung, welches Bild im virtuellen Anzeigeverzögerungspuffer für seine Anzeige gespeichert ist, solange das Bild nicht von der Bilddecodierungsvorrichtung decodiert ist, nicht angezeigt (ausgegeben) werden muss. Neben dem virtuellen Anzeigeverzögerungspuffer wird ein Anzeigezähler im Modul 405 erzeugt, wobei der Wert entweder im Speicher oder in irgendeinem Register gehalten wird. Der Anzeigezähler wird verwendet, um zu beurteilen, ob ein unnötiges Bild aus dem virtuellen Anzeigeverzögerungspuffer entfernt werden soll. Die Bildcodierungsvorrichtung erzeugt anschließend eine Bildgröße für eine Anzahl NR von Referenzbildern im Speicherraum auf der Grundlage der Profil- und der Ebenendefinition. Maximale virtuelle Anzeigeverzögerungspuffergröße = NB – 1 (1),wobei NB < NR
  • 15 zeigt die Nachcodierungsverarbeitung in der Bildcodierungsvorrichtung, d. h. eine Verarbeitung des Speicherns eines decodierten Bildes nach dem Decodieren (als ein Codetyp oder einfach als Bild bezeichnet) im Referenzspeicherpuffer. Das Modul im Diagramm repräsentiert einen Funktionsblock oder einen Verarbeitungsschritt in der Referenzbildsteuereinheit RefPicCtrl und der Anzeigebildsteuereinheit DisPicCtrl. Nachdem im Modul 501 ein einzelnes Bild codiert worden ist, wird im Modul 502 bestimmt, ob das Bild als Referenzbild zu verwenden ist, oder nicht. Wenn das Bild ein Referenzbild ist, wird die maximale Anzahl der möglichen Referenzbilder auf der Grundlage von Gleichung (2) berechnet. NMax = NR – Fv (2)
  • Hierbei repräsentiert NMax die maximale Anzahl möglicher Referenzbilder, während NR die maximale Anzahl der Referenzbilder repräsentiert, die in der Profil- und Ebenendefinition erlaubt ist. Fv repräsentiert einen virtuellen Anzeigeverzögerungspufferfüllgrad, d. h. die Anzahl der derzeit verwendeten virtuellen Anzeigeverzögerungspuffer aus der Größe des virtuellen Anzeigeverzögerungspuffers (NB – 1).
  • Wenn die Anzahl der Referenzbilder im Referenzbildpuffer kleiner als NMax ist, wird das codierte Bild im Modul 506 rekonstruiert (decodiert) und im Modul 507 im Referenzbildpuffer gespeichert. Wenn nicht genügend Raum vorhanden ist, hält die Bildcodierungsvorrichtung einen notwendigen Bereich im Referenzbildpuffer zurück durch Entfernen bestimmter ungenutzter Referenzbilder (nicht mehr als Referenzbilder benutzt) aus dem Puffer, wie im Modul 504 gezeigt ist. Wenn es keine ungenutzten Referenzbilder gibt, die aus dem Puffer zu entfernen sind, wird das codierte Bild nicht als Referenzbild verwendet. Wenn das codierte Bild kein Referenzbild ist, wird die vorübergehende Referenznummer des codierten Bildes mit derjenigen verglichen, die vom Anzeigezähler im Modul 505 angegeben wird. Wenn die vorübergehende Referenznummer des Nichtreferenzbildes kleiner als diejenige ist, die beim Anzeigezähler angegeben wird, wird der virtuelle Anzeigeverzögerungspuffer im Modul 508 aktualisiert. Im Modul 508 entfernt der virtuelle Anzeigeverzögerungspuffer das Bild mit der vorübergehenden Referenznummer gleich oder früher als diejenige, die beim Anzeigezähler angegeben wird, und fügt die vorübergehende Referenznummer des aktuellen Nichtreferenzbildes in den Puffer ein. Die Anzahl der Bilder im virtuellen Puffer mit einer vorübergehenden Referenznummer kleiner als diejenige, die im Anzeigezähler angegeben wird, wird gleich dem Füllgrad des Puffers. Der Anzeigezähler beginnt nur eine Aktualisierungsoperation auf Anlass, wenn die Nummer des codierten Bildes gleich NB ist, oder wenn der virtuelle Anzeigezähler voll ist, unab hängig davon, was früher sein kann. Anschließend wird der Anzeigezähler für jedes Bild aktualisiert, das im Modul 509 codiert wird.
  • 16 zeigt die Nachdecodierungsverarbeitung in der Bilddecodierungsvorrichtung, d. h. die Verarbeitung des Speicherns eines Bildes, das von der Bilddecodierungsvorrichtung decodiert worden ist (als decodiertes Bild oder einfach als Bild bezeichnet), im Referenzbildpuffer. Die Module im Diagramm zeigen die Funktionsblöcke oder die Verarbeitungsschritte in der Anzeigebildsteuereinheit DisPicCtrl. Ein Bild wird im Modul 601 decodiert. Im Modul 602 bestimmt die Bilddecodierungsvorrichtung, ob das Bild als Referenzbild gespeichert werden muss oder nicht. Wenn das decodierte Bild als Referenzbild zu speichern ist, wird es im Modul 606 im Referenzbildpuffer gespeichert, ansonsten untersucht die Bilddecodierungsvorrichtung im Modul 603, ob es Zeit ist, dieses Bild anzuzeigen (auszugeben). Wenn der Zeitpunkt für das Anzeigen (Ausgeben) des Bildes noch nicht gekommen ist, wird das Bild im Nachdecodiererpuffer im Modul 604 bis zu seinem Anzeigezeitpunkt gespeichert. Sowohl der Nachdecodiererpuffer als auch der Referenzbildpuffer teilen sich physikalisch den gleichen Speicherbereich. Mit anderen Worten, jeder Bereich des gleichen Speichers kann als Referenzbildpuffer für bestimmte Gelegenheiten und als Nachdecodiererpuffer für andere Gelegenheiten verwendet werden.
  • Im Modul 605 bestimmt die Bilddecodierungsvorrichtung anschließend ein anzuzeigendes (auszugebendes) Bild entweder aus dem Referenzbildpuffer oder dem Nachdecodiererpuffer auf der Grundlage des Anzeigezeitpunkts. Sobald ein Bild aus dem Nachdecodiererpuffer angezeigt (ausgegeben) worden ist, wird es aus dem Puffer entfernt. Andererseits wird ein Referenzbild nur dann aus dem Referenzbildpuffer entfernt oder in den Nachdecodiererpuffer verschoben, wenn der Strom angibt, dass das Referenzbild nicht mehr als Referenz verwendet wird.
  • 17 ist ein Beispiel eines Verfahrens, das einen virtuellen Anzeigeverzögerungspuffer verwendet, um die maximale Anzahl von Referenzbildern bei jedem Bildintervall zu bestimmen. In diesem Beispiel soll die maximale Anzahl zulässiger Referenzbilder NR gleich 4 sein. Die Bildcodierungsvorrichtung setzt die maximale Anzahl von zurückliegenden Referenzbildern NB auf 3. Somit wird ein virtueller Anzeigeverzögerungspuffer, in dem zwei Bilder speicherbar sind, erzeugt (der Bereich wird zurückgehalten). Der Anzeigezähler wird zum Speichern und Aktualisieren der vorübergehenden Referenznummer des virtuell anzuzeigenden (auszugebenden) Bildes verwendet. In den im Diagramm gezeigten Referenzspeicherpuffer zeigt der freie Bereich, dass der Bereich frei ist, wobei der mit diesem Bildtyp und der Nummer geschriebene Bereich zeigt, dass das Bild für die Referenz gespeichert ist, und der schraffierte Bereich zeigt, dass das Bild für die Anzeige gespeichert ist. Ferner zeigt im virtuellen Anzeigeverzögerungspuffer der freie Bereich, dass der Bereich frei ist, der mit seinem Bildtyp und der Nummer beschriebene Bereich zeigt, dass die vorübergehende Referenznummer des Bildes für die Anzeige im Referenzspeicherpuffer gespeichert ist, und der schraffierte Bereich zeigt, dass der Referenzspeicherpuffer keinen Speicherbereich für das Bild für die Anzeige hat. Der virtuelle Anzeigeverzögerungspuffer, dessen Nummer der Nummer des schraffierten Bereiches im Referenzspeicherpuffer entspricht, speichert die vorübergehenden Referenznummern der Bilder für die Anzeige.
  • Wie im Diagramm gezeigt ist, werden die Bilder B2 und B3 als Referenzbilder verwendet, weshalb sie im Referenzspeicherpuffer zusammen mit I0 und P4 gespeichert werden, wobei der Anzeigezähler die Aktualisierung beginnt, nachdem das Bild B3 codiert worden ist. Zum Zeitpunkt T6 wird B5 nicht als Referenzbild verwendet, jedoch liegt dies daran, dass die vorübergehende Referenznummer größer ist als diejenige, die beim Anzeigezähler angegeben wird, und vom virtuellen Anzeigeverzögerungspuffer aktualisiert werden muss. Der Füllgrad des virtuellen Anzeigeverzögerungspuffers Fv zu diesem Zeitpunkt ist daher gleich 1, wobei die maximale Anzahl möglicher Referenzbilder NMax gleich 3 ist.
  • In ähnlicher Weise muss zum Zeitpunkt T7 das Bild B6 vom virtuellen Anzeigeverzögerungspuffer aktualisiert werden, während B5 noch nicht entfernt werden kann, da seine vorübergehende Referenznummer größer ist als diejenige, die beim Anzeigezähler angezeigt wird. Somit zeigt NMax zu diesem Zeitpunkt 2 an. Das Referenzbild I0 muss aufgrund unzureichenden Speichers aus dem Referenzspeicherpuffer entfernt werden. B7 kann zu diesem Zeitpunkt anschließend nur unter Verwendung von P4 und P8 vorhergesagt werden.
  • 18 zeigt ein Beispiel, in dem der Anzeigezähler zuerst unter Verwendung des virtuellen Anzeigeverzögerungspuffers inkrementiert wird. NR soll in dem Beispiel gleich 5 sein. Die Bildcodierungsvorrichtung setzt die Maximale Anzahl von mehrfachen zurückliegenden Referenzbildern NB auf 3. Somit wird ein virtueller Anzeigeverzögerungspuffererzeugt, in dem zwei Bilder speicherbar sind.
  • Wie im Diagramm gezeigt ist, werden B1, B2, B3 und B4 nicht für Referenzbilder verwendet, während B7 und B8 verwendet werden. B1 und B2 werden daher zum Zeitpunkt T3 im virtuellen Anzeigeverzögerungspuffer gespeichert, um auf die Anzeige zu warten. Da der virtuelle Anzeigeverzögerungspuffer zum Zeitpunkt T3 voll ist, beginnt der Anzeigezähler zum Zeitpunkt T3 mit der Aktualisierung. Der Grund dafür, dass der Anzeigezähler wenigstens warten muss, bis der virtuelle Anzeigeverzögerungspuffer voll wird, bevor er mit der Aktualisierung beginnen kann, liegt darin, dass er die Aufzeichnung der B-Bilder handhaben muss, die wahrscheinlich in der Bilddecodierungsvorrichtung stattfindet.
  • Wie in 17 gezeigt ist, verwendet die Bilddecodierungsvorrichtung manchmal einen Teil des Referenzbildpuffers als Nachdecodiererpuffer. Die Bilddecodierungsvorrichtung betreibt daher den Referenzbildpuffer auf der Grundlage einer festen physikalischen Speichergröße des Referenzbildpuffers, so dass bestimmte Teile des Referenzbildpuffers für die Referenzbilder verwendet werden, und der Rest als Nachdecodiererpuffer verwendet wird. Zum Beispiel wird zum Zeitpunkt T3 der gesamte Referenzbildpuffer verwendet, um Referenzbilder zu speichern, während zum Zeitpunkt T7 nur zwei Bereiche des Referenzbildpuffers zum Speichern der Referenzbilder P4 und P8 verwendet werden. Der Rest wird verwendet, um Nachdecodiererbilder B5 und B6 zu speichern.
  • Die maximale Anzahl der Referenzbilder, die auf Seite der Bilddecodierungsvorrichtung zu verwenden sind, ist in der Profil- und Ebenendefinition für die Bildcodierungsvorrichtung definiert. Die Bildcodierungsvorrichtung kann daher Referenzbilder bis zur maximalen Anzahl verwenden, die durch das Profil und die Ebene definiert ist. Somit ist es erforderlich, dass die Bildcodierungsvorrichtung die Referenzbilder kontrolliert und eine Codierung durchführt, so dass die gleiche Operation verwirklicht werden kann (die Anzahl der Referenzbilder nicht den vorgegebenen Wert überschreitet), wenn die Bilddecodierungsvorrichtung auf der Grundlage der Randbedingungen arbeitet.
  • In ähnlicher Weise hat die Bilddecodierungsvorrichtung die gleiche Anzahl von Referenzbildern, wie die Bildcodierungsvorrichtung. Außerdem ist zusätzlicher Speicherraum für den Nachdecodiererpuffer erforderlich. Die maximale Anzahl von Nachdecodiererbildern ist durch Gleichung (3) definiert. NP = NR – 2 (3)
  • Hierbei repräsentiert NP die maximale Anzahl der Nachdecodiererbilder, während NR die maximale Anzahl der Referenzbilder repräsentiert, die durch die Profil- und Ebenendefinition definiert ist.
  • Die maximale Anzahl der Nachdecodiererbilder soll daher beim Entwurf der Bilddecodierungsvorrichtung berücksichtigt werden, so dass die Bilddecodierungsvorrichtung konform mit der Profil- und Ebenendefinition ist. Die maximale Anzahl der Nachdecodiererbilder kann entweder unter Verwendung der Gleichung (3) berechnet werden, oder in der Profil- und Ebenendefinition spezifiziert werden. Sobald die maximale Anzahl der Nachdecodiererbilder in der Profil- und Ebenendefinition spezifiziert wird, kann die maximale Anzahl der zurückliegenden Vorhersagebilder auf der Grundlage von Gleichung (4) berechnet werden. NB = NP + 1 (4)
  • Hierbei repräsentiert NB die maximale Anzahl zurückliegender Vorhersagebilder im Referenzbildpuffer. In der vorliegenden Ausführungsform repräsentiert NB die minimalen Speicheranforderungen, die von der Bilddecodierungsvorrichtung benötigt werden, um einen Strom konform mit der Profil- und Ebenendefinition zu decodieren.
  • Es ist möglich, die Anzahl der Bilder, die für die Rückwärtsvorhersage verwendet werden, zu begrenzen, um die Anzahl der zusätzlichen Nachdecodiererbilder zu reduzieren, die zum Referenzbildpuffer von der Seite der Bilddecodierungsvorrichtung hinzugefügt werden. Wenn z. B. die maximale Anzahl der für die Rückwärtsvorhersage verwendeten Bilder auf 2 begrenzt ist, muss nur ein zusätzliches Nachdecodiererbild zum Referenzbildpuffer hinzugefügt werden, was die Zuweisung von unnötigem physikalischen Speicherraum für die Nachdecodiererbilder auf der Seite der Bilddecodierungsvorrichtung verhindern kann.
  • (Siebte Ausführungsform)
  • Ferner ist es möglich, leicht die in den obigen Ausführungsformen gezeigte Verarbeitung in einem unabhängigen Computersystem durchzuführen, indem ein Programm zur Verwirklichung des Bildcodierungsverfahrens und des Bilddecodierungsverfahrens, die in den obenbeschriebenen Ausführungsformen gezeigt sind, auf einem Speichermedium, wie z. B. einer flexiblen Diskette, aufgezeichnet wird.
  • 19 ist eine Erläuterung für die Verwirklichung des Bildcodierungs/Decodierungsverfahrens der obigen Ausführungsformen unter Verwendung eines Programms, das auf einem Speichermedium, wie z. B. einer flexiblen Diskette, aufgezeichnet ist.
  • 19B zeigt ein Gesamterscheinungsbild einer flexiblen Platte, deren Struktur im Querschnitt, sowie die flexible Platte selbst, während 19A ein Beispiel eines physikalischen Formats der flexiblen Platte als Hauptkörper eines Speichermediums zeigt. Eine flexible Platte FD1 ist in einem Gehäuse F enthalten, wobei mehrere Spuren Tr konzentrisch ausgehend vom Rand nach innen auf der Oberfläche der Platte ausgebildet sind, und wobei jede Spur in 16 Sektoren Se in Winkelrichtung unterteilt ist. Als flexible Platte, die das obenerwähnte Programm speichert, werden daher Daten für das obenerwähnte Programm in einem Bereich gespeichert, der für dieses auf der flexiblen Platte FD1 zugewiesen wird.
  • 19C zeigt eine Struktur zum Aufzeichnen und Auslesen des Programms auf der flexiblen Platte FD1. Wenn das Programm auf der flexiblen Platte FD1 aufgezeichnet wird, schreibt das Computersystem Cs Daten als Programm über ein Diskettenlaufwerk FDD. Wenn das Bildcodierungsverfahren und das Bilddecodierungsverfahren zur Verwirklichung des Bildcodierungsverfahrens und des Bilddecodierungsverfahrens als Programm auf der flexiblen Platte im Computersystem aufgebaut sind, wird das Programm mittels eines Diskettenlaufwerks FDD von der flexiblen Platte ausgelesen und anschließend zum Computersystem Cs übertragen.
  • Die obige Erläuterung beruht auf der Annahme, dass ein Speichermedium eine flexible Platte ist, jedoch kann die gleiche Verarbeitung auch unter Verwendung einer optischen Platte durchgeführt werden. Außerdem ist das Speichermedium nicht auf eine flexible Platte und eine optische Platte begrenzt, sondern es kann ein beliebiges anderes Medium verwendet werden, wie z. B. eine IC-Karte und eine ROM-Kassette, die ein Programm aufzeichnen können.
  • (Achte Ausführungsform)
  • Es folgt eine Erläuterung der Anwendungen des Bildcodierungsverfahrens sowie des Bilddecodierungsverfahrens, wie in den obenerwähnten Ausführungsformen gezeigt, sowie eines Systems, das diese verwendet.
  • 20 ist ein Blockdiagramm, das eine Gesamtkonfiguration eines Inhaltzuführungssystems ex100 für die Verwirklichung. eines Inhaltverteildienstes zeigt. Der Bereich zum Bereitstellen eines Kommunikationsdienstes ist in Zellen einer gewünschten Größe unterteilt, wobei Zellensenderstandorte ex107 bis ex110, die feste Funkstationen sind, in den jeweiligen Zellen platziert sind.
  • Das Inhaltzuführungssystem ex100 ist mit Vorrichtungen verbunden, wie z. B. Internet ex101, einem Internetdienstanbieter ex102, einem Telephonnetz ex104, sowie einem Computer ex111, einem PDA (persönlicher digitaler Assistent) ex112, einer Kamera ex113, einem Zellentelephon ex114 und einem Zellentelephon mit einer Kamera ex115, über die Zellensenderstandorte ex107 bis ex110.
  • Das Inhaltzuführungssystem ex100 ist jedoch nicht auf die in 20 gezeigte Konfiguration beschränkt, und kann mit einer beliebigen Kombination von diesen verbunden sein. Ferner kann jede Vorrichtung direkt mit dem Telephonnetz ex104 verbunden sein, und nicht über die Zellensenderstandorte ex107 bis ex110.
  • Die Kamera ex113 ist eine Vorrichtung, die Videos aufnehmen kann, wie z. B. eine digitale Videokamera. Das Zellentelephon ex114 kann ein Zellentelephon von irgendeinem der folgenden Systeme sein: ein PDC-System (PDC = persönliche digitale Kommunikation), ein CDMA-System (Codemultiplex), ein W-CDMA-System (Breitband-Codemultiplex) oder ein GSM-System (Globales System für mobile Kommunikation), ein PHS (persönliches Handtelephonsystem) oder dergleichen.
  • Ein Streaming-Server ex103 ist mit der Kamera ex113 über das Telephonnetz ex104 sowie den Zellensenderstandort ex109 verbunden, was eine Echtzeitverteilung oder dergleichen unter Verwendung der Kamera ex113 auf der Grundlage der vom Benutzer übermittelten codierten Daten verwirklicht. Entweder die Kamera ex113 oder der Server, der die Daten übermittelt, können die Daten codieren. Ferner können die von einer Kamera ex116 aufgenommenen Bilddaten über den Computer ex111 zum Streaming-Server ex103 übermittelt werden. In diesem Fall können entweder die Kamera ex116 oder der Computer ex111 die Bilddaten codieren. Ein LSI ex117, der im Computer ex111 oder in der Kamera ex116 enthalten ist, führt die Codierungsverarbeitung durch. Software zum Codieren und Decodieren von Bildern kann in einem beliebigen Typ von Speichermedium (wie z. B. einem CD-ROM, einer flexiblen Platte und einer Festplatte) integriert sein, das ein Aufzeichnungsmedium ist, das vom Computer ex111 oder dergleichen lesbar ist. Ferner kann ein Zellentelephon mit Kamera ex115 die Bilddaten übermitteln. Diese Bilddaten sind Daten, die von dem im Zellentelephon ex115 enthaltenen LSI codiert worden sind.
  • Das Inhaltzuführungssystem ex100 codiert Inhalte (wie z. B. ein Musikvideo), das von einem Benutzer unter Verwendung der Kamera ex113, der Kamera ex116 oder dergleichen aufgenommen worden ist, in der gleichen Weise wie in den obenerwähnten Ausführungsformen gezeigt, und übermittelt diese zum Streaming-Server ex103, während der Streaming-Server ex103 die Stromverteilung der Inhaltdaten zu den Clients auf deren Aufforderung bewerkstelligt. Die Clients enthalten den Computer ex111, den PDA ex112, die Kamera ex113, das Zellentelephon ex114 und dergleichen, die die obenerwähnten codierten Daten decodieren können. Im Inhaltzuführungssystem ex100 können die Clients somit codierte Daten empfangen und reproduzieren, und können ferner die Daten in Echtzeit empfangen, decodieren und reproduzieren, um somit einen persönlichen Rundfunk zu verwirklichen.
  • Wenn jede Vorrichtung in diesem System die Codierung oder Decodierung durchführt, kann das Bildcodierungsverfahren oder das Bilddecodierungsverfahren, die in den obenerwähnten Ausführungsformen gezeigt sind, verwendet werden.
  • Ein Zellentelephon wird als Beispiel einer Vorrichtung erläutert.
  • 21 ist ein Diagramm, das das Zellentelephon ex115 zeigt, das das Bildcodierungsverfahren und das Bilddecodierungsverfahren verwendet, die in den obenerwähnten Ausführungsformen erläutert sind. Das Zellentelephon ex115 besitzt eine Antenne ex201 für die Kommunikation mit dem Zellensenderstandort ex110 über Funkwellen, eine Kameraeinheit ex203, wie z. B. eine CCD-Kamera, die bewegte und stehende Bilder aufnehmen kann, eine Anzeigeeinheit ex202, wie z. B. eine Flüssigkristallanzeige zum Anzeigen der Daten, wie z. B. decodierte Bilder und dergleichen, die von der Kameraeinheit ex203 aufgenommen worden sind oder von der Antenne ex201 empfangen worden sind, eine Körpereinheit, die einen Satz von Betätigungstasten ex204 enthält, eine Audioausgabeeinheit ex208, wie z. B. einen Lautsprecher zum Ausgeben von Ton, eine Audioeingabeeinheit ex205, wie z. B. ein Mikrophon zum Eingeben von Ton, ein Speichermedium ex207 zum Speichern codierter oder decodierter Daten, wie z. B. Daten von bewegten oder stehenden Bildern, die von der Kamera aufgenommen worden sind, Daten von empfangenen E-Mails und diejenigen von bewegten oder stehenden Bildern, und eine Schlitzeinheit ex206 zum Anbringen des Speichermediums ex207 am Zellentelephon ex115. Das Speichermedium ex207 speichert selbst ein Flash-Speicherelement, eine Art von EEPROM (elektrisch löschbarer und programmierbarer Nur-Lese-Speicher), der ein nichtflüchtiger Speicher ist, der elektrisch löschbar und wiederbeschreibbar ist, in einem Kunststoffgehäuse, wie z. B. einer SD-Karte oder dergleichen.
  • Als Nächstes wird das Zellentelephon ex115 mit Bezug auf 22 erläutert. Im Zellentelephon ex115 ist eine Hauptsteuereinheit ex311, die dafür ausgelegt ist, alle Einheiten des Hauptkörpers zu steuern, der die Anzeigeeinheit ex202 sowie die Betätigungstasten ex204 enthält, wechselseitig mit einer Stromversorgungsschaltungseinheit ex310, einer Operationseingabesteuereinheit ex304, einer Bildcodierungseinheit ex312, einer Kameraschnittstelleneinheit ex303, einer LCD-(Flüssigkristallanzeige)-Steuereinheit ex302, einer Bilddecodierungseinheit ex309, einer Multiplex/Demultiplex-Einheit ex308, einer Lese/Schreib-Einheit ex307, einer Modemschaltungseinheit ex306 und einer Audioverarbeitungseinheit ex305 über einen synchronen Bus ex313 verbunden.
  • Wenn eine Rufendetaste oder eine Stromversorgungstaste durch eine Benutzerbetätigung eingeschaltet wird, liefert die Stromversorgungsschaltungseinheit ex310 entsprechenden Einheiten Strom von einem Batteriepaket, um somit das mit der Kamera versehene digitale Zellentelephon ex115 in einen Bereitschaftszustand zu versetzen.
  • Im Zellentelephon ex115 konvertiert die Audioverarbeitungseinheit ex305 die von der Audioeingabeeinheit ex205 empfangenen Audiosignale im Konversationsmodus in digitale Audiodaten unter der Steuerung der Hauptsteuereinheit ex311, die eine CPU, einen ROM und einen RAM enthält, wobei die Modemschaltungseinheit ex306 eine Spreizspektrumverarbeitung der digitalen Audiodaten durchführt, und wobei die Kommunikationsschaltungseinheit ex301 eine Digital/Analog-Umsetzung und eine Frequenztransformation der Daten durchführt, um diese somit über die Antenne ex201 zu übertragen. Ferner verstärkt im Zellentelephon ex115 die Kommunikationsschaltungseinheit ex301 die von der Antenne ex201 im Konversationsmodus empfangenen Daten und führt eine Frequenztransformation und eine Analog/Digital-Umsetzung der Daten durch, wobei die Modemschaltungseinheit ex306 eine inverse Spreizspektrumsverarbeitung der Daten durchführt, und wobei die Audioverarbeitungseinheit ex305 diese in analoge Audiodaten wandelt, um sie somit über die Audioausgabeeinheit ex208 auszugeben.
  • Wenn ferner eine E-Mail im Datenkommunikationsmodus übermittelt wird, werden die Textdaten der E-Mail, die durch Betätigen der Betätigungstasten ex204 des Hauptkörpers eingegeben worden sind, zur Hauptsteuereinheit ex311 über die Operationseingabesteuereinheit ex304 gesendet. Nachdem die Modemschaltungseinheit ex306 eine Spreizspektrumsverarbeitung für die Textdaten durchgeführt hat und die Kommunikationsschaltungseinheit ex301 eine Digital/Analog-Wandlung und eine Frequenztransformation der Textdaten durchgeführt hat, werden in der Hauptsteuereinheit ex311 die Daten über die Antenne ex201 zum Zellensenderstandort ex110 übermittelt.
  • Wenn Bilddaten im Datenkommunikationsmodus übermittelt werden, werden die von der Kameraeinheit ex203 aufgenommenen Bilddaten über die Kameraschnittstelleneinheit ex303 der Bildcodierungseinheit ex312 zugeführt. Wenn sie nicht übermittelt werden, ist es auch möglich, die von der Kameraeinheit ex203 aufgenommenen Bilddaten direkt auf der Anzeigeeinheit ex202 über die Kameraschnittstelleneinheit ex303 und die LCD-Steuereinheit ex302 anzuzeigen.
  • Die Bildcodierungseinheit ex312, die die Bildcodierungsvorrichtung wie in der vorliegenden Erfindung erläutert enthält, komprimiert und codiert die von der Kameraeinheit ex203 zugeführten Bilddaten mit dem Codierungsverfahren, das für die Bildcodierungsvorrichtung verwendet wird, wie in der obenerwähnten ersten Ausführungsform gezeigt ist, um somit diese in codierte Bilddaten zu transformieren, und sendet diese zur Multiplex/Demultiplex-Einheit ex308. Zu diesem Zeitpunkt sendet das Zellentelephon ex115 den von der Audioeingabeeinheit ex205 empfangenen Ton während der Aufnahme mit der Kameraeinheit ex203 zur Multiplex/Demultiplex-Einheit ex308 als digitale Audiodaten über die Audioverarbeitungseinheit ex305.
  • Die Multiplex/Demultiplex-Einheit ex308 multiplexiert die codierten Bilddaten, die von der Bildcodierungseinheit ex312 zugeführt werden, und die von der Audioverarbeitungseinheit ex305 zugeführten Audiodaten unter Verwendung eines vorgegebenen Verfahrens, woraufhin die Modemschaltungseinheit ex306 eine Spreizspektrumsverarbeitung der multiplexierten Daten durchführt, die als Ergebnis des Multiplexierens erhalten werden, und wobei schließlich die Kommunikationsschaltungseinheit ex301 eine Digital/Analog-Wandlung und eine Frequenztransformation der Daten für die Übertragung über die Antenne ex201 durchführt.
  • Für die empfangenen Daten einer Bewegtbilddatei, die mit einer Web-Seite verknüpft ist, oder dergleichen im Datenkommunikationsmodus führt die Modemschaltungseinheit ex306 eine inverse Spreizspektrumsverarbeitung der von dem Zellensenderstandort ex110 über die Antenne ex201 empfangenen Daten durch, und sendet die als Ergebnis der inversen Spreizspektrumsverarbeitung erhaltenen multiplexierten Daten aus.
  • Um die multiplexierten Daten, die über die Antenne ex201 empfangen worden sind, zu decodieren, trennt die Multiplex/Demultiplex-Einheit ex308 die multiplexierten Daten in einen codierten Strom von Bilddaten und denjenigen der Audiodaten, und liefert die codierten Bilddaten an die Bilddecodierungseinheit ex309 und die Audiodaten an die Audioverarbeitungseinheit ex305 jeweils über den synchronen Bus ex313.
  • Als Nächstes decodiert die Bilddecodierungseinheit ex309, die die Bilddecodie rungsvorrichtung enthält, wie in der obenbeschriebenen Erfindung erläutert ist, den codierten Strom der Bilddaten unter Verwendung des Decodierungsverfahrens entsprechend dem Codierungsverfahren, wie in den obenerwähnten Ausführungsformen gezeigt ist, um reproduzierte Bewegtbilddaten zu erzeugen, und liefert diese Daten über die LCD-Steuereinheit ex302 an die Anzeigeeinheit ex202, womit z. B. die Bilddaten, die in der mit einer Web-Seite verknüpften Bewegtbilddatei enthalten sind, angezeigt werden. Gleichzeitig konvertiert die Audioverarbeitungsschaltung ex305 die Audiodaten in analoge Audiodaten und liefert diese Daten an die Audioausgabeeinheit ex208, womit z. B. die Audiodaten, die in der mit einer Web-Seite verknüpften Bewegtbilddatei enthalten sind, wiedergegeben werden.
  • Die vorliegende Erfindung ist nicht auf das obenerwähnte System beschränkt, wobei z. B. bodengestützter oder satellitengestützter digitaler Rundfunk seit kurzem bekannt ist, und wobei wenigstens entweder die Bildcodierungsvorrichtung oder die Bilddecodierungsvorrichtung, die in den obenerwähnten Ausführungsformen beschrieben worden sind, in ein digitales Rundfunksystem eingebaut sein können, wie in 23 gezeigt ist. Genauer wird ein codierter Strom von Videoinformationen von einer Rundfunkstation ex409 über Funkwellen zu einem Rundfunksatelliten ex410 gesendet oder mit diesem übermittelt. Bei Empfang derselben sendet der Rundfunksatellit ex410 Funkwellen für den Rundfunk. Eine Heimantenne ex406 mit einer Satellitenrundfunksempfangsfunktion empfängt die Funkwellen, und ein Fernsehgerät (Empfänger) ex401 oder ein Aufsetzkasten (STB, set top box) ex407 decodiert den codierten Strom für die Wiedergabe. Die Bilddecodierungsvorrichtung, wie in der obenerwähnten Ausführungsform gezeigt, kann in einer Wiedergabevorrichtung ex403 zum Auslesen und Decodieren des codierten Stroms, der auf einem Aufzeichnungsmedium ex402 aufgezeichnet ist, das ein Aufzeichnungsmedium wie z. B. eine CD und eine DVD sein kann, implementiert sein. In diesem Fall werden die reproduzierten Videosignale auf einem Monitor ex404 angezeigt. Es ist auch denkbar, die Bilddecodierungsvorrichtung im Aufsetzkasten ex407 zu implementieren, der mit einem Kabel ex405 für Kabelfernsehen oder der Antenne ex406 für Satelliten und/oder terrestrischem Rundfunk verbunden ist, um somit diese auf einem Monitor ex408 des Fernsehgerätes ex401 wiederzugeben. Die Bilddecodierungsvorrichtung kann in das Fernsehgerät und nicht in den Aufsetzkasten eingebaut sein. Ferner kann ein Kraftfahrzeug ex412 mit einer Antenne ex411 Signale vom Satelliten ex410 oder vom Zellensenderstandort ex107 empfangen, um bewegte Bilder auf einer Anzeigevorrichtung, wie z. B. einem Fahrzeugnavigationssystem ex413, das im Kraftfahrzeug ex412 eingesetzt ist, wiederzugeben.
  • Ferner kann die in den obenerwähnten Ausführungsformen gezeigte Bildcodierungsvorrichtung Bildsignale codieren und diese auf einem Aufzeichnungsmedium aufzeichnen. Als konkretes Beispiel ist ein Aufzeichnungsgerät ex420 zu nennen, wie z. B. ein DVD-Recorder zum Aufzeichnen von Bildsignalen auf einer DVD-Platte ex421, ein Plattenrecorder zum Aufzeichnen derselben auf einer Festplatte, oder dergleichen. Sie können auch auf einer SD-Karte aufgezeichnet werden. Wenn das Aufzeichnungsgerät ex420 die Bilddecodierungsvorrichtung enthält, wie in den obenerwähnten Ausführungsformen gezeigt ist, können die auf der DVD-Platte ex421 oder der SD-Karte ex422 aufgezeichneten Bildsignale für die Anzeige auf dem Monitor ex408 reproduziert werden.
  • Als Aufbau des Fahrzeugnavigationssystems ex413 ist der Aufbau ohne Kameraeinheit ex203, der Kameraschnittstelleneinheit ex303 und der Bildcodierungseinheit ex312 unter den in 22 gezeigten Komponenten denkbar. Das Gleiche gilt für den Computer ex111, das Fernsehgerät (Empfänger) ex401 und anderes.
  • Zusätzlich sind drei Typen von Implementierungen für ein Endgerät, wie z. B. das obenerwähnte Zellentelephon ex114, denkbar: ein sendendes/empfangendes Endgerät, das sowohl mit einem Codierer als auch einem Decodierer implementiert ist, ein sendendes Endgerät, das nur mit einem Codierer implementiert ist, und ein empfangendes Endgerät, das nur mit einem Decodierer implementiert ist.
  • Wie oben beschrieben worden ist, ist es möglich, das Bildcodierungsverfahren oder das Bilddecodierungsverfahren, die in den obenerwähnten Ausführungsformen beschrieben worden sind, für irgendwelche der obenerwähnten Vorrichtungen und Systeme zu verwenden, wobei hierdurch die in den obenerwähnten Ausführungsformen beschriebenen Wirkungen erzielt werden können. Ferner ist die vorliegende Erfindung nicht auf die obenerwähnten Ausführungsformen beschränkt, wobei ein breiter Bereich von Variationen und Modifikationen innerhalb des Umfangs der folgenden Ansprüche möglich ist.
  • In der vorliegenden Erfindung bedeutet der Ausdruck "Anzeigen" Ausgeben nach dem Umordnen der Reihenfolge der Bilder in eine Anzeigereihenfolge. Das heißt, ein Prozess zum Ausgeben eines decodierten Bildes an eine Anzeigevorrichtung wird als "Anzeigen" beschrieben. Eine Operation der Ausgabe des decodierten Bildes, um es z. B. auf einer anderen Aufzeichnungsvorrichtung aufzuzeichnen, entspricht diesem speziellen Gebrauch von "Anzeigen". Wenn die Anzeigevorrichtung einen Bildspeicher aufweist, ist es möglich, das decodierte Bild zu der Anzeigevorrichtung früher als zum wirklichen Anzeigezeitpunkt zu übermitteln.
  • Industrielle Anwendbarkeit
  • Die vorliegende Erfindung wird verwendet für eine Bildcodierungsvorrichtung zum Codieren eines Bildes mittels einer Vorhersagecodierung mit Bezug auf ein in einem Decodiertbildpuffer gespeichertes decodiertes Bild, Decodieren des codierten Bildes und Speichern des decodierten Bildes in Decodiertbildpuffer, und für eine Bildcodierungsvorrichtung zum Decodieren des Bildes, das mit einer Vorhersagecodierung mit Bezug auf ein in einem Decodiertbildpuffer gespeichertes decodiertes Bild codiert worden ist, und Speichern des decodierten Bildes im Decodiertbildpuffer.

Claims (2)

  1. Dekodierverfahren zum Dekodieren eines prädiktionskodierten Bildsignals eines Bewegtbildsignals, das aus einer Vielzahl von Bildern zusammengesetzt ist, wobei das kodierte Bildsignal ein kodiertes Bild enthält, auf das bei der Prädiktionskodierung von einem vorherigen Bild in einer vorbestimmten Anzeigereihenfolge zum Anzeigen der dekodierten Bilder Bezug genommen wird, mit: Dekodieren des kodierten Bildsignals, um ein dekodiertes Bild zu erhalten, Entscheiden (602), ob das dekodierte Bild ein Referenzbild oder ein Nicht-Referenzbild ist basierend auf dem kodierten Bildsignal, wobei ein Referenzbild ein Bild ist, auf das bei der Prädiktionskodierung von einem anderen Bild Bezug genommen wird, und wobei ein Nicht-Referenzbild ein Bild ist, auf das bei der Prädiktionskodierung nicht von einem anderen Bild Bezug genommen wird, und Speichern (606), für den Fall, dass das dekodierte Bild ein Referenzbild ist, des dekodierten Bildes in einem Zwischenspeicher, gekennzeichnet durch: Entscheiden (603), für den Fall, dass das dekodierte Bild ein Nicht-Referenzbild ist, ob das dekodierte Nicht-Referenzbild gemäß der vorbestimmten Anzeigereihenfolge vor allen dekodierten Bildern, die derzeit in dem Zwischenspeicher gespeichert sind, angezeigt werden kann oder nicht, und Speichern (604), für den Fall, dass das dekodierte Nicht-Referenzbild gemäß der vorbestimmten Anzeigereihenfolge nicht vor allen dekodierten Bildern, die derzeit in dem Zwischenspeicher gespeichert sind, angezeigt werden kann, des dekodierten Nicht-Referenzbildes in dem Zwischenspeicher, ohne das dekodierte Nicht-Referenzbild auszugeben.
  2. Dekodiervorrichtung, die ausgestaltet ist zum Dekodieren eines prädiktionskodierten Bildsignals eines Bewegtbildsignals, das aus einer Vielzahl von Bildern zusammengesetzt ist, wobei das kodierte Bildsignal ein kodiertes Bild enthält, auf das bei der Prädiktionskodierung von einem vorherigen Bild in ei ner vorbestimmten Anzeigereihenfolge zum Anzeigen der dekodierten Bilder Bezug genommen wird, mit: einer Dekodiereinheit (VLD) zum Dekodieren des kodierten Bildsignals, um ein dekodiertes Bild zu erhalten, einer Entscheidungseinheit (DispPicCtrl) zum Entscheiden, ob das dekodierte Bild ein Referenzbild oder ein Nicht-Referenzbild ist basierend auf dem kodierten Bildsignal, wobei ein Referenzbild ein Bild ist, auf das bei der Prädiktionskodierung von einem anderen Bild Bezug genommen wird, und wobei ein Nicht-Referenzbild ein Bild ist, auf das bei der Prädiktionskodierung nicht von einem anderen Bild Bezug genommen wird, einem Zwischenspeicher (PicMem2) zum Speichern des dekodierten Bildes, einer Speichereinheit (PicMem2) zum Speichern, für den Fall, dass das dekodierte Bild ein Referenzbild ist, des dekodierten Bildes in dem Zwischenspeicher, gekennzeichnet durch: eine Entscheidungseinheit (DispPicCtrl) zum Entscheiden, für den Fall, dass das dekodierte Bild ein Nicht-Referenzbild ist, ob das dekodierte Nicht-Referenzbild gemäß der vorbestimmten Anzeigereihenfolge vor allen dekodierten Bildern, die derzeit in dem Zwischenspeicher gespeichert sind, angezeigt werden kann oder nicht, und wobei die Speichereinheit (PicMem2) ferner ausgestaltet ist zum Speichern, für den Fall, dass das dekodierte Nicht-Referenzbild gemäß der vorbestimmten Anzeigereihenfolge nicht vor allen dekodierten Bildern, die derzeit in dem Zwischenspeicher gespeichert sind, angezeigt werden kann, des dekodierten Nicht-Referenzbildes in dem Zwischenspeicher, ohne das dekodierte Nicht-Referenzbild auszugeben.
DE2003610842 2002-07-11 2003-07-07 Verfahren zur Codierung und Decodierung von H.264 Bildern mittels eines virtuellen Anzeigepuffers. Expired - Lifetime DE60310842T2 (de)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
JP2002202781 2002-07-11
JP2002202781 2002-07-11
JP2002207681 2002-07-17
JP2002207681 2002-07-17
JP2003006198 2003-01-14
JP2003006198 2003-01-14
PCT/JP2003/008576 WO2004008774A1 (ja) 2002-07-11 2003-07-07 画像符号化方法及び画像復号化方法

Publications (2)

Publication Number Publication Date
DE60310842D1 DE60310842D1 (de) 2007-02-15
DE60310842T2 true DE60310842T2 (de) 2007-10-11

Family

ID=30118918

Family Applications (3)

Application Number Title Priority Date Filing Date
DE2003610842 Expired - Lifetime DE60310842T2 (de) 2002-07-11 2003-07-07 Verfahren zur Codierung und Decodierung von H.264 Bildern mittels eines virtuellen Anzeigepuffers.
DE60324480T Expired - Lifetime DE60324480D1 (de) 2002-07-11 2003-07-07 Virtuelles Anzeigepufferverfahren zur Decodierung von H.264 prediktion Bildern.
DE60329427T Expired - Lifetime DE60329427D1 (de) 2002-07-11 2003-07-07 Virtuellen Multi-hypothesen B-Bild Anzeigepuffer mittels Stehlen von Platz aus dem H.264 Postdekoderpuffer.

Family Applications After (2)

Application Number Title Priority Date Filing Date
DE60324480T Expired - Lifetime DE60324480D1 (de) 2002-07-11 2003-07-07 Virtuelles Anzeigepufferverfahren zur Decodierung von H.264 prediktion Bildern.
DE60329427T Expired - Lifetime DE60329427D1 (de) 2002-07-11 2003-07-07 Virtuellen Multi-hypothesen B-Bild Anzeigepuffer mittels Stehlen von Platz aus dem H.264 Postdekoderpuffer.

Country Status (18)

Country Link
US (12) US7206347B2 (de)
EP (5) EP1742480B1 (de)
JP (8) JP4651685B2 (de)
KR (3) KR100959969B1 (de)
CN (2) CN100361535C (de)
AT (4) ATE413067T1 (de)
AU (1) AU2003281129B2 (de)
BR (2) BRPI0305432B1 (de)
CA (1) CA2460471C (de)
DE (3) DE60310842T2 (de)
DK (3) DK1742479T3 (de)
ES (4) ES2317444T3 (de)
MX (1) MXPA04001979A (de)
MY (1) MY135048A (de)
PT (2) PT2278816E (de)
SI (2) SI1742479T1 (de)
TW (10) TWI638565B (de)
WO (1) WO2004008774A1 (de)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7339955B2 (en) * 2000-09-25 2008-03-04 Pulse-Link, Inc. TDMA communication method and apparatus using cyclic spreading codes
EP2271110B1 (de) 2001-11-06 2016-09-21 Panasonic Intellectual Property Corporation of America Verfahren zur Codierung bewegter Bilder und Verfahren zur Decodierung bewegter Bilder
SI1742479T1 (sl) * 2002-07-11 2009-12-31 Panasonic Corp Virtualni multi-hipotezni B-slikovni prikazovalni pomnilnik z ugrabljenim prostorom v H.264 post dekodnem pomnilniku
JP3513148B1 (ja) * 2002-10-11 2004-03-31 株式会社エヌ・ティ・ティ・ドコモ 動画像符号化方法、動画像復号方法、動画像符号化装置、動画像復号装置、動画像符号化プログラム、及び動画像復号プログラム
US7400683B2 (en) * 2003-11-18 2008-07-15 Lsi Corporation Device with virtual tilized image memory
US7590059B2 (en) * 2004-05-21 2009-09-15 Broadcom Corp. Multistandard video decoder
US7751324B2 (en) * 2004-11-19 2010-07-06 Nokia Corporation Packet stream arrangement in multimedia transmission
WO2006059796A1 (ja) * 2004-12-02 2006-06-08 Sony Corporation 符号化装置および方法、並びにプログラム
JP2008527945A (ja) * 2005-01-19 2008-07-24 トムソン ライセンシング リアルタイム並列符号化の方法及び装置
US8498340B2 (en) * 2006-04-04 2013-07-30 Himax Technologies Limited Method and device for decoding and displaying video frames
US7949054B2 (en) 2006-06-01 2011-05-24 Microsoft Corporation Flexible data organization for images
WO2008018626A2 (en) * 2006-08-10 2008-02-14 Canon Kabushiki Kaisha Image decoding apparatus
JP2008124772A (ja) * 2006-11-13 2008-05-29 Hitachi Ltd 符号化装置及び符号化方法
JP5008484B2 (ja) * 2007-07-11 2012-08-22 株式会社日立国際電気 映像処理方法
US8503527B2 (en) 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
CN102118537B (zh) * 2009-12-31 2015-04-15 深圳富泰宏精密工业有限公司 图片错误隐藏系统及方法
JP2011199396A (ja) * 2010-03-17 2011-10-06 Ntt Docomo Inc 動画像予測符号化装置、動画像予測符号化方法、動画像予測符号化プログラム、動画像予測復号装置、動画像予測復号方法、及び動画像予測復号プログラム
US9451285B2 (en) * 2010-04-16 2016-09-20 Sk Telecom Co., Ltd. Inter-prediction method and video encoding/decoding method using the inter-prediction method
KR101750495B1 (ko) * 2010-04-16 2017-06-27 에스케이텔레콤 주식회사 인터 예측 방법 및 그 인터 예측 방법을 이용한 동영상 부호화/복호화 방법
EP2905952A1 (de) * 2011-03-10 2015-08-12 Panasonic Intellectual Property Management Co., Ltd. Videoverarbeitungsvorrichtung und Verfahren zur Ausgabe von Synchronisationssignalen
EP2727342B1 (de) 2011-06-30 2016-06-29 Telefonaktiebolaget LM Ericsson (publ) Referenzbildsignalisierung
KR101960034B1 (ko) 2011-09-09 2019-03-19 엘지전자 주식회사 인터 예측 방법 및 그 장치
US9131245B2 (en) 2011-09-23 2015-09-08 Qualcomm Incorporated Reference picture list construction for video coding
JP5698644B2 (ja) * 2011-10-18 2015-04-08 株式会社Ｎｔｔドコモ 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム、動画像予測復号方法、動画像予測復号装置及び動画像予測復号プログラム
US9264717B2 (en) 2011-10-31 2016-02-16 Qualcomm Incorporated Random access with advanced decoded picture buffer (DPB) management in video coding
US10158873B2 (en) 2011-11-30 2018-12-18 Qualcomm Incorporated Depth component removal for multiview video coding (MVC) compatible three-dimensional video coding (3DVC)
KR102160958B1 (ko) 2012-04-23 2020-09-29 엘지전자 주식회사 비디오 인코딩 방법, 비디오 디코딩 방법 및 이를 이용하는 장치
CN103389879B (zh) * 2012-05-10 2016-08-17 慧荣科技股份有限公司 电子装置以及由电子装置传送数据至显示设备的方法
US9762903B2 (en) * 2012-06-01 2017-09-12 Qualcomm Incorporated External pictures in video coding
SG10201610882XA (en) 2012-06-29 2017-02-27 Sony Corp Encoding device and encoding method
US20160041996A1 (en) 2014-08-11 2016-02-11 Netapp, Inc. System and method for developing and implementing a migration plan for migrating a file system
CN105917651B (zh) * 2014-05-30 2019-05-14 富士通株式会社 图像编码方法、装置以及图像处理设备
CN107921634B (zh) * 2015-08-25 2021-04-02 川崎重工业株式会社 机器人系统
US10404979B2 (en) * 2016-03-17 2019-09-03 Mediatek Inc. Video coding with interpolated reference pictures

Family Cites Families (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6230376A (ja) 1985-07-31 1987-02-09 Fujitsu Ltd 薄膜トランジスタの製造方法
JP2969782B2 (ja) * 1990-05-09 1999-11-02 ソニー株式会社 符号化データ編集方法及び符号化データ編集装置
JPH05137131A (ja) * 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
JPH05308622A (ja) * 1992-04-28 1993-11-19 Mitsubishi Electric Corp 画像符号化・復号化装置
JP3189257B2 (ja) * 1992-05-21 2001-07-16 ソニー株式会社 画像符号器
JPH0638197A (ja) * 1992-06-30 1994-02-10 Sony Corp 符号器、復号器、および符号化方法
US5398072A (en) * 1993-10-25 1995-03-14 Lsi Logic Corporation Management of channel buffer in video decoders
US5892882A (en) * 1994-03-23 1999-04-06 Pioneer Electronic Corporation Moving picture decoding device having a compressed picture data memory
US6009231A (en) * 1994-09-05 1999-12-28 Sony Corporation Reproduction of information using a ring buffer with read and write pointers separated from each other by substantially half of the total ring buffer capacity
TW330263B (en) * 1994-10-12 1998-04-21 Winbond Electronics Corp Digital video decoding system and method
JP3694912B2 (ja) 1995-02-23 2005-09-14 株式会社日立製作所 メモリ制御方法及び画像復号装置
US5724446A (en) * 1995-04-18 1998-03-03 Advanced Micro Devices, Inc. Video decoder apparatus using non-reference frame as an additional prediction source and method therefor
TW257848B (en) * 1995-04-19 1995-09-21 Silicon Integrated Sys Corp Adaptive display memory management system and method thereof
JP3704356B2 (ja) * 1995-07-21 2005-10-12 株式会社 日立製作所 符号化映像信号の復号化装置およびそれを用いた蓄積復号化装置
WO1997011562A1 (en) * 1995-09-20 1997-03-27 Philips Electronics N.V. Method and device for decoding coded digital video signals
US5764921A (en) * 1995-10-26 1998-06-09 Motorola Method, device and microprocessor for selectively compressing video frames of a motion compensated prediction-based video codec
JP3535297B2 (ja) * 1996-01-26 2004-06-07 ローム株式会社 画像データ復号方法およびこの方法を用いた画像データ復号装置
JP3183155B2 (ja) * 1996-03-18 2001-07-03 株式会社日立製作所 画像復号化装置、及び、画像復号化方法
WO1997035422A1 (en) * 1996-03-19 1997-09-25 Mitsubishi Denki Kabushiki Kaisha Encoder, decoder and methods used therefor
JPH1013841A (ja) * 1996-06-20 1998-01-16 Oki Electric Ind Co Ltd 画像復号方法および画像復号装置
JPH1013791A (ja) * 1996-06-24 1998-01-16 Matsushita Electric Ind Co Ltd 映像信号復号化方法，及び映像信号復号化装置
TW351903B (en) * 1996-07-03 1999-02-01 Matsushita Electric Ind Co Ltd Encoding method, encoding apparatus, decoding and compositing method, decoding and composition appratus, and record medium recorded with the aforesaid methods for multiple images
AU718453B2 (en) * 1996-07-17 2000-04-13 Sony Corporation Image coding and decoding using mapping coefficients corresponding to class information of pixel blocks
US6006231A (en) * 1996-09-10 1999-12-21 Warp 10 Technologies Inc. File format for an image including multiple versions of an image, and related system and method
US6104752A (en) * 1996-10-01 2000-08-15 Victor Company Of Japan, Ltd. Apparatus and method of decoding high efficiency coded picture data with picture size resizing
US5909224A (en) * 1996-10-18 1999-06-01 Samsung Electronics Company, Ltd. Apparatus and method for managing a frame buffer for MPEG video decoding in a PC environment
US6002438A (en) * 1996-10-25 1999-12-14 Texas Instruments Incorporated Method and apparatus for storing decoded video information
JP3599942B2 (ja) * 1997-02-13 2004-12-08 三洋電機株式会社 動画像符号化方法、及び動画像符号化装置
JPH10257499A (ja) 1997-03-17 1998-09-25 Matsushita Electric Ind Co Ltd 動画像符号化装置および方法
JPH10322643A (ja) 1997-03-19 1998-12-04 Fujitsu Ltd 画像データ処理方法及び装置
JP3373130B2 (ja) * 1997-03-24 2003-02-04 沖電気工業株式会社 画像復号化装置
DE19727542A1 (de) * 1997-06-28 1999-01-07 Thomson Brandt Gmbh Verfahren zur Regenerierung der Originaldaten eines digital codierten Videofilms und Vorrichtung zur Durchführung des Verfahrens
JPH1141605A (ja) 1997-07-17 1999-02-12 Nippon Telegr & Teleph Corp <Ntt> 画像符号化装置および画像復号装置
JP4010024B2 (ja) * 1997-09-02 2007-11-21 ソニー株式会社 圧縮動画像信号のデコード装置
KR100301826B1 (ko) * 1997-12-29 2001-10-27 구자홍 비디오디코더
US6959045B2 (en) * 1997-12-30 2005-10-25 Mediatek, Inc. Reduced cost decoder using bitstream editing for image cropping
JPH11275580A (ja) * 1998-03-24 1999-10-08 Sony Corp 画像データ処理装置、画像データ復号装置及び画像データ符号化装置並びにそれらの方法
KR100284696B1 (ko) * 1998-06-29 2001-03-15 윤종용 Mpeg 복호 블럭에서의 수평/수직 주파수 변환장치
JP2000050272A (ja) 1998-07-31 2000-02-18 Sony Corp 復号化装置及び方法
FR2782437B1 (fr) 1998-08-14 2000-10-13 Thomson Multimedia Sa Procede de commutation de flux mpeg
JP2000059794A (ja) 1998-08-14 2000-02-25 Nippon Telegr & Teleph Corp <Ntt> 画像符号化データ作成方法，そのプログラム記憶媒体，画像符号化データ作成装置，画像通信方法および画像通信システム
US6243140B1 (en) 1998-08-24 2001-06-05 Hitachi America, Ltd Methods and apparatus for reducing the amount of buffer memory required for decoding MPEG data and for performing scan conversion
US6490324B1 (en) * 1998-12-08 2002-12-03 Stmicroelectronics, Inc. System, method and apparatus for a variable output video decoder
JP2000232649A (ja) * 1998-12-10 2000-08-22 Fujitsu Ltd Ｍｐｅｇビデオ復号器及びｍｐｅｇビデオ復号方法
US6658056B1 (en) * 1999-03-30 2003-12-02 Sony Corporation Digital video decoding, buffering and frame-rate converting method and apparatus
JP2000324484A (ja) 1999-05-13 2000-11-24 Hitachi Ltd 画像データ処理装置
JP2001094941A (ja) * 1999-09-27 2001-04-06 Matsushita Electric Ind Co Ltd 圧縮画像処理装置及び圧縮画像処理方法
JP2001223987A (ja) * 1999-11-11 2001-08-17 Matsushita Electric Ind Co Ltd メモリ管理方法、画像符号化方法、画像復号化方法、画像表示方法、メモリ管理装置、メモリ管理プログラム記録媒体
US6836273B1 (en) 1999-11-11 2004-12-28 Matsushita Electric Industrial Co., Ltd. Memory management method, image coding method, image decoding method, image display method, memory management apparatus, and memory management program storage medium
US6697426B1 (en) * 2000-03-17 2004-02-24 Koninklijke Philips Electronics N.V. Reduction of layer-decoding complexity by reordering the transmission of enhancement layer frames
EP1156674A1 (de) * 2000-05-19 2001-11-21 THOMSON multimedia Verfahren und Vorrichtung zur Dekodierung eines Videodatenstroms in besondere Wiedergabebetriebsarten
WO2002051162A1 (en) * 2000-12-20 2002-06-27 Mitsubishi Denki Kabushiki Kaisha Method and apparatus for decoding motion video image
US6680973B2 (en) * 2001-03-29 2004-01-20 Koninklijke Philips Electronics N.V. Scalable MPEG-2 video decoder with selective motion compensation
JP2003274412A (ja) * 2002-03-14 2003-09-26 Matsushita Electric Ind Co Ltd 画像符号化方法および画像復号化方法
SI1742479T1 (sl) * 2002-07-11 2009-12-31 Panasonic Corp Virtualni multi-hipotezni B-slikovni prikazovalni pomnilnik z ugrabljenim prostorom v H.264 post dekodnem pomnilniku
EP1422946A4 (de) * 2002-07-26 2008-04-02 Matsushita Electric Ind Co Ltd Codierungsverfahren für bewegliche bilder, decodierungsverfahren für bewegliche bilder und aufzeichnungsmedium
JP3554729B2 (ja) * 2002-07-30 2004-08-18 沖電気工業株式会社 画像処理装置
KR100543453B1 (ko) * 2003-04-24 2006-01-23 삼성전자주식회사 디지털 비디오 스트림의 역재생시 비트율을 제어하기 위한 장치 및 그 방법
JP4281720B2 (ja) * 2004-10-26 2009-06-17 ソニー株式会社 データ処理装置、データ処理方法、データ処理システム、プログラムおよび記録媒体
JP5328329B2 (ja) 2008-12-10 2013-10-30 キヤノン株式会社 インクジェット記録装置

Also Published As

Publication number Publication date
SI1742479T1 (sl) 2009-12-31
KR100959969B1 (ko) 2010-05-27
EP2053863B1 (de) 2012-03-07
PT2278816E (pt) 2013-05-10
DK1742479T3 (da) 2009-12-14
ATE350861T1 (de) 2007-01-15
US8189680B2 (en) 2012-05-29
DK1406451T3 (da) 2007-02-05
TW201534110A (zh) 2015-09-01
ATE548856T1 (de) 2012-03-15
CA2460471C (en) 2012-02-07
EP1406451A1 (de) 2004-04-07
JP2008172821A (ja) 2008-07-24
AU2003281129B2 (en) 2007-12-06
KR100961037B1 (ko) 2010-06-01
US20120213287A1 (en) 2012-08-23
US20070076801A1 (en) 2007-04-05
JP4914459B2 (ja) 2012-04-11
US9094666B2 (en) 2015-07-28
TWI573442B (zh) 2017-03-01
JP4651685B2 (ja) 2011-03-16
EP1742480A3 (de) 2007-02-28
JP5602294B2 (ja) 2014-10-08
US20080056380A1 (en) 2008-03-06
ES2420583T3 (es) 2013-08-26
TW201534111A (zh) 2015-09-01
JP2010283880A (ja) 2010-12-16
ES2317444T3 (es) 2009-04-16
TW201720167A (zh) 2017-06-01
TWI573447B (zh) 2017-03-01
CA2460471A1 (en) 2004-01-22
JP5037657B2 (ja) 2012-10-03
EP2053863A1 (de) 2009-04-29
MY135048A (en) 2008-01-31
JP2009153175A (ja) 2009-07-09
TWI320664B (en) 2010-02-11
PT1742479E (pt) 2009-11-17
DE60329427D1 (de) 2009-11-05
TWI492636B (zh) 2015-07-11
DE60324480D1 (de) 2008-12-11
EP1406451A4 (de) 2004-07-07
JP5647719B2 (ja) 2015-01-07
TW201404181A (zh) 2014-01-16
TW200723890A (en) 2007-06-16
JP2010283878A (ja) 2010-12-16
ATE413067T1 (de) 2008-11-15
EP1406451B1 (de) 2007-01-03
TWI638565B (zh) 2018-10-11
KR20080073781A (ko) 2008-08-11
WO2004008774A1 (ja) 2004-01-22
JP4914515B2 (ja) 2012-04-11
TW200401568A (en) 2004-01-16
TW201105146A (en) 2011-02-01
JP2012124949A (ja) 2012-06-28
US20150262324A1 (en) 2015-09-17
KR100961036B1 (ko) 2010-06-01
US9088782B2 (en) 2015-07-21
US20080056378A1 (en) 2008-03-06
US20140133577A1 (en) 2014-05-15
US7206347B2 (en) 2007-04-17
ES2277092T3 (es) 2007-07-01
US8660192B2 (en) 2014-02-25
EP1742479A2 (de) 2007-01-10
JP5412538B2 (ja) 2014-02-12
CN1557097A (zh) 2004-12-22
US20150262377A1 (en) 2015-09-17
US9088783B2 (en) 2015-07-21
US20140133561A1 (en) 2014-05-15
BRPI0305432B1 (pt) 2018-07-03
JP2014014144A (ja) 2014-01-23
TW200723891A (en) 2007-06-16
TWI414187B (zh) 2013-11-01
US8155206B2 (en) 2012-04-10
KR20080073367A (ko) 2008-08-08
US20050058206A1 (en) 2005-03-17
US9390512B2 (en) 2016-07-12
US9412177B2 (en) 2016-08-09
US9088781B2 (en) 2015-07-21
MXPA04001979A (es) 2004-08-02
US20080056379A1 (en) 2008-03-06
CN101179733B (zh) 2011-11-02
ES2330555T3 (es) 2009-12-11
EP2278816A2 (de) 2011-01-26
TWI379595B (en) 2012-12-11
EP1742479B1 (de) 2009-09-23
US7995658B2 (en) 2011-08-09
KR20050018795A (ko) 2005-02-28
DK2278816T3 (da) 2013-05-21
SI1406451T1 (sl) 2007-04-30
EP1742480B1 (de) 2008-10-29
TWI573446B (zh) 2017-03-01
TW201536033A (zh) 2015-09-16
TWI280058B (en) 2007-04-21
BR0305432A (pt) 2004-09-28
CN101179733A (zh) 2008-05-14
EP2278816A3 (de) 2011-09-21
TWI575946B (zh) 2017-03-21
US20140133572A1 (en) 2014-05-15
DE60310842D1 (de) 2007-02-15
CN100361535C (zh) 2008-01-09
AU2003281129A1 (en) 2004-02-02
TW201534112A (zh) 2015-09-01
EP1742479A3 (de) 2007-03-14
JP2014014142A (ja) 2014-01-23
US20140133578A1 (en) 2014-05-15
EP1742480A2 (de) 2007-01-10
JP2014014143A (ja) 2014-01-23
US8073059B2 (en) 2011-12-06
EP2278816B1 (de) 2013-04-24
ATE443972T1 (de) 2009-10-15
JP5647718B2 (ja) 2015-01-07

Similar Documents

Publication Publication Date Title
DE60310842T2 (de) Verfahren zur Codierung und Decodierung von H.264 Bildern mittels eines virtuellen Anzeigepuffers.
DE60318307T2 (de) Bilddecodierungsverfahren für S-pictures mit Pufferrücksetzung und PN Umstellung für kontinuität.
DE60214248T2 (de) Bildkodierungsverfahren und Bilddekodierungsverfahren
JP4562999B2 (ja) 画像復号化方法および画像復号化装置

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8327 Change in the person/name/address of the patent owner

Owner name: PANASONIC CORP., KADOMA, OSAKA, JP