DE60319239T2 - Bewegungsschätzung mit gewichteter vorhersage - Google Patents

Bewegungsschätzung mit gewichteter vorhersage Download PDF

Info

Publication number
DE60319239T2
DE60319239T2 DE60319239T DE60319239T DE60319239T2 DE 60319239 T2 DE60319239 T2 DE 60319239T2 DE 60319239 T DE60319239 T DE 60319239T DE 60319239 T DE60319239 T DE 60319239T DE 60319239 T2 DE60319239 T2 DE 60319239T2
Authority
DE
Germany
Prior art keywords
motion
reference image
weighting factor
weighted
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60319239T
Other languages
English (en)
Other versions
DE60319239D1 (de
Inventor
Jill MacDonald Manalapan BOYCE
Alan Jay Princeton Junction STEIN
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Application granted granted Critical
Publication of DE60319239D1 publication Critical patent/DE60319239D1/de
Publication of DE60319239T2 publication Critical patent/DE60319239T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/577—Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/192—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding the adaptation method, adaptation tool or adaptation type being iterative or recursive
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/189—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding
    • H04N19/196—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters
    • H04N19/197—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the adaptation method, adaptation tool or adaptation type used for the adaptive coding being specially adapted for the computation of encoding parameters, e.g. by averaging previously computed encoding parameters including determination of the initial value of an encoding parameter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals

Description

  • Gebiet der Erfindung
  • Die vorliegende Erfindung ist auf Videokodierer und -dekodierer und insbesondere auf eine integrierte Bewegungsschätzung mit gewichteter Vorhersage bei Videokodierern und -dekodierern gerichtet.
  • Hintergrund der Erfindung
  • Videodaten werden allgemein in Form von Bitströmen bearbeitet und übertragen. Typische Videokompressionskodierer und -dekodierer ("CODECs") gewinnen viel an ihrer Kompressionsergiebigkeit durch Bildung einer Bezugsbildvorhersage eines zu codierenden Bildes und codieren die Differenz zwischen dem laufenden Bild und der Vorhersage. Je enger die Vorhersage mit dem laufenden Bild korreliert wird, desto weniger Bits werden zum Komprimieren dieses Bildes benötigt, wodurch der Wirkungsgrad des Prozesses erhöht wird. Von daher ist es wünschenswert, die bestmögliche Bezugsbildvorhersage zu bilden.
  • Bei vielen Videokompressionsstandards, einschließlich Moving Picture Experts Group ("MPEG")-1, MPEG-2, MPEG-4, wird eine bewegungskompensierte Version eines vorheriges Bezugsbildes als Vorhersage für das laufende Bild benutzt, und nur die Differenz zwischen dem laufenden Bild und der Vorhersage wird codiert. Wenn nur eine Bildvorhersage ("P-Bild") benutzt wird, wird das Bezugsbild nicht skaliert, wenn die bewegungskompensierte Vorhersage gebildet wird. Wenn die bidirektionalen Bildvorhersagen ("B-Bilder") benutzt werden, werden Zwischenvorhersagen von zwei verschiedenen Bildern gebildet, und dann werden die beiden Zwischenvorhersagen unter Verwendung gleicher Gewichtungsfaktoren von (½, ½) für jede zur Bildung einer einzigen gemittelten Vorhersage zusammen gemittelt. Bei diesen MPEG-Standards sind die beiden Bezugsbilder jeweils eins von der Vorwärtsrichtung und der Rückwärtsrichtung für B-Bilder.
  • US 5436665 beschreibt eine Codiervorrichtung, die einen Prädiktor enthält, der in der Lage ist, eine Mehrzahl von Vorhersagesignalen von einem Signal mit niedriger Bildauflösung und von einem Signal mit hoher Bildauflösung zu produzieren; das Bild mit niedriger Auflösung ist dabei durch Abwärtsabtasten des Bildes mit hoher Auflösung gebildet, und das Vorhersagesignal, das einen Vorhersagefehler minimiert, wird zum Erzeugen der Daten benutzt, die von der Codiervorrichtung während der Bild-zu-Bild-Vorhersage codiert werden.
  • US 612218 beschreibt eine Videocodiervorrichtung, die ein Alpha-Map-Signal als Hilfsinformation bezüglich eines Bildes codiert, das ein Objekt und einen Hintergrund enthält, wobei das Alpha-Map-Signal die Form eines Objekts und seine Position in einem Vollbild ausdrückt. Das Alpha-Map-Signal wird von der Videocodiervorrichtung unter Verwendung relativer Adressencodierung codiert und codiert ein Symbol, das eine Position des nächsten Wechselpixels darstellt, das in Bezug auf ein Bezugswechselpixel durch die Verwendung einer Codiertabelle variabler Länge als das bereits codierte Wechselpixel unter Verwendung einer Codiertabelle variabler Länge zu codieren ist.
  • US 5488482 beschreibt einen Videorecorder, bei dem Video- und Audiosignale in Digitalformat aufgezeichnet und reproduziert werden. Der Videorecorder enthält eine Codiervorrichtung zum Codieren der digitalen Daten, die eine verbesserte Datenkompression produziert und gleichzeitig eine hohe Bildqualität, eine kon sequente Verringerung des Aufzeichnungsbandverbrauchs und einen Videorecorder erbringt, der kompakt und leicht ist.
  • US 6108040 beschreibt ein Verfahren zum Erkennen von Bewegungsvektordaten, die eine Bewegung eines Teilbereichs in einem Eingabebild von einem beliebigen Bereich auf ein Bezugsbild anzeigen, wobei eine erste Verzerrung zwischen einem von Feldern des Eingabebildes gebildeten Teilbereich und einem von Feldern des Bezugsbildes gebildeten Teilbereich als erster Auswertungswert errechnet wird; eine Position des von den Feldern des Referenzbildes gebildeten Teilbereichs, bei der der erste Auswertungswert der Kleinstwert wird, wird ermittelt; ein Suchfenster auf einem Rahmen des Bezugsbildes wird auf der Grundlage einer ermittelten Position des Teilbereichs erstellt, der von den Feldern des zuvor ermittelten Bezugsbildes gebildet ist; und eine zweite Verzerrung zwischen einem von einem Rahmen in dem eingesetzten Suchfenster gebildeten Teilbereich und einem von einem Rahmen des Eingabebildes gebildeten Teilbereich wird als zweiter Auswertungswert errechnet, und eine Position des von dem Rahmen des Bezugsbildes gebildeten Teilbereichs, bei der der zweite Auswertungswert der Kleinstwert wird, wird ermittelt. Die Rahmenvektoren könne daher auf der Grundlage der Feldvektor-Ermittlungspositionen ermittelt werden, so dass die Menge an Berechnungen, die zur Gewinnung der Rahmenvektoren erforderlich sind, deutlich verringert werden kann, ohne die Erkennungsgenauigkeit der Rahmenvektoren zu verschlechtern.
  • Zusammenfassung der Erfindung
  • Diese und weitere Unzulänglichkeiten und Nachteile des Standes der Technik werden durch die vorliegende Erfindung angesprochen, wobei die vorliegende Erfindung in einem Videokodierer zum Codieren von Videosignaldaten für einen Bildblock bezüglich zumindest eines bestimmten Bezugbildes gemäß Anspruch 1 und in einem Verfahren zum Codieren von Videosignaldaten für einen Bildblock nach Anspruch 10 besteht.
  • Weitere Merkmale der Erfindung finden sich in den abhängigen Ansprüchen.
  • Ein Videokodierer und -dekodierer ist zum Codieren und Decodieren von Videosignaldaten für einen Bildblock und einen bestimmten Bezugsbildindex zur Vorhersage des Bildblocks vorgesehen, wobei der Kodierer einen Selektor für einen Bezugsbildgewichtungsfaktor mit einem Ausgang, der einen Gewichtungsfaktor entsprechend dem bestimmten Bezugsbildindex anzeigt, einen Multiplizierer in Signalverbindung mit dem Selektor für den Bezugsbildgewichtungsfaktor zur Bereitstellung einer gewichteten Version des Bezugsbildes und eine Bewegungsschätzeinrichtung in Signalverbindung mit dem Multiplizierer zur Breitstellung von Bewegungsvektoren entsprechend der gewichteten Version des Bezugsbildes und der entsprechende Dekodierer eine Bezugsbildgewichtungsfaktoreinheit mit einem Ausgang zur Bestimmung eines Gewichtungsfaktors entsprechend dem bestimmten Bezugsbildindex aufweist.
  • Ein entsprechendes Verfahren zur Codierung von Videosignaldaten für einen Bildblock umfaßt die Maßnahmen, daß ein im wesentlichen unkomprimierter Bildblock empfangen wird, ein Gewichtungsfaktor für den Bildblock entsprechend einem bestimmten Bezugsbild zugeordnet wird, das Bezugsbild durch den Gewichtungsfaktor gewichtet wird, Bewegungsvektoren entsprechend der Differenz zwischen dem Bildblock und dem gewichteten Bezugsbild berechnet werden, das gewichtete Bezugsbild in Übereinstimmung mit den Bewegungsvektoren bewegungskompensiert wird, die Gewichtungsfaktorselektion als Antwort auf das bewegungskompensierte gewichtete Bezugsbild verbessert wird, das ursprüngliche ungewichtete Bezugsbild in Übereinstimmung mit den Bewegungsvektoren bewegungskompensiert wird, das bewegungskompensierte ursprüngliche Bezugsbild mit dem zugeordneten Gewichtungsfaktor zur Bildung eines gewichteten bewegungskompensierten Bezugsbildes multipliziert wird, das gewichtete bewegungskompensierte Bezugsbild von dem im Wesentlichen unkomprimierten Bildblock subtrahiert wird und ein die Differenz zwischen dem im Wesentlichen unkomprimierten Bildblock und dem gewichteten bewegungskompensierten Bezugsbild anzeigendes Signal codiert wird.
  • Diese und weitere Aspekte, Merkmale und Vorteile der vorliegenden Erfindung ergeben sich aus der nachfolgenden Beschreibung von Ausführungsbeispielen, die in Verbindung mit den beigefügten Zeichnungen zu lesen ist.
  • Kurzbeschreibung der Zeichnungen
  • Die vorliegende Erfindung beinhaltet integrierte Bewegungsschätzung mit gewichteter Vorhersage bei Videokodierern und -dekodierern gemäß den folgenden beispielhaften Figuren; in diesen zeigen:
  • 1 ein Blockdiagramm für einen Standardvideokodierer,
  • 2 ein Blockdiagramm für einen Videokodierer mit Bezugsbildgewichtung,
  • 3 ein Blockdiagramm für einen Videokodierer mit integrierter Bewegungsschätzung und gewichteter Vorhersage in Übereinstimmung mit den Grundlagen der vorliegenden Erfindung,
  • 4 ein Blockdiagramm für einen Standardvideodekodierer,
  • 5 ein Blockdiagramm für einen Videodekodierer mit adaptiver Zweifachvorhersage,
  • 6 ein Fließbild für einen Codierungsvorgang gemäß den Grundlagen der vorliegenden Erfindung,
  • 7 ein Fließbild für einen Decodierungsvorgang gemäß den Grundlagen der vorliegenden Erfindung.
  • Detaillierte Beschreibung der bevorzugten Ausführungsformen
  • Es ist ein wirkungsvoller Prozeß für eine integrierte Bewegungsvektorschätzung und eine adaptive Bezugsbildgewichtungsfaktorselektion vorgesehen. Ein iterativer Prozeß wird angewandt, wobei ein anfänglicher Gewichtungsfaktor geschätzt und im Bewegungsschätzprozeß benutzt wird. Die Gewichtungsfaktorschätzung wird auf der Grundlage der Ergebnisse des Bewegungsschätzprozesses verfeinert. Wenn Gewichtungsfaktoren beim Codieren verwendet werden, bestimmt ein Videokodierer sowohl die Gewichtungsfaktoren als auch die Bewegungsfaktoren, jedoch ist die beste Wahl für jeden von beiden von dem anderen abhängig. Die Bewegungsschätzung ist typischerweise der berechnungsintensivste Teil eines digitalen Videokompressionskodierers.
  • Bei einigen Videosequenzen, insbesondere denjenigen mit Schwund, ist das laufende Bild bzw. der Bildblock, das bzw. der zu codieren ist, stärker mit einem von einem Gewichtungsfaktor skalierten Bezugsbild korreliert als das Bezugsbild selbst.
  • Video-CODECs ohne auf die Bezugsbilder angewandte Gewichtungsfaktoren codieren Schwundsequenzen sehr unwirksam.
  • In dem vorgeschlagenen Videokompressionsstandard Joined Video Team ("JVT") kann jedes P-Bild mehrfache Bezugsbilder zur Bildung einer Bildvorhersage benutzen, aber jeder einzelne Bewegungsblock bzw. jede 8×8-Region eines Macroblocks verwendet nur ein einziges Bezugsbild für die Vorhersage. Zusätzlich zur Codierung und Übertragung der Bewegungsvektoren wird ein Bezugsbildindex für jeden Bewegungsblock bzw. jede 8×8-Region übertragen, der anzeigt, welches Bezugsbild verwendet wird. Ein begrenzter Satz möglicher Bezugsbilder wird sowohl beim Kodierer als auch beim Dekodierer gespeichert, und die Anzahl der erlaubten Bezugsbilder wird übertragen.
  • Beim JVT-Standard werden für bi-prädikative Bilder (auch als "B"-Bilder bezeichnet) zwei Prädiktoren für jeden Bewegungsblock bzw. jede 8×8-Region gebildet, von denen jeder von einem gesonderten Bezugbild kommen kann, und die beiden Prädiktoren werden zur Bildung eines einzigen gemittelten Prädiktors zusammen gemittelt. Für bi-prädikative codierte Bewegungsblöcke können die Bezugsbilder beide von der Vorwärtsrichtung, beide von der Rückwärtsrichtung oder jeweils eins von der Vorwärts- und der Rückwärtsrichtung sein. Es werden zwei Listen der verfügbaren Bezugsbilder, die für die Vorhersage verwendet werden können, bereit gehalten. Die beiden Bezugsbilder werden als die Prädiktoren Liste 0 und Liste 1 bezeichnet. Es wird ein Index für jedes Bezugsbild codiert und übertragen, ref_idx_I0 und ref_idx_I1 für die Bezugsbilder der Liste 0 bzw. der Liste 1. Die prädikativen Bilder nach Joint Video Team ("JVT") bzw. "B"-Bilder erlauben eine adaptive Gewichtung zwischen den beiden Vorhersagen, d. h., Pred = [(P0)·(Pred0)] + [(P1)·(Pred1)] + D, wobei P0 und P1 Gewichtungsfaktoren, Pred0 und Pred1 die Bezugsbildvorhersagen für Liste 0 bzw. 1 sind und D ein Offset ist.
  • Zwei Verfahren für die Anzeige von Gewichtungsfaktoren werden vorgeschlagen. Bei dem ersten werden die Gewichtungsfaktoren durch die Richtungen bestimmt, die für die Bezugsbilder verwendet werden. Bei diesem Verfahren werden, falls der Index ref_idx_10 kleiner ist oder gleich als ref_idx_I1, Gewichtungsfaktoren von (½, ½) verwendet, ansonsten werden (2, –1) Faktoren verwendet.
  • Bei dem zweitem Verfahren wird eine beliebige Anzahl von Gewichtungsfaktoren für jedes Slice übertragen. So dann wird ein Gewichtungsfaktorindex für jeden Bewegungsblock bzw. jede 8×8-Region eines Macroblocks übertragen, der bidirektionale Vorhersage verwendet. Der Decoder verwendet den empfangenen Gewichtungsfaktorindex zum Wählen des geeigneten Gewichtungsfaktors, aus dem übertragenen Satz, der beim Decodieren des Bewegungsblocks bzw. der 8×8-Region zu benutzen ist. Wenn z. B. drei Gewichtungsfaktoren bei der Sliceschicht gesendet wären, würden sie Gewichtungsfaktor Indices 0 bzw. 1 bzw. 2 entsprechen.
  • Es versteht sich, daß irgendwelche Fließbilder, Fließdiagramme, Zustandsübergangsdiagramme, Pseudocodes und dergleichen verschiedene Prozesse darstellen, die im wesentlichen in computerlesbaren Medien dargestellt werden und somit von einem Computer bzw. Prozessor ausgeführt werden können, ob nun ein solcher Computer bzw. Prozessor ausdrücklich gezeigt ist oder nicht.
  • Die Funktionen der verschiedenen in den Figuren gezeigten Elemente können durch die Verwendung dedizierter Hardware wie auch durch Hardware bereit gestellt werden, die in der Lage ist, Software in Verbindung mit zweckentsprechender Software auszuführen. Bei Bereitstellung durch einen Prozessor können die Funktionen durch einen einzigen Spezialprozessor, durch einen einzigen Gemeinschaftsprozessor oder durch eine Mehrzahl individueller Prozessoren, von denen einige gemeinsam genutzt werden können, bereit gestellt werden. Darüber hinaus soll die explizite Verwendung des Ausdrucks "Prozessor" oder "Controller" nicht so ausgelegt werden, daß sie sich ausschließlich auf zur Ausführung von Software geeignete Hardware bezieht, und kann implizit, ohne Einschränkung, Digitalsignalprozessor-Hardware ("DSP"), Festwertspeicher ("ROM") zum Speichern von Software, Direktzugriffsspeicher ("RAM") und nichtflüchtige Speicherung beinhalten. Andere Hardware, herkömmlich und/oder anwenderspezifisch, kann ebenfalls einbezogen sein. In gleicher Weise sind irgendwelche in den Figuren gezeigte Schalter nur konzeptionell. Ihre Funktion kann durch den Betrieb von Programmlogik, durch dedizierte Logik, durch die Interaktion von Programmsteuerung und dedizierter Logik oder auch manuell ausgeführt werden, wobei die jeweilige Technik durch den Implementierer wählbar ist, wie es aus den Zusammenhang deutlicher verständlich ist.
  • Entsprechend der Darstellung in 1 ist ein Standardvideokodierer allgemein mit der Bezugszahl 100 angegeben. Ein Eingang zum Kodierer 100 ist in Signalverbindung mit einem nicht-umkehrenden Eingang eines Summenpunktes 110 verbunden. Der Ausgang des Summenpunktes 110 ist in Signalverbindung mit einer Blockübertragungsfunktion 120 verbunden. Die Übertragung 120 ist in Signalverbindung mit einem Quantisierer 130 verbunden. Der Ausgang des Quantisierers 130 ist in Signalverbindung mit einem Kodierer variabler Länge ("VLC") 140 verbunden, wobei der Ausgang des VLC 140 ein von außen zugänglicher Ausgang des Kodierers 100 ist.
  • Der Ausgang des Quantisierers 130 ist ferner in Signalverbindung mit einem Inversquantisierer 150 verbunden. Der Inversquantisierer 150 ist in Signalverbindung mit einem Inversblocküberträger 160 verbunden, der seinerseits in Signalverbindung mit einem Bezugsbildspeicher 170 verbunden ist. Ein erster Ausgang des Bezugsbildspeichers 170 ist in Signalverbindung mit einem ersten Eingang einer Bewegungsschätzeinrichtung 180 verbunden. Der Eingang des Kodierers 100 ist ferner in Signalverbindung mit einem zweiten Eingang der Bewegungsschätzeinrichtung verbunden. Der Ausgang der Bewegungsschätzeinrichtung 180 ist in Signalverbindung mit einem ersten Eingang eines Bewegungskompensators 190 verbunden. Ein zweiter Ausgang des Bezugsbildspeichers 170 ist in Signalverbindung mit einem zweiten Eingang des Bewegungskompensators 190 verbunden. Der Ausgang des Bewegungskompensators 190 ist in Signalverbindung mit einem invertierenden Eingang des Summenpunktes 110 verbunden.
  • Es sei nun auf 2 Bezug genommen, in der ein Videokodierer mit Bezugsbildgewichtung allgemein mit der Bezugszahl 200 angegeben ist. Ein Eingang zum Kodierer 200 ist in Signalverbindung mit einem nicht-invertierenden Eingang eines Summenpunktes 210 verbunden. Der Ausgang des Summenpunktes 210 ist in Signalverbindung mit einem Blockübertrager 220 verbunden. Der Übertrager 220 ist in Signalverbindung mit einem Quantisierer 230 verbunden. Der Ausgang des Quantisierers 230 ist in Signalverbindung mit einem VLC 240 verbunden, wobei der Ausgang des VLC 240 ein von außen zugänglicher Ausgang des Kodierers 200 ist.
  • Der Ausgang des Quantisierers 230 ist ferner in Signalverbindung mit einem Inversquantisierer 250 verbunden. Der Inversquantisierer 250 ist in Signalverbindung mit einem Inversblockübertrager 260 verbunden, der seinerseits in Signalverbindung mit einem Bezugbildspeicher 270 verbunden ist. Ein erster Ausgang des Bezugsbild speichers 270 ist in Signalverbindung mit einem ersten Eingang eines Bezugsbild-Gewichtungsfaktorzuordners 272 verbunden. Der Eingang des Kodierers ist ferner in Signalverbindung mit einem zweiten Eingang des Bezugsbild-Gewichtungsfaktorzuordners 272 verbunden. Der Ausgang des Bezugsbild-Gewichtungsfaktorzuordners 272, der einen Gewichtungsfaktor anzeigt, ist in Signalverbindung mit einem ersten Eingang einer Bewegungschätzeinrichtung 280 verbunden. Ein zweiter Ausgang des Bezugsbildspeichers 270 ist in Signalverbindung mit einem zweiten Eingang der Bewegungsschätzeinrichtung 280 verbunden.
  • Der Eingang zum Kodierer 200 ist ferner in Signalverbindung mit einem dritten Eingang der Bewegungsschätzeinrichtung 280 verbunden. Der Ausgang der Bewegungsschätzeinrichtung 280, der Bewegungsvektoren anzeigt, ist in Signalverbindung mit einem ersten Eingang eines Bewegungskompensators 290 verbunden. Ein dritter Ausgang des Bezugsbildspeichers 270 ist in Signalverbindung mit einem zweiten Eingang des Bewegungskompensators 290 verbunden. Der Ausgang des Bewegungskompensators 290, der ein bewegungskompensiertes Bezugsbild anzeigt, ist in Signalverbindung mit einem ersten Eingang eines Multiplizierers 292 verbunden. Der Ausgang des Bezugsbild-Gewichtungsfaktorzuordeners 272, der einen Gewichtungsfaktor anzeigt, ist in Signalverbindung mit einem zweiten Eingang des Multiplizierers 292 verbunden. Der Ausgang des Multiplizierers 292 ist in Signalverbindung mit einem invertierendem Eingang des Summenpunktes 210 verbunden.
  • Es sei nun auf 3 verwiesen, in der ein Videokodierer mit integrierter Bewegungsschätzung und gewichteter Vorhersage allgemein mit der Bezugszahl 300 bezeichnet ist. Ein Eingang zum Kodierer 300 ist in Signalverbindung mit einem nichtinvertierenden Eingang eines Summenpunktes 310 verbunden. Der Ausgang des Summenpunktes 310 ist in Signalverbindung mit einem Blockübertrager 320 ver bunden. Der Übertrager 320 ist in Signalverbindung mit einem Quantisierer 330 verbunden. Der Ausgang des Quantisierers 330 ist in Signalverbindung mit einem VCL 340 verbunden, wobei der Ausgang des VLC 340 ein von außen zugänglicher Ausgang des Kodierers 300 ist.
  • Der Ausgang des Quantisierers 330 ist ferner in Signalverbindung mit einem Inversquantisierer 350 verbunden. Der Inversquantisierer 350 ist in Signalverbindung mit einem Inversblockübertrager 360 verbunden, der seinerseits in Signalverbindung mit einem Bezugsbildspeicher 370 verbunden ist. Ein erster Ausgang des Bezugsbildspeichers 370 ist in Signalverbindung mit einem ersten Eingang eines Bezugbild-Gewichtungsfaktorselektors 372 verbunden. Der Eingang zum Kodierer 300 ist ferner in Signalverbindung mit einem zweiten Eingang des Bezugbild-Gewichtungsfaktorselektors 372 verbunden, um das laufende Bild an den Selektor zu liefern. Der Ausgang des Bezugsbild-Gewichtungsfaktorselektors 372, der einen Gewichtungsfaktor anzeigt, ist in Signalverbindung mit einem ersten Eingang eines Multiplizierers 374 verbunden. Ein zweiter Eingang des Multiplizierers 374 ist in Signalverbindung mit dem Bezugsbildausgang des Bezugsbildspeichers 370 verbunden. Es ist zu bemerken, daß, obwohl einfach als Multiplizierer 374 dargestellt, andere Arten von Gewichtungsfaktorapplikatoren, die sich von einem Multiplizierer unterscheiden, konzipiert werden können, wie es für den Fachmann offensichtlich ist, wobei dieses alles im Rahmen und Umfang der Erfindung gesehen wird.
  • Der Ausgang des Multiplizierers 374 ist in Signalverbindung mit einem Speicher 376 für das gewichtete Bezugsbild verbunden. Der Ausgang des Speichers 376 für das gewichtete Bezugsbild ist in Signalverbindung mit einem ersten Eingang einer Bewegungsschätzeinrichtung 380 zur Lieferung eines gewichteten Bezugsbildes verbunden. Der Ausgang der Bewegungsschätzeinrichtung 380 ist in Signalverbind ung mit einem ersten Bewegungskompensator 382 zur Lieferung von Bewegungsvektoren verbunden. Der Ausgang der Bewegungsschätzeinrichtung 380 ist ferner in Signalverbindung mit einem ersten Eingang eines zweiten Bewegungskompensators 390 verbunden. Ein zweiter Ausgang des Speichers 376 für das gewichtete Bezugsbild ist in Signalverbindung mit einem zweiten Eingang des ersten Bewegungskompensators 382 verbunden.
  • Der Ausgang des ersten Bewegungskompensators 382, der ein gewichtetes bewegungskompensiertes Bild anzeigt, ist in Signalverbindung mit einem ersten Eingang eines Absolutdifferenzgenerators 384 verbunden. Der Eingang zum Kodierer 300, der das laufende Bild ist, ist ferner in Signalverbindung mit einem zweiten Eingang des Absolutdifferenzgenerators 384 verbunden. Der Ausgang der Absolutdifferenzfunktion 384 ist in Signalverbindung mit einem dritten Eingang des Bezugsbild-Gewichtungsfaktorselektors 372 verbunden.
  • Ein dritter Ausgang des Bezugsbildspeichers 370 ist in Signalverbindung mit einem zweiten Eingang des zweiten Bewegungskompensators 390 verbunden. Der Ausgang des zweiten Bewegungskompensators 390, der ein bewegungskompensiertes Bezugsbild anzeigt, ist in Signalverbindung mit einem ersten Eingang eines Multiplizierers 392 verbunden. Der Ausgang des Bezugsbild-Gewichtungsfaktorselektors 372, der einen Gewichtungsfaktor anzeigt, ist in Signalverbindung mit einem zweiten Eingang des Multiplizierers 392 verbunden. Der Ausgang des Multiplizierers 392 ist in Signalverbindung mit einem invertierenden Eingang des Summenpunktes 310 verbunden.
  • Wie in 4 gezeigt, ist ein Standardvideodekodierer allgemein mit der Bezugszahl 400 bezeichnet. Der Videodekodierer 400 weist einen Dekodierer variabler Länge ("VLD") 410 auf, der in Signalverbindung mit einem Inversquantisierer 420 verbunden ist. Der Inversquantisierer 420 ist in Signalverbindung mit einem Inversübertrager 430 verbunden. Der Inversübertrager 430 ist in Signalverbindung mit einem ersten Eingangsterminal eines Addier- bzw. Summenpunktes 440 verbunden, wobei der Ausgang des Summenpunktes 440 den Ausgang des Videodekodierers 400 darbietet. Der Ausgang des Summenpunktes 440 ist in Signalverbindung mit einem Bezugsbildspeicher 450 verbunden. Der Bezugsbildspeicher 450 ist in Signalverbindung mit einem Bewegungskompensator 460 verbunden, der in Signalverbindung mit einem zweiten Eingangsterminal des Summenpunktes 440 verbunden ist.
  • Es sei nun auf 5 verwiesen, in der ein Videodekodierer mit adaptiver Bi-Prädiktion allgemein mit der Bezugszahl 500 angegeben ist. Der Videodekodierer 500 weist einen VLD 510 auf, der in Signalverbindung mit einem Inversquantisierer 520 verbunden ist. Der Inversquantisierer 520 ist in Signalverbindung mit einem Inversübertrager 530 verbunden. Der Inversübertrager 530 ist in Signalverbindung mit einem ersten Eingangsterminal eines Summenpunktes 540 verbunden, wobei der Ausgang des Summenpunktes 540 den Ausgang des Videodekodierers 500 bereitstellt. Der Ausgang des Summenpunktes 540 ist in Signalverbindung mit einem Bezugsbildspeicher 550 verbunden. Der Bezugsbildspeicher 550 ist in Signalverbindung mit einem Bewegungskompensator 560 verbunden, der in Signalverbindung mit einem ersten Eingang eines Multiplizierers 570 verbunden ist.
  • Der VLD 510 ist ferner in Signalverbindung mit einem Bezugsbild-Gewichtungsfaktorsuchlauf 580 zur Bereitstellung eines adaptiven bi-prädiktiven ("ABP") Koeffizienten-Index zum Suchlauf 580 verbunden. Ein erster Ausgang des Suchlaufs 580 dient zur Bereitstellung eines Gewichtungsfaktors und ist in Signalverbindung mit einem zweiten Eingang des Multiplizierers 570 verbunden. Der Ausgang des Multiplizierers ist in Signalverbindung mit einem ersten Eingang eines Summenpunktes 590 verbunden. Ein zweiter Ausgang des Suchlaufs 580 dient zur Bereitstellung eines Offsets und ist in Signalverbindung mit einem zweitem Eingang des Summenpunktes 590 verbunden. Der Ausgang des Summenpunktes 590 ist in Signalverbindung mit einem zweiten Eingangsterminal des Summenpunktes 540 verbunden.
  • Es sei nun auf 6 verwiesen, in der ein Bestimmungsprozeß für den Bewegungsvektor und Gewichtungsfaktor allgemein mit der Bezugszahl 600 bezeichnet ist. Hier findet ein Funktionsblock 610 die anfängliche Gewichtungsfaktorschätzung für das laufende Bild bzw. den Bildblock ("cur") und das Bezugsbild ("ref") durch Berechnen des Gewichtungsfaktors "w" = avg(cur)/avg(ref). Der Block 610 steuert einen Entscheidungsblock 612, der bestimmt, ob der Gewichtungsfaktor (w) größer ist als ein Schwellenwert T1 und kleiner als ein Schwellenwert T2. Falls w zwischen T1 und T2 liegt, wird ein Rücklaufblock 614 angesteuert und w = 1 wird als anfänglicher Gewichtungsfaktor benutzt. Falls w nicht zwischen T1 und T2 liegt, wird ein Funktionsblock 616 angesteuert, der den Gewichtungsfaktor w an das Bezugsbild anlegt, um ein gewichtetes Bezugsbild wref zu bilden. Der Block 616 steuert einen Funktionsblock 618 an, um eine Bewegungsschätzung durch Findung von Bewegungsvektoren ("MVs") unter Verwendung des gewichteten Bezugsbildes wref durchzuführen. Der Block 618 steuert einen Funktionsblock 620 an, der ein bewegungskompensiertes gewichtetes Bezugsbild, mcwref, durch Anlegen der MVs an wref bildet. Der Block 620 steuert einen Funktionsblock 622 an, der ein Differenzmaß, diff, berechnet, wobei diff dem absoluten Wert der Summe der Pixelunterschiede zwischen cur und wmcref gleich ist.
  • Der Block 622 steuert einen Entscheidungsblock 624 an, der bestimmt, ob diff größer ist als das vorherige beste diff. Wenn diff größer ist als das vorherige beste diff, wird ein Rücklaufblock 626 angesteuert, der das vorherige beste diff benutzt. Falls diff nicht größer ist als das vorherige beste diff, wird ein Entscheidungsblock 628 angesteuert, der bestimmt, ob diff kleiner ist als ein Schwellenwert T. Wenn diff kleiner ist als der Schwellenwert T, wird ein Rücklaufblock 634 angesteuert, der die laufenden Schätzungen benutzt. Wenn diff nicht kleiner ist als der Schwellenwert T, wird ein Funktionsblock 630 angesteuert, der ein bewegungskompensiertes Bezugsbild, mcref, durch Anlegen der MVs an ref bildet. Der Block 630 steuert einen Funktionsblock 632 an, der die Gewichtungsfaktorschätzung verfeinert, indem w gleich avg(cur)/avg(mcref) gesetzt wird. Der Block 632 steuert zurück zum Funktionsblock 616 für die weitere Bearbeitung. Damit basiert die Entscheidung zu einer weiteren Verfeinerung des Gewichtungsfaktors auf dem Vergleichen eines Differenzmaßes mit einer Schwelle bzw. Toleranz.
  • Es sei nun auf 7 verwiesen, in der ein beispielhafter Prozeß zum Decodieren von Videosignaldaten für einen Bildblock allgemein mit der Bezugszahl 700 bezeichnet ist. Der Prozeß weist einen Startblock 710 auf, der einen Eingabeblock 712 ansteuert. Der Eingabeblock 712 empfängt die komprimierten Bildblockdaten und steuert einen Eingabeblock 714 an. Der Eingabeblock 714 empfängt zumindest einen Bezugsbildindex mit den Daten für den Bildblock, wobei jeder Bezugsbildindex einem bestimmten Bezugsbild entspricht. Der Eingabeblock 714 steuert einen Funktionsblock 716 an, der einen Gewichtungsfaktor entsprechend jedem der empfangenen Bezugsbildindizes bestimmt und einen optionalen Funktionsblock 717 ansteuert. Der optionale Funktionsblock 717 bestimmt einen Versatz entsprechend jedem der empfangenen Bezugsbildindizes und steuert einen Funktionsblock 718 an. Der Funktionsblock 718 gewinnt ein Bezugsbild entsprechend jedem der em pfangenen Bezugsbildindizes zurück und steuert einen Funktionsblock 720 an. Der Funktionsblock 720 seinerseits bewegungskompensiert das zurückgewonnene Bezugsbild und steuert einen Funktionsblock 722 an. Der Funktionsblock 722 multipliziert das bewegungskompensierte Bezugsbild mit dem entsprechenden Gewichtungsfaktor und steuert einen optionalen Funktionsblock 723 an. Der optionale Funktionsblock 723 addiert das bewegungskompensierte Bezugsbild zum entsprechenden Versatz und steuert einen Funktionsblock 724 an. Der Funktionsblock 724 bildet seinerseits ein gewichtetes bewegungskompensiertes Bezugsbild und steuert einen Endblock 726 an.
  • Bei dem vorliegenden Ausführungsbeispiel wird für jedes codierte Bild bzw. Slice ein Gewichtungsfaktor jedem erlaubbaren Bezugsbild zugeordnet, so daß Blöcke des laufenden Bildes diesbezüglich codiert werden können. Wenn jeder individuelle Block im laufenden Bild codiert bzw. decodiert ist, werden der/die Gewichtungsfaktor(en) und Versatz(e), die seinen Bezugsbildindizes entsprechen, auf die Gewichtungsvorhersage zur Bildung eines Gewichtungsprädiktors angelegt. Alle Blöcke im Slice, die in Bezug auf das gleiche Bezugsbild codiert sind, legen den gleichen Gewichtungsfaktor auf die Bezugsbildvorhersage an.
  • Ob eine adaptive Gewichtung beim Codieren eines Bildes angewandt wird oder nicht, kann im Bildparametersatz bzw. Sequenzparametersatz oder im Slice bzw. Bildheader angegeben werden. Für jedes Slice bzw. Bild, daß eine adaptive Gewichtung verwendet, kann ein Gewichtungsfaktor für jedes der erlaubbaren Bezugsbilder übertragen werden, der zum Codieren dieses Slice bzw. Bildes benutzt werden kann. Die Anzahl von erlaubbaren Bezugsbildern wird im Sliceheader übertragen. Wenn z. B. drei Bezugsbilder zum Codieren des laufenden Slice verwendet werden können, werden bis zu drei Gewichtungsfaktoren übertragen, und sie werden dem Bezugsbild mit dem gleichen Index zugeordnet.
  • Falls keine Gewichtungsfaktoren übertragen werden, werden Vorgabegewichte benutzt. Bei einer Ausführungsform der vorliegenden Erfindung werden Vorgabegewichte von (½, ½) benutzt, wenn keine Gewichtungsfaktoren übertragen werden. Die Gewichtungsfaktoren können unter Verwendung entweder fester Codes oder solcher variabler Länge übertragen werden.
  • Anders als bei typischen Systemen entspricht jeder Gewichtungsfaktor, der mit jedem Slice, Block oder Bild übertragen wird, einem bestimmten Bezugsbildindex. Früher wurde ein Satz von Gewichtungsfaktoren, die mit jedem Slice bzw. Bild übertragen wurden, nicht bestimmten Bezugsbildern zugeordnet. Statt dessen wurde ein adaptiver Bi-Prädiktionsgewichtungsindex für jeden Bewegungsblock bzw. 8×8-Bereich übertragen, um auszuwählen, welcher von den Gewichtungsfaktoren aus dem übertragenen Satz für jenen besonderen Bewegungsblock bzw. 8×8-Bereich anzulegen wäre. Bei der gegenwärtigen Ausführungsform der vorliegenden Erfindung wird der Gewichtungsfaktorindex für jeden Bewegungsblock bzw. 8×8-Bereich nicht explizit übermittelt. Statt dessen wird der Gewichtungsfaktor, der mit dem übertragenen Bezugsbildindex assoziiert ist, verwendet. Dieses reduziert drastisch den Organisationsaufwand im übertragenen Bitstrom zur Ermöglichung der adaptiven Gewichtung von Bezugsbildern.
  • Dieses System und diese Technik können entweder auf prädiktive "P"-Bilder angewandt werden, die mit nur einem Prädiktor codiert werden, oder auf bi-prädiktive "B"-Bilder, die mit zwei Prädiktoren codiert werden. Die Decodierungsprozesse, die sowohl bei Kodierern als auch Dekodierern vorhanden sind, werden nachstehend für die P- und B-Bildfälle beschrieben. Statt dessen kann diese Technik auch auf Codierungssysteme angewandt werden, die Konzepte ähnlich I-, B- und P-Bildern benutzen.
  • Es können die gleichen Gewichtungsfaktoren für einzeldirektionale Vorhersage bei P-Bildern und für bi-direktionale Vorhersage bei B-Bildern benutzt werden. Wenn nur ein Prädiktor für einen Macroblock bei P-Bildern oder für einzeldirektionale Vorhersage in B-Bildern benutzt wird, wird nur ein Bezugsbildindex für den Block übermittelt. Nachdem der Decodierungsprozeßschritt der Bewegungskompensation einen Prädiktor erzeugt, wird der Gewichtungsfaktor auf den Prädiktor angelegt. Der gewichtete Prädiktor wird dann dem codierten Rest hinzuaddiert, und zur Bildung des decodierten Bildes wird ein Clipping an der Summe durchgeführt. Zur Verwendung für Blöcke bei P-Bildern oder für Blöcke bei B-Bildern, die nur eine Vorhersage der Liste 0 benutzen, wird der gewichtete Prädiktor gebildet als: Pred = W0·Pred0 + D0 (1),wobei W0 der dem Bezugsbild der Liste 0 zugeordnete Gewichtungsfaktor, D0 der dem Bezugsbild der Liste 0 zugeordnete Versatz und Pred0 der bewegungskompensierte Vorhersageblock vom Bezugsbild der Liste 0 ist.
  • Zur Verwendung für Blöcke in B-Bildern, die nur eine Vorhersage der Liste 1 verwenden, wird der gewichtete Prädiktor gebildet als: Pred = W1·Pred1·D1 (2), wobei W1 der dem Bezugsbild der Liste 1 zugeordnete Gewichtungsfaktor, D0 der dem Bezugsbild der Liste 1 zugeordnete Versatz und Pred1 der bewegungskompensierte Vorhersageblock vom Bezugsbild der Liste 1 ist.
  • Die gewichteten Prädiktoren können geclippt werden, um zu gewährleisten, daß die resultierenden Werte innerhalb des erlaubten Bereichs von Pixelwerten, typischerweise 0–255, liegen. Die Genauigkeit der Multiplikation in den Gewichtungsformen kann auf eine beliebige vorherbestimmte Anzahl von Auflösungsbits beschränkt werden.
  • In bi-prädiktiven Fall werden Bezugsbildindizes für jeden der beiden Prädiktoren übermittelt. Eine Bewegungskompensation wird zur Bildung der beiden Prädiktoren durchgeführt. Jeder Prädiktor verwendet den dem Bezugsbildindex zugeordneten Gewichtungsfaktor zur Bildung zweier gewichteter Prädiktoren. Die beiden gewichteten Prädiktoren werden dann zur Bildung eines gemittelten Prädiktors zusammengemittelt, der dann dem codierten Rest hinzuaddiert wird.
  • Zur Verwendung für Blöcke in B-Bildern, die Vorhersagen der Liste 0 und Liste 1 verwenden, wird der gewichtete Prädiktor gebildet als: Pred = (P0·Pred0 + D0 + P1·Pred1· D1)/2 (3).
  • Am gewichteten Prädiktor oder einem der Zwischenwerte in der Berechnung des gewichteten Prädiktors kann ein Clipping vorgenommen werden, um zu gewährleisten, daß die resultierenden Werte im erlaubbaren Bereich der Pixelwerte, typischerweise 0–255, liegen.
  • Somit wird ein Gewichtungsfaktor auf die Bezugsbildvorhersage eines Videokompressionskodierers und -dekodierers angewandt, der mehrfache Bezugsbilder verwendet. Der Gewichtungsfaktor eignet sich für individuelle Bewegungsblöcke in einem Bild auf der Grundlage des Bezugsbildindex, der für diesen Bewegungsblock benutzt wird. Da der Bezugsbildindex bereits im komprimierten Videobitstrom übermittelt wird, ist der zusätzliche Aufwand zur Anpassung des Gewichtungsfaktors an eine Bewegungsblockbasis drastisch reduziert. Sämtliche Bewegungsblöcke, die in Bezug auf das gleiche Bezugsbild codiert werden, legen den gleichen Gewichtungsfaktor auf die Bezugsbildvorhersage an.
  • Bewegungsschätztechniken sind ausgiebig untersucht worden. Für jeden Bewegungsblock eines Bildes, das codiert wird, wird ein Bewegungsvektor gewählt, der eine Verschiebung des Bewegungsblocks von einem Bezugsbild darstellt. In einem erschöpfenden Suchverfahren innerhalb einer Suchregion wird jede Verschiebung innerhalb eines vorbestimmten Versatzbereichs bezüglich der Bewegungsblockposition getestet. Der Test beinhaltet die Berechnung der Summe der absoluten Differenz ("SAD") oder der Standardabweichung ("MSE") jedes Pixels im Bewegungsblock im laufenden Bild mit dem verschobenen Bewegungsblock in einem Bezugsbild. Der Versatz des niedrigsten SAD oder MSE wird als Bewegungsvektor gewählt. Es sind zahlreiche Abweichungen zu dieser Technik vorgeschlagen worden, wie etwa ein dreistufiger Suchvorgang und ratenverzerrungsoptimierte Bewegungsschätzung, die sämtlich den Schritt des Berechnens des SAD oder MSE des laufenden Bewegungsblocks mit einem verschobenen Bewegungsblock in einem Bezugsbild beinhalten.
  • Die Berechnungskosten der Bestimmung von Bewegungsvektoren und adaptiven Bezugsbildgewichtungsfaktoren kann durch Verwendung eines iterativen Prozesses reduziert werden, dabei noch unter Auswahl von Bewegungsvektoren und Gewichtungsfaktoren, die in der Lage sind, eine hohe Kompressionswirksamkeit zu erzielen. Ein Bestimmungsprozeß für einen Bewegungsvektor und Gewichtungsfaktor nach einem Ausführungsbeispiel wird beschrieben, unter der Annahme, daß nur ein Gewichtungsfaktor auf das gesamte Bezugsbild angelegt wird, obgleich die Anwendung der Grundlagen der vorliegenden Erfindung nicht auf einen derartigen Fall beschränkt ist. Der Prozeß könnte auch auf kleinere Regionen des Bildes, wie z. B. Slices, angewandt werden. Außerdem kann, obgleich ein Ausführungsbeispiel der Erfindung mit Verwendung nur eines einzigen Bezugsbildes beschrieben wird, die vorliegende Erfindung auch auf eine mehrfache Bezugsbildvorhersage und auf bi-prädiktive Bilder angewandt werden.
  • Die Berechnung des Bewegungsvektors für einen Bewegungsblock kann typischerweise am besten erfolgen, wenn der zu benutzende Gewichtungsfaktor bekannt ist. In einem Ausführungsbeispiel wird eine Schätzung des Gewichtungsfaktors unter Verwendung des Bezugsbildes und der laufenden Bezugsbildpixelwerte gebildet. Der Gewichtungsfaktor kann auf eine Anzahl von Auflösungsbits begrenzt werden. Wenn der Gewichtungsfaktor sehr nahe bei 1 liegt, besteht keine Notwendigkeit, den Gewichtungsfaktor im Bewegungsschätzprozeß zu berücksichtigen, und es kann eine normale Bewegungsschätzung mit dem als gleich 1 angenommenen Gewichtungsfaktor erfolgen. Anderenfalls wird die Gewichtungsfaktorschätzung auf das Bezugsbild angelegt. Die Bewegungsschätzung wird dann unter Verwendung einer beliebigen Methode ausgeführt, die SAD oder MSE berechnet, wobei jedoch die SAD- oder MSE-Berechnung zwischen dem laufenden Bildbewegungsblock und dem verschobenen Bewegungsblock in der gewichteten Version des Bezugsbildes und nicht des ungewichteten Bezugsbildes ausgeführt wird. Nach der Auswahl der Bewegungsvektoren kann die Schätzung des gewichteten Faktors, falls nötig, verfeinert werden.
  • Die laufenden Bewegungsvektoren werden auf das gewichtete Bezugsbild zur Bildung des gewichteten, bewegungskompensierten Bezugsbildes angelegt. Ein Differenzmaß zwischen dem gewichteten bewegungskompensierten Bezugsbild und dem laufenden Bild wird berechnet. Falls das Differenzmaß kleiner ist als eine Schwelle oder kleiner als das vorherige beste Differenzmaß, ist der Prozeß vollständig, und die laufenden anstehenden Bewegungsvektoren und Gewichtungsfaktoren werden akzeptiert.
  • Falls das Differenzmaß höher ist als eine bestimmte Schwelle, kann der Gewichtungsfaktor verfeinert werden. In diesem Fall wird ein bewegungskompensiertes, jedoch ungewichtetes Bezugsbild auf der Grundlage der laufenden anstehenden Bewegungsvektoren gebildet. Die Gewichtungsfaktorschätzung wird unter Verwendung des bewegungskompensierten Bezugsbildes und des laufenden Bildes verfeinert, und nicht unter Verwendung des unkompensiertem Bezugsbildes, wie es bei der Bildung der anfänglichen Schätzung des Gewichtungsfaktors erfolgte.
  • Der Auswahlprozeß geht iterativ weiter unter Anwendung des frisch verfeinerten Gewichtungsfaktors auf das Bezugsbild zur Bildung des gewichteten Bezugsbildes. Der iterative Prozeß setzt sich fort, bis das Differenzmaß gleich oder höher ist als ein früheres bestes Differenzmaß oder niedriger als eine Schwelle oder alternativ, bis eine definierte Anzahl von Zyklen vollendet ist. Wenn das Differenzmaß der laufenden Iteration höher ist als für die beste frühere Iteration, werden der Gewichtungsfaktor und die Bewegungsvektoren für die beste frühere Iteration verwendet. Wenn das Differenzmaß der laufenden Iteration kleiner ist als eine Schwelle, werden der laufende Gewichtungsfaktor und Bewegungsvektoren verwendet. Wenn die maximale Anzahl von Iterationszyklen vollendet ist, werden der Gewichtungsfaktor und die Bewegungsvektoren von der früheren Iteration, die das beste Differenzmaß hatte, verwendet.
  • Bei einer Ausführungsform ist die Anfangsschätzung des Gewichtungsfaktors, w, das Verhältnis zwischen dem Durchschnittswert der Pixel im laufenden Bild, cur, geteilt durch den Durchschnittswert der Pixel im Bezugsbild, ref, wobei: w = avg(cur)/avg(ref) (4)
  • Die Verfeinerungsschätzungen sind das Verhältnis zwischen dem Durchschnitt von Pixeln im laufenden Bild und dem Durchschnitt von Pixeln im bewegungskompensierten Bezugsbild, mcref, bei: w = avg(cur)/avg(mcref) (5)
  • Das Differenzmaß diff ist der absolute Wert des Durchschnitts von Pixeldifferenzen zwischen dem laufenden Bild, cur, und dem gewichteten bewegungskompensierten Bezugsbild, wmcref, wobei: diff = |Σcur – wmcref| (6)
  • Bei einer weiteren Ausführungsform ist das Differenzmaß die Summe der absoluten Differenzen der Pixel im laufenden Bild und im gewichteten bewegungskompensierten Bezugsbild, wobei: diff = Σ|cur – wmcref| (7)
  • Wenn eine Bewegungsschätzung auf Blockbasis durchgeführt wird, wird das gleiche Pixel in einem Bezugsbild für zahlreiche SAD-Berechnungen verwendet. In einem Ausführungsbeispiel wird während des Bewegungsschätzprozesses, sobald ein Gewichtungsfaktor auf ein Pixel in einem Bezugsbild angelegt worden ist, das gewichtete Pixel zusätzlich zu dem normalen Pixel gespeichert. Die Speicherung kann entweder für eine Region des Bildes oder für das ganze Bild erfolgen.
  • Die gewichteten Bezugsbildwerte können geclippt werden, um mit der gleichen Anzahl von Bits wie ein ungewichteter Bezug, wie beispielsweise etwa 8 Bits, gespeichert zu werden, oder können unter Verwendung mehrerer Bits gespeichert werden. Wenn Clipping für den Bewegungskompensationsprozeß durchgeführt wird, was speicherwirksamer ist, wird der Gewichtungsfaktor wieder auf das Bezugsbild für den aktuellen ausgewählten Bewegungsfaktor angelegt, wobei die Differenz unter Verwendung zusätzlicher Bits berechnet und das Clipping nach der Differenz ausgeführt wird, um eine Fehlanpassung mit einem Dekodierer zu vermeiden, was anderenfalls auftreten könnte, falls der Dekodierer nicht das Clipping ausführt, nachdem der Gewichtungsfaktor angelegt ist.
  • Wenn mehrfache Bezugsbilder zum Codieren eines Bildes benutzt werden, kann ein gesonderter Gewichtungsfaktor für jedes Bezugsbild berechnet werden. Bei der Bewegungsschätzung werden ein Bewegungsvektor und ein Bezugsbildindex für jeden Bewegungsblock ausgewählt. Für jede Iteration des Prozesses werden Bewegungsvektoren und Gewichtungsfaktoren für jedes Bezugsbild gesucht.
  • In einer bevorzugten Ausführungsform wird während der Bewegungsschätzung das beste Bezugsbild für einen gegebenen Bewegungsblock bestimmt. Die Berechnung des Differenzmaßes wird gesondert für jedes Bezugsbild vorgenommen, wobei nur diejenigen Bewegungsblöcke, die dieses Bezugsbild verwenden, in der Berechnung verwendet werden. Die Verfeinerung der Gewichtungsfaktorschätzung für ein gegebenes Bezugsbild verwendet ebenfalls nur jene Bewegungsblöcke, die unter Verwendung dieses Bezugsbildes codiert werden. Für eine bi-prädiktive Codierung können Gewichtungsfaktoren und Bewegungsvektoren getrennt für jede der beiden Vorhersagen bestimmt werden, die zur Bildung der gemittelten Vorhersage zusammen gemittelt werden.
  • Die Grundlagen der vorliegenden Erfindung können auf viele unterschiedliche Arten von Bewegungsschätzalgorithmen angewandt werden. Bei Verwendung mit hierarchischen Ansätzen kann die Iteration der Gewichtungsfaktorauswahl und Bewegungsvektorauswahl mit einer beliebigen Stufe der Bewegungsschätzhierarchie verwendet werden. Zum Beispiel kann der iterative Ansatz mit einer Bewegungsschätzung des ganzzahligen Bildelements ("pel") verwendet werden. Nachdem der Gewichtungsfaktor und die ganzzahligen Bewegungsvektoren unter Verwendung des vorgesehenen iterativen Algorithmus gefunden sind, können die sub-pel-Bewegungsvektoren gefunden werden, ohne daß eine weitere Iteration der gewichteten Faktorauswahl erforderlich ist.
  • In besonders bevorzugter Weise werden die Grundsätze der vorliegenden Erfindung als eine Kombination von Hardware und Software implementiert. Darüber hinaus wird die Software vorzugsweise als ein Anwenderprogramm implementiert, das abgreifbar bei einer Programmspeichereinheit verkörpert ist. Das Anwenderprogramm kann auf eine Maschine mit einer geeigneten Architektur hinaufgeladen und von dieser ausgeführt werden. Vorzugsweise ist die Maschine an einer Computerplattform mit Hardware wie einer oder mehreren zentralen Verarbeitungseinheiten ("CPU"), einem Direktzugriffsspeicher ("RAM") und Ein-/Ausgabe-Schnittstellen ("I/O") implementiert. Die Computerplattform kann auch ein Betriebssystem und einen Mikrobefehlscode aufweisen. Die verschiedenen hier beschriebenen Prozesse und Funktionen können entweder Teil des Mikrobefehlscodes oder Teil des Anwenderprogramms oder irgendeine Kombination hiervon sein, die durch eine CPU ausgeführt werden kann. Zusätzlich können verschiedenartige weitere periphere Einheiten, wie etwa eine zusätzliche Datenspeichereinheit und eine Druckeinheit mit der Computerplattform verbunden sein.

Claims (18)

  1. Videokodierer (300) zum Kodieren von Videosignaldaten für einen Bildblock bezüglich zumindest eines bestimmten Bezugsbilds, dadurch gekennzeichnet, daß der Kodierer folgendes umfaßt: einen Selektor (372) für einen Bezugsbildgewichtungsfaktor mit einem Ausgang, der einen Gewichtungsfaktor entsprechend dem zumindest einen bestimmten Bezugsbild anzeigt, einen Gewichtungsfaktorapplikator (374) in Signalverbindung mit dem Selektor für den Bezugsbildgewichtungsfaktor zur Bereitstellung einer gewichteten Version des zumindest einen bestimmten Bezugsbilds und eine Bewegungsschätzeinrichtung (380) in Signalverbindung mit dem Gewichtungsfaktorapplikator zur Bereitstellung von Bewegungsvektoren entsprechend der gewichteten Version des zumindest einen bestimmten Bezugsbilds.
  2. Videokodierer (300) nach Anspruch 1, ferner mit einem Bezugsbildspeicher (370) in Signalverbindung mit dem Selektor (372) für den Bezugsbildgewichtungsfaktor zur Bereitstellung des zumindest einen bestimmten Bezugsbilds und eines entsprechenden bestimmten Bezugsbildindex.
  3. Videokodierer (300) nach Anspruch 2, ferner mit einem Kodierer (340) mit variabler Länge in Signalverbindung mit dem Bezugsbildspeicher (370) zum Kodieren des bestimmten Bezugsbildindex entsprechend dem zumindest einen bestimmten Bezugsbild.
  4. Videokodierer (300) nach Anspruch 1, ferner mit einem Speicher (376) für das gewichtete Bezugsbild in Signalverbindung mit dem Selektor für den Bezugsbildgewichtungsfaktor zum Speichern einer gewichteten Version des Bezugsbilds.
  5. Videokodierer (300) nach Anspruch 1, ferner mit einem Bewegungskompensator (390) in Signalverbindung mit dem Selektor (372) für den Bezugsbildgewichtungsfaktor zur Bereitstellung von auf den Selektor für den Bezugsbildgewichtungsfaktor ansprechenden bewegungskompensierten Bezugsbildern.
  6. Videokodierer (300) nach Anspruch 5, ferner mit einem Multiplizierer (392) in Signalverbindung mit dem Bewegungskompensator (390) und dem Selektor (372) für den Bezugsbildgewichtungsfaktor zum Anlegen eines Gewichtungsfaktors an ein bewegungskompensiertes Bezugsbild.
  7. Videokodierer (300) nach Anspruch 1, ferner mit einem Bewegungskompensator (382) in Signalverbindung mit der Bewegungsschätzeinrichtung (380) zur Bereitstellung von auf den Selektor für den Bezugsbildgewichtungsfaktor und die Bewegungsschätzeinrichtung ansprechenden gewichteten bewegungskompensierten Bezugsbildern.
  8. Videokodierer (300) nach Anspruch 7, verwendbar mit bi-prädiktiven Bildprädiktoren, wobei der Kodierer ferner Prädiktionsmittel zum Bilden von ersten und zweiten Prädiktoren von zwei verschiedenen Bezugsbildern umfaßt.
  9. Videokodierer (300) nach Anspruch 8, bei dem die beiden verschiedenen Bezugsbilder beide dieselbe Richtung in Bezug auf den Bildblock haben.
  10. Verfahren (600) zum Kodieren von Videosignaldaten für einen Bildblock bezüglich zumindest eines bestimmten Bezugsbilds, wobei das Verfahren durch die Schritte gekennzeichnet ist, daß ein zu komprimierender Bildblock empfangen wird, ein Gewichtungsfaktor für den Bildblock entsprechend dem zumindest einen bestimmten Bezugsbild zugeordnet wird (610), das zumindest eine Bezugsbild durch den Gewichtungsfaktor gewichtet wird (616), Bewegungsvektoren entsprechend der Differenz zwischen dem Bildblock und dem gewichteten Bezugsbild berechnet werden (618), das gewichtete Bezugsbild in Übereinstimmung mit den Bewegungsvektoren bewegungskompensiert wird (620) und die Gewichtungsfaktorselektion als Antwort auf das bewegungskompensierte gewichtete Bezugsbild verbessert wird (632).
  11. Verfahren nach Anspruch 10, bei dem ferner das ursprüngliche ungewichtete Bezugsbild in Übereinstimmung mit den Bewegungsvektoren bewegungskompensiert wird (630), das bewegungskompensierte ursprüngliche Bezugsbild mit dem zugeordneten Gewichtungsfaktor zur Bildung eines gewichteten bewegungskompensierten Bezugsbilds multipliziert wird, das gewichtete bewegungskompensierte Bezugsbild von dem im wesentlichen unkomprimierten Bildblock subtrahiert wird und ein die Differenz zwischen dem im wesentlichen unkomprimierten Bildblock und dem gewichteten bewegungskompensierten Bezugsbild anzeigendes Signal kodiert wird.
  12. Verfahren nach Anspruch 10, bei dem das Berechnen der Bewegungsvektoren folgenden umfaßt: in einem Suchgebiet prüfen auf jede Verschiebung in einem vorbestimmten Bereich von Offsets in Bezug auf den Bildblock, berechnen von zumindest eins von der Summe von absoluter Differenz und Standardabweichung jedes Pixels im Bildblock mit einem bewegungskompensierten Bezugsbild und den Offset mit der niedrigsten Summe von absoluter Differenz und Standardabweichung als Bewegungsvektor selektieren.
  13. Verfahren nach Anspruch 10, bei dem bi-prädiktive Bildprädiktoren verwendet werden, wobei das Verfahren ferner umfaßt, daß ein zweiter Gewichtungsfaktor für den Bildblock entsprechend einem zweiten bestimmten Bezugsbild zugeordnet wird, das zweite Bezugsbild durch den zweiten Gewichtungsfaktor gewichtet wird, zweite Bewegungsvektoren entsprechend dem Unterschied zwischen dem Bildblock und dem zweiten gewichteten Bezugsbild berechnet werden, das zweite gewichtete Bezugsbild in Übereinstimmung mit den zweiten Bewegungsvektoren bewegungskompensiert wird und die Selektion des zweiten Gewichtungsfaktors als Antwort auf das zweite bewegungskompensierte gewichtete Bezugsbild verbessert wird.
  14. Verfahren nach Anspruch 11, bei dem bi-prädiktive Bildprädiktoren verwendet werden, wobei das Verfahren ferner umfaßt, daß ein zweiter Gewichtungsfaktor für den Bildblock entsprechend einem zweiten bestimmten Bezugsbild zugeordnet wird, das zweite Bezugsbild durch den zweiten Gewichtungsfaktor gewichtet wird, zweite Bewegungsvektoren entsprechend dem Unterschied zwischen dem Bildblock und dem zweiten gewichteten Bezugsbild berechnet werden, das zweite gewichtete Bezugsbild in Übereinstimmung mit den zweiten Bewegungsvektoren bewegungskompensiert wird, die Selektion des zweiten Gewichtungsfaktors als Antwort auf das zweite bewegungskompensierte gewichtete Bezugsbild verbessert wird, das ursprüngliche ungewichtete zweite Bezugsbild in Übereinstimmung mit den zweiten Bewegungsvektoren bewegungskompensiert wird, das bewegungskompensierte ursprüngliche zweite Bezugsbild mit dem zugeordneten zweiten Gewichtungsfaktor zur Bildung eines zweiten gewichteten bewegungskompensierten Bezugsbilds multipliziert wird, das zweite gewichtete bewegungskompensierte Bezugsbild vom im wesentlichen unkomprimierten Bildblock subtrahiert wird und ein die Differenz zwischen dem im wesentlichen unkomprimierten Bildblock und dem zweiten gewichteten bewegungskompensierten Bezugsbild anzeigendes Signal kodiert wird.
  15. Verfahren nach Anspruch 13, bei dem das erste und zweite bestimmte Bezugsbild beide dieselbe Richtung in Bezug auf den Bildblock haben.
  16. Verfahren nach Anspruch 13, bei dem das Berechnen von Bewegungsvektoren folgendes umfaßt: in einem Suchgebiet prüfen auf jede Verschiebung innerhalb eines vorbestimmten Bereichs von Offsets in Bezug auf den Bildblock, berechnen von zumindest eins von der Summe von absoluter Differenz und Standardabweichung jedes Pixels im Bildblock mit einem ersten bewegungskompensierten Bezugsbild entsprechend dem ersten Prädiktor, selektieren eines Offsets mit der niedrigsten Summe von absoluter Differenz und Standardabweichung als Bewegungsvektor für den ersten Prädiktor, berechnen von zumindest eins von der Summe von absoluter Differenz und Standardabweichung jedes Pixels im Bildblock mit einem zweiten bewegungskompensierten Bezugsbild entsprechend dem zweiten Prädiktor und selektieren eines Offsets mit der niedrigsten Summe von absoluter Differenz und Standardabweichung als Bewegungsvektor für den zweiten Prädiktor.
  17. Verfahren nach Anspruch 10, bei dem das Gewichten des Bezugsbilds mit dem Gewichtungsfaktor die Maßnahmen umfaßt, daß bestimmt wird, ob der Gewichtungsfaktor nahe etwa 1 liegt, und das ursprüngliche Bezugsbild als gewichtetes Bezugsbild gewählt wird, wenn der Gewichtungsfaktor nahe etwa 1 liegt.
  18. Verfahren nach Anspruch 10, bei dem das Verbessern der Gewichtungsfaktorselektion als Antwort auf das bewegungskompensierte gewichtete Bezugsbild die Maßnahmen umfaßt, daß eine Differenz zwischen dem Bildblock und dem bewegungskompensierten gewichteten Bezugsbild berechnet, die berechnete Differenz mit einer vorbestimmten Toleranz verglichen und der Gewichtungsfaktor weiter verbessert wird, wenn die errechnete Differenz außerhalb der vorbestimmten Toleranz liegt.
DE60319239T 2002-07-15 2003-07-11 Bewegungsschätzung mit gewichteter vorhersage Expired - Lifetime DE60319239T2 (de)

Applications Claiming Priority (7)

Application Number Priority Date Filing Date Title
US39587402P 2002-07-15 2002-07-15
US39584302P 2002-07-15 2002-07-15
US395843P 2002-07-15
US395874P 2002-07-15
US10/410,479 US7376186B2 (en) 2002-07-15 2003-04-09 Motion estimation with weighting prediction
US410479 2003-04-09
PCT/US2003/021653 WO2004008642A2 (en) 2002-07-15 2003-07-11 Motion estimation with weighting prediction

Publications (2)

Publication Number Publication Date
DE60319239D1 DE60319239D1 (de) 2008-04-03
DE60319239T2 true DE60319239T2 (de) 2009-02-26

Family

ID=30119144

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60319239T Expired - Lifetime DE60319239T2 (de) 2002-07-15 2003-07-11 Bewegungsschätzung mit gewichteter vorhersage

Country Status (12)

Country Link
US (1) US7376186B2 (de)
EP (1) EP1540824B1 (de)
JP (1) JP4533841B2 (de)
CN (1) CN100450185C (de)
AU (1) AU2003259110A1 (de)
BR (2) BR0305517A (de)
DE (1) DE60319239T2 (de)
ES (1) ES2301828T3 (de)
MX (1) MXPA05000672A (de)
MY (1) MY137057A (de)
TW (1) TWI234402B (de)
WO (1) WO2004008642A2 (de)

Families Citing this family (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8255989B2 (en) * 2001-09-26 2012-08-28 General Instrument Corporation Access control and key management system for streaming media
JP4015934B2 (ja) * 2002-04-18 2007-11-28 株式会社東芝 動画像符号化方法及び装置
US8406301B2 (en) 2002-07-15 2013-03-26 Thomson Licensing Adaptive weighting of reference pictures in video encoding
US7801217B2 (en) * 2002-10-01 2010-09-21 Thomson Licensing Implicit weighting of reference pictures in a video encoder
AU2003264543C1 (en) * 2002-10-01 2009-01-08 Godo Kaisha Ip Bridge 1 Image encoding device, image decoding device and their methods
JP2004179687A (ja) * 2002-11-22 2004-06-24 Toshiba Corp 動画像符号化／復号化方法及び装置
MXPA05005988A (es) * 2002-12-04 2005-08-18 Thomson Licensing Sa Codificacion de desvanecimientos de video con el uso de una prediccion ponderada.
CN1810041A (zh) * 2003-06-25 2006-07-26 汤姆森许可贸易公司 利用移位帧差分进行加权预测估计的方法和设备
ATE471562T1 (de) * 2004-04-28 2010-07-15 Panasonic Corp Stream-erzeugungsvorrichtung für bewegliche bilder, kodierungsvorrichtung für bewegliche bilder, multiplex-vorrichtung für bewegliche bilder und decodierungsvorrichtung für bewegliche bilder
US8731054B2 (en) * 2004-05-04 2014-05-20 Qualcomm Incorporated Method and apparatus for weighted prediction in predictive frames
KR100813958B1 (ko) * 2004-06-07 2008-03-14 세종대학교산학협력단 동영상의 무손실 인코딩 및 디코딩 방법, 그 장치
US8462850B2 (en) * 2004-07-02 2013-06-11 Qualcomm Incorporated Motion estimation in video compression systems
US8284837B2 (en) 2004-09-16 2012-10-09 Thomson Licensing Video codec with weighted prediction utilizing local brightness variation
US20060146932A1 (en) * 2004-12-30 2006-07-06 Krit Panusopone Method and apparatus for providing motion estimation with weight prediction
KR100703770B1 (ko) 2005-03-25 2007-04-06 삼성전자주식회사 가중 예측을 이용한 비디오 코딩 및 디코딩 방법, 이를위한 장치
KR100763182B1 (ko) * 2005-05-02 2007-10-05 삼성전자주식회사 다계층 기반의 가중 예측을 이용한 비디오 코딩 방법 및장치
EP1915870B1 (de) * 2005-07-21 2017-03-08 Thomson Licensing Verfahren und vorrichtung zur gewichteten prädiktion für skalierbare videocodierung
US8239766B2 (en) * 2005-09-27 2012-08-07 Qualcomm Incorporated Multimedia coding techniques for transitional effects
US20070092007A1 (en) * 2005-10-24 2007-04-26 Mediatek Inc. Methods and systems for video data processing employing frame/field region predictions in motion estimation
US8498336B2 (en) * 2006-02-02 2013-07-30 Thomson Licensing Method and apparatus for adaptive weight selection for motion compensated prediction
WO2007092192A2 (en) * 2006-02-02 2007-08-16 Thomson Licensing Method and apparatus for motion estimation using combined reference bi-prediction
WO2007091779A1 (en) 2006-02-10 2007-08-16 Lg Electronics Inc. Digital broadcasting receiver and method of processing data
WO2007126196A1 (en) 2006-04-29 2007-11-08 Lg Electronics Inc. Digital broadcasting system and method of processing data
WO2007136166A1 (en) 2006-05-23 2007-11-29 Lg Electronics Inc. Digital broadcasting system and method of processing data
US7873104B2 (en) 2006-10-12 2011-01-18 Lg Electronics Inc. Digital television transmitting system and receiving system and method of processing broadcasting data
WO2008048489A2 (en) * 2006-10-18 2008-04-24 Thomson Licensing Method and apparatus for video coding using prediction data refinement
JP2008219100A (ja) * 2007-02-28 2008-09-18 Oki Electric Ind Co Ltd 予測画像生成装置、方法及びプログラム、並びに、画像符号化装置、方法及びプログラム
KR101285887B1 (ko) 2007-03-26 2013-07-11 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR101253185B1 (ko) 2007-03-26 2013-04-10 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
KR101285888B1 (ko) 2007-03-30 2013-07-11 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
EP2571272B1 (de) * 2007-04-09 2016-05-18 NTT DoCoMo, Inc. Bildkodierung mittels Mustervergleich
WO2009005326A2 (en) 2007-07-04 2009-01-08 Lg Electronics Inc. Digital broadcasting system and method of processing data
US8433973B2 (en) 2007-07-04 2013-04-30 Lg Electronics Inc. Digital broadcasting system and method of processing data
US7982776B2 (en) * 2007-07-13 2011-07-19 Ethicon Endo-Surgery, Inc. SBI motion artifact removal apparatus and method
KR20090012180A (ko) * 2007-07-28 2009-02-02 엘지전자 주식회사 디지털 방송 시스템 및 데이터 처리 방법
US8099654B2 (en) 2007-08-24 2012-01-17 Lg Electronics Inc. Digital broadcasting system and method of processing data in the digital broadcasting system
JPWO2009041215A1 (ja) * 2007-09-25 2011-01-20 シャープ株式会社 動画像符号化装置及び動画像復号装置
US8467451B2 (en) * 2007-11-07 2013-06-18 Industrial Technology Research Institute Methods for selecting a prediction mode
US8320455B2 (en) 2009-03-05 2012-11-27 Qualcomm Incorporated System and method to process motion vectors of video data
US20120230405A1 (en) * 2009-10-28 2012-09-13 Media Tek Singapore Pte. Ltd. Video coding methods and video encoders and decoders with localized weighted prediction
JP2011147049A (ja) * 2010-01-18 2011-07-28 Sony Corp 画像処理装置および方法、並びにプログラム
EP2466580A1 (de) * 2010-12-14 2012-06-20 Fraunhofer-Gesellschaft zur Förderung der Angewandten Forschung e.V. Codierer und Verfahren zur prädiktiven Codierung, Decodierer und Verfahren zur Decodierung, System und Verfahren zur prädiktiven Codierung und Decodierung und prädiktiv codiertes Informationssignal
US8837582B2 (en) 2011-06-22 2014-09-16 Blackberry Limited Compressing image data
US8768082B2 (en) 2011-06-22 2014-07-01 Blackberry Limited Compressing image data
US9083983B2 (en) 2011-10-04 2015-07-14 Qualcomm Incorporated Motion vector predictor candidate clipping removal for video coding
US20140321551A1 (en) * 2011-10-21 2014-10-30 Dolby Laboratories Licensing Corporation Weighted predictions based on motion information
US20140286433A1 (en) * 2011-10-21 2014-09-25 Dolby Laboratories Licensing Corporation Hierarchical motion estimation for video compression and motion analysis
US9769475B2 (en) * 2012-09-28 2017-09-19 Intel Corporation Enhanced reference region utilization for scalable video coding
KR102302504B1 (ko) 2012-09-28 2021-09-15 엘지전자 주식회사 영상 복호화 방법 및 이를 이용하는 장치
CN103024390B (zh) * 2012-12-21 2015-09-09 天津大学 用于视频编码中的运动估计的自适应搜索方法
CN108028927A (zh) * 2015-08-20 2018-05-11 日本放送协会 图像编码装置、图像解码装置、和其程序
US11363253B2 (en) 2016-05-13 2022-06-14 Vid Scale, Inc. Systems and methods for generalized multi-hypothesis prediction for video coding
JP7427688B2 (ja) * 2019-03-06 2024-02-05 シャープ株式会社 ビデオ符号化におけるタイルグループ情報をシグナリングするためのシステム及び方法
CN114450965A (zh) * 2019-09-20 2022-05-06 交互数字Vc控股公司 基于长范围端对端深度学习的视频压缩
US11533498B2 (en) * 2019-11-21 2022-12-20 Tencent America LLC Geometric partitioning mode in video coding

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4985768A (en) * 1989-01-20 1991-01-15 Victor Company Of Japan, Ltd. Inter-frame predictive encoding system with encoded and transmitted prediction error
US5488482A (en) 1992-01-29 1996-01-30 Mitsubishi Denki Kabushiki Kaisha High-efficiency encoder and video information recording/reproducing apparatus
US6104439A (en) * 1992-02-08 2000-08-15 Samsung Electronics Co., Ltd. Method and apparatus for motion estimation
US5436665A (en) 1992-03-03 1995-07-25 Kabushiki Kaisha Toshiba Motion picture coding apparatus
US5592228A (en) 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
JP3468856B2 (ja) 1994-07-28 2003-11-17 株式会社東芝 動きベクトル検出方法及び装置
US5781788A (en) 1995-05-08 1998-07-14 Avc Technology, Inc. Full duplex single clip video codec
JPH09121358A (ja) 1995-10-25 1997-05-06 Matsushita Electric Ind Co Ltd 画像符号化及び復号化装置と方法
US6049362A (en) * 1996-02-14 2000-04-11 International Business Machines Corporation Dual prime motion estimation system and method
JP4034380B2 (ja) 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
US6175592B1 (en) 1997-03-12 2001-01-16 Matsushita Electric Industrial Co., Ltd. Frequency domain filtering for down conversion of a DCT encoded picture
US6151075A (en) 1997-06-11 2000-11-21 Lg Electronics Inc. Device and method for converting frame rate
US6310919B1 (en) * 1998-05-07 2001-10-30 Sarnoff Corporation Method and apparatus for adaptively scaling motion vector information in an information stream decoder

Also Published As

Publication number Publication date
JP2005533464A (ja) 2005-11-04
EP1540824A2 (de) 2005-06-15
AU2003259110A8 (en) 2004-02-02
WO2004008642A2 (en) 2004-01-22
MY137057A (en) 2008-12-31
BRPI0305517B1 (pt) 2018-04-17
BR0305517A (pt) 2004-12-28
CN1669330A (zh) 2005-09-14
EP1540824A4 (de) 2005-08-24
JP4533841B2 (ja) 2010-09-01
TWI234402B (en) 2005-06-11
TW200412799A (en) 2004-07-16
CN100450185C (zh) 2009-01-07
US7376186B2 (en) 2008-05-20
AU2003259110A1 (en) 2004-02-02
MXPA05000672A (es) 2005-03-31
EP1540824B1 (de) 2008-02-20
US20040008782A1 (en) 2004-01-15
ES2301828T3 (es) 2008-07-01
WO2004008642A3 (en) 2004-04-08
DE60319239D1 (de) 2008-04-03

Similar Documents

Publication Publication Date Title
DE60319239T2 (de) Bewegungsschätzung mit gewichteter vorhersage
DE69738262T2 (de) Videokodierungs- und Videodekodierungsvorrichtung
DE60220106T2 (de) Verfahren und Vorrichtung zur Reduzierung von Störungen in dekodierten Bildern mit Nachfilterung
DE69825811T2 (de) Kodiergerät und Kodierverfahren mit Bewegungskompensation für hocheffiziente Videokodierung durch selektive Auswahl von vergangenen Bewegungsvektoren statt Benutzung von Bewegungsvektoren abgeleitet von Bewegungsschätzung
DE69530336T2 (de) Bewegungskompensation für digitale Videosignale mit Zeilensprung
DE69837003T2 (de) Vorrichtung und verfahren zur optimierung der bitratensteurung in einem kodiersystem
DE10300528B4 (de) Berechnungsverfahren für einen Vorhersage-Bewegungsvektor
DE69726508T2 (de) Optimale Disparitätsschätzung zur Kodierung stereoskopischer Videosignale
DE69915277T2 (de) Verfahren und vorrichtung zur reduzierung von breathing-artefakten in komprimierten videodaten
DE60027955T2 (de) Verfahren und Vorrichtung zur kontextbasierten Inter/Intra Kodierungsmodeauswahl
DE10300048B4 (de) Verfahren und Vorrichtung zur Bildcodierung und -decodierung
DE60015566T2 (de) Verfahren und vorrichtung zur komprimierung eines bewegungsvektorfeldes
DE69735756T2 (de) Dynamische steuerung der kodierrate in einem blockbasierten videokodierungssystem
DE60035740T2 (de) Vorrichtung und Verfahren zur Kodierung von Bewegtbildsignalen
DE19704439C2 (de) Verfahren und Vorrichtung zur Bewegungsschätzung in einem digitalen Videocodierer unter Verwendung von Trajektorien
DE69813349T2 (de) Vorrichtung zur Kontrolle der Datenmenge und Kodierer dieselbige anwendend
DE102010046508A1 (de) Verfahren und Vorrichtung, um einen Suchbereich für die Bewegungsabschätzung adaptiv auszuwählen
DE19757630C2 (de) Bewegungsbestimmungsverfahren
DE4442643B4 (de) Verfahren zum Abschätzen der Bewegung in einem Bewegtbild
DE69834901T2 (de) Bewegungskompensierte prädiktive bildcodierung und -decodierung
DE102019103346A1 (de) Ssim-basierte rate-distortion-optimierung für eine verbesserte wahrnehmbare qualität bei videos
EP1025708A1 (de) Verfahren und vorrichtung zur verarbeitung eines digitalisierten bildes
DE60213039T2 (de) MPEG4-Videokodierung mit "skipped macroblock" Mode
DE10296787B4 (de) Selektive Prädikation für ein Intra-Codieren eines Videodatenblocks
EP1941744B1 (de) Verfahren und vorrichtungen zur bestimmung und rekonstruktion eines prädizierten bildbereichs

Legal Events

Date Code Title Description
8364 No opposition during term of opposition