DE69735838T2

DE69735838T2 - Videokodierer mit Transformationskoeffizientenprädiktion

Info

Publication number: DE69735838T2
Application number: DE69735838T
Authority: DE
Inventors: Barin Geoffry Tinton Falls Haskell; Atul Riverdale Puri; Robert Louis Howell Schmidt
Original assignee: AT&T Corp
Current assignee: AT&T Corp
Priority date: 1996-09-20
Filing date: 1997-09-22
Publication date: 2006-12-21
Anticipated expiration: 2017-09-23
Also published as: US20030095604A1; US7092445B2; EP0831660A2; US20070248160A1; DE69735838D1; EP0831660A3; US20070248161A1; EP2285118A1; US7974346B2; US6556625B2; CA2215712A1; EP2285117B1; US6341144B1; CA2215712C; US20070248162A1; EP0831660B1; US7646809B2; US20020044601A1; HK1067006A1; EP2285117A1

Description

VERWANDTE ANMELDUNGEN
Diese Anmeldung beansprucht die Vorteile der Priorität, die von der Provisional US Patentanmeldung Nr. 60/026963, eingereicht am 20. September 1996, und der Provisional US Patentanmeldung Nr. 60/038019, eingereicht am 14. Februar 1997, nun erteilt als US Patent Nr. 6341144, bereitgestellt werden.
HINTERGRUND DER ERFINDUNG
Eine Vielzahl von Protokollen für eine Kommunikation, Speicherung und Wiedergewinnung von Videobildern sind bekannt. Ausnahmslos werden die Protokolle mit einem bestimmten Augenmerk auf die Reduzierung der Signalbandbreite entwickelt. Mit einer Reduzierung der Signalbandbreite sind Speichereinrichtungen in der Lage mehr Bilder zu speichern und Kommunikationssysteme können mehr Bilder bei einer gegebenen Kommunikationsrate senden. Die Reduktion in der Signalbandbreite erhöht die Gesamtkapazität des Systems, das das Signal verwendet.
Jedoch kann eine Bandbreitenreduktion auch mit bestimmten Nachteilen in Verbindung gebracht werden. Z.B. sind bestimmte bekannte Codierungssysteme verlustbehaftet, und zwar dahingehend, dass sie Fehler einführen, die die wahrnehmbare Qualität des decodierten Bilds beeinträchtigen können. Andere können eine signifikante Bandbreitenreduktion für bestimmte Typen von Bildern erreichen, aber irgendeine Bandbreitenreduktion für Andere nicht erzielen. Demzufolge muss die Auswahl von Codierungsverfahren mit Vorsicht berücksichtigt werden. Demzufolge besteht in dem technischen Gebiet ein Bedarf für ein Bildcodierungsverfahren, welches die Signalbandbreite reduziert, ohne wahrnehmbare signifikante Fehler einzuführen.
In dem Artikel von See et al. mit dem Titel "Efficient Encoding of DC Coefficients in Transform Coding of Images using JPEG Scheme", IEEE Symposium on Signal Image and Video Processing, Singapore, June 11–14, 1991, Seiten 404–407 ist ein Codierungsschema (ein Codierungsverfahren) offenbart, bei dem Pixeldaten in 8 × 8 Blöcke organisiert werden, die in Übereinstimmung mit einem diskreten Cosinustransformations-(Discrete Cosine Transform; DCT)-Verfahren als DC und AC Koeffizienten codiert und quantisiert werden. Die quantisierten AC-Koeffizienten sind Lauflängen-codiert. Die DC-Koeffizienten werden in Übereinstimmung mit einer Minimalkanten-Differenzprädiktions-(Minimum Edge Difference Prediction; MED)-Technik vorhergesagt.
In dem Artikel von Ploysongsang et al. mit dem Titel "DCT/DPCM Processing of NTSC Composite Video Signal", IEEE Transaction on Communications, Vol. COM-30, No. 3, Seiten 541–549 ist ein Prädiktionssystem (Vorhersagesystem) offenbart, bei dem irgendeiner von vier benachbarten Blöcken (NW, N, NE, W) als eine Basis für eine Vorhersage (Prädiktion) verwendet werden kann. Von diesen vier Nachbarn wird der Unterblock, dessen erster DCT-Koeffizient am nächsten zu demjenigen des Unterblocks ist, der sich unter einer Prädiktion befindet, so angesehen, dass er die maximale Korrelation aufweist.
Die US-2,905,756 offenbart ein Verfahren und eine Vorrichtung zum Reduzieren der Fernsehbandbreite, bei dem/bei der ein Pixelwert an einem bestimmten Element auf Grundlage von Rohpixelwerten von drei nahe liegenden Elementen vorhergesagt wird.
Die EP-A-0422404 offenbart ein Block-gestütztes Codierungsverfahren mit einer diskreten Cosinustransformation, bei dem die AC-Koeffizienten sowohl unter Verwendung der DC als auch AC-Koeffizienten von einem Block vorhergesagt werden.
ZUSAMMENFASSUNG DER ERFINDUNG
In Übereinstimmung mit einem ersten Aspekt der vorliegenden Erfindung ist ein Verfahren zum Codieren von Videodaten, wie im Anspruch 1 definiert, vorgesehen. Das Verfahren umfasst die folgenden Schritte: Codieren der Videodaten in Übereinstimmung in einer Block-gestützten diskreten Cosinustransformations-Technik; und ist gekennzeichnet dadurch, dass es ferner, für einen gegenwärtigen Block der neuen Transformations-codierten Bilddaten, die folgenden Schritte umfasst: Bestimmen eines horizontalen Gradienten zwischen dem DC-Koeffizienten eines ersten Blocks der Bilddaten vertikal angrenzend zu dem gegenwärtigen Block und dem DC-Koeffizienten eines zweiten Blocks der Bilddaten horizontal angrenzend zu dem ersten Block; Bestimmen eines vertikalen Gradienten zwischen dem DC-Koeffizienten eines dritten Blocks der Bilddaten horizontal angrenzend zu dem gegenwärtigen Block und dem DC-Koeffizienten des zweiten Blocks; Vorhersagen von Bilddaten für den gegenwärtigen Block auf Grundlage der horizontalen und vertikalen Gradienten; und Erzeugen von Restbilddaten für den gegenwärtigen Block aus den vorhergesagten Bilddaten und den Bilddaten des gegenwärtigen Blocks.
In Übereinstimmung mit einem zweiten Aspekt der vorliegenden Erfindung ist ein Verfahren zum Decodieren vorgesehen, wie in dem beigefügten Anspruch 4 beansprucht.
In Übereinstimmung mit einem dritten Aspekt der vorliegenden Erfindung ist ein Bitstrom vorgesehen, der in Übereinstimmung mit einem Verfahren, wie in dem beigefügten Anspruch 7 beansprucht, erzeugt wird.
In Übereinstimmung mit einem vierten Aspekt der Erfindung ist ein Codierer vorgesehen, wie in dem beigefügten Anspruch 8 beansprucht.
In Übereinstimmung mit einem fünften Aspekt der Erfindung ist ein Videodecoder vorgesehen, wie in dem beigefügten Anspruch 9 beansprucht.
In Übereinstimmung mit einem sechsten Aspekt der Erfindung ist ein Verfahren zum Wählen einer Vorhersagerichtung vorgesehen, wie in dem beigefügten Anspruch 10 beansprucht.
In Übereinstimmung mit einem siebten Aspekt der Erfindung ist ein Verfahren zum Wählen einer Vorhersagerichtung vorgesehen, wie in dem beigefügten Anspruch 20 beansprucht.
In Übereinstimmung mit einem achten Aspekt der Erfindung ist ein Verfahren zum Vorhersagen eines Koeffizienten vorgesehen, wie in dem beigefügten Anspruch 21 beansprucht.
KURZBESCHREIBUNG DER ZEICHNUNGEN
In den Zeichnungen zeigen:
1(a) eine schematische Zeichnung eines Codierers in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung;
1(b) eine schematische Zeichnung eines Decoders in Übereinstimmung mit einer Ausführungsform der vorliegenden Erfindung;
2 ein Beispiel von Bilddaten, die von der vorliegenden Erfindung verarbeitet werden;
3 ein Blockdiagramm der Vorhersageschaltung der 1;
4 ein Blockdiagramm der Rekonstruktionsschaltung der 1;
5 ein Flussdiagramm einer Vorhersageschaltung, die in Software implementiert ist;
6 ein Flussdiagramm einer zweiten Ausführungsform einer Vorhersageschaltung, die in Software implementiert ist.
AUSFÜHRLICHE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORMEN
1 zeigt einen Codierer 100, der in Übereinstimmung mit einer ersten Ausführungsform der vorliegenden Erfindung konstruiert ist. Ein analoges Bildsignal wird an dem Codierer 100 angeboten. Das Bildsignal wird durch einen Analog-zu-Digital-("A/D")-Wandler 110 unter Verwendung von Techniken, die in dem technischen Gebiet bekannt sind, abgetastet und in ein digitales Signal umgewandelt. Der A/D-Wandler 110 erzeugt ein digitales Bildsignal für eine Vielzahl von Pixeln des Bilds. Alternativ kann das Bildsignal an dem Codierer als ein digitales Bildsignal dargeboten werden; in diesem Fall wird der A/D-Wandler 110 weggelassen.
Das digitale Bildsignal wird einer Verarbeitungsschaltung 120 eingegeben. Die Verarbeitungsschaltung 120 kann eine Menge Funktionen ausführen. Typischerweise filtert die Verarbeitungsschaltung 120 die Bilddaten und bricht die Bilddaten in eine Luminanzsignalkomponente und zwei Chrominanzsignalkomponenten auf. Zusätzlich gruppiert die Verarbeitungsschaltung 120 Bilddaten in Blöcke von Daten. Wenn das digitale Eingangssignal Information für eine Vielzahl von Pixeln in einer Scanrichtung darstellt, stellt der digitale Ausgang der Verarbeitungsschaltung 120 Blöcke von Pixeln dar, z.B. können Daten in Felder mit 8 Pixeln mal 8 Pixeln von Bilddaten blockweise zusammengefasst werden. Die Verarbeitungsschaltung 120 gibt Bilddaten auf einer Makroblock-Basis aus. Ein Makroblock besteht typischerweise aus vier Blöcken von Luminanzdaten und zwei Blöcken von Chrominanzdaten. Die Verarbeitungsschaltung 120 kann auch zusätzlich noch Funktionen, wie eine Filterung, ausführen, um die individuellen Konstruktionskriterien zu erfüllen.
Der Ausgang der Verarbeitungsschaltung 120 wird einer Transformationsschaltung 130 eingegeben. Die Transformationsschaltung 130 führt eine Transformation der Bilddaten, wie eine diskrete Cosinustransformations-("DCT")-Codierung oder eine Unterband-Codierung aus der Pixeldomäne in eine Domäne von Koeffizienten aus. Ein Block von Pixeln wird auf einen Block von Koeffizienten von äquivalenter Größe transformiert. Die Koeffizienten, die durch die DCT-Codierung ausgegeben werden, umfassen allgemein einen einzelnen DC-Koeffizienten; der Rest sind AC-Koeffizienten, wobei einige von diesen nicht-null sind. In ähnlicher Weise stellen Koeffizienten, die von der Unterband-Codierung (Subband Coding) ausgegeben werden, Bildcharakteristiken bei einer Vielzahl von Frequenzen dar; typischerweise sind viele Koeffizienten aus der Unterband-Codierung sehr klein. Die Transformationsschaltung 130 gibt Blöcke von Koeffizienten aus.
Ein Quantisierer 140 skaliert die Signale, die von der Transformationsschaltung 130 erzeugt werden, in Übereinstimmung mit einem konstanten oder variablen skalaren Wert (Q_p). Der Quantisierer 140 reduziert die Bandbreite des Bildsignals durch Reduzieren einer Anzahl von Quantisierungsebenen, die zum Codieren des Signals verfügbar sind. Der Quantisierungsprozess ist verlustbehaftet. Viele kleine Koeffizienten, die dem Quantisierer 140 eingegeben werden, werden heruntergeteilt und auf null abgeschnitten. Das skalierte Signal wird von dem Quantisierer 140 ausgegeben.
Die Vorhersageschaltung 150 führt eine Gradientenvorhersageanalyse aus, um skalierte DC-Koeffizienten von jedem Block vorherzusagen. Die Vorhersageschaltung 150 kann skalierte AC-Koeffizienten durchlassen oder alternativ AC-Koeffizienten des Blocks vorhersagen. In einem bevorzugten Betriebsmodus wählt die Vorhersageschaltung 140 zwischen Betriebsmoden einer Vorhersage oder einer Durchlassung von AC-Koeffizienten; in diesem Fall erzeugt die Vorhersageschaltung 150 ein AC-Vorhersageflag (eine Vorhersagemarke), um einen Betriebsmodus zu identifizieren. Die Vorhersageschaltung 150 gibt ein DC-Restsignal, AC-Signale (die entweder AC-Koeffizienten oder AC-Reste darstellen) und ein AC-Vorhersageflag aus.
Ein Codierer 160 mit variabler Länge codiert den Ausgang der Vorhersageschaltung 150. Der Codierer mit variabler Länge 160 ist typischerweise ein Huffman-Codierer, der eine Lauflängencodierung für die skalierten Signale ausführt. Ein Bitstrom, der von dem Codierer 160 mit variabler Länge ausgegeben wird, kann übertragen, gespeichert oder für andere Verwendungen, sowie diese in dem technischen Gebiet bekannt sind, abgelegt werden.
In dem Codierer 100 führt die Vorhersageschaltung 150 und der Quantisierer 140 Funktionen aus, die voneinander unabhängig sind. Demzufolge ist deren Betriebsreihenfolge zum größten Teil unerheblich. Obwohl 1 den Ausgang des Quantisierers 140 als einen Eingang an der Vorhersageschaltung 150 darstellt, kann die Reihenfolge der Schaltungen umgedreht werden. Der Ausgang der Vorhersageschaltung 150 kann dem Quantisierer 140 eingegeben werden.
Ein Decoder 200 führt Operationen aus, die den Codierungsbetrieb, der voranstehend beschrieben wurde, rückgängig machen. Ein Decoder 260 mit variabler Länge analysiert den Bitstrom unter Verwendung eines komplementären Prozesses, um ein skaliertes Signal zurückzugewinnen. Wenn ein Huffman-Codierer durch den Codierer 160 verwendet werden würde, würde ein Huffman-Decoder 260 verwendet werden.
Eine Rekonstruktionsschaltung 250 führt die identische Gradientenanalyse aus, die in der Vorhersageschaltung 150 ausgeführt wird. Das DC-Restsignal wird identifiziert und zu einem vorhergesagten Koeffizienten addiert, um einen DC-Koeffizienten zu erhalten. Optional kann die Rekonstruktionsschaltung 250 das AC-Vorhersageflag identifizieren und mit dem Status dieses Flags interpretiert sie die AC-Information als entweder AC-Koeffizienteninformation oder AC-Restinformation. Für den Fall, dass eine AC-Restinformation vorhanden ist, fügt die Rekonstruktionsschaltung 250 die Restsignale zu entsprechenden vorhergesagten Signalen hinzu, um AC-Koeffizienten zu erhalten. Die Rekonstruktionsschaltung 250 gibt Koeffizientensignale aus.
Eine skalare Schaltung 240 multipliziert das zurückgewonnene Signale mit dem gleichen skalaren Wert, der als Basis für die Teilung in dem Quantisierer 140 verwendet wurde. Natürlich werden diejenigen Koeffizienten, die auf null heruntergeteilt wurden, nicht zurückgewonnen.
Eine inverse Transformationsschaltung 230 führt die inverse Transformation aus, die durch die Transformationsschaltung 130 des Codierers 100 angewendet wird. Falls eine DCT-Transformation ausgeführt wird, wird eine inverse DCT-Transformation angewendet. Das gleiche gilt für die Unterband-Codierung. Die Schaltung 230 für die inverse Transformation transformiert die Koeffizienteninformation zurück in die Pixeldomäne.
Eine Verarbeitungsschaltung 220 kombiniert Luminanz- und Chrominanzsignale und kann derartige optionale Merkmale ausführen, so wie sie in der bestimmten Anwendung gewünscht sind. Die Verarbeitungsschaltung 220 gibt digitale Signale von Pixeln aus, die bereit sind, angezeigt zu werden. An diesem Punkt sind die Signale für eine Anzeige auf einem digitalen Monitor angepasst. Wenn für eine Anpassung auf eine bestimmte Anwendung notwendig, können die Signale in einem Digital-zu-Analog-Wandler 210 zur Anzeige auf einer analogen Anzeige umgewandelt werden.
2 zeigt die Struktur von Daten, so wie sie von der Vorhersageschaltung verarbeitet werden. Die Daten, die von der Transformationsschaltung ausgegeben werden, stellen eine Vielzahl von Blöcken dar, die in Makroblöcken organisiert sind. Jeder Makroblock wird typischerweise von vier Blöcken, die Luminanzkomponenten des Makroblocks darstellen, und zwei Blöcken, die Chrominanzkomponenten des Makroblocks darstellen, bevölkert.
Jeder Block stellt Koeffizienten des räumlichen Gebiets dar, von dem der Block geliefert wurde. Wenn eine DCT-Transformation angewendet wird, wird ein DC-Koeffizient von DC_x des Blocks als der Ursprung des Blocks bereitgestellt, und zwar an der oberen linken Ecke. AC-Koeffizienten werden überall in dem Block bereitgestellt, wobei die höchstwertigsten Koeffizienten horizontal auf der Zeile, die von dem DC-Koeffizienten belegt wird, und vertikal auf einer Spalte, die von dem DC-Koeffizienten belegt wird, bereitgestellt werden.
3 zeigt ein ausführliches Blockdiagramm der Vorhersageschaltung 150. Der Quantisierer 140 erzeugt skalierte DC- und AC-Koeffizienten. Der DC-Koeffizient kann skaliert werden (DC = DC/Q_p, typischerweise Q_p = 8) und wird einer DC-Koeffizienten-Vorhersageeinheit 300 eingegeben. Die DC-Koeffizienten-Vorhersageeinheit führt eine Gradientenanalyse aus.
Für irgendeinen Block X hält die DC-Koeffizienten-Vorhersageeinheit 300 in einem Speicher Daten eines Blocks A horizontal angrenzend zu einem Block X, eines Blocks C vertikal angrenzend zu dem Block X und eines Blocks B, d.h., eines Blocks horizontal angrenzend zu dem Block C und vertikal angrenzend zu dem Block A, wie in 2 gezeigt. Die DC-Koeffizienten-Vorhersageeinheit vergleicht einen DC-Koeffizienten des Blocks A (DC_A) mit einem DC-Koeffizienten des Blocks B (DC_B). Die Differenz zwischen den DC-Koeffizienten des Blocks A und des Blocks B ist ein vertikaler Gradient. Die DC-Koeffizienten-Vorhersageeinheit 300 vergleicht auch einen DC-Koeffizienten des Blocks C (DC_C) mit dem DC-Koeffizienten eines Blocks B (DC_B). Die Differenz zwischen den Koeffizienten des Blocks C und des Blocks B ist ein horizontaler Gradient.
Der Block, der zu dem höchsten Gradienten von dem Block B gehört, wird als eine Basis für eine Vorhersage (Prädiktion) verwendet. Wenn der vertikale Gradient größer als der horizontale Gradient ist, wird erwartet, dass der Block A eine hohe Korrelation mit dem Block X aufweisen wird, so dass die DC-Koeffizienten-Vorhersageeinheit 300 eine horizontale Vorhersage verwendet, bei der sie einen Block A als eine Grundlage für eine Vorhersage des Blocks X verwendet. Wenn der horizontale Gradient größer als der vertikale Gradient ist, dann verwendet die DC-Koeffizienten-Vorhersageeinheit 300 eine vertikale Vorhersage, bei der sie den Block C als eine Basis für eine Vorhersage des Blocks X verwendet. Die DC-Koeffizienten-Vorhersageeinheit 300 gibt den DC-Koeffizienten des Blocks, der für eine Vorhersage (DC_A oder DC_C) verwendet wird, an einen Subtrahierer 310 aus. Die DC-Koeffizienten-Vorhersageeinheit 300 erzeugt auch ein horizontal/vertikal Signal 320, welches anzeigt, ob eine horizontale Vorhersage oder vertikale Vorhersage ausgeführt wird.
Der Subtrahierer 310 subtrahiert den DC-Koeffizienten, der von der DC-Koeffizienten-Vorhersageeinheit 300 erzeugt wird, von dem DC-Koeffizienten des Blocks X, um ein DC-Restsignal für den Block X zu erhalten. Der DC-Rest kann von der Vorhersageschaltung 150 an den Codierer 160 mit variabler Länge ausgegeben werden.
Der voranstehend beschriebene Prozess wird zur Vorhersage von Koeffizienten von Blöcken im Inneren des Bilds, welches codiert werden soll, verwendet. Wenn jedoch Koeffizienten an dem Start einer neuen Zeile einer Videoobjektebene vorhergesagt werden, ist der frühere Block für eine Vorhersage der letzte Block der Zeile darüber unter dem normalen Prozess. Typischerweise besteht zwischen diesen Blöcken eine geringe Korrelation.
Es sei angenommen, dass der Block Y in 2 an der Startkante einer Videoobjektebene ist. Kein Block ist angrenzend zu dem Block Y in der Scanrichtung. Obwohl Bilddaten eines abschließenden Blocks in der Zeile darüber für eine Verwendung als der "horizontal angrenzende" Block verfügbar ist, wird er für eine Vorhersage nicht verwendet. Anstelle davon setzt die DC-Koeffizienten-Vorhersageeinheit 300 künstlich die DC-Koeffizientenwerte für einen horizontal angrenzenden Block über dem horizontal angrenzenden Block auf ein Signal mit halber Stärke. Wenn die DC-Koeffizienten durch ein 8 Bit Wort dargestellt werden, wird der DC-Koeffizient von diesen Geisterblöcken auf 128 gesetzt. Die DC-Koeffizienten-Vorhersageeinheit 300 führt dann eine Gradientenvorhersage in Übereinstimmung mit dem voranstehend beschriebenen Prozess aus.
Wie voranstehend angegeben, kann die Vorhersageschaltung 150 AC-Koeffizienten ohne eine Vorhersage durchlassen. In einer bevorzugten Ausführungsform verwendet die Vorhersageschaltung 150 jedoch die Gradientenanalyse, um AC-Koeffizienten vorherzusagen.
Wenn die Vorhersageschaltung 150 AC-Koeffizienten vorhersagt, können unter Umständen nur einige der AC-Koeffizienten eine hohe Korrelation zwischen Blöcken aufzeigen. Für den Fall einer DCT-Transformationscodierung und einer horizontalen Vorhersage sind die einzigen AC-Koeffizienten, die wahrscheinlich eine ausreichend hohe Korrelation aufzeigen, um für eine Vorhersageanalyse geeignet zu sein, diejenigen in der gleichen Spalte wie der DC-Koeffizient (schattiert in dem Block A). Demzufolge erzeugt eine AC-Koeffizienten-Vorhersageeinheit 330, für jeden AC-Koeffizienten des Blocks X in der gleichen Spalte wie der DC-Koeffizient (AC_x (0, 1) bis AC_x (0, n)) eine Vorhersage in Übereinstimmung mit dem gemeinsam angeordneten AC-Koeffizienten von dem Block A (AC_A (0, 1) bis AC_A (0, n)). Der vorhergesagte AC-Koeffizient wird von dem tatsächlichen AC-Koeffizienten des Blocks X an einem Subtrahierer 340 subtrahiert, um ein AC-Vorhersagerestsignal zu ermitteln.
Für den Fall der DCT-Transformationscodierung und einer vertikalen Voraussetzung sind die einzigen AC-Koeffizienten, die wahrscheinlich eine ausreichend hohe Korrelation aufzeigen, um für eine Vorhersageanalyse geeignet zu sein, diejenigen in der gleichen Zeile wie der DC-Koeffizient (in Block C schattiert). Für jeden AC-Koeffizienten des Blocks X in der gleichen Zeile wie der DC-Koeffizient (AC_X (1, 0) bis AC_X (n, 0)) erzeugt die AC-Koeffizienten-Vorhersageeinheit 330 eine Vorhersage in Übereinstimmung mit dem AC-Koeffizienten des Blocks C (AC_C (1, 0) bis AC_C (n, 0)). Der vorhergesagte AC-Koeffizient wird von dem tatsächlichen AC-Koeffizienten des Blocks X an dem Subtrahierer 340 subtrahiert, um ein AC-Vorhersagerestsignal zu erhalten. Die AC-Koeffizienten-Vorhersageeinheit wird zwischen einem horizontalen Vorhersagemodus und einem vertikalen Vorhersagemodus durch das horizontal/vertikal Signal 320 umgeschaltet. Eine Gradientenvorhersage von anderen AC-Koeffizienten als denjenigen, die voranstehend beschrieben wurden, muss nicht ausgeführt werden.
Während einer Korrelation der AC-Koeffizienten zwischen Blöcken auftreten kann, tritt dies nicht immer auf. Demzufolge führt eine Vorhersage von AC-Koeffizienten nicht immer zu Bandbreiten-Effizienzen. In einer bevorzugten Ausführungsform erlaubt die Vorhersageschaltung 140 demzufolge eine Auswahl von Betriebsmoden zwischen einem Modus, bei dem eine AC-Koeffizientenvorhersage ausgeführt wird, und einem zweiten Modus, bei dem eine AC-Koeffizientenvorhersage nicht ausgeführt wird. In diesem letzteren Fall gehen AC-Koeffizienten von der Transformationsschaltung durch die Vorhersageschaltung ohne Änderung.
Sobald die Reste bekannt sind, vergleicht ein AC-Vorhersageanalysator 350 die Bandbreite, die durch Senden der AC-Restsignale des Makroblocks verbraucht werden würde, mit der Bandbreite, die durch Senden der AC-Koeffizienten des Makroblocks ohne eine Vorhersage verbraucht werden würde. Der Vorhersageanalysator 350 wählt den Übertragungsmodus, der eine relativ geringe Bandbreite verwendet. Der Vorhersageanalysator 350 erzeugt ein AC-Vorhersageflagsignal 360, um seine Auswahl anzuzeigen.
Eine Vorhersage wird auf Grundlage von Blöcken "gleicher Art" ausgeführt. Wenn Blöcke für eine Vorhersage eines Blocks von Luminanzdaten identifiziert werden, werden nur angrenzende Blöcke von Luminanzdaten betrachtet. Irgendwelche dazwischenliegende Blöcke von Chrominanzdaten werden für Vorhersagezwecke ignoriert. Wenn Koeffizienten der Chrominanzblöcke vorhergesagt werden, werden für eine Vorhersage nur Chrominanzsignale der gleichen Art betrachtet. Wenn Daten für einen Block von C_r-Daten vorhergesagt werden, einem Typ von Chrominanzsignal, werden angrenzende Blöcke von C_r-Daten berücksichtigt, aber dazwischenliegende Blöcke von Luminanzdaten und Daten des Chrominanzsignals C_b eines zweiten Typs werden ignoriert. In ähnlicher Weise, wenn Daten für einen Block von C_b-Daten vorhergesagt werden, einem zweiten Typ von Chrominanzsignal, werden angrenzende Blöcke von C_b-Daten berücksichtigt, aber dazwischenliegende Blöcke von Luminanz- und C_a-Daten werden ignoriert.
Die Vorhersageschaltung 150 kann ein DC-Restsignal ausgeben, wobei Signale entweder AC-Koeffizienten oder AC-Reste und ein AC-Vorhersageflagsignal darstellen.
Ein inverser Vorhersagebetrieb wird in der Rekonstruktionsschaltung 250 ausgeführt, die in 4 gezeigt ist. Für jeden Block X hält eine DC-Koeffizienten-Vorhersageeinheit 400 in einem Speicher Daten eines angrenzenden Blocks A vor den Block X, Daten eines angrenzenden Blocks C über den Block X und Daten eines Blocks B vor dem Block C, der Block über dem Block X. Die DC-Koeffizienten-Vorhersageeinheit 400 vergleicht einen DC-Koeffizienten eines Blocks A mit einem DC-Koeffizienten eines Blocks B, um den vertikalen Gradienten zu bestimmen. Ferner vergleicht die DC-Koeffizienten-Vorhersageeinheit 400 einen DC-Koeffizienten des Blocks C mit dem DC-Koeffizienten des Blocks B, um den horizontalen Gradienten zu bestimmen. Wenn der horizontale Gradient größer als der vertikale Gradient ist, erzeugt die DC-Koeffizienten-Vorhersageeinheit 400 den DC-Koeffizienten des Blocks C als eine Basis zur Vorhersage. Ansonsten erzeugt die DC-Koeffizienten-Vorhersageeinheit 400 den DC-Koeffizienten des Blocks A. Die DC-Koeffizienten-Vorhersageeinheit 400 erzeugt auch ein horizontal/vertikal Signal 420, welches identifiziert, ob eine horizontale oder vertikale Vorhersage verwendet wird.
Die Rekonstruktionsschaltung 250 identifiziert das DC-Restsignal aus dem eingegebenen Bitstrom. Ein Addierer 410 addiert den DC-Rest zu dem DC-Koeffizienten, der von der DC-Koeffizienten-Vorhersageeinheit 400 erzeugt wird. Der Addierer 410 gibt den DC-Koeffizienten des Blocks X aus.
In einer bevorzugten Ausführungsform identifiziert die Rekonstruktionsschaltung 250 das AC-Vorhersageflag 360 aus dem eingegebenen Bitstrom. Wenn das AC-Vorhersageflag 360 anzeigt, dass eine AC-Vorhersage verwendet wurde, dann identifiziert die Rekonstruktionsschaltung die AC-Restsignale von dem eingegebenen Bitstrom und rückt eine AC-Koeffizienten-Vorhersageeinheit 430 ein. Ein horizontal/vertikal Abstand Signal 420 von der DC-Koeffizienten-Vorhersageeinheit identifiziert, ob ein Block A oder ein Block C als eine Basis für eine Vorhersage verwendet wird. Im Ansprechen darauf erzeugt die AC-Koeffizienten-Vorhersageeinheit 430 Signale, die den AC-Koeffizienten des Blocks A oder des Blocks C entsprechen, in der gleichen Weise, wie die AC-Koeffizienten-Vorhersageeinheit 330 der Vorhersageeinheit 140. Ein Addierer 440 addiert vorhergesagte AC-Koeffizienten zu entsprechenden Resten und gibt die rekonstruierten AC-Koeffizienten aus.
Wenn das AC-Vorhersageflag anzeigt, dass eine AC-Vorhersage nicht verwendet wurde, identifiziert die Rekonstruktionsschaltung 250 die AC-Koeffizientensignale aus dem Bitstrom. Keine arithmetischen Betriebsvorgänge sind erforderlich, um die AC-Koeffizienten zu rekonstruieren.
Eine Verbesserung der AC-Vorhersage kann in einer bevorzugten Ausführungsform dadurch erreicht werden, dass ein Beitrag von einigen der wahrnehmbaren signifikanten AC-Koeffizienten aus dem Block der Vorhersage an den DC-Koeffizienten des Blocks X hervorgerufen wird. Wenn z.B. ein Block A als eine Basis der Vorhersage verwendet wird, kann der vorhergesagte DC-Koeffizient des Blocks X folgendermaßen gesetzt werden: DCX = DCA + (4Qp/3)·(AC02A – AC01A/4)worin Q_p der Skalierungsfaktor der Größen ist und AC_02A und AC_01A AC-Koeffizienten des Blocks A sind, die durch eine DCT-Transformation erzeugt werden.
In ähnlicher Weise, wenn der Block C als eine Basis für die Vorhersage verwendet wird, kann der vorhergesagte DC-Koeffizient des Blocks X folgendermaßen gesetzt werden: DCX = DCC + (4Qp/3)·(AC20C – AC10C/4)wobei Q_p der Skalierungsfaktor der Größen ist und AC_20C und AC_10C AC-Koeffizienten des Blocks C sind, die durch eine DCT-Transformation erzeugt werden.
Der Vorhersage- und Rekonstruktionsprozess, der hier beschrieben wird, wird als ein "implizites" Verfahren bezeichnet, weil keine Zusatzsignale (Overhead-Signale) benötigt werden, um zu identifizieren, welche der Blöcke für eine Vorhersage verwendet werden. In Betrieb sind Koeffizientenwerte der Blöcke A, B und C sowohl an dem Codierer 100 als auch dem Decodierer 200 bekannt. Somit kann der Decoder 200 den Vorhersagebetrieb des Codierers 100 ohne eine zusätzliche Signalisierung rekonstruieren. In einer Ausführungsform, bei der die Vorhersageschaltung zwischen Moden einer AC-Vorhersage nicht gewählt hat, ist die AC-Vorhersage und eine Rekonstruktion rein implizit. Mit der Hinzufügung eines AC-Vorhersageflags in einer zweiten Ausführungsform ist der Vorhersageprozess nicht mehr rein implizit.
Der Codierungs/Decodierungs-Betrieb der Vorhersage- und Rekonstruktionsschaltung kann auch durch einen programmierten Mikroprozessor oder einen Digitalsignalprozessor in Software ausgeführt werden.
5 zeigt den Betrieb der Vorhersageschaltung, die in Software implementiert ist. Der Prozessor vergleicht den DC-Koeffizienten des Blocks A mit dem DC-Koeffizienten des Blocks B, um den vertikalen Gradienten zu bestimmen (Schritt 1000). Der Prozessor vergleicht auch den DC-Koeffizienten des Blocks C mit dem DC-Koeffizienten des Blocks B, um den horizontalen Gradienten zu bestimmen (Schritt 1010).
Der Prozessor bestimmt, ob der vertikale Gradient größer als der horizontale Gradient ist (Schritt 1020). Wenn dem so ist, definiert der Prozessor, dass der DC-Rest des Blocks X der tatsächliche DC-Koeffizient des Blocks X weniger des DC-Koeffizienten des Blocks A ist (Schritt 1030). Wenn dem nicht so ist, definiert der Prozessor, dass der DC-Rest des Blocks X der tatsächliche DC-Koeffizient des Blocks X weniger des DC-Koeffizienten des Blocks C ist (Schritt 1040).
Für den Fall, dass der Prozessor auch eine AC-Vorhersage ausführt, arbeitet der Prozessor, wie in 6 gezeigt. Die Schritte 1000–1040 treten wie voranstehend in Bezug auf 5 diskutiert auf. Wenn der vertikale Gradient größer als der horizontale Gradient ist, dann werden die AC-Koeffizienten von dem Block A, die in der gleichen Spalte wie der DC-Koeffizient sind, als eine Basis für eine Vorhersage der entsprechenden AC-Koeffizienten des Blocks X verwendet. Demzufolge berechnet der Prozessor für jeden derartigen AC-Koeffizienten AC_X (0, 1) bis AC_X (0, n), Block X, einen AC-Rest, der auf dem tatsächlichen AC-Koeffizienten in dem Block X weniger des entsprechenden AC-Koeffizienten in dem Block A (AC_A (0, 1) bis AC_A (0, n)) gesetzt ist (Schritt 1035).
Wenn der Block C als eine Basis für die Vorhersage verwendet wird, können die AC-Koeffizienten in der gleichen Zeile der AC-Koeffizienten eine Korrelation zwischen Blöcken aufzeigen. Demzufolge berechnet der Prozessor für jeden AC-Koeffizienten AC (i) in der Zeile des Blocks C einen Rest (i), der auf den tatsächlichen AC-Koeffizienten in dem Block X weniger des entsprechenden AC-Koeffizienten in dem Block C gesetzt ist (Schritt 1045).
Der Prozessor bestimmt auch, ob Bandbreiteneinsparungen erzielt werden, indem die AC-Koeffizienten vorhergesagt werden. Sobald die gesamte Vorhersage für einen Makroblock durchgeführt ist, bestimmt der Prozessor, ob eine geringere Bandbreite von den codierten Koeffizienten oder den Resten belegt wird (Schritt 1050). Wenn die Reste eine geringere Bandbreite belegen, gibt der Prozessor die Reste aus (Schritt 1060). Ansonsten gibt der Prozessor die Koeffizienten aus (Schritt 1070).
Zusätzliche Bandbreiten-Effizienzen werden in einer bevorzugten Ausführungsform dadurch erhalten, dass eine Scanrichtung des Codierers 160 mit variabler Länge an die Gradientenvorhersage gebunden wird. Der Codierer scannt Blöcke von Koeffizienten, um Laufebenen-Ereignisse zu erzeugen, die VLC codiert sind. In natürlichen Bildern existiert jedoch oft eine vorherrschende bevorzugte Scanrichtung.
Die vorliegende Erfindung verwendet die Gradientenvorhersageanalyse, um eine von drei Scanrichtungen zum Ausführen einer Lauflängencodierung zu wählen.
Die erste der Scanrichtungen ist ein alternierender horizontaler Scan, der in der obigen Tabelle 1 gezeigt ist. Die alternierende horizontale Suche wird ausgeführt, wenn die bevorzugte Scanrichtung in der horizontalen Richtung ist. Der Scan beginnt von dem Ursprung, der Position des DC-Rests des Blocks. Aus dem Ursprung geht der Scan durch drei Positionen in einer horizontalen Richtung (0–3). Von der vierten Position springt der Scan herunter auf die erste Position der zweiten Zeile. Von der ersten Position der zweiten Zeile durchquert der Scan drei Positionen in der horizontalen Richtung. Der Scan springt dann zurück an die erste Zeile des Blocks und durchquert den Rest der Zeile. An dem Ende der ersten Zeile springt der Scan auf die dritte Zeile.
Der alternierende horizontale Scan durchquert die nächsten fünf Durchläufe (Zeilen 3–8) in einer identischen Weise. Aus der ersten Position in der i-ten Zeile durchquert der Scan drei Positionen in einer horizontalen Scanrichtung. Der Scan springt dann zu der (i–1) Zeile und scannt von der fünften Position bis zu dem Ende der Zeile. An dem Abschluss des fünften Durchlaufs springt der Scan an die fünfte Position der achten Zeile und geht zu dem Ende dieser Zeile.
Die zweite der Scanrichtungen ist ein alternierender vertikaler Scan, der in Tabelle 2 gezeigt ist. Die alternierende vertikale Suche wird verwendet, wenn die bevorzugte Richtung des Scans in der vertikalen Richtung ist. Der alternierende vertikale Scan ist ein komplementärer Prozess zu dem alternierenden horizontalen Scan.
Von dem Ursprung durchquert der Scan drei Positionen in einer vertikalen Richtung (0–3). Von der vierten Position springt der Scan an die erste Position der zweiten Spalte. Von der ersten Position der zweiten Spalte durchquert der Scan drei Positionen in der vertikalen Richtung. Der Scan springt dann zurück an die erste Spalte des Blocks und durchquert den Rest der Spalte. An dem Abschluss der ersten Spalte springt der Scan zu der dritten Zeile.
Der alternierende vertikale Scan durchquert die nächsten fünf Durchläufe (Spalten 3–8) in einer identischen Weise. Von der ersten Position in der i-ten Zeile durchquert der Scan drei Positionen in der vertikalen Scanrichtung. Der Scan springt dann an die (i–1) Spalte und scannt von der fünften Position zu dem Ende der Spalte. An dem Abschluss des fünften Durchlaufs springt der Scan an die fünfte Position der achten Spalte und läuft an das Ende der Spalte.
Die dritte Scanrichtung ist ein traditioneller Zig-Zag Scan, der in dem technischen Gebiet alt bekannt ist.
Der Codierer 160 mit variabler Länge wählt einen Scan-Typ in Übereinstimmung mit dem Typ der AC-Vorhersage, die ausgeführt wird. Wenn das AC-Vorhersageflag 360 anzeigt, dass keine AC-Vorhersage ausgeführt wird, dann führt der Codierer 160 mit variabler Länge den traditionellen Zig-Zag Scan aus. Wenn das AC-Vorhersageflag anzeigt, dass eine AC-Vorhersage ausgeführt wird, dann betrachtet der Codierer 160 mit variabler Länge das horizontal/vertikal Signal 320, um zu bestimmen, ob eine horizontale Vorhersage oder vertikale Vorhersage verwendet wird. Für den Fall einer horizontalen Vorhersage wird der vertikale-diagonale Scan verwendet. Wenn eine vertikale Vorhersage verwendet wird, dann verwendet der Codierer 160 mit variabler Länge einen horizontalen-diagonalen Scan.
Keine zusätzliche Spanne (Overhead) wird benötigt, um die Richtung des Scans zu bestimmen. Der Decoder 260 mit variabler Länge bestimmt die Richtung des Scans. Das AC-Vorhersageflag 360 und das horizontal/vertikal Signal 420 werden von der Rekonstruktionsschaltung 250 ausgegeben. Wenn das AC-Vorhersageflag 360 anzeigt, dass eine AC-Vorhersage nicht ausgeführt wurde, dann setzt der Decoder 260 mit variabler Länge Koeffizienten in Übereinstimmung mit einem Zig-Zag-Muster zusammen. Wenn das AC-Vorhersageflag 360 anzeigt, dass eine AC-Vorhersage ausgeführt wurde, dann setzt der Decoder 260 mit variabler Länge Reste auf Grundlage der Gradientenvorhersage zusammen. Reste werden in Übereinstimmung mit dem vertikalen-diagonalen Scan für den Fall einer horizontalen Vorhersage oder durch den horizontalen-diagonalen Scan für den Fall einer vertikalen Vorhersage zusammengesetzt.
In einer anderen Ausführungsform kann der Verlauf der alternierenden horizontalen und alternierenden vertikalen Scans so vorgenommen werden, wie jeweils in den folgenden Tabellen 3 und 4 gezeigt:
In einer weiteren Ausführungsform kann der Verlauf der alternierenden horizontalen und alternierenden vertikalen Scans so vorgenommen werden, wie jeweils in den Tabellen 5 und 6 nachstehend gezeigt:
Der alternierende horizontale Scan der Tabelle 5 beginnt an einem Ursprung, der Position des DC-Restes des Blocks (Position 0). Von dem Ursprung geht der Scan drei Plätze weiter in der horizontalen Richtung (Positionen 0 bis 3). Der Scan springt an die Position der zweiten Spalte, unter dem Ursprung (Position 4). Von der Position 4 geht der alternierende horizontale Scan einen Schritt in der horizontalen Richtung (Position 5) weiter und springt dann an die erste Position der dritten Zeile (Position 6). Der Scan geht weiter eine Position in der horizontalen Richtung (Position 7), kehrt an die zweite Zeile an der dritten Position (Position 8) zurück und geht über die Zeile eine Position (Position 9).
Von der Position 9 kehrt der alternierende horizontale Scan an die erste Zeile an der fünften Position (Position 10) zurück. Der Scan schreitet darüber zu dem Ende der ersten Zeile (Positionen 11 bis 13). Der Scan kehrt an die zweite Zeile an das Ende der Zeile (Position 14) zurück und scannt horizontal über die Zeile in Richtung auf das Innere hin, bis die zweite Zeile abgeschlossen ist (Positionen 15 bis 17). Von der Position 17 kehrt der alternierende horizontale Scan an die dritte Zeile an der vierten Position (Position 18) zurück, schreitet einen Schritt horizontal weiter in Richtung auf den Ursprung (Position 19) und springt an die erste Position der vierten Zeile (Position 20).
Von der ersten Position in der vierten Zeile schreitet der alternierende horizontale Scan horizontal eine Position (Position 21) weiter, springt dann an die erste Position der fünften Zeile (Position 22) und schreitet horizontal wieder um eine Position (Position 23) weiter. Der Scan kehrt an die vierte Zeile an der dritten Position (Position 24) zurück, scannt über einen Schritt (Position 25) und kehrt dann an die dritte Zeile an der fünften Position (Position 26) zurück. Der Scan schreitet horizontal über die dritte Zeile weiter, um die Zeile zu vervollständigen (Positionen 27 bis 29).
Von dem Ende der dritten Zeile kehrt der alternierende horizontale Scan an die vierte Zeile an der fünften Position (Position 30) zurück. Der Scan schreitet horizontal über die vierte Zeile, um die Zeile zu vervollständigen (Positionen 31 bis 33).
Von dem Ende der vierten Zeile kehrt der alternierende horizontale Scan an die fünfte Zeile an die dritte Position (Position 34) zurück. Der Scan schreitet um eine Position in der horizontalen Richtung (Position 35) weiter und springt dann an die erste Position der sechsten Zeile (Position 36). Der Scan schreitet über eine Position (Position 37) weiter und springt dann an die erste Position der siebten Zeile (Position 38). Der alternierende horizontale Scan schreitet weiter über eine Position (Schritt 39) und kehrt dann an die sechste Zeile an der dritten Position (Position 40) zurück. Der Scan schreitet um eine Position quer (Position 41) weiter und kehrt dann an die fünfte Zeile an die fünfte Position (Position 42) zurück. Der alternierende horizontale Scan schreitet horizontal über die fünfte Zeile voran, um die Zeile zu vervollständigen (Position 43 bis 45).
Von dem Ende der fünften Zeile kehrt der alternierende horizontale Scan an die sechste Zeile an der fünften Position (Position 46) zurück und schreitet horizontal fort, um die Zeile zu vervollständigen (Position 47 bis 49).
Von dem Ende der sechsten Zeile kehrt der alternierende horizontale Scan an die dritte Position der siebten Zeile (Position 50) zurück. Der Scan schreitet horizontal um eine Position (Position 51) weiter und springt dann an die erste Position der achten Zeile (Position 52). Der Scan schreitet horizontal um drei Positionen weiter (Positionen 53 bis 55) und kehrt dann an die siebte Zeile an der fünften Position (Position 56) zurück. Der alternierende horizontale Scan schreitet horizontal quer voran, um die Zeile (Position 57 bis 59) zu vervollständigen. Von dem Ende der siebten Zeile springt der Scan an die fünfte Position der achten Zeile (Position 60) und schreitet horizontal weiter, um die Zeile zu vervollständigen (Positionen 61 bis 63).
Der alternierende vertikale Scan der Tabelle 6 beginnt an einem Ursprung, der Position des DC-Rests des Blocks (Position 0). Von dem Ursprung schreitet der Scan um drei Stellen in der vertikalen Richtung (Positionen 0 bis 3) fort. Der Scan springt an die erste Position der zweiten Spalte, quer von dem Ursprung (Position 4). Von der Position 4 schreitet der alternierende vertikale Scan um einen Schritt weiter in der vertikalen Richtung (Position 5) und springt dann an die erste Position der dritten Spalte (Position 6). Der Scan schreitet um eine Position in der vertikalen Richtung weiter (Position 7), kehrt dann an die zweite Spalte an die dritte Position (Position 8) zurück und schreitet weiter um eine Position in der vertikalen Richtung (Position 9).
Von der Position 9 kehrt der alternierende vertikale Scan an die erste Spalte an die fünfte Position (Position 5) zurück. Der Scan schreitet durch das Ende der ersten Spalte (Positionen 11 bis 13) weiter. Der Scan kehrt an die zweite Spalte an das Ende der Spalte (Position 14) zurück und scannt vertikal durch die Spalte in Richtung auf das Innere der Spalte hin, bis die zweite Spalte vervollständigt ist (Positionen 15 bis 17). Von der Position 17 kehrt der alternierende vertikale Scan an die dritte Spalte an die vierte Position (Position 18) zurück, scannt einen Schritt vertikal in Richtung auf das obere Ende der Spalte (Position 19) hin und springt an die erste Position der vierten Spalte (Position 20).
Von der ersten Position der vierten Spalte schreitet der alternierende vertikale Scan vertikal um eine Position (Position 21) weiter, springt dann an die erste Position in der fünften Spalte (Position 22) und schreitet vertikal wieder um eine Position (Position 23) weiter. Der Scan kehrt an die vierte Spalte an die dritte Position (Position 24) zurück, scannt um einen Schritt in der vertikalen Richtung (Position 25),und kehrt dann an die dritte Spalte an die fünfte Position (Position 26) zurück. Der Scan schreitet vertikal durch die dritte Spalte, um die Spalte zu vervollständigen (Schritte 27 bis 29).
Von dem Ende der dritten Spalte kehrt der alternierende vertikale Scan an die vierte Spalte an die fünfte Position (Position 30) zurück. Der Scan schreitet vertikal durch die vierte Spalte weiter, um die Spalte zu vervollständigen (Positionen 31 bis 33).
Von dem Ende der vierten Spalte kehrt der alternierende vertikale Scan an die fünfte Spalte an der dritten Position (Position 34) zurück. Der Scan schreitet weiter um eine Position in der vertikalen Richtung (Position 35) und springt dann an die erste Position der sechsten Spalte (Position 36). Der Scan schreitet weiter um eine Position vertikal (Position 37) und springt dann an die erste Position der siebten Spalte (Position 38). Der alternierende vertikale Scan schreitet um eine Position vertikal (Position 39) weiter und kehrt dann an die sechste Spalte an die dritte Position (Position 40) zurück. Der Scan schreitet um eine Position vertikal (Position 41) weiter und kehrt dann an die fünfte Position der fünften Spalte (Position 42) zurück und schreitet vertikal weiter über die fünfte Spalte, um die Spalte abzuschließen (Positionen 43 bis 45).
Von dem Ende der fünften Spalte kehrt der alternierende vertikale Scan an die fünfte Position der sechsten Spalte (Position 46) zurück und schreitet weiter vertikal über die sechste Spalte, um die Spalte abzuschließen (Positionen 47 bis 49).
Von dem Ende der sechsten Spalte kehrt der alternierende vertikale Scan an die dritte Position der siebten Spalte zurück (Position 50). Der Scan schreitet vertikal um eine Position (Position 51) weiter und springt dann an die erste Position der achten Spalte (Position 52). Der Scan schreitet vertikal um drei Positionen (Positionen 53 bis 55) weiter und kehrt dann an die fünfte Position der siebten Spalte (Position 56) zurück. Der Scan schreitet vertikal durch die siebte Spalte weiter, um die Spalte (Position 57 bis 59) zu vervollständigen. Von dem Ende der siebten Spalte springt der alternierende vertikale Scan an die fünfte Position der achten Spalte (Position 60) und schreitet vertikal weiter durch die achte Spalte, um die Spalte zu vervollständigen (Positionen 61 bis 63).
In Übereinstimmung mit der vorliegenden Erfindung kann eine Videocodierung von Koeffizientendaten durch ein implizites Gradientenvorhersageverfahren und durch eine Scan-Technik, die Ergebnisse ausnutzt, die durch das Gradientenvorhersageverfahren ermittelt werden, effizienter gemacht werden. Zur Zeit der Niederlegung wird das Codierungsschema der vorliegenden Erfindung in das MPEG-4 Video-Verifikations-Modell (MPEG-4 Video Verification Model) übernommen und wird gerade für den MPEG-4 Videostandard berücksichtigt.

Claims

Verfahren zum Codieren von Videodaten, umfassend die folgenden Schritte: Codieren der Videodaten in Übereinstimmung mit einer blockgestützten diskreten Kosinustransformations-Technik; dadurch gekennzeichnet, dass es ferner für einen gegenwärtigen Block (X) der neuen Transformations-codierten Bilddaten die folgenden Schritte umfasst: Bestimmen (1010) eines horizontalen Gradienten zwischen dem DC-Koeffizienten (DC_C) eines ersten Blocks (C) der Bilddaten vertikal angrenzend zu dem gegenwärtigen Block (X) und dem DC-Koeffizienten (DC_B) eines zweiten Blocks (B) der Bilddaten horizontal angrenzend zu dem ersten Block (C); Bestimmen (1000) eines vertikalen Gradienten zwischen dem DC-Koeffizienten (DC_A) eines dritten Blocks (A) der Bilddaten horizontal angrenzend zu dem gegenwärtigen Block (X) und dem DC-Koeffizienten (DC_B) des zweiten Blocks (B); Vorhersagen (1020, 1030, 1040) von Bilddaten für den gegenwärtigen Block auf Grundlage der horizontalen und vertikalen Gradienten; und Erzeugen (1030, 1040) von Restbilddaten für den gegenwärtigen Block (X) aus den vorhergesagten Bilddaten und den Bilddaten des gegenwärtigen Blocks.
Verfahren zum Codieren von Videodaten nach Anspruch 1, wobei der Vorhersageschritt ferner die folgenden Schritte umfasst: für den Fall (1020), dass der vertikale Gradient kleiner als der horizontale Gradient ist, Vorhersagen (1040) der Bilddaten für den gegenwärtigen Block (X) auf Grundlage der Bilddaten des ersten Blocks (C); und für den Fall (1020), dass der horizontale Gradient kleiner als der vertikale Gradient ist, Vorhersagen (1030) der Bilddaten für den gegenwärtigen Block (X) auf Grundlage der Bilddaten des dritten Blocks (A).
Verfahren nach Anspruch 1 oder 2, wobei die Bilddaten des ersten, zweiten und dritten Blocks (C, B, A) und die neuen Bilddaten des gegenwärtigen Blocks (X) jeweils ferner eine Vielzahl von AC-Koeffizienten (AC_C, AC_B, AC_A, AC_X) der diskreten Kosinustransformation umfasst, und der Vorhersageschritt ferner einen Schritt (1035, 1045) zum Vorhersagen von AC-Koeffizienten des gegenwärtigen Blocks (X) auf Grundlage der horizontalen und der vertikalen Gradienten umfasst; und der Erzeugungsschritt einen Schritt (1035, 1045) zum Erzeugen, für jeden AC-vorhergesagten Koeffizienten, eines AC-Restsignals auf Grundlage des vorhergesagten AC-Koeffizienten und des tatsächlichen AC-Koeffizienten des gegenwärtigen Blocks (X) einschließt.
Verfahren zum Decodieren von codierten Signalen eines gegenwärtigen Blocks (X) von neuen Bilddaten, umfassend den folgenden Schritt: Identifizieren eines ersten Blocks (C) von decodierten Bilddaten vertikal angrenzend zu einem gegenwärtigen Block (X) von neuen Bilddaten, eines zweiten Blocks (B) von decodierten Bilddaten horizontal angrenzend zu dem ersten Block (C) und eines dritten Blocks (A) von decodierten Bilddaten horizontal angrenzend zu dem gegenwärtigen Block (X), und vertikal angrenzend zu dem zweiten Block (B), wobei der erste, zweite und dritte Block (C, B, A) jeweils einen DC-Koeffizienten einer diskreten Kosinustransformation umfasst; gekennzeichnet dadurch, dass es die folgenden weiteren Schritte umfasst: Bestimmen eines horizontalen Gradienten zwischen den DC-Koeffizienten des ersten Blocks (C) und des zweiten Blocks (B); Bestimmen eines vertikalen Gradienten zwischen den DC-Koeffizienten des dritten Blocks (A) und des zweiten Blocks (B); Vorhersagen (1020, 1030, 1040) von Bilddaten für den gegenwärtigen Block auf Grundlage der horizontalen und vertikalen Gradienten; Erzeugen (1030, 1040) von Vorhersage-decodierten Bilddaten für den gegenwärtigen Block aus den vorhergesagten Bilddaten und den codierten Bilddaten des gegenwärtigen Blocks.
Verfahren zum Decodieren von codierten Signalen nach Anspruch 4, wobei der Vorhersageschritt die folgenden Schritte umfasst: für den Fall (1020), dass der vertikale Gradient kleiner als der horizontale Gradient ist, Vorhersagen (1040) der Bilddaten für den gegenwärtigen Block (X) auf Grundlage der Bilddaten des ersten Blocks (C); für den Fall, dass der horizontale Gradient kleiner als der vertikale Gradient ist, Vorhersagen (1030) der Bilddaten für den gegenwärtigen Block (X) auf Grundlage der Bilddaten des dritten Blocks (A).
Verfahren zum Decodieren von codierten Signalen nach Anspruch 4 oder 5, ferner umfassend den Schritt zum Scannen eines gegenwärtigen Blocks der codierten Daten, vor dem Vorhersageschritt (250), wobei für den Fall, dass der vertikale Gradient kleiner als der horizontale Gradient ist, das Scannen nur in horizontalen und diagonalen Richtungen fortschreitet, und für den Fall, dass der horizontale Gradient kleiner als der vertikale Gradient ist, das Scannen nur in vertikale und diagonale Richtungen fortschreitet.
Bitstrom, der in Übereinstimmung mit einem Verfahren erzeugt wird, das die folgenden Schritte umfasst: Empfangen von Eingangsvideosignalen; Formatieren (120) der Videosignale in vertikal angrenzende und horizontal angrenzende Blöcke von digitalen Bilddaten; und Transformieren (130) der Blöcke in Blöcke (X, A, B, C) von spektralen Koeffizienten, die die digitalen Bilddaten darstellen; und gekennzeichnet dadurch, dass es ferner, für einen gegenwärtigen Block (X) von Koeffizienten, die folgenden Schritte umfasst: Bestimmen (1010) eines horizontalen Gradienten zwischen den DC-Koeffizienten des ersten Blocks (C) vertikal angrenzend zu dem gegenwärtigen Block (X) und eines zweiten Blocks (B) horizontal angrenzend zu dem ersten Block (C); Bestimmen (1000) eines vertikalen Gradienten zwischen den DC-Koeffizienten eines dritten Blocks (A) horizontal angrenzend zu dem gegenwärtigen Block (X) und von dem zweiten Block (B); Vorhersagen (1020, 1030, 1040) von Koeffizienten für den gegenwärtigen Block (X) auf Grundlage der horizontalen und vertikalen Gradienten; Erzeugen (1030, 1040) von Restkoeffizienten für den gegenwärtigen Block (X) aus den vorhergesagten Koeffizienten und den Koeffizienten des gegenwärtigen Blocks, und Erzeugen eines Bitstroms, der die Restkoeffizienten darstellt.
Codierer zum Codieren von Videoinformation, die als eine Vielzahl von vertikal angrenzenden und horizontal angrenzenden Blöcken von Bilddaten dargestellt wird, wobei jeder der Blöcke spektrale Koeffizienten mit einem DC-Koeffizienten enthält, dadurch gekennzeichnet, dass der Codierer umfasst: eine DC-Koeffizienten-Vorhersageeinheit (300), wobei die DC-Koeffizienten-Vorhersageeinheit (300) einen DC-Koeffizienten für den gegenwärtigen Block (X) von Bilddaten auf Grundlage der DC-Koeffizienten eines ersten Blocks (C) vertikal angrenzend zu dem gegenwärtigen Block (X), eines zweiten Blocks (B) horizontal angrenzend zu dem ersten Block (C) und eines dritten Blocks (A) horizontal angrenzend zu dem gegenwärtigen Block (X) vorhersagt, wobei die DC-Koeffizienten-Vorhersageeinheit (300) einen horizontalen Gradienten aus den DC-Koeffizienten des zweiten Blocks (B) und des ersten Blocks (C) bestimmt, einen vertikalen Gradienten aus den DC-Koeffizienten des zweiten Blocks (B) und des dritten Blocks (A) bestimmt, und den DC-Koeffizienten für den gegenwärtigen Block (X) auf Grundlage der horizontalen und vertikalen Gradienten vorhersagt; und einen Subtrahierer (310) zum Erzeugen eines DC-Restsignals für den gegenwärtigen Block (X), das die Differenz zwischen dem DC-Koeffizienten des gegenwärtigen Blocks und dem DC-Koeffizienten, der für den gegenwärtigen Block vorhergesagt wird, darstellt.
Videodecoder zum Erzeugen von Videoinformation aus empfangenen codierten Signalen, die als eine Vielzahl von vertikal angrenzenden und horizontal angrenzenden Blöcken von codierten Daten dargestellt werden, wobei jeder Block DC-Restinformation einschließt, dadurch gekennzeichnet, dass der Decoder umfasst: eine DC-Koeffizienten-Vorhersageeinheit (400) zum Vorhersagen eines DC-Koeffizienten für einen gegenwärtigen Block (X) von codierten Bilddaten auf Grundlage des DC-Koeffizienten eines ersten Blocks (C), der vertikal angrenzend zu dem gegenwärtigen Block (X) ist, eines zweiten Blocks (B) horizontal angrenzend zu dem ersten Block (C), und eines dritten Blocks (A), horizontal angrenzend zu dem gegenwärtigen Block (X), wobei die DC-Koeffizienten-Vorhersageeinheit (400) einen horizontalen Gradienten aus den DC-Koeffizienten des zweiten Blocks (B) und des ersten Blocks (C) bestimmt, einen vertikalen Gradienten aus den DC-Koeffizienten des zweiten Blocks (B) und des dritten Blocks (A) bestimmt, und den DC-Koeffizienten für den gegenwärtigen Block (X) auf Grundlage der horizontalen und vertikalen Gradienten vorhersagt; und einen Addierer (410) zum Erzeugen eines DC-Koeffizienten-Signals auf Grundlage des vorhergesagten DC-Koeffizienten und der empfangenen DC-Restinformation für den gegenwärtigen Block (X).
Verfahren zum Wählen einer Vorhersagerichtung in einem Vorhersage-Videodecoder für einen zu decodierenden gegenwärtigen Block X von Videodaten auf Grundlage von decodierten DC-Koeffizienten DC_A für einen Block A horizontal angrenzend zu dem gegenwärtigen Block X, DC_B für einen Block B vertikal angrenzend zu dem Block A und DC_C für einen Block C vertikal angrenzend zu dem gegenwärtigen Block X, gekennzeichnet durch die folgenden Schritte: wenn |DC_A – DC_B| < |DC_B – DC_C| ist, Vorhersagen von dem Block C, ansonsten, Vorhersagen von dem Block A.
Verfahren nach Anspruch 10, wobei die decodierten DC-Koeffizienten DC_N von jedem Block N invers-quantisierte DC-Werte einer diskreten Kosinus-Transformation sind, wobei N den jeweiligen Block A, B oder C darstellt.
Verfahren nach Anspruch 10, wobei die Blöcke A, B oder C die nächsten Nachbarn zu einem Block X in ihren jeweiligen Richtungen sind.
Verfahren nach Anspruch 10, ferner umfassend, wenn eine Vorhersage von einem Block C auftritt, Decodieren mit variabler Länge von Koeffizienten des gegenwärtigen Blocks X in Übereinstimmung mit einer Scanrichtung, in Tabelle 5 identifiziert.
Verfahren nach Anspruch 10, ferner umfassend, wenn eine Vorhersage von einem Block A auftritt, Decodieren mit variabler Länge von Koeffizienten des gegenwärtigen Blocks X in Übereinstimmung mit einer Scanrichtung, die in Tabelle 6 identifiziert wird.
Verfahren nach Anspruch 10, ferner umfassend ein Decodieren mit variabler Länge von Koeffizienten des gegenwärtigen Blocks X in Übereinstimmung mit einem Zig-Zag-Scan, wenn ein AC-Vorhersageflag anzeigt, dass eine AC-Vorhersage nicht verwendet wurde.
Verfahren nach Anspruch 10, ferner umfassend, wenn von einem Block C vorhergesagt wird, Vorhersagen einer Zeile von AC-Koeffizienten in dem Block X aus gemeinsam angeordneten AC-Koeffizienten in Block C.
Verfahren nach Anspruch 16, wobei die Zeile von AC-Koeffizienten die einzigen AC-Koeffizienten sind, die so vorhergesagt werden.
Verfahren nach Anspruch 10, ferner umfassend, wenn von einem Block A vorhergesagt wird, Vorhersagen einer Spalte von AC-Koeffizienten in dem Block X aus gemeinsam angeordneten AC-Koeffizienten in dem Block A.
Verfahren nach Anspruch 18, wobei die Spalte von AC-Koeffizienten die einzigen AC-Koeffizienten sind, die so vorhergesagt werden.
Verfahren zum Wählen einer Vorhersagerichtung in einem Vorhersage-Videocodierer für einen gegenwärtigen Block X von Videodaten auf Grundlage von den DC-Koeffizienten DC_A für einen Block A horizontal angrenzend zu dem gegenwärtigen Block, DC_B für einen Block B vertikal angrenzend zu dem Block A, und DC_C für einen Block C vertikal angrenzend zu dem gegenwärtigen Block, dadurch gekennzeichnet, dass es die folgenden Schritte umfasst: wenn |DC_A – DC_B| < |DC_B – DC_C| ist, Vorhersagen von dem Block C, ansonsten, Vorhersagen von dem Block A.
Verfahren zum Vorhersagen eines DC-Koeffizienten DC_X eines gegenwärtigen Blocks X in einem Vorhersage-Videodecoder aus decodierten Koeffizienten DC_A eines Blocks A horizontal angrenzend zu dem gegenwärtigen Block X, DC_B für einen Block B vertikal angrenzend zu dem Block A, und DC_C für einen Block C vertikal angrenzend zu dem gegenwärtigen Block X, dadurch gekennzeichnet, dass es die folgenden Schritte umfasst: wenn |DC_A – DC_B| < |DC_B – DC_C| ist, dann Vorhersagen von DC_X = DC_C, ansonsten, Vorhersagen DC_X = DC_A.