DE69631108T2

DE69631108T2 - Nachfilterung zur Entfernung von Artefakten in DCT-codierten Bildern

Info

Publication number: DE69631108T2
Application number: DE69631108T
Authority: DE
Inventors: Patrick William Freehold Devaney; Daniel Chandran North Wales Gnanaprakasam; Thomas James Mount Laurel Leacock
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-10-20
Filing date: 1996-10-18
Publication date: 2004-06-09
Anticipated expiration: 2016-10-19
Also published as: EP0769878B1; JP4004089B2; CN1151662A; EP0769878A2; US5819035A; KR100249407B1; CN1110961C; DE69631108D1; EP0769878A3; JPH09200759A; KR970025165A

Description

GEBIET DER ERFINDUNG
Diese Erfindung ist in einem Qualitätsvideo-Codierungs-/Decodierungssystem verkörpert, das ein Filter zum Beseitigen von Rauschartefakten enthält, und insbesondere ein anisotropes Diffusionsfilter, das in jedem auf der diskreten Kosinustransformation basierenden Videodecodierungssystem (DCT-gestütztes System) das Ringing-Rauschen beseitigt.
HINTERGRUND DER ERFINDUNG
Es ist wohl bekannt, dass auf der diskreten Block-Kosinustransformation (Block-DCT) basierende Bildkomprimierungsalgorithmen unter bestimmten Umständen unerwünschte Rauschartefakte erzeugen können. Diese Umstände variieren abhängig von den exakten Einzelheiten des Gesamtcodierungssystems, von dem die DCT nur eine Komponente ist.
Ein Typ des Videokomprimierungssystems, das kürzlich beträchtliche Aufmerksamkeit erregt hat, ist das, das durch die Bewegtbild-Expertengruppe (MPEG), ein Komitee innerhalb des internationalen Normungsgremiums (ISO), vorgeschlagen worden ist. Das MPEG-2 System ist in einem Artikel mit dem Titel "MPEG-2 VIDEO" von der Simulationsmodell-Herausgabegruppe beschrieben, der vom ISO als ISO-EIC/13818-2:1995(E) verfügbar ist, der hierdurch wegen seiner Lehren über das MPEG-2-Videosignal-Codierungs- und -Decodierungsverfahren durch Literaturhinweis eingefügt ist. Dieses System ist ähnlich zum bedingten bewegungskompensierten Interpolations-Videocodierungssystem (CMCI-Videocodierungssystem), das im US-Patent Nr. 4.999.705 mit dem Titel THREE DIMENSIONAL MOTION COMPENSATED VIDEO CODING beschrieben ist, das hierdurch wegen seiner Lehren über Videocodierungstechniken durch Literaturhinweis eingefügt ist.
Das MPEG-System integriert eine Anzahl wohl bekannter Datenkomprimierungstechniken in einem einzelnen System. Diese enthalten die bewegungskompensierte Vorhersagecodierung, die diskrete Kosinustransformation (DCT), die adaptiven Quantisierung und die Codierung mit variabler Länge (VLC). In diesen Systemen wird der adaptive Quantisierungsschritt an den durch die diskrete Kosinustransformationsoperation für aus dem Eingangsbild abgeleitete Blöcke aus 64 Bildpunkten erzeugten Koeffizientenwerten ausgeführt.
Die DCT-Koeffizienten werden mit sich verändernder Auflösung als eine Funktion der durch die Codierungsoperation erzeugten Datenmenge quantisiert. In einem System mit einem Kanal mit fester Bandbreite können, falls ein einzelnes Vollbild eine relativ große Menge codierter Daten erzeugt, die auf aufeinander folgende Vollbilder angewendeten Quantisierungsschrittgrößen vergrößert (gröber gemacht) werden müssen, um die Menge der codierten Daten zu verringern, die verwendet werden, um diese Vollbilder darzustellen. Dies wird so ausgeführt, dass das durchschnittliche Niveau der während einiger Vollbild-Intervalle erzeugten Daten durch den Kanal mit fester Bandbreite übertragen werden kann. Falls ein Vollbild codiert wird, das ein Objekt mit relativ wenigen Konturen enthält, kann, wenn der Quantisierer eine grobe Quantisierung der DCT-Koeffizienten anwendet, das reproduzierte Bild dieses Objekts eine unerwünschte Quantisierungsverzerrung besitzen. Diese Verzerrung würde als eine Übertreibung der Konturen im Objekt erscheinen.
In den an Naimpally u. a. erteilten US-Patenten (US-Patent Nr. 5.294.974 und 5.325.125) sind MPEG-Codierer beschrieben, die hierdurch wegen ihrer Lehren über MPEG-Codierer hierin durch Literaturhinweis aufgenommen sind.
MPEG-2-Decodierer sind gegenwärtig kommerziell verfügbar. Zwei derartige Decodierer sind in "MPEG-2/CCIR 601 Video Decoder", SGS-Thomson Microelectronics, Juli 1994, bzw. "IBM MPEG-2 Decoder Chip User's Guide", IBM, Juni 1994, beschrieben, wobei sie hierdurch wegen ihrer Lehren über MPEG-2-Decodierer durch Literaturhinweis eingefügt sind.
Im Allgemeinen gibt es zwei Arten unerwünschter Rauschartefakte: Blockbildung und Ringing (die in Yuen M., Wu H., "Reconstruction Artifacts in Digital Video Compression", Proc. of SPIE, Bd. 2419, 1995, S. 455–465, beschrieben sind, und das hierdurch wegen seiner Lehren über Blockbildungs- und Ringing-Rauschartefakte durch Literaturhinweis eingefügt ist). Die Blockbildung tritt auf, wenn nur der DC-Koeffizient (d. h. der durchschnittliche Intensitätswert) gesetzt ist, was am wahrscheinlichsten bei sehr niedrigen Datenraten auftritt. Das Ringing tritt auf, wenn die grobe Quantisierung der DCT-Koeffizienten, insbesondere von Hochfrequenz-AC-Koeffizienten, Rauschen einfügt. Das Ringing ist mit dem Rauschen korreliert, das in der Nähe starker Kanten auftritt. In Systemen mit höherer Qualität (d. h. einem niedrigeren Komprimierungsverhältnis) ist das Ringing der sichtbarste Artefakt. Zurückzuführen auf leichte Variationen von Vollbild zu Vollbild ist das Ringing-Rauschen in Bewegtbildern als ein lokales Flackern in der Nähe der Kanten sichtbar. Dieser Rauschtyp ist als "Moskitorauschen" bekannt.
Systeme mit höherer Qualität sind teurer als Systeme mit niedrigerer Qualität, wobei sie dazu tendieren, weniger Rauschen zu erzeugen. Der vorherrschende Typ des Rauschens in Systemen mit niedrigerer Qualität ist das Blockbildungsrauschen, wohingegen das Ringing-Rauschen in Systemen mit hoher Qualität vorherrschend ist. Es gibt eine große Gesamtheit von Arbeiten über Schemata, um den Blockbildungseffekt in Systemen mit niedrigerer Qualität zu verringern, diese Zugänge sind jedoch nicht relevant, um das Ringing in Komprimierungssystemen mit hoher Qualität zu verringern.
Die Ringing-Artefakte treten auf kontrastlosen Hintergründen in der Nähe starker Kanten auf. Die Artefakte sind stärker als der Hintergrund, aber schwächer als die Kante. Deshalb kann die lokale Kantenstärke, falls sie bekannt ist, verwendet werden, um einen Maßstab zu definieren, unter dem eine Variation unwichtig ist.
Dieser Typ des Rauschartefakts kann unter Verwendung einer Technik verringert werden, die als anisotrope Diffusion bekannt ist (die in Perona, P., Malik, J.. "Scale-Space and Edge Detection Using Anisotropic Diffusion", IEEE Trans. on Pattern Analysis and Machine Intelligence, Bd. 12, 1990, S. 629–639, beschrieben ist, und die hierdurch wegen ihrer Lehren über die anisotrope Diffusion durch Literaturhinweis eingefügt ist. Die anisotrope Diffusion kann Variationen unter einem Maßstabs-Schwellenwert k selektiv glätten, während sie Merkmale über diesem Schwellenwert (bzw. Grenzwert) erhält oder sogar verbessert.
Die Forschungs- und Entwicklungslaboratorien von KDD haben ein Nachfilter entwickelt, um MPEG1-Bilder in einem Karaoke-Gerät zu verbessern (beschrieben in Nakajima, Y., "Postprocessing Algorithms for Noise Reduction of MPEG Coded Video", Tech. Report of IEICE-Japan, IE94-7, DSP94-7, 1994, S. 45–51, das hierdurch wegen seiner Lehren über Nachfilter durch Literaturhinweis eingefügt ist.) Dieses System berechnet lokale Mittel und Varianzen, um einen linearen Schätzwert kleinster Quadrate des besten lokalen Rausch-Reinigungsfilters zu berechnen. Das Filter erhält die Kanten, aber die Kantenabhängigkeit wird explizit und in einer komplizierten Weise gehandhabt. Das KDD-System ist im hohen Grade auf MPEG abgestimmt. Es verwendet viele komplizierte Einzelheiten dieses Codierungsschemas und die Statistiken der durch dieses Schema verarbeiteten Bilder. Die Hardware-Kosten des KDD-Systems sind sehr hoch.
Es sind viele theoretische Artikel veröffentlicht worden, die anisotrope Diffusionsalgorithmen betreffen, um Bilder zu schärfen oder zu verbessern (beschrieben in Saint-Marc, P., Chen, J., Medioni, G., "Adaptive Smoothing: A General Tool for Early Vision", IEEE Trans. on PAMI, Bd. 13, 1990, S. 514–529; Alvarez, L., Lions, P., Morel, J., "Image Selective Smoothing and Edge Detection by Nonlinear Diffusion II", SIAM J. Numerical Analysis, Bd. 29, 1990, S. 845–866, die hierdurch wegen ihrer Lehren anisotrope Diffusionsalgorithmen, um Bilder zu schärfen oder zu verbessern, durch Literaturhinweis eingefügt sind), es sind jedoch nur einige betrachtet worden, die die Technik auf Block-DCT-Systeme anwenden. El-Fallah berichtet über die Verwendung anisotroper Diffusion als ein Vorfilter, um das Rauschen vor der Komprimierung zu beseitigen (beschrieben in El-Fallah, A., Ford, G., Algazi, V., Estes, R., "The Invariance of Edges and Corners Under Mean Curvature Diffusion of Images", Proc. of SPIE, Bd. 2421, 1995, das hierdurch wegen seiner Lehren über anisotrope Vorfilter durch Literaturhinweis eingefügt ist). Es wird nicht als ein Nachfilter verwendet. Osher und Rudin haben ein eng verwandtes "Stoßfilter" entwickelt, erwähnen aber nichts über Block-DCT-Systeme (beschrieben in Osher, S., Rudin, L., "Feature-Oriented Image Enhancement Using Shock Filters", SIAM J. Numerical Analysis, Bd. 27, 1990, S. 919–940, das hierdurch wegen seiner Lehren über Stoßfilter durch Literaturhinweis eingefügt ist).
Bei der anisotropen Diffusion ist die Mittelung für die Rauschbeseitigung über eine Kante verboten, falls die Kantenstärke über dem kritischen Schwellenwert k liegt, der sorgfältig definiert ist. Das Ergebnis einer derartigen verbotenen Mittelung ist eine die Kanten erhaltende Glättung, die das Rauschen innerhalb des Bereichs beseitigt, während die Bereiche erhalten werden, wobei die Bereichsgrenzen implizit als über den Schwellenwert-Kanten liegend erkannt werden.
Perona und Malik, die oben zitiert worden sind, schlagen das Einstellen des kritischen Schwellenwertes auf 90 Prozent des globalen Gradienten für ein Bild mit stationären Inhalten vor, sie bieten jedoch keine Einzelheiten, um den Schwellenwert für ein nichtstationäres Bild lokal zu variieren. El-Fallah u. a., die oben zitiert worden sind, bringen ein Argument über die Tatsache, dass ihr Zugang überhaupt keine einstellbaren Parameter besitzt.
Lamberti, C. u. a., "WORKSTATION FOR 2-D ECHOCARDIOGRAPHY IMAGE PROCESSING", Proceedings of the Computers in Cardiology Meeting, Jerusalem, 19.–22. September 1989, Meeting Nr. 16, 19. September 1989, S.447–450, XP000200707, Institute of Electrical and Electronics Engineers, ISBN: 0-8186-2114-1, offenbart ein PC-gestütztes System für die echokariographische digitale Bildverarbeitung, das auf der Basis der Schätzung von Merkmalen wie Konturen, Volumina und die Wandbewegung unter Verwendung einer Konstanten als ein Schwellenwert arbeitet, um das Rauschen von den Kanten zu trennen. Die Erfassung der ventrikulären Konturen wird durch eine Bildvorverarbeitung ausgeführt, die auf der anisotropen Diffusionstechnik und der Differenzierung durch die Bildfaltung mit einer Laplace- oder Gauß-Maske basiert.
Das Vorangehende veranschaulicht die bekannten Einschränkungen, die in Rauschbeseitigungssystemen vorhanden sind. Folglich ist es offensichtlich, dass es vorteilhaft sein würde, ein anisotropes Nachfiltersystem für die Beseitigung des Ringing-Rauschens zu schaffen, das die Ringing-Rauschartefakte aus MPEG-decodierten Signalen beseitigt.
ZUSAMMENFASSUNG DER ERFINDUNG
Die vorliegende Erfindung ist in einem Filtersystem verkörpert, das in einem Videosignal-Codierungs-/Decodierungssystem verwendet wird, das Vorrichtungen enthält, die ein Eingangsvideosignal codieren, die codierten Daten übertragen, die Daten decodieren und die Daten filtern. Das Filtersystem empfängt einen Block der decodieren Daten in einem Rasterabtastformat vom Decodierer und wendet die anisotrope Diffusion auf sie an, um die Ringing-Rauschartefakte zu unterdrücken.
Die vorangehenden und andere Aspekte der vorliegenden Erfindung werden aus der folgenden ausführlichen Beschreibung der Erfindung offensichtlich, wenn sie im Zusammenhang mit der beigefügten Zeichnung betrachtet wird.
KURZBESCHREIBUNG DER ZEICHNUNG
1 ist ein Blockschaltplan eines Systems, das eine Ausführungsform der vor liegenden Erfindung enthält.
2(a) (Stand der Technik) ist ein Blockschaltplan eines beispielhaften Videosignal-Codierungssystems.
2(b) (Stand der Technik) ist eine graphische Darstellung, die die Struktur eines Makroblocks veranschaulicht.
2(c) (Stand der Technik) ist eine graphische Darstellung, die eine Scheibe eines Bildes veranschaulicht.
2(d) (Stand der Technik) ist eine graphische Pixel-Darstellung, die die Zickzack-Abtaststruktur veranschaulicht, die durch den in 2(a) gezeigten Codierer verwendet wird.
3 (Stand der Technik) ist ein Blockschaltplan eines beispielhaften Videosignal-Decodierungssystems.
4 ist ein Blockschaltplan eines beispielhaften anisotropen Diffusionsfilters gemäß der vorliegenden Erfindung.
5(a) und 5(b) sind Blockschaltpläne der beispielhaften Schaltungsanordnung, die für die Verwendung in der in 4 gezeigten Ausführungsform der Erfindung geeignet sind.
6(a) ist eine graphische Darstellung der Bildabtastzeilen, die die relative Position der Bildelemente (Pixel) in den Zeilen anzeigt.
6(b) ist ein Blockschaltplan der beispielhaften Schaltungsanordnung, die für das Bestimmen des Schwellenwertes in der Schaltungsanordnung nach den 4, 5(a) und 5(b) geeignet ist.
7(a) und 7(b) sind graphische Darstellungen des Leitwertparameters gegen den Gradienten, die die Kurve des Gaußschen Leitwertes und die Kurve der Approximation mit einer abgeschnittenen geraden Linie für die kritischen Schwellenwerte von 10 bzw. 100 vergleichen.
8 ist ein Blockschaltplan der beispielhaften Schaltungsanordnung, die für das Bestimmen einer Leitwertkonstante in der Schaltungsanordnung nach den 5(a) und 5(b) geeignet ist.
9 ist ein Blockschaltplan der beispielhaften Schaltungsanordnung, die für die Helligkeitsverarbeitung in der Schaltungsanordnung nach den 5(a) und 5(b) geeignet ist.
10 ist ein Blockschaltplan der beispielhaften Schaltungsanordnung, die für die Farbwertverarbeitung in der Schaltungsanordnung nach den 5(a) und 5(b) geeignet ist.
AUSFÜHRLICHE BESCHREIBUNG DER BEISPIELHAFTEN AUSFÜHRUNGSFORMEN
Allgemein gesagt wirkt das Nachfilter der vorliegenden Erfindung auf die Daten, die codiert, übertragen und schließlich decodiert worden sind, um Pixelblöcke zu liefern. Bei der Verarbeitung dieser Pixelblöcke, die in einem Rasterabtastformat bereitgestellt werden, bestimmt das Nachfilter den Kantensignifikanz-Schwellenwert für jeden Block, bestimmt einen Leitwert, führt die anisotrope Diffusion an diesem Block aus, um Variationen zu glätten, und beseitigt so die Ringing-Rauschartefakte unter dem Schwellenwert, während die Merkmale über dem Schwellenwert erhalten oder verbessert werden. Mit anderen Worten, die Kanten werden durch die Rauschbeseitigung nicht beeinflusst, falls ihre Kantenstärke größer als der Schwellenwert ist.
Während die vorliegende Erfindung hinsichtlich eines MPEG-Decodierungssystems beschrieben ist, ist sie im Allgemeinen auf jedes Videodecodierungssystem anwendbar, das Videodaten decodiert, die durch quantisierte Ortsfrequenzkoeffizienten dargestellt sind.
1 ist ein Blockschaltplan eines Systems, das eine Ausführungsform der vorliegenden Erfindung enthält. Die Daten eines Videosignals in hoher Qualität werden einem Codierer 1 bereitgestellt, der die Daten unter Verwendung eines MPEG-Codierungsalgorithmus codiert, um die Daten zu komprimieren. Der Codierer 1 erzeugt Vollbilder, setzt die Daten in das Blockformat um und führt die Komprimierung durch eine diskrete Kosinustransformation (die DCT-Komprimie rung) aus. Der komprimierte MPEG-Datenstrom wird dann über einen Übertragungskanal 5 zu einem Ziel gesendet. Das Übertragungssystem und der Übertragungskanal 5 können ein terrestrischer Rundfunkkanal oder ein Satelliten-Rundfunkkanal oder ein Kabelkanal sein. Wenn der Datenstrom an seinem Ziel empfangen wird, wird er unter Verwendung eines MPEG-Decodierers 9 decodiert. Der MPEG-Decodierer 9 verwendet einen Prozessor für die inverse diskrete Kosinustransformation (IDCT) und einen Bewegungskompensationsprozessor, um Pixelblöcke für die Anzeige zu liefern. Vor der Anzeige werden diese Pixelblöcke jedoch in Rasterabtastdaten umgesetzt, wobei die Rasterabtastdaten einem anisotropen Diffusionsfilter 13 unterworfen werden. Das Filter 13 beseitigt die Ringing-Rauschartefakte aus dem Bild. Nachdem die Rasterabtastdaten durch das anisotrope Diffusionsfilter 13 gegangen sind, werden sie als ein digitales Video in hoher Qualität auf einer Anzeige bereitgestellt.
Ein beispielhafter Codierer des Standes der Technik ist in 2(a) gezeigt. In diesem System werden rote (R), grüne (G) und blaue (B) Farbsignale, die ein Bild beschreiben, in der Rasterabtastreihenfolge von einer (nicht gezeigten) Videokamera oder einer anderen Videoquelle bereitgestellt. Diese Signale werden durch eine herkömmliche Farbmatrixschaltung 104 verarbeitet, um ein Helligkeitssignal (Y) und zwei Farbdifferenzsignale ((B-Y) und (R-Y)) zu erzeugen. Die Farbdifferenzsignale (B-Y) und (R-Y) werden durch die entsprechenden Tiefpassfilter 106 und 108 verarbeitet. Die beispielhaften Filter 106 und 108 filtern die entsprechenden Farbdifferenzsignale räumlich, um Signale zu erzeugen, die in jeder der horizontalen und vertikalen Richtungen eine Hälfte der räumlichen Auflösung des Helligkeitssignals besitzen.
Das Helligkeitssignal Y und die zwei räumlich gefilterten Farbdifferenzsignale (B-Y)' und (R-Y)' werden in einen Blockumsetzer 110 eingespeist. Der Blockumsetzer 110, der z. B. einen herkömmlichen Speicher mit zwei Zugriffskanälen enthalten kann, setzt die Signale Y, (B-Y)' und (R-Y)' aus dem Rasterabtastformat in ein Blockformat um.
Im Blockformat wird jedes Vollbild eines Bildes als eine Sammlung von Blöcken dargestellt, wobei jeder Block vierundsechzig Pixel besitzt, die als eine Matrix aus acht horizontalen Pixel mal acht vertikalen Pixel angeordnet sind. Der Blockumsetzer 110 kombiniert einige zusammenhängende Pixelblöcke in eine Datenstruktur, die als ein Makroblock bekannt ist. 2(b) zeigt eine beispielhafte Makro block-Datenstruktur 330, die vier Helligkeitsblöcke 310, 312, 314 und 316 aus vierundsechzig Pixel; einen Block aus vierundsechzig Pixel, des (B-Y)'-Farbdifferenzsignals 322; und einen Block aus vierundsechzig Pixel des (R-Y)'-Farbdifferenzsignals 324 enthält. Jeder dieser Pixelwerte ist durch einen digitalen Acht-Bit-Wert dargestellt. Der Blockumsetzer 110 stellt diese Pixelwerte, jeweils einen Block auf einmal, einem Subtrahierer 112 bereit.
Der Subtrahierer 112 subtrahiert jeden Block eines Makroblocks, der durch die Bewegungskompensations-Schaltungsanordnung 134 bereitgestellt wird, von einem entsprechenden Block eines Makroblocks, der durch den Blockumsetzer 110 bereitgestellt wird. Der Subtrahierer 112 erzeugt Datenblöcke, die einen bewegungsvorhersagenden differentiell codierten Makroblock darstellen. Diese erzeugten Blöcke werden in einen DCT-Prozessor 114 eingespeist. Der DCT-Prozessor 114 verwendet eine diskrete Kosinustransformation auf jeden der sechs Blöcke der differentiellen Pixelwerte an, um sie in sechs entsprechende Blöcke der DCT-Koeffizienten umzusetzen. Jeder dieser Blöcke wird dann unter Verwendung einer Zickzack-Abtastung, wie z. B. derjenigen, die in 2(d) gezeigt ist, in einen linearen Strom aus vierundsechzig Koeffizienten umgeordnet.
Für jeden Block stellt der Erste dieser Koeffizienten die Gleichstrom-Ortsfrequenzkomponente (DC-Ortsfrequenzkomponente) der Pixel im Block dar, während die verbleibenden Koeffizienten die Komponenten bei aufeinander folgenden höheren Ortsfrequenzen darstellen.
Die durch den DCT-Prozessor 114 bereitgestellten Koeffizientenwerte werden in einen Quantisierer 116 eingespeist, der jeden Koeffizientenwert in einen binären Wert umsetzt, der eine zugeordnete Anzahl von Bits besitzt. Im Allgemeinen wird für die Koeffizienten niedrigerer Ordnung eine größere Anzahl von Bits als für die Koeffizienten höherer Ordnung verwendet, weil das menschliche Auge für die Bildkomponenten mit höheren Ortsfrequenzen weniger empfindlich als für die Komponenten mit niedrigeren Ortsfrequenzen ist. Diese Operation kann z. B. ausgeführt werden, indem jeder Koeffizientenwert im linearisierten Block durch einen entsprechenden verschiedenen Wert dividiert wird, der zur Frequenz des Koeffizienten proportional ist. Eine Matrix, die diese Werte enthält, kann mit dem Signal übertragen werden, um zu ermöglichen, dass das Signal an seinem Ziel entquantisiert wird.
Außerdem kann die jedem Koeffizientenwert zugeordnete Anzahl der Bits in Reaktion auf die Werte geändert werden, die durch die Quantisierer-Steuerschaltungsanordnung 122 bereitgestellt werden, die im Folgenden beschrieben ist. Diese Werte können angewendet werden, einer pro Makroblock, um jeden Koeffizientenwert im Makroblock durch den Wert zu dividieren, bevor oder nachdem die Koeffizientenwerte durch die Matrix der frequenzabhängigen Werte dividiert werden. Der Quantisierer 116 erzeugt einen Strom digitaler Werte, der in einen Codierer 118 mit variabler Länge und einen inversen Quantisierer 24 eingespeist wird.
Der Codierer 118 mit variabler Länge codiert die Daten, z. B. unter Verwendung eines Amplituden-Lauflängencodes des Huftman-Typs. Die durch den Codierer 118 mit variabler Länge erzeugten Signale werden zuerst in einen Silopuffer (FIFO-Puffer) 120 eingespeist, der die Werte für die Übertragung mit einer von gegebenen Rate als die Signalausgabe speichert.
In einer Anwendung mit einem Kanal mit fester Bandbreite kompensiert der Quantisierer-Controller 122 die sich verändernden Raten, mit denen die codierten Informationen erzeugt werden, indem er die Quantisierungsschrittgröße steuert, die durch den Quantisierer 116 angewendet wird. In Reaktion auf die verschiedenen Puffer-voll-Signale konditioniert die Quantisierer-Steuerschaltungsanordnung 122 den Quantisierer 116, um verschiedene Niveaus der Quantisierungsauflösung auf die durch den DCT 114 bereitgestellten Koeffizientenwerte anzuwenden. Wenn der Puffer mehr gefüllt wird, veranlasst die Steuerschaltungsanordnung 122 den Quantisierer 116, aufeinander folgend gröbere Niveaus der Quantisierungsauflösung auf die Koeffizientenwerte anzuwenden.
Folglich erzeugt der Quantisierer 116, wenn der FIFO-Puffer 120 aufeinander folgend mehr Daten enthält, weniger Bits der codierten Daten durch eine gröbere Quantisierung der DCT-Koeffizienten, die das empfangene Bild darstellen. Diese Grobheit führt zu einem Ringing-Rauschartefakt in den Daten, wenn sie schließlich decodiert und für die Anzeige vorbereitet werden.
Nachdem die Werte übertragen worden sind, werden sie empfangen und decodiert. Ein typischer Decodierer ist in 3 gezeigt. Die erfassten Daten werden in einen Decodierer mit variabler Länge (VLD) 123 eingespeist, der die durch den Codierer 118 mit variabler Länge, der in 2(a) gezeigt ist, ausgeführte Codie rungsoperation mit variabler Länge umkehrt. Außerdem extrahiert der VLD 123 die codierten Bewegungsvektorinformationen und speist diese in den Bewegungskompensationsprozessor 134 ein. Die mit fester Länge codierten Datenblöcke werden in einen inversen Quantisierer 124 eingespeist, der die durch den Quantisierer 116 ausgeführte Operation umkehrt, um approximierte DCT-Koeffizienten zu erzeugen, die jeden Block des codierten Bildes darstellen.
Entsprechend einer Reihe der DCT-Blöcke, die 8 Zeilen (ein Block) hoch ist, wird eine Scheibe als 8 Zeilen eines Bildes definiert, die vertikal auf die DCT-Blockgrenzen ausgerichtet ist. Jede Scheibe enthält (Bildbreite/DCT-Blockbreite) Blöcke. Folglich enthält z. B. ein mit 480 Zeilen MPEG-codiertes Bild 60 Scheiben, wobei jede Scheibe 8 Zeilen hoch ist. 2(c) veranschaulicht eine Scheibe 370 in Bezug auf das Bild 350 und die DCT-Makroblocks 360.
Die durch den inversen Quantisierer 124 bereitgestellten Blöcke der Koeffizientenwerte werden in einen Prozessor 126 für die inverse diskrete Kosinustransformation (IDCT) eingespeist. Dieser Prozessor kehrt die diskrete Kosinustransformationsoperation um, um einen rekonstruierten Block der Bildpixel oder bewegungskompensierte differentiell codierte Pixelwerte zu bilden.
Dieser rekonstruierte Block stellt bewegungskompensierte Pixel dar, wobei er durch die IDCT-Schaltungsanordnung 126 zusammen mit einem vorhergesagten Block aus der Bewegungskompensationseinheit 134 in einen Addierer 128 eingespeist wird. Die Bewegungskompensationseinheit 134 stellt die Daten, die mit dem decodierten IDCT-Block zu kombinieren sind, aus dem Mehrfachvollbild-Speicher 130 basierend auf den vom VLD-Prozessor 123 empfangenen Informationen bereit. Der Addierer 128 summiert diese Werte, um decodierte Pixelwerte zu erzeugen, die für die Nachverarbeitung oder die Anzeige im Vollbildspeicher 130 gespeichert werden. Die nicht bewegungskompensierten Blöcke der Pixelwerte werden ohne Modifikation im Speicher 130 gespeichert. Die Bilddaten werden aus dem Speicher 130 in der Rasterabtastreihenfolge bereitgestellt.
4 zeigt einen Blockschaltplan eines beispielhaften anisotropen Diffusionsfilters der vorliegenden Erfindung. Die MPEG-decodierten Daten werden in der Rasterabtastreihenfolge in das Filter eingespeist. Ein separater Kantensignifikanz-Schwellenwert 20 wird für die Pixel in der Rasterabtastung berechnet, die jedem durch den MPEG-Decodierer verarbeiteten Block der Pixeldaten entsprechen.
Nach dem Bestimmen des Kantensignifikanz-Schwellenwertes 20 führt das Filter die Diffusion 30 aus. Vier benachbarte Pixel tragen für einen gegebenen Pixel zur Diffusion bei, wobei jeder Nachbar seinen eigenen Leitwert besitzt. Der Leitwert wird basierend auf ΔI (der Intensitätswertdifferenz zwischen dem Nachbarpixel und dem Mittelpixel) und k (dem Kantensignifikanz-Schwellenwert für den Block, der den Mittelpixel enthält) berechnet. Nachdem die Diffusion ausgeführt worden ist, schickt das Filter die resultierenden Pixelwerte, um angezeigt zu werden.
5(a) und 5(b) zeigt einen Blockschaltplan einer beispielhaften Schaltungsanordnung, die für die Verwendung in der Ausführungsform der Erfindung, die in 4 gezeigt ist, geeignet ist. Jedes Eingangsvollbild besteht aus einem Helligkeitsvollbild Y und zwei Farbwertvollbildern Cr und Cb. Das Helligkeitsvollbild wird von den Farbwertvollbildern separat verarbeitet. 5(a) zeigt die Schaltungsanordnung, die zum Ausführen einer anisotropen Diffusionsoperation in einem einzigen Durchgang geeignet ist, während 5(b) die Schaltungsanordnung zeigt, die für das Ausführen einer Operation in mehreren Durchgängen geeignet ist.
Das Filter der vorliegenden Erfindung führt mehrere Durchgänge an den Daten aus, die verarbeitet werden. Nachdem die Daten ein erstes Mal gefiltert worden sind, werden sie für einen zweiten Durchgang dem Filter zurück bereitgestellt, wobei dadurch eine weitere Rauschbeseitigung erlaubt wird.
Im Allgemeinen ist der Gradient des Pixelblocks die Grundlage des Auswählens des Kantensignifikanz-Schwellenwertes k. Falls der Block eine Kante mit hohem Kontrast enthält, dann ist der Gradient längs dieser Kante groß. Es wird erwartet, dass starke Kanten ein Ringing hervorrufen, nachdem sie durch ein DCT-gestütztes Komprimierungssystem geleitet worden sind. Es wird weiter erwartet, dass die Größe des Ringings viel niedriger als die Größe der Kante ist. Folglich sollte das Setzen des Kantensignifikanz-Schwellenwertes basierend auf der wahren Kantenstärke eine anisotrope Diffusion verursachen, um das Ringing zu beseitigen. Das einfache Setzen des kritischen Kantensignifikanz-Schwellenwertes k gleich dem maximalen Gradienten innerhalb eines Blocks verursacht jedoch zu viel Glättung. Es ist festgestellt worden, dass 0,5*max grad einen geeigneten Betrag der Glättung ergibt. Demzufolge ist k durch die Gleichung (1) bestimmt.
k(block) = α*(0,5*actual max grad), mit α = 0,75 (1)
Der Faktor 0,75 ist ein empirischer Faktor, der verwendet wird, um die Übereinstimmung zwischen der (im Folgenden erörterten) Leitwertfunktion und dem Gradientenwert zu verbessern.
Die obige Regel gilt für einfarbige Bilder. Dies kann mit einigen Verfahren für Farbbilder wie folgt erweitert werden.
Farbabbildungssysteme behandeln Farbvideosignale als eine Kombination orthogonaler Signale (z. B. R, G, B oder Y, Cr, Cb). Es werden Farbmatrizen verwendet, um zwischen diesen orthogonalen Koordinatensystemen umzusetzen. Die einfache Erweiterung der Kante als der Gradient auf Farbbilder würde sein, den Gradienten als die euklidische Größe der drei Farbgradienten zu behandeln, wie in der Gleichung (2) gezeigt ist.
grad(color) = sgrt[(R grad)2 + (G grad)2 + (B grad)2] (2)
Diese Regel wird durch die Farb-Unterabtastung verkompliziert, die ein übliches Hilfsmittel bei der Fernsehabbildung ist. Das YUV-Farbkoordinatensystem (Y, Cr, Cb) ist das im Fernsehen am häufigsten verwendete. Jedes Vollbild besteht aus einem Helligkeitsvollbild Y und zwei Farbdifferenzvollbildern Cr und Cb. Es ist empirisch gezeigt wurden, dass U und V mit dem Faktor zwei ohne wahrnehmbare Artefakte horizontal unterabgetastet werden können. Die Bilder mit dieser Unterabtastung werden als YUV422-Bilder bezeichnet.
Um einen Farbgradienten bei YUV422-Bildern zu berechnen, ist es erwünscht, die fehlenden Abtastwerte wiederherzustellen, entweder direkt durch Überabtastung oder durch Interpolation. Dann wird das anisotrope Diffusionsfilter auf das überabgetastete Bild angewendet (beim zweifachen der YUV422-Hardware-Kosten für U und V). Ansonsten würde der Maßstabs-Schwellenwert für U und V beim vollständigen Maßstab berechnet werden, aber auf die U- und V-Daten im halben Maßstab falsch angewendet werden. Die vorliegende Erfindung behandelt die Y-, U- und V-Daten unabhängig und erfordert deshalb keine Überabtastung. In jedem Fall werden die Statistiken für den kritischen Schwellenwert k gesammelt und innerhalb des DCT-Blocks mit geeigneter Größe angewendet.
Das meiste der Literatur verwendet das wohl bekannte Sobel-Kantenoperatorpaar, um die Größe des Gradienten zu berechnen. Diese Berechnung verwendet die Daten von den acht nächsten Nachbarn, um eine X- und eine Y-Komponente des Gradienten zu berechnen. Dann werden sie durch eine Operation, bei der die Wurzel der Summe der Quadrate gebildet wird, kombiniert. Dieses Verfahren der Gradientenberechnung ist jedoch zu teuer.
Die vorliegende Erfindung verwendet den weniger teuren morphologischen Gradienten. Der morphologische Gradient verwendet den Mittelpixel und seine vier nächsten Nachbarn, wobei er nur 6 Vergleiche und eine Subtraktion erfordert, wie in 6(b) gezeigt ist, die im Folgenden beschrieben ist. Unter normalen Umständen besitzt der morphologische Gradient den Nachteil, einen Pixel breite Kanten auf eine Zweit-Pixel-Breite zu verbreitern. Für die anisotrope Diffusion ist dieser potentielle Nachteil jedoch ein Vorteil. Die Pixel auf beiden Seiten einer Kante werden als einen hohen Gradienten besitzend markiert. Dies verbessert die gewünschte Wirkung des Verbietens der Diffusion über die Kanten, insbesondere wo die Kante eine DCT-Blockgrenze überspannt.
Die Anisotropie der Diffusion wird durch eine lokale Variable gesteuert, die zur thermischen Leitfähigkeit oder dem thermischen Leitwert analog ist. Dieser Parameter g ist eine monoton abnehmende Funktion. Perona und Malik, die oben zitiert worden sind, bieten zwei derartige Funktionen an: die Gaußsche Exponentialfunktion und die Laplace-Funktion. Es ist in der Literatur dargelegt worden, dass die Gaußfunktion beim Erhalten von Kanten mit hohem Kontrast bessere Arbeit leistet. El-Fallah schlägt vor, dass das Inverse des Gradienten als der Leitwert verwendet wird (beschrieben in El-Fallah, A., Ford, G., "Nonlinear Adaptive Image Filtering Based on Inhomogeneous Diffusion and Differential Geometry", Proc. of SPIE, Bd. 2182, 1994, S. 49–63, das hierdurch wegen seiner Lehren über die Berechnung des Leitwerts durch Literaturhinweis eingefügt ist).
Die vorliegende Erfindung enthält die Gaußfunktion, weil sie eine signifikante Diffusion mit einer sehr kleinen Anzahl von Iterationen (d. h. zwei) ergibt. Die Formel für den Gaußschen Leitwert ist durch die Gleichung (3) gegeben.
Der Leitwert g wird für jede Iteration für jeden der vier Nachbarn jedes Pixels berechnet. Die genaue Berechnung durch eine Nachschlagetabelle oder eine Polynomapproximation würde teurer sein, weil sowohl k als auch der Gradient variabel sind (vgl. jedoch die zweite beispielhafte Ausführungsform, die eine Nachschlagetabelle verwendet, die im Folgenden unter Bezugnahme auf die 9 und 10 beschrieben ist). Folglich verwendet die vorliegende Erfindung eine Approximation mit einer abgeschnittenen geraden Linie, um die Gaußfunktion zu ersetzen. Die Linie, die einen Anstieg besitzt, der gleich dem Anstieg der Gaußfunktion am Wendepunkt ist, geht durch den Wendepunkt. Die Linie wird abgeschnitten, um g im Bereich 0 ≤ g ≤ 1 zu halten. g kann durch die Gleichung (4) aus k berechnet werden.
g(gradient) = C1 + [C2/k]*gradient (4)
Die beigefügten Kurven (die 7(a) und 7(b)) zeigen, dass dies eine gute Approximation ist. Außerdem wird die Hardware verringert, die notwendig ist, um g zu berechnen, um (1) den Gradienten mit einem Pro-Block-Parameter zu multiplizieren, (2) dies mit einer Konstanten zu kombinieren, und (3) das Ergebnis abzuschneiden.
Die Operation dieses Filters mit mehreren Durchgängen wird beschrieben, in dem zuerst unter Bezugnahme auf 5(a) die Operation des Filters mit einem einzigen Durchgang beschrieben wird, und dann beschrieben wird, wie das Filter mit einem einzigen Durchgang modifiziert wird, um das in 5(b) gezeigte Filter mit mehreren Durchgängen bereitzustellen. In 5(a) wird das Helligkeitsvollbild durch das Verzögerungselement 207 um ein Zeilenintervall (1 H) verzögert und dann durch das (1 H)-Verzögerungselement 209 ein zweites Mal verzögert. Die durch die zwei Verzögerungselemente 207 und 209 bereitgestellten Signale und das ursprüngliche Y-Signal werden in eine Gradienten-Berechnungsvorrichtung 210 eingespeist, um den Kantensignifikanz-Schwellenwert k zu berechnen. Der Leitwert C₂/k wird dann durch die CalcC2/k-Einheit 215 bestimmt.
Die Daten werden dann für die Verarbeitung zu einem Helligkeitsprozessor 220 geschickt. Die Eingangssignale in den Prozessor 220 bestehen aus der Leitwertkonstanten C₂/k aus der CalcC2/k-Einheit 215, dem Ausgangssignal des FIFO-Puffers 206, dem um ein Zeilenintervall (1 H) 212 verzögerten Ausgangssignal des FIFO-Puffers 206 und dem um ein zweites Ein-Zeilen-Intervall (1 H) 214 verzögerten Ausgangssignal des FIFO-Puffers 206.
Die Farbwertvollbilder Cr und Cb werden durch einen Multiplexer 260 zusammen multiplexiert. Das Ausgangssignal des Multiplexers 260 wird durch das Verzögerungselement 267 um eine horizontale Zeilenperiode (H/2) verzögert und dann durch das Verzögerungselement 269 um ein zweites horizontales Zeilenintervall (H/2) verzögert. Es wird angemerkt, dass jede Zeile der Farbwertsignale die Hälfte der Anzahl der Abtastwerte einer Zeile der Helligkeitsabtastwerte besitzt. Folglich verzögert eine Verzögerungsleitung mit H/2 Verzögerungselementen das Farbwertsignal um ein horizontales Zeilenintervall. Das Ausgangssignal des Multiplexers 265 wird außerdem in einem FIFO-Puffer-Kompensationsverzögerungselement 266 für die weitere Verarbeitung gespeichert. Die durch die zwei Verzögerungselemente 267 und 269 bereitgestellten Signale und das ursprüngliche Ausgangssignal des Multiplexers 265 werden in eine Gradienten-Berechnungsvorrichtung 270 eingespeist, um den Kantensignifikanz-Schwellenwert zu berechnen. Die Leitwertkonstante C₂/k wird dann durch eine CalcC2/k-Berechnungsvorrichtung 275 berechnet.
Dann werden die Daten für die Verarbeitung zu einem Farbwertprozessor 280 geschickt. Das Eingangssignal in dem Farbwertprozessor 280 besteht aus der Leitwertkonstanten C₂/k von der CalcC2/k-Schaltung 275, dem Ausgangssignal des FIFO-Puffers 266, dem durch das Verzögerungselement 272 um ein Zeilenintervall verzögerten Ausgangssignal des FIFO-Puffers 266 und dem durch das Verzögerungselement 274 um ein zweites Zeilenintervall verzögerten Ausgangssignal des FIFO-Puffers 266.
Geeignete FIFOs und Multiplexer können der Schaltungsanordnung erlauben, beim Zweifachen der Pixel-Taktrate zu laufen, um zwei Durchgänge einer anisotropen Diffusion auszuführen. Falls die Nachfilter-Schaltungsanordnung beim Zweifachen des Pixeltaktes angesteuert wird, gibt es Zeit, dass zwei Durchgänge des Nachfilters angewendet werden, vorausgesetzt, dass die geeignete Rückführungs-Schaltungsanordnung hinzugefügt ist. Diese Rückführungs-Schaltungsanordnung ist in 5(b) gezeigt. Für das Helligkeitsvollbild umfasst sie eine Ratenänderungsschaltung (vom einfachen Pixeltakt zum zweifachen Pixeltakt), die einen Pufferungs-FIFO 200 enthält, einen Rückführungsweg (der den Ausgang der Y-Verarbeitung mit dem Multiplexer 205 verbindet), einen Multiplexer 205, um die Daten entweder des ersten oder des zweiten Durchgangs auszuwählen, und eine Endraten-Änderungsvorrichtung, den FIFO 225, um die Ausgabe des zweiten Weges zu sammeln und sie zurück zum einfachen Pixeltakt umzusetzen. Die Rückführungs-Schaltungsanordnung für die Farbwertvollbilder umfasst die Raten änderungs- und Pufferungs-FIFOs 250 und 255, einen Rückführungsweg (der die Ausgänge der Cr- und Cb-Verarbeitung mit dem Multiplexer 265 verbindet), einem Multiplexer 265, um die Daten entweder des ersten oder des zweiten Durchgangs auszuwählen, die Endraten-Änderungsvorrichtungen, die FIFOs 285 und 290, um die Ausgabe des zweiten Weges zu sammeln und sie zurück zum einfachen Pixeltakt umzusetzen, und einen Multiplexer 295, um die Cr- und Cb-Signale in ein Ausgangssignal zu kombinieren.
6(b) zeigt einen Blockschaltplan einer beispielhaften Gradienten-Schaltungsanordnung, die für das Bestimmen des Kantensignifikanz-Schwellenwertes in der Schaltungsanordnung nach den 5(a) und 5(b) geeignet ist. Die Pixel der Bildabtastzeilen, wie sie in 6(a) gezeigt sind, werden durch die Schaltungsanordnung in 6(b) verarbeitet. In 6(a) stellt der Pixel S in der Zeile OH den Pixel einer horizontalen Zeile direkt unter der aktuellen Zeile (1 H) dar, während der Pixel N in der Zeile 2 H den Pixel eine horizontale Zeile direkt über der aktuellen Zeile darstellt. Der aktuelle Pixel in der Zeile 1 H wird als X bezeichnet. Die Pixel E und W treten unmittelbarer nach bzw. unmittelbar vor dem Pixel X in der Zeile 1 H auf.
Die Pixel S und H werden in den Auffangspeichern 609 und 611 gespeichert und dann durch einen Komparator 610 verglichen. Der Pixel mit der größeren Größe wird durch den Multiplexer 615 bereitgestellt, während der Pixel mit der kleineren Größe durch den Multiplexer 620 bereitgestellt wird. Inzwischen wird ein Paar der Verzögerungen 604 und 605 verwendet, um die Pixel E und W zu isolieren, um die sich direkt nach und direkt vor dem aktuellen Pixel X in der Zeile 1 H befinden. Diese zwei Pixel werden durch einen Komparator 625 verglichen, wobei der Pixel mit dem größeren Größenwert durch den Multiplexer 630 bereitgestellt wird, während der Pixel mit dem kleineren Größenwert durch den Multiplexer 635 bereitgestellt wird. Der durch den Multiplexer 615 bereitgestellte größere Pixel-Größenwert wird im Komparator 640 mit dem durch den Multiplexer 630 bereitgestellten größeren Pixel-Größenwert verglichen, wobei der größere von diesen zwei Werten durch den Multiplexer 645 bereitgestellt wird. Der durch den Multiplexer 620 bereitgestellte kleinere Pixel-Größenwert wird im Komparator 650 mit dem durch den Multiplexer 635 bereitgestellten kleineren Pixel-Größenwert verglichen, wobei der kleinere dieser Werte durch den Multiplexer 655 bereitgestellt wird. Ein Kompensations-Verzögerungselement 663 schickt den aktuellen Pixel X mit der richtigen Taktung zu den Komparatoren 660 und 670, um seine entsprechenden größten und kleinsten umgebenden Pixelwerte auf Gleichheit zu prüfen. Der durch den Multiplexer 645 bereitgestellte größte umgebende Pixel-Größenwert wird im Komparator 660 mit dem aktuellen Pixel X verglichen, wobei der Pixel mit dem größeren Größenwert durch den Multiplexer 665 bereitgestellt wird. Der durch den Multiplexer 655 bereitgestellte kleinste Pixel-Größenwert wird im Komparator 670 mit dem aktuellen Pixel X verglichen, wobei der Pixel mit dem kleineren Größenwert durch den Multiplexer 675 bereitgestellt wird. Folglich wird aus den fünf verglichenen Pixeln (S, X, N, E und W) der größte Größenwert durch den Multiplexer 665 bereitgestellt, während der kleinste Größenwert durch den Multiplexer 675 bereitgestellt wird. Diese zwei Werte werden durch einen Subtrahierer 680 subtrahiert, um das Endergebnis zu ergeben, das der morphologische Gradient beim aktuellen Pixel X ist. 8 zeigt, wie dieses Ergebnis verwendet wird: der in 6 berechnete Gradient (der das Element 802 nach 8 ist), wird in einen Eingangsanschluss des max-Elements 808 eingespeist; der andere Eingangsanschluss ist angeschlossen, um das laufende Maximum für den DCT-Block zu empfangen. Nachdem der maximale Gradient für alle Pixel in dem Block bestimmt worden ist, wird der letzte aufgefangene Maximalwert (im Register 810) durch zwei dividiert (d. h. um ein Bit zu den niederwertigen Bitpositionen verschoben), um den Kantensignifikanz-Schwellenwert k für diesen Block zu erzeugen.
Die Erfinder haben die Werte für die Konstanten C₁ und C₂ der Gleichung (4) als 1,21 bzw. –0,85576 bestimmt. Folglich verringert sich die Gleichung (4) für den Leitwert zur Gleichung (5).
g(gradient) = 1,21 – [0,85576/k]*gradient (5)
Die Werte für C₁ und C₂ bleiben für jeden Pixelblock die gleichen, der in die Rasterabtastdaten umgesetzt und dann verarbeitet wird. Für jeden Block verändert sich jedoch k. Die 7(a) und 7(b) zeigen die Gaußsche Leitwertkurve und die Kurve der Approximation mit einer abgeschnitten geraden Linie für k = 10 bzw. 100.
8 zeigt einen Blockschaltplan einer beispielhaften Schaltungsanordnung, die für das Bestimmen der Leitwertkonstanten C₂/k in der Schaltungsanordnung nach den 5(a) und 5(b) geeignet ist. Im max-Modul 801 wird der Gradient für den aktuellen Pixel, der durch die Gradienten-Berechnungsvorrichtung 802 bestimmt wird, die in 6 ausführlich gezeigt ist, zum max-Komparator 808 geschickt. Der bis jetzt erhaltene maximale Gradient für die aktuelle Reihe der Pixel im aktuellen Block, runmax(row), wird außerdem durch den runmax-Speicherbereich 806, der runmax(row) speichert, zum max-Komparator 808 geschickt. Der max-Komparator 808 vergleicht den Gradienten des aktuellen Pixels mit runmax(row) und stellt den größeren Wert bereit. Bei den Takt-Ticks 0-6 wird das Ergebnis des Vergleichs zu einem Multiplexer 804 geschickt.
Eine Adressenerzeugung- und Taktungsvorrichtung 850 steuert die Adressierung, das Lesen und das Schreiben in der Schaltung. In einer Reihe eines Blocks gibt es acht Takt-Ticks (0-7).
Das Ergebnis des durch den Komparator 808 ausgeführten Vergleichs wird außerdem nach einem Tick Verzögerung 810 zu einem Multiplexer 812 geschickt, der jede achte Reihe der Pixel runmax(row) auf null setzt. Der Multiplexer 812 stellt beim Tick 0 entweder eine 0 oder runmax(row) für die Speicherung in einem statischen RAM 820 bereit. Das Ergebnis des durch den Komparator 808 ausgeführten Vergleichs wird außerdem beim Tick 1 jeder achten Reihe der Pixel für die Speicherung in den RAM 820 geschickt. Dieser Wert ist der maximale Gradient des Pixelblocks, k_max(block).
Der beispielhafte RAM 820 besitzt einen einzigen Zugriffskanal; folglich werden Verzögerungen verwendet, um das Lesen und das Schreiben zu planen. Die Daten werden bei den Takt-Ticks 0 und 1 in den RAM 820 geschrieben, während sie bei den Takt-Ticks 6 und 7 aus dem RAM 820 gelesen werden. Für eine Bildbreite von W Pixel enthält der RAM 820 2*(W/8) Byte Stellen: (W/8) Byte Stellen, um runmax(row) zu speichern und (W/8) Byte Stellen, um k_max(block) zu speichern. Der Adressengenerator 850 veranlasst den Multiplexer 812, vor dem Anfang jedes neuen Pixelblocks null in runmax(row) zu laden. Er veranlasst außerdem das Register 816, am Ende jedes Blocks den Wert von k_max auszutakten. In dieser Weise wird die zugrunde liegende Blockstruktur implizit verfolgt, indem die Teilergebnisse zum richtigen Block addiert werden und der richtige k-Wert für die Filterung auf jeden Block angewendet wird, obwohl die Verarbeitung in der Rasterabtastreihenfolge ausgeführt wird. Der RAM 820 besitzt eine ausreichende Anzahl von Speicherstellen, um alle DCT-Blöcke in einer Scheibe zu verfolgen.
Beim Takt-Tick 6 wird runmax(row) aus dem RAM 820 gelesen und nach einem Tick Verzögerung zum Multiplexer 804 für die Lieferung zum runmax-Speicherbe reich 806 geschickt. Beim Takt-Tick 7 wird k_max(row) zum Nachschlagemodul 830 geschickt. Das Nachschlagemodul 830 empfängt k_max(block) und schickt es zu einem ROM 834, um die Leitwertkonstante C2/k zu bestimmen. Dieser Wert wird dann in der anschließenden Helligkeits- und Farbwertverarbeitung verwendet, wie im Folgenden beschrieben ist.
Die anisotrope Diffusion ist eigentlich ein iterativer Prozess. Bei jeder Iteration werden die Kanten ein wenig schärfer und die kontrastlosen Bereiche werden ein wenig glatter. Es gibt eine natürliche Grenze für diesen Prozess, die durch eine Erhaltungsbedingung gesetzt ist; nämlich, dass nicht mehr als die vorhandene Intensität eines Pixels in einer Iteration in seine vier Nachbarn diffundieren kann. Deshalb kann im Durchschnitt nicht mehr als ein Viertel der Intensität an irgendeinen Nachbarn gegeben werden. Dies ist der Ursprung der numerischen Stabilitätsbedingung, λ_max = 1/4, in der Gesamtdiffusionsformel, die in der Gleichung 6 gezeigt ist.
wobei ΔI_i = (I_i – Icenter) und i = 4 Nachbarn gilt.
Innerhalb dieser Grenze kann die Diffusionsrate gesteuert werden, indem k eingestellt wird. Im Wesentlichen kann erlaubt werden, dass noch weitere Diffusion (Glättung) in der Nähe starker Kanten auftritt.
Die Literatur ist am meisten daran interessiert gewesen, den anisotropen Diffusionsprozess für den Zweck der Bildsegmentierung zu seinem stabilen Endpunkt zu führen. Alvarez u. a., die oben zitiert worden sind, berichten über Ergebnisse mit einer kleinen Anzahl von Iterationen. Es ist in der vorliegenden Erfindung bestimmt worden, dass für λ = 1/4 zwei Iterationen der anisotropen Diffusion die ganze nützliche Rauschbeseitigung erreichen. Saint-Marc u. a., die oben zitiert worden sind, bemerken, dass die nützlichste Kantenverbesserung in einigen Iterationen stattfindet, während die Rauschreinigung länger benötigt. In der vorliegenden Erfindung erlaubt die lokale Anpassung von k, dass etwas Rauschreinigung innerhalb einer kleinen Anzahl von Iterationen auftritt.
Es ist in der vorliegenden Erfindung festgestellt worden, dass die besten Ergebnisse für zwei Iterationen erhalten werden, wenn k in der zweiten Iterationen um einen Faktor zwei verkleinert wird, d. h., k₂ = 0,5 k₁. Wird k gleich gelassen oder vergrößert, verursacht es eine übermäßige Unschärfeerzeugung. Die Verwendung von Faktoren größer als 0,5 im Zusammenhang mit dem Anpassen von k beseitigt effektiv weitere Diffusion, dadurch wird der zweite Durchgang bedeutungslos. Folglich wird in einer Ausführungsform der vorliegenden Erfindung, nachdem die erste Diffusionsiteration auftritt (z. B. die 5(a) und 5(b), die Elemente 205–220), k für die Verwendung in der zweiten Diffusionsiteration um einen Faktor zwei verkleinert.
9 zeigt einen Blockschaltplan einer beispielhaften Schaltungsanordnung, die für die Helligkeitsverarbeitung in der Schaltungsanordnung nach den 5(a) und 5(b) geeignet ist. Diese Schaltungsanordnung enthält die Hardware, die notwendig ist, um den Leitwert g zu berechnen. Die gleiche Verarbeitung wird an 4 verschiedenen Sätzen der Eingangsdaten ausgeführt: N, E, W und S, die sich auf den Pixel direkt über dem aktuellen Pixel X, direkt rechts vom aktuellen Pixel X, direkt links vom aktuellen Pixel X bzw. direkt unter dem aktuellen Pixel X beziehen. Die Verarbeitung für die Pixel S, E, W und N ist in den Kästen 910, 930, 940 bzw. 950 gezeigt.
Um den Pixel S zu verarbeiten, wird 0 H (der S-Pixel oder der Pixel direkt unter dem aktuellen Pixel X), nachdem er in einem Auffangspeicher 911 gespeichert worden ist, in einen Subtrahierer 913 eingespeist, der den aktuellen Pixel X, der im Auffangspeicher 912 aufgefangen worden ist, vom Pixel S subtrahiert. Dieses führt zum ΔI_i-Term der Gleichung (6). Der Absolutwert von ΔI_i wird durch eine Absolutwertschaltung 914 bestimmt und in einem FIFO-Puffer 917 gespeichert. Die aus der in 8 gezeigten Schaltungsanordnung erhaltene Leitwertkonstante C₂/k wird mit dem Absolutwert von ΔI_i multipliziert und dann durch den Subtrahierer 920 von der Leitwertkonstanten C₁ subtrahiert, um den g_i-Faktor in Gleichung (6) zu liefern. Dieses Ergebnis wird dann in der Schaltungsanordnung 922 abgeschnitten, um g im Bereich 0 ≤ g ≤ 1 zu halten. Dies approximiert g entsprechend der Gleichung (4). Der abgeschnittene Wert wird dann durch den Multiplizieren 924 mit ΔI_i multipliziert, die im FIFO-Puffer 917 gespeichert worden war.
In einer zweiten beispielhaften Ausführungsform der vorliegenden Erfindung ersetzt ein ROM 915 die Elemente 917, 918, 920, 922 und 924. Die Erfinder haben bestimmt, dass die Darstellung von C₂/k als einen Vier-Bit-Wert und des Absolutwerts von ΔI_i als einen Acht-Bit-Wert normale Rauschbeseitigungsergebnisse ergibt, die innerhalb von 0,1 dB der durch die Gleichung (3) gegebenen Berechnung liegen. Folglich ist eine Gesamtzahl von zwölf Bits erforderlich, deshalb wird ein 4k-ROM verwendet. Die Werte im ROM 915 sind entsprechend der Gleichung (6) programmiert. In dieser beispielhaften Ausführungsform der Erfindung wird davon ausgegangen, dass der Wert von g; aus der Gleichung (3) bestimmt werden kann. In diesem Fall würde der C₂/k-Eingangswert in den ROM 915 durch einen geeignet quantisierten Eingangswert k ersetzt sein.
Die obige Verarbeitung ist für die Pixel E, W und N völlig gleich.
Nachdem der g_i*ΔI_i-Term für jeden der vier Nachbarpixel erhalten worden ist, wird die Summation der g_i*ΔI_i-Terme durch die Summierungsschaltungsanordnung 960 ausgeführt. Die g_i*ΔI_i-Terme für die Pixel N und E werden durch den Addierer 962 addiert, während die g_i*ΔI_i-Terme für die Pixel W und S durch den Addierer 964 addiert werden. Durch den Addierer 966 wird zu dieser Summation der Mittelpixel X addiert, der den I(t₀)-Term in der Gleichung (6) darstellt. Diese Terme werden durch den Addierer 968 summiert und ausgegeben.
10 zeigt einen Blockschaltplan einer beispielhaften Schaltungsanordnung, die für die Farbwertverarbeitung in der Schaltungsanordnung nach den 5(a) und 5(b) geeignet ist. Diese Schaltungsanordnung führt eine Verarbeitung aus, die zu der in 9 ähnlich ist. Ein Takt-Controller 994 steuert die Taktung dieser Schaltung.
Der aktuellen Pixel X ist in einem FIFO-Puffer 992 gespeichert. Die vier benachbarten Pixel (direkt über dem, direkt unter dem, direkt rechts vom und direkt links vom) aktuellen Pixel X werden einem Multiplexer 980 bereitgestellt. Von diesem wird der aktuelle Pixel durch den Subtrahieren 982 subtrahiert. Diese Subtraktion führt zum ΔI_i-Term der Gleichung (6). Der Absolutwert von ΔI_i wird durch eine Absolutwertschaltung 983 bestimmt und in einem FIFO-Puffer 984 gespeichert. Die aus dem Nachschlagemodul 830 nach 8 erhaltene Leitwertkonstante C₂/k wird mit dem Absolutwert von ΔI_i multipliziert und dann durch den Subtrahieren 987 von der Leitwertkonstanten C₁ subtrahiert, um den g_i-Term der Gleichung (6) zu liefern. Dieses Ergebnis wird dann durch die Schaltungsanordnung 988 abgeschnitten. Der abgeschnittene Wert wird durch den Multiplizierer 989 mit ΔI₁ multipliziert, die im FIFO-Puffer 984 gespeichert worden war. Dann wird der g_i*ΔI_i-Term durch den Addierer 995 zum im FIFO-Puffer 992 gespeicherten ak tuellen Pixel X (der den I(t₀)-Term in der Gleichung (6) darstellt) addiert und ausgegeben. In der beispielhaften Ausführungsform der vorliegenden Erfindung ersetzt ein ROM 985 die Elemente 984, 986, 987, 988 und 989.
Obwohl die vorliegende Erfindung auf die MPEG- und DVC-Komprimierung angewendet worden ist, weil sie auf decodierte Daten in einem Rasterabtastformat wirkt, kann sie an jedes System angepasst werden, das Videodaten decodiert, die unter Verwendung quantisierter Ortsfrequenzkoeffizienten codiert worden sind.
Obwohl die vorliegende Erfindung hierin unter Bezugnahme auf bestimmte spezifische Ausführungsform veranschaulicht und beschrieben worden ist, ist trotzdem nicht beabsichtigt, dass sie auf die gezeigten Einzelheiten eingeschränkt ist. Stattdessen können an den Einzelheiten verschiedene Modifikationen ausgeführt werden, ohne von der Definition der Erfindung abzuweichen.

Claims

Vorrichtung zur Verwendung in einem Videosignal-Dekodiersystem, welches digital Datenwerte dekodiert, welche kodiert wurden unter Verwendung einer Quantisierungs-Raumfrequenz-Kompressionstechnik, wobei das System eine Filtervorrichtung aufweist, welche einen Bereich eines Ringing-Rauschens unterdrückt, welches aus einer Bildrekonstruktion resultiert, wobei die Vorrichtung aufweist: eine Vorrichtung zum Empfangen von dekodierten Datenwerten, welche jeweilige Blöcke des rekonstruierten Vollbildes bzw. Bild-Datenblockes beschreiben; und eine anisotrope Diffusions-Filtervorrichtung mit: einer Vorrichtung zur Berechnung eines separaten Grenzwertes k für jeden Block des rekonstruierten Vollbildes gemäß k(block) = α*(0.5*actual max grad)wobei α ein empirisch bestimmter Faktor ist und actual max grad ist der maximale Kantengradient in dem Block; und einen anisotropen Filter, welcher selektiv jeweilige Bildkomponenten kombiniert, mit Werten geringer als der separate Grenzwert k, um unscharfe bzw. diffuse Bildkomponenten zu erzeugen, welche das Bild mit dem unterdrückten Rauschen darstellen.
Vorrichtung nach Anspruch 1, wobei der Grenzwert ein vorgegebener Bruchteil eines maximalen Gradientenwertes in dem Block ist.
Vorrichtung nach Anspruch 1, wobei sich der Grenzwert in seinem Wert verändert wenn das Vollbild bzw. der Bild-Datenblock gefiltert wird; und weiter aufweisend eine Vorrichtung zum Steuern der anisotropen Diffusions-Filtervorrichtung durch einen Leitwert, bestimmt aus dem maximalen Gradientenwert in dem Block des Vollbildes.
Vorrichtung nach Anspruch 3, wobei der Leitwert bestimmt wird durch eine Aproximation mit einer abgeschnittenen geraden Linie.
Vorrichtung nach Anspruch 4, wobei der Leitwert berechnet wird durch die Gleichung g(gradient) = C1 + [C2/k]*gradientwobei "g" der Leitwert ist, "gradient" der maximale Gradientenwert ist, "k" ist der Grenzwert, und " C₁" und "C₂" sind Konstanten.
Vorrichtung nach Anspruch 5, wobei C₁ gleich 1,21 und C₂ gleich –0,85576 ist.
Vorrichtung nach Anspruch 2 weiter aufweisend eine Vorrichtung zur Bestimmung des maximalen Gradientenwerts, wobei die Vorrichtung aufweist: eine Komparatorvorrichtung zum Vergleichen des Größenwertes eines aktuellen Pixels mit dem jeweiligen Größenwert von vier benachbarten Pixeln, um einen größten Größenwert und einen kleinsten Größenwert zu bestimmen; und eine Subtraktionsvorrichtung zum Subtrahieren des kleinsten Größenwerts von dem größten Größenwert, um den maximalen Gradientenwert zu bestimmen.
Vorrichtung nach Anspruch 1, wobei der adaptive anisotrope Filter so konfiguriert ist, um das rekonstruierte Vollbild in ersten und zweiten Durchgängen zu verarbeiten, zum Filtern der empfangenen Datenwerte, um selektiv Signalkantenkomponenten zu unterdrücken, welche Werte haben, die geringer sind als ein Grenzwert, wobei der Grenzwert sich im Wert verändert wenn das Vollbild gefiltert wird; und wobei die Grenzwerte, welche in dem zweiten Durchgang verwendet werden, ein vorgegebener Bruchteil der jeweiligen Grenzwerte sind, welche in dem ersten Durchgang verwendet werden; und weiter aufweist: eine Vorrichtung zum Bestimmen des maximalen Gradientenwertes mit: einer Komparatorvorrichtung zum Vergleichen des Größenwertes eines aktuellen Pixels mit den jeweiligen Größenwerten von vier benachbarten Pixeln, um einen größten Größenwert und einen kleinsten Größenwert zu bestimmen; und eine Subtraktionsvorrichtung zum Subtrahieren des kleinsten Größenwertes von dem größten Größenwert, um den maximalen Gradientenwert zu bestimmen.
Vorrichtung nach Anspruch 8, wobei die Filtervorrichtung weiter aufweist: eine Vorrichtung zum Verringern des Grenzwertes um einen Faktor von zwei zur Verwendung durch den zweiten anisotropen Diffusionsfilter.
Vorrichtung nach Anspruch 1, wobei die Filterung berechnet wird gemäß der Gleichung
wobei "I(t₁)" der gefilterte Wert ist, "λ" eine numerische Stabilitätsbedingung ist, "g_i" ein Leitwert für ein aktuelles Pixel ist, "ΔI_i eine Größendifferenz zwischen dem aktuellen Pixel und einem benachbarten Pixel ist, und "I(t₀)" ist der Größenwert des aktuellen Pixels.
Vorrichtung nach Anspruch 1, wobei der Filter implementiert ist unter Verwendung eines Nur-Lese Speichers (ROM), welcher programmiert ist gemäß der Gleichung
wobei "I(t₁)" der gefilterte Wert ist, "λ" eine numerische Stabilitätsbedingung ist, "g_i" ein Leitwert für ein aktuelles Pixel ist, "ΔI_i" eine Größendifferenz zwischen dem aktuellen Pixel und einem benachbarten Pixel ist, und "I(t₀)" ist der Größenwert des aktuellen Pixels.
Verfahren zur Unterdrückung eines Bereichs eines Ringing-Rauschens, welches resultiert aus einer Bildrekonstruktion mit den Schritten: a) Empfangen von dekodierten Datenwerten, welche jeweilige Blöcke des rekonstruierten Vollbildes beschreiben; und b) anisotropes Diffusionsfiltern der empfangenen Datenwerten, um selektiv Signal-Kanten-Komponenten zu unterdrücken, mit den Schritten: berechnen eines separaten Grenzwertes k für jeden Block des rekonstruierten Vollbildes gemäß k(block) = α*(0.5*actual max grad)wobei α ein empirisch bestimmter Faktor ist und actual max grad ist der maximale Kantengradient in dem Block; und selektives Diffundieren bzw. Unscharfmachen der Bildkomponenten in den Block des Vollbildes, wobei die Komponenten Werte haben, welche geringer sind als die separaten Grenzwerte k, um diffuse bzw. unscharfe Bildkomponenten zu erzeugen, welche das im Bild mit unterdrücktem Rauschen darstellen.
Verfahren nach Anspruch 12, wobei der Grenzwert ein vorgegebener Bruchteil eines maximalen Gradientenwertes in dem Block ist.
Verfahren nach Anspruch 12, wobei sich der Grenzwert in seinem Wert verändert, wenn das Vollbild gefiltert wird; und weiter aufweisend den Schritt: c) Steuern der anisotropen Diffusionsfilterung durch einen Leitwert, bestimmt aus dem maximalen Gradientenwert in dem Block des Vollbildes.
Verfahren nach Anspruch 14, wobei der Leitwert durch eine Aproximation einer abgeschnittenen geraden Linie bestimmt wird.
Verfahren nach Anspruch 15, wobei der Leitwert berechnet wird durch die Gleichung g(gradient) = C1 + [C2/k]*gradientwobei "g" der Leitwert ist, "gradient" der maximale Gradientenwert ist, "k" ist der Grenzwert, und "C₁" und "C₂" sind Konstanten.
Verfahren nach Anspruch 16, wobei C₁ gleich 1,21 und C₂ gleich –0,85576 ist.
Verfahren nach Anspruch 13, bei welchem der maximale Gradientenwert bestimmt wird durch die Schritte: Vergleichen des Größenwertes eines aktuellen Pixel mit den jeweiligen Größenwerten von vier benachbarten Pixeln, um einen größten Größenwert und einen kleinsten Größenwert zu bestimmen; und Subtrahieren des kleinsten Größenwertes von dem größten Größenwert, um den maximalen Gradientenwert zu bestimmen.
Verfahren nach Anspruch 12, weiter aufweisend die Schritte: Filtern der empfangenen Datenwerte unter Verwendung eines ersten anisotropen Diffusionsfiltervorganges; und Filtern der empfangenen Datenwerte unter Verwendung eines zweiten anisotropen Diffusionsfiltervorganges, wobei der Grenzwert, welcher in dem zweiten Filtervorgang verwendet wird, ein Bruchteil des Grenzwertes ist, welcher in dem ersten Filtervorgang verwendet wird.
Verfahren nach Anspruch 19, bei welchem Schritt b) weiter den Schritt der Verringerung des Grenzwertes um einen Faktor von zwei aufweist zur Verwendung durch den zweiten anisotropen Diffusionsfilter.
Verfahren nach Anspruch 12, wobei die anisotrope Diffusionsfilterung berechnet wird gemäß der Gleichung
wobei "I(t₁)" der gefilterte Wert ist, "λ" eine numerische Stabilitätsbedingung ist, "g_i" ein Leitwert für ein aktuelles Pixel ist, "ΔI_i" eine Größendifferenz zwischen dem aktuellen Pixel und einem benachbarten Pixel ist, und "I(t₀)" ist der Größenwert des aktuellen Pixels.
Verfahren nach Anspruch 21, wobei die anisotrope Diffusionsfilterung durchgeführt wird unter Verwendung eines ROM.
Verfahren nach Anspruch 22, wobei der ROM programmiert ist gemäß der Gleichung
wobei "I(t_i)" der gefilterte Wert ist, "λ" eine numerische Stabilitätsbedingung ist, "g_i" ein Leitwert für ein aktuelles Pixel ist, " ΔI_i" eine Größendifferenz zwischen dem aktuellen Pixel und einem benachbarten Pixel ist, und " I(t₀)" ist der Größenwert des aktuellen Pixels.