-
Die
Erfindung betrifft den Bereich der digitalen Bebilderung und insbesondere
die Filmbebilderung mithilfe digitaler Verarbeitungsverfahren.
-
Bei
entsprechender Auslegung sind digitale Verarbeitungsverfahren verwendbar,
um Bilder effektiv zu verbessern, zu speichern und zu übertragen. Digitale
Verfahren bringen jedoch Artefakte ein, wie Aliasing, fehlende Codewerte,
irreversible Konturen und Datenverlust. Konkret wurde zudem nachgewiesen,
dass Aliasing bei Bildfrequenzen unterhalb der Nyquist-Frequenz
des in dem Digitalsystem verwendeten Abtastarrays auftreten kann
(siehe Roger R. A. Morton, Michelle A. Maurer und Christopher L.
DuMont, SMPTE Conference Image Quality: Theory and Application Proceedings,
Dallas, Texas, USA, 7. bis 9. Februar 2002). Dies bedeutet, dass
störende Artefakte
in Bilder bei Raumfrequenzen eingebracht werden, die normalerweise
unter Zugrundelegung der Erfassungsparameter dem Aliasingeffekt
nicht zugeordnet sind. Viele Artefakte sind mit Filmen oder Laufbildern
besonders wahrnehmbar. Unter diesem Aspekt werden praktikable Techniken
benötigt,
um ein Aliasing unterhalb der Nyquist-Frequenz in der Bildausgabe
von Digitalsystemen zu reduzieren, insbesondere der Filmbildausgabe
von digitalen Cinesystemen.
-
EP 1 202 220 A2 beschreibt
ein Verfahren zur Minimierung der Farb-Aliasingartefakte von einem
Digitalfarbbild mit Farbpixeln. Bei dem Verfahren werden die Luminanz-
und Chrominanzsignale aus dem Bild benutzt, um die Nachbarschaften
von zu verarbeitenden Pixeln zu berechnen. Die Nachbarschaften sind
im Wesentlichen von Pixeln begrenzt, die die Kanten definieren.
Chrominanzsignale von niedriger Frequenz werden in Abhängigkeit
von den Chrominanzsignalen erzeugt. Die Chrominanzsignale von niedriger
Frequenz und die berechnete Nachbarschaft von Pixeln werden benutzt,
um rauschbereinigte Chrominanzsignale zu erzeugen, die aufgetastet
werden, um aufgetastete, rauschbereinigte Chrominanzsignale zu erzeugen.
Die Luminanzsignale und die aufgetasteten rauschbereinigten Chrominanzsignale werden
zur Bereitstellung eines digitalen Farbbildes mit reduzierten Aliasing-Artefakten
benutzt.
-
EP 1 083 737 A2 beschreibt
ein Verfahren zur Entfernung von Farbmoirémusterrauschen mit bekannten
Farbsättigungswerten
aus einem Digitalbild. Die Farbsättigungswerte
werden benutzt, um die Region des Farbmoirés zu ermitteln. Die Farbsättigungswerte
innerhalb der Region des Farbmoirés werden dann gemäß den Farbsättigungswerten
der in der Region des Farbmoirés
befindlichen Pixel derart geändert,
dass das Farbmoirémusterrauschen verringert
wird.
-
EP 1 032 196 beschreibt
ein Verfahren und eine Vorrichtung zur Reduzierung des Rauschens
in Bewegungsartefakten in Pixeln eines verarbeiteten Videobildes
mittels Filterung. Wenn um ein Pixel von Interesse eine erhebliche
Bewegung erkannt wird, wird eine reduzierte oder minimale zeitliche
Filterung angewandt. Wenn um ein Pixel von Interesse wenig oder
gar keine Bewegung erkannt wird, wird eine maximale zeitliche Filterung
angewandt, um das Rauschen in diesem Bereich zu reduzieren. Dieses
Verfahren setzt sich jedoch nicht mit den hier erwähnten Problemen
auseinander, die Aliasing-Artefakte unterhalb der Nyquist-Frequenz
betreffen, die durch niedrige Bildabtastfrequenzen verursacht werden.
-
EP 0644696 beschreibt ein
bewegungsadaptives Raumfilterverfahren, das als Vorfilter in einer Bildbeschichtungsvorrichtung
verwendet wird, welches eine zeitliche Bandbegrenzung eines Videosignals
ohne zeitliches Aliasing verarbeitet, indem es ein Raumfilter mit
einer Bandbegrenzungs-Charakteristik gemäß einer erwünschten zeitlichen Grenzfrequenz
verwendet. Doch auch diese Fundstelle bezieht sich nicht auf Artefakte,
die durch niedrige Abtastfrequenzen eingebracht werden.
-
Die
vorliegende Erfindung löst
eines oder mehrere der vorstehend genannten Probleme. Kurz gesagt,
löst die
vorliegende Erfindung nach einem Aspekt der Erfindung die Probleme
mit Artefakten, die durch Aliasing unterhalb der Nyquist-Frequenz eingeführt werden,
indem die Aliasing-Artefakte in einem Bild auf einen Wert unterhalb
der Schwelle der sichtbaren Wahrnehmung reduziert werden, wobei das
Verfahren folgende Schritte umfasst: Bereitstellung von Ausgangsbilddaten
als Eingabebild mit Aliasing-Artefakten unterhalb der Nyquist-Frequenz; Verwendung
eines Algorithmus der sichtbaren Wahrnehmung zur Identifizierung der
Lage und Eigenschaften der Aliasing-Artefakte unterhalb der Nyquist-Frequenz,
wodurch Artefakt-Koordinaten und -Parameter erzeugt werden; und
Verarbeitung der Aliasing-Artefakte unterhalb der Nyquist-Frequenz durch
Bezugnahme auf die Artefakt-Koordinaten und -Parameter zur Reduzierung
ihrer Sichtbarkeit, wodurch ein artefaktkorrigiertes Bild bereitgestellt
wird. Unter Verwendung des Algorithmus werden Ausgangsbilddaten
in einer im Wesentlichen artefaktfreien Weise in Form eines hoch
aufgelösten
Ausgangsbildes bereitgestellt. Das hoch aufgelöste Ausgangsbild wird dann
zur Reduzierung der Pixelauflösung des
hoch aufgelösten
Ausgangsbildes auf eine Anzeigeauflösung skaliert, wodurch ein
Bild mit reduzierter Auflösung
erzeugt wird. Die visuelle Wahrnehmungsdifferenz zwischen dem Ausgangsbild
mit hoher Auflösung
und dem Bild mit reduzierter Auflösung wird vorherbestimmt, wodurch
die Artefakte in dem Bild mit reduzierter Auflösung identifiziert werden.
-
Zwar
wird das Aliasing nicht immer vollständig beseitigt, aber der Vorteil
des erfindungsgemäßen Verfahrens
besteht darin, dass das Aliasing in Situationen weniger sichtbar
ist, in denen es sonst sichtbar wäre, wobei dies alles unter
Einsatz von minimalem Verarbeitungsaufwand erfolgt. Hiermit wird ein
Feed-Forward-Verfahren zur Minimierung bestimmter Aliasing-Artefakte
bereitgestellt, ohne dass dem Bildverarbeitungssystem ein hoher
Berechnungsaufwand auferlegt wird.
-
Diese
und weitere Aspekte, Aufgaben, Merkmale und Vorteile der vorliegenden
Erfindung werden unter Berücksichtigung
der folgenden detaillierten Beschreibung der bevorzugten Ausführungsbeispiele und
anhängenden
Ansprüche
sowie durch Bezug auf die anliegenden Zeichnungen besser verständlich und
verdeutlicht.
-
Die
Erfindung wird im folgenden anhand in der Zeichnung dargestellter
Ausführungsbeispiele näher erläutert.
-
Es
zeigen:
-
1 ein übergeordnetes
Blockdiagramm des erfindungsgemäßen Verfahrens
zur Entfernung von Artefakten.
-
2 ein
Blockdiagramm mit weiteren Details der in 1 gezeigten
Stufe der sichtbaren Wahrnehmung.
-
3 ein
Blockdiagramm mit weiteren Details des in 2 gezeigten
Prädiktors
für die
sichtbare Wahrnehmungsdifferenz.
-
4 ein
Blockdiagramm mit einem Beispiel eines in 3 gezeigten
Artefakterfassungsverfahrens.
-
5 ein
Blockdiagramm mit weiteren Details der in 1 gezeigten
Artefaktbeseitigungsstufe.
-
6 ein
Blockdiagramm mit Details einer alternativen Artefaktbeseitigungsstufe.
-
7 ein
perspektivisches Diagramm eines Computersystems zur Implementierung
der vorliegenden Erfindung;
-
8 ein
Ablaufdiagramm für
ein alternatives Ausführungsbeispiel
eines erfindungsgemäßen Verfahrens
zur Beseitigung von Artefakten.
-
Da
Bildverarbeitungssysteme bekannt sind, die mit Aliasingreduzierung
arbeiten, bezieht sich die vorliegende Beschreibung insbesondere
auf Attribute, die Teil des erfindungsgemäßen Verfahrens und Systems
sind oder direkt damit zusammenwirken. Hier nicht gezeigte oder
beschriebene Verfahren und Systemattribute sind aus den nach dem
Stand der Technik bekannten wählbar.
In der folgenden Beschreibung würde
ein bevorzugtes Ausführungsbeispiel
der vorliegenden Erfindung als ein Softwareprogramm implementiert
werden, obwohl Fachleute selbstverständlich wissen, dass das Äquivalent
zu dieser Software auch in Hardware implementierbar ist. Bezogen
auf das nachfolgend beschriebene, erfindungsgemäße Verfahren und System ist
die hier nicht explizit gezeigte, beschriebene oder vorgesehene
Software, die zur Implementierung der vorliegenden Erfindung verwendbar
ist, von herkömmlicher
Art, wie in der einschlägigen
Technik üblich. Wenn
die Erfindung als Computerprogramm implementiert wird, kann das
Programm auf einem herkömmlichen,
computerlesbaren Speichermedium gespeichert werden, beispielsweise
auf magnetischen Speichermedien, wie Magnetplatten (z. B. Diskette oder
Festplatte) oder auf Magnetband, optischen Speichermedien, wie einer
optischen Platte, einem optischen Band oder einem maschinenlesbaren Strichcode,
auf Halbleiterspeichervorrichtungen, wie RAM (Random Access Memory)
oder ROM (Read Only Memory) oder auf jeder anderen physischen Vorrichtung
oder jedem anderen Medium, das zur Speicherung eines Computerprogramms
geeignet ist.
-
Bevor
die vorliegende Erfindung beschrieben wird, sei zum besseren Verständnis darauf
hingewiesen, dass die vorliegende Erfindung vorzugsweise auf jedem
bekannten Computersystem einsetzbar ist, wie etwa einem Personal
Computer oder einer Workstation der Art, wie sie in Postproduktionseinrichtungen
zur Verarbeitung von Cinefilmen zum Einsatz kommen. Daher wird hier
nicht das Computersystem detailliert besprochen. Es sei zudem darauf
hingewiesen, dass die Bilder entweder direkt in das Computersystem
eingegeben werden (beispielsweise mit einer Digitalkamera), oder
dass sie vor der Eingabe in das Computersystem digitalisiert werden
(beispielsweise durch Abtastung eines Originals, wie etwa eines
Silberhalogenidfilms).
-
7 zeigt
ein Computersystem 10 zur Implementierung der vorliegenden
Erfindung. Zwar wird hier das Computersystem 10 zur Veranschaulichung eines
bevorzugten Ausführungsbeispiels
gezeigt, aber die vorliegende Erfindung ist nicht auf das gezeigte
Computersystem 10 beschränkt, sondern kann mit jedem
elektronischen Verarbeitungssystem verwendet werden. Das Computersystem 10 umfasst eine
mikroprozessorgestützte
Einheit 12 zum Empfangen und Verarbeiten von Softwareprogrammen sowie
zur Durchführung
anderer Verarbeitungsfunktionen. Ein Display 14 ist elektronisch
mit der mikroprozessorgestützten
Einheit 12 verbunden, um benutzerbezogene Informationen
in Verbindung mit der Software anzuzeigen, z. B. mittels einer grafischen Benutzeroberfläche. Eine
Tastatur 16 ist ebenfalls mit der mikroprozessorgestützten Einheit 12 verbunden, damit
ein Benutzer Informationen an die Software übergeben kann. Als Alternative
zur Verwendung der Tastatur 16 als Eingabegerät ist eine
Maus 18 verwendbar, um ein Auswahlelement 20 am
Display 14 zu bewegen und eine Position auszuwählen, an
der sich das Auswahlelement 20 mit der Position überlagert,
wie in der Technik bekannt ist.
-
Ein
Compact-Disk-Lesespeicher (CD-ROM) 22 ist mit der mikroprozessorgestützten Einheit 12 verbunden,
um Softwareprogramme zu empfangen und um eine Einrichtung zur Eingabe
der Softwareprogramme und anderer Informationen in die mikroprozessorgestützte Einheit 12 über eine
Compact Disk 24 bereitzustellen, die typischerweise ein
Softwareprogramm umfasst. Ein Softwareprogramm kann sich auch auf
einer Diskette 26 befinden, die zur Ein gabe des Softwareprogramms
in die mikroprozessorgestützte
Einheit 12 eingelegt wird. Wie in der Technik bekannt ist,
ist die mikroprozessorgestützte Einheit 12 zudem
zur internen Speicherung des Softwareprogramms programmierbar. Die
mikroprozessorgestützte
Einheit 12 kann eine Netzwerkverbindung 27, beispielsweise
eine Telefonleitung, zu einem externen Netzwerk aufweisen, z. B.
zu einem LAN (Local Area Network) oder zum Internet. Ein Drucker 28 ist
mit der mikroprozessorgestützten
Einheit 12 verbunden, um eine Hardcopy der Ausgabe des
Computersystems 10 zu erstellen.
-
Bilder
können
zudem am Display 14 über eine
Personal-Computer-Karte 30 (PC-Karte) angezeigt werden,
die vormals als PCMCIA-Karte (basierend auf den Spezifikationen
der Personal Computer Memory Card International Association) bekannt
war, die in der Karte 30 elektronisch ausgebildete, digitalisierte
Bilder enthält.
Die PC-Karte 30 wird in die mikroprozessorgestützte Einheit 12 eingesteckt,
um das Bild am Display 14 visuell darzustellen. Bilder können zudem über die
Compact Disk 24, die Diskette 26 oder die Netzwerkverbindung 27 eingegeben werden.
Alle in der PC-Karte 30, der Diskette 26 oder der
Compact Disk 24 gespeicherten oder über die Netzwerkverbindung 27 eingegebenen
Bilder können aus
verschiedenen Quellen stammen, beispielsweise einer (nicht gezeigten)
Digitalkamera oder einem (nicht gezeigten) Scanner. Erfindungsgemäß werden die
Bilder üblicherweise
in einer digitalen Zwischenform gespeichert, z. B. durch Abtasten
eines Cinefilms mit einem Filmabtaster (Telecinemaschine). Die hier
beschriebene Anti-Aliasingverarbeitung kann mit Hardware und/oder
Software durchgeführt
werden, die den Datenstrom von dem Filmabtaster übernimmt und diesen mit der
gleichen Abtastfrequenz verarbeitet, mit der der Filmabtaster die
Daten erzeugt. Sie kann auch in einer Workstation durchgeführt werden, die
zur Postproduktion zwecks Erzeugung von Spezialeffekten verwendet
wird. Alternativ hierzu können die
Digitalbilder digital direkt aus einer digitalen Cinefilmkamera
erzeugt und in die digitale Zwischenform übertragen werden.
-
Die
Erfindung umfasst das Lokalisieren und Reduzieren der Sichtbarkeit
von Aliasing-Artefakten unterhalb der Nyquist-Frequenz, z. B. durch
Abstimmen der Frequenz eines Filters zur Entfernung der Aliasing-Frequenzartefakte
oder zur Reduzierung des Kontrasts von Details in Bereichen, in
denen Artefakte in dem Detail störend
waren, insbesondere aufgrund von Bewegung. Obwohl hier das Hauptziel der
vorliegenden Erfindung liegt, ist sie auch für stationäre Bilder verwendbar, einschließlich stationärer Bilder
innerhalb eines Filmbildlaufs, welche aufgrund von Aliasing-Artefakten
die Originalszene nicht getreu wiedergeben. Insofern als gezeigt
wurde, dass Aliasing bei Bildfrequenzen unterhalb der Nyquist-Frequenz
des Abtastarrays auftritt, können
die hier beschriebenen Techniken das Vorhandensein dieser Artefakte
erkennen und ansprechen.
-
Um
die Zusammenhänge
zwischen Aliasing, eingeschränkter
Auflösung
und Pixelzahl zu verstehen, ist die Kenntnis des das Aliasing verursachenden
Mechanismus erforderlich. Aliasing lässt sich definieren als "jeder Artefakt, der
in die Bilddaten als Ergebnis von Pixeln eingeführt wird, die mit dem Szeneninhalt
interagieren". Aus
dieser Definition ist ersichtlich, dass Aliasing szenenabhängig ist
und dass es daher Szenen gibt, in denen Aliasing nicht sichtbar ist.
Allerdings tritt Aliasing auf unterschiedlichste Weise in Filmbildern
auf, u. a. als künstliche
Bewegung in Bereichen mit hoher Detaillierung, als Rauschnester
in Schraffuren, als unruhige Kanten entlang einzelner Linien oder
als unruhige Linienbänder über gleichmäßigen Schraffuren.
-
Aliasing-Effekte
werden auch als "Geflecht", „Aliaskonturen", „Schimmern", „Moussieren" und „Schwirren" bezeichnet. In vielen
Bildbereichen, wie Kleidungs-, Beton- und Steinschraffuren, bei
Gräsern und
an Linienkanten, treten diese Artefakte häufig unerwartet auf. In Innen-
und Außenszenen
erscheinen diese Artefakte auf Schraffuren, die geradlinig betrachtet
werden, während
sich die Schraffuren bewegen oder ihren Winkel ändern, beispielsweise wenn
schraffiertes Material um einen Arm oder um eine Schulter gewickelt
ist. Bewegungs-Aliasing
kann zudem überraschende
Linien und Farben verursachen, die als Unruhe in regelmäßigen Szenenmustern
wahrgenommen werden. Dies kann ein ernstes Problem darstellen, da
das menschliche Auge besonders stark auf Bewegungsreize anspricht.
Aliasing-Effekte werden auch in kleinen Bereichen auf Anhieb vom
menschlichen Auge erkannt.
-
Es
gibt zahlreiche Verfahren, um Aliasing-Artefakte auf einen Wert
unterhalb der sichtbaren Schwellenwerte zu reduzieren. Ein besonders
robustes Verfahren besteht darin, die Pixelzahl zu erhöhen oder
die Detailliertheit von Bildern zu reduzieren. Es ist bekannt, dass
Artefakte sichtbar werden, wenn sie so groß sind, dass sie für den Betrachter
wahrnehmbar sind. Je nach Schulung und Sehschärfe nehmen unterschiedliche
Betrachter Artefakte unterschiedlich wahr. Außerdem wirkt sich die jeweilige
Position des Betrachters in Bezug auf die Anzeige oder den Projektionsschirm
auf die Wahrnehmung von Artefakten aus. In der Literatur über das menschliche
Auge wird die Wahrnehmungsschwelle von Betrachtern erörtert (siehe
beispielsweise S. J. Anderson und D. C. Burr, "Spatial Summation Properties of Directionally
selective Mechanisms in Human Vision", J. Opt. Soc. Am. A, 8: 1330–1339, August
1991).
-
Das
hier beschriebene erfindungsgemäße Verfahren
umfasst die Modellierung der Artefakt-Wahrnehmung und die Modifikation der
Bilder für diejenigen
Bereiche, in denen der Artefakt modellgemäß als sichtbar vorhergesagt
wird. In einigen Fällen kann
die Modifikation des Bildes einfach die Reduzierung des Kontrasts
in dem Bereich umfassen, in dem der wahrnehmbare Artefakt vorhanden
ist. In anderen Fällen
können
komplexere Beseitigungsverfahren die Identifikation des Artefakts
und die Verwendung der Ausgangssignalfrequenz und der Abtastung
des Pixelmusters umfassen, um die Artefakt-Frequenzkomponenten vorherzusagen,
worauf dann diese Frequenzkomponenten aus dem Bild in dem Bereich
des Artefakts entfernt werden.
-
Die
Artefakt-Identifizierung lässt
sich durchführen,
indem das Originalbild oder die Szene artefaktfrei bei einer hohen
Auflösung
abgetastet werden. Dann wird die Pixelauflösung des Bildes auf die Pixelauflösung reduziert,
die einer gewählten
Anzeigeauflösung
entspricht. Das hoch aufgelöste,
artefaktfreie Bild wird dann mit dem Bild mit reduzierter Auflösung verglichen,
worauf ein Moiré oder ähnliche Aliasing-Artefakte
auf einer Ebene erfasst werden, die im Allgemeinen einem geschulten
Betrachter entsprechen, der zwischen 0,5 und 2 Bildhöhen von
dem Schirm entfernt platziert ist.
-
1 zeigt
ein übergeordnetes
Blockdiagramm des erfindungsgemäßen Prozesses
und Systems. Die Ausgangsbilddaten, aus denen die Artefakte entfernt
werden sollen, werden als Eingabebild auf einer Eingabeleitung 101 an
eine visuelle Wahrnehmungsstufe 102 übergeben, die einen Algorithmus zur
visuellen Wahrnehmung verwendet, um die Lage und Art der Artefakte
zu ermitteln. Das Eingabebild ist typischerweise eine Version der
Ausgangsbilddaten mit reduzierter Auflösung, wie an einer ausgewählten Anzeige
dargestellt, und enthält
daher die zuvor erwähnten
Artefakte unterhalb der Nyquist-Frequenz. Die visuelle Wahrnehmungsstufe 102 erzeugt
eine Ausgabe auf einer Leitung 103, die x-/y-Koordinaten (und
wahlweise für
ein Filmbild Bildfeldnummern) enthält, die die Artefaktlage bezeichnen.
Die visuelle Wahrnehmungsstufe 102 erzeugt zudem Artefakteigenschaften,
die auf einer Leitung 104 ausgegeben werden. Sowohl die
Koordinaten auf der Leitung 103 als auch die Eigen schaften
auf der Leitung 104 werden an eine Artefakt-Beseitigungsstufe 105 angelegt, die
auch Bilddaten empfängt,
aus denen die Artefakte auf der Leitung 101 entfernt werden
sollen. Die Artefakt-Beseitigungsstufe 105 stellt auf einer
Ausgabeleitung 106 ein artefaktkorrigiertes Bild bereit.
-
2 zeigt
zudem weitere Details der visuellen Wahrnehmungsstufe 102,
welche eine Skalierungsfunktion 202 und einen Prädiktor für die visuelle Wahrnehmungsdifferenz 204 umfasst.
Die eingehenden Ausgangsbilddaten, die gescannt oder in anderer
Weise in einer im Wesentlichen artefaktfreien Form bei einer hohen
Auflösung
bereitgestellt werden, z. B. mit einem hochauflösenden Scanner, werden an eine
Leitung 201 angelegt und an die Skalierungsfunktion 202 übergeben,
wo die Pixelauflösung des
Bildes auf eine ausgewählte
Anzeigeauflösung reduziert
wird. Die ausgewählte
Anzeigeauflösung stellt
den von einem typischen Betrachter tatsächlich betrachteten Schirm
dar, bei dem es sich z. B. um einen Röhrenbildschirm oder um eine
Kinoleinwand handeln kann. Es sind verschiedene Arten bekannter Algorithmen
zur Auflösungsreduzierung
verwendbar, beispielsweise, aber nicht abschließend, die bilineare, die Gaußsche oder
die bikubische Interpolation. Das Pixelbild mit reduzierter Auflösung wird
auf einer Leitung 203 ausgegeben und dann dem Prädiktor für die visuelle
Wahrnehmungsdifferenz 204 bereitgestellt. Der Prädiktor ermittelt
die Differenz zwischen den beiden Bildern, indem er zunächst das
Bild auf der Leitung 203 zurück in die Originalauflösung des Ausgangsbildes
auf Leitung 201 skaliert und dann Differenzbewertungen
durchführt.
Diese Differenzen werden dann mit einer visuellen Modellierungsfunktion
auf ihre visuelle Auswirkung bewertet.
-
3 zeigt
weitere Details des Prädiktors
für die
visuelle Wahrnehmungsdifferenz 204, wobei das Bild mit
reduzierter Auflösung
zunächst
mit einem Skalierer 304 auf die Auflösung des Ausgangsbildes auf
Leitung 201 erhöht
wird. Das Bild mit höherer
Auflösung
auf Leitung 305 wird an das Differenzmodul 306 übergeben,
das die Differenz zwischen dem artefaktfreien Ausgangsbild 201 und
dem skalierten Bild 305 ermittelt. Das Differenzamplitudensignal wird
dann auf einer Leitung 307 an eine Vielzahl von Artefakterfassungsprozessen 310, 311, 312, 313.... übergeben,
die das Originalausgangsbild von der Leitung 201, das skalierte
Bild von der Leitung 203 und das hochskalierte Bild von
der Leitung 305 empfangen. Die Artefakterfassungsprozesse 310, 311, 312 und 313 stellen
Informationen über
die Artefakte bereit, einschließlich
Artefaktparameter, die den Artefakttyp, die Artefaktlage und sonstige Artefaktparameter,
wie Frequenz, Phase und weitere für die Artefaktbeseitigung nötige Informationen
liefern. Diese Parameter werden in einer Kombinationsstufe 320 kombiniert
und auf einer Leitung 321 zur Artefaktbeseitigungsstufe 105 ausgegeben.
-
4 zeigt
ein Beispiel eines Artefakterfassungsprozesses 310, 311, 312 oder 313.
Das Differenzamplitudensignal auf Leitung 307 tritt in
eine Schwellenwertstufe 401 für einen gegebenen Artefakterfassungsprozess
ein (beispielsweise für
einen Artefakterfassungsprozess 310), der die Differenzamplitude
auf Leitung 307 mit einer Referenzamplitude vergleicht,
die von einem Amplitudengenerator 401a erzeugt worden ist,
was eine Funktion des artefaktfreien Signals 201 ist. Zweck
dieser Funktion ist es, die visuelle Wahrnehmung von Differenzen über den
visuellen dynamischen Bereich zu berücksichtigen. Ein Wahrnehmungsdifferenzsignal
wird über Leitung 402 an
einen zweidimensionalen Fouriertransform-Analysator 403 angelegt,
der ein Signal auf einer Leitung 404 ausgibt, das die Frequenz
und zweidimensionale Phase der von dem Differenzsignal auf Leitung 402 bezeichneten
Artefakte identifiziert.
-
Eine
Abschwächungseinheit 406 schwächt die
Artefaktbereiche ab, um eine Artefaktregion zu bilden, die die Region
identifiziert, die über
dem Artefakt liegt. Die Informationen der Artefaktregion werden
als Regionssignal auf Leitung 405 ausgegeben. Die Signale
auf den Leitungen 405 und 404 treten dann in eine
Kombinationsstufe 408 ein, die Positionsfrequenz und Phasencharakteristika
auf Leitung 409 für
eine gegebene Region zusammen mit der Art des Artefakts ausgibt.
Diese Informationen werden an die Artefakt-Beseitigungsstufe 105 übergeben.
-
5 zeigt
ein Beispiel der Artefakt-Beseitigungsstufe 105 unter Verwendung
der von der Kombinationsstufe 408 auf Leitung 409 bereitgestellten Phasen-
und Regionsinformationen. Diese Informationen treten in den Steuersignalgenerator 501 zusammen
mit Bildinformationen ein, beispielsweise aus den Leitungen 201, 203 und 305,
sowie mit Differenzinformationen aus Leitung 307. Auf der
Grundlage dieser Informationen werden die Steuersignale an ein Notch-
oder Bandsperrfilter 502 gesendet, um das Filter derart
abzustimmen, dass die in 4 identifizierten Aliasing-Frequenzartefakte
aus dem Bild auf Leitung 203 beseitigt werden.
-
Selbstverständlich können Artefaktdaten
in der Funktion 320 gemischt werden; wenn allerdings eine
1:1-Beziehung zwischen den Artefaktdetektoren 310, 311, 312 und 313 und
den Artefaktbeseitigungsfunktionen besteht, ist die Mischfunktion 320 möglicherweise
nicht erforderlich, da Artefaktdaten direkt an eine bestimmte Artefaktbeseitigungsstufe
gesendet werden können.
-
Ein
weiteres Verfahren zur Erfassung visuell erfassbarer Artefakte besteht
darin, zu prüfen,
ob die Differenz in dem Prädiktor
für die
visuelle Wahrnehmungsdifferenz die Schwellenwerte überschreitet, die
durch die Werte definiert sind, wie nach Peter G. J Barten, Contrast
Sensitivity of the Human Eye and Its Effects an Image Quality, SPIE
Optical Engineering Press, 1999. Seite 27–60, und insbesondere nach
Gleichung 3.26., vorbestimmt.
-
6 zeigt
ein alternatives Verfahren zur Artefaktbeseitigung. Die Daten, die
die Region des Artefakts beschreiben, werden beispielsweise an Leitung 409 oder 321 angelegt,
während
das Bild an Leitung 203 anliegt. Die Artefaktlage wird über die
Leitung 409 oder 321 identifiziert, wobei der
Bildkontrast in diesem Bereich um einen Kontrastfunktionsapplikator 601 reduziert
wird, um ein modifiziertes Bild auf Leitung 602 aus der
an den Applikator 601 angelegten Kontrastfunktion zu erzeugen,
welche den Kontrast in den Bereich reduziert, in dem der Artefakt liegt.
-
Alternativ
kann in einem solchen Bereich das Leistungsspektrum des Signals
gemessen werden, und – falls
es einen visuellen Schwellenwert einer Wahrnehmbarkeitsfunktion überschreitet,
kann entweder der Bildkontrast oder das Frequenzansprechverhalten
so eingestellt werden, dass das Leistungsspektrum in dem Bereich
des Bildes, in dem Aliasing auftritt, unter die Sichtbarkeitsschwelle
der Wahrnehmbarkeitsfunktion fällt.
-
Für das Verständnis der
Erfindung ist es wichtig, darauf hinzuweisen, dass der Prozess das Modellieren
der Artefaktwahrnehmung in der visuellen Wahrnehmungsstufe 102 und
das Modifizieren der eingegebenen Bilder in der Artefakt-Beseitigungsstufe 105 für solche
Bereiche umfasst, in denen der Artefakt gemäß dem Modell als sichtbar vorhergesagt
wird. Derartige eingegebene Bilder entsprechen den Bildern, die
in einem ausgewählten
Anzeigesystem tatsächlich
angezeigt werden. Nach dem in der visuellen Wahrnehmungsstufe 102 verwendeten
Modell wird die Artefaktidentifizierung durchgeführt, indem eine hoch aufgelöste Version des
Originalbildes oder eine Szene in im Wesentlichen artefaktfreier
Weise erzeugt wird. Üblicherweise steht
die hoch aufgelöste
Version dem Anzeigesystem als übermitteltes
Film bildsignal zur Verfügung. Als
nächstes
wird die Pixelauflösung
des hoch aufgelösten
Bildes auf die Pixelauflösung
reduziert, die der Anzeigeauflösung
des ausgewählten
Anzeigesystems entspricht, wodurch die eingegebenen Bilder im Wesentlichen
repliziert werden. Das hoch aufgelöste, artefaktfreie Bild wird
dann mit dem Bild mit reduzierter Auflösung verglichen, worauf ein
Moiré oder ähnliche
Aliasing-Artefakte auf einer Ebene erfasst werden, die im Allgemeinen
einem in einem bestimmten Abstand platzierten geschulten Betrachter
entsprechen, der z. B. zwischen 0,5 und 2 Bildhöhen von dem Schirm entfernt
platziert ist. In einigen Fällen kann
die Modifikation des Bildes einfach die Reduzierung des Kontrasts
in dem Bereich umfassen, in dem der wahrnehmbare Artefakt vorhanden
ist. In anderen Fällen
können
komplexere Beseitigungsverfahren die Identifikation des Artefakts
und die Verwendung der Ausgangssignalfrequenz und der Abtastung
des Pixelmusters umfassen, um die Artefakt-Frequenzkomponenten vorherzusagen, worauf dann
diese Frequenzkomponenten aus dem Bild in dem Bereich des Artefakts
entfernt werden. In beiden Fällen
wird diese Modifikation an die Eingabebilder in der Artefakt-Beseitigungsstufe 105 angelegt,
was, wie in 5 und 6 gezeigt,
dem Anlegen der Modifikation an das Bild mit reduzierter Auflösung entspricht.
-
In
einem alternativen Ausführungsbeispiel
zu dem in 1 bis 6 gezeigten
Ausführungsbeispiel
können
Artefakte als Bewegung ermittelt werden, die einer Bewegung auferlegt
werden. Beispielsweise und wie in 8 gezeigt,
können
in einem Eingabebild mit Objektbewegung (Eingabe in Schritt 601)
Filmbildartefakte als Bewegung in einer Richtung auftreten, die
sich von der tatsächlichen
Bewegung in der Szene unterscheidet. Nach diesem Ansatz werden Bewegungsvektoren
der Objekte zwischen den Szenen bestimmt (in Schritt 602);
es gibt bekannte Techniken zur Bestimmung von Bewegungsvektoren,
siehe beispielsweise M. K. Ozkan, M. I. Sezan, A. T. Erdem und A.
M. Tekalp, "Multiframe
Wiener Restoration of Image Sequences" in Motion Analysis and Image Sequence
Processing, herausgegeben von M. I. Sezan und R. L. Lagendjik, Kluwer
Publishers, 1993. Jede Bewegung, die nicht mit der erfassten Objektbewegung übereinstimmt (wie
in Schritt 603 erfasst) und die eine (in Schritt 604)
zwischen der Moiré-Beziehung
zwischen den Szenenpixeln und dem Szeneninhalt vorherbestimmte Frequenz
aufweist (unter der Voraussetzung, dass die Artefaktfrequenz eine
Harmonische der Summe und der Differenzfrequenz der Bildinhaltsfrequenz
ist und dass die Pixelfrequenz in der Richtung der Bildinhaltsfrequenz
liegt), unterliegt Bewegungs-Aliasing-Artefakten.
-
Sobald
ein Signal erfasst wird, dessen Frequenz eine Harmonische aus der
Summe oder der oben erwähnten
Differenz erfüllt
und eine Bewegung in einer Richtung bezeichnet, die mit der Bewegung der
Objekte der Szene nicht übereinstimmt,
kann dieses wahlweise entfernt werden (in Schritt 605),
indem das Eingangssignal gefiltert wird, z. B. durch Konfiguration
eines zweidimensionalen Filters, um als ein Bandsperrfilter für die ermittelten
Artefaktfrequenzen zu dienen, wodurch (in Schritt 606)
ein im Wesentlichen artefaktfreies Signal erzeugt wird.