DE60217243T2 - Zeitverarbeitung für eine Echtzeitmodellierung vom Verhalten des menschlichen Sehvermögensystems - Google Patents

Zeitverarbeitung für eine Echtzeitmodellierung vom Verhalten des menschlichen Sehvermögensystems Download PDF

Info

Publication number
DE60217243T2
DE60217243T2 DE60217243T DE60217243T DE60217243T2 DE 60217243 T2 DE60217243 T2 DE 60217243T2 DE 60217243 T DE60217243 T DE 60217243T DE 60217243 T DE60217243 T DE 60217243T DE 60217243 T2 DE60217243 T2 DE 60217243T2
Authority
DE
Germany
Prior art keywords
outputs
temporal
test
linear
filter outputs
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60217243T
Other languages
English (en)
Other versions
DE60217243D1 (de
Inventor
Kevin M. Beaverton Ferguson
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tektronix Inc
Original Assignee
Tektronix Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tektronix Inc filed Critical Tektronix Inc
Application granted granted Critical
Publication of DE60217243D1 publication Critical patent/DE60217243D1/de
Publication of DE60217243T2 publication Critical patent/DE60217243T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00Diagnosis, testing or measuring for television systems or their details

Description

  • STAND DER TECHNIK
  • Die vorliegende Erfindung betrifft die Beurteilung der Videobildqualität und im Besonderen die temporale Verarbeitung für die Verhaltensmodellierung des menschlichen Sehsystems in Echtzeit.
  • Im Allgemeinen können die eingesetzten Reize zur Erforschung des menschlichen Sehsystems (HVS als englische Abkürzung von Human Vision System) unter Verwendung der folgenden Parameter beschrieben werden: zeitliche Frequenz; räumliche Frequenz; durchschnittliche Luminanz oder laterale Maskierungseffekte; Winkelmaß oder Größe des Zielbilds auf der Netzhaut bzw. Retina; Exzentrizität oder Winkelabstand von der Sichtfeldmitte (Fovea); äquivalente Augenbewegung; Drehausrichtung und Umgebung. Ferner können viele der Reize in eine der folgenden Kategorien eingeteilt werden: stehende Wellen, Wanderwellen, temporale Impulse und Stufen, Kombinationen der vorstehenden Optionen (drehend, sowohl des Zielbildmusters als auch der Maskierung) und "natürliche" Szenen/Sequenzen. Die Reaktionen bzw. das Ansprechverhalten auf diese Reize wird parameterisiert als: Schwellenwert der Wahrnehmung wie in der Diskriminierung, die temporale Kontrastwahrnehmung oberhalb der Empfindungsschwelle, die wahrgenommene räumliche Frequenz, einschließlich Frequenz-Aliasing/Verdoppelung, die wahrgenommene temporale Frequenz, einschließlich Flickern bzw. Flackern, etc., die wahrgenommene Geschwindigkeit (Geschwindigkeit und Richtung), wahrgenommene Phantomsignale (Rauschen, Stör- bzw. Geisterbilder, zusätzliche/fehlende Impulse, etc.), die wahrgenommene Bildqualität und neuronale Reaktionen (Spannungskurvenformen, etc.)
  • Das Problem liegt in der Erzeugung eines Verfahrens zum Reproduzieren und Prädizieren menschlicher Reaktionen bzw. Ansprechverhalten bei gegebener entsprechender Gruppe von Reizen. Das ultimative Ziel ist es, die Bildqualität vorherzusagen bzw. zu prädizieren. Es wird angenommen, dass um dies zu erreichen, mindestens das Ansprechverhalten auf und oberhalb der Empfindungsschwelle so präzise wie möglich nachempfunden werden müssen. Darüber hinaus ist die Prädiktion visueller Illusionen, wie etwa der Raumfrequenzverdoppelung oder derer, die im Verhältnis zum Sehen zusätzlicher (Phantom) Impulse verbunden sind, wünschenswert, wobei dies jedoch als von sekundärer Bedeutung betrachtet wird. Schließlich sollten die Prädiktionen im Einklang mit neuronalen und anderen intermediären Ansprechverhalten stehen.
  • Die HVS-Modelle in der Literatur berücksichtigen entweder nicht das zeitliche Ansprechverhalten oder die grundlegenden Aspekte (wie etwa die bimodale räumlichtemporale Empfindlichkeitsoberfläche für stehende Wellen, die Maskierung, die räumliche Frequenzverdoppelung, etc.) und/oder sie sind zu rechenintensiv oder ineffizient für die meisten praktischen Anwendungen.
  • EP-A-1100278 vom Anmelder der vorliegenden Erfindung und mit dem Titel "Real Time Human Vision System Behavioral Modeling" stellt einen HVS-Verhaltensmodellierungsalgorithmus bereit, der von räumlicher Beschaffenheit ist, und der ausreichend einfach ist, so dass er in einer Echtzeit-Videoumgebung ausgeführt werden kann. Referenz- und Testbildsignale werden in separaten Kanälen verarbeitet. Jedes Signal wird räumlich tiefpassgefiltert, in entsprechende Bereiche segmentiert und weist danach die Werte der Bereiche subtrahiert von den gefilterten Signalen auf. Danach werden nach der Injektion bzw. Einführung von Rauschen bzw. Störungen die beiden verarbeiteten Bildsignale voneinander subtrahiert, und es werden Varianzen je Segment bestimmt, anhand welchen eine Metrik für die Videobildqualität bestimmt wird. Die räumliche Modellierung berücksichtigt jedoch keine temporalen Effekte.
  • Neuronale Reaktionen bzw. Ansprechverhalten weisen allgemein ein schnelles Einschwingen und ein langsames Ausschwingen auf, und es gibt Beweise dafür, dass einige der Retina-Ganglienzellen schneller auf positive temporale Impulse ansprechen, andere auf negative und wiederum andere auf beide. Wenn das Einschwingen schneller ist als das Ausschwingen, so tritt in jedem Fall eine Gleichrichtung auf, die von der temporalen Frequenz abhängig ist. Oberhalb einer kritischen temporalen Frequenz, auf der die Gleichrichtung dominant wird, erfolgt eine Raumfrequenzverdoppelung. Diese kritische temporale Frequenz entspricht einer sekundären Spitze des Raum-Zeit-Ansprechverhaltens, wobei die räumliche Frequenzempfindlichkeitskurve (und der zugeordneten Kontrastempfindlichkeit im Verhältnis zu der Frequenz – CSF) grob um eine Oktave von der Kurve bei 0 Hertz nach unten übersetzt wird.
  • Benötigt wird ein Algorithmus für eine Echtzeit-HVS-Modellierung, welche die Effizienz und die Präzision für die Voraussage bzw. Prädiktion des temporalen bzw. zeitlichen Ansprechverhaltens des HVS verbessert.
  • KURZE ZUSAMMENFASSUNG DER ERFINDUNG
  • Vorgesehen ist gemäß der vorliegenden Erfindung ein Verfahren gemäß dem gegenständlichen Anspruch 1.
  • Bevorzugte Merkmale der Erfindung sind durch die Unteransprüche definiert.
  • Die Aufgaben, Vorteile und weitere neuartige Merkmale der vorliegenden Erfindung werden aus der folgenden genauen Beschreibung deutlich, wenn diese in Verbindung mit den anhängigen Ansprüchen und den beigefügten Abbildungen der Zeichnungen gelesen wird.
  • KURZE BESCHREIBUN DER VERSCHIEDENEN ANSICHTEN DER ZEICHNUNGEN
  • Es zeigen:
  • 1 ein Blockdiagramm eines effizienten Prädiktors für subjektive Qualitätsbeurteilungsmessungen gemäß der vorliegenden Erfindung;
  • 2 ein Blockdiagramm des temporalen Verarbeitungsabschnitts des Prädiktors aus 1 gemäß der vorliegenden Erfindung;
  • 3 ein Blockdiagramm eines linearen temporalen Filters für den temporalen Verarbeitungsabschnitt aus 2 gemäß der vorliegenden Erfindung; und
  • 4 ein Blockdiagramm eines nichtlinearen temporalen Filters für den temporalen Verarbeitungsabschnitt gemäß der vorliegenden Erfindung.
  • GENAUE BESCHREIBUNG DER ERFINDUNG
  • In folgendem Bezug auf die Abbildung aus 1 ist ein Flussdiagramm für eine Vorrichtung zur Beurteilung der Bildqualität dargestellt, ähnlich der Beschreibung in EP-A-1100278. Ein Referenzbildsignal und ein beeinträchtigtes (Test) Bildsignal werden in entsprechende Anzeigemodelle 11, 12 für eine Umwandlung in Luminanzeinheiten eingegeben. Die Luminanzdaten werden in einen räumlichen Modellierungsalgorithmus 10 eingegeben, der als entsprechende zweidimensionale Tiefpassfilter 13, 14 implementiert ist, und ein implizierter Hochpassfilter (lokaler Mittelwert (Tiefpass) aus Schritt bzw. Stufe 15, 16 wird in Schritt bzw. Stufe 17, 18 entsprechend von jedem einzelnen Pixel subtrahiert). Diese Filterkombination erfüllt die Daten (Kontrastempfindlichkeit versus Frequenz), die in der Literatur vorgeschlagen werden, für jede Ausrichtung, durchschnittliche Luminanz und Segmentfläche. Aus dieser Stufe gibt es nur eine zu verarbeitende Bildausgabe durch folgende Stufen für jedes Bild im Gegensatz zu einer Mehrzahl ausgegebener Bilder von den Filterbänken gemäß dem Stand der Technik.
  • Blockmittelwerte werden berechnet 15, 16, wie etwa für Blöcke von drei Pixel auf drei Pixel. In beiden Kanälen wird das Bild segmentiert 20 auf der Basis des Blockmittelwertes und anderen einfachen Blockstatistiken. Zur Vereinfachung und zur Reduzierung der Rechenressourcen kann der Schritt 20 auch weggelassen werden. Zu den in dem aktuellen Segmentierungsalgorithmus verwendeten Blockstatistiken zählen die lokale (Block) mittlere Luminanz und die vorherige Varianz. Allerdings können auch einfache maximale und minimale bzw. Höchst- und Mindestwerte für das Bereichswachstum verwendet werden. Jeder Blockmittelwert wird über das Segment einer Durchschnittswertermittlung unterzogen, dem er angehört, um einen neuen Blockmittelwert zu erzeugen. Diese Mittelwerte werden von jedem Pixel in den entsprechenden Blöcken subtrahiert 17, 18, um den impliziten Hochpassfilter fertig zu stellen.
  • Störungen bzw. Rauschen von einem Rauschgenerator 24 werden bzw. wird an jedem Pixel über eine Coring- bzw. Kernoperation 21, 22 eingefügt, indem der größere Wert zwischen dem Absolutwert des gefilterten Eingangsbilds und dem Absolutwert eines räumlich festen bzw. stationären Musters von Störungen bzw. Rauschen ausgewählt wird, wobei folgendes gilt: Core(A, B) = {|A| – |B| für |A| > |B|; 0 für |A| < |B|}·sign(A)wobei A das Signal und B das Rauschen darstellen. Die Segmentvarianz wird für die Referenzbildsegmente und für eine Differenz 26 zwischen den Referenz- und Testbildsegmenten berechnet 27, 28. Die Zweikanal-Varianzdatenanordnungen werden kombiniert 30 für jedes Segment, indem die Differenzkanalvarianz durch die Referenzvarianz normalisiert (dividiert) wird.
  • Schließlich wird die N-te Wurzel des Durchschnitts der normalisierten Varianz jedes Segments berechnet 32, so dass ein Gesamtwert erzeugt wird. In dem vorliegenden Beispiel ist N = 4, wobei N jeden ganzzahligen Wert darstellen kann. Der Gesamtwert kann skaliert oder ansonsten umgewandelt 34 werden in entsprechende Einheiten, wie zum Beispiel JND, MOS, etc.
  • Ein weiterer Schritt bzw. eine weitere Stufe wird in jedem Kanal hinzugefügt, bevor die Eingabe in den räumlichen Modellierungsalgorithmus 10 erfolgt – temporale Verarbeitung 35, 36. Die vorstehend im Abschnitt Stand der Technik erörterten Fakten in Bezug auf neuronale Reaktionen legen nahe, dass der gleiche Mechanismus wie für die Frequenzverdoppelung auch für die Raum-Zeit-Frequenzkoordinaten der sekundären Spitze einer Raum-Zeit-Empfindlichkeitsoberfläche herangezogen werden kann. Die Bereitstellung des temporalen Prozesses 35, 36 mit neuronalem Einschwingen und Ausschwingen vor der räumlichen Verarbeitung emuliert sowohl die Verschiebung der Spitzenempfindlichkeit (räumliche Frequenzposition der Spitze als eine Funktion der temporalen Frequenz) als auch die Frequenzverdoppelungsaspekte. Dies kann mit einem nichtlinearen temporalen Filter 37, 38 realisiert werden, wie dies in der Abbildung aus 2 dargestellt ist. Danach berücksichtigt ein linearer temporaler Filter 39, 40 die verbliebenen Feinheiten der Raum-Zeit-Empfindlichkeitsfunktion. Diese Kombination aus linearen und nichtlinearen Filtern berücksichtigt ferner die Erkennungsschwellenwerte von: Impulsen als eine Funktion der Amplitude und der Dauer; Beeinträchtigungen als eine Funktion der Amplitude und der temporalen Proximität zu Szenenveränderungen; und Flackern bzw. Flickern und Fusionsfrequenz als eine Funktion der Modulationsamplitude.
  • Der linearare temporale Filter 39, 40 aus 2 weist die Eigenschaften der Kombination aus Tiefpass- und Hochpassfiltern auf. Die Luminanzdaten werden in eine Reihe von Feldverzögerungsmodulen 41-44 mit einer Anzapfung an jedem Feld eingegeben. Die Anzapfungsausgaben werden in entsprechende Multiplizierer 45-48 eingegeben, wob sie nach entsprechenden Koeffizienten b0, Dec·b0, b1, Dec·b1 gewichtet und in einer Summierungsschaltung 50 summiert werden. Im Wesentlichen handelt es sich bei dem linearen temporalen Filter 39, 40 um die gewichtete Differenz zwischen Frames, wobei jeder Frame das entsprechende Ausschwingen (Dec) für das ältere der beiden Felder aufweist. Für jedes Pixel an der räumlichen Position (x, y) ist die Filterausgabe LTF[field] für gegebene Filtereingaben D[] gegeben durch: LTF[field] = (D[field] + D[field – 1]·Dec)·b0 + (D[field – 2] + D[field – 3]·Dec)·b1wobei field = Feldnummer in der Sequenz; LTF[field] = lineare Filterausgabe an einem bestimmten Pixel (LTF[x, y, field]); D[field] = Eingabepixel aus den Luminanzdaten an dieser speziellen Koordinate (x, y, field); b0, b1 = FIR-Filterkoeffizienten (z.B. b0 = 1; b1 = –0,5); und Dec = Ausschwingen. Der Koeffizient b0 ist nominal 1 und der Koeffizient b1 steuert die Höhe der Verstärkung bei etwa 8 Hz. Der Parameter b1 wird nach der Kalibrierung des nichtlinearen temporalen Filters kalibriert. Dec ist nominal gleich 1 oder niedriger, abhängig von der Abtastrate.
  • Der in der Abbildung aus 4 dargestellte nichtlineare temporale Filter 37, 38 weist die Eigenschaften einer Hüllkurven-Folgeeinrichtung oder eines Amplitudenmodulations-Detektors/Demodulators auf. Er weist ein schnelleres Einschwingen als Ausschwingen auf.
    Figure 00060001
    mit: NTF[field] = nichtlineare Filterausgabe an einem bestimmten Pixel (NTF[x, y, field]); attack = 0,9 (höherer Einschwingkoeffizient entspricht einem langsameren anfänglichen Ansprechverhalten); und decay = 0,98 (höherer Ausschwingkoeffizient entspricht einer langsameren Wiederherstellung bzw. Erholung). Die Ausgabe des nichtlinearen temporalen Filters 37, 38 wird in eine Verzögerung 51 eingegeben und in der Folge mit dem Ausschwingen in einem ersten Multiplizierer 52 multipliziert. Die ausgeschwungene Ausgabe wird danach mit der Ausgabe des linearen temporalen Filters 39, 40 in einem Komparator 54 verglichen. Das Ergebnis des Vergleichs wird multipliziert mit (1-attack) in einem zweiten Multiplizierer 56 und in einen Gleichrichter 58 eingegeben. Die Ausgabe des Gleichrichters 58 wird in einer Summierschaltung 60 kombiniert, um die Filterausgabe zu erzeugen. Die Einschwing- und Ausschwingzeiten werden bestimmt durch Kalibrieren des HVS-Modells sowohl auf die Raum-Zeit-Schwellenwertoberfläche als auch die entsprechenden oberhalb der Empfindungsschwelle liegenden Regionen der Raumfrequenzverdoppelungsillusion. Der nichtlineare temporale Filter 37, 38 ist verantwortlich für den Großteil der temporalen Maskierung und temporale verwandte visuelle Illusionen.
  • Die speziell abgebildete Implementierung spricht besser an auf positive Übergänge als auf negative, wobei das Ansprechverhalten bzw. die Reaktion auf negative Übergänge oder die Retina-Ganglienzellen, die normalerweise auf beide gleichermaßen ansprechen, nicht vollständig berücksichtigt wird. Eine Verbesserung in Bezug auf die Präzision bzw. die Genauigkeit kann erreicht werden, indem diese Reaktionen bzw. Ansprechverhalten an pseudozufälligen Positionen einbezogen werden, die der vorgeschlagenen theoretischen Verteilung von Photorezeptortypen entsprechen. Nur der Gleichrichter 58 muss sich verändern, entweder in Bezug auf die Polarität oder durch Integration beider mit einem Absolutwert (vollständige Wellengleichrichtung). Die räumliche Verteilung des temporalen Gleichrichtungsprozessors für eine Vollwelle an durch ein 10×10 Pixelraster ausgewählte Pixelpositionen mit pseudozufälliger Verschiebung um nicht mehr als ein paar Pixel berücksichtigt eine Vielzahl visueller Illusionen, einschließlich der Bewegungsumkehr und scintillierendem Rauschen. Die erforderliche zusätzliche Verarbeitung kann jedoch für bestimmte Anwendungen nicht wünschenswert sein.
  • Vorgesehen ist gemäß der vorliegenden Erfindung somit die temporale Verarbeitung für eine Echtzeit-HVS-Verhaltensmodellierung durch Einfügen vor der räumlichen Verarbeitung eines zweistufigen temporalen Filters – eines linearen temporalen Filters, gefolgt von einem nichtlinearen temporalen Filter – um neurales bzw. neuronales Einschwingen und Ausschwingen zu emulieren.

Claims (10)

  1. Verfahren zur Verhaltensmodellierung des menschlichen Sehsystems in Echtzeit, wobei das Verfahren die räumliche Modellierung (10) aufweist, um einen Wert für die sichtbare Beeinträchtigung eines von einem Referenzbildsignal abgeleiteten Testbildsignals zu erhalten, gekennzeichnet durch den Schritt des temporalen Verarbeitens (35, 36) der Referenz- und Testbildsignale vor der räumlichen Modellierung; wobei das genannte temporale Verarbeiten die folgenden Schritte umfasst: das lineare temporale Filtern (39, 40) der Referenz- und Testbildsignale, um Referenz- und Test-Tiefpassfilterausgaben zu erzeugen; und das nicht-lineare temporale Filtern (37, 38) der Referenz- und Test-Tiefpassfilterausgaben, um Referenz- und nicht-lineare Testfilterausgaben zu erzeugen, um Verschiebungen der Spitzenempfindlichkeit zu berücksichtigen, und mit einer Frequenzverdoppelung der räumlich-temporalen Empfindlichkeitsfunktion unter Verwendung eines Filters mit einer Eigenschaft einer Hüllkurven-Folgeeinrichtung oder eines Amplitudenmodulations-Detektors/Demodulators und mit einem schnelleren Einschwingen als Ausschwingen, wobei die Referenz- und nichtlinearen Testfilterausgaben in die räumliche Modellierung (10) eingegeben werden, um den Wert der sichtbaren Beeinträchtigung zu erzeugen.
  2. Verfahren nach Anspruch 1, wobei das lineare temporale Filtern Eigenschaften einer Kombination aus Tiefpass- und Bandpassfiltern umfasst.
  3. Verfahren nach Anspruch 1, wobei das lineare temporale Filtern die folgenden Schritte umfasst: das Eingeben der Referenz- und Testbildsignale in eine Reihe von Teilbildverzögerungsmodulen (4144), mit einer Anzapfstelle in jedem Teilbild; das Koppeln der Ausgaben der Anzapfstellen mit entsprechenden Multiplizierern (4548) zur Gewichtung durch entsprechende Koeffizienten; und das Summieren (50) der Ausgaben der entsprechenden Multiplizierer, um die Referenz- und Test-Tiefpassfilterausgaben zu erzeugen, welche die gewichtete Differenz zwischen Vollbildern der Referenz- und Testbildsignale darstellen, wobei jedes Vollbild ein entsprechendes Ausschwingen für das ältere der beiden Teilbilder, die jedes Vollbild bilden aufweist.
  4. Verfahren nach einem der Ansprüche 1 bis 3, wobei das nicht-lineare temporale Filtern die folgenden Schritte umfasst: das Vergleichen (54) der Referenz- und Test-Tiefpassfilterausgaben mit entsprechenden ausgeschwungenen Versionen der Referenz- und nicht-linearen Testfilterausgaben, um entsprechende Vergleichsausgaben zu erzeugen; das Multiplizieren (56) der entsprechenden Vergleichsausgaben durch eine Einschwingfunktion, um entsprechende Einschwingausgaben zu erzeugen; das Gleichrichten (58) der entsprechenden Einschwingausgaben, um entsprechende gleichgerichtete Ausgaben zu erzeugen; und das Summieren (60) der entsprechenden gleichgerichteten Ausgaben mit entsprechenden ausgeschwungenen Versionen, um die Referenz- und nicht-linearen Testfilterausgaben zu erzeugen, wobei der Großteil der temporalen Maskierungs- und der temporalen verwandten visuellen Illusionen berücksichtigt wird.
  5. Verfahren nach Anspruch 4, wobei das nicht-lineare temporale Filtern ferner den Schritt des Bestimmens der Einschwingfunktion und einer Ausschwingfunktion für ausgeschwungene Versionen umfasst, indem die Verhaltensmodellierung des menschlichen Sehsystems in Echtzeit sowohl in Bezug auf eine räumlich-temporale Grenzoberfläche und entsprechende oberhalb der Grenze liegende Bereiche der Raumfrequenz-Verdoppelungsillusion kalibriert wird.
  6. System zur Verhaltensmodellierung des menschlichen Sehsystems in Echtzeit, wobei das System die räumliche Modellierung (10) aufweist, um einen Wert für die sichtbare Beeinträchtigung eines von einem Referenzbildsignal abgeleiteten Testbildsignals zu erhalten, gekennzeichnet durch eine Einrichtung zum temporalen Verarbeiten (35, 36) der Referenz- und Testbildsignale vor der räumlichen Modellierung, wobei die genannte Einrichtung zum temporalen Verarbeiten folgendes umfasst: eine Einrichtung zum linearen temporalen Filtern (39, 40) der Referenz- und Testbildsignale, um Referenz- und Test-Tiefpassfilterausgaben zu erzeugen; und eine Einrichtung zum nicht-linearen temporalen Filtern (37, 38) der Referenz- und Test-Tiefpassfilterausgaben, um Referenz- und nicht-lineare Testfilterausgaben zu erzeugen, um Verschiebungen der Spitzenempfindlichkeit zu berücksichtigen, und mit einer Frequenzverdoppelung der räumlich-temporalen Empfindlichkeitsfunktion unter Verwendung eines Filters mit einer Eigenschaft einer Hüllkurven-Folgeeinrichtung oder eines Amplitudenmodulations-Detektors/Demodulators und mit einem schnelleren Einschwingen als Ausschwingen, wobei die Referenz- und nichtlinearen Testfilterausgaben in die räumliche Modellierung (10) eingegeben werden, um den Wert der sichtbaren Beeinträchtigung zu erzeugen.
  7. System nach Anspruch 6, wobei die Einrichtung zum linearen temporalen Filtern Eigenschaften einer Kombination aus Tiefpass- und Bandpassfiltern umfasst.
  8. System nach Anspruch 6, wobei die Einrichtung zum linearen temporalen Filtern folgendes umfasst: eine Einrichtung zum Eingeben der Referenz- und Testbildsignale in eine Reihe von Teilbildverzögerungsmodulen (4144), mit einer Anzapfstelle in jedem Teilbild; eine Einrichtung zum Koppeln der Ausgaben der Anzapfstellen mit entsprechenden Multiplizierern (4548) zur Gewichtung durch entsprechende Koeffizienten; und eine Einrichtung zum Summieren (50) der Ausgaben der entsprechenden Multiplizierer, um die Referenz- und Test-Tiefpassfilterausgaben zu erzeugen, welche die gewichtete Differenz zwischen Vollbildern der Referenz- und Testbildsignale darstellen, wobei jedes Vollbild ein entsprechendes Ausschwingen für das ältere der beiden Teilbilder, die jedes Vollbild bilden aufweist.
  9. System nach einem der Ansprüche 6 bis 8, wobei die Einrichtung zum nicht-linearen temporalen Filtern folgendes umfasst: eine Einrichtung zum Vergleichen (54) der Referenz- und Test-Tiefpassfilterausgaben mit entsprechenden ausgeschwungenen Versionen der Referenz- und nicht-linearen Testfilterausgaben, um entsprechende Vergleichsausgaben zu erzeugen; eine Einrichtung zum Multiplizieren (56) der entsprechenden Vergleichsausgaben durch eine Einschwingfunktion, um entsprechende Einschwingausgaben zu erzeugen; eine Einrichtung zum Gleichrichten (58) der entsprechenden Einschwingausgaben, um entsprechende gleichgerichtete Ausgaben zu erzeugen; und eine Einrichtung zum Summieren (60) der entsprechenden gleichgerichteten Ausgaben mit entsprechenden ausgeschwungenen Versionen, um die Referenz- und nicht-linearen Testfilterausgaben zu erzeugen, wobei der Großteil der temporalen Maskierungs- und der temporalen verwandten visuellen Illusionen berücksichtigt wird.
  10. System nach Anspruch 9, wobei die Einrichtung zum nicht-linearen temporalen Filtern ferner eine Einrichtung zum Bestimmen der Einschwingfunktion und einer Ausschwingfunktion für ausgeschwungene Versionen umfasst, indem die Verhaltensmodellierung des menschlichen Sehsystems in Echtzeit sowohl in Bezug auf eine räumlich-temporale Grenzoberfläche und entsprechende oberhalb der Grenze liegende Bereiche der Raumfrequenz-Verdoppelungsillusion kalibriert wird.
DE60217243T 2001-09-18 2002-09-16 Zeitverarbeitung für eine Echtzeitmodellierung vom Verhalten des menschlichen Sehvermögensystems Expired - Lifetime DE60217243T2 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US955614 2001-09-18
US09/955,614 US6941017B2 (en) 2001-09-18 2001-09-18 Temporal processing for realtime human vision system behavior modeling

Publications (2)

Publication Number Publication Date
DE60217243D1 DE60217243D1 (de) 2007-02-15
DE60217243T2 true DE60217243T2 (de) 2007-10-25

Family

ID=25497079

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60217243T Expired - Lifetime DE60217243T2 (de) 2001-09-18 2002-09-16 Zeitverarbeitung für eine Echtzeitmodellierung vom Verhalten des menschlichen Sehvermögensystems

Country Status (5)

Country Link
US (1) US6941017B2 (de)
EP (1) EP1294199B1 (de)
JP (1) JP3955517B2 (de)
CN (1) CN1237486C (de)
DE (1) DE60217243T2 (de)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7365672B2 (en) * 2001-03-16 2008-04-29 Battelle Memorial Institute Detection of a concealed object
US6876322B2 (en) * 2003-06-26 2005-04-05 Battelle Memorial Institute Concealed object detection
US7405692B2 (en) * 2001-03-16 2008-07-29 Battelle Memorial Institute Detecting concealed objects at a checkpoint
DE102004016350A1 (de) * 2004-04-02 2005-10-27 Micronas Gmbh Verfahren und Vorrichtung zur Interpolation eines Bildpunktes einer Zwischenzeile eines Halbbildes
US7405747B2 (en) * 2004-04-14 2008-07-29 Tektronix, Inc. Extended K2T measurement of video
US7253766B2 (en) * 2004-09-24 2007-08-07 Battelle Memorial Institute Three-dimensional surface/contour processing based on electromagnetic radiation interrogation
US7801385B2 (en) * 2005-05-10 2010-09-21 Intel Corporation Perceptual filter support techniques
US7844081B2 (en) * 2006-05-15 2010-11-30 Battelle Memorial Institute Imaging systems and methods for obtaining and using biometric information
CN101389045B (zh) * 2008-10-23 2013-04-10 北京中星微电子有限公司 一种图像质量的评测方法及装置
US8355567B2 (en) * 2008-12-12 2013-01-15 Tektronix, Inc. Method and apparatus for implementing moving image color appearance model for video quality ratings prediction
TWI392379B (zh) * 2009-06-02 2013-04-01 Mstar Semiconductor Inc Television image adjustment method and device
US8760578B2 (en) 2010-04-19 2014-06-24 Dolby Laboratories Licensing Corporation Quality assessment of high dynamic range, visual dynamic range and wide color gamut image and video
WO2012142285A2 (en) 2011-04-12 2012-10-18 Dolby Laboratories Licensing Corporation Quality assessment for images that have extended dynamic ranges or wide color gamuts
EP2902965B1 (de) * 2012-09-28 2020-05-13 Japan Science And Technology Agency Heteroptische analysevorrichtung, heteroptisch modifizierte bilderzeugungsvorrichtung zur erzeugung von heteroptik zur erzeugung einer sich dem originalbild annähernden wahrnehmung, heteroptisches analyseverfahren, verfahren zur erzeugung eines heteroptisch modifizierten bildes zur erzeugung einer sich dem originalbild annähernden wahrnehmung und programm

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4907069A (en) * 1988-06-01 1990-03-06 Zenith Electronics Corporation Two-channel compatible HDTV system
JPH0372778A (ja) * 1989-08-11 1991-03-27 Fuji Xerox Co Ltd 画像処理装置の領域識別方式
US5049993A (en) * 1990-10-03 1991-09-17 Bell Communications Research, Inc. Format conversion preprocessing method and circuit
US5446492A (en) 1993-01-19 1995-08-29 Wolf; Stephen Perception-based video quality measurement system
US5790717A (en) 1993-10-26 1998-08-04 Bell Communications Research Inc. Apparatus and method for predicting subjective quality of compressed images
DE19529950C1 (de) * 1995-08-14 1996-11-14 Deutsche Forsch Luft Raumfahrt Verfahren zum Nachführen eines Stereo-Laparoskops in der minimalinvasiven Chirurgie
US6119083A (en) * 1996-02-29 2000-09-12 British Telecommunications Public Limited Company Training process for the classification of a perceptual signal
US5719966A (en) 1996-03-29 1998-02-17 David Sarnoff Research Center, Inc. Apparatus for assessing the visiblity of differences between two image sequences
US5974159A (en) 1996-03-29 1999-10-26 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two image sequences
US6360022B1 (en) * 1997-04-04 2002-03-19 Sarnoff Corporation Method and apparatus for assessing the visibility of differences between two signal sequences
GB9803580D0 (en) 1998-02-21 1998-04-15 Nds Ltd Determining visually noticeable differences between two images
US6278735B1 (en) * 1998-03-19 2001-08-21 International Business Machines Corporation Real-time single pass variable bit rate control strategy and encoder
US6408103B1 (en) * 1998-12-31 2002-06-18 Eastman Kodak Company Method for preserving spatial detail and color content when adjusting the tone scale of a digital color image
US6678424B1 (en) * 1999-11-11 2004-01-13 Tektronix, Inc. Real time human vision system behavioral modeling
US6690839B1 (en) * 2000-01-17 2004-02-10 Tektronix, Inc. Efficient predictor of subjective video quality rating measures

Also Published As

Publication number Publication date
US6941017B2 (en) 2005-09-06
EP1294199A1 (de) 2003-03-19
CN1409268A (zh) 2003-04-09
JP2003158753A (ja) 2003-05-30
JP3955517B2 (ja) 2007-08-08
CN1237486C (zh) 2006-01-18
US20030053698A1 (en) 2003-03-20
DE60217243D1 (de) 2007-02-15
EP1294199B1 (de) 2007-01-03

Similar Documents

Publication Publication Date Title
DE60020795T2 (de) Echtzeitmodellierung des Verhaltens menschlicher Sehvermögenssysteme
DE60217243T2 (de) Zeitverarbeitung für eine Echtzeitmodellierung vom Verhalten des menschlichen Sehvermögensystems
DE60127866T2 (de) Verringern von aura-artigen effekten bei der bewegungskompensierten interpolation
DE69333846T2 (de) Verfahren zur mischung von bildern und vorrichtung hierzu.
DE69837233T2 (de) Verfahren und Gerät zur Bestimmung der Augenposition in einem Bild
DE69910358T2 (de) Verfahren und vorrichtung zur objektiven bewertung der videoqualität
DE102011056982A1 (de) Digitales Bildstabilisierungsverfahren mit adaptiver Filterung
US20020186894A1 (en) Adaptive spatio-temporal filter for human vision system models
DE602005004489T2 (de) Verfahren und Gerät für die Bildverarbeitung, Aufzeichnungsmedium und Computerprogramm
DE69933090T2 (de) Signalverarbeitungsschaltung zur Rauschunterdrückung und Anzeigegerät
EP1397915B1 (de) Verfahren und vorrichtung zur konversion von video signalen
WO1994024634A1 (de) Verfahren zur detektion von änderungen in bewegtbildern
DE19618984B4 (de) Verfahren zur Bewegungsbewertung in Bilddaten sowie Vorrichtung zur Durchführung dieses Verfahrens
DE60128041T2 (de) Schaltung zur Horizontalkontursignalerzeugung in einer Farbkamera
DE60018684T2 (de) Detektion von wiederholten und eingefrorenen Bildern in einem Videosignal
DE112007000738T5 (de) Filter für Störbewegungen
DE19521408C1 (de) Verfahren zum objektiven Bewerten der Bildqualität zwei- oder dreidimensionaler Bilder
DE19622703C2 (de) Automatische Identifizierung von Videosignalen
DE60127554T2 (de) Verfahren und vorrichtung für videokodierung mit rekursiver bewegungskompensierter filterung
DE19541319B4 (de) Decoder mit adaptivem, nicht-trennbaren digitalen Filter
DE69835413T2 (de) Verfahren und Vorrichtung zur Flimmerdetektion in Fernsehbildern
EP1489842B1 (de) Verfahren und Vorrichtung zur bewegungsvektorgestützten Bildpunktinterpolation
DE60316768T2 (de) Bildverbesserungsmethode
DE102013105638B4 (de) Erhöhung der perzeptuellen Bildauflösung
EP0579651A1 (de) Verfahren zur codierung.

Legal Events

Date Code Title Description
8364 No opposition during term of opposition