-
Die Erfindung betrifft ein Verfahren
zur Korrektur von Videosignalen.
-
Bei der Abtastung von Filmen und
anderen Bildern werden zeilenförmige
optoelektronische Wandler wie CCD-Zeilensensoren eingesetzt. Bildelemente
des zeilenförmigen
optoelektronischen Wandlers werden dabei häufig über mehrere Kanäle ausgelesen.
Beispielsweise kann ein Auslesen der Bildelemente (Pixel) des optoelektronischen
Wandlers über
vier Kanäle
erfolgen, wobei eine Zeile des optoelektronischen Wandlers ausgehend
von einer mittigen Stoßstelle
in verschiedene Richtungen ausgelesen wird und wobei aufeinander
folgende Pixel in verschiedene Kanäle ausgelesen werden, so dass insgesamt
vier Kanäle
existieren.
-
Diese Kanäle, die im wesentlichen aus
jeweils den Bildelementen, einem Register und einem Verstärker bestehen,
sind mit Fertigungstoleranzen behaftet, die sich auf die Linearität, die Verstärkung und
einen Offset (Schwarzwert) auswirken. Das bedeutet, dass der Wert
jedes zweiten Bildelementes von Werten der benachbarten Bildelemente
verschieden sein kann, auch wenn der Bildinhalt keine Änderungen
aufweist.
-
Fehler können insbesondere durch das
Auslesen aufeinander folgender Bildelemente in jeweils zwei verschiedenen
Kanälen
und durch die Stoßstelle
des optoelektronischen Wandlers auftreten, von der aus der zeilenförmige Sensor
nach rechts und links ausgelesen wird.
-
Bei der Abtastung von Filmen und
anderen Bildern können
sich diese Fehler als feine senkrecht verlaufende Streifen bemerkbar
machen.
-
Der vorliegenden Erfindung liegt
das Problem zugrunde, ein Verfahren zur Korrektur von Videosignalen
zur Verfügung
zu stellen, durch das derartige Fehler verringert oder behoben werden.
-
Eine Korrektur von mit derartigen
Fehlern behafteten Videosignalen wird bei dem erfindungsgemäßen Verfahren
durch die Merkmale des Anspruchs 1 erreicht.
-
Mit dem erfindungsgemäßen Verfahren
können
die eingangs genannten Fehler automatisch korrigiert werden, so
dass keine solchen streifenförmigen
Fehler mehr erkennbar sind. Ein derzeit bevorzugtes Anwendungsgebiet
ist die Verarbeitung von aus Zeilensensoren über zwei Kanäle ausgelesenen Videosignalen.
Es sind jedoch auch andere Anwendungen möglich, beispielsweise solche
mit mehr als zwei Kanälen.
Die Videosignale liegen nach einer A/D-Wandlung als digitale Bildsignale
vor. Der Ausdruck "Wert" bedeutet im vorliegenden
Zusammenhang soviel wie "Abtastwert" oder im Englischen "Sample".
-
Ein erster Schritt beruht auf der
Ermittlung eines Fehlers bedingt durch das Auslesen aufeinander folgender
Bildelemente in jeweils zwei verschiedenen Kanälen. Dabei ist vorgesehen,
dass aus den über
einen ersten Kanal übertragenen
Bildelementwerten mittels Interpolation Schätzwerte für die Bildelementwerte eines
zweiten Kanals gebildet werden und dass aus Differenzen zwischen
den Schätzwerten
und den tatsächlichen
Bildelementwerten des zweiten Kanals Korrekturwerte für die Bildelementwerte
des zweiten Kanals abgeleitet werden.
-
Vorzugsweise ist bei dem erfindungsgemäßen Verfahren
vorgesehen, dass die Korrekturwerte nur aus Differenzen gebildet
werden, die einen vorgegebenen Wert unterschreiten.
-
Dabei ist vorgesehen, dass zu der
Differenz ein zugehöriger
Bildelementwert festgehalten wird. Daraus wird eine Kennlinie über den
gesamten Verlauf der Bildelementwerte ermittelt, woraus in Abhängigkeit
des Pegels ein Additionswert und ein Multiplikationsfaktor als Funktion
der Bildelementwerte abgeleitet wird. Der Verlauf der Bildelementwerte
kann linear oder quantisiert, z.B. in 100 Bereiche, dargestellt
sein. Damit wird verhindert, dass tatsächlich im Bild vorhandene Strukturen
in die Berechnung der Korrekturwerte eingehen.
-
Grundsätzlich ist es mit dem erfindungsgemäßen Verfahren
möglich,
die Signale des anderen Kanals zu korrigieren und somit an die Signale
des einen Kanals anzupassen. Eine genauere Korrektur ergibt sich
jedoch mit Hilfe einer Weiterbildung des erfindungsgemäßen Verfahrens
dadurch, dass ferner durch Interpolation mittels des zweiten Kanals übertragener
Bildelementwerte weitere Schätzwerte
gebildet werden, dass aus den weiteren Schätzwerten und den Bildelementwerten
des ersten Kanals weitere Differenzen gebildet werden, dass aus
den Differenzen und den weiteren Differenzen jeweils ein Mittelwert
gebildet wird und dass aus den Mittelwerten der Korrekturwert abgeleitet
wird.
-
Diese Weiterbildung kann vorzugsweise
derart ausgestaltet sein, dass die Differenzen und die weiteren
Differenzen jeweils voneinander subtrahiert werden und dass der
jeweilige Mittelwert der Differenzen nur dann zur Korrektur benutzt
wird, wenn der durch Subtraktion der Differenz und der weiteren
Differenz entstandene Wert kleiner als ein weiterer vorgegebener
Wert ist. Damit werden auch geschätzte Werte von der Benutzung
zur Bildung der Korrekturwerte ausgeschlossen, wenn beide Schätzungen
zu deutlich verschiedenen Ergebnissen führen, was möglicherweise bei bestimmten
Bildstrukturen der Fall sein kann.
-
Eine Korrektur der Videosignale unter
Berücksichtigung
von amplitudenabhängigen
Fehlern ist vorzugsweise dadurch möglich, dass die Differenzen
und die weiteren Differenzen zur Bildung der Korrekturwerte getrennt
nach Größe der Bildelementwerte
gemittelt werden, dass die Korrekturwerte in einen Speicher eingeschrieben
werden und dass die Korrekturwerte in Abhängigkeit von der jeweiligen Größe der Bildelementwerte
aus dem Speicher ausgelesen und den Videosignalen des einen und/oder des
anderen Kanals hinzugefügt
werden.
-
Bei dieser Weiterbildung des erfindungsgemäßen Verfahrens
kann vorgesehen sein, dass die Mittelwertbildung jeweils getrennt
nach Größenbereichen
der Bildelementwerte erfolgt und dass Korrekturwerte für die einzelnen
Amplitudenwerte durch Interpolation und Tiefpassfilterung gewonnen
werden. Bei der Interpolation und Tiefpassfilterung können Funktionen
angewandt werden, welche die vorkommenden Abweichungen zwischen
beiden Kanälen berücksichtigen
und nicht vorkommende Abweichungen, wie beispielsweise Sprünge, in
den Übertragungskennlinien
bei der Bildung der Korrekturwerte verhindern.
-
Bei einer bevorzugten Verfahrensweise
wird die Frequenz des zeitlichen Verlaufs der Bildelementwerte ermittelt,
die im folgenden kurz als "Signalfrequenz" bezeichnet wird.
Bei der Berechnung der Korrekturwerte werden nur Bildelementwerte
berücksichtigt,
die zu einer Signalfrequenz führen,
die unterhalb einer bestimmten Grenzfrequenz liegt, weil sonst Fehler
auftreten, die zu ungeeigneten Korrekturwerten führen. Diese Weiterbildung geht über die bereits
erwähnte Untersuchung
der Größe der Bildelementwerte
hinaus, weil auch Bildelementwerte für die Berechnung der Korrekturwerte
verworfen werden, welche unterhalb der genannten Grenzwerte bleiben.
Die Grenzfrequenz kann von den Grenzwerten abhängen. In einem einfachen Fall
kann die Grenzfrequenz so gewählt
sein, dass das Nyquist-Kriterium erfüllt wird.
-
Weiterhin kann es vorgesehen sein,
dass daraus, wie gut die Prüfkriterien
eingehalten werden, ein Gewichtsfaktor bestimmt wird, der festlegt,
wie stark ein Bildelementwert in die nachfolgende Berechnung der
Korrekturwerte einfließt.
Der Gewichtsfaktor stellt ein Maß für die Brauchbarkeit eines Bildelementwertes
dar.
-
Ein Ausführungsbeispiel der Erfindung
ist in der Zeichnung anhand mehrerer Figuren dargestellt und in
der nachfolgenden Beschreibung näher
erläutert.
Es zeigen:
-
1 schematisch
einen optoelektronischen Zeilensensor,
-
2 ein
Diagramm mit Werten von Bildelementen beider Kanäle und
-
3 ein
Blockschaltbild einer erfindungsgemäßen Anordnung.
-
Das Ausführungsbeispiel sowie Teile
davon sind zwar als Blockschaltbild dargestellt. Dieses bedeutet
jedoch nicht, dass die erfindungsgemäße Anordnung auf eine Realisierung
mit Hilfe von einzelnen den Blöcken
entsprechenden Schaltungen beschränkt ist. Die erfindungsgemäße Anordnung
ist vielmehr in besonders vorteilhafter Weise mit Hilfe von hochintegrierten
Schaltungen realisierbar. Dabei können digitale Signalprozessoren
eingesetzt werden, welche bei geeigneter Programmierung die in den
Blockschaltbildern dargestellten Verarbeitungsschritte durchführen.
-
1 zeigt
in stark schematisierter Form einen linearen optoelektronischen
Wandler, wie er in Filmabtastern eingesetzt wird, bei dem eine Zeile
optischer Sensoren aus zwei Segmenten 2, 3 zusammengesetzt
ist. Die jeweils der Helligkeit eines Bildelementes entsprechende
Ladungen werden aus den einzelnen Bildzellen des Sensors parallel
in Register 4, 5, 6, 7 übertragen
und aus diesen seriell ausgelesen. Dabei wird pixelweise im Multiplex
eines der Register 4 und 5 bzw. 6 und 7 benutzt.
-
An den Ausgängen der Register 4, 5, 6, 7 befinden
sich Analog-Verstärker 8, 9, 10, 11,
von deren Ausgängen
die Signale Analog/Digital-Wandlern 13, 14 (3) zugeführt werden. Die Grenze zwischen den
Segmenten 2, 3 ist durch eine Trennlinie 12 veranschaulicht.
-
Bedingt durch Toleranzen bei der
Fertigung unterscheiden sich die Übertragungskennlinien der Kanäle A, B,
C, D voneinander. Diese Unterschiede können Nichtlinearitäten, abweichende
Verstärkungsfaktoren
oder Offsets der verwendeten Bauelemente, insbesondere der Bildzellen
des Sensors, betreffen.
-
In den 2a und 2b sind jeweils mehrere Werte
der Videosignale aus beiden Kanälen über die Zeit
t bzw. den Ort x aufgetragen. Durch die lineare Abtastung entspricht
ein bestimmter Zeitpunkt einer bestimmten Stelle. Werte aus dem
Kanal A sind durch schwarze Punkte gekennzeichnet und mit A1 bis
A6 bezeichnet. Werte aus dem Kanal B sind mit Kreisen symbolisiert
und tragen die Bezeichnungen B1 bis B5. Durch das pixelsequentielle
Auslesen aus dem optoelektronischen Wandler sind die Kanäle jeweils
um ein Bildelement bzw. eine Bildelementdauer versetzt.
-
Bei dem in 2a dargestellten Vorgang wird durch ein
geeignetes Filter jeweils ein Schätzwert durch Interpolation
benachbarter Werte A1 bis A6 gewonnen, der mit einem Kreuz gekennzeichnet ist.
Zwischen den Schätzwerten
und den tatsächlichen
Werten B1 bis B5 des Kanals B ergeben sich Differenzen, deren weitere
Verarbeitung später
im Zusammenhang mit 3 erläutert wird.
-
2b zeigt
die Interpolation zwischen den Werten B1 bis B5 des Kanals B und
die Differenzbildung zwischen den somit entstandenen Schätzwerten
und den Werten A2 bis A5 des Kanals A.
-
Der Anordnung nach 3 werden die zunächst analogen Signale der Kanäle A und
B zugeführt.
Die Signale werden jeweils über
einen Analog/Digital-Wandler 13, 14 je einem Filter 21, 22 zugeleitet,
welche die in den 2a und 2b dargestellten Interpolationen
durchführen.
Die anschließende Bildung
der Differenzen erfolgt in Subtrahierern 23, 24.
In einem weiteren Subtrahierer 27 wird die Differenz der
Differenzen gebildet. Weichen die Differenzen nämlich zu stark voneinander
ab, so werden sie nicht zur Bildung der Korrekturwerte herangezogen. Dazu
ist ein Komparator 28 vorgesehen, der ein Freigabesignal
Q2 nur dann erzeugt, wenn die Differenz kleiner als ein vorgegebener
Wert K2 ist.
-
Auch die Differenzen selbst werden
in ähnlicher
Weise geprüft,
nämlich
in Komparatoren 25, 26, die ein Freigabesignal
Q1 nur dann erzeugen, wenn die jeweilige Differenz kleiner als ein
vorgegebener Wert K1 ist.
-
Als notwendiges Kriterium wird zur
Differenz der dazugehörige
Signalpegel festgehalten. Daraus wird eine Kennlinie über den
gesamten Amplitudenverlauf ermittelt, der pegelabhängig ist
und einen Additionswert und einen Multiplikationsfaktor zur Verfügung stellt.
Der Amplitudenverlauf kann linear verlaufen oder quantisiert, zum
Beispiel in 100 Bereiche aufgeteilt.
-
Zur Bewertung der Signalfrequenz
ist ein weiteres Filter 45 vorgesehen, welches eingangsseitig
einerseits mit dem Ausgang des Analogwandlers 13 und andererseits
mit dem Analog-Digital-Wandler 14 des Kanals B verbunden
ist. Ausgangsseitig ist das Filter 29 mit Eingängen der
Akkumulatoren 30, 31 verbunden in denen die ermittelten
Differenzen getrennt nach Amplitudenbereichen akkumuliert werden,
wenn die Freigabesignale Q1, Q2 anliegen. Ein aus dem Filter 29 anfallender
Hochpassanteil bildet ein Kriterium für die Verwertbarkeit der in
den Akkumulatoren 30, 31 gespeicherten Messergebnisse.
Ist das Signal zu hochfrequent und dessen Signalamplitude zu groß, so kann
keine brauchbare Aussage über
den Amplitudenverlauf getroffen werden, so dass die Messergebnisse
verworfen werden. Liegt die Frequenz f jedoch unterhalb einer Grenzfrequenz N/4
beziehungsweise F und liegt die Amplitude des Signals unterhalb
einer Grenzamplitude so wird ein Faktor für die Brauchbarkeit dieses
Messwertes bestimmt, der in einer anschließenden Mittelung festlegt,
wie stark das individuelle Messergebnis in die Korrekturrechnung
eingebracht wird. Mit N ist die Auslesefrequenz des Zeilensensors,
so dass N/4 die sogenannte Nyquist-Frequenz darstellt. Abhängig von
den Parametern der Auswertung, insbesondere der Grenzwerte K1 und
K2, kann für
das Filter 45 eine niedrigere Grenzfrequenz F vorgesehen
sein. Diese nicht notwendigerweise vorhandene Option ist in 3 durch eine gestrichelte
Linie in dem Filter 45 veranschaulicht. Die Untersuchung
der Signalfrequenz in dem Filter 45 hat zwei Gründe. Zum
einen muß das
Nyquist-Kriterium
erfüllt
sein, um eine Unterabtastung in einem Kanal zu vermeiden. Zum anderen
gilt es, sicherzustellen, dass Bildelementwerte nur aus dem auszuwertenden
Wertebereich stammen und nicht um diesen verteilt sind. Werden Bildinhalte
ausgewertet, dessen Inhalt sich zu rasch verändert, dann können diese
Schwierigkeiten auftreten.
-
Die Werte selbst – also die Ausgangssignale der
Analog-Digital-Wandler 13, 14 – sowie
die Differenzen werden Akkumulatoren 30, 31 zugeführt, welche
die Differenzen getrennt nach Amplitudenbereichen akkummulieren,
wenn die Freigabesignale Q1, Q2 vorliegen. Jeweils eine Abtast-
und Rücksetzschaltung
(englisch: "Sample
and Reset") 32, 33 sorgt
dafür,
dass eine genügend
große
Anzahl von zur Bildung von Korrektursignalen geeigneten Werten übernommen
werden, ohne dass die Akkumulatoren 30, 31 überlaufen.
Diese Werte werden bei 34, 35 durch die Anzahl
der jeweils für
einen Amplitudenbereich akkumulierten Werte dividiert, so dass Mittelwerte
entstehen. Daraus werden durch Interpolation Korrekturkurven ermittelt,
die in Filtern 36, 37 geglättet werden.
-
Die von den Filtern 36, 37 erzeugten
geglätteten
Korrekturkurven enthalten für
jeden digitalen Abtastwert einen Korrekturwert, der in jeweils eine Tabelle
eingeschrieben wird, die in Speichern 38, 39 abgespeichert
sind. Als Speicher 38, 39 sind kommerziell erhältliche
digitale Speicherbausteine geeignet. In Abhängigkeit von den digitalen
Werten der Videosignale beider Kanäle werden die Korrekturwerte jeweils
aus den Speichern 38, 39 ausgelesen und über je einen
Addierer 40, 41 den Videosignalen zugeführt. Die
korrigierten Videosignale sind dann den Ausgängen 42, 43 abnehmbar.
-
Die ermittelten Korrekturwerte werden über einen
längeren
Zeitraum erfasst, ohne dass diese sofort verwendet werden. Erst
dann, wenn ein innerhalb vorgegebener Grenzen stabiles Ergebnis
vorliegt, wird die Korrektur stufenweise durchgeführt, um
eine rapide Bildveränderung
zu vermeiden. Dadurch kann die Möglichkeit
genutzt werden, die Auswirkungen der Korrektur zu kontrollieren
und festzustellen, ob die Korrektur die gewünschten Eigenschaften hat.
-
In der Beschreibung ist zwar stets
von CCD-Sensoren die Rede, aber die Erfindung ist grundsätzlich unabhängig von
der Art des Sensors. Beispielsweise ist die Erfindung auch anwendbar
auf CMOS-Sensoren.