DE3523424C1

DE3523424C1 - Verfahren zur UEbertragung und Wiedergabe von Videoszenen,insbesondere Luftbildszenen,mit reduzierter Bildfolgefrequenz bei Relativbewegung der aufgenommenen Szene gegenueber dem Aufnahmesensor

Info

Publication number: DE3523424C1
Application number: DE3523424A
Authority: DE
Inventors: Heinrich Dipl.-Ing. 3300 Braunschweig Dörgeloh; Joachim Dipl.-Ing. Ries
Original assignee: Deutsche Forschungs und Versuchsanstalt Fuer Luft und Raumfahrt EV 5000 Koeln; Deutsche Forschungs und Versuchsanstalt fuer Luft und Raumfahrt eV DFVLR
Current assignee: Deutsches Zentrum fuer Luft und Raumfahrt eV
Priority date: 1985-06-29
Filing date: 1985-06-29
Publication date: 1986-10-30
Also published as: GB2176968A; FR2584255A1; GB8614977D0; FR2584255B1; GB2176968B; US4710809A

Description

Die Erfindung bezieht sich auf ein Verfahren zur Übertragung und Wiedergabe von Videoszenen, insbesondere Luftbildszenen, mit reduzierter Bildfolgefrequenz bei Relativbewegung der aufgenommenen Szene gegenüber dem Aufnahmesensor nach dem Oberbegriff des Patentanspruches 1.

Die Zwischenbilder werden aus zwei zu unterschiedlichen Zeitpunkten (z. B. im Abstand von 1 Sekunde) aufgenommenen Referenzbildern gewonnen, deren Bildinformation sich teilweise überlappt.

Im allgemeinen Fall einer Bildbewegung inj>- und in x-Richtung weist ein in die Bildfolge einzufügendes Zwischenbild if bezüglich der korrespondierenden Referenzbildinformation vier Bereiche auf. Im Überlappungsbereich der beiden Referenzbilder 0 und Anstehen sowohl Information aus dem Referenzbild 0 als auch aus dem Referenzbild iVzur Verfugung. Zwei weitere Bereiche enthalten Bildinformation, die jeweils nur in einem der beiden Referenzbilder (Bild 0 oder Bild N) vorhanden ist. In weiteren Bereichen gibt es keine korrespondierende Referenzbildinformation.

Entsprechend diesen Vorgaben werden die Zwischenbilder zusammengesetzt. Im Bereich der Überlappung kann zwischen den Grauwerten aus den Bildern 0 und Ninterpoliert werden. Durch Gewichtung der Grauwerte entsprechend dem zeitlichen Abstand des jeweils zu rekonstruierenden Zwischenbildes von den Referenzbildem entsteht dabei ein allmählicher Übergang von Bild 0 nach Bild N, der einem bewegungsangepaßten Überblendvorgang entspricht. Die Bereiche, deren Bildinformation nur einem der beiden Referenzbilder zuzuordnen ist, werden aus dem entsprechenden Referenzbild unmittelbar, d. h. ohne abstandsabhängige Gewichtung eingesetzt (Extrapolation), vergl. DE-OS 34 08 061. Die Extrapolation kann, alternativ zur Interpolation, auch auf den Überlappungsbereich ausgedehnt werden. Bereichen ohne korrespondierende Referenzbildinformation wird ein vorgegebener Grauwert, z. B. mittleres Grau, zugewiesen.

Sind die Beleuchtungsverhältnisse bei der Aufnahme der beiden Referenzbilder unterschiedlich, so kann die Grundhelligkeit (d. h. der mittlere Wert der Grauwertverteilung) im Extrapolationsbereich der Zwischenbifder und im Interpolationsbereich oder in Teilen dieser Bereiche voneinander abweichen. Diese Abweichung beeinträchtigt die Wiedergabequalität der erzeugten Zwischenbilder und tritt besonders an den Übergängen beider Bereiche als abrupte Grauwertänderung visuell nachteilig in Erscheinung.

Aufgabe der Erfindung ist es, Helligkeitssprünge am Rande von Bereichen, in denen nur eine Referenzbildinformation vorliegt, deutlich zu vermindern.

Diese Aufgabe wird durch die im kennzeichnenden Teil des Patentanspruches 1 herausgestellten Merkmale gelöst:
Zweckmäßige Ausgestaltungen sind Gegenstand der Unteransprüche, ,

Das erfindungsgemäße Verfahren erweitert das bekannte Zwischenbildinterpolationsverfahren derart, daß die Extrapolationsbereiche und der Interpolationsbereich in ihrer durchschnittlichen Helligkeitsverteilung über das Bild so aneinander angeglichen werden, daß die oben beschriebenen Helligkeitssprünge deutlich vermindert werden und damit keine störenden Einflüsse mehr auf den Betrachter haben. .
Die Erfindung wird im nachstehenden anhand der Zeichnung im einzelnen beschrieben.
Fig. 1 zeigt das Prinzip der Rekonstruktion von Zwischenbildern.

Fig. 2 ist eine Darstellung eines aus zwei Referenzbildern rekonstruierten Zwischenbildes.
Fig. 3 zeigt in einem Blockschaltbild den Ablauf der helligkeitsangepaßten Zwischenbild-Rekonstruktion.

F i g. 1 zeigt die zeitliche Anordnung zweier übertragener Bilder (Bild 0 und Bild N) und eines dazwischenliegenden, wiedergabeseitig rekonstruierten Bildes (Bild K), mit den durch Messung ermittelten, objektgleichen Bildpunktpositionen A₀, A_n bzw. B₀, B_n sowie der nach einem linearen Modell daraus bestimmten Bildpunktzuordnung C_A, C₀ bzw. C_K, C_n.

Die Abhängigkeit der Bildpunktposition eines Objektpunktes von der Zeit, d. h. dessen Bild-zu-Bild-Versatz, ist durch die Gesetzmäßigkeiten der Abbildungsgeometrie festgelegt. Sie kann vereinfachend, wie in Fig. 1, durch einen linearen Verlauf approximiert werden. Bei Kenntnis der Positionszuordnung für ein Paar von Objektpunkten in zwei Referenzbildern, z. B. den Positionen (Bildpunkten) ^₀, ^₀ in Bild 0 und A_n, B_n in Bild N nach F i g. 1 lassen sich die Zuordnungen für den Rest des Bildfeldes, z. B. für die Bildpunkte C₀, C_n aus dem Verhältnis der Bildpunktabstände nach dem Strahlensatz ermitteln. Die Zuordnung zwischen den objektgleichen Bildpunkten C₀ und C_n mit den Koordinaten rf_co,y'_co bzw. ^_CN,y'_Cs und dem entsprechenden Bildpunkt Q- mit den Koordinaten V₍ , y[_K in einem Bild K wird durch eine für diesen Punkt jeweils spezifische Zuordnungsgerade zwischen den Bildern 0 und N charakterisiert und kann aus den Koordinatenbeziehungen in bekannter Weise (DE-OS 30 18 329) bestimmt werden.

In Fig. 2 sind die übertragenen Referenzbilder 0 und N wiedergegeben, die zeitlich und hinsichtlich ihrer Ortskoordinatenxundj> gegeneinander versetzt sind. Es ist weiter mit gestrichelter Randlinie ein zu rekonstruierendes Zwischenbild K wiedergegeben. Wie aus der Darstellung ersichtlich, enthält der überlappende Bereich, der mit einer Karoschraffur versehen ist, Informationen aus den beiden Referenzbildern 0 und N. In den schraffierten Bereichen liegt keine Überlappung vor. Für diese Bereiche stehen Informationen aus jeweils einem der beiden übertragenen Referenzbildern O und N, und zwar im Bereich mit der nach rechts geneigten Schraffur aus dem Bild 0 und im Bereich der nach links gerichteten Schraffur aus dem Bild N zur Verfugung. Während im überlappenden Bereich die jeweiligen Bildpunkte bei der Rekonstruktion durch Interpolation bestimmt werden können, werden die Darstellungen der Bildpunkte im nicht überlappenden Bereich durch Extrapolation unter Verwendung der vorhandenen Informationen aus einem der Referenzbilder bestimmt. Für die Bereiche, in denen keine Informationen vorliegen, werden Werte vorgegeben, beispielsweise ein mittleres Grau.

Aus dem vorstehenden ergibt sich, daß bei wesentlichen Änderungen des mittleren Helligkeitswertes zwischen aufeinanderfolgend übertragenen Referenzbildern ein kontinuierlicher Übergang von den Helligkeitswerten des einen Bildes auf die des anderen Bildes nur im Überlappungsbereich gewährleistet ist, in dem interpoliert wird. In den Extrapolationsbereichen stehen nur die Informationen aus einem der aufeinanderfolgenden Referenzbilder zur Verfügung. Damit kommt es zu sprunghaften Änderungen der Helligkeit beim Übergang vom Interpolationsbereich auf die angrenzenden Extrapolationsbereiche. Derartige abrupte Grau wertänderungen treten visuell nachteilig in Erscheinung.

Derartige abrupte Grauwertänderungen werden durch das im nachstehenden zu beschreibende Verfahren weitgehend ausgeglichen. Dieses Verfahren wertet die durchschnittlichen Helligkeiten aus, die sich aus einer Helligkeits-Mittelung korrespondierender Bildbereiche der beiden Referenzbilder ergeben. Versatzbestimmungstechniken, die der Zwischenbild-Interpolation die nötigen Paßpunkte bzw. Versatzwerte liefern können und nach Flächenkorrelationsverfahren arbeiten, liefern mittlere Helligkeitswerte korrespondierender Bildbereiche in beiden Referenzbildern.

Die ermittelten Differenzen der durchschnittlichen Helligkeiten korrespondierender Bildausschnitte gehen in die Bestimmung der Parameter einer Funktion ein, mit Hilfe der die Helligkeitskorrektur im Zwischenbereich für jeden beliebigen Bildpunkt im Zwischenbild im Falle der Extrapolation durchführbar ist. Die Bestimmung der Parameter erfolgt durch das Lösen eines linearen Gleichungssystems, in das die Helligkeitsdifferenzen sowie die zugeordneten Bildkoordinaten eines der Referenzbilder eingehen.

Das Verfahren stellt eine Verbesserung der gewichteten Zwischenbildpunktinterpolation dergestalt dar, daß Belichtungsunterschiede der verwendeten Referenzbilder nicht oder kaum mehr wahrnehmbar zu Helligkeits-Sprüngen an den Stoßkanten von Inter- zu Extrapolationsbereichen führen.

Im einzelnen wird wie folgt gearbeitet:

Aus den Referenzbildern Ö und N werden gemäß dem Bildinhalt eine Anzahl η korrespondierender Bildausschnitte ausgewählt, im nachstehenden als Bildausschnittspaare bezeichnet. Die Größe dieser Bildausschnitte ist variabel (beispielsweise 20 X 20 Bildpunkte). Als Zentrum dieser Bildausschnittspaare werden zweckmäßigerweise die schon bekannten, aus der Anwendung von Versatzbestimmungstechniken hervorgehenden und zur Rekonstruktion der Zwischenbilder benötigten korrespondierenden Bildpunktpaare gewählt.

Ein solcher Bildausschnitt ist in Fig. 2 um den Bildpunkt A gestrichelt wiedergegeben. Bezogen auf Referenzbild 0 hat dieser Bildausschnitt die Zentrumskoordinaten A₀ = (χοα^ολ), bezogen auf Referenzbild N die Zentrumskoordinaten A_n = (x_NA,y_NA). In dieser Figur sind weitere Bildpunkte B, Cund D eingetragen, denen entsprechende Bildausschnittspaare zugeordnet sind.

Die Ermittlung der Korrespondenz zwischen Referenzbild 0 und N, aus der die Festlegung der Zentren der Bildausschnittspaare hervorgeht, ist in dem in Fig. 3 dargestellten Blockschaltbild in Block 12 durchzuführen. Für jeden der Bildausschnitte in Referenzbild 0 bzw. iVist ein Mittelwert der Helligkeiten μ_Οι bzw. y_Si (Fig. 3, Block 14) und von diesen jeweils korrespondierenden Mittelwerten sind die Differenzen zu bilden (Fig. 3, Block 16).

IiDi= U.M-POi- (D

Die so ermittelten Differenzen gehen zusammen mit den ihnen jeweils zugeordneten Bildkoordinaten A₀, B₀, C₀, D₀ ... bzw. A_n, B_n, C_n, D_n ... in ein vorzugsweise lineares Gleichungssystem ein, aus dessen Lösung die Parameter α, ... a„ für die Helligkeitskorrekturfunktion (2) hervorgehen (Block 18).

Beispielsweise:

Vd (=-XO₁JO) = a\ x_ojo + a₂xo + a₃y₀ +a₄ . (2)

Dabei entspricht η der Zahl der korrespondierenden Bildausschnitte.

Es können alternativ die den Mittelwerten zugeordneten Bildkoordinaten des Referenzbildes 0 (x₀,y₀) oder die des Referenzbildes vV(x_v, j\) ^^s Bezugsgrößen gewählt werden und dementsprechend in das Gleichungssystem nach beispielsweise (2) eingehen.

Der Grauwert eines zu ermittelnden Zv.ischenbÜdpunktcs in den Extrapolationsbereichen kann nach den erweiterten Interpolationsgleichungen (3) und (4) berechnet werden - Block 20.

₀) (4)

mit beispielsweise:

έ^Χ)(Κ,Ν) =£ΐ^.. (6)

Die zeitlichen Gewichtungsfaktoren g⁽⁰⁾ und g^(/V) bestimmen den in der Zeit kontinuierlichen Überblendvorgang der Grauwertkorrektur von Referenzbild 0 zu Referenzbild N. Die Gleichungen (5) und (6) geben dabei den Sonderfall des zeitlich linearen Überblendens an.

Im vorstehenden ist das Verfahren unter Zugrundelegung der Bestimmung der Helligkeitswerte durch Subtraktion der mittleren Helligkeiten beschrieben. Es kann auch eine Division der mittleren Helligkeiten zugrunde gelegt werden, bei der dann folgende Gleichungen anzuwenden sind. 30

v,- = UnJVüi, (7)

ν,·(xo,JO) = «i-XbJO + O₂X₀ + a₃y₀ + a₄ , (8)

Zf= ^v(Xo₅Jo)Zo OCo₅J¹O), . (9)

τίΝ) _ ΛΝ) *■ τ (■* ■» \ nm

IK B —', Γ *N vQVjJW · W")

Zeichenerklärung

μ_0/ - Helligkeitswert in Referenzbild 0 bzgl. Paßpunkt /.

μ_Ν, - Helligkeitsmittelwert in Referenzbild N bzgl. Paßpunkt /,

μ_0! - Differenz der korrespondierenden Mittelwerte bzgl. Paßpunkt /,

v_Di - Quotient der korrespondierenden Mittelwerte,

Ud (-Xb, JO) ~ Funktion der Helligkeitsdifferenzen,

v_D (x₀, jo) - Funktion der Helligkeitsquotienten,

a\,a₂,a₃...a„ - Koeffizienten,

X₀, jo - Bildpunktbezugskoordinaten für Bild 0,

Xn, yN ~ Bildpunktbezugskoordinaten für Bild N,

N - Anzahl der Bilder einer Referenzbildszene,

K - Zwischenbildposition (0 < K < N),

Ijc^} - Grauwert eines Bildpunktes in der Zwischenbildposition K für den Fall, daß nur ein Bild

punktbezug zu Referenzbild 0 besteht (Extrapolationsbereich),

I_K ^N) - Grauwert eines Bildpunktes in der Zwischenbildposition K für den Fall, daß nur ein Bild

punktbezug zu Referenzbild N besteht (Extrapolationsbereich),

g"" (K, N) - Zeitlicher Gewichtungsfaktor entsprechend der Zwischenbildposition K in bezug auf Refe

renzbild 0,

g^(/V) (K, N) - Zeitlicher Gewichtungsfaktor entsprechend der Zwischenbildposition K in bezug auf Referenzbild N.

Hierzu 2 Blatt Zeichnungen

Claims

Patentansprüche:

1. Verfahren zur Wiedergabe von Videoszenen, insbesondere Luftbildszenen, mit reduzierter Bildfolgefrequenz bei Relativbewegung der aufgenommenen Szene gegenüber dem Aufnahmesensor, bei dem durch abbildungsangepaßte Interpolation und/oder Extrapolation unter Zugrundelegung von jeweils zwei übertragenen Bildern wiedergabeseitig erzeugte Zwischenbilder in die übertragene Bildfolge eingefügt werden und die für die Inter- bzw. Extrapolation jeweils zuzuordnenden objektgleichen Bildpunktpositionen der beiden übertragenen Bilder aus der als bekannt ermittelten Zuordnung der Bildpunktpositionen für wenigstens zwei auf vertikal und horizontal ungleichen Koordinaten liegende Objektpunkte in jedem der beiden übertragenen Bilder bestimmt werden, dadurch gekennzeichnet, daß vor Beginn der Rekonstruktion der Zwischenbilder für begrenzte Bildausschnitte, die die Umgebung von jeweils wenigstens einer der zugeordneten objektgleichen Bildpunktpositionen zweier übertragener Bilder repräsentieren, die mittleren Helligkeitswerte dieser Bildausschnitte ermittelt werden, diese Helligkeitswerte subtrahiert oder dividiert werden und nach den sich dabei ergebenden Differenzen bzw. Quotienten anteilmäßig der Helligkeitswert im Extrapolationsbereich der Zwischenbilder korrigiert wird.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Extrapolation die mittleren Helligkeiten von repräsentativen Bildausschnitten von wenigstens 4 Bildpunktpositionen zugrunde gelegt werden.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß für die begrenzten Bildausschnitte Bildpunktpositionen zugrunde gelegt werden, die der Rekonstruktion der Zwischenbilder zugrunde liegen.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß aus wenigstens zwei Differenzen bzw. Quotienten jeweils eine Funktion zur Darstellung ihrer flächenmäßigen Abhängigkeiten gebildet wird.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß jeweils Differenzen bzw. Quotienten der Helligkeitswerte für weitere Bildpunktpositionen aus dieser Funktion mit den Koordinaten dieser weiteren Bildpunktpositionen als Variablen errechnet werden.

6. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß die Funktion ein Polynom ersten Grades der Koordinaten eines der übertragenen Bilder ist.