DE4444304A1 - Verfahren zum Erzeugen eines zusammengesetzten Videobildes - Google Patents

Description

Die vorliegende Erfindung bezieht sich auf das Zusammensetzen von Videobildern, speziell auf ein Verfahren, ein zusammen­ gesetztes Videobild basierend auf der Tiefe zu erzeugen, indem den Videobildern zugeordnete Tiefensignale vom entferntesten zum nächsten sortiert werden, bevor die Videobilder einer seriellen Kombiniervorrichtung zugeführt werden.

Ältere Verfahren zum Zusammensetzen von Videobildern - wie in dem Gerät Kaleidoscope Digital Video Effects des Herstellers The Grass Valley Group, Inc., Kalifornien, USA - wenden ein seriel­ les Verfahren an. Zwei Bilder werden kombiniert, und das resul­ tierende, neue Bild kann sodann mit einem dritten Bild kombi­ niert werden. Die Patentschrift US-4 851 912 vom 25.7.1989 ("Jackson et al. "Apparatus for Combining Video Signals") beschreibt ein solches Kombinationsverfahren, in dem die zwei Videobilder, wie in Fig. 2 dieser Druckschrift gezeigt, auf der Basis eines Prioritätssignals kombiniert werden. Dieses Priori­ tätssignal kann aus einer Kombination der Tiefensignale von den Videovordergrund- und Videohintergrundbildern gebildet werden. Das Prioritätssignal kann von Stufe zu Stufe weitergeleitet werden, so wie die Video- und Schlüsselsignale, die mit dem Videobild verbunden sind, um als Eingangssignal für die Erzeu­ gung des Prioritätssignals für die nächste Kombinationsstufe bereitzustehen. Wenn jedoch zwei Videobilder gemäß der auf der Tiefe basierenden Priorität kombiniert werden und nachfolgend in serieller Weise ein drittes Videobild gemäß seiner Tiefe mit den zuvor kombinierten kombiniert wird, können falsche Prioritäten die Folge sein.

Die Patentschrift US-4 684 990 vom 4. August 1987 (Leslie J. Oxley: "Method and Apparatus for Combining Multiple Video Images in Three Dimensions") offenbart ein Verfahren parallelen Kombi­ nierens. Fig. 5A und 5B dieses Patents zeigen einen Tiefen/Ko­ effizienten-Wandler mit vier Kanälen. Wenn diese Konfiguration zum Beispiel auf fünf Kanäle erweitert würde, würde jede Stufe zusätzliche Schaltungen sowie jeweils eine zusätzliche Stufe erfordern. Diese zusätzliche Schaltung bestünde aus einem weiteren Tiefenschaltkreis 36, zehn weiteren Subtrahierern 52, zehn weiteren Bewertungsschaltkreisen 54, zehn weiteren Mini­ mumschaltkreisen 56, einer weiteren Begrenzerschaltung 58, einer zusätzlichen Multiplizierschaltung 60, zehn weiteren Invertern 62, einer weiteren finalen Minimumschaltung 64 mit einem zusätzlichen Eingang für alle anderen, einer weiteren Ausgangsmultiplizierschaltung 72 und einem zusätzlichen Eingang für die Summierschaltung 68. Das Hinzufügen einer weiteren Ebene macht eine große Anzahl zusätzlicher Schaltungen erforderlich mit den damit verbundenen erhöhten Kosten.

Gewünscht ist ein Verfahren zum Kombinieren einer Vielzahl von Videobildern nach dem Kriterium der Tiefe, welches die richtige Tiefenreihenfolge zwischen zwei Videobildern in einer einfachen, kostengünstigen Weise gewährleistet.

Demgemäß beschreibt die vorliegende Erfindung ein Verfahren zur Erzeugung eines zusammengesetzten Videobildes, das auf der Tiefe basiert, welches die Tiefensignale, die mit einer Vielzahl von die Videobilder bestimmenden Videoeingangssignalen verbunden sind, vom entferntesten zum nächsten ordnet, bevor es die Videobilder nacheinander zusammensetzt. Die Videoeingangssignale werden verzögert und in eine Kreuzungsmatrix eingegeben. Die mit den Videoeingangssignalen verbundenen Tiefensignale werden in eine Tiefenvergleichs- und -sortierschaltung eingegeben, welche die Tiefensignale ordnet und ein Steuersignal zur Konfiguration der Kreuzungsmatrix hervorbringt, so daß die Videoeingangs­ signale den richtigen seriellen Kombiniervorrichtungen zugeführt werden. Die sortierten Tiefensignale werden in serieller oder paralleler Schaltung einem Tiefen/Prioritätswandler zugeleitet, so daß als Ausgangssignale sowohl entsprechende Prioritätssignale für die Kombiniervorrichtungen als auch kombinierte Tiefen­ signale erzeugt werden. Die Kombiniervorrichtungen setzen die Videoeingangssignale der Reihenfolge nach zusammen und erzeugen so das zusammengesetzte Videobildsignal.

Die Ziele, Vorteile und neuen Merkmale der vorliegenden Erfindung gehen aus der nachfolgenden Beschreibung im Zusammenhang mit den beigefügten Ansprüchen und Zeichnungen hervor. Es zeigen:

Fig. 1 ein Blockschaltbild des Aufbaus einer Kombinier­ vorrichtung, die gemäß der vorliegenden Erfindung mit einer Vielzahl von Videoeingangssignalen verbundene Tiefensignale vor der Zusammensetzung der Videoein­ gangssignale sortiert;

Fig. 2 eine Darstellung, wie Videoeingangssignale gemäß der vorliegenden Erfindung kombiniert werden;

Fig. 3 eine Darstellung, wie Videoeingangssignale an Schnittpunkten gemäß der vorliegenden Erfindung kombiniert werden;

Fig. 4 den Grundbaustein eines parallelen Tiefen/Priori­ tätswandlers, der die seriellen Tiefen/Prioritäts­ wandler in Fig. 1 ersetzen soll.

Fig. 5 ein Blockschaltbild des parallelen Tiefen/Prioritäts­ wandlers von Fig. 4;

Fig. 6 ein partielles Blockschaltbild des parallelen Tie­ fen/Prioritätswandlers von Fig. 4, der für Kanalzusam­ menschluß gemäß der vorliegenden Erfindung ausgelegt ist;

Fig. 7 das Prinzip eines Tiefensortieralgorithmus gemäß der vorliegenden Erfindung;

Fig. 8 einen modularen Tiefensortieralgorithmus gemäß der vorliegenden Erfindung;

Fig. 9 ein Blockschaltbild des Aufbaus einer seriellen Kombi­ niervorrichtung gemäß dem Stand der Technik zum Kombi­ nieren einer Vielzahl von Videoeingangssignalen.

In Fig. 9 werden drei mit je einem Tiefensignal verbundene Videoeingangssignale einer Kombiniervorrichtung gemäß dem Stand der Technik zugeführt. Die mit den Videoeingangssignalen 2 und 3 verbundenen Tiefensignale werden einem Tiefen/Prioritäts­ schaltkreis zugeführt zur Erzeugung eines ersten Prioritäts­ signals und eines ersten kombinierten Tiefensignals, das gleich der nächsten Tiefe der Videoeingangssignale 2 und 3 ist. Die Videoeingangssignale 2 und 3 werden zusammen mit dem ersten Prioritätssignal zur Erzeugung eines ersten zusammengesetzten Ausgangssignals einer ersten Kombinierstufe, wie sie in der oben erwähnten US-4 851 912 beschrieben wird, zugeführt. Dieses erste zusammengesetzte Ausgangssignal wird zusammen mit dem Videoeingangssignal 1 und einem zweiten, von dem ersten kombi­ nierten Tiefensignal und dem mit dem Videoeingangssignal 1 verbundenen Tiefensignal abgeleiteten Prioritätssignal einer zweiten Kombinierstufe zur Erzeugung eines endgültigen zusam­ mengesetzten Ausgangssignals zugeführt, das die Kombination der drei Videoeingangssignale ist. Wenn das Videoeingangssignal 1 eine relative Tiefe hat, die zwischen denjenigen der Videoein­ gangssignale 2 und 3 liegt, sollte das sichtbare Ergebnis derart sein, daß das Videoeingangssignal 1 zwischen den beiden anderen Videoeingangssignalen liegt. Was aber tatsächlich geschieht, ist, daß das Videoeingangssignal 1 hinter den beiden anderen Videoeingangssignalen zu liegen scheint, da das erste kombinier­ te Tiefensignal, welches die nächste der beiden Tiefen der Videoeingangssignale 2 und 3 wiedergibt, mit dem Tiefensignal für das Videoeingangssignal 1 kombiniert wird. Wenn das Video­ eingangssignal 1 das nächste Tiefensignal aller drei Videoein­ gangssignale hätte, wäre das Ergebnis korrekt.

Fig. 1 zeigt eine Vorrichtung 10 zum Kombinieren einer Vielzahl von Videoeingangssignalen, wovon jedes ein zugehöriges Tiefen­ signal hat. Die Tiefensignale 1 bis n werden einem Tiefenver­ gleichs- und -sortierschaltkreis 12 zugeführt. Der Tiefenver­ gleichs- und -sortierschaltkreis 12 sortiert die Tiefensignale vom entferntesten zum nächsten und erzeugt neue Tiefensignale 1′ bis n′, wobei n′ das entfernteste und 1′ das nächste ist. Das Ergebnis dieses Sortiervorgangs erzeugt ein Steuersignal zur Konfigurierung einer nxn(Kreuzungs-)Matrix 14, das die Video­ eingangssignale auf einer Punkt-für-Punkt-Basis zu den richtigen Matrixausgängen leitet. Die sortierten Tiefenausgangssignale 1′ bis n′ werden zur Erzeugung von Prioritätssignalen für die Kombinierstufen einer seriellen Kombiniervorrichtung 18 Tie­ fen/Prioritäts-Wandlerschaltkreisen 16 zugeleitet. Die Video­ eingangssignale werden zur Kompensation der für die im Tiefen­ vergleichs- und -sortierschaltkreis 12 stattfindende Sortierung der assoziierten Tiefensignale erforderlichen Zeit einem ersten Verzögerungsschaltkreis 13 zugeführt. Die verzögerten Videoein­ gangssignale werden an die Eingänge der Kreuzungsmatrix 14 ange­ legt und werden gemäß dem Matrixkonfigurationssteuersignal, das auf dem Sortierergebnis beruht, zu den Ausgängen der Kreuzungs­ matrix geleitet. Die in der richtigen Tiefenreihenfolge sortier­ ten Ausgangssignale der Kreuzungsmatrix 14 werden einem zweiten sequentiellen Verzögerungsschaltkreis 17 zugeführt, worin die sortierten Videoeingangssignale in der Reihenfolge verzögert werden, in der sie der seriellen Kombiniervorrichtung 18, wie in US 4 851 912 beschrieben, zugeführt werden. Die Tiefen/Priori­ täts-Signalwandlung ist relativ einfach und kann mittels gleich­ einigem Vergleich von nur zwei aufeinanderfolgenden Tiefen­ signalen ausgeführt werden. Das kombinierte Tiefenausgangssignal jeder Wandlungsstufe der seriellen Kombiniervorrichtung 18 ist das nächste der zwei am Eingang zu dieser Stufe anliegenden Tiefensignale.

Die oben erörterten Beispiele für Tiefensignale sind relativ einfach, d. h. alle Tiefensignale stellen konstante relative Tiefen dar. Fig. 2 zeigt ein etwas komplizierteres Beispiel, in dem die drei Videoeingangssignale drei Bilder erzeugen, wodurch der Eindruck dreier sich schneidender Ebenen entsteht. Um die Funktion des Schaltkreises von Fig. 1 beispielhaft zu demon­ strieren, sind zunächst die Pixel auf der mit a′ bezeichneten gestrichelten Linie zu betrachten. In diesem Zustand tragen drei Eingangspixel zum Ausgangspixel bei. Die Tiefen jedes Eingangs­ pixels werden im Tiefenvergleichs- und -sortierschaltkreis 12 sortiert. Das Ergebnis des Sortiervorgangs ist, daß das Videoeingangssignal 1 das vom Betrachter entfernteste, das Videoeingangssignal 2 zwischen den Videoeingangssignalen 1 und 2 und Videoeingangssignal 3 das für den Betrachter nächste ist. Die Kreuzungsmatrix 14 wird von dem aus dem Sortierschaltkreis 12 stammenden Matrixkonfigurationssteuersignal angewiesen, das Videoeingangssignal 1 an den Eingang 4 der seriellen Kombinier­ vorrichtung 18 (Stufe 2) anzulegen, das Videoeingangssignal 2 auf den Eingang 3 der seriellen Kombiniervorrichtung (Stufe 2) und das Videoeingangssignal 3 auf den Eingang 1 der seriellen Kombiniervorrichtung (Stufe 1), wobei die ersten zwei Stufen der Kombiniervorrichtung benutzt werden. Das Ausgangssignal der Stufe 2 der seriellen Kombiniervorrichtung wird an den Eingang 2 (Stufe 1) angelegt. An der gestrichelten Linie b′ hat Signal 2 die entfernteste Tiefe, Videoeingangssignal 1 ist in der Mitte und Videoeingangssignal 3 ist noch immer das nächste. Deshalb legt die Kreuzungsmatrix 14 das Videoeingangssignal 2 an den Eingang 4 der Kombiniervorrichtung an, das Videoeingangssignal 1 an den Eingang 3 und das Videoeingangssignal 3 an den Eingang 1. In gleicher Weise wird die Kreuzungsmatrix 14 vom Sortier­ schaltkreis 12 angewiesen, bei den durch die gestrichelten Linien c′ und d′ dargestellten Zuständen die Videoeingangs­ signale zu den richtigen Eingängen der seriellen Kombinier­ vorrichtung 18 zu leiten. Obwohl die genannten Beispiele lediglich anhand von drei Videoeingangssignalen durchgeführt wurden, kann die Methode für jede beliebige Anzahl von Video­ eingangssignalen erweitert werden.

Fig. 3 zeigt ein komplexeres Beispiel für drei Videoeingangs­ signale, in dem sich mehr als zwei Videoeingangssignale in einem einzigen Pixel schneiden. Im Zustand e′ kann der in Fig. 2 dargestellte Schaltkreis nicht bestimmen, welches der drei Pixel vorne liegt. Deshalb werden die Pixel in einer Weise kombiniert, daß zwei Videoeingangssignale zu je 50% kombiniert werden und daß das Ergebnis mit dem dritten Videoeingangssignal zu je 50% kombiniert wird. Das Endergebnis ist eine 25%-25%-50%-Kombina­ tion gegenüber einem korrekten Kombinationsverhältnis zu je 33%. Alle Punkte des zusammengesetzten Ausgangsbildes werden nur dann korrekt erarbeitet, wenn das Ausgangssignal des Sortierschalt­ kreises 12 dazu benutzt wird, Prioritätskoeffizienten für alle Videoeingangssignale gleichzeitig zu bestimmen anstatt nur jeweils für zwei gleichzeitig. Dies kann erreicht werden, indem die seriellen Tiefen/Prioritätswandler 16 durch einen parallelen Tiefen/Prioritätswandler 16′, wie in Fig. 4 gezeigt, ersetzt werden. Der parallele Tiefen/Prioritätswandler 16′ empfängt die sortierten Tiefensignale 1′ bis n′ als Eingangssignale und liefert die erforderlichen n-1 Prioritätssignale und die kombi­ nierten Tiefensignale als Ausgangssignale. Ein zusätzliches Eingangssignal in den parallelen Tiefen/Prioritätswandler 16′ ist ein Weichheitsparameter, der WEICHHEITSWERT, der veränderlich ist und von einem Operator gesteuert wird.

Aus Fig. 3 wird ersichtlich, wie der WEICHHEITSWERT von dem nächsten Tiefenwert, d. h. dem kombinierten Tiefenwert, zur Erzeugung einer mittels der gepunkteten Linie dargestellten Weichheitsgrenze subtrahiert wird.

WEICHHEIT = TIEFE 1′ (nächste Tiefe) - WEICHHEITSWERT

wobei WEICHHEITSWERT < 0. Die WEICHHEIT ist entfernter als das nächste Pixel in der von der Tiefensortiervorrichtung 12 hergestellten Reihenfolge. Die Prioritäten werden durch folgende allgemeine Gleichung bestimmt:

PRIORITÄT (K, K+1) = (TIEFE K - WEICHHEIT)/((TIEFE K - WEICHHEIT) + (TIEFE (K+1) - WEICHHEIT) + (TIEFE (K+2) - WEICHHEIT) + . . . + (TIEFE (K+M) - WEICHHEIT))

worin K das interessierende Videoeingangssignal nach Tiefen­ sortierung, K+1 das nächste Videoeingangssignal nach K usw. ist, bis zu K+M, welches das letzte oder entfernteste Videoein­ gangssignal ist. Wenn irgendein Resultat (TIEFE - WEICHHEIT) negativ wird, wird es gleich Null gesetzt.

Für den Zustand a′ aus Fig. 3 ist die Priorität PRI3/2 zwischen zwei Videoeingangssignalen 3 und 2 wie folgt:

(WEICHHEITSWERT)/((WEICHHEITSWERT) + (TIEFE 2 - WEICHHEIT) + (TIEFE 1 - WEICHHEIT)).

Jedoch fällt die Weichheitsgrenze damit vor die Videoein­ gangsignale 1 und 2. Deshalb werden die Terme (TIEFE 2 - WEICHHEIT) und (TIEFE 1 - WEICHHEIT) beide negativ und daher gleich Null gesetzt. Der Endwert für PRI3/2 wird zu WEICHHEIT/WEICHHEIT, d. h. 1. Mit anderen Worten: Die Videoein­ gangssignale 2 und 1 tragen nichts zur Zusammensetzung im Zustand a′ bei. Die Priorität PRI2/1 zwischen den Videoein­ gangssignalen 2 und 1 ist wie folgt:

(TIEFE 2 - WEICHHEIT))/((TIEFE 2 - WEICHHEIT) + (TIEFE 1 - WEICHHEIT))

was 0/0 ergibt. Dieser Spezialfall muß gleich Null gesetzt werden. Generell wird in allen Fällen, in denen der Zähler gleich Null ist, die Prioritätsausgabe als Null definiert. Aus Fig. 5 geht hervor, daß für jede Ebene außerhalb der Weich­ heitsgrenze ein Begrenzer 24 jeden Wert auf Null begrenzt, welcher sodann als ein Eingabewert für jeden Multiplizierer 30 dient und damit den Ausgang jedes Multiplizierers zu Null macht, unabhängig vom Wert an jedem anderen Eingang. So liefert die Hardware das richtige Ergebnis.

In Fig. 3 ist die Priorität PRI3/2 im Zustand b′:

(WEICHHEITSWERT)/((WEICHHEITSWERT) + (TIEFE 2 - WEICHHEIT) + (TIEFE 1 - WEICHHEIT)).

In diesem Punkt sind die Videoeingangssignale 3 und 2 innerhalb der durch die gepunktete Linie angezeigten Weichheitsgrenze, jedoch ist das Videoeingangssignal 1 wiederum negativ und deshalb Null. Das Endergebnis für PRI2/3 lautet:

(WEICHHEITSWERT)/((WEICHHEITSWERT) + (TIEFE 2 - WEICHHEIT))

und PRI2/1 lautet:

(TIEFE 2 - WEICHHEIT)/((TIEFE 2 - WEICHHEIT) + (TIEFE 1 - WEICHHEIT))

oder 1 wegen (TIEFE 1 - WEICHHEIT) gleich Null.

Im Zustand e′, in dem sich sämtliche Videoeingangssignale schneiden, befinden sich alle innerhalb der Weichheitsgrenze. PRI3/2 lautet:

(WEICHHEITSWERT)/((WEICHHEITSWERT) + (TIEFE 2 - WEICHHEIT) + (TIEFE 1 - WEICHHEIT)) und

PRI2/1 lautet:

(TIEFE 2 - WEICHHEIT)/((TIEFE 2 - WEICHHEIT) + (TIEFE 1 - WEICHHEIT)).

Die Proportionalität jedes Videoeingangssignals im Zustand e′ ist:

WEICHHEITSWERT = TIEFE 2 - WEICHHEIT = TIEFE 1 - WEICHHEIT.

Aus diesem Grunde ist der Anteil von Videoeingangssignal 3, der In die endgültige Zusammensetzung im Zustand e′ eingeht, wie folgt:

EINGANG3_*(PRI3/2) = EINGANG3_*(WEICHHEITSWERT)/( (WEICHHEITSWERT) + (TIEFE 2 - WEICHHEIT) + (TIEFE 1 - WEICHHEIT)) = EINGANG3_*(1/3).

Der Anteil von Videoeingangssignal 2 in der endgültigen Zusammensetzung ist:

EINGANG2_*(1-PRI3/2)_*PRI2/1 = EINGANG2_*(1-1/3)_*(Tiefe 2 - WEICHHEIT)/((TIEFE 2 - WEICHHEIT) + (TIEFE 1 - WEICHHEIT)) = EINGANG2_*(2/3)_*(1/2) = EINGANG2_*(1/3).

Und schließlich beträgt der Anteil von Videoeingangssignal 1 in der endgültigen Zusammensetzung:

EINGANG1_*(1-PRI3/2)_*(1-PRI2/1) = EINGANG1_*(1-1/3)_*(1-1/2) - EINGANG1_*(2/3) (1/2) = EINGANG1_*(1/3).

So betragen die Anteile der drei Videoeingangssignale mathematisch korrekt je ein Drittel.

Fig. 5 zeigt einen Schaltkreis für die Implementierung des parallelen Tiefen/Prioritätswandlers 16′. Das Tiefensignal 1′ des als nächstes eingeordneten Videoeingangssignals wird zusammen mit dem WEICHHEITSWERT einem ersten Subtrahierglied 20 zugeführt zur Erzeugung der Weichheitsgrenze WEICHHEIT. Die WEICHHEIT wird zusammen mit den entsprechenden Tiefensignalen 2′ bis N′ der restlichen geordneten Videoeingangssignale einer Vielzahl von zweiten Subtrahiergliedern 22 zugeführt. Die Ausgangssignale dieser zweiten Subtrahierglieder 22 werden entsprechenden Null-Begrenzerschaltungen 24 zugeführt, die für negative Eingangswerte eine Null als Ausgangssignal liefern. Der WEICHHEITSWERT wird zusammen mit den Ausgangssignalen der ent­ sprechenden Begrenzerschaltung 24 entsprechenden, in der Anzahl um 1 verminderten, Summierschaltungen 26 zugeführt, so daß das Ausgangssignal der Begrenzerschaltung, das auf dem als entfern­ testes eingeordneten Videoeingangssignal beruht, demselben Summierschaltkreis zugeführt wird wie das nächstniedere, d. h. der (N-1)′-ten Begrenzerschaltung entstammende Ausgangssignal. Die zweiten Eingänge für die verbleibenden Summierschaltungen 26 stammen jeweils von dem Ausgang der um 1 weiter entfernten Summierschaltung. Die Ausgangssignale der Summierschaltungen 26 werden entsprechenden Kehrwertschaltungen 28 zugeführt. Die Ausgangssignale der Kehrwertschaltungen 28 bilden jeweils ein Eingangssignal für entsprechende Ausgangsmultiplizierschaltungen 30. Das jeweils andere Eingangssignal der Ausgangsmultiplizier­ schaltungen 30 wird von dem WEICHHEITSWERT bzw. den jeweils entsprechenden Ausgangssignalen der Begrenzerschaltungen 24 für die Tiefensignale 2′ bis (N-1)′ gebildet. Die Ausgangssignale der Ausgangsmultiplizierschaltungen 30 sind die Prioritäts­ signale PRI1 bis PRI (N-1).

Die Videobilder können nicht-planar sein, d. h. die assoziierten Tiefensignale können von dreidimensionaler (3-D) Form sein, wie es bei der Erzeugung einer Kugel oder des Umwendens eines Blat­ tes durch ein Graphikprogramm der Fall ist und in der Patent­ schrift US-5 077 608 vom 31.12.1991 (Robert J. Dubner: "Video Effects System Able to Intersect a 3-D Image with a 2-D Image") offenbart ist. Es kann auch jedes andere Videoeingangssignal mit kompatibler Tiefe verwendet werden. Beispiele für gegenwärtig existierende Systeme, die sich des Tiefenkriteriums bedienen, sind Kaleidoscope Digital Video Effects, Kadenza Digital Switcher und Graphics Factory products, alle vom Hersteller The Grass Valley Group, Inc.

Die verschiedenen bekannten, nicht auf dem Tiefenkriterium beruhenden Kombinierverfahren, die mit den Angaben A über B, A geschnitten mit B, B über A usw. arbeiten, können ebenfalls auf den Schaltungen gemäß Fig. 1 und 4 ablaufen. Bei einem solchen Verfahren wird das Matrixkonfigurationssteuersignal, das vom Sortierschaltkreis 12 bereitgestellt wird, von einem einer Anwenderschnittstelle entstammenden Steuersignal bezogen, wie aus Fig. 1 ersichtlich, welches dann ein scheinbares Tiefen­ signal für jedes Videoeingangssignal bereitstellt. So z. B. wird im Fall "A über B", wobei A Videoeingangssignal 1 und B Video­ eingangssignal 2 ist, die Kreuzungsmatrix 14 angewiesen, Ein­ gangssignal 1 zum Eingang 1 der Kombiniervorrichtung und Eingangssignal 2 zum Eingang 2 der Kombiniervorrichtung zu leiten, so als ob Videoeingangssignal 1 ein dem Betrachter näheres Tiefensignal hätte als Videoeingangssignal 2. Das Matrixkonfigurationssteuersignal könnte auch in der Art eines Kantenlöschers mit einem Echtzeitmaskierungssignal moduliert werden, das im Fall zweier Videoeingangssignale für einen Teil des Ausgabebildes den Eindruck erwecken würde, daß ein Bild vor dem anderen angeordnet ist, wohingegen für einen anderen Teil des Ausgabebildes die umgekehrten Prioritäten, d. h. die umge­ kehrten scheinbaren Tiefensignale, gelten würden.

Für das Kombinieren einer Vielzahl von Videoeingangsignalen können verschiedene die Priorität berücksichtigende Methoden erstellt werden. Für drei Videoeingangssignale können Video­ eingangssignale 2 und 3 als A über B kombiniert werden, und nachfolgend könnte Videoeingangssignal 1 mit dem Ergebnis "A geschnitten mit B" kombiniert werden, wobei "geschnitten" eine mathematische Logikfunktion ist. Das Endergebnis ist, daß das Videoeingangssignal 1, welches mit der Kombination von Video­ eingangssignalen 2 und 3 geschnitten wird, nur dort eine Ausgabe erzeugt, wo es gemeinsame Werte von Videoeingangssignal 1 und dem kombinierten Videoeingangssignal 2, 3 gibt. Der Operator braucht gar nicht damit befaßt zu werden, welches Videoeingangs­ signal welchem Eingang der Kombiniervorrichtung 18 zugeführt werden muß, sondern wählt einfach aus, welches Videoeingangs­ signal über oder unter einem anderen Videoeingangssignal ist, und die Kreuzungsmatrix 14 führt die Videoeingangssignale den geeigneten Eingängen der Kombiniervorrichtung zu.

Zusätzlich kann durch diese Schaltung eine Kanalzusammenfassung, bei der eine Gruppe von Videoprozessorkanälen von- mehreren Kon­ trollpunkten belegt wird, bewerkstelligt werden. Beispielsweise möchten zwei Benutzer, d. h. zwei Kontrollpunkte, je zwei von insgesamt vier Videoprozessoren belegen und die zwei resultie­ renden Videoeingangssignale kombinieren und dabei die Vorrich­ tung der Fig. 1 oder 4 benutzen. Wenn Benutzer Nr. 1 (Kontroll­ punkt 1) Kanäle belegt, die mit den Eingängen 1 und 3 der Kombi­ niervorrichtung 18 verbunden sind, dann belegt Benutzer Nr. 2 (Kontrollpunkt 2) Kanäle, die mit den Eingängen 2 und 4 verbun­ den sind. Wenn die Videoeingangssignale 1 und 3 vom Benutzer Nr. 1 belegt werden, dann wird eine Marke, die einer binären Zwei entspricht, den höchstwertigen Bits (most significant bits, MSBs) des Sortierschaltkreises 12 an den Eingängen 1 und 3 zugeführt, wobei die Anzahl der MSBs die Anzahl der verfügbaren Kontrollpunkte bestimmt. In ähnlicher Weise wird eine Marke, die einer binären Eins entspricht, den zwei MSBs an den Eingängen 2 und 4 zugeführt. Wenn der Sortiervorgang ausgeführt wird, führen die MSBs die Videoeingangssignale 1 und 3 den Eingängen 1 und 2 oder, abhängig von der relativen Tiefe, den Eingängen 2 und 1 der Kombiniervorrichtung 18 zu. In ähnlicher Weise werden die Videoeingangssignale 2 und 4 zu den Eingängen 5 und 6 oder 6 und 5 der Kombiniervorrichtung zugeführt. Die Verbindung zwischen Stufe 2 der Kombiniervorrichtung und Eingang 2 ist unterbrochen gemäß dem Kontrollsignal von der Anwenderschnittstelle, so wie es bei der Verbindung zwischen Stufe 4 und Eingang 6 der Fall ist, und der Ausgang der Stufe 3 der Kombiniervorrichtung wird zum kombinierten AUSGANG3 für den Kontrollpunkt 2. Der Ausgang der Stufe 1 der Kombiniervorrichtung wird zum kombinierten AUSGANG1 für den Kontrollpunkt 1. Für nicht an dem Kriterium der Tiefe orientierte Kombinierverfahren wird lediglich die Kontrollpunktmarke sortiert, d. h. die Tiefe wird ignoriert, und das Matrixkonfigurationssteuersignal ist eine Kombination aus sortierten Kontrollpunktmarken und Prioritätseingaben des Benutzers, d. h. "A über B" usw. Eine nicht dargestellte Zuführ­ vorrichtung kann an den Ausgängen der Kombiniervorrichtung angeschlossen werden mit der Wirkung, daß auf jede mögliche Kombination von Videoeingangssignalen angepaßt werden kann. Wenn somit Kontrollpunkt 1 drei Videoeingangssignale beansprucht und Kontrollpunkt 2 zwei, dann ist der Ausgang für Kontrollpunkt 1 immer noch Ausgang 1 der Kombiniervorrichtung 18, wohingegen der Ausgang für Kontrollpunkt 2 jetzt Ausgang 4 der Kombiniervor­ richtung 18 ist.

Für Kanalzusammenfassung wird der parallele Tiefen/Prioritäts­ wandler 16′ wie in Fig. 7 gezeigt modifiziert, so daß die Prioritätssignale in getrennte, unabhängige Prioritätssignale für die entsprechenden Kontrollpunkte aufgeteilt werden können. Für die Kombinierung eines Weichheitswertes gemäß einem Kon­ trollpunkt, der zu jenen Videoquellen Zugriff hat, mit den Tiefen der Videosignale, die an den zugreifenden Kontrollpunkt geführt sind, wird eine Weichheitssubtrahierschaltung 32 eingefügt. Das Ausgangssignal des Weichheitssubtrahierers 32 wird vom Tiefensignal für das entsprechende Videosignal in den zweiten Subtrahierern 22 abgezogen. Für alle Videosignale außer dem "nächsten" ist ein Tiefenmultiplexer 34 angeschlossen. Die Tiefenmultiplexer 34 wählen das richtige Tiefensignal zur Eingabe in den entsprechenden Weichheitssubtrahierer 3-2. Schließlich ist zwischen den Ausgang der Summierschaltung 26 einer nachfolgenden entfernteren Tiefe und den Eingang der Summierschaltung für die nächste (nähere) Tiefe ein Abbruch­ multiplexer 36 geschaltet. Der Abbruchmultiplexer 36 liefert entweder einen Nullwert oder das Ausgangssignal der nachfol­ genden Summierschaltung 26 an die nächste Summierschaltung. Für den Fall, daß Kontrollpunkt 1 auf Videosignale 1′ und 2′ zu­ greift, sind die WEICHHEITSWERTE 1 und 2 gleich, und der Tie­ fenmultiplexer MUX1 wählt den nächsten Tiefenwert 1′. Die Priorität für Stufe 1 der Kombiniervorrichtung 18 wird PRI1 entnommen. Die Priorität ist definiert als:

PRI1 = (TIEFE 1′ - WEICHHEITSWERT 1)/((TIEFE 1′ - WEICHHEITSWERT 1) + (TIEFE 2′ - WEICHHEITSWERT1) + 0).

Kontrollpunkt 2 hat gleiche Werte für WEICHHEITSWERT 3 und WEICHHEITSWERT N, wobei N = 4 ist, und die Tiefenmultiplexer MUX 2 und MUX(N-1) wählen Tiefe 3′, welche die nächste Tiefe für Kontrollpunkt 2 ist. Die Priorität für Stufe 3 der Kombinier­ vorrichtung 18 wird PRI3 entnommen und ist definiert als:

PRI3 = (TIEFE 3′ - WEICHHEITSWERT 2)/((TIEFE 3′ - WEICHHEITSWERT 2) + (TIEFE 4′ - WEICHHEITSWERT 2) + 0).

In der Tiefenvergleichs- und -sortiervorrichtung 12 kann jede Art von Sortieralgorithmus, wovon viele im einschlägigen Schrifttum beschrieben sind, implementiert werden. Ein solcher Algorithmus ist als Batchers Misch-und-Tausch-Sortierer bekannt. Fig. 7 zeigt ein Beispiel dieses Sortiervorgangs für eine Sortiervorrichtung mit 4 Eingängen und 4 Ausgängen. Jede vertikale Linie stellt eine Funktion dar, die die Eigenschaft hat, zwei Eingänge miteinander zu vergleichen und den als größer erkannten Wert am oberen Ausgang und den als kleiner erkannten Wert am unteren Ausgang auszugeben. Diese Methode kann mit fünf Vergleichsvorgängen vier Eingaben numerisch absteigend ordnen. Fig. 8 zeigt eine Methode, bei der auf zwei der soeben beschriebenen Sortierer mit je vier Eingängen ein Mischer mit acht Eingängen folgt. Der Mischer übernimmt zwei sortierte Eingangssätze, in diesem Fall zwei sortierte Sätze von jeweils vier Elementen, und mischt die zwei Sätze in einen Satz mit acht Ausgängen, und zwar numerisch absteigend sortiert.

Dies sind in keiner Weise die einzigen Methoden, vier oder acht Eingänge zu sortieren, aber sie liefern ein modulares Prinzip für das Konzept einer Hardware. Um eine Kombiniervorrichtung mit vier Eingängen zu erstellen, wird eine Sortiervorrichtung mit vier Eingängen verwendet. Für eine Kombiniervorrichtung mit acht Eingängen müssen eine weitere Sortiervorrichtung mit vier Ein­ gängen sowie eine Mischvorrichtung, die zwei mal vier Eingänge zu acht Ausgängen verarbeiten kann, hinzugefügt werden. Es sind andere Methoden bekannt, die einen Acht-Eingangs-/acht-Ausgangs- Sortiervorgang mit weniger Vergleichsvorgängen bewerkstelligen, aber diese sind nicht modular. Jede beliebige Anzahl von Eingängen kann sortiert werden. Die Grenzen liegen bei der Anzahl der Vergleiche und der Zeit, die der Sortiervorgang beansprucht.

Die vorliegende Erfindung liefert demgemäß eine auf dem Kriterium der Tiefe basierende Methode zur Zusammensetzung von Videobildern, indem die den Videobildern zugeordneten Tiefen­ signale sortiert werden mit dem Ergebnis, daß ein Matrixkonfi­ gurationssteuersignal erzeugt wird, welches die die Videobilder erzeugenden Videoeingangssignale zu den richtigen Eingängen einer seriellen Kombiniervorrichtung leitet und geeignete Prioritätswerte für jede Stufe einer seriellen Kombinier­ vorrichtung erzeugt.

Claims (19)

1. Eine Vorrichtung zum Kombinieren einer Vielzahl von Video­ eingangssignalen, um ein zusammengesetztes Videoausgangs­ signal zu erzeugen, wobei jedes Videoeingangssignal ein zugehöriges Tiefensignal besitzt, bestehend aus:
einer Vorrichtung (18) zum sequentiellen Kombinieren der Vielzahl von Videoeingangssignalen in das zusammengesetzte Videoausgangssignal gemäß von den zugehörigen Tiefen­ signalen abgeleiteten Prioritätssignalen;
einer Vorrichtung (14) zum Zuführen der Videoeingangs­ signale als gemäß eines Matrixsteuersignals geordnete Videoeingangssignale an geeignete Eingänge der Kombinier­ vorrichtung;
einer Vorrichtung (12) zum Sortieren der zugehörigen Tie­ fensignale in einer Reihenfolge vom entferntesten zum nächsten, um sortierte Tiefensignale zu erzeugen, wobei die Sortiervorrichtung das Matrixsteuersignal für die Zuführvorrichtung bereitstellt, um die Videoeingangssignale an den Eingängen der Kombiniervorrichtung sequentiell vom entferntesten zum nächsten zu ordnen; und
eine zwischen die Sortiervorrichtung und die Kombinier­ vorrichtung gekoppelte Vorrichtung (16), um die sortierten Tiefensignale in die Prioritätssignale umzuwandeln.

2. Vorrichtung nach Anspruch 1, weiterhin umfassend:
eine Vorrichtung (13) zum Verzögern der Videoeingangssigna­ le an den Eingängen der Zuführvorrichtung zur Kompensation der Verzögerungszeit, die von der Sortiervorrichtung beim Sortieren der Tiefensignale verursacht wurde; und
eine zwischen Zuführ- und Kombiniervorrichtung geschaltete Vorrichtung (17) zum sequentiellen Verzögern der sortierten Videoeingangssignale zur Kompensation der Verzögerungszeit, die durch das sequentielle Kombinieren vorhergehender sor­ tierter Videoeingangssignale in der Kombiniervorrichtung verursacht wurde.

3. Vorrichtung nach Anspruch 1, worin die Wandlervorrichtung eine Vielzahl von seriell geschalteten Tiefen/Prioritäts­ signalwandlern (16) umfaßt, derart, daß ein kombiniertes Tiefensignal eines Wandlers als Eingangssignal an den näch­ sten Wandler in der Serie gekoppelt ist, wobei jeder Wand­ ler zwei Eingänge zum Empfang von Tiefensignalen, einen Tiefensignalausgang zum Bereitstellen des kombinierten Tiefensignals und einen Prioritätssignalausgang hat und wobei der erste Wandler in der Serie die zwei entferntesten Tiefensignale von der Sortiervorrichtung empfängt und jeder nachfolgende Wandler das kombinierte Tiefensignal vom vorhergehenden Wandler sowie das nächstnähere Tiefensignal von der Zuführvorrichtung als Eingangssignale erhält, wobei die ausgegebenen Prioritätssignale die Prioritätssignale für die Kombiniervorrichtung sind.

4. Vorrichtung nach Anspruch 1, worin die Wandlervorrichtung zur Erzeugung der Prioritätssignale für die Eingabe in die Kombiniervorrichtung einen parallelen Tiefen/Prioritäts­ wandler (16′) zum gleichzeitigen Empfang der sortierten Tiefensignale von der Sortiervorrichtung umfaßt.

5. Vorrichtung nach Anspruch 4, worin der parallele Tie­ fen/Prioritätswandler die Prioritätssignale aus den Tiefensignalen als Funktion eines Weichheitsparameters erzeugt.

6. Vorrichtung nach Anspruch 5, worin der parallele Tie­ fen/Prioritätswandler umfaßt:
eine Vorrichtung (20) zur Erzeugung einer Weichheitsgrenze aus dem Weichheitsparameter und dem nächsten Tiefensignal;
eine Vorrichtung (22) zum Kombinieren der Weichheitsgrenze mit den restlichen Tiefensignalen zur Erzeugung von Interimstiefensignalen; und
eine Vorrichtung (30) zum Multiplizieren des Weichheits­ parameters mit dem Kehrwert der Summe des Weichheits­ parameters und der Interimstiefensignale, um das Prio­ ritätssignal zum Kombinieren der beiden nächsten Video­ eingangssignale zu erhalten und um zur Gewinnung der restlichen Prioritätssignale jedes nachfolgende Interims­ tiefensignal mit dem Kehrwert der Summe dieses Interims­ tiefensignals und der weiter nachfolgenden Interimstiefen­ signale zu multiplizieren.

7. Vorrichtung nach Anspruch 6, worin der parallele Tie­ fen/Prioritätswandler weiter eine Vorrichtung (24) umfaßt, die die Interimstiefensignale gleich Null setzt, wenn das Ergebnis des Rechenschrittes, der die Weichheitsgrenze berechnet, negativ wird.

8. Vorrichtung nach Anspruch 1, worin die Sortiervorrichtung umfaßt:
wenigstens ein Sortiermodul zum Sortieren einer bestimmten Anzahl von Tiefensignalen in der Reihenfolge vom entferntesten zum nächsten zur Gewinnung von sortierten Interimstiefensignalen; und
ein Mischmodul zum Kombinieren der von mehr als einem Sortiermodul gewonnenen sortierten Interimstiefensignale zu sortierten Tiefensignalen.

9. Vorrichtung nach Anspruch 1, worin die zugehörigen Tiefen­ signale für Videoeingangssignale ohne Tiefeninformation mittels einer Operatorschnittstelle bereitgestellt werden.

10. Vorrichtung nach Anspruch 1, weiterhin umfassend:
eine Vorrichtung zum Steuern der Kombinier- und Sortier­ vorrichtung, derart, daß auf einen Anwendersteuerbefehl hin ein erstes zusammengesetztes Videoausgangssignal aus einem ersten Satz der Videoeingangssignale gebildet wird und, auf den Anwendersteuerbefehl hin, ein zweites zusammengesetztes Videoausgangssignal aus einem zweiten Satz der Videoein­ gangssignale gebildet wird, wobei der erste Satz von Videoeingangssignalen scheinbare Tiefensignale hat, die näher sind als die des zweiten Satzes von Videoeingangs­ signalen und die Kombiniervorrichtung in entsprechende erste und zweite Kombiniervorrichtungen aufgeteilt wird, wobei die beiden Kombiniervorrichtungen den ersten bzw. den zweiten Satz von Videoeingangssignalen als Eingangssignale empfangen, um das erste und das zweite zusammengesetzte Videoausgangssignal zu erzeugen.

11. Verfahren zum sequentiellen Kombinieren einer Vielzahl von Videoeingangssignalen, um ein zusammengesetztes Video­ ausgangssignal zu erzeugen, wobei jedes Videoeingangssignal ein zugehöriges Tiefensignal hat und wobei eine serielle Kombiniervorrichtung (18) benutzt wird, die als Eingangs­ signale die Videoeingangssignale und eine Vielzahl von Tiefensignalen empfängt, die von den Prioritätssignalen abgeleitet sind, und als Ausgangssignal das zusammengesetzte Videoausgangssignal hat, wobei folgende Schritte ausgeführt werden:
Zuführen der Videoeingangssignale als gemäß einem Matrix­ steuersignal geordnete Videoeingangssignale zu den geeigneten Eingängen der seriellen Kombiniervorrichtung;
Sortieren der Tiefensignale in einer Reihenfolge vom entferntesten zum nächsten, wobei der Sortierschritt das Matrixsteuersignal für den Zuführschritt bereitstellt, derart, daß die geordneten Videoeingangssignale der seriellen Kombiniervorrichtung in der Reihenfolge vom entferntesten zum nächsten zugeführt werden; und
Wandeln der ortierten Tiefensignale in die Prioritäts­ signale zur Eingabe in die serielle Kombiniervorrichtung.

12. Verfahren nach Anspruch 11, mit folgenden weiteren Schritten:
Verzögern der Videoeingangssignale vor dem Zuführschritt, um die durch den Sortierschritt beim Sortieren der Tiefen­ signale verursachte Verzögerungszeit zu kompensieren; und
sequentielles Verzögern der geordneten Videoeingangs­ signale, um die durch das von der seriellen Kombinier­ vorrichtung durchgeführte sequentielle Kombinieren vorhergehender geordneter Videoeingangssignale verursachte Verzögerungszeit zu kompensieren.

13. Verfahren nach Anspruch 11, worin der Wandlerschritt den Schritt des gleichzeitigen Wandelns der durch den Sortier­ schritt gewonnenen sortierten Tiefensignale in die Priori­ tätssignale umfaßt.

14. Verfahren nach Anspruch 13, worin der simultane Wandler­ schritt die Prioritätssignale aus den Tiefensignalen in Abhängigkeit von einem Weichheitsparameter erzeugt.

15. Verfahren nach Anspruch 14, worin der simultane Wandler­ schritt die Schritte umfaßt:
Erzeugen einer Weichheitsgrenze aus dem Weichheitsparameter und dem nächsten Tiefensignal;
kombinieren der Weichheitsgrenze mit den restlichen Tiefen­ signalen zur Erzeugung von Interimstiefensignalen; und
Multiplizieren des Weichheitsparameters mit dem Kehrwert der Summe des Weichheitsparameters und der Interimstiefen­ signale zur Gewinnung des Prioritätssignals, mittels dessen die zwei nächsten Videoeingangssignale kombiniert werden, und Multiplizieren jedes nachfolgenden Interimstiefen­ signals mit dem Kehrwert der Summe dieses Interimstiefen­ signals und den restlichen folgenden Interimstiefensignalen zur Gewinnung der restlichen Prioritätssignale.

16. Verfahren nach Anspruch 15, worin der simultane Wandler­ schritt ferner den Schritt umfaßt, die Interimstiefen­ signale gleich Null zu setzen, wenn das Ergebnis des Rechenschrittes, der die Weichheitsgrenze berechnet, einen negativen Wert hat.

17. Verfahren nach Anspruch 11, worin der Sortierschritt folgende Schritte umfaßt:
Sortieren einer bestimmten Anzahl von Tiefensignalen vom entferntesten zum nächsten im einem Sortiermodul zur Erzeugung von sortierten Interimstiefensignalen; und
Kombinieren der mehr als einem Sortiermodul entstammenden sortierten Interimstiefensignale in sortierte Tiefen­ signale.

18. Verfahren nach Anspruch 1, worin die zugehörigen Tiefen­ signale für Videoeingangssignale ohne Tiefeninformation durch eine Operatorschnittstelle bereitgestellt werden.

19. Verfahren nach Anspruch 11, weiterhin folgenden Schritt umfassend:
Steuerung der Kombinier- und Sortierschritte derart, daß auf einen Anwendersteuerbefehl hin ein erstes zusammen­ gesetztes Videoausgangssignal aus einem ersten Satz der Videoeingangssignale gebildet wird, und, auf den Anwender­ steuerbefehl hin, ein zweites zusammengesetztes Videoaus­ gangssignal aus einem zweiten Satz der Videoeingangssignale gebildet wird, wobei der erste Satz von Videoeingangs­ signalen scheinbar Tiefensignale hat, die näher sind als die des zweiten Satzes von Videoeingangssignalen, und die Kombiniervorrichtung in entsprechende erste und zweite Kombiniervorrichtungen aufgeteilt wird, wobei die beiden Kombiniervorrichtungen den ersten bzw. den zweiten Satz von Videoeingangssignalen als Eingangssignale empfangen, um das erste und das zweite zusammengesetzte Videoausgangssignal zu erzeugen.