DE69632212T2

DE69632212T2 - Verfahren zur Bildumwandlung und -Kodierung

Info

Publication number: DE69632212T2
Application number: DE69632212T
Authority: DE
Inventors: Angus Duncan Como Richard
Original assignee: Dynamic Digital Depth Research Pty Ltd
Current assignee: Dynamic Digital Depth Research Pty Ltd
Priority date: 1995-12-22
Filing date: 1996-12-20
Publication date: 2005-03-10
Anticipated expiration: 2016-12-21
Also published as: AU1088497A; WO1997024000A1; EP0868818A4; HK1040864B; EP1187494A3; CN1209248A; PT1187494E; EP0868818A1; JP2005065336A; JP4427032B2; MY114040A; DE69628662T2; JP3819434B2; HK1040864A1; JP4295711B2; CA2241078C; US7999844B2; AU714759B2; CA2435044A1; US6477267B1

Description

Die vorliegende Erfindung ist im allgemeinen auf die Synthese eines stereoskopischen Bildes gerichtet, und genauer auf ein Verfahren zur Umwandlung von zweidimensionalen (2D) Bildern zur weiteren Codierung, Übertragung und Decodierung zum Zwecke der Anzeige des stereoskopischen Bildes auf zweidimensionalen (2D) oder dreidimensionalen (3D) stereoskopischen Anzeigesystemen.
Neueste Entwicklungen in der Technologie im Bereich von kompakten Hochleistungs-Videoprojektionssystemen, Bildbearbeitung, Digitalvideo und Flüssigkristallanzeigen haben viele praktische 3D-Anzeigesysteme möglich gemacht, die sowohl aktive als auch passive Polarisationsbrillen und für einzelne und für mehrere Betrachter ausgelegte autostereoskopische Anzeigen verwenden.
Dreidimensionale Anzeigesysteme haben sich aus dem Gebiet technischer Kuriositäten herausbewegt und werden nun praktische Anzeigesysteme für Unterhaltung, kommerzielle und wissenschaftliche Anwendungen. Nun ist Bedarf für 3D-Medien zur Anzeige auf diesen Einrichtungen entstanden. Herkömmlich gab es nur zwei Wege, diese 3D-Medien (d. h. Medien, die Bildinformationen für mindestens zwei separate Ansichten derselben Szene aus verschiedenen Perspektiven enthalten) zu erzeugen. Diese sind:

1. Erzeugung zweier separater Ansichten (normalerweise in Echtzeit) durch einen Computer.
2. Bei Videoaufnahmen oder beim Filmen mit zwei seitlich versetzten Kameras im Falle computererzeugter Bilder zum Gebrauch in computerunterstützten Entwurfs-(CAD)-Systemen, Simulatoren oder Videospielausstattungen ist es kein komplexer Prozeß, zwei separate Bilder mit unterschiedlichen Perspektiven zu erzeugen.

Die Aufnahme von Filmen unter Verwendung zweier seitlich versetzter Kameras, um 3D zu produzieren, ist seit vielen Jahren gut bekannt. Bei diesem Ansatz gibt es jedoch viele Probleme. Es ist beträchtlich schwieriger, Film- oder Videoaufnahmen in 3D herzustellen als in 2D, weil es Grenzen hinsichtlich der erlaubten Abstände zwischen den nächsten und weitest entfernten Objekten in der Szene (praktische 3D-Tiefe des Feldes) wie auch Bildeinstellungsprobleme gibt (wie z. B. das, daß nahe Objekte nur in einer Kamera gesehen werden und daher die Ungenauigkeit der 3D-Bilderzeugung hervorheben, wenn sie wiedergegeben werden).
Ein Verfahren, das zwei seitlich versetzte Kameras verwendet, ist beispielsweise in US-A-4 704 627 (YUYAMA, et al.) beschrieben.
Ein weiteres Problem ist es, einen ruhigen Kameraschwenk aufrechtzuerhalten, ohne falsche 3D-Artefakte aufgrund der Latenzzeit zwischen den Bildern von den beiden Kameras zu verursachen usw.
Wegen der Komplexität, der hohen Kosten für die Erzeugung und die Implementierung und wegen der Tatsache, daß bisher noch immer nur eine sehr kleine Anzahl von 3D-Anzeigesystemen für den häuslichen und den kommerziellen Bereich produziert werden, hat es keinen großen Anreiz für die bedeutenderen Produzenten von Filmen oder Videos gegeben, 3D-Medien zu produzieren. Würde jedoch ein Verfahren entwickelt, das es erlauben würde, herkömmliche 2D-Filme in eine 3D-Version umzuarbeiten, dann wäre es in erster Linie nicht nur möglich, neue Filme mit deutlich geringere Kosten als beim direkten Filmen in 3D ins 3D-Format umzuwandeln, sondern es würde auch möglich, die ausgedehnten Archive von 2D-Film- und Videomaterial zur Veröffentlichung sowohl im Kino als auch auf dem Videomarkt aufzuarbeiten.
Es wäre jedoch vorteilhaft, ein vorhandenes 2D-Bild umwandeln zu können, so daß es als 3D-Bild betrachtet werden kann. Ein Weg, dies zu erreichen, ist, ein einzelnes 2D-Bild in zwei separate Links- und Rechts-Bilder durch ein 'Ausschneiden und Einfügen' Verfahren umzuwandeln. In diesem Verfahren wird ein Objekt aus dem Bild 'ausgeschnitten' und seitlich links oder rechts versetzt zurück in das ursprüngliche Bild 'eingefügt', um so die benötigten gesonderten Bilder herzustellen. Dies hat jedoch einen leeren Bereich in dem Gebiet zur Folge, das ehemals durch das Objekt im Bild besetzt war. Ein solches Verfahren ist beispielsweise in US-A-4 925 294 (GESHWIND, et al.) beschrieben.
Dieses Dokument behandelt einige der hauptsächlichen algorithmischen Verfahren, die bei der Umwandlung von 2D-Medien in 3D-Format, einem neuen zusammengesetzten Datenformat, das zur Kommunikation und Speicherung dieser neuen 3D-Medien geeignet ist, angewandt werden. Es erläutert ferner einige Hardware-Implementierungen für die Echtzeit-Codierung, Übertragung und Decodierung dieses neuen 3D-Formats.
Die Hauptvorteile dieser Technologie sind, daß es zu erheblichen Kosteneinsparungen und Vorteilen hinsichtlich der Versorgung mit Medien kommt, d. h. nur eine Kamera zum Filmen verwendet werden muß. Aufgrund der Art des Verfahrens zur Umwandlung von 2D in 3D ist es möglich, die Bildmedien praktisch unverändert zu packen und zu übertragen, mit Ausnahme des Hinzufügens eines kleinen Pakets von 3D-Daten, das das endgültige 2D-Anzeigeverfahren in keiner Weise beeinträchtigt. In der Tat ermöglicht dies die Anzeige der Bilder auf Standard-2D-Fernsehgeräten in 2D oder 3D (wobei die Verwendung einer Blendenbrille oder dergleichen erforderlich ist) ohne Verschlechterung der Bildgüte, während gleichzeitig auch die Anzeige auf 3D-Fernsehgeräten oder anderen Displays in 3D möglich ist.
Die letzte Stufe des Verfahrens zur Umwandlung von 2D in 3D wird in Echtzeit beim Empfänger abgeschlossen, und somit sind die erhöhten Bandbreitenanforderungen für die Anzeige von 3D-Bildern in bezug auf den Fernsehdecoder lokal und beeinflussen das Kanalhandhabungsvermögen des Fernsehbetreibers nicht nachteilig.
Gemäß einem Aspekt der vorliegenden Erfindung wird ein Verfahren zum Erzeugen eines 2D-Videosignals bereitgestellt, das mit Umwandlungsdaten codiert ist, um die Umwandlung des 2D-Videosignals in Links- und Rechtsaugenbilder für eine stereoskopische Anzeige zu unterstützen, wobei das Verfahren die folgenden Schritte aufweist:
Bereitstellen eines 2D-Videosignals, das Daten enthält, die ein 2D-Videobild betreffen;
Erzeugen von Umwandlungsdaten, die die Verschiebung von jeweiligen ausgewählten Punkten des 2D-Videobildes für die Umwandlung des Bildes in Links- und Rechtsaugenbilder für eine stereoskopische Anzeige definieren, so daß sowohl die Links- als auch Rechtsaugenbilder Abschnitte aufweisen, die komprimiert wurden, und Abschnitte aufweisen, die gedehnt wurden; und
Addieren der Umwandlungsdaten zu dem 2D-Videosignal, um das codierte Signal zu bilden.
Die Umwandlungsdaten könnten in den Leerzeilen an dem oberen und/oder unteren Ende eines zu übertragenden Standard-2D-Bildes oder in der horizontalen Synchronisationsperiode eines zu übertragenden Standard-2D-Bildes oder in den horizontalen Überabtastungsbereichen ("Overscan"-Bereichen) jeder Zeile eines zu übertragenden Standard-2D-Bildes übertragen werden.
Das Verfahren könnte die folgenden Schritte aufweisen:
Erzeugen von Videosignalen von Videobildern von zwei separaten Blickpunkten;
Vergleichen der Videobilder von den getrennten Blickpunkten, um die Umwandlungsdaten zu erzeugen; und
Kombinieren des Videosignals der Videobilder von einem der Blickpunkte mit den Umwandlungsdaten, um dadurch das codierte Videosignal zu erzeugen. Die Videosignale könnten von zwei separaten Kameras erzeugt werden, oder die Links- und Rechtsaugenvideobilder könnten von einer stereoskopischen Videokamera erzeugt werden.
Gemäß einem anderen Aspekt der vorliegenden Erfindung wird ein Verfahren zum Erzeugen von Links- und Rechtsaugenbildern für eine stereoskopische Anzeige aus einem codierten 2D-Videosignal bereitgestellt, wobei das Verfahren die folgenden Schritte aufweist:
Bereitstellen eines 2D-Videosignals, das Daten enthält, die ein 2D-Videobild betreffen, wobei das Videosignal mit Umwandlungsdaten codiert wird, die die Verschiebung von jeweiligen Punkten des 2D-Videobildes für die Umwandlung des Bildes in Links- und Rechtsaugenbilder definieren, so daß sowohl die Links- als auch das Rechtsaugenbilder Abschnitte aufweisen, die komprimiert wurden, und Abschnitte aufweisen, die gedehnt wurden;
Lesen der Umwandlungsdaten aus dem Videosignal; und
Erzeugen von Links- und Rechtsaugenbildern aus dem 2D-Videobild zur Anzeige durch Verschieben von Objekten innerhalb des 2D-Videobildes in Abhängigkeit von den Umwandlungsdaten.
Ein solches Verfahren könnte ferner die folgenden Schritte aufweisen:
Umwandeln des 2D-Videobildes in RGB-Komponenten;
Umwandeln jeder Komponente in ein Digitalsignal; und
Speichern der Digitalsignale vor dem Erzeugen der Links- und Rechtsaugenbilder.
Die Digitalsignale könnten aus einem Speicher mit einer variablen Rate als eine Funktion der Umwandlungsdaten gelesen werden, oder die Digitalsignale könnten in den Speicher mit einer variablen Rate als eine Funktion der Umwandlungsdaten gelesen werden.
Die Digitalsignale könnten zum Betrachten auf einem Analogsystem in Analogsignale umgewandelt werden.
Die Umwandlungsdaten könnten von dem Videosignal getrennt werden.
Gemäß einem weiteren Aspekt der Erfindung wird ein System zum Erzeugen eines 2D-Videosignals bereitgestellt, das mit 3D-Umwandlungsdaten codiert ist, wobei das System folgendes aufweist:
eine Einrichtung zum Erzeugen von Videosignalen von Videobildern an zwei separate Blickpunkten;
eine Umwandlungseinrichtung zum Erzeugen von Umwandlungsdaten, wobei die Umwandlungseinrichtung die Videosignale von der Einrichtung empfängt und die Signale von den separaten Blickpunkten vergleicht, um dadurch die Umwandlungsdaten zu erzeugen, wobei die Umwandlungsdaten die Verschiebung von jeweiligen Punkten von einem der Videobilder für die Umwandlung des Videobildes in Links- und Rechtsaugenbilder für eine stereoskopische Anzeige definieren, so daß sowohl die Links- als auch Rechtsaugenbilder Abschnitte aufweisen, die komprimiert wurden, und Abschnitte aufweisen, die gedehnt wurden; und
eine Codiereinrichtung zum Kombinieren des Videosignals von dem einen Videobild mit den Umwandlungsdaten von der Umwandlungseinrichtung, um dadurch ein codiertes Videosignal zu erzeugen.
Die Einrichtung zum Erzeugen von Videosignalen könnte eine erste und eine zweite Videokamera, die relativ zueinander seitlich verlagert sind, oder eine stereoskopische Kamera zur Aufnahme von Links- und Rechtsaugenvideobildern aufweisen.
Gemäß einem weiteren Aspekt der Erfindung wird ein Decoder zum Decodieren eines Videosignals bereitgestellt, um eine stereoskopische Anzeige zu erzeugen, wobei das Signal ein 2D-Videobild liefert und ferner Umwandlungsdaten zum Umwandeln des Video bildes aufweist, wobei die Umwandlungsdaten die Verschiebung von jeweiligen Punkten des Videobildes für die Umwandlung des Videobildes in ein Bild für eine stereoskopische Anzeige definieren, wobei bestimmte von den erzeugten Bildern zum Betrachten mit dem linken Auge eines Betrachters und die anderen erzeugten Bilder zum Betrachten mit dem rechten Auge des Betrachters bestimmt sind, wobei der Decoder folgendes aufweist:

a) eine Einrichtung zum Empfangen des Videosignals;
b) eine Decodiereinrichtung zum Lesen der Umwandlungsdaten; und
c) eine Einrichtung zur Nutzung der Umwandlungsdaten, um das 2D-Videobild in Links- und Rechtsaugenbilder für eine stereoskopische Anzeige umzuwandeln, so daß sowohl die Links- als auch Rechtsaugenbilder Abschnitte aufweisen, die komprimiert wurden, und Abschnitte aufweisen, die gedehnt wurden.

Ein solcher Decoder könnte folgendes aufweisen:

a) einen RGB- oder Komponenten-Videoumwandler zum Umwandeln des Videosignals in separate Videokomponenten davon;
b) eine Analog-Digital-Umwandlungseinrichtung zum Umwandeln jeder Videokomponente in ein entsprechendes Digitalsignal; und
c) eine digitale Speichereinrichtung zum Speichern der Digitalsignale.

Der Decoder könnte so ausgebildet ist, daß er eine die Ausleserate der digitalen Speichereinrichtung steuernde frequenzveränderliche Taktgebereinrichtung steuert, so daß die Speichereinrichtung mit einer variablen Rate gelesen wird, um dadurch das 2D-Bild in Abhängigkeit von den Umwandlungsdaten umzuwandeln.
Alternativ könnte der Decoder so ausgebildet sein, daß er eine die Einleserate der digitalen Speichereinrichtung steuernde frequenzveränderliche Taktgebereinrichtung steuert, so daß die RGB- oder Videokomponenten mit einer variablen Rate in die Speichereinrichtung gelesen werden können, um dadurch das 2D-Bild in Abhängigkeit von den Umwandlungsdaten umzuwandeln.
Die Speichereinrichtung könnte in Form eines Zweiweg-RAM-Zeilenspeichers sein.
Der Decoder könnte eine einzige Videozeile oder eine Mehrzahl von Videozeilen verarbeiten.
Bei dem Decoder nach der Erfindung könnte eine Digital-Analog-Umwandlungseinrichtung zum Umwandeln des ausgelesenen Digitalsignals in ein umgewandeltes Videosignal vorgesehen sein, um das Betrachten auf einer Betrachtungseinrichtung zu ermöglichen. Der Decoder könnte eine Parallelspeichereinrichtung zum Speichern des Digitalsignals für die umgewandelten Links- bzw. Rechtsvideobilder aufweisen.
Alternativ könnte der Decoder eine Trenneinrichtung zum Trennen der Umwandlungsdaten von dem Videosignal aufweisen.
Gemäß einem weiteren Aspekt der Erfindung wird ein stereoskopisches Bildanzeigesystem bereitgestellt, das folgendes aufweist:

a) einen Codierer zum Codieren eines Videosignals, das ein 2D-Videobild liefert, mit Umwandlungsdaten, wobei die Umwandlungsdaten die Verschiebung von jeweiligen Punkten des Videobildes zum Umwandeln des Videobildes in ein Bild für eine stereoskopische Anzeige definieren; und
b) einen Decoder zum Trennen der Umwandlungsdaten von dem Videosignal und zum Umwandeln des Videosignals als eine Funktion der Umwandlungsdaten, um das Videobild in Links- und Rechtsaugenbilder umzuwandeln, so daß sowohl die Links- als auch Rechtsaugenbilder Abschnitte aufweisen, die komprimiert wurden, und Abschnitte aufweisen, die gedehnt wurden.

Ein solches System könnte ferner eine Einstelleinrichtung zum selektiven Einstellen der Verschiebung der jeweiligen Punkte aufweisen, um den Grad der Dehnung in den Links- und Rechtsaugenbildern zu variieren. Die Einstelleinrichtung kann eine Fernsteuerungseinrichtung aufweisen.
Die vorliegende Erfindung weist ferner ein stereoskopisches Mehrfachbetrachter-Anzeigesystem auf, wobei das System einen Decoder nach der Erfindung aufweist. Ein solches stereoskopisches Mehrfachbetrachter-Anzeigesystem könnte eine Vielzahl von Projektoren aufweisen, wobei der Decoder eine Serie von Bildern erzeugt, wobei jedes Bild von einem jeweiligen Projektor gezeigt wird. Das System könnte eine Lentikularlinsenanordnung aufweisen, um die Bilder von den jeweiligen Projektoren zu richten.
Die vorliegende Erfindung wird nachstehend beispielhaft unter Bezugnahme auf die beigefügten Zeichnungen beschrieben. Diese zeigen in:
1 ein ursprüngliches Bild und herkömmliche Links- und Rechts-Bilder zur Bereitstellung eines 3D- oder stereoskopischen Bildes;
2 ein ursprüngliches Bild und Links- und Rechts-Bilder zur Bereitstellung eines 3D-Bildes, das mittels eines Ausschneide- und Einfügeverfahrens erzeugt ist;
3 ein ursprüngliches Bild und ein Bild, das mit dem "Dynamic Depth Cueing" (DDC) Verfahren gemäß der vorliegenden Erfindung erstellt ist;
4 ein Links- und Rechts-Bild und das sich daraus ergebende 3D-Bild gemäß der vorliegenden Erfindung;
5 ein Bild, das diskontinuierlich durch ein Verzerrungs-Gitter verzerrt ist;
6 ein Bild, das kontinuierlich durch ein Verzerrungs-Gitter verzerrt ist;
7 beispielhafte Daten für die räumliche Verzerrung des Gitters (mesh spatial displacement, MSD) für ein Links- und ein Rechtsgitter;
8 ein Flußdiagramm, das darstellt, wie MSD-Daten einem Videobild gemäß der vorliegenden Erfindung hinzugefügt werden;
9 ein Blockbild, das zeigt, wie ein DDC-Decoder in eine Videokette nach der vorliegenden Erfindung eingefügt ist;
10 ein Blockbild, das eine mögliche Implementierung einer DDC-Decodereinheit nach der vorliegenden Erfindung zeigt, die feldsequentielle zusammengesetzte Videoausgänge liefert;
11 ein Blockbild einer anderen möglichen Implementierung einer DDC-Decodereinheit nach der vorliegenden Erfindung, die feldparallele zusammengesetzte Videoausgänge liefert;
12 ein Blockbild einer Version eines MSD-Decoders nach der vorliegenden Erfindung;
13 wie MSD-Daten in dem zusammengesetzten Videosignal codiert sind;
14 ein Blockbild einer Anordnung zum Liefern von in Echtzeit erzeugten DDC-codierten Videobildern;
15 ein Blockbild einer alternativen Anordnung zum Bereitstellen von in Echtzeit erzeugten DDC-codierten Videobildern;
16 das Prinzip des Betriebs von Mehrfachbetrachter-3D-Systemen;
17 ein Blockbild, das das Prinzip des Betriebs eines 3D-Systems auf der Basis einer Lentikularlinse zeigt;
18 bzw. 19 ein Mehrprojektorsystem, das eine Lentikularlinsenanordnung verwendet; und
20 ein Mehrprojektorsystem, das einen DDC-Decoder nach der vorliegenden Erfindung aufweist.
Auf das Verfahren gemäß der vorliegenden Erfindung zur Ermöglichung der Umwandlung von 2D oder "monoskopischen" Videosignalen in 3D oder „stereoskopische" Videosignale wird in der folgenden Beschreibung als "Dynamic Depth Cueing" (DDC) Bezug genommen, und dieses umfaßt die folgenden Verfahren, ist aber nicht auf diese beschränkt:

a) "3D GENERATION" – Ein Verfahren und ein Vorgang zur Umwandlung von 2D-Bildern in stereoskopische 3D-Bildpaare und zur Erzeugung der 3D-Umwandlungsdaten.
b) "3D-SCRIPTING" – Ein Verfahren, um die Änderungen zu beschreiben, die an einem 2D-Bild vorgenommen werden müssen, um es zu einem stereoskopischen 3D-Bildpaar umzuwandeln. Es beschreibt, welche Objekte ausgewählt werden, wie sie bearbeitet werden, und es stellt eine Einrichtung zur Speicherung von 3D-Daten bereit.
c) "3D DATA ENCODING" – Ein Verfahren zur Hinzufügung von Informationen zu einem 2D-Videobild in einem definierten Format. Das entstehende modifizierte Video ist kompatibel mit existierenden Videoaufzeichnungs-, -editier-, -übertragungs- und -empfangssystemen.
d) "3D STANDARDISED PROTOCOL" – Die 3D-Umwandlungsdaten werden zu dem 2D-Video hinzugefügt, unter Verwendung eines definierten Datenformats oder eines standardisierten Protokolls. Dieses Protokoll kann gut ein weltweiter Standard zur Hinzufügung von 3D-Umwandlungsdaten zu 2D-Übertragungen werden.
e) "3D DATA DECODING" – Ein Verfahren zum Empfang des 2D-Videobildes zuzüglich der Umwandlungsdaten, und um die Informationen, die zu einem 2D-Videobild hinzugefügt sind, zu entnehmen, so daß ein stereoskopisches 3D-Bildpaar aufgebaut werden kann.
f) "3D SYNTHESIS" – Ein Verfahren, um das 2D-Videobild unter Nutzung der Umwandlungsdaten zu manipulieren, um ein stereoskopisches 3D-Bildpaar aufzubauen.

Um ein 2D-Bild in ein simuliertes 3D-Bild umzuwandeln, ist es notwendig, das ursprüngliche Bild zu modifizieren, um zwei leicht unterschiedliche Bilder zu erzeugen und diese getrennten Bilder dem linken und dem rechten Auge unabhängig zu zeigen. Die Modifikation des ursprünglichen Bildes besteht aus einer seitlichen Verschiebung von Objekten in der Bildebene (gelegen auf dem Projektions- oder Bildschirm), um den Eindruck von Tiefe zu erzeugen.
Um ein Objekt in einem Bild hinsichtlich der Bildebene weiter wegliegend vom Betrachter erscheinen zu lassen, ist es notwendig, das Objekt im Bild dem linken Auge mit einer leichten linken seitlichen Verschiebung und dem rechten Auge mit einer leichten rechten seitlichen Verschiebung zu zeigen. Dies ist in 1 dargestellt. Um ein Objekt dem Betrachter näher erscheinen zu lassen, ist es nötig, das Objekt im Bild für das linke Auge seitlich nach rechts und das Objekt im Bild für das rechte Auge seitlich nach links zu verschieben. Für ein Objekt, das in der Bildebene positioniert werden soll, wird das Objekt im Bild für beide Augen an derselben Position plaziert.
Bei der Betrachtung von Objekten in der Wirklichkeit macht ein Betrachter ebenso Gebrauch von Fokusinformationen. Bei simuliertem 3D jedoch sind diese Informationen nicht vorhanden, und falls die seitlichen Verschiebungen zu groß gemacht werden, insbesondere um ein Objekt näher zum Betrachter zu bringen, scheint das Objekt in zwei getrennte Bilder aufzubrechen, und der 3D-Effekt ist verloren.
Die Links- und Rechts-Bilder können unter Verwendung eines Computers erzeugt werden. Das Bild wird zuerst unter Verwendung eines Videodigitalisierers digitalisiert, und die daraus entstehenden Daten werden im Speicher gespeichert. Dann können die zwei neuen Bilder erzeugt werden.
Der einfachste Weg, um die neuen Links- und Rechts-Bilder mit der benötigten seitlichen Verschiebung zu erzeugen, ist, die Objekte aus dem Bild "auszuschneiden" und sie mit der nötigen seitlichen Versetzung wieder "einzufügen". Darauf wird als "Ausschneide- und Einfüge"-Verfahren Bezug genommen. Dies kann dadurch geschehen, daß zuerst die Position eines Objekts, das "bewegt" werden soll, durch seine Identifizierung definiert wird, und dann das Objekt aus dem Bild "ausgeschnitten" und seitlich bewegt wird.
Das Problem bei diesem einfachen Verfahren ist, daß, sobald das ausgewählte Objekt bewegt ist, auch der Hintergrund entfernt ist und ein leerer Bereich im Hintergrund daraus entsteht, siehe 2.
Gemäß der vorliegenden Erfindung wird ein Objekt in einem Bild "gedehnt", um die notwendige seitliche Verschiebung bereitzustellen und die ursprünglichen Hintergrunddetails zu bewahren. Die entstehenden seitlichen Verzerrungen des Bildes werden mathema tisch geglättet, so daß der resultierende Effekt als "echtes" 3D mit nur geringen oder gar keinen sichtbaren Artefakten wahrgenommen wird.
Um den Effekt dieser Dehnung auf das Bild besser sichtbar zu machen, stelle man sich vor, daß das umzuwandelnde Bild auf einen dünnen Flächenkörper aus Gummi gedruckt worden ist. Es ist möglich, einen Punkt auf der Oberfläche des Bildes, der einem Objekt benachbart ist, auszuwählen und in eine neue Position zu dehnen, z. B. zur Rechten seiner ursprünglichen Position. Der Abschnitt des Bildes zur Rechten des Objekts ist deshalb komprimiert und der zur Linken ist gedehnt, siehe 3. Dem Betrachter erscheint das Objekt nun verzerrt, wenn es mit beiden Augen betrachtet wird.
Falls ein ähnliches, aber entgegengesetzt gedehntes Bild dem anderen Auge gezeigt wird, sieht der Betrachter nicht ein verzerrtes Bild, vielmehr sieht er ein Objekt, das 3D-Merkmale besitzt. Dies ist in 4 dargestellt.
Das "Dehnen" eines Objekts in einem Bild kann elektronisch vorgenommen werden. Die Objekte von Interesse in jedem Videobild werden zuerst durch Umreißen derselben festgelegt. Für jedes Objekt wird auch ein Tiefen- oder Gitterverzerrungs-Merkmal definiert. Die Dehnung kann durchgeführt werden, indem man es einem Anwender ermöglicht, das Bild zu dehnen und den Effekt des sich daraus ergebenden 3D-Bildes in Echtzeit zu betrachten. Das Geschick des Anwenders und gestalterisches Eingreifen können benutzt werden, um die 3D-Ausivirkung des sich ergebenden Bildes und der folgenden Videosequenz zu bestimmen. Während einzelne Videobilder manuell umgewandelt werden könnten (d. h. nicht in Echtzeit), sehen wir auch eine automatische Umwandlung (d. h. in Echtzeit) einer Folge von ähnlichen Bildern vor, die einen Video-"Clip" bilden. Der Anwender definiert die Start- und Endbilder des Video-Clips, der umgewandelt werden soll. Diese bestimmen auch die relative Tiefe jedes Objekts bezüglich der Bildebene, im Start- und Endbild. Der Video-Clip wird unter Verwendung der Anfangs- und Endpositionen und der Tiefe jedes Objekts in dem Clip bearbeitet, um die benötigte Dehnung zu interpolieren oder die dazwischenliegenden Einzelbilder zu manipulieren.
Im Falle von mehreren überlappten Objekten, welche unterschiedliche Tiefen haben, wird Objekten im Vordergrund Vorrang gegeben. Dies ist schon an sich der Fall, da das ur sprüngliche 2D-Bild mit einer einzelnen Kamera aufgenommen wurde, und daher die Pixelinformation automatisch dem Vordergrund den Vorrang gegeben hat.
Dieses "Dehnen" des Bildes kann elektronisch durch Manipulation des digitalisierten Bildes unternommen werden. Ein Netz (Gitter) wird zeitweilig über dem zu verzerrenden Bild plaziert, so daß vor der Verzerrung die Koordinaten jeder Zeile und Spalte des Netzes 0,0 sind. Die x-Koordinaten des Netzes werden verändert, was eine Verzerrung des zugrundeliegenden Bildes zur Folge hat. Statt daß nur der Bildbereich unmittelbar unter der Netzlinie bewegt werden, was eine Diskontinuität zur Folge haben würde – siehe 5 –, werden auch benachbarte Netzlinien bewegt, um eine glatte Verzerrung herzustellen (siehe 6).
Die Rasterung des Verzerrungsnetzes bestimmt die Auswirkung des 3D-Effekts. Je gröber das Netz, desto mehr gesplint werden andere Objekte näher zu dem Objekt, das gedehnt wird, beeinflußt. Dies hat eine kleinere 3D-Auswirkung im resultierenden Bild zur Folge. Ein feineres Netz hat schärfere Ränder der Objekte, einen 3D-Effekt mit größerer Auswirkung, aber größere Randdiskontinuitäten zur Folge. Die Größenordnung des Verzerrungsnetzes wird zu Erklärungszwecken als 16 × 16 angenommen. Informationen über jeden Unterpunkt auf dem Netz (d. h. Koordinatenpositionen nach der Verzerrung) werden codiert, um Hintergrund- und Vordergrund-Unterpunkte zu erzeugen. Beispielsweise können 4 Bits für die Codierung des Unterpunkts verwendet werden, was 16 verschiedene Level zur Folge hat, 4 Hintergrund- und 12 Vordergrund-Level. Das Format der Unterpunkt-Codierung kann auch mittels Experimenten bestimmt und so angepaßt werden, daß es sich für die Anwendung eignet.
Alternativ kann dieser Netzverzerrungsprozeß durch einen mathematischen Algorithmus definiert werden, was eine automatische Behandlung von Bildern ermöglichen würde.
Man beachte, daß, sobald die Netzverzerrungen für das linke Auge bestimmt sind, die Koordinaten der Verzerrungen für das rechte Auge einfach durch skalare Multiplikation der Matrix mit –1 (d. h. in die entgegengesetzte seitliche Richtung um denselben Betrag verschoben) erhalten werden und automatisch berechnet werden können. Dies ist in 7 dargestellt.
Die Matrix, die vom relativen horizontalen Abstand jedes Schnittpunktes des verzerrten Netzes gebildet wird, definiert die Daten für die räumliche Verzerrung des Gitters (MSD-Daten).
Alles, was nötig ist, um das resultierende 3D-Bild völlig zu definieren und zu reproduzieren, ist, das ursprüngliche, unveränderte 2D-Bild und die MSD-Daten bereitzustellen. Demzufolge können 3D-Bilder durch Berücksichtigung des 2D-Bildes und einer zugehörigen MSD-Datei gespeichert, übertragen, erzeugt, editiert und manipuliert werden.
Deshalb ist es möglich, 3D-Bilder über herkömmliche 2D-Videosysteme durch Codieren der MSD-Daten in jedem Videobild zu speichern und zu übertragen. Da das ursprüngliche 2D-Videobild gespeichert wird und ohne Änderung übertragen werden kann, ist das resultierende Video mit allen existierenden Video- und Fernsehsystemen völlig kompatibel. Existierende 2D-Fernsehgeräte zeigen ein normales Bild an.
Eine Anzahl existierender Verfahren kann angewandt werden, um die MSD-Daten dem 2D-Bild hinzuzufügen, so daß es vom Betrachter nicht entdeckt wird und mit existierenden Videostandards kompatibel ist. Diese Verfahren schließen folgende ein, sind aber nicht auf diese beschränkt:

a) Einfügen der MSD-Information in die freien Zeilen am oberen und unteren Ende des Bildes, die schwarz gesetzt sind, d. h. in einer ähnlichen Weise wie die Hinzufügung von "Teletext"-Daten,
b) im unsichtbaren "over-scan" (jenseits der Abtastung liegenden) Bereich an der linken und der rechten Seite jedes Bildes,
c) in der horizontalen Synchronisationsperiode gemäß dem British Broadcasting Corporation "Sound in Sync"-System.

In Zukunft, mit Einführung des digitalen HDTV, werden freie digitale Datenrahmen verfügbar sein, um die MSD-Daten einzufügen.
Der Vorgang des Hinzufügens der MSD-Daten zu einem 2D-Videobild, um ein DDC-codiertes Videobild zu bilden, ist in 8 dargestellt.
Die MSD-Datenmenge ist gering, sie ist geschätzt ungefähr 100 Bytes pro Bild. Diese kann, falls notwendig, zur Speicherung und Übertragung durch Anwendung von Standard-Datenkompressionsverfahren wie z. B. Lauflängen- oder differentielle Codierung weiter komprimiert werden.
Aufgrund der kleinen Datenmenge ist auch die benötigte Datenrate gering. Es ist auch möglich, räumliche und zeitliche Kompression anzuwenden, um die benötigten Daten weiter zu reduzieren, da die MSD-Daten nicht schnell über eine Anzahl von Bildern variieren. Die exakte zeitliche Beziehung zwischen den MSD-Daten und ihren zugehörigen Bildern ist nicht kritisch, ein Verschiebungsirrtum von einem Bild ist wahrscheinlich annehmbar.
Wiederum aufgrund der kleinen Datenmenge, der niedrigen Datenrate und der nicht kritischen Ausrichtung könnten die MSD-Daten über eine Anzahl von Bildern gesendet werden, d. h. 4 Bilder mit einem Viertel der Information in jedem Bild.
Ein Blockbild, das zeigt, wie ein DDC-Decoder in eine Videokette eingefügt ist, ist in 9 gezeigt. Das DDC-codierte Video, das über jede existierende Videoquelle, d. h. terrestrisch, über Satellit usw. erhalten werden kann, wird dem Eingang eines DDC-Decoders zugeführt. Ein Ausgang des Decoders ist eine Standard-Videowellenform (oder ein videomoduliertes Hochfrequenzsignal), das eine Standard-TV-Anzeige treibt und es einem Betrachter, der eine von dem DDC-Decoder synchronisierte Blendenbrille trägt, ermöglicht, ein 3D-Bild zu betrachten.
Außerdem sind Ausgänge von dem DDC-Decoder verfügbar, um andere 3D-Anzeigeeinrichtungen wie etwa Kopfhörer für virtuelle Realität oder eine autostereoskopische Anzeige zu treiben, wie in der AU-Anmeldung Nr. 66718/94 beschrieben ist.
Eine mögliche Implementierung des DDC-Decoders ist in 10 gezeigt. Ein ankommendes Video, das PAL oder NTSC in Verbund- oder S-Videoformat sein kann, wird einem Verbund-RGB- oder Komponentenvideoumwandler zugeführt. Jeder von den RGB- oder Komponentenvideoausgängen wird einem A/D-Wandler zugeführt, und der digitale Ausgang wird dem Eingangsport eines Zweiweg-RAM-Zeilenspeichers zugeführt. Jede Zeile von digitalen Videodaten wird mit einer konstanten Geschwindigkeit in den RAM eingegeben. Die Daten werden aus dem Zeilenspeicher mit einer Rate ausgelesen, die von einem frequenzveränderlichen Takt bestimmt wird, der von dem Ausgang des MSD-Decoders gesteuert wird.
Die Wirkung des Auslesens der Zeilendaten aus dem RAM mit einer veränderlichen Rate bewirkt, daß das resultierende Video in Abhängigkeit von den MSD-Daten gedehnt oder komprimiert wird.
Die umgewandelten Daten werden dann einem A/D-Wandler und einem PAL/NTSC-Codierer zugeführt. Das resultierende feldsequentielle zusammengesetzte 3D-Videosignal wird der Anzeige zugeführt. (Es ist zu beachten, daß dieser Vorgang auch ausgeführt werden kann, wenn die Videosignale mit einer veränderlichen Rate in die Zeilenspeicher eingelesen und mit einer festen Rate ausgelesen werden. Es ist erforderlich ist, das ankommende zusammengesetzte Videosignal in ein RGB- oder Komponentenvideo umzuwandeln, da aufgrund der Tatsache, daß der Ausgang aus dem Zeilenspeicher mit einer veränderlichen Rate ausgelesen wird, sich die Chrominanzfrequenz ändern und Anzeigefehler verursachen würde.)
Die DDC-Decodierung kann ferner unter Verwendung eines Feld- oder Bildspeichers implementiert werden. Dabei wird das gesamte Netz aus den MSD-Daten wiederhergestellt, wobei Pixelverzerrungen (seitliche Verschiebungen) über das gesamte Feld oder Bild berechnet werden.
Das stereoskopische 3D-Bildpaar wird dann aufgrund des resultierenden RGB- oder Komponentenvideoausgangs angezeigt.
Die Blendenbrillensteuereinheit bildet eine IR-Lichtquelle, die Taktimpulse für die Blendenbrille liefert. Die Steuereinheit wird von dem PAL/NTSC-Codierer synchronisiert. Außerdem befiehlt die Steuereinheit der Blendenbrille, während Szenen, die nicht 3D-codiert oder für eine 3D-Codierung nicht geeignet sind, offen zu bleiben, so daß eine verbesserte Bildgüte während dieser Abschnitte der Videosequenz erhalten wird.
11 zeigt das Blockbild eines DDC-Decoders, der feldparallele zusammengesetzte 3D-Videoausgänge erzeugt. Der MSD-Decoder erzeugt zwei geschwindigkeitsveränderli che Takte, einen für den linken und einen für den rechten RAM-Zeilenspeicher. Diese Art von Decoder ist zum Ersetzen der Feldspeicher in den existierenden autostereoskopischen 3D-Anzeigen der Anmelderin geeignet. Es ist zu beachten, daß dieses Verfahren linke und rechte Videoquellen vorsieht, die die gleiche Feldrate wie die ursprüngliche 2D-Videoquelle haben, d. h. ein feldsequentieller Videoausgang wird erzeugt.
Alternativ kann ein Nicht-Feldvideoausgang an dem Ausgang mit einer Abtastrate mit höherer Auflösung als bei dem 2D-Bild erzeugt werden.
12 zeigt ein Blockbild einer Version eines MSD-Decoders. Dabei wird angenommen, daß die MSD-Daten in dem zusammengesetzten Videosignal in den ersten 16 Zeilen des Videosignals codiert sind, 13. Das ankommende zusammengesetzte Video wird einer Synchronisationstrenneinrichtung zugeführt, die vertikale und horizontale Taktsignale für den Mikroprozessor liefert. Außerdem wird das Video einer Schwarzlevel-Klemmschaltung, einem Vergleicher und einer Levelverschiebeeinrichtung zugeführt. Der Ausgang von der Levelverschiebeeinrichtung ist ein TTL-Levelsignal, das die seriellen codierten MSD-Daten auf den Zeilen 1 bis 16 des Videosignals enthält. Der Mikroprozessor geht in eine Schleife und wartet auf einen horizontalen Synchronisationsimpuls und, nachdem der horizontale Synchronisationsimpulse für Zeile 1 bestimmt ist, liest der Mikroprozessor die nächsten 16 Bytes. Ein ähnlicher Vorgang wird mit den folgenden 15 Zeilen wiederholt, bis die MSD Daten gelesen sind. Auf der Basis der empfangenen MSD-Daten liefert der Mikroprozessor den geschwindigkeitsveränderlichen Takt für den digitalen Videozeilenspeicher auf jeder nachfolgenden Videozeile. Der Mikroprozessor unterhält einen Index darüber, welche Videozeile gerade bearbeitet wird, indem er die Zeilensynchronisationsimpulse zählt.
Die Tiefenwahrnehmung von 3D-Bildern variiert unter Betrachtern. Beim Betrachten von 3D-Bildern mit einer Blendenbrille erfordert ferner die "Intensität" des 3D-Bildes eine Einstellung relativ zu dem Betrachtungsabstand. Die Intensität des 3D-Bildes kann mit einer Fernbedienungseinrichtung geändert werden, die über einen von dem Mikroprozessor angewandten Algorithmus die Änderung der Intensität des 3D-Bildes durch den Betrachter ermöglicht. Der Algorithmus ändert die Größe jedes Elements in der MSD-Matrix, so daß die Intensität des 3D-Effekts geändert wird. Es ist daran gedacht, daß, so bald die Präferenz für einen bestimmten Betrachter eingegeben ist, die Einstellung von der Decodereinheit beibehalten wird.
Es gibt viele Verfahren für die Echtzeit-Erzeugung von DDC-codierten Videobildern. Bei einem solchen Verfahren wird der Abstand zwischen dem Kameraobjektiv und einem zusätzlichen, die Entfernung messenden CCD-Array (ladungsgekoppelten Schaltungsarray) geändert 14. Dies erzeugt in variierenden Fokussierstadien eine Serie von Bildern für jedes Objekt in dem Bild. Dann läuft ein Schärfedetektieralgorithmus über die Serie von Bildern, und ein Schärfeindex für jedes Objekt in dem Bild wird bestimmt. Dann wird bestimmt, an welchem Bild jedes Objekt am schärfsten war, was anzeigt, in welcher Brennebene sich das Objekt befindet. Diese Information wird dann dazu genutzt, die MSD-Daten zu bilden.
15 zeigt ein anderes Verfahren, wobei zwei Videokameras dazu verwendet werden, separate Links- und Rechtsaugenbilder zu erzeugen. Die Leuchtdichteinformation von jeder Kamera wird digitalisiert und einem Zeilenspeicher zugeführt. Ein Autokorrelierer oder ein ähnlicher Vorgang vergleicht die Bitmuster in den zwei Zeilenspeichern (um 16 Elemente links und rechts) und sucht nach einer Übereinstimmung. Die Differenz (der Abstand) zwischen den Videomustern, die Objekte in dem Bild repräsentiert, wird dazu genutzt, die MSD-Daten zu erzeugen. Einer von den Kameraausgängen wird mit den MSD-Daten in Echtzeit kombiniert, um ein DDC-codiertes Video zu erzeugen.
Alternativ kann anstelle der zwei Videokameras eine stereoskopische Videokamera verwendet werden.
DDC kann dazu verwendet werden, einen schwerwiegenden Nachteil von existierenden, nicht dem Auge folgenden autostereoskopischen 3D-Mehrfachbetrachtersystemen zu überwinden. Diese Systeme liefern ein 3D-Bild, indem sie eine sich wiederholende Sequenz von Links-Rechtsaugenbildern erzeugen, wie in 16 gezeigt ist. Der Abstand zwischen jedem aufeinanderfolgenden Bild ist 65 mm, was gleich dem Abstand zwischen den Augen des Betrachters ist. Deshalb sieht ein Betrachter, der sich in Position A befindet, ein korrekt sequentialisiertes 3D-Bild.
Sollte sich jedoch der Betrachter um 32 mm zur Seite bewegen oder in Position B sein, wird das linke Bild von dem rechten Augen und das rechte Bild von dem linken Auge gesehen, d. h. der Betrachter sieht ein "umgekehrtes 3D"-Bild. Das Betrachten des umgekehrten 3D-Bildes ist sehr unangenehm und bereitet dem Betrachter nach kurzer Zeit Beschwerden, d. h. Kopfschmerzen.
Die meisten autostereoskopischen Mehrfachbetrachtersysteme haben diesen Nachteil, insbesondere diejenigen auf der Basis von Lentikularlinsen und gitterartigen Bildtrenneinrichtungen. Ein autostereoskopisches Lentikularlinsen-basiertes Mehrbetrachtersystem ist in 17 gezeigt. Das Bild von dem linken Projektor geht durch die erste Lentikularlinse und wird auf der Oberfläche eines Mattbildschirms fokussiert. Eine zweite Lentikularlinse refokussiert dieses Bild, um einen vertikalen Lichtstreifen in der Betrachtungsdistanz zu bilden. Ein zweiter Projektor, der das rechte Bild enthält, beleuchtet auch die erste Lentikularlinse; aufgrund einer seitlichen Verschiebung zwischen den zwei Projektoren wird jedoch das resultierende Rechtsaugenbild in der Betrachterebene um 65 mm von dem linken Bild verschoben. Diese Sequenz von alternierenden Links-Rechts-Bildern, die um 65 mm beabstandet sind, wird wiederholt.
Ein Betrachter in der richtigen Position betrachtet ein richtiges 3D-Bild, umgekehrte 3D-Bilder werden jedoch ebenfalls präsentiert, falls sich der Betrachter bewegt oder in einer unrichtigen Position ist, wie vorstehend erläutert wurde.
Wenn sich der Betrachter setzt, um ein Lentikularlinsen-basiertes 3D-System auf zu betrachten, ist es in der Praxis für ihn zunächst schwierig zu bestimmen, ob er ein richtiges oder umgekehrtes 3D-Bild betrachtet. Erst wenn der Betrachter Beschwerden empfindet, wird er sich bewußt, daß er sich in einer unrichtigen Position befindet.
Außerdem ist es für einen Betrachter schwierig, die richtige Betrachtungsposition über einen längeren Zeitraum aufrechtzuerhalten. Es ist ferner erforderlich, daß der Betrachter um den richtigen Abstand von der zweiten Lentikularlinse entfernt positioniert ist, da bei Betrachtung in dem unrichtigen Abstand die Tendenz zum Auftreten von Moirestreifenbildungs- und Nebensprecheffekten besteht.
Ein zusätzliches Problem bei Lentikularlinsen-basierten Systemen auf ist die Auflösung. Die Auflösung ist durch das Rastermaß jeder "kleinen sphärischen Linse" in der gesamten Lentikularlinse begrenzt, die in der Größenordnung von 1 mm in Querrichtung ist.
Anstatt einfach Links- und Rechtsbilder zu projizieren, wird ein Lentikularlinsen-basiertes System in Betracht gezogen, das eine Reihe von Projektoren, beispielsweise vier, verwendet, um eine Serie von Bildern 1, 2, 3, 4 zu erzeugen, die jeweils um 65 mm voneinander beabstandet sind, wie 18 zeigt. Die ursprüngliche Szene ist unter Verwendung von vier Kameras mit der gleichen Sequenz und dem gleichen Abstand aufgezeichnet worden. Ein Betrachter in den Positionen A, B oder D sieht ein richtiges 3D-Bild, wogegen der Betrachter in Position C ein umgekehrtes 3D-Bild sieht.
Dies ist eine erhebliche Verbesserung gegenüber dem bisherigen Links-Rechts-System, da nun ein akzeptables 3D-Bild über das 3fache des seitlichen Abstands betrachtet werden kann. Es ist zu beachten, daß wie bei dem bisherigen Links-Rechts-System sich ein Betrachter erst dann, wenn er Beschwerden empfindet, bewußt wird, daß die Position D ein umgekehrtes 3D-Bild ergibt.
Wenn nun der Projektor vier durch ein "Null"-Bild (schwarz) ersetzt wird, 19, haben die Positionen A und B die Wirkung wie vorher. Die Position C erzeugt ein monoskopisches Bild in dem rechten Auge und ein schwarzes Bild in dem linken, was immer noch ohne Beschwerden für den Betrachter betrachtet werden kann. Gleichermaßen erzeugt die Position D ein monoskopisches Bild, jedoch wiederum ohne einen umgekehrten 3D-Effeikt. Wir haben also ein System, bei dem 50% der Betrachterpositionen ein richtiges 3D-Bild erzeugen und 50% geringfügig schlechtere, jedoch nicht zu beanstandende Bilder und bei dem der umgekehrte 3D-Effekt eliminiert ist.
Durch Erhöhen der Anzahl von Projektoren und Einfügen eines Null-Bildes wird der seitliche Abstand, über den ein richtiges 3D-Bild betrachtet werden kann, vergrößert, und der umgekehrte 3D-Effekt wird eliminiert.
Es wird jedoch nicht als praktikabel erachtet, ein solches Mehrfach-Projektorsystem zu implementieren, und zwar hauptsächlich weil die Übertragungs-/Aufzeichnungs- Bandbreite, die erforderlich ist, um jedem Projektor Videobilder zu liefern, mit zunehmender Anzahl von Projektoren impraktikabel wird.
Die Begrenzungen dieser Vorgehensweise können überwunden werden durch Übertragung eines DDC-codierten 2D-Bildes und Verwendung von DDC, um die erforderliche Anzahl von Projektionsbildern aufzubauen. Innerhalb des DDC-Decoders ist zwar eine große Bandbreite erforderlich, die ursprüngliche 2D-Bandbreite an der Sender- und/oder Aufzeichnungseinrichtung jedoch wird aufrechterhalten.
Ein Lentikularlinsen-basiertes Mehrfachbetrachter-3D-System auf, das einen DDC-Decoder verwendet, ist in 20 gezeigt.
Die DDC-Codierung/Decodierung ermöglicht die Erzeugung einer Sequenz von Videobildern, die den Bereich von möglichen Bildern von der äußersten Linken des ursprünglichen Bildes zu der äußersten Rechten wie folgt darstellt:
[L, L₁, L₂ ..... R₂, R₁, R]
Zusammenfassend können einige der Anwendungen wie folgt beschrieben werden:
DDC oder "Dynamic Depth Cueing" ist ein Begriff für eine Form von Daten, die aus dem Umwandlungsvorgang von 2D in 3D abgeleitet werden, der eine Zwischenstufe der Umwandlung ist. In dieser Stufe bestehen die Daten aus dem ursprünglichen Videosignal und einem Datenpaket (entweder in Digital- oder Analogform codiert), so daß diese zusätzlichen Daten alles sind, was erforderlich ist, um die spezielle Elektronik-Hardware und/oder Software anzuweisen, die Umwandlungsaufgabe abzuschließen. Die resultierende 3D-Information kann die Form von entweder einem Videoformat vom feldsequentiellen Typ (d. h. Links-/Rechts-Typ), zwei separaten Videoströmen, eines Zeile-um-Zeile-Systems (d. h. 1 Zeile von dem linken Feld, 1 Zeile von dem rechten Feld) oder irgendeinem anderen Format haben, das vorteilhaft ist.
Durch sorgfältige Konfiguration des Formats des Umwandlungsdatenpakets ist es möglich, diese zusätzlichen Daten einzufügen, so daß es nicht bemerkt wird, wenn die Anzeige auf einem Standard-TV-Gerät erfolgt. Es wird also möglich, 3D- Fernsehübertragungen einzuführen, ohne die existierende Fernsehinfrastruktur durcheinanderzubringen. Der Decoder könnte nahe der Betrachtungseinrichtung (d. h. dem Fernsehgerät) angeordnet und im wesentlichen ein 'schwarzer Kasten' sein, der das Übertragungssignal abfängt, es decodiert und dann an das Fernsehgerät zum Betrachten ausgibt. Deshalb würde das Hochrüsten von existierenden 2D-Pay-TV- oder Fernsehnetzstrukturen durch das Hinzufügen eines 'schwarzen Kastens'" zu jedes Fernsehgerät vereinfacht.
Vorsehen von Medien für autostereoskopische 3D-Anzeigesysteme vom MULTIIMAGE-Typ (MEHRFACHBILD-Typ). Diese Systeme beruhen auf dem Vorsehen von Mehrfachbildern mit geringfügig unterschiedlichen perspektivischen Ansichten. Sie können recht wirksam sein, wenn die Anzahl von verschiedenen Ansichten groß ist (beispielsweise 8 bis 16), da sie ein echtes Mehrfachbetrachtervermögen zulassen. Ihr Hauptnachteil ist, daß, da sie erfordern, daß viele verschiedene Ansichten sämtlich zur gleichen Zeit verfügbar sind, das Vorsehen der Medien äußerst schwierig ist, und zwar selbst bei Anwendung von hochentwickelten Videokompressionsverfahren. Wenn jedoch ein DDC-Decoder verwendet wird, um die 3D-Medien zu erzeugen, ist es möglich, so viele einzelne perspektivische Ansichten zu erzeugen, wie benötigt werden, und sie mit diesen Bildeinrichtungen, d. h. Fernsehgeräten und Videorecordern, als normale 2D-Bilder zu erzeugen. Der Betrachter ist sich keiner Änderungen an dem übertragenen Bild bewußt.
Standard-2D-Videobilder, die DDC-codiert sind, haben die folgenden Charakteristiken:

– DDC-codierte 2D-Bilder können auf Standard-Videoeinrichtungen, d. h. Fernsehgeräten und Videorecordern, als normale 2D-Bilder empfangen werden. Der Betrachter ist sich keiner Änderungen an dem übertragenen Bild bewußt.
– DDC-codierte Bilder sind mit sämtlichen Video-, Editier-, Aufzeichnungs-, Empfangs- und Übertragungssystemen und -technologien vollständig kompatibel. DDC-codierte 2D-Bideobilder sind also für sämtliche existierenden analogen Video- und Fernsehtechnologien transparent.
– DDC-codiertes 2D-Video kann auf dem Markt auf ähnliche Weise wie Fahrfernsehen oder Stereoton eingeführt werden. Nur Fernhsehgeräte, die mit DDC-Decodern ausgerüs tet sind (wobei Betrachter geeignete Fernsehbrillen tragen) oder 3D-Fernsehgeräte zeigen die 3D-Bilder.
– DDC-Codierung ermöglicht den nahtlosen Übergang zwischen Szenen, die aus 3D-Codierung Nutzen ziehen, und solchen, die günstiger in 2D angezeigt werden. Der Übergang wird von dem Betrachter nicht bemerkt.
– DDC-codiertes Video kann auf sämtlichen existierenden 3D-Anzeigen angezeigt werden und ist für Mehrfachbetrachter-Systeme geeignet.
– DDC-Codierung bewahrt die Zeilen- und Feldstandards der ursprünglichen Videoquelle.
– DDC-Codierung reduziert nicht die Häufigkeit der Bildaktualisierung, wie dies beim Codieren von 3D-Videobildern in feldsequentiellem Links-/Rechtsformat der Fall ist.

Claims

Verfahren zum Erzeugen eines 2D-Videosignals, das mit Umwandlungsdaten codiert ist, um die Umwandlung des 2D-Videosignals in Links- und Rechtsaugenbilder für eine stereoskopische Anzeige zu unterstützen, wobei das Verfahren die folgenden Schritte aufweist: Bereitstellen eines 2D-Videosignals, das Daten enthält, die ein 2D-Videobild betreffen; Erzeugen von Umwandlungsdaten, die die Verschiebung von jeweiligen ausgewählten Punkten des 2D-Videobilds für die Umwandlung des Bilds in Links- und Rechtsaugenbilder für eine stereoskopische Anzeige definieren, so daß sowohl die Links- als auch Rechtsaugenbilder Abschnitte aufweisen, die komprimiert wurden, und Abschnitte aufweisen, die gedehnt wurden; und Addieren der Umwandlungsdaten zu dem 2D-Videosignal, um das codierte Signal zu bilden.
Verfahren nach Anspruch 1, wobei die Umwandlungsdaten in den Leerzeilen an dem oberen und/oder unteren Rand eines zu übertragenden Standard-2D-Bilds übertragen werden.
Verfahren nach Anspruch 1, wobei die Umwandlungsdaten in der horizontalen Synchronisationsperiode eines zu übertragenden Standard-2D-Bilds übertragen werden.
Verfahren nach Anspruch 1, wobei die Umwandlungsdaten in den horizontalen Überabtastungsbereichen ("Overscan"-Bereichen) jeder Zeile eines zu übertragenden Standard-2D-Bilds übertragen werden.
Verfahren nach einem der vorhergehenden Ansprüche, wobei das Verfahren die folgenden Schritte aufweist: Erzeugen von Videosignalen von Videobildern von zwei separaten Blickpunkten; Vergleichen der Videobilder von den separaten Blickpunkten, um die Umwandlungsdaten zu erzeugen; und Kombinieren des Videosignals der Videobilder von einem der Blickpunkte mit den Umwandlungsdaten, um dadurch das codierte Videosignal zu erzeugen.
Verfahren nach Anspruch 5, wobei die Videosignale von zwei separaten Kameras erzeugt werden.
Verfahren nach Anspruch 5, wobei die Videosignale Links- und Rechtsaugenvideobilder von einer stereoskopischen Videokamera sind.
Verfahren zum Erzeugen von Links- und Rechtsaugenbildern für eine stereoskopische Anzeige aus einem codierten 2D-Videosignal, wobei das Verfahren die folgenden Schritte aufweist: Bereitstellen eines 2D-Videosignals, das Daten enthält, die ein 2D-Videobild betreffen, wobei das Videosignal mit Umwandlungsdaten codiert wird, die die Verschiebung von jeweiligen Punkten des 2D-Videobilds für die Umwandlung des Bilds in Links- und Rechtsaugenbilder definieren, so daß sowohl die Links- als auch die Rechtsaugenbilder Abschnitte aufweisen, die komprimiert wurden, und Abschnitte aufweisen, die gedehnt wurden; Lesen der Umwandlungsdaten aus dem Videosignal; und Erzeugen von Links- und Rechtsaugenbildern zur Anzeige aus dem 2D-Videobild durch Verschieben von Objekten innerhalb des 2D-Videobilds in Abhängigkeit von den Umwandlungsdaten.
Verfahren nach Anspruch 8, wobei das Verfahren ferner die folgenden Schritte aufweist: Umwandeln des 2D-Videobilds in RGB-Komponenten; Umwandeln jeder Komponente in ein Digitalsignal; und Speichern der Digitalsignale vor dem Erzeugen der Links- und Rechtsaugenbilder.
Verfahren nach Anspruch 8 oder Anspruch 9, wobei die Digitalsignale mit einer variablen Rate als eine Funktion der Umwandlungsdaten aus einem Speicher ausgelesen werden.
Verfahren nach Anspruch 8 oder Anspruch 9, wobei die Digitalsignale mit einer variablen Rate als eine Funktion der Umwandlungsdaten in den Speicher eingelesen werden.
Verfahren nach einem der Ansprüche 8 bis 11, wobei die Digitalsignale zum Betrachten auf einem Analogsystem in Analogsignale umgewandelt werden.
Verfahren nach einem der Ansprüche 8 bis 12, wobei die Umwandlungsdaten von dem Videosignal getrennt werden.
System zum Erzeugen eines 2D-Videosignals, das mit 3D-Umwandlungsdaten codiert ist, wobei das System folgendes aufweist: eine Einrichtung zum Erzeugen von Videosignalen von Videobildern an zwei separaten Blickpunkten; eine Umwandlungseinrichtung zum Erzeugen von Umwandlungsdaten, wobei die Umwandlungseinrichtung die Videosignale von der Einrichtung empfängt und die Signale von den separaten Blickpunkten vergleicht, um dadurch die Umwandlungsdaten zu erzeugen, wobei die Umwandlungsdaten die Verschiebung von jeweiligen Punkten von einem der Videobilder für die Umwandlung des Videobilds in Links- und Rechtsaugenbilder für eine stereoskopische Anzeige definieren, so daß sowohl die Links- als auch Rechtsaugenbilder Abschnitte aufweisen, die komprimiert wurden, und Abschnitte aufweisen, die gedehnt wurden; und eine Codiereinrichtung zum Kombinieren des Videosignals von dem einen Videobild mit den Umwandlungsdaten von der Umwandlungseinrichtung, um dadurch ein codiertes Videosignal zu erzeugen.
System nach Anspruch 14, wobei die Einrichtung eine erste und eine zweite Videokamera aufweist, die relativ zueinander seitlich verlagert sind.
System nach Anspruch 14, wobei die Einrichtung eine stereoskopische Kamera zur Aufnahme von Links- und Rechtsaugenvideobildern aufweist.
Decodierer zum Decodieren eines Videosignals, um eine stereoskopische Anzeige zu erzeugen, wobei das Signal ein 2D-Videobild liefert und ferner Umwandlungs daten zum Umwandeln des Videobilds aufweist, wobei die Umwandlungsdaten die Verschiebung von jeweiligen Punkten des Videobilds für die Umwandlung des Videobilds in ein Bild für eine stereoskopische Anzeige definieren, wobei bestimmte von den erzeugten Bildern zum Betrachten mit dem linken Auge eines Betrachters und die anderen erzeugten Bilder zum Betrachten mit dem rechten Auge des Betrachters bestimmt sind, wobei der Decodierer folgendes aufweist: a) eine Einrichtung zum Empfangen des Videosignals; b) eine Decodiereinrichtung zum Lesen der Umwandlungsdaten; und c) eine Einrichtung zur Nutzung der Umwandlungsdaten, um das 2D-Videobild in Links- und Rechtsaugenbilder für eine stereoskopische Anzeige umzuwandeln, so daß sowohl die Links- als auch Rechtsaugenbilder Abschnitte aufweisen, die komprimiert wurden, und Abschnitte aufweisen, die gedehnt wurden.
Decodierer nach Anspruch 17, wobei der Decodierer folgendes aufweist: a) einen RGB- oder Komponenten-Videoumwandler zum Umwandeln des Videosignals in separate Videokomponenten davon; b) eine Analog-Digital-Umwandlungseinrichtung zum Umwandeln jeder Videokomponente in ein entsprechendes Digitalsignal; und c) eine digitale Speichereinrichtung zum Speichern der Digitalsignale.
Decodierer nach Anspruch 17 oder Anspruch 18, wobei der Decodierer so ausgebildet ist, daß er eine die Ausleserate der digitalen Speichereinrichtung steuernde frequenzveränderliche Taktgebereinrichtung steuert, wobei die Speichereinrichtung mit einer variablen Rate ausgelesen wird, um dadurch das 2D-Bild in Abhängigkeit von den Umwandlungsdaten umzuwandeln.
Decodierer nach Anspruch 17 oder Anspruch 18, wobei der Decodierer so ausgebildet ist, daß er eine die Einleserate der digitalen Speichereinrichtung steuernde frequenzveränderliche Taktgebereinrichtung steuert, wobei die RGB- oder Videokomponenten mit einer variablen Rate in die Speichereinrichtung eingelesen werden können, um dadurch das 2D-Bild in Abhängigkeit von den Umwandlungsdaten umzuwandeln.
Decodierer nach einem der Ansprüche 17 bis 20, wobei die Speichereinrichtung in Form eines Zweiweg-RAM-Zeilenspeichers ausgebildet ist.
Decodierer nach einem der Ansprüche 17 bis 21, wobei der Decodierer eine einzige Videozeile verarbeitet.
Decodierer nach einem der Ansprüche 17 bis 21, wobei der Decodierer eine Mehrzahl von Videozeilen verarbeitet.
Decodierer nach einem der Ansprüche 17 bis 23, wobei eine Digital-Analog-Umwandlungseinrichtung zum Umwandeln des ausgelesenen Digitalsignals in ein umgewandeltes Videosignal vorgesehen ist, um das Betrachten auf einer Betrachtungseinrichtung zu ermöglichen.
Decodierer nach einem der Ansprüche 17 bis 23, wobei der Decodierer eine Parallelspeichereinrichtung zum Speichern des Digitalsignals für die umgewandelten Links- bzw. Rechtsvideobilder aufweist.
Decodierer nach einem der Ansprüche 17 bis 23, wobei der Decodierer eine Trenneinrichtung zum Trennen der Umwandlungsdaten von dem Videosignal aufweist.
Stereoskopisches Bildanzeigesystem, das folgendes aufweist: a) einen Codierer zum Codieren eines Videosignals, das ein 2D-Videobild liefert, mit Umwandlungsdaten, wobei die Umwandlungsdaten die Verschiebung von jeweiligen Punkten des Videobilds zum Umwandeln des Videobilds in ein Bild für eine stereoskopische Anzeige definieren; und b) einen Decodierer zum Trennen der Umwandlungsdaten von dem Videosignal und zum Umwandeln des Videosignals als eine Funktion der Umwandlungsdaten, um das Videobild in Links- und Rechtsaugenbilder umzuwandeln, so daß sowohl die Links- als auch Rechtsaugenbilder Abschnitte aufweisen, die komprimiert wurden, und Abschnitte aufweisen, die gedehnt wurden.
Stereoskopisches Anzeigesystem nach Anspruch 27, das ferner eine Einstelleinrichtung zum selektiven Einstellen der Verschiebung der jeweiligen Punkte aufweist, um den Grad der Dehnung in den Links- und Rechtsaugenbildern zu variieren.
Stereoskopisches Anzeigesystem nach Anspruch 28, wobei die Einstelleinrichtung eine Fernsteuerungseinrichtung aufweist.
Stereoskopisches Mehrfachbetrachter-Anzeigesystem (multiviewer stereoscopic display), wobei das System einen Decodierer nach Anspruch 17 aufweist.
Stereoskopisches Mehrfachbetrachter-Anzeigesystem nach Anspruch 30, das eine Vielzahl von Projektoren aufweist und wobei der Decodierer eine Serie von Bildern erzeugt, wobei jedes Bild von einem jeweiligen Projektor gezeigt wird.
Stereoskopisches Mehrfachbetrachter-Anzeigesystem nach Anspruch 31, das eine Lentikularlinsenanordnung aufweist, um die Bilder von den jeweiligen Projektoren aus zu richten.