DE19825302A1

DE19825302A1 - System zur Einrichtung einer dreidimensionalen Abfallmatte, welche eine vereinfachte Einstellung räumlicher Beziehungen zwischen realen und virtuellen Szeneelementen ermöglicht

Info

Publication number: DE19825302A1
Application number: DE19825302A
Authority: DE
Inventors: Thomas R Rohlfing; James H Houskeeper
Original assignee: Evans and Sutherland Computer Corp
Current assignee: Evans and Sutherland Computer Corp
Priority date: 1997-06-09
Filing date: 1998-06-05
Publication date: 1998-12-17
Anticipated expiration: 2018-06-06
Also published as: IL124539A; GB2326301B; DE19825302B4; US6034739A; IL124539A0; GB2326301A; GB9810456D0; CA2238532C; CA2238532A1

Description

Die vorliegende Erfindung betrifft allgemein die Vereinigung realer Szenenelemente von einer Kamera, beispielsweise einer Fernsehkamera, mit virtuellen Szeneelementen von einer virtuellen Kamera. Genauer gesagt stellt die vorliegende Erfindung neue Verfahren zur Erzeugung einer Abfallmatte zur Verfügung, welche die ordnungsgemäße Mischung realer und virtueller Szenenelemente vereinfacht, so daß diese angeordnet erscheinen, und in Bezug aufeinander bewegt werden können, unter Verwendung eines universellen Bildüberlagerungsgeräts, das mit einem blauen/grünen Schirm arbeitet, um ein einzelnes Bild zu erzeugen.

Der momentane Zustand der Technik der Vereinigung realer Bilder mit zusätzlichen Bildern, die von einer anderen Quelle zur Verfügung gestellt werden, ist ein Vorgang, der eine beträchtliche Genauigkeit erfordert. Typischerweise wird die andere Quelle zusätzlicher Bilder durch Computer erzeugt, oder stellt irgendeine andere Art künstlicher Bilder dar. Bei der Anordnung künstlicher Bilder ist Genauigkeit erforderlich, damit die Kombination realistisch erscheint, wenn sie insgesamt betrachtet wird. Die Kombination wird normalerweise als virtuelle Szene bezeichnet.

Die virtuelle Szene, die nachstehend erläutert wird, umfaßt eine Eingabe von einer Fernsehkamera und einer virtuellen Kamera. Die virtuelle Kamera wird normalerweise unter Verwendung einer Hochleistungs-Computergraphikmaschine verwirklicht, obwohl Geschwindigkeit geopfert werden kann, um ein Ausgangssignal mit hoher Qualität zu erhalten.

Die Art von computererzeugten Bildern, die mit der vorliegenden Erfindung zusammenhängt, sind Bilder, die in eine Szene realer Bilder eingefügt werden können, die von einer Fernsehkamera aufgenommen oder gefilmt werden (wobei die Fernsehkamera allgemein gesprochen eine Quelle von Videodaten darstellt). Bei diesem Szenario sind reale Objekte im Vordergrund vor einem Studiohintergrund angeordnet, der normalerweise unter Verwendung einer blauen oder grünen Wand oder eines blauen oder grünen Schirms aufgebaut wird. Statt des blauen oder grünen Schirms wird dann eine künstliche Szene hinzugefügt.

Die voranstehend beschriebene virtuelle Szene umfaßt wesentliche Einstellungs-, Kalibrierungs- und Einführungseinzelheiten, die hauptsächlich außerhalb des Umfangs der vorliegenden Erfindung liegen. Um das Verständnis der vorliegenden Erfindung zu erleichtern, wird der Gegenstand zweier früher eingereichter Patentanmeldungen, die beide am 4. April 1997 eingereicht wurden, durch Bezugnahme in die vorliegende Anmeldung eingeschlossen; diese früheren Patentanmeldungen haben den Titel "Verfahren zur Messung von Kamera- und Objektiveigenschaften für die Kameraausrichtungsverfolgung" sowie "Vorrichtung und Verfahren zur Kamera-/Objektivkalibrierung".

Die voranstehend geschilderten Patentanmeldungen lehren, daß sich, insoweit die Position, die Orientierung und das Gesichtsfeld der realen Fernsehkamera durch die virtuelle Kamera überwacht und dupliziert werden, die realen und die virtuellen Szeneelemente zusammen zu bewegen scheinen, und ordnungsgemäß in einer virtuellen Szene "gemischt" oder vereinigt werden. Ein Thema, welches nicht berücksichtigt wird, ist die Angelegenheit der Maskierung von Objekten. Für das Verständnis ist es wichtig zu wissen, daß jene Objekte oder anderen Szeneelemente, die keinen Teil eines vereinigten Bildes bilden sollen, gegenüber der Fernsehkamera unter Verwendung einer Abfallmatte verdeckt werden.

Abfallmatten wurden einige Jahre lang bereits eingesetzt, um Objekte gegenüber dem Gesichtsfeld der Fernsehkamera zu verbergen oder zu maskieren, wie nachstehend noch erläutert wird. Im Zusammenhang mit der vorliegenden Erfindung werden reale Szeneelemente normalerweise auf einer normale Szene angeordnet, welche die Farbe blau oder grün aufweist. In der realen Szene sind der Boden, die Kulissen und möglicherweise die Seitenwände gleichmäßig in blauer Farbe angelegt. Dies wird als blaue Bühne bezeichnet. Reale Szeneelemente umfassen typischerweise lebende Darsteller (Schauspieler), Stühle, Tische, Pflanzen oder irgendwelche anderen "reale" Objekte, mit denen der Darsteller arbeiten kann.

Virtuelle Szeneelemente werden unter Verwendung von Computermodellierungswerkzeugen aufgebaut, die Fachleuten auf diesem Gebiet bekannt sind. Die Computermodellierungswerkzeuge werden dazu verwendet, geometrische Formen, Oberflächenbeschaffenheitsmuster, Beleuchtungseffekte und andere Spezialeffekte zu "erzeugen", um eine gewünschte virtuelle Umgebung zu schaffen. Diese virtuellen Szeneelemente werden als Digitaldaten gespeichert, bis sie zurückgeholt werden, um zu einem Teil der virtuellen Szene zu werden. Es wird darauf hingewiesen, daß die Position und Orientierung jedes Gegenstands in der virtuellen Umgebung in Bezug auf ein Koordinatensystem modelliert wird, das für die Modellierung ausgewählt wird.

Eine wesentliche Erkenntnis besteht darin, daß die Motivation für die vorliegende Erfindung von dem Wunsch und dem Bedürfnis herrührt, häufig die Position und Orientierung der realen blauen Bühne in Bezug auf die virtuelle Umgebung einzustellen. Im wesentlichen besteht die Auswirkung darin, die reale Szene (einschließlich der Fernsehkamera) zu "ergreifen", und sie in irgendeiner gewünschten Position und Orientierung in Bezug auf die virtuelle Umgebung "anzuordnen".

Bei dem Vorgang der Vereinigung der virtuellen Umgebung (und daher der virtuellen Szene) mit der realen Szene ist ein "Werkzeug", welches häufig von Fachleuten auf diesem Gebiet verwendet wird, die voranstehend erwähnte Abfallmatte. Die Bezeichnung der Abfallmatte rührt von ihrer Funktion her, die sie beim Verdecken unerwünschter Elemente der realen Szene durchführt, die manchmal im Gesichtsfeld der Fernsehkamera liegen können, die jedoch nicht innerhalb des vereinigten Ausgangsbildes gesehen werden sollen (wobei statt dessen die virtuelle Szene gezeigt wird).

Es sollte selbstverständlich sein, das Beleuchtungskörper oberhalb einer realen Bühne nicht in dem vereinigten Ausgangsbild enthalten sein sollen. Da jedoch die Bühnenbeleuchtungskörper nicht blau sind, erscheinen sie unvermeidlich als Teil der virtuellen Szene. Daher wird eine Abfallmatte dazu verwendet, die Bühnenbeleuchtung oder andere unerwünschte reale Strukturen aus der virtuellen Szene zu entfernen. Ist die Abfallmatte "real", so kann sie beispielsweise ein Kartonstück sein, welches in die gewünschte Form geschnitten und blau angestrichen wird.

Wenn die Abfallmatte jedoch virtuell ist, dann wird sie häufig in der virtuellen Umgebung unter Verwendung eines Polygons oder mehrere Polygone aufgebaut, die von den Computermodellierungswerkzeugen erzeugt werden, oder von einem anderen Polygonerzeugungswerkzeug, welches in einem Computerbildgenerator läuft. Die Polygone geben Richtungen an, an welchen das Bild der Fernsehkamera nicht zu einem vereinigten Bild beitragen soll. Anders ausgedrückt verdecken oder maskieren die Polygone reale Objekte. In jeder Richtung, in welcher die Abfallmatte in einem Bildüberlagerungsgerät gesehen wird, wird daher das vereinigte Ausgangsbild aus der virtuellen Umgebung genommen, und nicht aus der realen Szene, unabhängig davon, ob die Fernsehkamera blau sieht oder nicht.

Ein übliches Beispiel für die Verwendung einer Abfallmatte ist der offensichtliche Fall, in welchem die Fernsehkamera über die Grenzen der blauen Bühne hinaus verschwenkt, und so Beleuchtungskörper, Dekoration, Studiopersonal, oder andere Objekte erkennbar macht, die sich unmittelbar jenseits der Wände der realen Szene befinden. Da das Bildüberlagerungsgerät diese Objekte so "sieht", daß sie nicht blau sind, würden sie normalerweise an das vereinigte Ausgangsbild übertragen. Ohne eine Abfallmatte ist es daher nicht möglich, die Fernsehkamera über die Grenzen der realen Szene hinaus zu verschwenken, die nicht blau angestrichen wurden, oder hinter blauen Wänden verborgen sind. Es wird deutlich, daß selbst dann, wenn eine umfassende reale blaue Szene erzeugt würde, unvermeidlich obere Beleuchtungskörper vorhanden wären, die maskiert werden müßten, was die Verwendung einer Abfallmatte erfordert.

Die voranstehende Information betraf die Verwendung der Abfallmatte. Nicht erläutert wurde die Erzeugung einer Abfallmatte. Der momentane Stand der Technik zur Erzeugung und Positionierung einer wirksamen Abfallmatte stellt Verfahren dar, die im wesentlichen mühsam und zeitaufwendig sind.

Es ist beispielsweise üblich, ein einfaches Abfallmattenpolygon unter Verwendung eines realen, dreidimensionalen Polygonausschnitts aufzubauen. Die Form des Ausschnitts approximiert die Form der blauen Bühne der realen Szene, gesehen vom Ort einer bestimmten Fernsehkamera aus. Ein zweidimensionaler Ausschnitt arbeitet allerdings nur in einem engen Bereich auswählbarer Fernsehkamerapositionen ordnungsgemäß. Darüber hinaus kann der zweidimensionale Ausschnitt Bereiche hinter der Position der Fernsehkamera überhaupt nicht abdecken. Daher ist es im allgemeinen erforderlich, die Abfallmatte zu unterschiedlichen Positionen und Orientierungen für unterschiedliche Fernsehkamerapositionen zu bewegen. Es wird deutlich, daß die Erzeugung, Bewegung und erneute Anordnung von Abfallmatten schnell zu einer zeitaufwendigen und daher teuren Prozedur werden kann. Darüber hinaus tritt das Problem nur dann auf, wenn die Fernsehkamera bewegt werden muß, um so die blaue Bühne aus einer unterschiedlichen Perspektive zu betrachten.

Es wäre daher eine Verbesserung des Stands der Technik, wenn ein neues Verfahren zur Verwendung von Abfallmatten innerhalb einer virtuellen Szene zur Verfügung gestellt werden könnte, wobei das Verfahren eine praxisnähere Erzeugung, Bewegung und erneute Positionierung von Abfallmatten ermöglicht. Es wäre ebenfalls eine Verbesserung, wenn eine Echtzeitmanipulation der Abfallmatten zur Verfügung gestellt werden könnte, welche eine schnelle Entwicklung des Systems zur Verwendung in modernen virtuellen Szenen ermöglichen würde. Vorzugsweise sollte die Abfallmatte alles um die blaue Bühne herum verdecken, sowohl vor den Fernsehkameras als auch dahinter. Auf diese Weise würde die Abfallmatte, unabhängig davon, wohin sich die Fernsehkamera richtet, wenn von der Fernsehkamera erfaßte Objekte reale Elemente umfassen, die nicht gesehen werden sollen (beispielsweise Dekoration), diese Objekte verbergen.

Es wäre ebenfalls eine Verbesserung, wenn die Position und Orientierung der Abfallmatte in Bezug auf die Position und Orientierung der blauen Bühne verankert werden könnte. Aus diese Weise würde für die Abfallmatte keine Neueinstellung erforderlich, wenn der virtuelle Ort der blauen Bühne innerhalb der virtuellen Umgebung geändert wird.

Ein Vorteil der vorliegenden Erfindung besteht in der Bereitstellung eines Verfahrens und einer Einrichtung für die kostengünstige Implementierung einer virtuellen Bühne, welche eine dreidimensionale Abfallmatte verwendet.

Ein weiterer Vorteil besteht in der Bereitstellung eines Verfahrens und einer Einrichtung zur Erzeugung einer "universellen" Abfallmatte, die bei der geometrischen Anordnung jeder realen Szene eingesetzt werden kann.

Ein weiterer Vorteil besteht in der Bereitstellung eines Verfahrens und einer Einrichtung zum Einrichten und nachfolgenden Manipulieren der räumlichen Beziehungen zwischen realen Szeneelementen und virtuellen Elementen innerhalb der virtuellen Umgebung.

Ein weiterer Vorteil besteht in der Bereitstellung eines Verfahrens und einer Einrichtung zur Befestigung oder Verankerung ausgewählter virtueller Elemente an Positionen relativ zur realen Szene.

Ein weiterer Vorteil besteht in der Bereitstellung eines Verfahrens und einer Einrichtung zum Gruppieren der verankerten virtuellen Elemente, so daß diese als kollektive Größe angeordnet sind, und dann als Gruppe manipuliert werden können.

Ein weiterer Vorteil besteht in der Bereitstellung eines Verfahrens und einer Einrichtung zur Ausbildung und nachfolgenden Manipulation virtueller Modelle realer Szeneelemente für eine ordnungsgemäße Ausrichtung in Bezug auf die reale Szene.

Ein weiterer Vorteil besteht in der Bereitstellung eines Verfahrens und einer Einrichtung zur Anzeige von Kalibrierungsmarkierungen in der virtuellen Szene an Orten, welche realen Orten realer Kalibrierungsmarkierungen in der realen Szene entsprechen (und welche für die Positionskalibrierung von Fernsehkameras verwendet werden), um eine visuelle Rückkopplung der ordnungsgemäßen Kalibrierung für den Benutzer der Fernsehkamera zur Verfügung zu stellen.

Die vorliegende Erfindung wird in einem Verfahren und einer Einrichtung zur Erzeugung, zum Positionieren und zur Manipulation einer Abfallmatte verwirklicht, welche alles außerhalb einer dreidimensionalen realen Szene oder blauen Bühne verdeckt. In der Auswirkung ist die Abfallmatte ein "Negativ" einer blauen Bühne. Wesentlich ist, daß die Abfallmatte entweder als virtuelle Hülle um alle virtuellen Objekte in der virtuellen Umgebung herum geschaffen wird, oder einfach als Hintergrundfarbe der Grafikmaschine, welche die Abfallmatte erzeugt. Auf diese Weise stellt die Abfallmatte Verlängerungen blauer Schirme zur Verfügung, welche die blaue Bühne ausmachen, und die sich überall um die Fernsehkameras herum und hinter diese erstrecken. Ein Bildüberlagerungsgerät schließt daher in ein vereinigtes Ausgangsbild jene realen Szeneelemente nicht ein, die durch die virtuelle Abfallmatte maskiert werden. Das Bildüberlagerungsgerät ersetzt Bereiche, die von der Abfallmatte verborgen werden, durch Bilddaten, die von dem Computerbildgenerator geliefert werden, der die virtuelle Umgebung speichert.

Das momentan bevorzugte Verfahren zur Herstellung einer Abfallmatte umfaßt die Schritte der Erzeugung eines virtuellen Modells der realen Szene (blaue Bühne). Der Computerbildgenerator, der zur Erzeugung und Speicherung der virtuellen Umgebung verwendet wird, wird dann dazu eingesetzt, dreidimensionale Abfallmattenpolygone zu erzeugen. Die dreidimensionalen Polygone werden so in der virtuellen Umgebung angeordnet, daß sie vollständig das virtuelle Modell der blauen Bühne und jegliche anderen Objekte einschließen, die in der virtuellen Umgebung vorhanden sind, beispielsweise in einem Würfel oder einer anderen geeigneten Form. Der Abfallmattenausschnitt entsteht dadurch, daß hieraus die Form der blauen Bühne entfernt wird. Wo immer dann die Abfallmatte in dem Bildüberlagerungsgerät auftaucht, wird das von der Fernsehkamera erfaßte Bild durch ein Bild ersetzt, das von dem Computerbildgenerator zur Verfügung gestellt wird.

Bei einer anderen Zielrichtung der Erfindung wird die Abfallmatte alternativ dadurch erzeugt, daß eine Hintergrundfarbe der virtuellen Umgebung zugeordnet wird, die als die Farbe interpretiert wird, welche der Abfallmatte zugeordnet ist. Auf diese Weise muß nur die blaue Bühne modelliert werden, während dies für die Polygone für die Abfallmatte nicht der Fall ist. Überall dort, wo die Abfallmatte in dem Bildüberlagerungsgerät sichtbar ist, wird daher die Abfallmatte durch ein Bild ersetzt, das von dem Computerbildgenerator, nicht der Fernsehkamera, zur Verfügung gestellt wird.

Bei einer anderen Zielrichtung der Erfindung kann die Abfallmatte selbst unter Verwendung von Vorgehensweisen erzeugt werden, die im Stand der Technik verwendet werden. Die vorliegende Erfindung kann dann jedoch in vorteilhafter Weise das erfindungsgemäße Konzept der Verankerung von Abfallmattenpolygonen am Modell der blauen Bühne und der Fernsehkameras verwenden, so daß immer dann, wenn das Modell der blauen Bühne und der Fernsehkameras innerhalb der virtuellen Umgebung bewegt wird, die Abfallmatte automatisch mitbewegt wird, so daß die Relativpositionsbeziehungen unverändert bleiben.

Bei einer weiteren Zielrichtung der vorliegenden Erfindung wird es wesentlich einfacher, die Vereinigung von Videobildern von einer Fernsehkamera mit virtuellen Objekten und Hintergründen zu ermöglichen, die von einem Computer erzeugt werden, der eine virtuelle Umgebung erzeugt, mit welcher reale Objekte wechselwirken können, die von der Fernsehkamera aufgenommen werden. Da die Fernsehkamera unerwünscht, jedoch häufig unvermeidlich, Videobilder von Objekten aufzeichnet, die nicht in dem endgültigen vereinigten Ausgangsbild enthalten sein sollten, werden diese durch die Abfallmatte maskiert, die dann durch Hintergrund ersetzt wird, der von dem Computerbildgenerator zur Verfügung gestellt wird.

Bei einer weiteren Zielrichtung der Erfindung können virtuelle Objekte mit Ausnahme einer Abfallmatte an einem virtuellen Modell der realen Szene verankert werden, welches innerhalb der virtuellen Umgebung bewegt werden kann.

Bei einer weiteren Zielrichtung der Erfindung können virtuelle Objekte, die an dem virtuellen Modell der realen Szene verankert sind, zusammen gruppiert werden, damit sie als einzelne Einheit oder Anordnung bewegt werden können.

Darüber hinaus können virtuelle Objekte aus der Anordnung und/oder dem virtuellen Modell der blauen Bühne "aus der Gruppe entfernt werden", so daß sie erneut angeordnet, dann gruppiert und wieder verankert werden können.

Gemäß einer weiteren Zielrichtung der Erfindung können virtuelle Objekte in Bezug auf das virtuelle Modell der realen Szene unverankert sein. Wenn daher sich das virtuelle Modell der realen Szene innerhalb der virtuellen Umgebung bewegt, werden die unverankerten virtuellen Objekte in Bezug hierauf nicht herumgezogen oder bewegt. Die unverankerten virtuellen Objekte sind dann frei und können unabhängig von irgendwelchen anderen virtuellen Objekten bewegt werden.

Gemäß einer weiteren Zielrichtung der Erfindung kann das System in Echtzeit betrieben werden, um Echtzeitbilder zu erzeugen.

Bei einer weiteren Zielrichtung der Erfindung wird die Erzeugung der virtuellen Datenbank durch Verwendung spezieller Steuersoftware für einen virtuellen Bildgenerator weiter vereinfacht.

Diese und weitere Ziele, Merkmale, Vorteile und alternativen Zielrichtungen der vorliegenden Erfindung werden Fachleuten auf diesem Gebiet aus der nachstehenden, ins einzelne gehenden Beschreibung im Zusammenhang mit den beigefügten Zeichnungen noch deutlicher. Es zeigt:

Fig. 1 eine Perspektivansicht der räumlichen Beziehungen zwischen einer virtuellen Szene, einer realen Szene, und einer virtuellen Umgebung, wie sie bei der momentan bevorzugten Ausführungsform der vorliegenden Erfindung vorhanden sind;

Fig. 2 ein Flußdiagramm eines Verfahrens gemäß der momentan bevorzugten Ausführungsform, die entsprechend den Grundlagen der vorliegenden Erfindung aufgebaut ist, wobei die Abfallmatte unter Verwendung eines Kubus erzeugt wird, der sämtliche Objekte innerhalb der virtuellen Datenbank umgibt, einschließlich des Modells der realen Szene, das in schwarzen Polygonzügen erzeugt wird;

Fig. 3 eine Aufsicht auf eine virtuelle Szene mit einer Darstellung einer blauen Bühne, einer Fernsehkamera, von Linien, welche das Gesichtsfeld der Fernsehkamera andeuten, und des Umrisses eines weißen Kubus, der die Abfallmatte repräsentiert, die unter Verwendung des Flußdiagramms von Fig. 2 erzeugt wurde;

Fig. 4 ein Flußdiagramm zur Erzeugung einer alternativen Ausführungsform der vorliegenden Erfindung, bei welcher die Abfallmatte unter Verwendung einer weißen Hintergrundfarbe der virtuellen Umgebung erzeugt wird, wobei das Modell der realen Szene durch schwarze Polygonzüge erzeugt wird; und

Fig. 5 eine Kombination einer Perspektivansicht einer blauen Bühne und einer Graphikbildausgabe, in Kombination mit einem Blockdiagramm der Bauteile eines Systems für eine virtuelle Szene, welche die vorliegende Erfindung einsetzt, um realistisch Live-Actionobjekte mit virtuellen Objekten zu kombinieren.

Nunmehr wird auf die Zeichnungen Bezug genommen, in welchen die verschiedenen Elemente der vorliegenden Erfindung mit Bezugszeichen bezeichnet werden, und anhand derer die Erfindung erläutert wird, um einem Fachmann auf dem Gebiet die Ausbildung und Verwendung der Erfindung zu ermöglichen. Es wird darauf hingewiesen, daß die nachstehende Beschreibung nur beispielhaft für die Grundlagen der vorliegenden Erfindung zu verstehen ist, und nicht als die Erfindung einschränkend anzusehen ist.

Das endgültige Ziel der vorliegenden Erfindung besteht in der Bereitstellung eines Verfahrens und einer Einrichtung zum Erzeugen, Positionieren und Manipulieren einer Abfallmatte und möglicher anderer "verankerter" und "unverankerter" virtueller Szenenelemente in der virtuellen Umgebung, die ein Modell der realen Szene enthält. Durch Definition räumlicher Beziehungen zwischen Objekten innerhalb der virtuellen Umgebung und der realen Szene können Bilder, die von Fernsehkameras aufgenommen werden, und die Objekte enthalten, die nicht in dem vereinigten Ausgangsbild enthalten sein sollen, so manipuliert werden, daß die Objekte nicht in dem endgültigen vereinigten Ausgangsbild auftauchen.

Was möglicherweise aus der Erläuterung am Eingang nicht deutlich geworden ist, sich jedoch bei der Verwendung einer Abfallmatte ergibt, ist die Tatsache, daß die Erzeugung und die Anordnung der Abfallmatte eine Schwierigkeit darstellt. Genauer gesagt entsteht die Schwierigkeit dann, wenn sich die Position und Orientierung der realen Szene in Bezug auf die virtuelle Umgebung ändern muß, oder wenn die Position der Fernsehkamera geändert werden muß. Das Problem besteht darin, daß die Abfallmatte normalerweise von dem Computerbildgenerator (einem Graphik-Supercomputer) in Echtzeit erzeugt wird. Gleichzeitig erzeugt dieselbe Computerbildgenerator-Graphikmaschine den Rest der virtuellen Umgebung.

Die ersten erfindungsgemäßen Grundlagen der vorliegenden Erfindung betreffen Verfahren zur Erzeugung einer Abfallmatte. Im Zusammenhang damit wird erläutert, wie die Vereinigung realer und virtueller Szeneelemente durch die neue Abfallmatte erleichtert wird, die nunmehr durch die verschiedenen Verfahren gemäß der vorliegenden Erfindung erzeugt werden kann.

Die momentan bevorzugten sowie die alternativen Verfahren gemäß der vorliegenden Erfindung zur Erzeugung einer Abfallmatte machen es erforderlich, daß der Anfangsschritt durchgeführt wird, in welchem ein Modell der realen Szene (der blauen Bühne) innerhalb der virtuellen Umgebung erzeugt wird, die in einer virtuellen Datenbank in dem Computerbildgenerator gespeichert ist. An diesem Punkt trennen sich die Verfahren. Bevor die Ausführungsform der vorliegenden Erfindung näher erläutert werden, werden zunächst jedoch einige Eingangsfragen angesprochen.

Zunächst einmal ist es wesentlich festzuhalten, daß im Gegensatz zu den meisten virtuellen Objekten innerhalb der virtuellen Umgebung die Abfallmatte eine bestimmte, feste (verankerte) Position in Bezug auf die reale Szene aufrechterhalten muß. Daher muß die Abfallmatte an einer Position in Bezug auf die reale Szene verankert werden, unabhängig davon, wie die virtuelle Umgebung oder darin befindliche virtuelle Objekte sich in Bezug auf die reale Szene bewegen. Daher gibt es eine erste Klasse virtueller Objekte, die in Bezug auf das Modell der realen Szene ortsveränderlich sind, wogegen eine zweite Klasse virtueller Objekte immer in einer festen Position relativ hierzu verankert sein muß. Wie voranstehend erläutert gehört die Abfallmatte zur zweiten Klasse virtueller Objekte.

Ein Regisseur kann es beispielsweise für wünschenswert halten, die reale Gruppe an einen unterschiedlichen Ort innerhalb der virtuellen Umgebung "zu bewegen". Es sollte deutlich geworden sein, daß das, was tatsächlich passiert, die Bewegung des effektiven Orts der Fernsehkamera und der blauen Bühne innerhalb der virtuellen Gruppe ist. Selbstverständlich wird dieselbe reale Szene mit ihren blauen Schirmen immer noch verwendet. Daher muß sich die Abfallmatte zusammen mit der sich ändernden virtuellen Position der Fernsehkamera bewegen, da keine Änderung aufgetreten ist. Die reale Szene wird einfach "bewegt", in Bezug auf die virtuelle Umgebung (in der virtuellen Umgebung). Noch einfacher ausgedrückt muß sich die Abfallmatte im wesentlichen an das Modell der realen Szene (der blauen Bühne) "anhängen", und in Bezug hierauf verankert bleiben, unabhängig davon, wohin der Ort der realen Szene innerhalb der virtuellen Umgebung bewegt wird. Durch Verankerung der Abfallmatte an dem Modell der realen Szene kann ein Regisseur das Modell frei innerhalb der virtuellen Umgebung bewegen, ohne dann die Abfallmatte erneut positionieren zu müssen. Die Abfallmatte wurde bereits zusammen mit dem Modell bewegt.

Dieses Konzept wird möglicherweise unter Verwendung der folgenden Figur noch deutlicher. Fig. 1 zeigt eine virtuelle Umgebung, die insgesamt mit 10 bezeichnet ist. Die virtuelle Umgebung 10 ist die Kombination einer virtuellen Szene und einer realen Szene. Um zu verstehen, wo sich die virtuelle Szene und die reale Szene in Bezug auf diese virtuelle Umgebung 10 befinden, wird nunmehr festgelegt, daß innerhalb des Speichers eines Computerbildgenerators diese virtuelle Umgebung 10 mathematisch definiert ist. Beispielsweise besteht die gesamte virtuelle Umgebung 10 aus zwei Räumen 12 und 14, mit einem Gehweg 16 dazwischen. Nunmehr wird angenommen, daß zumindest eine Fernsehkamera 18 so aufgestellt ist, daß sie Bilder des Inneren des Raums 12 aufnimmt. Kritisch in Bezug auf das Verständnis ist die Tatsache, daß die reale Szene nur ein Raum ist, jedoch die einzelne reale Szene dazu verwendet wird, den gesamten Raum innerhalb der virtuellen Umgebung 10 zu repräsentieren. Während die Fernsehkamera 18 tatsächlich vor dem einzigen realen Raum (der blauen Bühne und Dekoration) aufgestellt ist, ist die virtuelle Umgebung 10 größer.

Die Fernsehkamera 18 kann frei Ereignisse aufzeichnen, die innerhalb der realen Szene auftreten. Momentan wird die reale Szene dazu verwendet, den Raum 12 zu repräsentieren. Jeglichen realen Objekte werden daher als Dekoration auf der realen Szene aufgestellt. Beispielhaft ist das reale Objekt 36 im Raum 12 dargestellt. Weiterhin "sieht" die Fernsehkamera 18 eine Person 28, die in dem Raum 12 steht oder durch diesen hindurchgeht. Die Fernsehkamera 18 "sieht" das virtuelle Objekt 20 (durch gestrichelte Linien dargestellt) jedoch nicht, da es nicht in der realen Szene 12 vorhanden ist. Das virtuelle Objekt 20 wird durch einen Computerbildgenerator 22 erzeugt. Das virtuelle Objekt 20 wird dann einem vereinigten Ausgangsbild 24 durch das Bildüberlagerungsgerät 26 hinzugefügt. In dem vereinigten Ausgangsbild 24 sind die Person 28, das reale Objekt 36 und das virtuelle Objekt 20 in einem einzigen vereinigten Bild 24 ohne Randübergänge vereinigt.

Nunmehr wird angenommen, daß die Person 28 dabei betrachtet wird, daß sie aus dem Raum 12 herausgeht, durch die Tür 30 austritt, entlang dem Gehweg 16 geht, und in den Raum 14 durch die Tür 32 eintritt. Es wird ins Gedächtnis zurückgerufen, daß die gesamte reale Szene aus einem einzelnen Raum besteht, und dennoch die virtuelle Umgebung 10 größer (oder kleiner) ist. Es wird angenommen, daß bei diesem Beispiel der Computerbildgenerator 22 ebenfalls Hintergrundszenen für die unterschiedlichen Bereiche der virtuellen Umgebung 10 zur Verfügung stellen kann, die von der Person 28 besucht wird. Die Wände und der Boden der realen Szene bestehen aus blauen Schirmen, so daß durch den Computerbildgenerator 22 der Hintergrund hinzugefügt werden kann.

Eine weitere Einzelheit besteht darin, daß die reale Szene, obwohl sie begrenzte reale Abmessungen hat, auf dem größeren virtuellen Raum 14 repräsentiert. Wie später noch genauer erläutert wird, wird der mathematische Ort der Fernsehkamera in der virtuellen Umgebung 10 so bewegt, daß die Fernsehkamera 18 glaubt, daß sie Videobilder aufnimmt, die innerhalb des Raums 14 entstehen. Virtuelle Objekte, die dem Raum 14 durch den Computerbildgenerator 22 hinzugefügt werden, treten dann als "reale" Objekte in dem vereinigten Ausgangsbild 24 des Raums 14 auf.

Der Zweck der detaillierten Beschreibung, in welcher die Beziehung die reale Szene zur virtuellen Umgebung steht, besteht darin, zu zeigen, wie die vorliegende Erfindung nunmehr den voranstehend geschilderten Vorgang wesentlich erleichtert, als dies momentan erzielt werden kann. Eine der Schwierigkeiten, die bei dem voranstehend vereinfacht geschilderten Vorgang auftreten, besteht darin, daß - wie bereits erwähnt - die Bühnenbeleuchtung oberhalb der realen Szene häufig innerhalb des Gesichtsfeldes der Fernsehkamera 18 liegt. Darüber hinaus werden auch reale Objekte an beiden Seiten der Wände des Raums 12, oder die durch die Tür 30 erfaßt werden können, von der Fernsehkamera 18 gesehen. Die vorliegende Erfindung stellt ein Verfahren und eine Einrichtung zur "virtuellen" Abdeckung dessen dar, was die Fernsehkamera 18 nicht sehen soll. Dies wird durch die Verankerung der Abfallmatte an dem Modell der realen Szene ermöglicht.

In Bezug auf die momentan bevorzugte Ausführungsform der vorliegenden Erfindung ist die Verwirklichung des Konzepts, daß der Ausschnitt der Abfallmatte ein "Negativbild" der blauen Bühne ist, erheblich einfacher als beim Stand der Technik. Statt Abfallmattenpolygone zu erzeugen, welche an Ränder des Modells der blauen Bühne anstoßen, wird die vorliegende Ausführungsform dadurch verwirklicht, daß innerhalb einer virtuellen Abfallmatte alle Objekte umgeben oder eingeschlossen werden, die sich in der virtuellen Umgebung finden, einschließlich des Modells der realen Szene. Dadurch, daß dann der Abfallmatte eine bestimmte Farbe zugeordnet wird, die für die verwendeten Bildüberlagerungsgeräte geeignet ist, wird diese Farbe immer durch Bilder ersetzt, die von dem Computerbildgenerator erzeugt werden, in dem endgültigen vereinigten Ausgangsbild.

Berücksichtigt man diese Zusammenfassung, so läuft der Vorgang folgendermaßen ab. Der erste Schritt in dem Verfahren, wie es in dem Flußdiagramm von Fig. 2 dargestellt ist, besteht in der Modellierung der realen Szene (also der blauen Bühne) innerhalb des Computerbildgenerators. Dies wird dadurch erzielt, daß die Wände, der Boden und die Decke, falls vorhanden, sämtlicher Elemente der blauen Bühne als mehrere Polygone erzeugt werden, die so zusammen gruppiert werden, daß sie als einzelne Einheit bewegt werden können. Dieses Modell der blauen Bühne wird unter Verwendung irgendeiner geeigneten dreidimensionalen Objekterzeugungssoftware aufgebaut. Das Modell ist dann als Digitaldaten vorhanden, welche die blaue Bühne repräsentieren.

Es wird darauf hingewiesen, daß die Modellierung der blauen Bühne häufig so erfolgt, daß der Regisseur den Ort der realen Szene innerhalb der virtuellen Umgebung einfacher erkennen kann. Das Modell ist darüber hinaus im allgemeinen nicht schwierig aufzubauen, da die reale Szene normalerweise mehrere ebene oder ansonsten unkomplizierte Wände, Böden und Decken umfaßt.

Dem Polygonmodell der blauen Bühne wird ebenfalls eine Farbe zugeordnet. Den Polygonen wird vorzugsweise die Farbe schwarz zugeordnet. Wie Fachleuten auf diesem Gebiet bekannt ist, wird diese Farbe so festgelegt, daß den Polygonen eine geeigneter Rot-/Grün-/Blau-Wert (RGB-Wert; RGB = 0, 0, 0) zugeordnet wird. Vor der Fortsetzung der Erläuterung wird darauf hingewiesen, daß Bezugnahmen auf die Farbe normalerweise von dem verwendeten Bildüberlagerungsgerät abhängen. Zwar verwendet diese alternative Ausführungsform die Farben schwarz und weiß, jedoch können diese Farben durch irgendwelchen anderen Farben ersetzt werden, welche es dem Bildüberlagerungsgerät ermöglichen, so zu arbeiten, wie dies von der vorliegenden Erfindung gefordert wird. Im allgemeinen sind jedoch die ausgewählten Farben Gegensätze oder Negative voneinander, was sich einfach verstehen läßt, wenn man schwarz und weiß verwendet.

Der nächste Schritt in dem in dem Flußdiagramm von Fig. 2 dargestellten Vorgang ist die Modellierung eines großen Kubus aus Polygonen. Zur Vereinfachung wurde die Form eines Kubus gewählt, jedoch lassen sich andere dreidimensionale Formen ebenfalls auswählen, sie sollten jedoch so einfach wie möglich sein. Der Kubus sollte so groß sein, daß in ihm die gesamte reale Bühne enthalten ist, und zusätzlich jeder Bereich, in welchem sich die Fernsehkamera bewegen kann. Im wesentlichen umgibt der Kubus normalerweise die gesamte reale Szene.

Der Kubus wird dann als weiß festgelegt. Fachleuten auf diesem Gebiet ist deutlich, daß dies dadurch erzielt wird, daß geeignete RGB-Werte zugeordnet werden (RGB = 255, 255, 255). Dieser große Kubus ist die Abfallmatte. Der kritische Schritt beim Vorgang der Erzeugung einer universellen Abfallmatte besteht darin, daß der Computerbildgenerator weiß erzeugen muß, abgesehen von dort, wo die Farbe schwarz des Bühnenmodells (der realen Szene) dies durch schwarz abdeckt. Wesentlich für die Erfindung ist die Erkenntnis, daß die überlebenden weißen Pixel daher die Form des Abfallmattenausschnittes angeben. Unterschiedlich ausgedrückt wird der Abfallmattenausschnitt dadurch erzeugt, daß das Modell der realen Szene von der momentanen Position der Kamera aus erzeugt wird. Das Modell der realen Szene schneidet daher ein "Loch" in die Abfallmatte, und läßt einen überlebenden Abfallmattenausschnitt übrig, der das Negativ des Modells der realen Szene darstellt.

Das voranstehende Konzept ist in Fig. 3 dargestellt. Fig. 3 zeigt eine blaue Bühne 40, eine Fernsehkamera 42, Linien 44, die das Gesichtsfeld der Fernsehkamera 42 angeben, und die Außenkontur 46 eines weißen Kastens (Kubus) (unglücklicherweise, jedoch unvermeidlich durch schwarze Linien dargestellt). Der weiße Kasten ist die Abfallmatte 46. Es wird darauf hingewiesen, daß die in Fig. 3 dargestellte Ansicht eine Aufsicht auf eine virtuelle Szene ist.

In der Praxis wird die Abfallmatte normalerweise durch einen separaten Kanal des Computerbildgenerators erzeugt. Versucht man, die Kosten zu senken, und insbesondere bei einem Computerbildgenerator, der nur einen einzelnen Ausgangskanal aufweist, so ist es jedoch möglich, die Abfallmatte in einer kostengünstigen Workstation zu erzeugen, die normalerweise einen erheblich geringeren Kostenaufwand mit sich bringt als ein zweiter Bildgeneratorkanal.

Bevor eine alternative Ausführungsform eines Verfahrens zur Erzeugung der Abfallmatte erläutert wird, wird ein wesentlicher Vorteil erläutert, der darin besteht, daß virtuelle Objekte an anderen virtuellen Objekten verankert werden können. Die Fähigkeit, eine Abfallmatte zu erzeugen, die an einem Ort relativ zur realen Szene verankert ist, und die Möglichkeit, andere virtuelle Objekte zu erzeugen, die nicht an der realen Szene verankert sind, hat wesentliche Auswirkungen. Die vorliegende Erfindung stellt in vorteilhafter Weise die Fähigkeit zur Verfügung, die Bewegung virtueller Objekte handzuhaben, wenn diese virtuellen Objekte Abfallmatten und andere Objekte umfassen. Daher umfaßt die vorliegende Erfindung die Fähigkeit, virtuelle Objekte "zu gruppieren" und "aus der Gruppenzuordnung zu lösen". Es wird beispielsweise ein Satz virtueller Objekte betrachtet, die so zusammen gruppiert wurden, daß sie als einzelnes Objekt innerhalb der virtuellen Umgebung bewegt werden können. Als Beispiel wird angenommen, daß ein erstes virtuelles Objekt in Bezug auf das Modell der realen Szene bewegt werden muß, an welchem es verankert ist. Das erste virtuelle Objekt wird aus der Gruppenzuordnung zum Modell der realen Szene gelöst, und dann in Bezug hierauf anders angeordnet. Das erste virtuelle Objekt wird dann erneut mit dem Modell der realen Szene zu einer Gruppe vereinigt, so daß das Modell innerhalb der virtuellen Umgebung woanders angeordnet werden kann, ohne eine Neueinstellung in Bezug auf die Relativpositionen des ersten virtuellen Objekts durchführen zu müssen.

Zwar arbeitet die momentan bevorzugte Ausführungsform sehr gut, jedoch ist auch eine alternative Ausführungsform dazu befähigt, die Vorteile der vorliegenden Erfindung zu erreichen. Diese alternative Ausführungsform wird dadurch realisiert, daß der Kubus entfernt wird, der sämtliche Objekte innerhalb der virtuellen Umgebung umgibt. Anders ausgedrückt nutzt die alternative Ausführungsform in vorteilhafter Weise das Konzept, einfach eine "Abfallmatten"-Farbe als Hintergrundfarbe der Graphikmaschine zuzuordnen, welche die Abfallmatte erzeugt. Auf diese Weise muß die Umhüllung gemäß der voranstehenden alternativen Ausführungsform nicht erzeugt werden. Immer wenn die Farbe, die dem Hintergrund der Graphikmaschine zugeordnet ist, welche die Abfallmatte erzeugt, in dem Bildüberlagerungsgerät sichtbar ist, so wird sie durch Bilder ersetzt, die von dem Computerbildgenerator zur Verfügung gestellt werden. Die alternative Ausführungsform ist in dem Flußdiagramm von Fig. 4 dargestellt.

Bei dieser alternativen Ausführungsform kann ein Abfallmattenerzeugungssystem aus einer im Netzwerk arbeitenden Workstation unter Windows NT bestehen, die mit der Fähigkeit versehen ist, eine dreidimensionale Graphikbeschleunigung durchzuführen. Wahlweise kann das System auch mit einem kostengünstigen Rahmenpuffer versehen sein, welcher eine Größenänderung von Bilddaten von Auflösungen aus, die niedriger als bei NTSC oder PAL sind, auf Standardauflösungen von NTSC oder PAL durchführen kann.

Bei der momentan bevorzugten oder der alternativen Ausführungsform wird daher Fernsehkameraausrichtungsinformation, welche die XYZ-Positionsinformation der Kamera, die Fernsehkameraorientierung (Verschwenkung, Kippen und Rollen), sowie den Objektivzoomzustand der Fernsehkamera umfaßt, an eine Workstation übertragen (beispielsweise die Windows NT-Workstation). Diese Information wird typischerweise über RS422, über Ethernet oder eine andere vergleichsweise schnelle Datenkommunikationsverbindung übertragen. Ein dreidimensionales Echtzeitgraphikprogramm empfängt die Fernsehkamerainformation, und erzeugt dann eine Darstellungsfenstermatrix aus den eingegebenen Fernsehkameradaten, durch Verfahren, die Fachleuten auf diesem Gebiet bekannt sind.

Der nächste Schritt besteht darin, daß das Modell der realen Szene in das sich ergebende Darstellungsfenster eingebaut wird. Das Modell besteht aus der schwarzfarbigen "blauen Bühne" gemäß Fig. 4, abgesehen davon, daß statt des weißen Kubus 46 die Hintergrundfarbe Weiß in der virtuellen Umgebung zugeordnet ist. Da das Modell relativ einfach ist, erfordert es keine Beleuchtungsberechnungen, die Vorgabe einer Oberflächenbeschaffenheit, Anti-Aliasing oder Z-Pufferbereichssortierung, wie dies erforderlich wäre, wenn das Modell lebensecht aussehen sollte.

Sobald das Modell durch den Computerbildgenerator erzeugt wurde, besteht der nächste Schritt darin, die Information an einen Rahmenpuffer in der momentan bevorzugten Ausführungsform über einen Abtastwandler zu übertragen. Bei der Alternative kann es direkt in einen Rahmenpufferspeicher kopiert werden.

Wahlweise führt, wenn die Abmessungen des Bildes geändert werden müssen, damit es zu Standard-Videoauflösungen paßt, der Rahmenpuffer dann je nach Erfordernis zusätzliche Verarbeitungen durch.

Das Ausgangssignal von dem Rahmenpuffer ist ein Schwarz-Weiß-Bild, welches bei der momentan bevorzugten Ausführungsform der Erfindung einem Matte-Kanal eines Chroma-Key-Bild überlagerungsgeräts als Abfallmattensignal übertragen wird.

Die Schritte der Erzeugung und Anzeige des Bildes werden bei einer momentan bevorzugten Rate von zumindest 30 Rahmen pro Sekunde oder höher ständig wiederholt, um ein im wesentlichen flimmerfreies Bild zu erzeugen.

Allgemein sind Engstellen bei der Erzeugung des vereinigten Ausgangsbildes im allgemeinen von der Anzahl und Komplexität von Polygonen abhängig, sowie der Anzahl an Pixeln, die gezeichnet werden müssen. Die alternative Ausführungsform besteht im wesentlichen aus einfacheren Modellen mit weniger komplizierten und/oder weniger Polygonen. Indem zuerst die Erzeugung in einem kleinen Fenster erfolgt, und dann spezielle Hardware dazu verwendet wird, die Bilder "aufzublasen", um einen Computeranzeigebildschirm auszufüllen, wird das Verfahren zu einem Verfahren mit relativ geringeren Kosten zur Erzeugung des vereinigten Ausgangsbildes.

Nachdem die Verfahren zur Erzeugung der Abfallmatte erläutert wurden, ist es nützlich, die unterschiedlichen Klassen virtueller Objekte genauer zu betrachten. Im einzelnen erzielt die zweite Klasse virtueller Objekte jene Elemente, die an der blauen Bühne "verankert" werden sollten. Verankerte virtuelle Szeneelemente umfassen (nicht einschränkend) folgende:

- Die Hauptabfallmatte (ob sie nun zweidimensional ist, oder die dreidimensionale Hüllenanordnung).
- Jegliche zusätzliche Abfallmattenpolygone, die zum Verbergen unerwünschter realer Gegenstände verwendet werden, die innerhalb der Szene herunterhängen (um einen Beleuchtungskörper zu verdecken, der in dem Bereich der blauen Bühne herunterhängt).
- Ein Modell des Bodens der realen Szene, das als momentane Visualisierungshilfe bei der Planung von Positionen und Winkeln der Fernsehkamera verwendet wird, durch Betrachtung, wo sich der Boden der blauen Bühne in Bezug auf die virtuelle Umgebung befindet.
- Andere Kalibrierungsmarkierungen, die dazu verwendet werden können, bestimmte Orte auf der realen Szene anzuzeigen. Es könnten beispielsweise verankerte Markierungen dazu verwendet werden, bekannte Punkte bei einer Fernsehkamerakalibrierung anzuzeigen, so daß der Benutzer der Fernsehkamera sehen kann, daß sich die Markierungen an den korrekten Orten in Bezug auf die reale Szene befinden.

In Bezug auf die Einzelheiten der Implementierung wird die voranstehend geschilderte, vorliegende Erfindung unter Verwendung des in Fig. 5 dargestellten Systems verwirklicht. Die Elemente der Erfindung umfassen daher eine Fernsehkamera 40, eine Fernsehkamera-Ausrichtungsverfolgungsvorrichtung 42, eine blaue Bühne 44, einen Steuercomputer 46, auf dem Steuersoftware läuft, einen Graphik-Supercomputer 48, eine Videoverzögerungseinheit 50, und ein Bildüberlagerungsgerät 52.

Über den Betrieb dieser Systeme wurde bereits ausgesagt, daß dieser mit weiteren Einzelheiten in zwei vorher eingereichten Patentanmeldungen erläutert ist. Allerdings ist eine kurze Erläuterung des in Fig. 5 dargestellten Systems dazu nützlich, die vorliegende Erfindung zu verstehen.

Die Fernsehkamera 40 ist mit der Fernsehkamera- Ausrichtungsverfolgungsvorrichtung 42 verbunden, so daß Verschwenkung und Kippen, sowie Zoom und Fokussierung eines Objektivs der Fernsehkamera 40 überwacht werden können. Auf diese Weise kann das System den Teil der blauen Bühne 44 wissen, der von der Fernsehkamera 40 gesehen wird, und auch den Winkel, aus welchem dies geschieht. Auf diese Weise "sehen" der Graphik-Supercomputer 48 und die Fernsehkamera 40 ständig denselben Gegenstand auf der blauen Bühne 44.

Dadurch, daß man ermöglicht, daß jede Bewegung der Fernsehkamera 40 in Positionsinformation für den Graphik- Supercomputer 48 umgewandelt wird, kann jeder Aspekt der virtuellen Szene so neu geschaffen werden, daß diese exakt so erscheint, als würde sie durch die Fernsehkamera 40 betrachtet.

Die künstliche Erzeugung der virtuellen Umgebung auf überzeugende Weise erfordert die Fähigkeit, die virtuellen Objekte mit einer vorhersehbaren und stabilen Rate zu aktualisieren. Um eine glatte, kontinuierliche Folge von Bildern darzustellen führt der Graphik-Supercomputer 48 eine erneute Erzeugung eines vollständigen neuen Bildes der virtuellen Objekte vorzugsweise mit einer Rate von 30 pro Sekunde durch (mit derselben Rate, bei welcher eine Sende- Fernsehkamera normalerweise arbeitet). Dies ermöglicht es, daß virtuelle Objekte und Livedarsteller mit derselben Geschwindigkeit oder in Echtzeit wechselwirken, wenn sie in dem Bildüberlagerungsgerät 52 überlagert werden. Es ist unbedingt erforderlich, daß Bilder und entsprechende Oberflächenbeschaffenheiten und Bewegungen bei einer verläßlichen Senderatengeschwindigkeit erzeugt werden, ohne Schwankungen oder das Überschwingen eines Rahmens.

Das Bildüberlagerungsgerät 52 ermöglicht die Überlagerung von Digitalbildern auf solche Weise, daß ein einzelnes vereinigtes Bild geschaffen wird. Hintergrundszenen, mit Leben versehene virtuelle Elemente und Objekte, und Livedarsteller werden randlos zu einem überzeugenden Sendebild zusammengemischt.

Ein Beispiel dafür, wie das System von Fig. 5 arbeitet, ist daher folgendermaßen. Zuerst wird ein reales Objekt 54 innerhalb des Gesichtsfelds der Fernsehkamera 40 und auf der blauen Bühne 44 angeordnet. Die Fernsehkamera 40 nimmt Bilder des realen Objekts 54 auf, und überträgt die Bilder vorzugsweise mit einer Rate von 30 Rahmen pro Sekunde an eine Videoverzögerungseinheit 50. Die Videoverzögerungseinheit 50 wird deswegen eingesetzt, da Milliarden an Computergraphikoperationen zur Erzeugung eines einzelnen Bildes erforderlich sind. Wenn ein Bild erzeugt wird, ist eine sehr kurze Verzögerung zwischen dem Herausgelangen des Videos aus der Fernsehkamera 40 und dem dreidimensionalen virtuellen Bild vorhanden, welches von dem Graphik- Supercomputer 48 erzeugt wird. Um diese Verzögerung zu korrigieren werden Video- und Audioverzögerungen eingesetzt, um beide Gruppen von Bildern zu synchronisieren, wenn sie dem Bildüberlagerungsgerät 52 zugeführt werden. Die Länge der Verzögerung beruht auf der Fernsehkamera-Aus richtungsüberwachungsvorrichtung 42 und den Fähigkeiten des Graphik-Supercomputers 48, und kann sich bezüglich der Rahmen pro Sekunde von System zu System ändern.

Die Fernsehkamera-Ausrichtungsüberwachungsvorrichtung 42 schickt Information an die in dem Steuercomputer 46 laufende Steuersoftware. Information von dem Steuercomputer 46 ermöglicht es dem Graphik-Supercomputer 48 zu wissen, was die Fernsehkamera 40 "sieht", und ermöglicht ihm daher, den gesamten virtuellen Hintergrund und die Objekte zu erzeugen, die erforderlich sind, und an den korrekten Orten in Bezug auf das reale Objekt 54.

Schließlich vereinigt das Bildüberlagerungsgerät die Schichten der Digitalbilder, die von dem Graphik- Supercomputer 48 erzeugt werden, mit den verzögerten Videobildern von der Fernsehkamera 40, um ein endgültiges vereinigtes Ausgangsbild 56 zu erzeugen.

Zum Verständnis der vorliegenden Erfindung ist wesentlich, zu erkennen, daß sie in dem Steuercomputer 46 und dem Graphik- Supercomputer 48 und der dort laufenden Software oder als Teil von diesem verwirklicht wird. Es sollte jedoch deutlich geworden sein, daß dies nicht als einschränkend zu verstehen ist, da die Einzelheiten der Umsetzung in die Praxis geändert werden können, einschließlich der Tatsache, wo Bauteile angeordnet sind.

Es gibt andere Einzelheiten für die Realisierung, die ebenfalls wesentlich zu wissen sind. Beispielsweise ist die momentan bevorzugte Vorgehensweise zur Erzielung des Verankerungsmerkmals folgendermaßen. Zuerst wird der Ort jeder Fernsehkamera in der realen Szene von einer Fernsehkamera-Ausrichtungsüberwachungsvorrichtung gemessen. Dieser Ort und diese Orientierung werden in Bezug auf einen festen Punkt in der realen Szene gemessen, und wird als Studioursprung bezeichnet. In Bezug auf die virtuelle Szene ermöglicht es der Steuercomputer 46 einem Benutzer des Systems, einen Offset zwischen dem Studioursprung und dem Ursprung der virtuellen Szene zu steuern, der in einer Datenbank gespeichert ist. Weiterhin wird eine einstellbare Orientierung der virtuellen Szene zur Verfügung gestellt, so daß diese vom Benutzer eingegebenen Werte der Position und Ausrichtung sämtlicher virtuellen Kameras hinzugefügt werden können, die von den Fernsehkamera- Ausrichtungsverfolgungsgeräten gesteuert werden, wodurch die virtuellen Kameras innerhalb der virtuellen Datenbank wirksam bewegt werden.

Würden keine weiteren Schritte unternommen, würde dies zu einer Bewegung sämtlicher virtuellen Objekte in Bezug auf die Fernsehkameras führen, unabhängig davon, ob die virtuellen Objekte verankert sind oder nicht. Daher wird eine entsprechende Einstellung bei den Positionen und Ausrichtungen aller verankerter virtueller Objekte durchgeführt, was dazu führt, daß die virtuellen Kameras und sämtliche unverankerten virtuellen Objekte als feste Gruppe (Anordnung) in Bezug aufeinander bewegt werden. Die Position der verankerten virtuellen Objekte in Bezug auf die Kameras (virtuell und real) wird daher beibehalten, während der Rest der virtuellen Umgebung eingestellt wird, um die gewünschte Ausrichtung zu erzielen.

Die Steuercomputersoftware kann darüber hinaus sämtliche verankerten Objekte auswählen, und sie zusammen bewegen, unter Verwendung irgendwelcher geeigneter graphischer Benutzerschnittstellengeräte, beispielsweise einer Maus.

Es wird ebenfalls darauf hingewiesen, daß die Steuercomputersoftware auch getrennte Einstellungen der Positionen und Orientierungen der verankerten virtuellen Objekte zur Verfügung stellt. Auf diese Weise können sie je nach Wunsch in Bezug aufeinander neu angeordnet werden (und daher auch in Beziehung auf die reale Szene).

Es wird darauf hingewiesen, daß die voranstehend geschilderten Anordnungen nur den Einsatz der Grundlagen der vorliegenden Erfindung erläutern sollen. Fachleuten auf diesem Gebiet werden zahlreiche Abänderungen und alternative Ausführungsformen auffallen, ohne daß vom Wesen und Umfang der vorliegenden Erfindung abgewiesen wird, die sich aus der Gesamtheit der vorliegenden Anmeldeunterlagen ergeben und von den beigefügten Patentansprüchen umfaßt sein sollen.

Claims

1. Verfahren zur Erzeugung einer Abfallmatte, die ungewünschte Objekte maskiert, die von einer Fernsehkamera wahrgenommen werden, die Videobilder einer realen Szene überträgt, wobei die Videobilder mit virtuellen Bildern vereinigt werden, um hierdurch ein vereinigtes Ausgangsbild ohne die ungewünschten Objekte zu erzeugen, mit folgenden Schritten:

(1) Modellierung der realen Szene in einer virtuellen Umgebung;
(2) Erzeugung einer virtuellen Abfallmattenumschließung in der virtuellen Umgebung, die das Modell der realen Szene umschließt; und
(3) Erzeugung des Modells der realen Szene aus der momentanen Position der Fernsehkamera, um hierdurch das Modell der realen Szene zu entfernen, so daß die sich ergebende Form der Abfallmatte ein Negativbild des Modells der realen Szene darstellt.

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß weiterhin der Schritt vorgesehen ist, die Abfallmatte und das Modell der realen Szene an einer Relativposition der Fernsehkamera zu verankern, so daß die Abfallmatte ständig in derselben Relativposition in Bezug auf das Modell der realen Szene und die Fernsehkamera angeordnet ist, unabhängig davon, wo die Fernsehkamera und das Modell der realen Szene innerhalb der virtuellen Umgebung erneut angeordnet werden, oder in Bezug auf eine ursprüngliche Orientierung erneut angeordnet werden.

3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, innerhalb der virtuellen Abfallmattenumschließung alle virtuellen Objekte einzuschließen, die innerhalb einer Datenbank für virtuelle Objekte definiert sind, welche virtuellen Objekten entspricht, die innerhalb der virtuellen Umgebung auftauchen können.

4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß folgende weitere Schritte vorgesehen sind:

(1) Erzeugung des Modells der realen Szene unter Verwendung zumindest eines Polygons, das in der virtuellen Umgebung definiert ist; und
(2) Erzeugung der virtuellen Abfallmattenumschließung unter Verwendung mehrerer Polygone, die in der virtuellen Umgebung definiert sind.

5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, die mehreren Polygone zu verankern, welche die reale Szene definieren, so daß sie als einzelne Einheit manipuliert werden können.

6. Verfahren nach Anspruch 4, dadurch gekennzeichnet, daß folgende weitere Schritte vorgesehen sind:

(1) Zuordnung einer ersten Farbe zu dem zumindest einen Polygon, welches die reale Szene definiert; und
(2) Zuordnung einer zweiten Farbe zu den mehreren Polygonen, welche die virtuelle Abfallmattenhülle definieren.

7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß der weitere Schritt vorgesehen ist, eine zweite Farbe für die Abfallmatte entsprechend einem Bildüberlagerungsgerät auszuwählen, der die zweite Farbe zum Maskieren ungewünschter Objekte verwendet, die von der Fernsehkamera gesehen werden, und die erste Farbe von dem Bildüberlagerungsgerät dazu verwendet wird, Bereiche des vereinigten Ausgangsbildes darzustellen, an welchen Videosignale von der Fernsehkamera ankommen sollen.

8. Verfahren nach Anspruch 7, dadurch gekennzeichnet, daß folgende Schritte vorgesehen sind:

(1) der ersten Farbe wird ein Rot/Grün/Blau-(RGB-)Wert weiß zugeordnet; und
(2) der zweiten Farbe wird ein RGB-Wert schwarz zugeordnet.

9. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, in der virtuellen Umgebung die Abfallmatte aus der virtuellen Abfallmattenhülle zu erzeugen, durch Erzeugung der ersten Farbe überall innerhalb der Abfallmatte mit Ausnahme dort, wo die Pixel der zweiten Farbe des Modells der realen Szene die Abfallmatte abdecken.

10. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, ein Benutzer-interaktives Verfahren zum Manipulieren einer Position und einer Orientierung einer virtuellen Kamera und der virtuellen Modelle aller verankerten Objekte bereitzustellen, um hierdurch die verankerten Objekte an gewünschten Relativorten festzuhalten.

11. Verfahren nach Anspruch 2, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, zumindest ein virtuelles Objekt zu erzeugen, welches nicht an einer Position in Bezug auf das Modell der realen Szene verankert ist, so daß die Bewegung des Modells der realen Szene innerhalb der virtuellen Umgebung nicht zu einer entsprechenden Relativbewegung des zumindest einen virtuellen Objektes führt.

12. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, virtuelle Bilder zu liefern, um Bereiche des vereinigten Ausgangsbildes zu ersetzen, welche die Abfallmatte zeigen.

13. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, zumindest ein neues Abfallmattenpolygon getrennt von der Abfallmatte zu erzeugen, um hierdurch zumindest ein ungewünschtes Objekt zu maskieren, welches vollständig innerhalb der Grenzen des Modells der realen Szene liegt.

14. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, zumindest ein Objekt innerhalb der virtuellen Umgebung zu erzeugen, welches an der realen Szene verankert ist.

15. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, ein Benutzer-interaktives Verfahren zum Manipulieren einer Position und einer Orientierung des Modells der realen Szene in Bezug auf die virtuelle Umgebung zur Verfügung zu stellen.

16. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, mehrere Objekte innerhalb der virtuellen Umgebung zu erzeugen, die an der realen Szene verankert sind.

17. Verfahren nach Anspruch 16, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, ein Benutzer-interaktives Verfahren zum Manipulieren einer Position und einer Orientierung jedes der mehreren Objekte in Bezug auf die mehreren Objekte zur Verfügung zu stellen, welche miteinander verankert bleiben.

18. Verfahren zur Erzeugung einer Abfallmatte, die ungewünschte Objekte maskiert, die von einer Fernsehkamera gesehen werden, welche Videobilder einer realen Szene überträgt, wobei die Videobilder mit virtuellen Bildern vereinigt werden, um hierdurch ein vereinigtes Ausgangsbild ohne die ungewünschten Objekte zu erzeugen, mit folgenden Schritten:

(1) Modellierung der realen Szene in einer virtuellen Umgebung;
(2) Zuordnung einer ersten Farbe zum Modell der realen Szene;
(3) Zuordnung einer zweiten Farbe als Hintergrundfarbe einer Graphikmaschine, welche die Abfallmatte erzeugt; und
(4) keine Änderung der zweiten Farbe irgendwo, mit Ausnahme dort, wo die erste Farbe den Hintergrund von der momentanen Position der Fernsehkamera abdeckt, um hierdurch das Modell der realen Szene so zu entfernen, daß die sich ergebende Form der Abfallmatte ein Negativbild des Modells der realen Szene darstellt.

19. Verfahren nach Anspruch 18, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, die Abfallmatte und das Modell der realen Szene an einer Relativposition der Fernsehkamera zu verankern, so daß die Abfallmatte ständig in derselben Relativposition in Bezug auf das Modell der realen Szene und die Fernsehkamera angeordnet ist, unabhängig davon, wo die Fernsehkamera und das Modell der realen Szene innerhalb der virtuellen Umgebung erneut angeordnet werden, oder in Bezug auf eine ursprüngliche Orientierung erneut angeordnet werden.

20. Verfahren nach Anspruch 18, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, das Modell der realen Szene unter Verwendung zumindest eines Polygons zu erzeugen, das in der virtuellen Umgebung definiert ist.

21. Verfahren nach Anspruch 20, dadurch gekennzeichnet, daß das Verfahren weiterhin den Schritt der Verankerung der mehreren Polygone umfaßt, welche die reale Szene definieren, so daß sie als einzelne Einheit manipuliert werden können.

22. Verfahren nach Anspruch 18, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, eine zweite Farbe für den Hintergrund entsprechend einem Bildüberlagerungsgerät auszuwählen, welches die zweite Farbe zum Maskieren unerwünschter Objekte verwendet, die von der Fernsehkamera gesehen werden, und die erste Farbe von dem Bildüberlagerungsgerät dazu verwendet wird, Bereiche des vereinigten Ausgangsbildes zu repräsentieren, an welchen Videosignale von der Fernsehkamera ankommen sollen.

23. Verfahren nach Anspruch 22, dadurch gekennzeichnet, daß folgende Schritte vorgesehen sind:

24. Verfahren nach Anspruch 18, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, ein Benutzer-interaktives Verfahren zum Manipulieren einer Position und einer Orientierung einer virtuellen Kamera und der virtuellen Modelle aller verankerten Objekte zur Verfügung zu stellen, um hierdurch die verankerten Objekte an gewünschten Relativorten festzuhalten.

25. Verfahren nach Anspruch 18, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, zumindest ein virtuelles Objekt zu erzeugen, welches nicht an einer Position in Bezug auf das Modell der realen Szene verankert ist, so daß die Bewegung des Modells der realen Szene innerhalb der virtuellen Umgebung nicht eine entsprechende Relativbewegung des zumindest einen virtuellen Objekts hervorruft.

26. Verfahren nach Anspruch 18, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, virtuelle Bilder zu liefern, um Bereiche des vereinigten Ausgangsbildes zu ersetzen, welche die Abfallmatte zeigen.

27. Verfahren nach Anspruch 18, dadurch gekennzeichnet, daß weiterhin der Schritt vorgesehen ist, zumindest ein neues Abfallmattenpolygon zu erzeugen, welches getrennt von der Abfallmatte ist, um hierdurch zumindest ein ungewünschtes Objekt zu maskieren, welches vollständig innerhalb der Grenzen des Modells der realen Szene liegt.

28. Verfahren nach Anspruch 18, dadurch gekennzeichnet, daß weiterhin der Schritt vorgesehen ist, zumindest ein Objekt innerhalb der virtuellen Umgebung zu erzeugen, welches an der realen Szene verankert ist.

29. Verfahren nach Anspruch 18, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, ein Benutzer-interaktives Verfahren zum Manipulieren einer Position und einer Orientierung des Modells der realen Szene in Bezug auf die virtuelle Umgebung zur Verfügung zu stellen.

30. Verfahren nach Anspruch 18, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, mehrere Objekte in einer virtuellen Umgebung zu erzeugen, die an der realen Szene verankert sind.

31. Verfahren nach Anspruch 30, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, ein Benutzer-interaktives Verfahren zum Manipulieren einer Position und einer Orientierung jedes der mehreren Objekte in Bezug auf die mehreren Objekte zur Verfügung zu stellen, die aneinander verankert bleiben.

32. Verfahren zum Manipulieren virtueller Objekte, die zumindest ein Modell einer realen Szene umfassen, und zumindest eine Abfallmatte, welche unerwünschte Objekte maskiert, die von einer Fernsehkamera gesehen werden, welche Videobilder einer realen Szene überträgt, wobei die Videobilder mit virtuellen Bildern vereinigt werden, um hierdurch ein vereinigtes Ausgangsbild ohne die ungewünschten Objekte zu erzeugen, mit folgenden Schritten:

(1) Modellierung der realen Szene in einer virtuellen Umgebung;
(2) Erzeugung einer Abfallmatte, die ein Negativbild des Modells der realen Szene darstellt;
(3) Verankerung der Abfallmatte an dem Modell der realen Szene und an einem Modell der Fernsehkamera, um eine einzelne Einheit virtueller Objekte zu bilden; und
(4) Manipulation eines Orts der einzelnen Einheit innerhalb der virtuellen Umgebung ohne Störung von Relativpositionen auf solche Weise, daß die virtuellen Objekte innerhalb der einzelnen Einheit sich immer an derselben Relativposition befinden.

33. Verfahren nach Anspruch 32, dadurch gekennzeichnet, daß folgende Schritte vorgesehen sind:

(1) keine Verankerung der virtuellen Objekte innerhalb der einzelnen Einheit;
(2) zumindest eines der virtuellen Objekte wird in Bezug auf die anderen virtuellen Objekte anders angeordnet; und
(3) die virtuellen Objekte werden innerhalb der einzelnen Einheit verankert.

34. Verfahren nach Anspruch 33, dadurch gekennzeichnet, daß der Schritt vorgesehen ist, zumindest ein zusätzliches virtuelles Objekt innerhalb der virtuellen Umgebung zu erzeugen, und es der einzelnen Einheit hinzuzufügen.

35. System zur Erzeugung einer Abfallmatte, die ungewünschte Objekte maskiert, die von einer Fernsehkamera gesehen werden, welche Videobilder einer realen Szene überträgt, wobei die Videobilder mit virtuellen Bildern vereinigt werden, um hierdurch ein vereinigtes Ausgangsbild ohne die unerwünschten Objekte zu erzeugen, wobei das System aufweist:

(a) die Fernsehkamera zur Erzeugung von Videobildern der realen Szene;
(b) eine Videoverzögerungsvorrichtung zum Verzögern der Videobilder, um eine Synchronisation der Videobilder und der virtuellen Bilder zu ermöglichen;
(c) eine Fernsehkamera- Ausrichtungsüberwachungsvorrichtung, die der Fernsehkamera zugeordnet ist, um Positionsinformation bezüglich der Fernsehkamera zu überwachen;
(d) einen Steuercomputer, der in Kommunikation mit der Fernsehkamera-Ausrichtungsüberwachungsvorrichtung steht, um die Positionsinformation zu überwachen, und Software auszuführen, welche Funktionen des Systems steuert;
(e) einen Graphikcomputer, der in Kommunikation mit dem Steuercomputer steht, um eine virtuelle Umgebung zu erzeugen, aus welcher die virtuellen Bilder entnommen werden, um mit den Videobildern vereinigt zu werden, und so das vereinigte Ausgangsbild zu erzeugen; und
(f) ein Bildüberlagerungsgerät, welches die Videobilder von der Videoverzögerungsvorrichtung und den Graphikcomputer empfängt, um hierdurch das vereinigte Ausgangsbild zu erzeugen.