DE69635558T2

DE69635558T2 - Verfahren und Vorrichtung zum automatischen elektronischen Einfügen von Reklameschildern in einem Videobild

Info

Publication number: DE69635558T2
Application number: DE69635558T
Authority: DE
Inventors: Itzhak Wilf; Michael Tamir; Avi Sharir
Original assignee: Orad Hi Tec Systems Ltd
Current assignee: Orad Hi Tec Systems Ltd
Priority date: 1995-09-08
Filing date: 1996-09-09
Publication date: 2006-11-09
Anticipated expiration: 2016-09-10
Also published as: GB9601101D0; CA2231374C; EP0848883A1; EP1056281A1; CN1198865A; WO1997009823A1; CN1199530A; ATE191595T1; AU6935096A; EP1056281B1; TR199800395T1; TR199800396T1; ES2157456T3; EP0848884B1; DE69607631T2; JPH11514510A; DE69635558D1; DE69612666T2; CN1122402C; CN1143525C

Description

Die vorliegende Erfindung bezieht sich auf ein Verfahren und eine Vorrichtung zum automatischen Ersetzen von Werbeflächen in einem Videobild.
Die vorliegende Erfindung hat ihre Verwendung insbesondere beim elektronischen Ersetzen von Werbeflächen in einem Stadion oder an einem anderen Veranstaltungsort, sie kann aber auch verwendet werden, um exakte Daten betreffend die Kameraorientierung für andere Zwecke bereitzustellen.
In früheren Systemen ist vorgeschlagen worden, Werbeflächen in einem Stadion, die von einem Betrachter am Fernsehen betrachtet werden, elektronisch zu ersetzen. Die Werbeflächen in dem Stadion werden mit einer Fernsehkamera ins Fernsehen gebracht, und die Flächen werden elektronisch geändert, so dass der Fernsehbetrachter zu Hause eine andere Fläche als der Zuschauer im Stadion oder an dem anderen Veranstaltungsort sieht.
Die bekannten Systeme, so wie beispielsweise dasjenige, das in der US 5 266 933 beschrieben ist, offenbaren eine Vorrichtung und ein Verfahren zum elektronischen Ändern von Videobildern. Die Vorrichtung und das Verfahren, die in diesem US-Patent und auch in dem US-Patent 5 353 392 offenbart sind, lösen, während sie theoretisch das Ersetzen von Werbeflächen ermöglichen, nicht die vielen praktischen Probleme, die in realen Umgebungen auftreten. Die meisten dieser Probleme beziehen sich auf die Erkennungs- und Ersetzungsprozesse.
Das Verlassen ausschließlich auf Mustererkennungstechniken, die nur das Videosignal verwenden, um Werbeflächen für das Ersetzen zu identifizieren und lokalisieren, führt erhebliche Probleme ein, die den praktischen Wert eines solchen Systems beeinträchtigen.
Es ist klar, dass jegliches Mustererkennungsschema, einschließlich jener, die in der US 5 264 933 und der US 5 353 392 beschrieben sind, auf sinnvollen sichtbaren Merkmalen in dem Bild aufbauen muss, die mit vordefinierten Beschreibungen verglichen werden können. Solche Merkmale sollten innerhalb der Werbefläche oder in ihrer Nähe angeordnet sein.
In realistischen Situationen kann sich die Sichtbarkeit dieser Merkmale ändern, kontinuierlich oder anders von praktisch Null bis zu einer Schwellwertsichtbarkeit, die es dem Mustererkennungsschema erlaubt, ordnungsgemäß zu arbeiten. Diese Änderungen können in der Richtung von anwachsender oder abnehmender Sichtbarkeit auftreten.
Solche Situationen schließen ein:

– eine Beschleunigung oder Abbremsung der Kamerabewegung, die ein großes Maß an Bewegungsunschärfe einführt.
– Eine exzessive Vergrößerung oder Verkleinerung der Werbefläche.
– Eine exzessive Verdeckung durch Spieler.
– Ein Eintreten in ein oder Verlassen eines Blickfelds) einer Kamera durch jegliche Kombination von Schwenk-, Kipp- und Vergrößerungsänderungsoperationen.
– Jegliche Kombination der oben erwähnten Mechanismen.

Deshalb ist in praktischen Situationen ein kontinuierliches Ersetzen der Werbeflächen nicht möglich. Selbst wenn ein unterbrochenes Ersetzen erlaubt wäre, würde es eine Verzögerung von mindestens einigen Sekunden erfordern, um zu entscheiden, ob das resultierende Ersatzintervall akzeptabel ist oder nicht. Eine solche Verzögerung ist üblicherweise bei der Liveübertragung von Sportereignissen nicht zulässig.
Das Ersetzen arbiträrer Werbeflächen führt weitere Probleme ein. Ein saumloses Ersetzen erfordert es, die Vordergrundobjekte, welche die Werbefläche verdecken, zu identifizieren, um das Ersetzen an Orten der Verdeckung zu verhindern. Vordergrundobjekte bestehen hauptsächlich aus Spielern, aber auch aus dem Ball und anderen Objekten. Jetzt angenommen, dass ein Spieler mit einem roten Hemd einen Teil eines ähnlich roten Bereichs einer Werbefläche verdeckt. Dann kann kein Farbkontrast verwendet werden, um die Verdeckung störungsfrei zu identifizieren. Weiterhin können, da der Spieler kein starres Objekt ist, Bewegungs- oder Forminformationen nicht ausreichend genau verwendet werden, um ein perfektes Ersetzen zu garantieren.
Ein anderes Problem, welches in praktischen Situationen auftreten kann, ist die Auflösung der Werbeflächenidentität. Angenommen, dass zwei identische Werbeflächen an zwei unterschiedlichen Orten in der Arena angeordnet sind. Wenn dann unterschiedliche Ersatzwerbeflächen zu jeder dieser physikalischen Werbeflächen zugeordnet sind, muss man in der Lage sein, zu sagen, welche welche ist. Dies kann sich als extrem schwierig herausstellen, insbesondere wenn keine unzweideutigen Merkmale sichtbar sind.
Die Erfindung beschreibt ein robustes System für den Werbeflächenersatz, das auf einigen oder allen der folgenden Schlüsselelemente basiert:

– Schwenk-, Kipp-, Vergrößerungs- und Fokussensoren, die an der Kamera angebracht sind und die es nach einer geeigneten Setup-Prozedur ermöglichen, das Vorliegen und die Anordnung von Werbeflächen in jedem gegebenen Videofeld abzuschätzen.
– Bildverarbeitungsverfahren und deren Ausführungsform, die es ermöglichen, die Sensorabschätzungen zu verfeinern.
– Physikalische Werbeflächen, die geeignet gefärbt sind, um die effiziente Detektion von Verdeckungen durch Chroma-Key-Techniken zu ermöglichen.
– Farbvariationen oder Muster innerhalb der physikalischen Werbeflächen zum weiteren Verbessern der Leistungsfähigkeit der Bildverarbeitungsverfahren.

Die vorliegende Erfindung hat ein erstes Ziel, ein Verfahren und eine Vorrichtung bereitzustellen, die die Identifikation des Orts einer Werbefläche oder eines anderen statischen Objekts in einem Stadion oder anderen Veranstaltungsorten unter jeglichen Wetterbedingen bei jeglicher Schwenkgeschwindigkeit der Kamera und bei jeglichen anderen Änderungen bei den Kameraparametern bereitzustellen.
Die vorliegende Erfindung stellt deshalb eine Vorrichtung und einer Verfahren bereit, wie sie in den angehängten Ansprüchen herausgestellt sind.
Die vorliegende Erfindung stellt ebenfalls vorzugsweise eine Vorrichtung zum automatischen elektronischen Ersetzten einer Werbefläche in einem Videobild, die Bildverarbeitungsmittel zum Verarbeiten von Videosignalen umfasst, die von der Fernsehkamera erzeugt werden, wobei die Verarbeitungsmittel Kalibrierungsmittel zum periodischen automatischen Kalibrieren der Bewegungsmessmittel umfassen, und eine Vorrichtung bereit, bei der die Bewegungsmessmittel Mittel zum Messen der Schwenk-/Kippstellung, des Zooms oder des Fokus der Kamera relativ zu bekannten Referenzpositionen umfassen.
Die vorliegende Erfindung verwendet deshalb dynamische Neukalibrierung, um Restsensorfehler oder Aberrationen bei einem nicht perfekten Modell und Sensordrift mit der Zeit zu korrigieren. So ist es gemäß der vorliegenden Erfindung möglich, weniger stabile Sensoren zu verwenden, und die Vorrichtung und das Verfahren gemäß der vorliegenden Erfindung können Bewegungen der Kameraposition kompensieren. Der Bildverarbeitungsprozess zum Kalibrieren der Sensoren beseitigt die Notwendigkeit, die Sensoren durch mechanische Mittel stabil zu halten, indem unter Bezug auf das Videobild automatisch neu kalibriert wird.
In die anfängliche Setup-Prozedur können Korrekturen für die Kalibrierung bezüglich solcher Werbeflächen einbezogen werden, die beispielsweise nicht im Zentrum des Gesichtsfelds angeordnet sind; beispielsweise kann eine Werbefläche, die sich in der oberen linken Ecke des Schirms befindet, um beispielsweise 3 Pixel justiert werden, um Aberrationen bei der Kamera zu berücksichtigen.
Weitere Probleme, die bei Systemen nach dem Stand der Technik auftreten, bestehen erstens, wenn die Werbefläche entweder im wesentlichen oder vollständig verdeckt ist, oder zweitens, wenn sie durch ein Objekt, wie beispielsweise einen Spieler, derselben Farbe wie das tatsächliche Zeichen auf der Werbefläche verdeckt wird.
Dies kann erstens, wie oben erläutert, zur Nichterkennung der Werbefläche und zweitens zu Schwierigkeiten beim befriedigenden Ersetzen der Werbefläche führen.
In dem ersten Fall kann die reale Werbefläche in dem Videobild bereits ersetzt worden sein, wenn aber die Kamera ihre Vergrößerung für eine Nahaufnahme ändert oder wenn eine andere Kamera für die Neuaufnahme verwendet wird, kann der Anschluss verloren gehen, weil sich nur ein sehr kleiner Bereich der Werbefläche im Blick befindet. Im zweiten Fall kann der Spieler ein Trikot aufweisen, das von derselben Farbe wie die Werbefläche ist. Die Systeme nach dem Stand der Technik schlagen vor, die Werbefläche von dem Spieler auf der Basis der Bewegung zu unterscheiden, falls die Farben gleich sind, und die "sich bewegenden" Pixel zu analysieren, um die Verdeckung zu bestimmen. Dies ist in der Theorie vernünftig, scheitert aber in der Praxis, da sich nicht alle Spieler zur gleichen Zeit bewegen. So ist, falls sich eine Anzahl von Spielern vor der Werbefläche bewegt und ein Spieler stehen bleibt, nachdem sich die anderen weiterbewegt haben, die Elektronik nicht in der Lage, aufgrund der Bewegung zu unterscheiden. Da Farben durch Flutlichtbeleuchtung, Schatten, Unterschiede in der Reflektivität und unterschiedliche Beleuchtungsbedingungen für einen Vordergrundspieler und eine Hintergrundwerbefläche verzeichnet werden, wird es Fälle in der Praxis geben, in denen das System scheitert. In solchen Fällen kann entweder die originale Werbefläche wieder auf dem Videobild erscheinen, oder die Ersatzwerbefläche wird nicht korrekt verdeckt.
Es ist erneut möglich, eine Verzögerung in die Videoübertragung einzuführen, um es der elektronischen Signalverarbeitung zu ermöglichen, genauer zu sein, aber dies löst nicht die praktischen Probleme, wenn sich eine Mehrzahl von Spielern in unterschiedlichen Richtungen bewegt, um die Werbefläche zu verdecken. Die notwendige Verzögerung wird als unakzeptabel angesehen und wird in keinem Fall alle der obigen Probleme lösen.
Gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung wird vorgeschlagen, die realen Werbeflächen durch Chroma-Key-Tafeln oder durch sich abhebende Bereiche zu ersetzen, die Chroma-Key-Tafeln ausbilden.
Chroma-Key ist im wesentlichen eine Verdeckungstechnik, die es beispielsweise einem Nachrichtensprecher erlaubt, vor einer Chroma-Key-Fläche zu stehen und sich vor dieser zu bewegen, die üblicherweise blau oder in einer anderen geeigneten Farbe gefärbt ist. Der Nachrichtensprecher (Vordergrund) wird von der Chroma-Key-Fläche (Hintergrund) durch Farbdifferenzierung unterschieden und kann sich so vor dem Ersatzhintergrund mit normaler Verdeckung von Vordergrund und Hintergrund bewegen. Diese Technik ist in Fernsehstudiosystemen sehr gut bekannt und in zahlreichen US-Patenten beschrieben, einschließlich US 2 974 190 und 4 200 980.
Kürzlich sind verschiedene Systeme, die Kamerasensoren mit Chroma-Key-Verfahren zum Zweck der Koordinierung der Bewegung von graphischen Hintergründen mit denen der Kamera kombinieren, beschrieben und demonstriert worden.

[Ref. K. Haseba et al., Real-timing compositing system of a real camera image and a computer graphic image, International Broadcasting Convention, 16–20 Sep. 1994, Conference publication No. 397, IEE 1994, Seiten 656–660].

Im Prinzip könnten solche Anordnungen für Werbeflächenersetzungen verwendet werden, wobei die Sensoren eindeutig das Erkennungsproblem lösen und wobei die Chroma-Key-Werbefläche hilft, die Verdeckungen richtig zu handhaben. Aufgrund einiger wesentlicher Unterschiede sollte diese Anordnung jedoch verbessert werden. Diese Verbesserungen sind die Basis der vorliegenden Erfindung.
In einer praktischen gegebenen Anordnung ist die Kamera typischerweise 2 bis 10 m von dem Vordergrund entfernt, und üblicherweise wird das gesamte Gesichtsfeld ersetzt. Im Vergleich dazu kann eine Werbefläche mehrere hundert Meter von der Kamera entfernt sein, und deshalb ist ein System zum Ersetzen, welches Sensoren verwendet, viel anfälliger gegenüber Sensorfehlern:

– Aufgrund der großen Brennweiten, weil sich dieselbe Sensorgenauigkeit in größere geometrische Registrierfehler umsetzt. Einen Drehimpulsgeber mit 81.000 Impulsen pro Umdrehung angenommen, dann beträgt die Winkelpräzision 0,004 rad oder 75 mikro-rad. Die Wiederholbarkeit ist zweimal so schlecht. Angenommen eine Aufnahmeentfernung von 100 m mit einem Gesichtsfeld von 4 m, dann beträgt das GSF 40 milli-rad. Der Fehler übersetzt sich in 768·150/20000 = 2,88 Pixel.
– Da das Gesichtsfeld viele stationäre Objekte (einschließlich Werbeflächen) umfasst, die nicht ersetzt werden, wird der menschliche Betrachter gegenüber dem Erkennen von Fehlern viel empfindlicher sein. Zusätzliche Fehler können von einer Linsenverzerrung, einer Drehachse, die nicht durch den Brennpunkt verläuft, einen Rollwinkel ungleich Null usw. herrühren.

Chroma-Key ist ursprünglich eine Technik für Studios, wo die Beleuchtung sorgfältig ausgelegt und überwacht wird und wo die Steuerungen des Chroma-Keyers sorgfältig für die spezifische Anordnung der Blauschirmfarbe und der Beleuchtung eingestellt wird.
Bei einem Sportereignis können die Bedingungen in hohem Maße nicht-ideal sein und einige Modifikationen des Chroma-Key-Algorithmus erfordern. Insbesondere sollten die Keyer-Parameter in Abhängigkeit von Änderungen in der Beleuchtung über die Arena an die spezifischen Werbeflächen angepasst werden, die ersetzt werden.
Entsprechend wird bei der vorliegenden Erfindung vorgeschlagen, Chroma-Key-Tafeln zu verwenden und diese in dem Videobild durch die Ersatzwerbeflächen zu ersetzen.
Da es für eine perfekte Verdeckung notwendig ist, dass Spieler oder andere verdeckende Objekte von unterschiedlicher Farbe als die Chroma-Key-Tafel sind, wird es in einer weiteren bevorzugten Ausführungsform vorgeschlagen, Chroma-Key-Tafeln bereitzustellen, bei denen die Farbe der Tafel geändert werden kann, beispielsweise durch Verwenden einer drehbaren Werbeflächenkonstruktion, die im Stand der Technik bekannt ist. Eine Seite könnte beispielsweise blau und die andere grün sein. Grün kann in einer Sportumgebung bevorzugt sein, da Spieler nicht dazu neigen, grün zu tragen, weil dies nicht mit der Hintergrundsportfläche konstrastieren würde.
In einer weiteren bevorzugten Ausführungsform und insbesondere wenn eine Mehrzahl von Werbeflächen ersetzt werden muss, wird eine gemusterte Chroma-Key-Oberfläche verwendet. Das Muster kann von jeder geeigneten Form sein, aber es wird vorzugsweise ausgewählt, um für die Größe und Form der Werbefläche oder eine Reihe von Werbeflächen geeignet zu sein und auch für die angenommenen Videobedingungen. So wird, wenn eine Werbefläche nur aus einer großen Entfernung betrachtet werden kann, ein anderes Muster ausgewählt werden als für eine Werbefläche, die in einer Nahaufnahme zu betrachten ist.
Das Muster kann unterschiedliche Farben aufweisen oder kann von unterschiedlicher Schattierung derselben Farbe sein. Das Muster kann vertikale und horizontale Linien aufweisen oder kann ein dekoratives Muster aufweisen, eine wahrnehmbare Werbung, ein Firmenlogo oder anderen geeigneten Text, was ästethisch eher akzeptabel ist.
Die Verwendung eines Musters erlaubt eine weitergehende Auflösung der Position der Kamera und kann die Bewegung der Kamera aus einer festen Position erlauben.
Die Kameraorientierungsdaten können zusammen mit dem Videosignal übertragen werden und werden die Position der Werbefläche bei jeglichen Wetter-, Beleuchtungs- oder Verdeckungsbedingungen identifizieren. Keine Referenz für irgendein Merkmal innerhalb des Sportveranstaltungsorts ist erforderlich, um die Position der Werbefläche zu identifizieren.
Die Kamerasensoren können auf wenige Pixel oder physikalisch ausgedrückt auf etwa 1 cm auf eine Entfernung von etwa 100 m genau sein, wodurch sie das genaue Ersetzen jeglicher Werbefläche ermöglichen. Die Neukalibrierung kann kontinuierlich oder nur periodisch durchgeführt werden, insbesondere falls beim Setup eine anfängliche Einstellung der Kalibrierung der Werbeflächen als nicht im Zentrum des GSF festgestellt wird.
Durch Verwendung der Chroma-Key-Techniken gibt es kein Erfordernis, irgendwelche Verdeckungsdaten zu übertragen, da diese leicht an einem Empfänger eingesetzt werden können und die Verdeckung leicht in üblicher Weise eingesetzt werden kann.
In einer bevorzugten Anordnung innerhalb eines Stadions oder eines anderen Sportveranstaltungsorts werden reale Werbeflächen mit normalem Werbematerial an einer Seite des Stadions angeordnet sein, um von einer ersten Mehrzahl von Kameras betrachtet zu werden, und Chroma-Key-Werbeflächen werden auf einer anderen oder der gegenüberliegenden Seite angeordnet sein, um von einer zweiten Mehrzahl von Kameras betrachtet zu werden. So kann z. B. die Heimatnation die normalen Werbeflächen betrachten, während das internationale Fernsehpublikum nur die substituierten Flächen sieht.
Die vorliegende Erfindung stellt auch ein Verfahren zum elektronischen Ersetzen einer Werbeflächen in einer durch eine Kamera erzeugten Videobildwiedergabe bereit, das die Schritte aufweist:

a. Identifikation der Position einer rechteckigen Werbefläche in einem Stadion oder einem anderen Austragungsort, wobei dieser Identifikationsschritt das Spezifizieren der zu ersetzenden Werbefläche auf der Videowiedergabe durch Identifizieren Ihrer vier Ecken in einer ersten Kameraposition umfasst;
b. Speichern der Identifikationsinformationen;
c. Überwachen der Bewegung der Kamera bezüglich Verschwenkung, Verkippung und Vergrößerung (Zoom);
d. Speichern der überwachten Bewegung der Kamera auf einer Feld-für-Feld-Basis; und
e. Analysieren der Größe und Position der zu ersetzenden Werbefläche aus den Informationen, die in einer ersten bekannten Position aufgezeichnet wurden, und aus den gespeicherten Bewegungen der Kamera, um Informationen bezüglich der Größe, Perspektive und Position der Werbefläche in dem aktuellen Videofeld bereitzustellen;
f. Speichern einer Ersatzwerbefläche in einem Werbeflächenersatzspeicher zur Verwendung beim Ersetzen der Werbefläche in dem Stadion;
g. Elektronisches Verändern der Größe und der Perspektive der Ersatzwerbefläche gemäß den Kamerabewegungsinformationen, um sie an die Größe und Perspektive der zu ersetzenden Werbefläche in dem aktuellen Videorahmen anzupassen; und
h. Elektronisches Ersetzen der Werbefläche in dem aktuellen Videorahmen durch die Ersatzwerbefläche.

In einer bevorzugten Ausführungsform weist der Schritt des Analysierens der Größe und der Position der Chroma-Key-Werbefläche, die zu ersetzen ist, einen weiteren Schritt des Analysierens einer Mehrzahl von Videoabtastzeilen auf, um eine Feinabstimmungsinformation bezüglich der exakten Größe, Perspektive und Position der zu ersetzenden Werbefläche bereitzustellen.
In einer weiteren bevorzugten Ausführungsform ist die zu ersetzende Werbefläche leer oder von einer Farbe, die für eine Chroma-Key-Ersetzung geeignet ist. Eine solche Farbe kann aufgrund der Tatsache, dass diese Farben selten bei menschlicher Haut und menschlichen Haaren gefunden werden, von blauer oder grüner Schattierung sein.
In einer noch weiteren bevorzugten Ausführungsform ist die Chroma-Key-Werbefläche zum Zweck des Erleichterns des oben erwähnten Feinabstimmungsprozesses mit einem Muster geeigneter Form gemustert. Der Schritt des Analysierens der Größe und Position der Werbefläche weist die Analyse des Musters auf, um die exakte Position der Werbefläche festzustellen.
In einer weiteren Ausführungsform wird die Korrektur der sensorbasierten Vorhersage durch die Analyse des Musters durch eine Gütezahl (Genauigkeitsabschätzung) für die Analyse gesteuert, die automatisch berechnet wird.
In einer weiteren Ausführungsform umfasst der Schritt des elektronischen Ersetzens der Werbefläche in dem aktuellen Videohalbbild durch das Ersetzen der Werbefläche den Schritt des Überlagerns verdeckender Objekte durch Verwendung der Chroma-Key-Techniken.
In einer weiteren bevorzugten Ausführungsform kann die zu ersetzende Werbefläche gewechselt werden, um zum Zweck des Bereitstellens eines guten Kontrasts zwischen den Werbeflächen und den Spielern am besten zu den Farben und Schattierungen von Farben auf den Spielertrikots zu passen. Zum Beispiel kann dann, wenn diese Trikots Schattierungen von blau enthalten, eine grüne Werbefläche gewählt werden.
Die Hintergrundfarbe kann zwischen blau, grün und rot gewählt werden. Damit der Chroma-Keyer alle Bildparameter, die notwendig sind, um eine richtige Bildzusammensetzung durchzuführen, berechnen kann, erfordert das System eine Probe der Hintergrundfarbe als Referenz. Dieser Schritt kann automatisch ausgeführt werden, indem das Bild abgetastet und die reinste und hellste Farbe detektiert wird. Fortschrittliche Chroma-Keyer ermöglichen es dem Benutzer, den abgetasteten Bereich manuell zu wählen.
In einer weiteren bevorzugten Ausführungsform wird die Chroma-Key-Vorrichtung eine Mehrzahl von Setup-Bedingungen aufweisen, von denen jede einem anderen Bereich des Stadions entspricht. Die Kameraschwenk-, -kipp- und -zoominformationen werden es erlauben, die entsprechenden Setup-Bedingungen zu laden.
In einer weiteren Ausführungsform werden die Feineinstellungsinformationen verwendet werden, um Driftfehler der Sensoren zu kompensieren. In praktischen Situationen wird der Sensorfehler einen signifikanten Anteil aufweisen, der sich auf zeitlichen Frequenzen befindet, die viel kleiner als die Videohalbbildrate sind. So können diese Sensor-induzierten Fehler zuverlässig aus guten Videohalbbildern abgeschätzt und von nachfolgenden Messungen abgezogen werden.
Die vorliegende Erfindung stellt auch eine Vorrichtung zum Durchführen des Verfahrens zum automatischen elektronischen Ersetzen der Werbefläche bereit, wie es voranstehend spezifiziert wurde.
Ausführungsformen der vorliegenden Erfindung werden jetzt in Form von Beispielen mit Bezugnahme auf die beigefügten Zeichnungen beschrieben werden, in denen:
1 ein Stadion oder einen anderen Veranstaltungsort zeigt, das bzw. der die Vorrichtung gemäß der vorliegenden Erfindung illustriert;
2 das Videobild des Stadions zeigt, wie es von der Kamera in einer ersten Position gesehen wird;
3 ein Stadion mit Werbeflächen in mehreren unterschiedlichen Positionen illustriert;
4 eine vergrößerte Kameraaufnahme einer Werbefläche illustriert, die das Problem mit Systemen nach dem Stand der Technik illustriert;
5 eine gemusterte Chroma-Key-Werbefläche zur Verwendung bei der vorliegenden Erfindung zeigt;
6 in Form eines Blockdiagramms die Schaltung zeigt, die der Kameraanordnung gemäß 1 für das Übertragen von Videodaten und Kameraorientierungsdaten zugeordnet ist;
7 in Form eines Blockdiagramms die Empfangsschaltung für das Zusammenwirken mit der Übertragungsschaltung gemäß 6 zeigt;
8 ein Flussdiagramm zu der Betriebsweise der Schaltung gemäß 7 zeigt;
9 eine Anordnung für einen Werbeflächen-Setup-Datenspeicher zeigt;
10 eine Anordnung für Werbeflächen-Setup-Daten zeigt;
11 ein Flussdiagramm für die Berechnung einer perspektivischen Transformation zeigt;
12 eine Anordnung für einen Speicher für kameraintrinsische Parameter zeigt;
13 Gleichungen für die dynamische Neukalibrierung zeigt;
14 ein Flussdiagramm zur dynamischen Neukalibrierung zeigt;
15 den Prozess der Neukalibrierung zeigt;
16 die Probleme illustriert, die sich bei Anordnung der Werbeflächen an unterschiedlichen Orten innerhalb eines Stadions mit unterschiedlichen Beleuchtungsbedingungen ergeben;
17 einen Graph von minimalen und maximalen Niveaus von U und V zeigt, der die Betriebsweise eines Chroma-Keyers illustriert;
18 eine Werbefläche mit einem verdeckenden Objekt zeigt, das das Prinzip der Einstellung der Chroma-Key-Farbe für eine Werbefläche illustriert;
19 einen beispielhaften entfernten Empfänger zum Empfang von Werbeflächenkoordinatendaten und perfekter Chroma-Key-Farbe zeigt, wobei Verdeckungen durch Chroma-Key-Techniken bewirkt werden;
20 eine alternative Anordnung für den Werbeflächen-Setup-Datenspeicher zeigt, der eine alternative Ausführungsform illustriert;
21 ein Flussdiagramm für eine dynamische Setup-Prozedur für einen Kameraschwenk zur Verwendung mit dem Werbeflächen-Setup-Datenspeicher gemäß 20 zeigt; und
22 ein Flussdiagramm für eine dynamische Setup-Prozedur für das Kamerakippen zur Verwendung mit dem Werbeflächen-Setup-Datenspeicher gemäß 20 zeigt.
Unter Bezugnahme jetzt auf die 1 bis 4 wird jetzt das Prinzip der vorliegenden Erfindung erläutert.
In einem Stadion oder an einem anderen Veranstaltungsort 10 sind Werbeflächen 14, 16, 18 an der Seite eines Felds angebracht, welches durch Markierungen 12 wiedergegeben wird. Diese Werbeflächen sind sichtbar durch eine Kamera 20. Werbeflächen 15, 17, 19 zur Betrachtung durch eine weitere Kamera 21 können auf der anderen Seite des Stadions vorhanden sein. Die Tribünen/Sitzplätze des Stadions sind zeichnerisch durch Linien 11 angedeutet.
In einem bevorzugten Beispiel kann die Kamera 21 eine normale Fernsehvideokamera sein und überträgt ihr Ausgangsvideosignal direkt auf eine erste Zuleitung, die die lokale Population bedienen kann. Obwohl wir auf die Kamera 20 oder 21 Bezug nehmen, ist klar zu verstehen, dass eine Mehrzahl von Kameras auf jeder Seite des Stadions vorhanden sein könnte, die unterschiedliche Blicke bereitstellen.
In einer bevorzugten Ausführungsform wird die Kamera 21 die Flächen 15, 17, 19 ins Fernsehen bringen, die an die lokale Population in einer ungeänderten Weise übertragen werden.
Die Kamera 20 wird in dieser bevorzugten Ausführungsform eine Einspeisung für ein internationales Publikum übertragen. Die Kamera 20 ist mit Orientierungserkennmitteln ausgestattet, die vorzugsweise eines oder mehrere der folgenden Mittel aufweisen:
Schwenkmessmittel 24;
Kippmessmittel 25;
Zoommessmittel 26; und
Fokusmessmittel 28.
Geeignete Sensoren können den Virtual Reality Encoder von RADAMEC EPO, Bridge Road, Chertsey, Surrey KT168LJ, England, aufweisen.
Abhängig von der erlaubten Mobilität der Kamera kann nur ein, können mehrere oder alle diese Mittel erforderlich sein. Wenn z. B. die Kamera 20 fest hinsichtlich des Verschwenkens, des Kippens und des Fokus ist und nur ihre Vergrößerung ändern kann, wie in dem Fall einiger ferngesteuerter unbemannter Kameras, braucht nur der Vergrößerungsparameter gemessen zu werden.
Die meisten Kameras in Sportstadien können ihre Vergrößerung ändern, kippen und verschwenken, und es wird angenommen, dass diese Parameter für jede Kamera gemessen werden, wie jetzt erklärt wird. Der Fokus wird als fest angenommen, aber in entsprechender Weise könnte dieser Parameter hinzugefügt werden, falls dies erforderlich ist.
2 zeigt das Videobild, wie es von einem Betrachter gesehen wird und insbesondere von dem Bediener der Ausrüstung. Die Kamera 20 wird gezoomt, geschwenkt und/oder verkippt, um die Werbefläche 14 in einer geeigneten Position und in einer vernünftigen Größe zu "zentrieren". Mit Bezugnahme auf 7 wird dann an einem Empfänger jede Werbefläche betrachtet, und ihre Position wird vorzugsweise unter Verwendung eines Touch Screens 700 oder einer Keyboard Mouse 702 und durch Markieren der vier Ecken markiert. Die Positionen werden in einem Speicher 704 gespeichert.
Für Werbeflächen höher in dem Stadion, so wie beispielsweise 30 (3), kann ein Korrekturfaktor für die Kamera gespeichert werden, der von der Kippstellung der Kamera abhängig ist.
Jede Werbeflächenposition wird in einem Speicher 704 zusammen mit den Kameraparameterinformationen an der Referenzposition für die Kamera 20 gespeichert, die aus den Kameraparameterinformationen erhalten werden, welche zu dem Zeitpunkt passen, an dem die Werbeflächenposition gespeichert wird.
Die folgenden Prozeduren werden vorzugsweise für jede der Kameras und für jede der Zielwerbeflächen wiederholt:

1.) Richte die Kamera auf das Ziel, um einen stabilen unverdeckten Blick auf das Ziel zu erhalten. Stelle den Zoom ein, um einen großen Blick des Ziels zu erhalten, wobei das gesamte Ziel innerhalb des Gesichtsfelds bleibt.
2.) Betätige eine Aufnahmeeinrichtung, während sich die Kamera nicht bewegt, um ein Bild des Ziels zu erfassen sowie die entsprechenden Auslesewerte der Sensoren.
3.) Markiere die Ecken des Ziels auf dem Videobild.

Vorzugsweise wird ein Eckendetektor verwendet, um die Ecken des Ziels mit Sub-Pixelgenauigkeit zu erfassen.
Diese Kamerainformationen werden (6) von den Sensoren erhalten, die an der Kamera angebracht sind, und die Kamerabewegung wird auf eine erste bzw. feste Referenzposition für jeden Parameter bezogen. Die Bewegungen der Kamera werden festgestellt, und die Signale werden in einen Kombiniererschaltkreis 34 und dann in einen Übertragungszwischenspeicher 36 eingegeben, von dem die kombinierten Video- und Positionsdatensignale übertragen werden.
Während des Setups empfängt der Empfängerzwischenspeicher 706 an dem Empfänger (7) die Signale und gibt diese auf einen Aufteiler 708. Das Videosignal wird gespeichert und in einem geeigneten Speicher 710 verzögert, und die Kameraparameterdaten werden extrahiert und in einem Speicher 712 gespeichert.
Bei dem Setup wird das Bildschirmgerät 700 verwendet, um jede Werbefläche zu markieren, die ein Ersetzen erfordern kann. Die Kamera 20 wird verschwenkt usw., um jede Werbefläche in eine geeignete Position auf dem Schirm zu bewegen, und ihre Position wird in dem Werbeflächenspeicher 704 zusammen mit den Kameraparametern aufgezeichnet, die von dem Speicher 712 über einen Prozessor 714 erhalten werden.
Ein Ersatzwerbeflächenspeicher 716 speichert eine Mehrzahl von Ersatzwerbeflächen, und diese sind auswählbar, um in der Lage zu sein, die Originalwerbefläche zu ersetzen.
Die Ersatzwerbefläche wird im Betrieb in einem Kombinierer 718 in das Videosignal eingesetzt, um ein modifiziertes Ausgangsvideosignal 720 bereitzustellen.
Die Setup-Prozedur kann auch Werbeflächenorte und Kameraparameter für mehrere Kameras identifizieren, indem eine Kameraidentität von einer Quelle 30 (6) gespeichert wird. So wird der Werbeflächenpositionsspeicher 704 separate Listen von Werbeflächendaten für jede Kamera speichern.
Der Betrieb des Systems wird jetzt unter Bezugnahme auf eine einzige Werbefläche und eine einzige Kamera 20 beschrieben werden.
Mit Bezug auf 4 wird angenommen, dass die Werbefläche 14 in vergrößerter Form auf der linken Seite des Schirms in das Gesichtsfeld eintritt, während die Kamera 20 nach einem Zoomen aus der 3 – Position verschwenkt wird.
Die Kameraorientierungsdaten werden durchgehend von dem Empfänger empfangen werden, und der Prozessor 714 wird durchgehend auf einer Pixel-zu-Pixel-Basis das Videobild mit der bekannten Werbeflächenposition, die in dem Speicher 704 gespeichert ist, abstimmen. Sobald die Werbefläche in dem Videobild erscheint, werden die Pixel, die die Werbefläche wiedergeben, identifiziert werden und die Ersatzwerbeflächenpixel, die diesen Pixeln entsprechen, werden in dem Kombinierer 718 substituiert werden. Die Verzögerung wird minimal sein, da die Identifikation der Pixel durch einen Adressenkorrelationsprozess erfolgt, der geradezu instantan erfolgt.
Nach einem Zeitraum können die Kamerasensoren driften, und in diesem Fall mag die Ersatzwerbefläche nicht exakt in Überdeckung mit dem Original sein. Dies mag nur um ein oder zwei Pixel der Fall und mag für den Betrachter nicht erkennbar sein. Um dies zu korrigieren, sind zwei Lösungen möglich. Zuerst kann die Werbeflächenposition manuell zu einer geeigneten Zeit periodisch neu abgespeichert werden, z. B. wenn eine Kamera nicht aktiv ist. Dies erfordert die Mitarbeit des Bedieners.
Als zweites kann auf einer Pixel-zu-Pixel-Basis ein Vergleich der Werbefläche mit einer original gespeicherten Werbefläche und eine Abstimmung der Referenzkameraparameter kann in dem Werbeflächenpositionsspeicher 704 durchgeführt werden. Dieser Prozess kann entweder in festliegenden Intervallen oder, wenn der Prozessor 714 einen ausreichenden Zeitschlitz aufweist, automatisch ausgeführt werden.
Die wesentlichen Schritte eines bevorzugten Neukalibrierungsprozesses sind, das aktuelle Videobild unter Verwendung der Kameradaten perspektivisch zu transformieren, um ein abgeschätztes transformiertes Modell bereitzustellen. Dann wird ein gespeichertes Bild der Werbefläche mit dem transformierten Modell verglichen, um ein Restvideohalbbild bereitzustellen. Die Restverzerrung zwischen dem transformierten Modell und dem Restvideohalbbild wird aufgelöst, um Aktualisierungsinformationen für das Aktualisieren der abgeschätzten Transformation bereitzustellen und um so einen Kalibrierungskorrekturtaktor für das Neukalibrieren der Position von jeder Werbefläche in dem Speicher in Abstimmung mit den Kameraerfassinformationen bereitzustellen.
Das Ersetzen jeder Werbefläche wird durch Verwendung des Prozessors 714 (7) und der verschieden Parameter- und Werbeflächenspeicher unter Verwendung geeigneter Softwareprogramme erreicht, wie sie jetzt detaillierter beschrieben werden.
8 beschreibt den kompletten Prozess, der es erlaubt, die Position jeder Werbefläche in dem Gesichtsfeld der Kamera zu bestimmen und den entsprechenden Teil der Werbefläche in einen Einzelbildzwischenspeicher einzubringen. Da das Einbringen und das spätere Zusammensetzen des Graphikzwischenspeichers mit dem Videozwischenspeicher mittels Chroma-Key im Stand der Technik bekannt sind, werden wir uns auf die Bestimmung der Werbeflächenposition unter Bezugnahme sowohl auf 6 als auch 7 konzentrieren.
Am Anfang jedes Videohalbbilds, werden die Verschwenkungs-, Verkippungs-, Zoom- und Fokussensoren (24, 25, 26) ausgelesen 800. Diese Werte, kombiniert mit Werbeflächendaten aus dem Werbeflächen-Setup-Datenspeicher 704 und Kameradaten aus dem Speicher 712 für kameraintrinsische Parameter, ermöglichen die Detektion und Erkennung von allen Werbeflächen in dem GSF der Kamera, unabhängig von dem Videosignal. Die Verarbeitung von 1 besteht aus einer Schleife für alle Werbeflächen (m) 802, 804. Für jede Werbefläche werden die Setup-Daten von dem Werbeflächen-Setup-Datenspeicher 704 eingeholt 806 und mit kameraintrinsischen Parametern verwendet 808, um die perspektivische Transformation 810 von der Werbefläche m zu dem aktuellen Halbbild zu berechnen. Die Ersatzwerbeflächeninformationen werden dann in einem Datenblockzwischenspeicher gespeichert (812).
9 beschreibt den Werbeflächen-Setup-Datenspeicher 900, der aus separaten Aufzeichnungen 902... 904 für jede Werbefläche in der Arena besteht. Eine solche Aufzeichnung besteht aus einem statischen Bild 906, das unter vorteilhaften Bedingungen aufgenommen wurde, und den entsprechenden statischen Setup-Daten 908. Die Aufzeichnung besteht auch aus dynamischen Setup-Daten 910, die unter Verwendung von Bildverarbeitungsmitteln in einem Prozess berechnet werden, der als dynamische Neukalibrierung bekannt ist, welcher oben kurz beschrieben wurde und unter Bezugnahme auf 11 weiter beschrieben werden wird. Eine alternative Prozedur, die eine statische und dynamische Kalibrierung erbringt, wird unter Bezugnahme auf die 20, 21 und 22 beschrieben werden.
10 beschreibt die Setup-Daten (entweder statisch oder dynamisch) 1000 für eine einzelne Werbefläche. Sie bestehen aus den Sensorlesewerten 1002 zum Setup-Zeitpunkt, den Werbeflächenviereckeckenkoordinaten 1004 und dem Zeitcode des Setup-Moments 1006.
Das Verfahren der dynamischen Neukalibrierung kann wie folgt beschrieben werden: Aufgrund von Sensordrift und -ungenauigkeiten, einer festen Kalibrierungstabelle und anderen praktischen Gründen ist es unmöglich, den exakten Ort von allen sichtbaren Werbeflächen zu einem gegebenen Zeitpunkt vorherzusagen. Bei vielen Videohalbbildern kann die Sichtbarkeit einer Werbefläche aber so sein, dass eine exakte geometrische Positionskorrektur durchgeführt werden kann. Da diese Position sowohl zeitlich als auch räumlich näher an den nachfolgenden Videohalbbildern liegt, ist es bevorzugt, durch Vorhersagen der Werbeflächenposition relativ zu ihren Sensorauslesewerten und ihren exakten Quadratkoordinaten auf diesem "Glücksschuss" aufzubauen. Angenommen beispielsweise eine Werbefläche, die das Gesichtsfeld aufgrund eines Kameraschwenks verlässt. Ein erfolgter Glücksschuss, während sie noch voll sichtbar, erlaubt das nahtlose Verfolgen der Werbefläche nur durch Sensoren, wenn ihre Sichtbarkeit die Anwendung von keinerlei Bildverarbeitungsmitteln erlaubt.
11 stellt das Flussdiagramm 1100 für die Berechnung der perspektivischen Transformation dar. Eine Setup-Datenauswahllogik 1102 wählt entweder die statischen 1103 oder die dynamischen 1105 Setup-Daten aus dem oben beschriebenen Setup-Datenspeicher 806 aus. Diese Setup-Daten werden zusammen mit kameraintrinsischen Parametern verwendet, um unabhängig von dem Videosignal eine sensorbasierte Vorhersage der perspektivischen Transformation zu berechnen 1104.
Dann wird eine dynamische Neukalibrierung 1106, die auf Bildverarbeitungsmitteln basiert, auf die Vorhersage angewendet. Sie verwendet das Videosignal 1108 und das Chroma-Key-Signal 1110 sowie das Werbeflächenmodellbild 1112 aus dem Setup-Datenspeicher 806 (8). Basierend auf einem Qualitätsfaktor, der von den Bildverarbeitungsmitteln erhalten wird, wird entweder die sensorbasierte 1118 oder die korrigierte 1116 Transformation ausgegeben. Falls die abgeschätzte Qualität der geometrischen Korrektur hoch ist, dann werden die dynamischen Setup-Daten aktualisiert 1114.
Die 12, 13, 14 beschreiben die sensorbasierte Vorhersage von Werbeflächenkoordinaten in dem Videohalbbild. Solch eine Vorhersage verwendet die Auslesewerte der Sensoren sowie die kameraintrinsischen Parameter. Diese Parameter sind in 12 beschrieben und müssen für eine dichte Abtastung des (Zoom, Fokus)-Raums tabuliert werden. Die Bedeutung dieser Parameter wird aus 13 deutlich, auf die jetzt Bezug genommen wird.
Der Satz von Messwerten, die durch die Verschwenkungs-, Verkippungs-, Zoom- und Fokussensoren geliefert werden, möge durch den Vektor (S, K, Z, F) wiedergegeben werden. Der Kippwinkel wird als relativ zum Horizont angesetzt.
Nehme einen Objektpunkt an, dessen Bild sich in zu einer Setup-Zeitpunkt bei den Bildzwischenspeicherkoordinaten (xS, yS) befindet. Der Sensormesswertevektor zu diesem Zeitpunkt sei (SS, KS, ZS, FS).
Zu einem anderen Zeitpunkt, dem Vorhersagezeitpunkt, sei der Sensormesswertevektor (SP, KP, ZP, FP). Es ist erforderlich, den Ort des Objektpunkts in Bildzwischenspeicherkoordinaten (möglichst aus dem aktuellen Bildzwischenspeicher) (xP, yP) vorherzusagen.
Um diese Prozedur zu ermöglichen, definieren wir die Setup-Rotationsmatrix wie bei 600 gezeigt, und die Vorhersagerotationsmatrix wird wie bei 602 gezeigt definiert.
Dann ergibt sich die perspektivische Transformationsmatrix zwischen den zwei Bildebenenkoordinatensystemen wie bei 604 und 1402 (14) gezeigt.
RSP ist eine 3·3 Matrix mit Reihen- und Spaltenindizes, die von 0 bis 2 reichen. RSP[i][j] bezeichnet den Eintrag in Reihe i, Spalte j in der Matrix. So ergibt sich bei gegebenen Setup-Bildebenenkoordinaten des Objektpunkts (uS, vS) der vorhergesagte Ort des Objektpunkts in Bildebenenkoordinaten wie bei 606, 1404 gezeigt zu (uP, vP).
Die Koordinatentransformation von der Bildebene zum Bildzwischenspeicher wird wie bei 608, 1406 gezeigt erreicht. Die Aberrationskompensation wird wie bei 608, 1406 (14) gezeigt erreicht, um vorhergesagte Zwischenbildspeicherwerbeflächenkoordinaten und perspektivische Transformationsdaten bereitzustellen.
Ein effektiver Weg, um diese Parameter für ein bestimmtes (Zoom, Fokus)-Paar zu erhalten ist beschrieben in [J. Weng et al., Calibration of stereo cameras using a non-linear distortion model, IEEE 10th Intl. Conf. Pattern Recognition (1990), Seiten 246–253]. Die Bildverarbeitungsmittel für eine geometrische Korrektur, die auch den Prozess der Neukalibrierung erlauben, werden jetzt unter Bezugnahme auf 15 beschrieben.
Die Bildverarbeitungsmittel für die geometrische Korrektur der sensorbasierten Vorhersage basieren auf dem Differentialverfahren für Bewegungsabschätzung [C. Cafforio und F. Roca, The differential method for motion estimation, in: T. S. Huang, Herausgeber, Image sequence processing and dynamic scene analysis, Springer, Berlin, 1983, Seiten 104–124]. C sei das aktuelle Videohalbbild und M das statische Werbefläche-Setup-Bild, das perspektivisch gemäß der sensorbasierten Vorhersage transformiert wurde. Hier gehen wir nur von Helligkeitsbildern aus. Idealerweise sind M und C innerhalb des Rahmens des Werbeflächenvierecks identisch. Tatsächliche Differenzen können umfassen:

– Verdeckungen, die bei C aber nicht bei M vorliegen.
– geometrische Fehler aufgrund von Fehlern der Sensoren und der intrinsischen Kameraparameter.
– Beleuchtungsänderungen.

Unter momentaner Vernachlässigung jeglicher Differenzen, die nicht von geometrischen Fehlern herrühren, nehmen wir einen Punkt (x, y) innerhalb des Rahmens des Werbefächenvierecks an. (p, q) sei der lokale geometrische Fehler, so dass wir für das Helligkeitssignal des entsprechenden Bilds schreiben können: M(x + p,y + q) = C(x,y)
Unter der Annahme, dass der Fehler klein ist, kann man eine Tailor-Reihenentwicklung vornehmen:
Unter Vernachlässigung der Glieder zweiter Ordnung und unter Bezeichnung der räumlichen Ableitungen dM/dx = H dM/dy = Verhalten wir C(x,y) – M(x,y) = pH + qV
Wenn wir weiterhin die Differenzen C(x,y) – M(x,y) mit D bezeichnen, erhalten wir D = pH + qV
Die obige Gleichung hält lokal. Für eine globale Werbeflächenlösung und kleine Fehlerannahme können wir das perspektivische Modell verwenden [G. Adiv, Determining Three-Dimensional Motion and Structure from Optical Flow Generated by several moving objects, IEEE Trans. Pattern Analysis and Machine intelligence, 7, Seiten 384 bis 401, 1985]. p(x,y) = (a1x + a2y + a3)/(a1x + a8y + 1) q(x,y) = (a4x + a5y + a6)/(a1x + a8y + 1)
Die Koeffizienten a1, ..., a8 werden durch Minimieren des folgenden Ausdrucks berechnet:
Jetzt wird die Matrix der perspektivischen Transformation (basierend auf der Vorhersage der Sensoren) multipliziert mit:
Die erhaltene Matrix kann als die aktualisierte Vorhersage der Werbeflächenperspektive angesehen werden.
In einer tatsächlichen Umgebung können die folgenden Überlegungen anwendbar sein.

– Verdeckungen können erhebliche Probleme bei dieser Formulierung verursachen, da dann, wenn Pixel von verdeckenden und sich bewegenden Objekten an der Minimierung des obigen Ausdrucks teilhaben, sie die Lösung erheblich beeinträchtigen können. Vorzugsweise werden solche Pixel durch Verwendung von Chroma-Key-Tafeln von der Verarbeitung ausgenommen. Vorzugsweise wird eine Key-Signalausgabe eines Chroma-Keyers verwendet, um diese Pixel zu verwerten.
– Beleuchtungsvariationen können durch Vorverarbeiten des aktuellen Videohalbbilds unter Verwendung von Histogrammanpassungstechniken minmiert werden.
– Der Vorhersagekorrekturprozess mag 2–3 Iterationen erfordern, um zu konvergieren.
– Rauschimmunität und Konvergenz können beide durch Vorglätten der Bilder verbessert werden.

So sind die Werbeflächen 14 usw. gemäß der vorliegenden Erfindung Chroma-Key-Flächen, und Verdeckung erfolgt durch Farbdiskriminierung unter Verwendung der normalen Chroma-Key-Techniken. Diese Techniken werden unter der Voraussetzung, dass die Spieler nicht irgendeine Farbe tragen, die dieselbe ist wie die Oberfläche, eine perfekte Verdeckung ermöglichen. Dies mag nicht immer möglich sein, und es wird gemäß einer speziellen Ausführungsform der vorliegenden Erfindung vorgeschlagen, Oberflächen zu verwenden, die gedreht oder anderweitig in eine zweite oder dritte Farbe geändert werden können. Zum Beispiel können diese drei Farben blau, grün und rot sein, die ausgewählt werden, wenn die Farben der Spielertrikots bekannt sind.
Alternativ muss dann, wenn es erforderlich ist, eine Werbefläche in einem Bereich des Spielfelds oder einem Umgebungsbereich anzuzeigen, ein Bereich so ausgewählt werden, dass er von einer bekannten Farbe ist, die dann in dem Chroma-Keyer als eine Chroma-Key-Farbe gespeichert werden kann.
In einer bevorzugten Ausführungsform kann die Chroma-Key-Vorrichtung die ULTIMATTE-7 Digitalvideobildzusammensetzungseinrichtung von ULTIMATTE Corp., 20554 Plummer St., Chatsworth, CA 91311, USA aufweisen.
Die Hintergrundfarbe kann aus blau, grün und rot ausgewählt werden. Damit der Chroma-Keyer alle Parameter berechnet, die notwendig sind, um eine ordnungsgemäße Bildzusammensetzung durchzuführen, erfordert das System eine Probe der Hintergrundfarbe als Referenz. Dieser Schritt kann durch Abtasten des Bilds und Detektieren der reinsten und hellsten Farbe automatisch durchgeführt werden. Fortschrittliche Chroma-Keyer ermöglichen es dem Verwender, einen abzutastenden Bereich manuell auszuwählen.
In einer speziellen Ausführungsform wird vorgeschlagen, eine gemusterte Chroma-Key-Tafel zu verwenden. Die Kalibrierung der Kamerasensoren kann dann einfach durch Vergleich des Musters auf einer Pixel-zu-Pixel-Basis durchgeführt werden. Das Muster auf der Werbeflächentafel sollte vorzugsweise kritische Dimensionen aufweisen, die kleiner als die erwarteten Sensorfehler (projiziert auf Weltkoordinaten) sind.
Zusammengefasst kann das obige System selbst unter extrem schlechten Witterungsbedingungen betrieben werden, da die elektronische Verarbeitungsschaltung genau weiß, wo jede Werbefläche angeordnet ist und nicht auf irgendeine Analyse des Videobilds vertraut, um Werbefläche zu detektieren. In dem Fall, dass das Videobild so verzerrt ist, dass eine Neukalibrierung nicht mit vernünftiger Sicherheit durchgeführt werden kann, können die Originalkameraparametereinstellungen weiterhin verwendet werden, da das betrachtete Videobild von schlechter Qualität sein wird und so der Betrachter einen Fehler von ein oder zwei Pixel in der Positionierung der Ersatzwerbefläche, die in einer entsprechenden Qualität anzuzeigen ist, die zu der schlechten Qualität des Videobilds passt, nicht bemerken wird.
In einer weiteren bevorzugten Ausführungsform der vorliegenden Erfindung ist das angegangene Problem dasjenige von Werbeflächen, die in unterschiedlichen Positionen in einem Stadion angeordnet sind, wie es in 6 gezeigt ist.
Unter solchen Bedingungen wird sich die Beleuchtung der Werbeflächen 1, 3 und 5 aufgrund der Anordnung der Lampen 7, 9 und 13 unterscheiden. Außerdem kann sich diese Beleuchtung zu jeder Zeit während des Spiels ändern.
Falls solche Werbeflächen Chroma-Key-Flächen von ein und derselben Farbe sind, dann werden die Werbeflächen aufgrund der unterschiedlichen Beleuchtungsbedingungen mit leicht unterschiedlichen Farben erscheinen.
Eine feste Einstellung einer allgemeinen Hintergrundfarbe mag in eine teilweise Objekt-Hintergrund-Separation durch den Chroma-Keyer resultieren.
Bei der vorliegenden Erfindung wird vorgeschlagen, eine räumliche Adaptierung der Hintergrundfarbkarte bereitzustellen, so dass der Chroma-Keyer jede Werbefläche korrekt erkennen kann. Dies kann durch Speichern einer räumlichen Karte in einem Speicher 704 (7) erreicht werden, die Informationen bezüglich der Farbe jeder Chroma-Key-Fläche bereitstellt.
So wird der Chroma-Keyer die Farbe an jedem Videoort mit einer spezifischen Farbe vergleichen, die der Werbefläche an dem Ort zugeordnet ist.
In einer bevorzugten Ausführungsform können die Orte der Werbeflächen identifiziert werden, indem ein etwas vergrößerter Kasten, der die Werbefläche umgibt, "gemalt" wird, um den Ort zu identifizieren. Solche Kästen sind in 6 durch gestrichelte Linien 1', 3' und 5'' identifiziert.
Das System wird die Hintergrundfarben über die Zeit verfolgen und daraufhin kontinuierlich aktualisieren, um eine korrekte Identifikation sicherzustellen, nachdem es einmal korrekt eingerichtet wurde.
Die Betriebsweise des Systems ist wie folgt.
Zunächst bezugnehmend auf 17 werden minimale und maximale Niveaus für U und V festgelegt. Diese sollten weit genug sein, um alle Werbeflächen einzuschließen, die vernünftig beleuchtet sind.
Dann kann für jede Werbefläche, wenn sich die Beleuchtungsbedingungen ändern, eine Einstellung ihrer gespeicherten Werte vorgenommen werden, wie in 18 gezeigt ist, die eine Verdeckung der Werbefläche 1 durch ein Objekt 13 annimmt. Ein innerer Kasten 1'' wird definiert, um sicherzustellen, dass nur Pixel innerhalb von 1 berücksichtigt werden. Die meisten verdeckenden Pixel können verworfen werden, weil diese von einer unterschiedlichen Farbe sein werden. Dann werden alle Pixel (YuV) innerhalb des GSF und des Werbeflächenvierecks 1'' vermessen, und es wird ein Zuschlag zu dem Mittelwert (der der Hintergrundfarbmittelwert UV über die Werbefläche ist) gemacht, falls: Umin ≤ U ≤ Umaxoder Vmin ≤ V ≤ Vmax
Die Erfinder haben ein weiteres Problem erkannt, das sich aus der Verwendung von Chroma-Key-Werbeflächen in einem Stadion ergibt. Aufgrund der unterschiedlichen Beleuchtung, wie sie oben beschrieben ist, wird jede Werbefläche auf dem Videobild in einer etwas unterschiedlichen Farbe erscheinen. Um korrekte Verdeckungsinformationen zu übermitteln, ist es notwendig, eine Verdeckungskarte für jede Werbefläche zu übermitteln.
Gemäß einer bevorzugten Ausführungsform der vorliegenden Erfindung wird es vorgeschlagen, für jede Werbefläche eine perfekte Hintergrundfarbe zu übermitteln und es dann einem Chroma-Keyer in jeder Empfangsstation zu erlauben, die verdeckten Bereiche durch normale Chroma-Key-Prozeduren einzuführen.
Angenommen jetzt die Werbeflächenanordnung, wie sie in 16 gezeigt ist. Jede Werbefläche 1, 3 und 5 wird wegen ihrer unterschiedlichen Beleuchtungsbedingungen so erscheinen, als sei sie von einer anderen Farbe, selbst wenn diese Farbe innerhalb der Maximal- und Minimalgrenzen liegt, wie sie in 17 dargestellt sind.
Gemäß dieser bevorzugten Ausführungsform der vorliegenden Erfindung wird die Übertragungsvorrichtung (siehe 6) eine perfekte Chroma-Key-Farbe innerhalb des Bereichs der Werbefläche übertragen, und sie wird auch die Koordinaten des Vierecks übertragen, das von der Werbefläche gebildet wird.
Auf diese Weise braucht die empfangene Station nur die Viereckkoordinaten der Werbefläche zu dekodieren/extrahieren und dann innerhalb dieses Vierecks jene Pixel durch die Ersatzwerbefläche zu ersetzen, die die perfekte Chroma-Key-Farbe haben. Jene Pixel, die nicht die perfekte Chroma-Key-Farbe haben, werden nicht ersetzt.
Gemäß diesem System ist es nicht notwendig, dass der Chroma-Keyer an der entfernten Empfangsstation in der Lage ist, unterschiedliche Werbeflächen zu erkennen, um unterschiedliche Chroma-Key-Werte für jede Werbefläche aufzuweisen. Es ist auch nicht notwendig, irgendwelche Verdeckungsinformationen zu übertragen, da die Verdeckung durch den Chroma-Keyer an jedem entfernten Ort relativ einfach sein wird.
Bezugnehmend auf 7 kennt der Werbeflächenpositions- und -hintergrundfarbenspeicher 704 die Position jeder Werbefläche, und eine Steuerausgabe 7042 von dem Speicher wird in Kombination mit der Videoausgabe 7102 verwendet, um Eingaben für einen Hintergrundfarbprozessor 7044 bereitzustellen, der die Farbe der Werbefläche innerhalb der Koordinaten, die von dem Speicher 704 bereitgestellt werden, ändern kann. Die Ausgabe des Prozessors 7044 wird verwendet, um einen Hintergrundfarbspeicher 7046 zu steuern, der die Farbe der Werbefläche innerhalb der erforderlichen Koordinaten ändert und die Koordinaten auch an den Videoausgang 720 für den entfernten Empfänger bereitstellen kann. Diese können mit einem Standardvideodatenübertragungssystem übertragen werden.
Ein beispielhafter entfernter Empfänger ist in 19 gezeigt. Videodaten werden an einem Empfängerzwischenspeicher 1900 empfangen, aufgespalten und verzögert 1902, 1904.
Ein Werbeflächenkoordinatenspeicher 1906 speichert die übermittelten Werbeflächenkoordinaten und stellt in Kombination mit einem Graphikengenerator 1908 und einem Ersatzwerbeflächenbildspeicher 1910 ein Ausgangssignal an einen Kombinieren-/Chroma-Keyer 1912 bereit, um die gewünschte, verdeckte Werbefläche auf dem Schirm zu erzeugen.
Unter Bezugnahme jetzt auf die 20 bis 22 werden in einer weiteren Ausführungsform die Setup-Daten, die in dem Speicher 704 gespeichert sind, vor jeglichem Ereignis modifiziert, das ins Fernsehen gebracht wird.
Die Modifikation umfasst das Hinzufügen von dynamischen Setup-Daten sowie von statischen Bild- und statischen Setup-Daten, die in 9 gezeigt sind.
Die zusätzlichen Daten können anstelle der dynamischen Neukalibrierungs-Setup-Daten 910 verwendet werden, die in 9 gezeigt sind, oder sie könnten zusätzlich verwendet werden.
In einer bevorzugten Ausführungsform wird angenommen, dass die zusätzlichen Daten anstelle der dynamischen Neukalibrierungsprozedur verwendet werden, und dies wird jetzt beschrieben.
Als Einführung werden die Probleme diskutiert, die mit dem Ersetzen von Werbeflächen durch virtuelle Werbeflächen verbunden sind. Dasselbe Problem ist das Identifizieren der Position, Größe und Perspektive der Original-Werbefläche und dann ihr Ersetzen durch die virtuelle bzw. Ersatzwerbefläche.
In einer statischen Kamerasituation gibt es kein tatsächliches Problem, nachdem die Original-Koordinaten einmal aufgezeichnet worden sind, vorausgesetzt, dass die Kamerasensoren nicht wesentlich über der Zeit driften.
Die Erfinder haben jedoch herausgefunden, dass während eines schnellen Schwenkens oder Kippens der Kamera die Koordinanten 908 der Ersatzwerbefläche, wie sie in dem Speicher 900 aufgezeichnet sind, nicht mit der aktuellen Position der Werbefläche in dem Stadion oder Veranstaltungsort zusammenfallen. Dies liegt daran, dass die Kamerasensoren ein Maß an Hysterese zeigen. Dieses kann durch den dynamischen Neukalibrierungsprozess kompensiert werden, der bereits beschrieben wurde, aber dies mag unter gewissen Umständen wie während eines schnellen Verschwenkens mit wesentlicher Verdeckung der Zielwerbefläche nicht praktikabel sein.
Die Hysterese könnte möglicherweise durch einen einfachen prozentualen Fehler berücksichtigt werden, der in die Bewegung der Kamera eingebaut wird, aber dies erzeugt keine sehr guten Ergebnisse, weil es weder den Kamerawinkel bezüglich jeder Werbefläche einbezieht, noch die Variabilität bei den Kameraparametersensoren mit dem Winkel berücksichtigt.
Bei der vorliegenden Erfindung speichert der Werbeflächen-Setup-Datenspeicher 900 deshalb in einer alternativen Ausführungsform zusätzlich zu den statischen Werbeflächen-Setup-Daten Daten für jede Werbefläche für jede Kamera mindestens bezüglich eines Links-Rechts-Schwenks 2002, eines Rechts-Links-Schwenks 2004, eines Auf-Ab-Kippens 2008 und eines Ab-Auf-Kippens 2006 ab. Diese Daten werden wie jetzt hier unter Bezugnahme auf die 20 bis 22 beschrieben wird, erhalten und gespeichert.
20 zeigt den Speicher 900, der modifiziert ist, um zusätzlich zu den statischen Bilddaten für die Werbeflächen 1 bis M und den statischen Setup-Daten für die Werbeflächen 1 bis M vier weitere Sätze von Daten für jede Werbefläche 1 bis M bereitzustellen, und diese Datensätze werden vervielfältigt, um diese Daten fürjede Kamera bereitzustellen.
Für jede Kamera wird die Position jeder Werbefläche aufgezeichnet, wobei die Kamera von links nach rechts 2002 und von rechts nach links 2004 schwenkt. Die Schwenkgeschwindigkeit kann ausgewählt werden als die Normalgeschwindigkeit für das ins Fernsehen gebrachte Ereignis. So könnte sie für ein Pferderennen niedrig sein, für ein Motorrennen aber höher sein. Die Position jeder Werbefläche wird dann mit der Kamera aufgezeichnet, die aufwärts 2006 und dann abwärts 2008 über jede Werbefläche verkippt wird.
Für jede Messung werden der Zoom und der Fokus der Kamera vorzugsweise auf ein bekanntes Niveau festgelegt, bei dem die analysierte Werbefläche sich in einem vernünftigen Blick bei vernünftiger Vergrößerung befindet. Der Zoom und der Fokus könnten z. B. gleich demjenigen während des Gewinnens der statischen Setup-Daten für jede Werbefläche sein, so dass ein direkter Vergleich mit den statischen Setup-Daten vorgenommen werden kann. In diesem Fall mag nur eine Fehlerkorrekturzahl aufgezeichnet werden müssen.
Vorzugsweise wird eine Schwenk- oder Kippgeschwindigkeit nicht zu groß gewählt, weil bei sehr hohen Geschwindigkeiten die Werbeflächen in jedem Fall verschmieren und deshalb die Genauigkeit des Ersetzens kein Thema ist. Diese Prozedur wird für jede Werbefläche und für jede Kamera durchgeführt, und die Daten werden dann während des Ereignisses verwendet, um die Position jeder Werbefläche zu korrigieren, während die Kamera verschwenkt oder verkippt wird.
Es ist zu sehen, dass jede Werbefläche von jeder Kamera unter einem unterschiedlichen Winkel betrachtet wird und dass außerdem die Ausgabe jedes der Sensoren an jeder Kamera abhängig von dem Winkel variieren kann, durch den die Kamera gedreht werden muss, um die Werbefläche zu betrachten. Durch Aufzeichnen der statischen Daten und der Daten, die sich auf das Schwenken und Kippen in beiden Richtungen beziehen, wird die Ersatzwerbefläche genau in der exakten Position der originalen bzw. realen Werbefläche sowohl für statische Aufnahmen als auch dann positioniert, wenn sich die Kamera bewegt.
Eine dynamische Neukalibrierung während des Ereignisses, wie sie zuvor beschrieben wurde, wird sicherstellen, dass außer während sehr schneller Kamerabewegungen mit großer Verdeckung die Ersatzwerbefläche korrekt positioniert wird, aber die Verwendung von statischen und dynamischen Setup-Daten wird dies ebenfalls sicherstellen, solange die Kamerasensoren nicht wesentlich während eines Ereignisses driften. Vorausgesetzt, dass die Kamerasensoren von vernünftiger Qualität bezüglich des Gesichtspunkts der Drift sind, können sie so von wechselnder Qualität bezüglich der Genauigkeit während des Schwenkens und Kippens sein. Durch sorgfältige Auswahl der Kamerasensoren sind sehr genau Sensoren deshalb nicht erforderlich, weil jegliche Variation bezüglich der Kamerabewegung durch die Abspeicherung der dynamischen Setup-Daten kompensiert wird.
Die Daten werden erhalten, wie unter Bezugnahme auf die 21 und 22 wie folgt beschrieben wird.
Nachdem die statischen Daten, die sich auf jedes Werbeflächenbild beziehen, und ihre statischen Setup-Daten (906, 908, 9) erhalten worden sind, wird die Sequenz 2100 gestartet, und die Kamera wird von dem Bediener mit einer gewünschten Geschwindigkeit relativ zu der normalen Schwenkgeschwindigkeit verschwenkt 2102.
Die Sensoren geben die Richtung des Schwenks an 2106, und abhängig von der Richtung werden die dynamischen Daten in dem Speicher 2002 oder 2004 in dem Schritt 2106 bzw. 2108 durch Auswahl dieses Speichers gespeichert. Die Sequenz sowohl für den L-R- als auch den R-L-Speicher 2002 bzw. 2004 ist ähnlich und wird für den L-R-Speicher beschrieben werden, aber unter Verwendung der Bezugszeichen für beide Speicher.
Während die Kamera L-R-schwenkt, wird jede Werbefläche anhand von Daten identifiziert, die in dem Speicher 906 gespeichert sind, Schritt 2110; 2112. Das System fragt, ob die Werbefläche zuvor dynamisch aufgezeichnet wurde, Schritt 2114, 2116, und falls ja, kehrt es zum Start der Sequenz zurück und wiederholt die Schritte 2104 bis 2110, bis es eine Werbefläche findet, die noch nicht dynamisch abgetastet wurde. Sobald eine neue Werbefläche gefunden worden ist, wird die Position (werden die Koordinaten) der Werbefläche während des Schwenkens aufgezeichnet und in Schritt 2118, 2110 mit den statischen Werbeflächenparametern verglichen, die zuvor gespeichert wurden (908). Ein jeglicher Fehler wird berechnet (Schritt 2122, 2124), und die Fehler werden in dem L-R- und dem R-L-Schwenkspeicher 2126, 2128 für die Werbefläche gespeichert. Das System fragt, ob alle Werbeflächen, die in dem Speicher 908 aufgezeichnet sind, dynamisch sowohl für L-R als auch für R-L abgetastet worden sind (Schritte 2130, 2132). Falls nicht, wird die Sequenz fortgesetzt, bis die letzte Werbefläche dynamisch abgetastet worden ist, und dann wird das Programm beendet 2134, 2136.
Eine entsprechende Programmsequenz, die in 22 gezeigt ist, wird für das Kippen jeder Kamera bereitgestellt. Offensichtlich kann, falls die Kameras entweder nicht kippen dürfen oder unwahrscheinlich nennenswert verkippt werden, diese Sequenz und die Aufzeichnung der Daten in Speichern 2006 und 2008 überflüssig sein.
Die Sequenz wird gestartet 2200, und jede Kamera wird der Reihe nach verkippt 2202, und die Richtung der Verkippung wird durch Kamerasensoren 2204 bestimmt. Abhängig davon, ob die Kamera abwärts oder aufwärts gekippt wird, werden dynamische Setup-Daten in Speichern 2006 oder 2008 in Schritten 2206, 2208 gespeichert. Beide Sequenzen sind ähnlich, und nur die Sequenz des Verkippens der Kamera nach unten wird beschrieben werden unter Bezugnahme dann auf beide Sequenzen.
Jede Werbefläche wird anhand der statischen Bilddaten und, insbesondere wenn alle realen Werbeflächen gleich sind, auch anhand der Kameraparameter identifiziert 2210, 2212. Das Programm fragt die Werbeflächendaten ab, Schritt 2214, 2216, um zu schauen, ob die Werbefläche bereits abgefragt worden ist. Falls ja, dann startet das Programm neu, falls aber nicht, werden die Koordinatendaten der Werbefläche während des Verkippens mit den statischen Daten verglichen, Schritt 2218, 2220. Der Fehler, falls vorhanden, wird berechnet, Schritt 2122, 2124, und in den Speichern 2006, 2008 (20) gespeichert, Schritt 2226, 2228.
Das Programm fragt dann die Speicher 2006, 2008 ab, um zu schauen, ob alle Werbeflächen bezüglich von Kippfehlern sowohl aufwärts (Schritt 2230) als auch abwärts (Schritt 2232) dynamisch abgefragt worden sind, und falls ja, ändert es das Programm, Schritt 2234, 2236. Falls nicht, läuft das Programm durch Fortsetzen an dem Start der Sequenz weiter, bis alle Flächen abgefragt worden sind.
Normalerweise erfordern es der Kamerazoom und -fokus nicht, denselben Typ von dynamischen Setup-Daten zu speichern. Wenn jedoch spezielle Kameraaberrationen bekannt sind, dann können diese durch Verwendung von entsprechenden dynamischen Setup-Daten kompensiert werden.
Die dynamischen Daten, die in den Speichern 2002 bis 2008 gespeichert sind, können anstelle oder in Verbindung mit den dynamischen Neukalibrierungsdaten verwendet werden, die, wie unter Bezugnahme auf 9 beschrieben wurde, erhalten werden. Üblicherweise werden jedoch die dynamischen Setup-Daten die Notwendigkeit einer Neukalibrierung während der meisten Arten von Ereignissen vermeiden.
Während der Verwendung weiß das System durch Einlesen der Kamerasensoren, ob die Werbefläche in einer statischen Weise betrachtet wird oder ob L-R oder R-L darüber geschwenkt wird oder ob aufwärts oder abwärts darüber gekippt wird. In solchen Fällen wird die Position der Werbefläche von dem statischen Datenspeicher übernommen, und dann, wenn ein Verschwenken oder Verkippen auftritt, werden die notwendigen Fehlerkorrekturen angewandt. Nachdem die Kamerabewegung ausläuft, wird zu den statischen Werbeflächenparametern zurückgekehrt.

Claims

Vorrichtung zum automatischen elektronischen Ersetzen einer Werbefläche in einem Videobild, mit einer Bewegungsmessmittel umfassenden automatischen Messeinrichtung, die zum Messen des Blickfelds (Field of View = FOV) einer Fernsehkamera relativ zu einer bekannten Referenzposition dient, dadurch gekennzeichnet, dass die Vorrichtung aufweist: (i) einen Kamerapositionsspeicher (712), der Eingaben von Sensoren (20, 26, 24, 25, 30) einer Kamera empfängt, die eine Position der Kamera anzeigen, und der die Eingaben speichert; (ii) einen Werbeflächenpositionsspeicher (704), der eine Position der Werbefläche (14) speichert; (iii) einen Prozessor (714), der aus den gespeicherten Eingaben in dem Kamerapositionsspeicher und der gespeicherten Position der Werbefläche in dem Werbeflächenpositionsspeicher und unabhängig von einem Videosignal, das von der Kamera erzeugt wird, bestimmt, ob sich die Werbefläche innerhalb des Blickfelds der Kamera befindet; und (iv) einen Ersatzwerbeflächenspeicher (716), der Bildpunkte einer Ersatzwerbefläche speichert, mit dem die entsprechenden Bildpunkte der Werbefläche substituiert werden, wenn der Prozessor bestimmt, dass die Werbefläche innerhalb des Blickfelds der Kamera liegt.
Vorrichtung zum Ersetzen einer Werbefläche in einem Videobild nach Anspruch 1, die weiterhin ein Kalibriermittel (1106) aufweist, um die Sensoren periodisch automatisch zu kalibrieren.
Vorrichtung nach Anspruch 1, wobei die Sensoren (20, 26, 24, 25) Mittel zum Messen der Schwenk-/Kippstellung, des Zooms und des Fokus der Kamera relativ zu den bekannten Referenzpositionen aufweisen.
Vorrichtung nach Anspruch 2, wobei die Werbefläche (14) eine Chroma-Key-Tafel aufweist.
Vorrichtung nach Anspruch 4, wobei die Tafel eine gemusterte Chroma-Key-Tafel aufweist.
Vorrichtung nach Anspruch 5, wobei das Muster zwei unterschiedliche Farben oder zwei unterschiedliche Schattierungen derselben Farbe aufweist.
Vorrichtung nach Anspruch 6, wobei das Muster ausgelegt ist, um für die Verwendung gemäß der Größe und der Form der Werbefläche und der antizipierten Videobedingungen optimiert zu sein.
Vorrichtung nach Anspruch 2, wobei die Kalibriermittel Feineinstellbildverarbeitungsmittel umfassen, die Mittel zum perspektivischen Transformieren des derzeitigen Videobilds umfassen, um ein abgeschätztes transformiertes Modell bereitzustellen, Mittel zum Speichern einer Nachbildung des Werbeflächenbilds, Mittel zum Vergleichen des perspektivisch transformierten Videobilds mit der gespeicherten Nachbildung, um ein verbleibendes Videofeld bereitzustellen, Mittel zum Auflösen der verbleibenden Verzeichnung zwischen dem transformierten Modell und dem verbleibenden Videofeld und Mittel zum Aktualisieren der abgeschätzten Transformation mittels der Restverzeichnung, um einen Kalibrierungskorrekturfaktor bereitzustellen.
Vorrichtung nach Anspruch 8, wobei die Mittel zum Auflösen der verbleibenden Verzeichnung Analysemittel umfassen, die auf räumlichen Ableitungen des derzeitigen Bilds des transformierten Modells basieren, sowie Mittel zum Bildpunkt für Bildpunkt Analysieren der Bildunterschiede des transformierten Modells und des derzeitigen Bilds.
Vorrichtung nach Anspruch 8, wobei die Feineinstellungsbildverarbeitungsmittel Mittel zum Ausführen der Feineinstellung in einer interaktiven Weise umfassen.
Vorrichtung nach Anspruch 9, wobei die Bildpunkt für Bildpunkt Analysemittel Mittel zum Aussondern von Bildpunkten unter Verwendung von Farbvariationen umfassen.
Vorrichtung nach Anspruch 1, die weiterhin Mittel zum Aufzeichnen von Kalibrierungsdaten aufweist, die während eines Setup-Zeitraums erhalten wurden, wenn während dessen keine Abdeckung vorlag.
Vorrichtung nach Anspruch 1, die weiterhin einen dynamischen Werbeflächenspeicher (900) zum Aufzeichnen jeglicher Änderungen in der gemessenen Position der Werbefläche aufweist, wenn die Kamera schwenkt oder kippt.
Verfahren zum automatischen Ersetzen einer realen Werbefläche in einem Videobild, dadurch gekennzeichnet, dass das Verfahren die Schritte aufweist: Aufzeichnen der Blickfeld-(Field of view = FOV)-Parameter einer Fernsehkamera in der ersten Referenzposition mittels Bewegungssensoren (20, 26, 25, 30), die an der Kamera befestigt sind; Speichern einer Position der realen Werbefläche in einem Werbeflächenspeicher (704); Speichern einer Position der Kamera, die von den Bewegungssensoren erfasst wird, in einem Kameraspeicher; Bestimmen aus dem Kamerapositionsspeicher und der Kameraposition in dem Werbeflächenspeicher und unabhängig von einem Videosignal, das von der Kamera erzeugt wird, ob sich die reale Werbefläche innerhalb des Blickfelds der Kamera befindet, und Ersetzen von Bildpunkten der realen Werbefläche mit entsprechenden Bildpunkten einer Ersatzwerbefläche, wenn der Prozessor bestimmt, dass die reale Werbefläche innerhalb des Blickfelds der Kamera liegt.
Verfahren nach Anspruch 14, wobei das Speichern einer Position der Kamera das Messen der Schwenk-/Kippstellung, des Zooms oder des Fokus der Kamera mit den Bewegungssensoren, die an der Kamera befestigt sind, aufweist.
Verfahren nach Anspruch 14, wobei die Werbefläche eine Chroma-Key-Fläche aufweist, und wobei das Ersetzen der realen Werbefläche mit der Ersatzwerbefläche den Schritt des Abdeckens der Ersatzwerbefläche mit jeglichem Objekt umfasst, das die reale Werbefläche abdeckt.
Verfahren nach Anspruch 14, das weiterhin periodisches automatisches Kalibrieren der Bewegungssensoren durch perspektivisches Transformieren des derzeitigen Videobilds, um ein abgeschätztes transformiertes Modell bereitzustellen, Speichern einer Nachbildung des Werbeflächenbilds, Vergleichen des perspektivisch transformierten Videobilds mit der gespeicherten Nachbildung, um ein Restvideofeld bereitzustellen, Auflösen der Restverzeichnung zwischen dem transformierten Modell und dem Restvideofeld und Aktualisieren der abgeschätzten Transformationsmittel mittels der Restverzeichnung, um einen Kalibrierungskorrekturfaktor bereitzustellen, aufweist.
Verfahren nach Anspruch 14, wobei der Schritt des Auflösens der Restverzeichnung eine Analyse basierend auf räumlichen Ableitungen des derzeitigen Bilds des transformierten Modells und das Bildpunkt für Bildpunkt Analysieren der Bildunterschiede des transformierten Modells und des derzeitigen Bilds umfasst.
Verfahren nach Anspruch 14, wobei das automatische Kalibrieren der Bewegungssensoren weiterhin das interaktive Kalibrieren der Bewegungssensoren umfasst.
Verfahren nach Anspruch 14, wobei der Bildpunkt für Bildpunkt Analyseschritt das Verwerfen von Bildpunkten unter Verwendung von Farbvariationen umfasst.
Verfahren nach Anspruch 14, wobei der Schritt des Aufzeichnens von Kalibrierungsdaten während eines Setup-Zeitraums durchgeführt wird, wenn keine Abdeckungen vorliegen.
Verfahren nach Anspruch 14, das weiterhin das Kalibrieren eines Differenzsignals zum Neukalibrieren der Bewegungssensoren aufweist, wenn das vorliegende Videobild oberhalb des vorbestimmten Qualitätsfaktors liegt.
Verfahren nach Anspruch 22, wobei die Ersatzwerbefläche in dem Fall, dass eine Neukalibrierung nicht möglich ist, weil das vorliegende Videobild unterhalb des vorbestimmten Qualitätsfaktors liegt, an der zuletzt neukalibrierten Position positioniert wird.