DE10011744A1 - Automatische Hintergrundszenendefokussierung für die Bildzusammensetzung - Google Patents

Automatische Hintergrundszenendefokussierung für die Bildzusammensetzung

Info

Publication number
DE10011744A1
DE10011744A1 DE10011744A DE10011744A DE10011744A1 DE 10011744 A1 DE10011744 A1 DE 10011744A1 DE 10011744 A DE10011744 A DE 10011744A DE 10011744 A DE10011744 A DE 10011744A DE 10011744 A1 DE10011744 A1 DE 10011744A1
Authority
DE
Germany
Prior art keywords
background
defocusing
pixel
background scene
defocus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
DE10011744A
Other languages
English (en)
Other versions
DE10011744B4 (de
Inventor
Paul Vlahos
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ultimatte Corp
Original Assignee
Ultimatte Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ultimatte Corp filed Critical Ultimatte Corp
Publication of DE10011744A1 publication Critical patent/DE10011744A1/de
Application granted granted Critical
Publication of DE10011744B4 publication Critical patent/DE10011744B4/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/2224Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272Means for inserting a foreground image in a background image, i.e. inlay, outlay

Abstract

Bei dem Verfahren und der Einrichtung zum automatischen Defokussieren einer Hintergrundszene, wenn die Hintergrundszene mit einem Vordergrundobjekt während der Aufnahme eines Objekts zusammengesetzt wird, wobei die Hintergrundszene zunehmend defokussiert wird, wenn sich das Objekt an die Kamera anzunähern scheint, wird zunächst eine Quelle des Hintergrundbildsignals mit einem Eingang einer Zusammensetzeinrichtung verbunden. Die Zusammensetzeinrichtung ist in der Lage, eine ausgewählte Gruppe von Hintergrundpixeln zu mitteln. Eine Quelle des Vordergrundbildsignals wird mit einem weiteren Eingang der Zusammensetzeinrichtung verbunden. Die Zusammensetzeinrichtung erzeugt ein Matte-Signal, welches dann unter anderem verwendet wird, um das Verhältnis der Fläche des Vordergrundobjekts zu einer Gesamtbildfläche zu bestimmen. Dieses Flächenverhältnis wird verwendet, um für jedes Pixel des Hintergrundbildsignals eine Anzahl benachbarter Pixel für die Mittelwertbildung auszuwählen, um einen Pixelmittelwert zu bilden. Die Signalpegel jedes Pixels der Hintergrundszene werden dann durch den zugehörigen Pixelmittelwert ersetzt. Dies führt zu einer scheinbaren Defokussierung der Hintergrundszene proportional zu der scheinbaren Verringerung des Abstand der Kamera zum Objekt.

Description

Die Erfindung betrifft ein Verfahren und eine Einrich­ tung zum automatischen Defokussieren einer Hintergrundszene, wenn die Hintergrundszene mit einem Vordergrundobjekt wäh­ rend der Aufnahme des Objekts zusammengesetzt wird.
Die Szene hinter einer scharf fokussierten Nahaufnahme eines Objekts ist normalerweise unscharf, da dies die Erfah­ rung ist, die typische fotographischen Linsen und die Linse des menschlichen Auges bieten. Wenn sich jedoch das Objekt in einem Abstand von 30 Fuß oder mehr befindet, wird erwar­ tet, daß der Hintergrund sich in einem annehmbar scharfen Fokus befindet.
Verbesserungen beim Entfernen des blauen Hintergrunds bei mit Hilfe der Blue-Screen-Technik zusammengesetzten Auf­ nahmen und verbesserte Techniken zum Erfassen und Berück­ sichtigen von Kamerabewegungen haben die Verwendung eines virtuellen Studios für Live-Fernsehsendungen praktikabel ge­ macht.
Das virtuelle Studio ersetzt herkömmliche Hintergründe, die aus Bauholz, Farbe und Tapete hergestellt wurden, durch Hintergrundszenen, die von einem Künstler oder einem Foto­ grafen erzeugt werden. Da er ein Bild ist, ändert sich die Scharfeinstellung des Hintergrunds nicht, wenn der Vorder­ grundkamerabrennpunkt dem Objekt folgt, wenn es sich an die Kamera annähert oder von ihr entfernt. Dieses Fehlen der Schärfenänderung des Hintergrunds bei einer Änderung des Brennpunkts der Kamera stellt einen der Fehler in dem virtu­ ellen Studiokonzept dar.
Aufgabe der Erfindung ist es, das mit Hilfe der Blue- Screen-Technik zusammengesetzte Bild eines Vordergrundob­ jekts und eines Hintergrundbildes derart zu verbessern, daß es sich der Realität annähert, insbesondere die Defokussie­ rung des Hintergrundbildes bei der Annäherung des Objekts an die Kamera nachzubilden.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren mit den Merkmalen des Patentanspruchs 1 bzw. eine Einrich­ tung mit den Merkmalen des Patentanspruchs 12 gelöst.
Ein Schauspieler, der sich entfernt von der Kamera auf­ hält, belegt nur eine geringe Fläche auf dem Bildrahmen (der Bildfläche). Wenn sich der Schauspieler in der Nähe der Ka­ mera befindet, wie beispielsweise bei Nahaufnahmen, so füllt er einen großen Teil des Bildrahmens. Das Verhältnis der Ob­ jektfläche zur Einzelbildfläche ist eines der Kriterien zum Abschätzen des Ausmaßes der Hintergrunddefokussierung, die bei verschiedenen Abständen des Objekts zur Kamera auftreten sollte.
Die Fläche des Objekts wird von dem beim Zusammensetzen verwendeten "Matte"-Signal zur Verfügung gestellt. Einstell­ bare Grenzen des Verhältnisses werden vorgegeben, bei denen die erzeugte Defokussierung (Unschärfe) initiiert und been­ det werden soll. Die Defokussier- und Refokussier-Rate wird gesteuert, wenn ein sich in der Nähe der Kamera befindender Schauspieler das Einzelbild betritt oder verläßt.
Vorteilhafte Weiterbildungen der Erfindung sind in den Unteransprüchen gekennzeichnet.
Im folgenden wird die Erfindung anhand von in den Zeich­ nungen dargestellten Ausführungsbeispielen näher beschrie­ ben. In den Zeichnungen zeigen:
Fig. 1 ein Diagramm, das den Betrag der Defokussierung als Funktion der von einem Objekt belegten Bildfläche in Prozent zeigt. Der Betrag der Defokussierung wird als Pro­ zentsatz der höchstmöglichen Defokussierung dargestellt, wo­ bei als höchstmögliche Defokussierung der Gesamtdurchschnitt sämtlicher Pixel (Farben) in dem Einzelbild genommen wird.
Fig. 2 ist ein Diagramm, das einen Bereich von Verhält­ nissen der Abbildfläche zu Gesamtbildfläche zeigt, bei denen nach Auswahl durch einen Bediener die Defokussierung einset­ zen soll.
Fig. 3 ist ein Diagramm, das den Bereich der Defokus­ sierraten veranschaulicht, die ein Bediener auswählen kann.
Fig. 4 veranschaulicht einen Bereich, über welchen ein Bediener Maximal- und Minimaldefokussiergrenzen auswählen kann.
Fig. 5 veranschaulicht ein allmähliches Initiieren und Beenden der Defokussierung zwischen ausgewählten Maximal- und Minimalgrenzen.
Fig. 6 ist eine Blockdarstellung einer Implementierung der vorgeschlagenen automatischen Hintergrunddefokussierung.
Fig. 7 zeigt die Details des "Berechne d"-Blocks gemäß Fig. 6.
Fig. 8 ist ein Zustandsübergangsgraph des "ERFASSE OBJEKTZUSTAND"-Blocks gemäß Fig. 6.
Jede Zusammensetzeinrichtung oder jedes Software-Zusam­ mensetzprogramm erzeugt ein Matte-Signal, das auch Austast­ signal oder Alphakanal genannt wird. Das Matte-Signal stellt eine Silhouette des Objekts dar und belegt folglich die gleiche Gesamtbildfläche wie das Objekt. Bei Zusammen­ setzeinrichtungen, beispielsweise den von der Ultimatte Cor­ poration erhältlichen, ist das Matte-Signal in dem undurch­ sichtigen Objektbereich gleich Null. Das Verhältnis der An­ zahl von Matte-Pixeln, die einen Matte-Pegel von Null haben, zu der Gesamtzahl von Pixeln in dem Einzelbild ist der Pro­ zentsatz des von dem Objekt belegten Bildrahmens. In dem Maße, wie die Distanz des Objekts zur Kamera absinkt, oder abzusinken scheint, belegt das Objekt einen größeren Ab­ schnitt der Einzelbildfläche. Die Änderung der Distanz des Objekts zur Kamera kann simuliert werden, indem die Brenn­ weite der Linse bei einer Zoom-Linse geändert wird.
Die x-Achse gemäß Fig. 1 zeigt den Prozentsatz des von dem Objekt belegten Einzelbildrahmens (Objektgröße), und die y-Achse zeigt einen sich erhöhenden Betrag der Defokussie­ rung eines Hintergrunds, wenn sich die Objektgröße erhöht. Fig. 1 zeigt, daß der Hintergrund gerade beginnt, an Schärfe zu verlieren, wenn das Objekt gerade erst ein entfernt ange­ ordneter Fleck ist, der keine signifikante Einzelbildfläche belegt.
Da alle Linsen eine Tiefenschärfe aufweisen, sollte die Hintergrunddefokussierung solange nicht beginnen, bis das Objekt näher ist als die hyperfokale Distanz der Vorder­ grundlinse. Diese Distanz ist beispielsweise 50 Fuß bei einer 50 mm-Linse bei f/4.0. Da die Feststellung eines scharfen Fokus subjektiv ist, ist der Defokussierstartpunkt ebenfalls subjektiv und hängt von der Szene und der Ent­ scheidung des Bedieners ab. In Fig. 2 wird eine Objektgröße von 20% als Minimalobjektgröße ausgewählt, bei der die Defo­ kussierung des Hintergrunds beginnen soll.
Sobald ein geeigneter Defokussierstartpunkt ausgewählt worden ist, wählt der Bediener dann eine Defokussierrate aus, d. h., um welchen Betrag der Hintergrund defokussiert werden soll bei einer gegebenen inkrementalen Erhöhung in der Objektgröße. Fig. 3 veranschaulicht ein Bereich von De­ fokussierraten mit einer durchgezogenen Linie, die eine von dem Bediener ausgewählte Rate anzeigt.
Sobald der Hintergrund um einen substantiellen Betrag defokussiert worden ist, gibt es kein Erfordernis, die Defo­ kussierung weiter fortzusetzen. Es kann wünschenswert sein, die Defokussierung auf einen eher moderaten Betrag zu be­ grenzen, wenn der Hintergrund nicht soweit defokussiert wer­ den soll, daß er unerkennbar wird. Der Maximalbetrag der De­ fokussierung kann durch Bedienerauswahl eingeschränkt wer­ den. Es wurde eine mittlere Grenze ausgewählt, wie es in Fig. 4 gezeigt ist. Fig. 4 zeigt darüber hinaus eine ausge­ wählte Minimaldefokussiergrenze, die nützlich ist, wenn der Fokus nicht zu einem fernen Hintergrund zurückkehren soll. Der Linsenfokus beginnt nicht, sich abrupt zu ändern, so daß es folglich realistischer wäre, wenn die Fokussieränderungs­ rate ein wenig nichtlinear wäre, wie es in Fig. 5 gezeigt ist.
Damit sie zu ein praktikables System wird, sollte die automatische Defokussierfunktion möglichst narrensicher sein und minimale Bedieneraufmerksamkeit erfordern. Was geschieht beispielsweise, wenn ein sich in der Nähe der Kamera befin­ dender Schauspieler aus der Szene an einer Seite des Bild­ rahmens hinausläuft? Wahrscheinlich bleibt die Kamera auf den Schauspieler fokussiert, wenn er die Szene verläßt.
Da er in der Nähe der Kamera ist, füllt der Schauspieler einen großen Prozentsatz des Bildrahmens, aber wenn er aus der Szene herausläuft, schrumpft dieser Prozentsatz auf Null. Da der Prozentsatz der von dem Objekt belegten Bild­ fläche auf Null reduziert wird, würde die Defokussierlogik normalerweise den Hintergrund in die Scharfeinstellung zu­ rückbringen, obwohl die Kameralinse ihre Brennweite nicht ändert. Um die Änderung der Hintergrunddefokussierung zu vermeiden, friert die Logik des Systems die Hintergrunddefo­ kussierung bei ihrer aktuellen Einstellung ein, wenn das Ob­ jekt zuerst den linken oder rechten Rand des Bildrahmens be­ rührt. Man könnte diese Kantenberührungslogik derart erwei­ tern, daß der obere oder untere Rand eingeschlossen werden, aber wenn die Objekte Menschen sind, werden der linke und rechte Rand vorzuziehen sein.
Wenn das Objekt den Bildrahmen verlassen hat, wird das Einfrieren der Hintergrunddefokussierung nach einer Zeit­ spanne von wenigen Sekunden freigegeben, um die Aktivitäten des Kamerabedieners, der die Kamerabrennweite ändert, zu si­ mulieren.
Wenn ein Objekt in das Einzelbild in der Nähe der Kamera eintritt, kann es sein, daß sein exakter Abstand von der Ka­ mera nicht bekannt ist. Es kann angenommen werden, daß die Kamerabrennweite zu dem Schauspieler hin verschoben wird, welches eine gleichzeitige Defokussierung des Hintergrunds verursachen sollte. Die typische Geschwindigkeit der Brenn­ weitenänderung durch einen Bediener wird durch die Geschwin­ digkeit der Defokussieränderung durch die Defokussierlogik angenähert.
Die maximale Geschwindigkeit, bei welcher ein Defokus­ sieren/Refokussieren auftreten kann, wird auf eine ausge­ wählte Geschwindigkeit begrenzt, die die Geschwindigkeit si­ muliert, bei welcher ein Bediener die Kamerabrennweite än­ dern würde. Folglich täuscht der plötzliche Eintritt eines Objekts in den Einzelbildrahmen die Defokussierlogik nicht derart, daß sie die Hintergrundfokussierung plötzlich än­ dert.
Die Technologie für eine Defokussierung eines Bildes ist in der Bildverarbeitung gut bekannt. Ein einfaches Mittel zum Defokussieren eines Bildes besteht darin, für jedes Pixel in dem Hintergrund einen Mittelwert der RGB-Pegel einer kleinen Gruppe benachbarter Pixel einzusetzen. Ein ge­ wichteter Pixelmittelwert, wobei die Wichtung sehr gering ist, wenn die Defokussierung beginnt, und sich erhöht, wenn eine größere Anzahl von Pixeln in die Mittelwertbildung ein­ bezogen wird, schafft eine sehr sanfte und stufenlose Defo­ kussierwirkung am unteren Ende der Kurve gemäß Fig. 5. Der sich ändernde Anstieg am oberen Ende gemäß Fig. 5 kann er­ reicht werden, indem eine geringere Zunahme der Anzahl der Pixel, die in die Mittelwertbildung einbezogen werden, vor­ genommen wird, wenn die Defokussierung sich ihrem ausgewähl­ ten Maximum nähert.
Es werden Vorkehrungen zum Einfrieren (Verriegeln) der Bedienereinstellungen für jeden der gesteuerten Parameter getroffen. Derartige feste Einstellungen gestatten es dem Bediener, einen fest vorgegebenen Betrag der Defokussierung aufrechtzuerhalten, der während eines Segments einer Sendung bestehen bleibt. Der Bediener kann darüber hinaus jederzeit die Defokussierfunktion bei ihrem aktuellen Zustand einfrie­ ren oder ausschalten, um zu einem scharf abgebildeten Hin­ tergrund zurückzukehren.
Es ist nicht das Ziel, irgendeine gegebene Linse und eine f-Blende zu simulieren, sondern stattdessen einen Be­ reich der Defokussierung zu erzeugen, der aufgrund früherer Erfahrungen von Fachleuten auf dem Gebiet der Erfindung er­ wartet würde. Mit den vorgesehenen Steuermöglichkeiten hat der Bediener die gesamte erforderliche Flexibilität, um Pa­ rameter einzustellen, die einen Hintergrund erzeugen, der weich verläuft, wie man erwarten würde, wenn sich ein Schau­ spieler der Kamera nähert, und sie führen dies automatisch aus. Auf die Standardeinstellungen für jeden der oben be­ schriebenen Parameter wird zugegriffen, wenn die Defokus­ sierfunktion erstmalig ausgewählt wird. Diese Standardein­ stellungen basieren auf der Erfahrung von Ultimatte, können aber auch auf andere Werte zurückgesetzt werden.
Eine Änderung der Kamerabrennweite kann außerdem gering­ fügige Änderungen in der Bildgröße bewirken. Änderungen der Bildgröße führen Nachführfehler zwischen den Kamerabewegun­ gen und den entgegengesetzten Bewegungen der Hintergrund­ szene ein. Bei einer virtuellen Studioumgebung ist es üb­ liche Praxis, den Lichtpegel anzuheben und die Kameralinse abzublenden, um eine große Tiefenschärfe zu erreichen, wo­ durch die Notwendigkeit einer Änderung der Kamerabrennweite vermieden wird.
Selbst wenn man Sensoren an dem Fokussierring der Kame­ ralinse befestigen würde, um Brennweitenänderungen zu erfas­ sen, und derartige Änderungen verwenden würde, um den Hin­ tergrund zu defokussieren, wäre ihre Zweck weitgehend durch die große Tiefenschärfe vereitelt. Die Verwendung des Ob­ jektprozentsatzes des Einzelbildes könnte selbst dann gut verwendet werden, wenn die Kameralinse mit Kameralinsenfo­ kussiersensoren ausgerüstet wäre.
Fig. 6 ist eine Blockdarstellung einer Implementierung der vorgeschlagenen automatischen Hintergrunddefokussierung. Der Zustand der Objektposition in Bezug auf den Einzelbild­ rahmen wird aus dem berechneten Matte-Signal (Block 2) und dem Bildrahmen (Block 3) bestimmt (Block 4). Die Defokus­ sierparameter (Block 1) sind die folgenden:
INITDEF - anfänglicher Defokussierbetrag. Ein voreinge­ stellter Betrag der Defokussierung, der verwendet wird, wenn das Objekt erstmalig eintritt.
MINSIZE - das Verhältnis der Objektfläche zur Einzel­ bildfläche, bei welchem die Defokussierung einsetzt.
RATE - die Geschwindigkeit der Änderung des Defokussier­ betrags, die der Änderung des Prozentsatzes der von dem Ob­ jekt belegten Bildfläche entspricht.
MINDEF - minimaler Defokussierbetrag. Der geringstmög­ liche Betrag der Defokussierung. MINDEF wird typischerweise auf INITDEF initialisiert.
MIN2DEF - sekundärer voreingestellter Defokussierbetrag. MINDEF wird auf MIN2DEF zurückgesetzt, wenn der Defokussier­ betrag MIN2DEF übersteigt, was eine Rückkehr zu einem gerin­ geren Defokussierbetrag verhindert.
MAXDEF - der maximal gestatte Defokussierbetrag.
Wenn festgestellt wird, daß das Objekt gerade in den Rahmen eintritt, wird der Defokussierbetrag allmählich (innerhalb von 2 Sekunden) von Null bis zu INITDEF, einem vorgegebenen Wert, verschoben (Block 5). Wenn das Objekt in den Rahmen innerhalb der vergangenen zwei Sekunden eingetre­ ten ist, wird der Defokussierbetrag allmählich zu d, dem Ausgangssignal von Block 6, verschoben (Block 8). Wenn das Objekt in den Rahmen vor mehr als zwei Sekunden eingetreten ist, wird der Defokussierbetrag auf d, dem Ausgangssignal von Block 6, gesetzt (Block 9). Wenn das Objekt den Rahmen verläßt, wird der Defokussierbetrag eingefroren (Block 7). Wenn schließlich das Objekt den Rahmen innerhalb der letzten zwei Sekunden verlassen hat, wird der Defokussierbetrag all­ mählich auf Null verschoben (Block 10). In jedem Fall wird der neue Hintergrund (Block 34) dann um den Defokussierbe­ trag defokussiert (Block 35).
Fig. 7 zeigt die Details des "Berechne d"-Blocks gemäß Fig. 6. Dieser Block nimmt die Defokussierparameter (Block 1 gemäß Fig. 6), das berechnete Matte-Signal und die Größe des Rahmens (Gesamtanzahl der Pixel), um einen proviso­ rischen "Defokussierbetrag" d zu berechnen, welcher entweder direkt verwendet wird oder mit anderen voreingestellten oder vom Bediener eingestellten Werten, wie sie in Fig. 6 be­ schrieben sind, gemischt wird. Die Anzahl n derjenigen Pixel, für welche das Matte-Signal (Block 11) gleich Null ist, werden gezählt (Block 12) und durch die Gesamtzahl d der Pixel in dem Rahmen (Block 13) geteilt (Block 14). Die­ ses Verhältnis schätzt die relative Größe s des Objekts ab, von welcher MINSIZE, die Minimalgröße für eine Defokussie­ rung (Block 15), dann subtrahiert wird (Block 16), um eine eingestellte Größe sM zu erzeugen. sM wird dann mit dem Pa­ rameter RATE (Block 17) multipliziert, um einen provisorisch verwendeten Defokussierbetrag d zu erzeugen. Optional wird dann, wenn d größer als (Block 20) ein sekundärer Minimalde­ fokussierbetrag MIN2DEF ist (Block 33), der primäre Defokus­ sierbetrag MINDEF (Block 21), der anfänglich auf INITDEF ge­ setzt wurde, auf MIN2DEF zurückgesetzt (Block 19). Dies ge­ stattet es, daß die Defokussierung bei einem geringen Wert (0 oder INITDEF) beginnt, aber verhindert optional später eine Rückkehr zu einem geringen Wert. An diesem Punkt wird d (aus Block 18) mit MINDEF (Block 21) verglichen (Block 22). Wenn d geringer als MINDEF ist, wird es auf MINDEF zurückge­ setzt. Anderenfalls wird d mit MAXDEF (Block 24), dem maxi­ mal gestatteten Betrag der Defokussierung, verglichen (Block 25). Wenn d größer als MAXDEF ist, wird es auf MAXDEF zu­ rückgesetzt. Dies schließt die Berechnung von d ab. Im Block 18 kann als Alternative ein nichtlinearer Defokussierbetrag unter Verwendung einer Nachschlagetabelle (LUT) und durch Ersetzen des Produkts sM . RATE durch die Formel MAXDEF . LUT[sM . RATE/MAXDEF] berechnet werden. Die LUT wird so eingerichtet, daß sie diskrete Werte zwischen 0,0 und 1,0 auf diskrete zwischen Werte 0,0 und 1,0 abbildet. Wie sie in der obigen Formel verwendet wird, ist sie unabhängig von den Defokussierparametern.
Fig. 8 ist ein Zustandsübergangsgraph des Blocks "ERFASSE OBJEKTZUSTAND" gemäß Fig. 6: Bei dieser Figur wird angenommen, daß das Objekt dann "ausgewählte Rahmenränder berührt" (linke, rechte, obere und/oder untere), wenn es Pixel mit einem Matte-Signalpegel von Null an oder benach­ bart zu einem ausgewählten Rand des Rahmens gibt. Das Objekt gilt als "erscheinend", wenn es irgendwelche Matte-Signalpe­ gel von Null in dem Rahmen gibt. Die veranschaulichten Zu­ standsübergänge sind die folgenden:
Wenn sich das System in dem "Räume Rahmen"-Zustand (Block 27) befindet, bewirkt ein Erscheinen eines Objekts (ein Matte-Bereich von Null) einen Übergang in den "In den Rahmen eintretend"-Zustand (Block 28).
Wenn sich das System in dem "In den Rahmen eintretend"- Zustand (Block 28) befindet und das Objekt in dem Rahmen ist, aber keine ausgewählten Rahmenränder berührt, geht das System in den "Jüngst eingetreten"-Zustand (Block 29) über.
Wenn das System in dem "In den Rahmen eintretend"-Zu­ stand (Block 28) ist und das Objekt sich nicht mehr länger in dem Rahmen befindet, geht das System in den Zustand "Den Rahmen jüngst geräumt" (Block 32) über.
Wenn das System in dem "Jüngst eingetreten"-Zustand (Block 29) ist und das Objekt in dem Rahmen ist, aber die ausgewählten Rahmenränder für mehr als zwei Sekunden nicht berührt hat, geht das System in den Zustand "Im Rahmen" (Block 30) über.
Wenn das System in dem "Jüngst eingetreten"-Zustand (Block 29) ist und das Objekt ausgewählte Rahmenränder be­ rührt, geht das System in den Zustand "Den Rahmen verlas­ send" (Block 31) über.
Wenn das System sich in dem Zustand "Im Rahmen" (Block 30) befindet, und das Objekt ausgewählte Rahmenränder be­ rührt, geht das System in den Zustand "Den Rahmen verlas­ send" (Block 31) über.
Wenn sich das System in dem Zustand "Im Rahmen" (Block 30) befindet und das Objekt sich nicht mehr länger in dem Rahmen befindet, geht das System in den Zustand "Den Rahmen jüngst geräumt" (Block 32) über.
Wenn sich das System in dem Zustand "Den Rahmen verlas­ send" (Block 31) befindet, und das Objekt nicht mehr länger in dem Rahmen ist, geht das System in den Zustand "Den Rah­ men jüngst geräumt" (Block 32) über.
Wenn sich das System in dem Zustand "Den Rahmen verlas­ send" (Block 31) befindet und das Objekt in dem Rahmen ist, aber keine ausgewählten Rahmenränder berührt, geht das System in den Zustand "Jüngst eingetreten" (Block 29) über.
Wenn sich das System in dem Zustand "Den Rahmen jüngst geräumt" (Block 32) befindet und das Objekt sich für mehr als zwei Sekunden nicht in dem Rahmen befand, geht das System in den Zustand "Rahmen geräumt" (Block 27) über.
Wenn sich das System in dem Zustand "Den Rahmen jüngst geräumt" (Block 32) befindet und das Objekt erscheint, geht das System in den Zustand "In den Rahmen eintretend" (Block 28) über.

Claims (12)

1. Verfahren zum automatischen Defokussieren einer Hintergrundszene, wenn die Hintergrundszene mit einem Vordergrundobjekt während der Aufnahme eines Objekts zusammengesetzt wird, wobei die Hintergrundszene zunehmend defokussiert wird, wenn sich das Objekt an die Kamera anzunähern scheint, wobei:
  • a) eine Quelle des Hintergrundbildsignals mit einem Hintergrundeingang einer Zusammensetzeinrichtung verbunden wird, die in der Lage ist, eine ausgewählte Gruppe von Hintergrundpixeln zu mitteln,
  • b) eine Quelle des Vordergrundbildsignals mit einem Vordergrundeingang der Zusammensetzeinrichtung verbunden wird,
  • c) auf ein von der Zusammensetzeinrichtung erzeugtes Matte-Signal zugegriffen wird,
  • d) das Matte-Signal verwendet wird, um das Verhältnis der Vordergrundobjektfläche zur Bildfläche zu bestimmen,
  • e) das Flächenverhältnis verwendet wird, um für jedes Pixel in dem Hintergrundbild eine Anzahl benachbarter Pixel auszuwählen, die zu einem Mittelwert verknüpft werden, um einen Mittelwert des Pixels zu bilden, und
  • f) die Werte jedes Pixels in der Hintergrundszene durch den zugehörigen Mittelwert ersetzt werden, wodurch eine Defokussierung der Hintergrundszene erzeugt wird, die mit einer scheinbaren Verringerung des Abstands der Kamera zum Objekt zunimmt.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Flächenverhältnis der Objektfläche zur Bildfläche, bei welchem die Defokussierung einsetzt, einem ausgewählten Minimum des Flächenverhältnisses entspricht.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, daß die Geschwindigkeit der Defokussieränderung für eine vorgegebene Geschwindigkeit der Änderung der Objektfläche selektiv bestimmt wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, daß die Anzahl der für die Mittelwertbildung ausgewählten Pixel den Betrag der Defokussierung bestimmt.
5. Verfahren nach Anspruch 3, dadurch gekennzeichnet, daß die ausgewählte Defokussiergeschwindigkeit nichtlinear gewählt wird.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, daß ein gerade vorhandener Zustand der Defokussierung automatisch eingefroren wird, wenn sich ein Objekt derart bewegt, daß es ausgewählte Ränder des Bildrahmens berührt.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, daß die Defokussierung innerhalb einer vorgegebenen Zeitdauer zu einer scharfen Fokussierung zurückkehrt, wenn das Objekt den Bildrahmen verlassen hat.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, daß der Hintergrund innerhalb einer vorgegebenen Zeitdauer defokussiert wird, wenn das Objekt in den Bildrahmen über ausgewählte Bildränder eintritt.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch gekennzeichnet, daß sich der Betrag der Hintergrunddefokussierung verringert, wenn sich der Abstand der Kamera zum Objekt zu erhöhen scheint.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch gekennzeichnet, daß die für die Mittelwertbildung ausgewählte Anzahl der Pixel ein ausgewähltes Maximum nicht überschreiten kann.
11. Verfahren zum automatischen Defokussieren einer Videohintergrundszene hinter einem Objekt in Echtzeit, wobei die Hintergrundszene proportional zu einem Prozentsatz der von dem Objekt belegten Gesamtbildfläche defokussiert wird.
12. Einrichtung zum automatischen Defokussieren einer Hintergrundszene, wenn die Hintergrundszene mit einem Vordergrundobjekt während der Aufnahme des Objekts zusammengesetzt wird, wobei die Hintergrundszene zunehmend defokussiert wird, wenn sich das Objekt an die Kamera anzunähern scheint, aufweisend:
eine Zusammensetzeinrichtung mit einem Vordergrundeingang zum Empfangen von Vordergrundbildsignalen und einem Hintergrundeingang zum Empfangen von Hintergrundbildsignalen, wobei die Einrichtung in der Lage ist, eine ausgewählte Gruppe von Hintergrundpixeln aus dem empfangenen Hintergrundbildsignal zu mitteln und ein Matte- Signal zu erzeugen, wobei die Einrichtung das Matte-Signal verwendet, um ein Verhältnis der Vordergrundobjektfläche zur Gesamtbildfläche zu bestimmen, und das so bestimmte Flächenverhältnis verwendet, um für jedes Pixel des Hintergrundbildes eine Anzahl benachbarter Pixel für eine Mittelwertbildung auszuwählen, um einen Pixelmittelwert des zugehörigen Pixels zu bilden, wobei die Einrichtung ferner den Signalpegel bei jedem Pixel der Hintergrundszene durch den zugehörigen Pixelmittelwert ersetzt, um die Hintergrundszene proportional zu der scheinbaren Reduktion des Abstandes der Kamera zum Objekt zu defokussieren.
DE10011744A 1999-04-16 2000-03-13 Automatische Hintergrundszenendefokussierung für die Bildzusammensetzung Expired - Lifetime DE10011744B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/293,746 US6646687B1 (en) 1999-04-16 1999-04-16 Automatic background scene defocusing for image compositing
US293746 1999-04-16

Publications (2)

Publication Number Publication Date
DE10011744A1 true DE10011744A1 (de) 2000-10-19
DE10011744B4 DE10011744B4 (de) 2013-06-13

Family

ID=23130406

Family Applications (1)

Application Number Title Priority Date Filing Date
DE10011744A Expired - Lifetime DE10011744B4 (de) 1999-04-16 2000-03-13 Automatische Hintergrundszenendefokussierung für die Bildzusammensetzung

Country Status (4)

Country Link
US (1) US6646687B1 (de)
JP (1) JP4128711B2 (de)
DE (1) DE10011744B4 (de)
GB (1) GB2349027B (de)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030063383A1 (en) * 2000-02-03 2003-04-03 Costales Bryan L. Software out-of-focus 3D method, system, and apparatus
US7081892B2 (en) * 2002-04-09 2006-07-25 Sony Computer Entertainment America Inc. Image with depth of field using z-buffer image data and alpha blending
GB0227566D0 (en) 2002-11-26 2002-12-31 British Telecomm Method and system for estimating global motion in video sequences
GB0227570D0 (en) 2002-11-26 2002-12-31 British Telecomm Method and system for estimating global motion in video sequences
US20050179808A1 (en) * 2004-02-02 2005-08-18 Lite-On Technology Corporation Image capturing device and method with negative out of focus module
US7164462B2 (en) * 2004-03-03 2007-01-16 Louise Lamarre Filming using rear-projection screen and image projector
US8331723B2 (en) 2004-03-25 2012-12-11 Ozluturk Fatih M Method and apparatus to correct digital image blur due to motion of subject or imaging device
WO2006020661A2 (en) * 2004-08-10 2006-02-23 Nicholson Bruce A Sodium screen digital traveling matte methods and apparatus
US7599555B2 (en) * 2005-03-29 2009-10-06 Mitsubishi Electric Research Laboratories, Inc. System and method for image matting
US7657171B2 (en) * 2006-06-29 2010-02-02 Scenera Technologies, Llc Method and system for providing background blurring when capturing an image using an image capture device
WO2009066783A1 (en) * 2007-11-22 2009-05-28 Semiconductor Energy Laboratory Co., Ltd. Image processing method, image display system, and computer program
JP2009188697A (ja) * 2008-02-06 2009-08-20 Fujifilm Corp 多焦点カメラ装置、それに用いられる画像処理方法およびプログラム
TWI524755B (zh) * 2008-03-05 2016-03-01 半導體能源研究所股份有限公司 影像處理方法、影像處理系統及電腦程式
CN101587586B (zh) * 2008-05-20 2013-07-24 株式会社理光 一种图像处理装置及图像处理方法
JP4892046B2 (ja) * 2009-08-28 2012-03-07 株式会社コナミデジタルエンタテインメント 画像生成装置、画像生成方法、ならびに、プログラム
GB2473263B (en) * 2009-09-07 2012-06-06 Sony Comp Entertainment Europe Image processing apparatus, system, and method
US9025873B2 (en) * 2011-11-10 2015-05-05 Canon Kabushiki Kaisha Image processing apparatus and control method therefor
US9083850B1 (en) * 2013-06-29 2015-07-14 Securus Technologies, Inc. Video blurring in a secure environment
US9514558B2 (en) * 2013-09-06 2016-12-06 Imatte, Inc. Method for preventing selected pixels in a background image from showing through corresponding pixels in a transparency layer
GB202011524D0 (en) * 2020-07-24 2020-09-09 Mo Sys Engineering Ltd Camera focus control
US11800056B2 (en) 2021-02-11 2023-10-24 Logitech Europe S.A. Smart webcam system
US11800048B2 (en) 2021-02-24 2023-10-24 Logitech Europe S.A. Image generating system with background replacement or modification capabilities

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2792376B2 (ja) * 1993-02-02 1998-09-03 松下電器産業株式会社 画像ぼかし処理装置
IL109487A (en) * 1994-04-29 1996-09-12 Orad Hi Tec Systems Ltd Chromakeying system
GB9422089D0 (en) * 1994-11-02 1994-12-21 Philips Electronics Uk Ltd Blurring for computer graphics
CA2189109A1 (en) * 1995-10-30 1997-05-01 Kenji Mitsui Keying system and composite image producing method
GB2312125B (en) * 1996-04-11 1998-07-01 Discreet Logic Inc Processing image data
GB9607541D0 (en) * 1996-04-11 1996-06-12 Discreet Logic Inc Processing image data
GB2325131B (en) * 1997-03-27 2002-01-16 British Broadcasting Corp Improvements in artificial image generation
US6157733A (en) * 1997-04-18 2000-12-05 At&T Corp. Integration of monocular cues to improve depth perception
US6771823B2 (en) * 2000-03-21 2004-08-03 Nippon Hoso Kyokai Coding and decoding of moving pictures based on sprite coding

Also Published As

Publication number Publication date
DE10011744B4 (de) 2013-06-13
US6646687B1 (en) 2003-11-11
GB2349027B (en) 2003-03-12
JP4128711B2 (ja) 2008-07-30
JP2000307952A (ja) 2000-11-02
GB2349027A (en) 2000-10-18
GB0002634D0 (en) 2000-03-29

Similar Documents

Publication Publication Date Title
DE10011744A1 (de) Automatische Hintergrundszenendefokussierung für die Bildzusammensetzung
DE19825302B4 (de) System zur Einrichtung einer dreidimensionalen Abfallmatte, welche eine vereinfachte Einstellung räumlicher Beziehungen zwischen realen und virtuellen Szeneelementen ermöglicht
DE19504304C2 (de) Farbtaster-Vorrichtung mit Korrektureinrichtung für Defekte im Hintergrund
DE3216652C2 (de) Video-Umrandungsgenerator
DE112006000358T5 (de) Verfahren und Vorrichtung zur Erstellung eines Panoramabildes
DE2839059C3 (de) Verfahren und Schaltungsanordnung zur fernsehmäßigen gleichzeitigen Wiedergabe einer Folge ausgewählter zeitlich getrennt aufgenommener Abbildungen eines bewegten Objekts
DE3043084C3 (de) Anordnung zum Zusammenfassen mehrerer verschiedener Einzelbilder zu einem Gesamtbild
DE3942273A1 (de) Verfahren zum verdecken von fehlern in einem videosignal
DE10306070A1 (de) Digitale Kamera zum Aufnehmen eines Paars stereoskopischer Bilder
DE2845427A1 (de) Anordnung zur fernsehmaessigen darstellung und aufzeichnung von bewegungsbahnen
DE112008002819T5 (de) Autofokus-Bildsystem
DE19619734A1 (de) Elektronisches Endoskopsystem
DE102017123848A1 (de) Automatisches Parken eines Fahrzeugs auf einem Parkplatz
DE2939400A1 (de) Anordnung zum fernsehmaessigen darstellen und aufzeichnen von bewegungsbahnen
DE10152883A1 (de) Nachführvorrichtung
DE202019105178U1 (de) Kamera und graphische Anwenderschnittstelle
DE2612042A1 (de) Verschiebbares video-mattscheibensystem
DE10012629B4 (de) Ferngesteuertes Schwenkkopfsystem
DE69736638T2 (de) Farbstanzen-Studiosystem
DE112016002564T5 (de) Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und programm
DE102013020611A1 (de) Ein Ansatz für eine Kamerasteuerung
DE102007041719B4 (de) Verfahren zur Erzeugung erweiterter Realität in einem Raum
WO2020061604A1 (de) Verfahren zur fokuseinstellung einer filmkamera
DE2048349B2 (de) Farbfernsehkamera mit mehreren Bildaufnahmeröhren
DE19825837B4 (de) Verfahren und Vorrichtung zur Steuerung von Lichtstellanlagen

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
R016 Response to examination communication
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final

Effective date: 20130914

R071 Expiry of right