DE10011744A1 - Automatische Hintergrundszenendefokussierung für die Bildzusammensetzung - Google Patents
Automatische Hintergrundszenendefokussierung für die BildzusammensetzungInfo
- Publication number
- DE10011744A1 DE10011744A1 DE10011744A DE10011744A DE10011744A1 DE 10011744 A1 DE10011744 A1 DE 10011744A1 DE 10011744 A DE10011744 A DE 10011744A DE 10011744 A DE10011744 A DE 10011744A DE 10011744 A1 DE10011744 A1 DE 10011744A1
- Authority
- DE
- Germany
- Prior art keywords
- background
- defocusing
- pixel
- background scene
- defocus
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims abstract description 17
- 238000012935 Averaging Methods 0.000 claims abstract description 6
- 230000007423 decrease Effects 0.000 claims description 2
- 238000013329 compounding Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 5
- 230000007704 transition Effects 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 239000003973 paint Substances 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000003756 stirring Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/2224—Studio circuitry; Studio devices; Studio equipment related to virtual studio applications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
Abstract
Bei dem Verfahren und der Einrichtung zum automatischen Defokussieren einer Hintergrundszene, wenn die Hintergrundszene mit einem Vordergrundobjekt während der Aufnahme eines Objekts zusammengesetzt wird, wobei die Hintergrundszene zunehmend defokussiert wird, wenn sich das Objekt an die Kamera anzunähern scheint, wird zunächst eine Quelle des Hintergrundbildsignals mit einem Eingang einer Zusammensetzeinrichtung verbunden. Die Zusammensetzeinrichtung ist in der Lage, eine ausgewählte Gruppe von Hintergrundpixeln zu mitteln. Eine Quelle des Vordergrundbildsignals wird mit einem weiteren Eingang der Zusammensetzeinrichtung verbunden. Die Zusammensetzeinrichtung erzeugt ein Matte-Signal, welches dann unter anderem verwendet wird, um das Verhältnis der Fläche des Vordergrundobjekts zu einer Gesamtbildfläche zu bestimmen. Dieses Flächenverhältnis wird verwendet, um für jedes Pixel des Hintergrundbildsignals eine Anzahl benachbarter Pixel für die Mittelwertbildung auszuwählen, um einen Pixelmittelwert zu bilden. Die Signalpegel jedes Pixels der Hintergrundszene werden dann durch den zugehörigen Pixelmittelwert ersetzt. Dies führt zu einer scheinbaren Defokussierung der Hintergrundszene proportional zu der scheinbaren Verringerung des Abstand der Kamera zum Objekt.
Description
Die Erfindung betrifft ein Verfahren und eine Einrich
tung zum automatischen Defokussieren einer Hintergrundszene,
wenn die Hintergrundszene mit einem Vordergrundobjekt wäh
rend der Aufnahme des Objekts zusammengesetzt wird.
Die Szene hinter einer scharf fokussierten Nahaufnahme
eines Objekts ist normalerweise unscharf, da dies die Erfah
rung ist, die typische fotographischen Linsen und die Linse
des menschlichen Auges bieten. Wenn sich jedoch das Objekt
in einem Abstand von 30 Fuß oder mehr befindet, wird erwar
tet, daß der Hintergrund sich in einem annehmbar scharfen
Fokus befindet.
Verbesserungen beim Entfernen des blauen Hintergrunds
bei mit Hilfe der Blue-Screen-Technik zusammengesetzten Auf
nahmen und verbesserte Techniken zum Erfassen und Berück
sichtigen von Kamerabewegungen haben die Verwendung eines
virtuellen Studios für Live-Fernsehsendungen praktikabel ge
macht.
Das virtuelle Studio ersetzt herkömmliche Hintergründe,
die aus Bauholz, Farbe und Tapete hergestellt wurden, durch
Hintergrundszenen, die von einem Künstler oder einem Foto
grafen erzeugt werden. Da er ein Bild ist, ändert sich die
Scharfeinstellung des Hintergrunds nicht, wenn der Vorder
grundkamerabrennpunkt dem Objekt folgt, wenn es sich an die
Kamera annähert oder von ihr entfernt. Dieses Fehlen der
Schärfenänderung des Hintergrunds bei einer Änderung des
Brennpunkts der Kamera stellt einen der Fehler in dem virtu
ellen Studiokonzept dar.
Aufgabe der Erfindung ist es, das mit Hilfe der Blue-
Screen-Technik zusammengesetzte Bild eines Vordergrundob
jekts und eines Hintergrundbildes derart zu verbessern, daß
es sich der Realität annähert, insbesondere die Defokussie
rung des Hintergrundbildes bei der Annäherung des Objekts an
die Kamera nachzubilden.
Diese Aufgabe wird erfindungsgemäß durch ein Verfahren
mit den Merkmalen des Patentanspruchs 1 bzw. eine Einrich
tung mit den Merkmalen des Patentanspruchs 12 gelöst.
Ein Schauspieler, der sich entfernt von der Kamera auf
hält, belegt nur eine geringe Fläche auf dem Bildrahmen (der
Bildfläche). Wenn sich der Schauspieler in der Nähe der Ka
mera befindet, wie beispielsweise bei Nahaufnahmen, so füllt
er einen großen Teil des Bildrahmens. Das Verhältnis der Ob
jektfläche zur Einzelbildfläche ist eines der Kriterien zum
Abschätzen des Ausmaßes der Hintergrunddefokussierung, die
bei verschiedenen Abständen des Objekts zur Kamera auftreten
sollte.
Die Fläche des Objekts wird von dem beim Zusammensetzen
verwendeten "Matte"-Signal zur Verfügung gestellt. Einstell
bare Grenzen des Verhältnisses werden vorgegeben, bei denen
die erzeugte Defokussierung (Unschärfe) initiiert und been
det werden soll. Die Defokussier- und Refokussier-Rate wird
gesteuert, wenn ein sich in der Nähe der Kamera befindender
Schauspieler das Einzelbild betritt oder verläßt.
Vorteilhafte Weiterbildungen der Erfindung sind in den
Unteransprüchen gekennzeichnet.
Im folgenden wird die Erfindung anhand von in den Zeich
nungen dargestellten Ausführungsbeispielen näher beschrie
ben. In den Zeichnungen zeigen:
Fig. 1 ein Diagramm, das den Betrag der Defokussierung
als Funktion der von einem Objekt belegten Bildfläche in
Prozent zeigt. Der Betrag der Defokussierung wird als Pro
zentsatz der höchstmöglichen Defokussierung dargestellt, wo
bei als höchstmögliche Defokussierung der Gesamtdurchschnitt
sämtlicher Pixel (Farben) in dem Einzelbild genommen wird.
Fig. 2 ist ein Diagramm, das einen Bereich von Verhält
nissen der Abbildfläche zu Gesamtbildfläche zeigt, bei denen
nach Auswahl durch einen Bediener die Defokussierung einset
zen soll.
Fig. 3 ist ein Diagramm, das den Bereich der Defokus
sierraten veranschaulicht, die ein Bediener auswählen kann.
Fig. 4 veranschaulicht einen Bereich, über welchen ein
Bediener Maximal- und Minimaldefokussiergrenzen auswählen
kann.
Fig. 5 veranschaulicht ein allmähliches Initiieren und
Beenden der Defokussierung zwischen ausgewählten Maximal-
und Minimalgrenzen.
Fig. 6 ist eine Blockdarstellung einer Implementierung
der vorgeschlagenen automatischen Hintergrunddefokussierung.
Fig. 7 zeigt die Details des "Berechne d"-Blocks gemäß
Fig. 6.
Fig. 8 ist ein Zustandsübergangsgraph des "ERFASSE
OBJEKTZUSTAND"-Blocks gemäß Fig. 6.
Jede Zusammensetzeinrichtung oder jedes Software-Zusam
mensetzprogramm erzeugt ein Matte-Signal, das auch Austast
signal oder Alphakanal genannt wird. Das Matte-Signal stellt
eine Silhouette des Objekts dar und belegt folglich die
gleiche Gesamtbildfläche wie das Objekt. Bei Zusammen
setzeinrichtungen, beispielsweise den von der Ultimatte Cor
poration erhältlichen, ist das Matte-Signal in dem undurch
sichtigen Objektbereich gleich Null. Das Verhältnis der An
zahl von Matte-Pixeln, die einen Matte-Pegel von Null haben,
zu der Gesamtzahl von Pixeln in dem Einzelbild ist der Pro
zentsatz des von dem Objekt belegten Bildrahmens. In dem
Maße, wie die Distanz des Objekts zur Kamera absinkt, oder
abzusinken scheint, belegt das Objekt einen größeren Ab
schnitt der Einzelbildfläche. Die Änderung der Distanz des
Objekts zur Kamera kann simuliert werden, indem die Brenn
weite der Linse bei einer Zoom-Linse geändert wird.
Die x-Achse gemäß Fig. 1 zeigt den Prozentsatz des von
dem Objekt belegten Einzelbildrahmens (Objektgröße), und die
y-Achse zeigt einen sich erhöhenden Betrag der Defokussie
rung eines Hintergrunds, wenn sich die Objektgröße erhöht.
Fig. 1 zeigt, daß der Hintergrund gerade beginnt, an Schärfe
zu verlieren, wenn das Objekt gerade erst ein entfernt ange
ordneter Fleck ist, der keine signifikante Einzelbildfläche
belegt.
Da alle Linsen eine Tiefenschärfe aufweisen, sollte die
Hintergrunddefokussierung solange nicht beginnen, bis das
Objekt näher ist als die hyperfokale Distanz der Vorder
grundlinse. Diese Distanz ist beispielsweise 50 Fuß bei
einer 50 mm-Linse bei f/4.0. Da die Feststellung eines
scharfen Fokus subjektiv ist, ist der Defokussierstartpunkt
ebenfalls subjektiv und hängt von der Szene und der Ent
scheidung des Bedieners ab. In Fig. 2 wird eine Objektgröße
von 20% als Minimalobjektgröße ausgewählt, bei der die Defo
kussierung des Hintergrunds beginnen soll.
Sobald ein geeigneter Defokussierstartpunkt ausgewählt
worden ist, wählt der Bediener dann eine Defokussierrate
aus, d. h., um welchen Betrag der Hintergrund defokussiert
werden soll bei einer gegebenen inkrementalen Erhöhung in
der Objektgröße. Fig. 3 veranschaulicht ein Bereich von De
fokussierraten mit einer durchgezogenen Linie, die eine von
dem Bediener ausgewählte Rate anzeigt.
Sobald der Hintergrund um einen substantiellen Betrag
defokussiert worden ist, gibt es kein Erfordernis, die Defo
kussierung weiter fortzusetzen. Es kann wünschenswert sein,
die Defokussierung auf einen eher moderaten Betrag zu be
grenzen, wenn der Hintergrund nicht soweit defokussiert wer
den soll, daß er unerkennbar wird. Der Maximalbetrag der De
fokussierung kann durch Bedienerauswahl eingeschränkt wer
den. Es wurde eine mittlere Grenze ausgewählt, wie es in
Fig. 4 gezeigt ist. Fig. 4 zeigt darüber hinaus eine ausge
wählte Minimaldefokussiergrenze, die nützlich ist, wenn der
Fokus nicht zu einem fernen Hintergrund zurückkehren soll.
Der Linsenfokus beginnt nicht, sich abrupt zu ändern, so daß
es folglich realistischer wäre, wenn die Fokussieränderungs
rate ein wenig nichtlinear wäre, wie es in Fig. 5 gezeigt
ist.
Damit sie zu ein praktikables System wird, sollte die
automatische Defokussierfunktion möglichst narrensicher sein
und minimale Bedieneraufmerksamkeit erfordern. Was geschieht
beispielsweise, wenn ein sich in der Nähe der Kamera befin
dender Schauspieler aus der Szene an einer Seite des Bild
rahmens hinausläuft? Wahrscheinlich bleibt die Kamera auf
den Schauspieler fokussiert, wenn er die Szene verläßt.
Da er in der Nähe der Kamera ist, füllt der Schauspieler
einen großen Prozentsatz des Bildrahmens, aber wenn er aus
der Szene herausläuft, schrumpft dieser Prozentsatz auf
Null. Da der Prozentsatz der von dem Objekt belegten Bild
fläche auf Null reduziert wird, würde die Defokussierlogik
normalerweise den Hintergrund in die Scharfeinstellung zu
rückbringen, obwohl die Kameralinse ihre Brennweite nicht
ändert. Um die Änderung der Hintergrunddefokussierung zu
vermeiden, friert die Logik des Systems die Hintergrunddefo
kussierung bei ihrer aktuellen Einstellung ein, wenn das Ob
jekt zuerst den linken oder rechten Rand des Bildrahmens be
rührt. Man könnte diese Kantenberührungslogik derart erwei
tern, daß der obere oder untere Rand eingeschlossen werden,
aber wenn die Objekte Menschen sind, werden der linke und
rechte Rand vorzuziehen sein.
Wenn das Objekt den Bildrahmen verlassen hat, wird das
Einfrieren der Hintergrunddefokussierung nach einer Zeit
spanne von wenigen Sekunden freigegeben, um die Aktivitäten
des Kamerabedieners, der die Kamerabrennweite ändert, zu si
mulieren.
Wenn ein Objekt in das Einzelbild in der Nähe der Kamera
eintritt, kann es sein, daß sein exakter Abstand von der Ka
mera nicht bekannt ist. Es kann angenommen werden, daß die
Kamerabrennweite zu dem Schauspieler hin verschoben wird,
welches eine gleichzeitige Defokussierung des Hintergrunds
verursachen sollte. Die typische Geschwindigkeit der Brenn
weitenänderung durch einen Bediener wird durch die Geschwin
digkeit der Defokussieränderung durch die Defokussierlogik
angenähert.
Die maximale Geschwindigkeit, bei welcher ein Defokus
sieren/Refokussieren auftreten kann, wird auf eine ausge
wählte Geschwindigkeit begrenzt, die die Geschwindigkeit si
muliert, bei welcher ein Bediener die Kamerabrennweite än
dern würde. Folglich täuscht der plötzliche Eintritt eines
Objekts in den Einzelbildrahmen die Defokussierlogik nicht
derart, daß sie die Hintergrundfokussierung plötzlich än
dert.
Die Technologie für eine Defokussierung eines Bildes ist
in der Bildverarbeitung gut bekannt. Ein einfaches Mittel
zum Defokussieren eines Bildes besteht darin, für jedes
Pixel in dem Hintergrund einen Mittelwert der RGB-Pegel
einer kleinen Gruppe benachbarter Pixel einzusetzen. Ein ge
wichteter Pixelmittelwert, wobei die Wichtung sehr gering
ist, wenn die Defokussierung beginnt, und sich erhöht, wenn
eine größere Anzahl von Pixeln in die Mittelwertbildung ein
bezogen wird, schafft eine sehr sanfte und stufenlose Defo
kussierwirkung am unteren Ende der Kurve gemäß Fig. 5. Der
sich ändernde Anstieg am oberen Ende gemäß Fig. 5 kann er
reicht werden, indem eine geringere Zunahme der Anzahl der
Pixel, die in die Mittelwertbildung einbezogen werden, vor
genommen wird, wenn die Defokussierung sich ihrem ausgewähl
ten Maximum nähert.
Es werden Vorkehrungen zum Einfrieren (Verriegeln) der
Bedienereinstellungen für jeden der gesteuerten Parameter
getroffen. Derartige feste Einstellungen gestatten es dem
Bediener, einen fest vorgegebenen Betrag der Defokussierung
aufrechtzuerhalten, der während eines Segments einer Sendung
bestehen bleibt. Der Bediener kann darüber hinaus jederzeit
die Defokussierfunktion bei ihrem aktuellen Zustand einfrie
ren oder ausschalten, um zu einem scharf abgebildeten Hin
tergrund zurückzukehren.
Es ist nicht das Ziel, irgendeine gegebene Linse und
eine f-Blende zu simulieren, sondern stattdessen einen Be
reich der Defokussierung zu erzeugen, der aufgrund früherer
Erfahrungen von Fachleuten auf dem Gebiet der Erfindung er
wartet würde. Mit den vorgesehenen Steuermöglichkeiten hat
der Bediener die gesamte erforderliche Flexibilität, um Pa
rameter einzustellen, die einen Hintergrund erzeugen, der
weich verläuft, wie man erwarten würde, wenn sich ein Schau
spieler der Kamera nähert, und sie führen dies automatisch
aus. Auf die Standardeinstellungen für jeden der oben be
schriebenen Parameter wird zugegriffen, wenn die Defokus
sierfunktion erstmalig ausgewählt wird. Diese Standardein
stellungen basieren auf der Erfahrung von Ultimatte, können
aber auch auf andere Werte zurückgesetzt werden.
Eine Änderung der Kamerabrennweite kann außerdem gering
fügige Änderungen in der Bildgröße bewirken. Änderungen der
Bildgröße führen Nachführfehler zwischen den Kamerabewegun
gen und den entgegengesetzten Bewegungen der Hintergrund
szene ein. Bei einer virtuellen Studioumgebung ist es üb
liche Praxis, den Lichtpegel anzuheben und die Kameralinse
abzublenden, um eine große Tiefenschärfe zu erreichen, wo
durch die Notwendigkeit einer Änderung der Kamerabrennweite
vermieden wird.
Selbst wenn man Sensoren an dem Fokussierring der Kame
ralinse befestigen würde, um Brennweitenänderungen zu erfas
sen, und derartige Änderungen verwenden würde, um den Hin
tergrund zu defokussieren, wäre ihre Zweck weitgehend durch
die große Tiefenschärfe vereitelt. Die Verwendung des Ob
jektprozentsatzes des Einzelbildes könnte selbst dann gut
verwendet werden, wenn die Kameralinse mit Kameralinsenfo
kussiersensoren ausgerüstet wäre.
Fig. 6 ist eine Blockdarstellung einer Implementierung
der vorgeschlagenen automatischen Hintergrunddefokussierung.
Der Zustand der Objektposition in Bezug auf den Einzelbild
rahmen wird aus dem berechneten Matte-Signal (Block 2) und
dem Bildrahmen (Block 3) bestimmt (Block 4). Die Defokus
sierparameter (Block 1) sind die folgenden:
INITDEF - anfänglicher Defokussierbetrag. Ein voreinge stellter Betrag der Defokussierung, der verwendet wird, wenn das Objekt erstmalig eintritt.
MINSIZE - das Verhältnis der Objektfläche zur Einzel bildfläche, bei welchem die Defokussierung einsetzt.
RATE - die Geschwindigkeit der Änderung des Defokussier betrags, die der Änderung des Prozentsatzes der von dem Ob jekt belegten Bildfläche entspricht.
MINDEF - minimaler Defokussierbetrag. Der geringstmög liche Betrag der Defokussierung. MINDEF wird typischerweise auf INITDEF initialisiert.
MIN2DEF - sekundärer voreingestellter Defokussierbetrag. MINDEF wird auf MIN2DEF zurückgesetzt, wenn der Defokussier betrag MIN2DEF übersteigt, was eine Rückkehr zu einem gerin geren Defokussierbetrag verhindert.
MAXDEF - der maximal gestatte Defokussierbetrag.
INITDEF - anfänglicher Defokussierbetrag. Ein voreinge stellter Betrag der Defokussierung, der verwendet wird, wenn das Objekt erstmalig eintritt.
MINSIZE - das Verhältnis der Objektfläche zur Einzel bildfläche, bei welchem die Defokussierung einsetzt.
RATE - die Geschwindigkeit der Änderung des Defokussier betrags, die der Änderung des Prozentsatzes der von dem Ob jekt belegten Bildfläche entspricht.
MINDEF - minimaler Defokussierbetrag. Der geringstmög liche Betrag der Defokussierung. MINDEF wird typischerweise auf INITDEF initialisiert.
MIN2DEF - sekundärer voreingestellter Defokussierbetrag. MINDEF wird auf MIN2DEF zurückgesetzt, wenn der Defokussier betrag MIN2DEF übersteigt, was eine Rückkehr zu einem gerin geren Defokussierbetrag verhindert.
MAXDEF - der maximal gestatte Defokussierbetrag.
Wenn festgestellt wird, daß das Objekt gerade in den
Rahmen eintritt, wird der Defokussierbetrag allmählich
(innerhalb von 2 Sekunden) von Null bis zu INITDEF, einem
vorgegebenen Wert, verschoben (Block 5). Wenn das Objekt in
den Rahmen innerhalb der vergangenen zwei Sekunden eingetre
ten ist, wird der Defokussierbetrag allmählich zu d, dem
Ausgangssignal von Block 6, verschoben (Block 8). Wenn das
Objekt in den Rahmen vor mehr als zwei Sekunden eingetreten
ist, wird der Defokussierbetrag auf d, dem Ausgangssignal
von Block 6, gesetzt (Block 9). Wenn das Objekt den Rahmen
verläßt, wird der Defokussierbetrag eingefroren (Block 7).
Wenn schließlich das Objekt den Rahmen innerhalb der letzten
zwei Sekunden verlassen hat, wird der Defokussierbetrag all
mählich auf Null verschoben (Block 10). In jedem Fall wird
der neue Hintergrund (Block 34) dann um den Defokussierbe
trag defokussiert (Block 35).
Fig. 7 zeigt die Details des "Berechne d"-Blocks gemäß
Fig. 6. Dieser Block nimmt die Defokussierparameter (Block
1 gemäß Fig. 6), das berechnete Matte-Signal und die Größe
des Rahmens (Gesamtanzahl der Pixel), um einen proviso
rischen "Defokussierbetrag" d zu berechnen, welcher entweder
direkt verwendet wird oder mit anderen voreingestellten oder
vom Bediener eingestellten Werten, wie sie in Fig. 6 be
schrieben sind, gemischt wird. Die Anzahl n derjenigen
Pixel, für welche das Matte-Signal (Block 11) gleich Null
ist, werden gezählt (Block 12) und durch die Gesamtzahl d
der Pixel in dem Rahmen (Block 13) geteilt (Block 14). Die
ses Verhältnis schätzt die relative Größe s des Objekts ab,
von welcher MINSIZE, die Minimalgröße für eine Defokussie
rung (Block 15), dann subtrahiert wird (Block 16), um eine
eingestellte Größe sM zu erzeugen. sM wird dann mit dem Pa
rameter RATE (Block 17) multipliziert, um einen provisorisch
verwendeten Defokussierbetrag d zu erzeugen. Optional wird
dann, wenn d größer als (Block 20) ein sekundärer Minimalde
fokussierbetrag MIN2DEF ist (Block 33), der primäre Defokus
sierbetrag MINDEF (Block 21), der anfänglich auf INITDEF ge
setzt wurde, auf MIN2DEF zurückgesetzt (Block 19). Dies ge
stattet es, daß die Defokussierung bei einem geringen Wert
(0 oder INITDEF) beginnt, aber verhindert optional später
eine Rückkehr zu einem geringen Wert. An diesem Punkt wird d
(aus Block 18) mit MINDEF (Block 21) verglichen (Block 22).
Wenn d geringer als MINDEF ist, wird es auf MINDEF zurückge
setzt. Anderenfalls wird d mit MAXDEF (Block 24), dem maxi
mal gestatteten Betrag der Defokussierung, verglichen (Block
25). Wenn d größer als MAXDEF ist, wird es auf MAXDEF zu
rückgesetzt. Dies schließt die Berechnung von d ab. Im Block
18 kann als Alternative ein nichtlinearer Defokussierbetrag
unter Verwendung einer Nachschlagetabelle (LUT) und durch
Ersetzen des Produkts sM . RATE durch die Formel
MAXDEF . LUT[sM . RATE/MAXDEF] berechnet werden. Die LUT wird so
eingerichtet, daß sie diskrete Werte zwischen 0,0 und 1,0
auf diskrete zwischen Werte 0,0 und 1,0 abbildet. Wie sie in
der obigen Formel verwendet wird, ist sie unabhängig von den
Defokussierparametern.
Fig. 8 ist ein Zustandsübergangsgraph des Blocks
"ERFASSE OBJEKTZUSTAND" gemäß Fig. 6: Bei dieser Figur wird
angenommen, daß das Objekt dann "ausgewählte Rahmenränder
berührt" (linke, rechte, obere und/oder untere), wenn es
Pixel mit einem Matte-Signalpegel von Null an oder benach
bart zu einem ausgewählten Rand des Rahmens gibt. Das Objekt
gilt als "erscheinend", wenn es irgendwelche Matte-Signalpe
gel von Null in dem Rahmen gibt. Die veranschaulichten Zu
standsübergänge sind die folgenden:
Wenn sich das System in dem "Räume Rahmen"-Zustand (Block 27) befindet, bewirkt ein Erscheinen eines Objekts (ein Matte-Bereich von Null) einen Übergang in den "In den Rahmen eintretend"-Zustand (Block 28).
Wenn sich das System in dem "In den Rahmen eintretend"- Zustand (Block 28) befindet und das Objekt in dem Rahmen ist, aber keine ausgewählten Rahmenränder berührt, geht das System in den "Jüngst eingetreten"-Zustand (Block 29) über.
Wenn das System in dem "In den Rahmen eintretend"-Zu stand (Block 28) ist und das Objekt sich nicht mehr länger in dem Rahmen befindet, geht das System in den Zustand "Den Rahmen jüngst geräumt" (Block 32) über.
Wenn das System in dem "Jüngst eingetreten"-Zustand (Block 29) ist und das Objekt in dem Rahmen ist, aber die ausgewählten Rahmenränder für mehr als zwei Sekunden nicht berührt hat, geht das System in den Zustand "Im Rahmen" (Block 30) über.
Wenn das System in dem "Jüngst eingetreten"-Zustand (Block 29) ist und das Objekt ausgewählte Rahmenränder be rührt, geht das System in den Zustand "Den Rahmen verlas send" (Block 31) über.
Wenn das System sich in dem Zustand "Im Rahmen" (Block 30) befindet, und das Objekt ausgewählte Rahmenränder be rührt, geht das System in den Zustand "Den Rahmen verlas send" (Block 31) über.
Wenn sich das System in dem Zustand "Im Rahmen" (Block 30) befindet und das Objekt sich nicht mehr länger in dem Rahmen befindet, geht das System in den Zustand "Den Rahmen jüngst geräumt" (Block 32) über.
Wenn sich das System in dem Zustand "Den Rahmen verlas send" (Block 31) befindet, und das Objekt nicht mehr länger in dem Rahmen ist, geht das System in den Zustand "Den Rah men jüngst geräumt" (Block 32) über.
Wenn sich das System in dem Zustand "Den Rahmen verlas send" (Block 31) befindet und das Objekt in dem Rahmen ist, aber keine ausgewählten Rahmenränder berührt, geht das System in den Zustand "Jüngst eingetreten" (Block 29) über.
Wenn sich das System in dem Zustand "Den Rahmen jüngst geräumt" (Block 32) befindet und das Objekt sich für mehr als zwei Sekunden nicht in dem Rahmen befand, geht das System in den Zustand "Rahmen geräumt" (Block 27) über.
Wenn sich das System in dem Zustand "Den Rahmen jüngst geräumt" (Block 32) befindet und das Objekt erscheint, geht das System in den Zustand "In den Rahmen eintretend" (Block 28) über.
Wenn sich das System in dem "Räume Rahmen"-Zustand (Block 27) befindet, bewirkt ein Erscheinen eines Objekts (ein Matte-Bereich von Null) einen Übergang in den "In den Rahmen eintretend"-Zustand (Block 28).
Wenn sich das System in dem "In den Rahmen eintretend"- Zustand (Block 28) befindet und das Objekt in dem Rahmen ist, aber keine ausgewählten Rahmenränder berührt, geht das System in den "Jüngst eingetreten"-Zustand (Block 29) über.
Wenn das System in dem "In den Rahmen eintretend"-Zu stand (Block 28) ist und das Objekt sich nicht mehr länger in dem Rahmen befindet, geht das System in den Zustand "Den Rahmen jüngst geräumt" (Block 32) über.
Wenn das System in dem "Jüngst eingetreten"-Zustand (Block 29) ist und das Objekt in dem Rahmen ist, aber die ausgewählten Rahmenränder für mehr als zwei Sekunden nicht berührt hat, geht das System in den Zustand "Im Rahmen" (Block 30) über.
Wenn das System in dem "Jüngst eingetreten"-Zustand (Block 29) ist und das Objekt ausgewählte Rahmenränder be rührt, geht das System in den Zustand "Den Rahmen verlas send" (Block 31) über.
Wenn das System sich in dem Zustand "Im Rahmen" (Block 30) befindet, und das Objekt ausgewählte Rahmenränder be rührt, geht das System in den Zustand "Den Rahmen verlas send" (Block 31) über.
Wenn sich das System in dem Zustand "Im Rahmen" (Block 30) befindet und das Objekt sich nicht mehr länger in dem Rahmen befindet, geht das System in den Zustand "Den Rahmen jüngst geräumt" (Block 32) über.
Wenn sich das System in dem Zustand "Den Rahmen verlas send" (Block 31) befindet, und das Objekt nicht mehr länger in dem Rahmen ist, geht das System in den Zustand "Den Rah men jüngst geräumt" (Block 32) über.
Wenn sich das System in dem Zustand "Den Rahmen verlas send" (Block 31) befindet und das Objekt in dem Rahmen ist, aber keine ausgewählten Rahmenränder berührt, geht das System in den Zustand "Jüngst eingetreten" (Block 29) über.
Wenn sich das System in dem Zustand "Den Rahmen jüngst geräumt" (Block 32) befindet und das Objekt sich für mehr als zwei Sekunden nicht in dem Rahmen befand, geht das System in den Zustand "Rahmen geräumt" (Block 27) über.
Wenn sich das System in dem Zustand "Den Rahmen jüngst geräumt" (Block 32) befindet und das Objekt erscheint, geht das System in den Zustand "In den Rahmen eintretend" (Block 28) über.
Claims (12)
1. Verfahren zum automatischen Defokussieren einer
Hintergrundszene, wenn die Hintergrundszene mit einem
Vordergrundobjekt während der Aufnahme eines Objekts
zusammengesetzt wird, wobei die Hintergrundszene zunehmend
defokussiert wird, wenn sich das Objekt an die Kamera
anzunähern scheint, wobei:
- a) eine Quelle des Hintergrundbildsignals mit einem Hintergrundeingang einer Zusammensetzeinrichtung verbunden wird, die in der Lage ist, eine ausgewählte Gruppe von Hintergrundpixeln zu mitteln,
- b) eine Quelle des Vordergrundbildsignals mit einem Vordergrundeingang der Zusammensetzeinrichtung verbunden wird,
- c) auf ein von der Zusammensetzeinrichtung erzeugtes Matte-Signal zugegriffen wird,
- d) das Matte-Signal verwendet wird, um das Verhältnis der Vordergrundobjektfläche zur Bildfläche zu bestimmen,
- e) das Flächenverhältnis verwendet wird, um für jedes Pixel in dem Hintergrundbild eine Anzahl benachbarter Pixel auszuwählen, die zu einem Mittelwert verknüpft werden, um einen Mittelwert des Pixels zu bilden, und
- f) die Werte jedes Pixels in der Hintergrundszene durch den zugehörigen Mittelwert ersetzt werden, wodurch eine Defokussierung der Hintergrundszene erzeugt wird, die mit einer scheinbaren Verringerung des Abstands der Kamera zum Objekt zunimmt.
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet,
daß das Flächenverhältnis der Objektfläche zur Bildfläche,
bei welchem die Defokussierung einsetzt, einem ausgewählten
Minimum des Flächenverhältnisses entspricht.
3. Verfahren nach Anspruch 1 oder 2, dadurch
gekennzeichnet, daß die Geschwindigkeit der
Defokussieränderung für eine vorgegebene Geschwindigkeit der
Änderung der Objektfläche selektiv bestimmt wird.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch
gekennzeichnet, daß die Anzahl der für die Mittelwertbildung
ausgewählten Pixel den Betrag der Defokussierung bestimmt.
5. Verfahren nach Anspruch 3, dadurch gekennzeichnet,
daß die ausgewählte Defokussiergeschwindigkeit nichtlinear
gewählt wird.
6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch
gekennzeichnet, daß ein gerade vorhandener Zustand der
Defokussierung automatisch eingefroren wird, wenn sich ein
Objekt derart bewegt, daß es ausgewählte Ränder des
Bildrahmens berührt.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet,
daß die Defokussierung innerhalb einer vorgegebenen
Zeitdauer zu einer scharfen Fokussierung zurückkehrt, wenn
das Objekt den Bildrahmen verlassen hat.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch
gekennzeichnet, daß der Hintergrund innerhalb einer
vorgegebenen Zeitdauer defokussiert wird, wenn das Objekt in
den Bildrahmen über ausgewählte Bildränder eintritt.
9. Verfahren nach einem der Ansprüche 1 bis 8, dadurch
gekennzeichnet, daß sich der Betrag der
Hintergrunddefokussierung verringert, wenn sich der Abstand
der Kamera zum Objekt zu erhöhen scheint.
10. Verfahren nach einem der Ansprüche 1 bis 9, dadurch
gekennzeichnet, daß die für die Mittelwertbildung
ausgewählte Anzahl der Pixel ein ausgewähltes Maximum nicht
überschreiten kann.
11. Verfahren zum automatischen Defokussieren einer
Videohintergrundszene hinter einem Objekt in Echtzeit, wobei
die Hintergrundszene proportional zu einem Prozentsatz der
von dem Objekt belegten Gesamtbildfläche defokussiert wird.
12. Einrichtung zum automatischen Defokussieren einer
Hintergrundszene, wenn die Hintergrundszene mit einem
Vordergrundobjekt während der Aufnahme des Objekts
zusammengesetzt wird, wobei die Hintergrundszene zunehmend
defokussiert wird, wenn sich das Objekt an die Kamera
anzunähern scheint, aufweisend:
eine Zusammensetzeinrichtung mit einem Vordergrundeingang zum Empfangen von Vordergrundbildsignalen und einem Hintergrundeingang zum Empfangen von Hintergrundbildsignalen, wobei die Einrichtung in der Lage ist, eine ausgewählte Gruppe von Hintergrundpixeln aus dem empfangenen Hintergrundbildsignal zu mitteln und ein Matte- Signal zu erzeugen, wobei die Einrichtung das Matte-Signal verwendet, um ein Verhältnis der Vordergrundobjektfläche zur Gesamtbildfläche zu bestimmen, und das so bestimmte Flächenverhältnis verwendet, um für jedes Pixel des Hintergrundbildes eine Anzahl benachbarter Pixel für eine Mittelwertbildung auszuwählen, um einen Pixelmittelwert des zugehörigen Pixels zu bilden, wobei die Einrichtung ferner den Signalpegel bei jedem Pixel der Hintergrundszene durch den zugehörigen Pixelmittelwert ersetzt, um die Hintergrundszene proportional zu der scheinbaren Reduktion des Abstandes der Kamera zum Objekt zu defokussieren.
eine Zusammensetzeinrichtung mit einem Vordergrundeingang zum Empfangen von Vordergrundbildsignalen und einem Hintergrundeingang zum Empfangen von Hintergrundbildsignalen, wobei die Einrichtung in der Lage ist, eine ausgewählte Gruppe von Hintergrundpixeln aus dem empfangenen Hintergrundbildsignal zu mitteln und ein Matte- Signal zu erzeugen, wobei die Einrichtung das Matte-Signal verwendet, um ein Verhältnis der Vordergrundobjektfläche zur Gesamtbildfläche zu bestimmen, und das so bestimmte Flächenverhältnis verwendet, um für jedes Pixel des Hintergrundbildes eine Anzahl benachbarter Pixel für eine Mittelwertbildung auszuwählen, um einen Pixelmittelwert des zugehörigen Pixels zu bilden, wobei die Einrichtung ferner den Signalpegel bei jedem Pixel der Hintergrundszene durch den zugehörigen Pixelmittelwert ersetzt, um die Hintergrundszene proportional zu der scheinbaren Reduktion des Abstandes der Kamera zum Objekt zu defokussieren.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/293,746 US6646687B1 (en) | 1999-04-16 | 1999-04-16 | Automatic background scene defocusing for image compositing |
US293746 | 1999-04-16 |
Publications (2)
Publication Number | Publication Date |
---|---|
DE10011744A1 true DE10011744A1 (de) | 2000-10-19 |
DE10011744B4 DE10011744B4 (de) | 2013-06-13 |
Family
ID=23130406
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
DE10011744A Expired - Lifetime DE10011744B4 (de) | 1999-04-16 | 2000-03-13 | Automatische Hintergrundszenendefokussierung für die Bildzusammensetzung |
Country Status (4)
Country | Link |
---|---|
US (1) | US6646687B1 (de) |
JP (1) | JP4128711B2 (de) |
DE (1) | DE10011744B4 (de) |
GB (1) | GB2349027B (de) |
Families Citing this family (22)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20030063383A1 (en) * | 2000-02-03 | 2003-04-03 | Costales Bryan L. | Software out-of-focus 3D method, system, and apparatus |
US7081892B2 (en) * | 2002-04-09 | 2006-07-25 | Sony Computer Entertainment America Inc. | Image with depth of field using z-buffer image data and alpha blending |
GB0227566D0 (en) | 2002-11-26 | 2002-12-31 | British Telecomm | Method and system for estimating global motion in video sequences |
GB0227570D0 (en) | 2002-11-26 | 2002-12-31 | British Telecomm | Method and system for estimating global motion in video sequences |
US20050179808A1 (en) * | 2004-02-02 | 2005-08-18 | Lite-On Technology Corporation | Image capturing device and method with negative out of focus module |
US7164462B2 (en) * | 2004-03-03 | 2007-01-16 | Louise Lamarre | Filming using rear-projection screen and image projector |
US8331723B2 (en) | 2004-03-25 | 2012-12-11 | Ozluturk Fatih M | Method and apparatus to correct digital image blur due to motion of subject or imaging device |
WO2006020661A2 (en) * | 2004-08-10 | 2006-02-23 | Nicholson Bruce A | Sodium screen digital traveling matte methods and apparatus |
US7599555B2 (en) * | 2005-03-29 | 2009-10-06 | Mitsubishi Electric Research Laboratories, Inc. | System and method for image matting |
US7657171B2 (en) * | 2006-06-29 | 2010-02-02 | Scenera Technologies, Llc | Method and system for providing background blurring when capturing an image using an image capture device |
WO2009066783A1 (en) * | 2007-11-22 | 2009-05-28 | Semiconductor Energy Laboratory Co., Ltd. | Image processing method, image display system, and computer program |
JP2009188697A (ja) * | 2008-02-06 | 2009-08-20 | Fujifilm Corp | 多焦点カメラ装置、それに用いられる画像処理方法およびプログラム |
TWI524755B (zh) * | 2008-03-05 | 2016-03-01 | 半導體能源研究所股份有限公司 | 影像處理方法、影像處理系統及電腦程式 |
CN101587586B (zh) * | 2008-05-20 | 2013-07-24 | 株式会社理光 | 一种图像处理装置及图像处理方法 |
JP4892046B2 (ja) * | 2009-08-28 | 2012-03-07 | 株式会社コナミデジタルエンタテインメント | 画像生成装置、画像生成方法、ならびに、プログラム |
GB2473263B (en) * | 2009-09-07 | 2012-06-06 | Sony Comp Entertainment Europe | Image processing apparatus, system, and method |
US9025873B2 (en) * | 2011-11-10 | 2015-05-05 | Canon Kabushiki Kaisha | Image processing apparatus and control method therefor |
US9083850B1 (en) * | 2013-06-29 | 2015-07-14 | Securus Technologies, Inc. | Video blurring in a secure environment |
US9514558B2 (en) * | 2013-09-06 | 2016-12-06 | Imatte, Inc. | Method for preventing selected pixels in a background image from showing through corresponding pixels in a transparency layer |
GB202011524D0 (en) * | 2020-07-24 | 2020-09-09 | Mo Sys Engineering Ltd | Camera focus control |
US11800056B2 (en) | 2021-02-11 | 2023-10-24 | Logitech Europe S.A. | Smart webcam system |
US11800048B2 (en) | 2021-02-24 | 2023-10-24 | Logitech Europe S.A. | Image generating system with background replacement or modification capabilities |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2792376B2 (ja) * | 1993-02-02 | 1998-09-03 | 松下電器産業株式会社 | 画像ぼかし処理装置 |
IL109487A (en) * | 1994-04-29 | 1996-09-12 | Orad Hi Tec Systems Ltd | Chromakeying system |
GB9422089D0 (en) * | 1994-11-02 | 1994-12-21 | Philips Electronics Uk Ltd | Blurring for computer graphics |
CA2189109A1 (en) * | 1995-10-30 | 1997-05-01 | Kenji Mitsui | Keying system and composite image producing method |
GB2312125B (en) * | 1996-04-11 | 1998-07-01 | Discreet Logic Inc | Processing image data |
GB9607541D0 (en) * | 1996-04-11 | 1996-06-12 | Discreet Logic Inc | Processing image data |
GB2325131B (en) * | 1997-03-27 | 2002-01-16 | British Broadcasting Corp | Improvements in artificial image generation |
US6157733A (en) * | 1997-04-18 | 2000-12-05 | At&T Corp. | Integration of monocular cues to improve depth perception |
US6771823B2 (en) * | 2000-03-21 | 2004-08-03 | Nippon Hoso Kyokai | Coding and decoding of moving pictures based on sprite coding |
-
1999
- 1999-04-16 US US09/293,746 patent/US6646687B1/en not_active Expired - Lifetime
- 1999-12-10 JP JP35108599A patent/JP4128711B2/ja not_active Expired - Lifetime
-
2000
- 2000-02-07 GB GB0002634A patent/GB2349027B/en not_active Expired - Lifetime
- 2000-03-13 DE DE10011744A patent/DE10011744B4/de not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
DE10011744B4 (de) | 2013-06-13 |
US6646687B1 (en) | 2003-11-11 |
GB2349027B (en) | 2003-03-12 |
JP4128711B2 (ja) | 2008-07-30 |
JP2000307952A (ja) | 2000-11-02 |
GB2349027A (en) | 2000-10-18 |
GB0002634D0 (en) | 2000-03-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
DE10011744A1 (de) | Automatische Hintergrundszenendefokussierung für die Bildzusammensetzung | |
DE19825302B4 (de) | System zur Einrichtung einer dreidimensionalen Abfallmatte, welche eine vereinfachte Einstellung räumlicher Beziehungen zwischen realen und virtuellen Szeneelementen ermöglicht | |
DE19504304C2 (de) | Farbtaster-Vorrichtung mit Korrektureinrichtung für Defekte im Hintergrund | |
DE3216652C2 (de) | Video-Umrandungsgenerator | |
DE112006000358T5 (de) | Verfahren und Vorrichtung zur Erstellung eines Panoramabildes | |
DE2839059C3 (de) | Verfahren und Schaltungsanordnung zur fernsehmäßigen gleichzeitigen Wiedergabe einer Folge ausgewählter zeitlich getrennt aufgenommener Abbildungen eines bewegten Objekts | |
DE3043084C3 (de) | Anordnung zum Zusammenfassen mehrerer verschiedener Einzelbilder zu einem Gesamtbild | |
DE3942273A1 (de) | Verfahren zum verdecken von fehlern in einem videosignal | |
DE10306070A1 (de) | Digitale Kamera zum Aufnehmen eines Paars stereoskopischer Bilder | |
DE2845427A1 (de) | Anordnung zur fernsehmaessigen darstellung und aufzeichnung von bewegungsbahnen | |
DE112008002819T5 (de) | Autofokus-Bildsystem | |
DE19619734A1 (de) | Elektronisches Endoskopsystem | |
DE102017123848A1 (de) | Automatisches Parken eines Fahrzeugs auf einem Parkplatz | |
DE2939400A1 (de) | Anordnung zum fernsehmaessigen darstellen und aufzeichnen von bewegungsbahnen | |
DE10152883A1 (de) | Nachführvorrichtung | |
DE202019105178U1 (de) | Kamera und graphische Anwenderschnittstelle | |
DE2612042A1 (de) | Verschiebbares video-mattscheibensystem | |
DE10012629B4 (de) | Ferngesteuertes Schwenkkopfsystem | |
DE69736638T2 (de) | Farbstanzen-Studiosystem | |
DE112016002564T5 (de) | Bildverarbeitungsvorrichtung, bildverarbeitungsverfahren und programm | |
DE102013020611A1 (de) | Ein Ansatz für eine Kamerasteuerung | |
DE102007041719B4 (de) | Verfahren zur Erzeugung erweiterter Realität in einem Raum | |
WO2020061604A1 (de) | Verfahren zur fokuseinstellung einer filmkamera | |
DE2048349B2 (de) | Farbfernsehkamera mit mehreren Bildaufnahmeröhren | |
DE19825837B4 (de) | Verfahren und Vorrichtung zur Steuerung von Lichtstellanlagen |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
8110 | Request for examination paragraph 44 | ||
R016 | Response to examination communication | ||
R016 | Response to examination communication | ||
R018 | Grant decision by examination section/examining division | ||
R020 | Patent grant now final |
Effective date: 20130914 |
|
R071 | Expiry of right |