DE60225807T2

DE60225807T2 - Bildverarbeitungseinrichtung

Info

Publication number: DE60225807T2
Application number: DE60225807T
Authority: DE
Inventors: Tetsujiro C/O Sony Corporation Kondo; Naoki c/o SONY CORPORATION FUJIWARA; Junichi c/o SONY CORPORATION ISHIBASHI; Takashi c/o SONY CORPORATION SAWAO; Takahiro c/o SONY CORPORATION NAGANO; Toru c/o SONY CORPORATION MIYAKE; Seiji c/o SONY CORPORATION WADA
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-02-19
Filing date: 2002-02-19
Publication date: 2009-04-16
Anticipated expiration: 2022-02-20
Also published as: CN1461456A; CN1267856C; US7130464B2; KR100848427B1; EP1411473A1; US20040028287A1; KR20030005288A; EP1411473A4; CA2406836A1; EP1411473B1; DE60225807D1; CA2406836C; WO2002067200A1; ES2302794T3; JP4596203B2; JP2002245463A

Description

Technisches Gebiet
Die vorliegende Erfindung bezieht sich auf Bildverarbeitungsvorrichtungen und insbesondere auf eine Bildverarbeitungsvorrichtung, bei der ein Unterschied zwischen einem Signal, das durch einen Sensor erfasst wird, und der realen Welt in Betracht gezogen wird.
Hintergrundtechnik
Eine Technik zum Erfassen von Ereignissen, die in der realen Welt auftreten, durch einen Sensor und zum Verarbeiten von abgetasteten Daten, die von dem Bildsensor ausgegeben werden, wird weit verbreitet verwendet.
Beispielsweise tritt bei einem Bild, das durch Erfassen eines Objekts, das sich vor einem vorbestimmten stationären Hintergrund bewegt, mit einer Videokamera erhalten wird, eine Bewegungsunschärfe auf, wenn die Bewegungsgeschwindigkeit relativ hoch ist.
Wenn sich ein Objekt vor einem stationären Hintergrund bewegt, tritt nicht nur eine Bewegungsunschärfe auf, die durch die Mischung des sich bewegenden Objekts selbst verursacht wird, sondern es tritt ebenfalls die Mischung des Hintergrundbildes und des Objektbildes auf. Bisher ist ein Erfassen des Mischungszustands des Hintergrundbildes und des sich bewegenden Bildes nicht betrachtet worden.
Die WO 99/22520 offenbart bei einem Verfahren eines Erfassen von abgedeckten und nicht abgedeckten Teilen eines Bildes, das zwischen benachbarten vorhergehenden (I) und nächsten (III) Eingangsbildern zu interpolieren ist, dass Rückwärtsbewegungsvektoren von dem nächsten Eingangsbild zu dem vorhergehenden Eingangsbild, und entsprechende Rückwärtsschätzungsfehler aufweisend, und Vorwärtsbewegungsvektoren von dem vorhergehenden Eingangsbild zu dem nächsten Eingangsbild, und entsprechende Vorwärtsschätzungsfehler aufweisend, bestimmt werden, nicht abgedeckte und abgedeckte Teile jeweils in den benachbarten vorhergehenden und nächsten Eingangsbildern erfasst werden, in den so erfassten nicht abgedeckten Teilen nicht abgedeckte Teile in dem zu interpolierenden Bild durch Bestimmen von zweiten Rückwärtsschätzungsfehlern durch Vergleichen von sowohl den benachbarten vorhergehenden als auch den nächsten Eingangsbildern, wenn sie über die Rückwärtsbewegungsvektoren teilweise zu einem zeitlichen Ort des zu interpolierenden Bildes verschoben werden, und durch Vergleichen der zweiten Rückwärtsschätzungsfehler mit einer Schwelle erfasst werden und in den so erfassten abgedeckten Teilen abgedeckte Teile in dem zu interpolierenden Bild durch Bestimmen von zweiten Vorwärtsschätzungsfehlern durch Vergleichen sowohl der benachbarten vorhergehenden als auch der nächsten Eingangsbilder, wenn sie über die Vorwärtsbewegungsvektoren teilweise zu einem zeitlichen Ort des zu interpolierenden Bildes verschoben werden, und durch Vergleichen der zweiten Vorwärtsschätzungsfehler mit der Schwelle erfasst werden.
Die GB 2279531 A offenbart, dass der bewegungskompensierte zeitliche Interpolator in der Lage ist, zu bestimmen, wenn eine Hintergrund-Szene durch ein Vordergrundobjekt abgedeckt oder nicht abgedeckt wird, durch Projizieren von Bewegungsvektoren, die für das Ausgangsfeld bestimmt werden, auf zeitlich benachbarte Eingangsfelder (i/p1, i/p2) und Erfassen der Zahl von Malen, die jedes Eingangspixel als eine Quelle für das Ausgangspixel verwendet wird – ein Abdecken entspricht einer mehrfachen Pixelverwendung in dem folgenden Feld, während ein Nicht-Abdecken einer mehrfachen Pixelverwendung in dem vorhergehenden Feld entspricht. Die Bewegungsvektoren für Ausgangspixel in einem abgedeckten Bereich können dann durch vorwärtsprojizierende Vektoren von dem vorhergehenden Rahmenpaar korrigiert werden, während Ausgangspixel in einem nicht abgedeckten Bereich durch rückwärtsprojizierende Vektoren von dem folgenden Paar korrigiert werden.
Die EP 0933727 A offenbart eine Bildverarbeitungsvorrichtung und ein Verfahren, bei denen Bilddaten eingegeben werden, die eingegebenen Bilddaten in Blöcke, die aus einer Mehrzahl von Pixeln aufgebaut sind, geteilt werden, eine Bewegung der Bilddaten für jeden Block erfasst wird und mindestens die Bilddaten eines ersten Objekts und die Bilddaten eines zweiten Objekts in Übereinstimmung mit dem Erfassungsresultat aus den Bilddaten klassifiziert werden.
Die EP 1 164 545 mit einer früheren Priorität offenbart eine Bildverarbeitungsvorrichtung für eine Segmentierung von Vorder- und Hintergrundobjekten aus Videorahmen, basierend auf Informationen, die einen Vordergrundbereich, der aus Vordergrundobjekten besteht, einen Hintergrundbereich, der aus Hintergrundobjekten besteht, und einen gemischten Bereich, der eine Mischung der Vordergrund- und der Hintergrundobjekte mit Beitragen von den Vorder- und den Hintergrundobjekten bei deren führenden und hinteren Rändern darstellt, spezifizieren. Das Dokument offenbart ferner einen Signalprozessor, der ein zweites Signal erwirbt, das durch Erfassen eines ersten Signals als ein Signal der realen Welt mit einer ersten Dimension erhalten wird. Das zweite Signal weist eine zweite Dimension auf, die niedriger als die erste Dimension ist und bezüglich des ersten Signals eine Verzerrung aufweist. Der Signalprozessor 12 führt ein Signalverarbeiten durch, das auf dem zweiten Signal basiert, um ein drittes Signal zu erzeugen, das verglichen mit dem zweiten Signal hinsichtlich einer Verzerrung abgemildert ist.
Offenbarung der Erfindung
Die vorliegende Erfindung ist in Anbetracht des im Vorhergehenden beschriebenen Hintergrunds gemacht worden. Dementsprechend ist es eine Aufgabe der vorliegenden Erfindung, ein Mischungsverhältnis zu erfassen, das den Mischungszustand einer Mehrzahl von Objekten, wie einem Hintergrundbild und einem sich bewegenden Objektbild, darstellt.
Die Erfindung bezieht sich auf eine Bildverarbeitungsvorrichtung gemäß den Ansprüchen 1 bis 9.
Die Erfindung bezieht sich ferner auf ein Bildverarbeitungsverfahren gemäß den Ansprüchen 10 bis 17.
Die Erfindung bezieht sich ferner auf ein Aufzeichnungsverfahren zum Durchführen des Bildverarbeitungsverfahrens der Ansprüche 10 bis 17.
Die Erfindung bezieht sich ferner auf ein Programm zum Erlauben, dass ein Computer das Bildverarbeitungsverfahren der Ansprüche 10 bis 17 ausführen kann.
Kurze Beschreibung der Zeichnungen
1 ist ein Blockdiagramm, das die Konfiguration eines Ausführungsbeispiels einer Signalverarbeitungsvorrichtung gemäß der vorliegenden Erfindung darstellt.
2 ist ein Blockdiagramm, das die Signalverarbeitungsvorrichtung darstellt.
3 stellt das Bilderfassen, das durch einen Sensor durchgeführt wird, dar.
4 stellt die Anordnung von Pixeln dar.
5 stellt den Betrieb einer Erfassungsvorrichtung dar.
6A stellt ein Bild dar, das durch Bilderfassen eines Objekts, das einem sich bewegenden Vordergrund entspricht, und eines Objekts, das einem stationären Hintergrund entspricht, erhalten wird.
6B stellt ein Modell eines Bildes dar, das durch Bilderfassen eines Objekts, das einem sich bewegenden Vordergrund entspricht, und eines Objekts, das einem stationären Hintergrund entspricht, erhalten wird.
7 stellt einen Hintergrundbereich, einen Vordergrundbereich, einen gemischten Bereich, einen abgedeckten Hintergrundbereich und einen nicht abgedeckten Hintergrundbereich dar.
8 stellt ein Modell dar, das durch Ausdehnen in der Zeitrichtung der Pixelwerte von Pixeln, die in einem Bild, das durch Bilderfassen eines Objekts, das einem stationären Vordergrund entspricht, und eines Objekts, das einem stationären Hintergrund entspricht, erhalten wird, nebeneinanderliegend ausgerichtet sind, erhalten wird.
9 stellt ein Modell dar, bei dem Pixelwerte in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
10 stellt ein Modell dar, bei dem Pixelwerte in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
11 stellt ein Modell dar, bei dem Pixelwerte in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
12 stellt ein Beispiel dar, bei dem Pixel in einem Vordergrundbereich, einem Hintergrundbereich und einem gemischten Bereich extrahiert werden.
13 stellt die Beziehungen zwischen Pixeln und einem Modell, das durch Ausdehnen der Pixelwerte in der Zeitrichtung erhalten wird, dar.
14 stellt ein Modell dar, bei dem Pixelwerte in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
15 stellt ein Modell dar, bei dem Pixelwerte in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
16 stellt ein Modell dar, bei dem Pixelwerte in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
17 stellt ein Modell dar, bei dem Pixelwerte in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
18 stellt ein Modell dar, bei dem Pixelwerte in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
19 ist ein Flussdiagramm, das das Verarbeiten zum Einstellen der Menge einer Bewegungsunschärfe darstellt.
20 ist ein Blockdiagramm, das ein Beispiel der Konfiguration einer Bereichsspezifizierungseinheit 103 darstellt.
21 stellt ein Bild dar, wenn sich ein Objekt, das einem Vordergrund entspricht, bewegt.
22 stellt ein Modell dar, bei dem Pixelwerte in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
23 stellt ein Modell dar, bei dem Pixelwerte in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
24 stellt ein Modell dar, bei dem Pixelwerte in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
25 stellt die Bedingungen zum Bestimmen des Bereichs dar.
26A stellt ein Beispiel des Resultats, das durch Spezifizieren des Bereichs durch die Bereichsspezifizierungseinheit 103 erhalten wird, dar.
26B stellt ein Beispiel des Resultats, das durch Spezifizieren des Bereichs durch die Bereichsspezifizierungseinheit 103 erhalten wird, dar.
26C stellt ein Beispiel des Resultats, das durch Spezifizieren des Bereichs durch die Bereichsspezifizierungseinheit 103 erhalten wird, dar.
26D stellt ein Beispiel des Resultats, das durch Spezifizieren des Bereichs durch die Bereichsspezifizierungseinheit 103 erhalten wird, dar.
27 stellt ein Beispiel des Resultats, das durch Spezifizieren des Bereichs durch die Bereichsspezifizierungseinheit 103 erhalten wird, dar.
28 ist ein Flussdiagramm, das das Bereichsspezifizierungsverarbeiten darstellt.
29 ist ein Blockdiagramm, das ein Beispiel einer weiteren Konfiguration der Bereichsspezifizierungseinheit 103 darstellt.
30 stellt ein Modell dar, bei dem Pixelwerte in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
31 stellt ein Beispiel eines Hintergrundbildes dar.
32 ist ein Blockdiagramm, das die Konfiguration eines Binäres-Objektbild-Extrahierabschnitts 302 darstellt.
33A stellt die Berechnung eines Korrelationswerts dar.
33B stellt die Berechnung eines Korrelationswerts dar.
34A stellt die Berechnung eines Korrelationswerts dar.
34B stellt die Berechnung eines Korrelationswerts dar.
35 stellt ein Beispiel des binären Objektbildes dar.
36 ist ein Blockdiagramm, das die Konfiguration eines Zeitänderungsdetektors 303 darstellt.
37 stellt Bestimmungen, die durch einen Bereichsbestimmungsabschnitt 342 vorgenommen werden, dar.
38 stellt ein Beispiel von Bestimmungen, die durch den Zeitänderungsdetektor 303 vorgenommen werden, dar.
39 ist ein Flussdiagramm, das das Bereichsspezifizierungsverarbeiten, das durch die Bereichsspezifizierungseinheit 103 durchgeführt wird, darstellt.
40 ist ein Flussdiagramm, das Details des Bereichsspezifizierungsverarbeitens darstellt.
41 ist ein Blockdiagramm, das noch eine weitere Konfiguration der Bereichsspezifizierungseinheit 103 darstellt.
42 ist ein Blockdiagramm, das die Konfiguration eines Robust-Verarbeiten-Abschnitts 361 darstellt.
43 stellt eine Bewegungskompensierung, die durch einen Bewegungskompensator 381 durchgeführt wird, dar.
44 stellt eine Bewegungskompensierung, die durch den Bewegungskompensator 381 durchgeführt wird, dar.
45 ist ein Flussdiagramm, das das Bereichsspezifizierungsverarbeiten darstellt.
46 ist ein Flussdiagramm, das Details des robusten Verarbeiten darstellt.
47 ist ein Blockdiagramm, das die Konfiguration eines Mischungsverhältnis-Berechners 104 darstellt.
48 stellt ein Beispiel des idealen Mischungsverhältnisses α dar.
49 stellt ein Modell dar, bei dem Pixelwerte in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
50 stellt ein Modell dar, bei dem Pixelwerte in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
51 stellt die Auswahl von Pixeln dar.
52 stellt die Auswahl von Pixeln dar.
53 ist ein Blockdiagramm, das die Konfiguration eines Geschätztes-Mischungsverhältnis-Prozessors 401 darstellt.
54 ist ein Blockdiagramm, das die Konfiguration eines Mischungsverhältnis-Berechners 422 darstellt.
55 stellt ein Beispiel des geschätzten Mischungsverhältnisses dar.
56 ist ein Blockdiagramm, das eine weitere Konfiguration des Mischungsverhältnis-Berechner 104 darstellt.
57 ist ein Flussdiagramm, das das Verarbeiten zum Berechnen des Mischungsverhältnisses α darstellt.
58 ist ein Flussdiagramm, das das Verarbeiten zum Berechnen der Mischungsverhältnis-Schätzung darstellt.
59 ist ein Blockdiagramm, das ein Beispiel der Konfiguration eines Vordergrund/Hintergrund-Separators 105 darstellt.
60A stellt ein Eingangsbild, ein Vordergrundkomponentenbild und ein Hintergrundkomponentenbild dar.
60B stellt ein Modell eines Eingangsbildes, eines Vordergrundkomponentenbildes und eines Hintergrundkomponentenbildes dar.
61 stellt ein Modell dar, bei dem Pixelwerte in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
62 stellt ein Modell dar, bei dem Pixelwerte in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
63 stellt ein Modell dar, bei dem Pixelwerte in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
64 ist ein Blockdiagramm, das ein Beispiel der Konfiguration eines Trennabschnitts 601 darstellt.
65A stellt ein Beispiel eines getrennten Vordergrundkomponentenbildes dar.
65B stellt ein Beispiel eines getrennten Hintergrundkomponentenbildes dar.
66 ist ein Flussdiagramm, das das Verarbeiten zum Trennen eines Vordergrundes und eines Hintergrundes darstellt.
67 ist ein Blockdiagramm, das ein Beispiel der Konfiguration einer Bewegungsunschärfe-Einstelleinheit 106 darstellt.
68 stellt die Einheit eines Verarbeiten dar.
69 stellt ein Modell dar, bei dem die Pixelwerte eines Vordergrundkomponentenbildes in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
70 stellt ein Modell dar, bei dem Pixelwerte eines Vordergrundkomponentenbildes in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
71 stellt ein Modell dar, bei dem Pixelwerte eines Vordergrundkomponentenbildes in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
72 stellt ein Modell dar, bei dem Pixelwerte eines Vordergrundkomponentenbildes in der Zeitrichtung ausgedehnt sind und die Dauer, die der Verschlusszeit entspricht, geteilt ist.
73 stellt ein Beispiel einer weiteren Konfiguration der Bewegungsunschärfe-Einstelleinheit 106 dar.
74 ist ein Flussdiagramm, das das Verarbeiten zum Einstellen der Menge einer Bewegungsunschärfe, die in einem Vordergrundkomponentenbild enthalten ist, das durch die Bewegungsunschärfe-Einstelleinheit 106 durchgeführt wird, darstellt.
75 ist ein Blockdiagramm, das ein Beispiel einer weiteren Konfiguration der Bewegungsunschärfe-Einstelleinheit 106 darstellt.
76 stellt ein Beispiel eines Modells dar, bei dem die Beziehungen zwischen Pixelwerten und Vordergrundkomponenten angezeigt sind.
77 stellt die Berechnung von Vordergrundkomponenten dar.
78 stellt die Berechnung von Vordergrundkomponenten dar.
79 ist ein Flussdiagramm, das das Verarbeiten zum Eliminieren einer Bewegungsunschärfe, die in einem Vordergrund enthalten ist, darstellt.
80 ist ein Blockdiagramm, das eine weitere Konfiguration der Funktion der Signalverarbeitungsvorrichtung darstellt.
81 stellt die Konfiguration eines Synthesizers 1001 dar.
82 ist ein Blockdiagramm, das noch eine weitere Konfiguration der Funktion der Signalverarbeitungsvorrichtung darstellt.
83 ist ein Blockdiagramm, das die Konfiguration eines Mischungsverhältnis-Berechners 1101 darstellt.
84 ist ein Blockdiagramm, das die Konfiguration eines Vordergrund/Hintergrund-Separators 1102 darstellt.
85 ist ein Blockdiagramm, das noch eine weitere Konfiguration der Funktion der Signalverarbeitungsvorrichtung darstellt.
86 stellt die Konfiguration eines Synthesizers 1201 dar.
Bester Modus zum Ausführen der Erfindung
1 ist ein Blockdiagramm, das die Konfiguration eines Ausführungsbeispiels einer Signalverarbeitungsvorrichtung gemäß der vorliegenden Erfindung darstellt.
Eine CPU (engl.: Central Processing Unit = zentrale Verarbeitungseinheit) 21 führt verschiedene Typen eines Verarbeiten gemäß Programmen, die in einem ROM (engl.: Read Only Memory = Nur-Lese-Speicher) 22 oder in einer Speichereinheit 28 gespeichert sind, aus. Programme, die durch die CPU 21 ausgeführt werden, und Daten werden, wenn es erforderlich ist, in einem RAM (engt.: Random Access Memory = Direktzugriffsspeicher) 23 gespeichert. Die CPU 21, der ROM 22 und der RAM 23 sind durch einen Bus 24 miteinander verbunden.
Eine Eingabe/Ausgabe-Schnittstelle 25 ist über den Bus 24 ebenfalls mit der CPU 21 verbunden. Eine Eingabeeinheit 26, die aus einer Tastatur, einer Maus, einem Mikrofon und so weiter gebildet ist, und eine Ausgabeeinheit 27, die aus einer Anzeige, einem Lautsprecher und so weiter gebildet ist, sind mit der Eingabe/Ausgabe-Schnittstelle 25 verbunden. Die CPU 21 führt in Antwort auf einen Befehl, der von der Eingabeeinheit 26 eingegeben wird, verschiedene Typen eines Verarbeiten aus. Die CPU 21 gibt dann ein Bild oder einen Klang, die als ein Resultat des Verarbeiten erhalten werden, zu der Ausgabeeinheit 27 aus.
Die Speichereinheit 28, die mit der Eingabe/Ausgabe-Schnittstelle 25 verbunden ist, ist beispielsweise aus einer Festplatte gebildet und speichert Programme, die durch die CPU 21 ausgeführt werden, und verschiedene Typen von Daten. Eine Kommunikationseinheit 29 kommuniziert mit einer externen Vorrichtung über das Internet oder ein anderes Netz. Bei diesem Beispiel dient die Kommunikationseinheit 29 als eine Erhalteeinheit zum Erhalten einer Ausgabe eines Sensors.
Alternativ kann über die Kommunikationseinheit 29 ein Programm erhalten und in der Speichereinheit 28 gespeichert werden.
Ein Antrieb 30, der mit der Eingabe/Ausgabe-Schnittstelle 25 verbunden ist, treibt eine magnetische Platte 51, eine optische Platte 52, eine magnetooptische Platte 53, einen Halbleiterspeicher 54 oder Ähnliches an, wenn solch ein Aufzeichnungsmedium an dem Antrieb 30 befestigt ist, und erhält ein Programm oder Daten, die in dem entsprechenden Medium gespeichert sind. Das erhaltene Programm oder die erhaltenen Daten werden zu der Speichereinheit 28 übermittelt und, falls notwendig, in derselben gespeichert.
Durch Heranziehen eines spezifischeren Beispiels wird nun eine Beschreibung einer Signalverarbeitungsvorrichtung gegeben, die ein Verarbeiten, wie ein Spezifizieren eines Bereichs mit signifikanten Informationen, die in demselben eingebettet sind, oder ein Extrahieren von signifikanten Informationen, die in denselben eingebettet sind, aus Daten, die durch einen Sensor erhalten werden, durchführt. Bei dem anschließenden Beispiel entspricht ein CCD-Zeilensensor oder ein CCD-Bereichssensor dem Sensor, die Bereichsinformationen oder das Mischungsverhältnis entspechen den signifikanten Informationen und der Mischungszustand eines Vordergrunds und eines Hintergrunds oder eine Bewegungsunschärfe in einem gemischten Bereich entspricht der Verzerrung.
2 ist ein Blockdiagramm, das die Signalverarbeitungsvorrichtung darstellt.
Es spielt keine Rolle, ob die einzelnen Funktionen der Signalverarbeitungsvorrichtung durch Hardware oder Software implementiert sind. Das heißt, die Blockdiagramme dieser Beschreibung können Hardware-Blockdiagramme oder funktionale Software-Blockdiagramme sein.
Eine Bewegungsunschärfe ist eine Verzerrung, die in einem Bild, das einem sich bewegenden Objekt entspricht, enthalten ist und durch die Bewegung eines zu erfassenden Objekts in der realen Welt und die Bilderfassungscharakteristiken des Sensors verursacht wird.
In dieser Beschreibung wird auf ein zu erfassendes Bild, das einem Objekt in der realen Welt entspricht, als ein Bildobjekt Bezug genommen.
Ein Eingangsbild, das der Signalverarbeitungsvorrichtung zugeführt wird, wird einer Objekt-Extrahiereinheit 101, einer Bereichsspezifizierungseinheit 103, einem Mischungsverhältnis-Berechner 104 und einem Vordergrund/Hintergrund-Separator 105 zugeführt.
Die Objekt-Extrahiereinheit 101 extrahiert ein grobes Bildobjekt, das einem Vordergrundobjekt entspricht, das in dem Eingangsbild enthalten ist, und führt das extrahierte Bildobjekt einem Bewegungsdetektor 102 zu. Die Objekt-Extrahiereinheit 101 erfasst beispielsweise einen Umriss des Vordergrundbildobjekts, das in dem Eingangsbild enthalten ist, um ein grobes Bildobjekt, das dem Vordergrundobjekt entspricht, zu extrahieren.
Die Objekt-Extrahiereinheit 101 extrahiert ein grobes Bildobjekt, das einem Hintergrundobjekt entspricht, das in dem Eingangsbild enthalten ist, und führt das extrahierte Bildobjekt dem Bewegungsdetektor 102 zu. Die Objekt-Extrahiereinheit 101 extrahiert ein grobes Bildobjekt, das dem Hintergrundobjekt entspricht, beispielsweise anhand des Unterschieds zwischen dem Eingangsbild und dem extrahierten Bildobjekt, das dem Vordergrundobjekt entspricht.
Alternativ kann beispielsweise die Objekt-Extrahiereinheit 101 das grobe Bildobjekt, das dem Vordergrundobjekt entspricht, und das grobe Bildobjekt, das dem Hintergrundobjekt entspricht, anhand des Unterschiedes zwischen dem Hintergrundbild, das in einem eingebauten Hintergrundspeicher gespeichert ist, und dem Eingangsbild extrahieren.
Der Bewegungsdetektor 102 berechnet einen Bewegungsvektor des grob extrahierten Bildobjekts, das dem Vordergrundobjekt entspricht, gemäß einer Technik, wie einer Blockangleichungs-, Gradienten-, Phasenkorrelations- oder rekursiven Bildelementtechnik, und führt den berechneten Bewegungsvektor und die Bewegungsvektor-Positionsinformationen (die Informationen zum Spezifizieren der Positionen der Pixel, die dem Bewegungsvektor entsprechen, darstellen) der Bereichsspezifizierungseinheit 103, dem Mischungsverhältnis-Berechner 104 und einer Bewegungsunschärfe-Extrahiereinheit 106 zu.
Der Bewegungsvektor, der von dem Bewegungsdetektor 102 ausgegeben wird, enthält Informationen, die der Menge einer Bewegung v entsprechen.
Der Bewegungsdetektor 102 kann den Bewegungsvektor jedes Bildobjekts zusammen mit den Pixelpositionsinformationen zum Spezifizieren der Pixel des Bildobjekts zu der Bewegungsunschärfe-Einstelleinheit 106 ausgeben.
Die Menge einer Bewegung v ist ein Wert, der eine Positionsänderung in einem Bild, das einem sich bewegenden Objekt entspricht, in Einheiten der Pixelteilung anzeigt. Wenn sich beispielsweise ein Objektbild, das einem Vordergrund entspricht, derart bewegt, dass es bei einer Position, die vier Pixel von einem Bezugsrahmen entfernt ist, angezeigt wird, wenn es in dem nachfolgenden Rahmen positioniert ist, ist die Menge einer Bewegung v des Objektbildes, das dem Vordergrund entspricht, 4.
Die Objekt-Extrahiereinheit 101 und der Bewegungsdetektor 102 werden benötigt, wenn die Menge einer Bewegungsunschärfe, die einem sich bewegenden Objekt entspricht, eingestellt wird.
Die Bereichsspezifizierungseinheit 103 bestimmt, zu welchem von einem Vordergrundbereich, einem Hintergrund oder einem gemischten Bereich jedes Pixel des Eingangsbildes gehört, und führt Informationen, die anzeigen, zu welchem Bereich jedes Pixel gehört, (auf die im Folgenden als "Bereichsinformationen" Bezug genommen ist) dem Mischungsverhältnis-Berechner 104, dem Vordergrund/Hintergrund-Separator 105 und der Bewegungsunschärfe-Einstelleinheit 106 zu.
Der Mischungsverhältnis-Berechner 104 berechnet das Mischungsverhältnis, das den Pixeln, die in einem gemischten Bereich 63 enthalten sind, entspricht, (auf das im Folgenden als das "Mischungsverhältnis α" Bezug genommen ist) basierend auf dem Eingangsbild, dem Bewegungsvektor und den Positionsinformationen desselben, die von dem Bewegungsdetektor 102 zugeführt werden, und den Bereichsinformationen, die von der Bereichsspezifizierungseinheit 103 zugeführt werden, und führt das Mischungsverhältnis α dem Vordergrund/Hintergrund-Separator 105 zu.
Das Mischungsverhältnis α ist ein Wert, der das Verhältnis der Bildkomponenten, die dem Hintergrundobjekt entsprechen, (auf die im Folgenden als "Hintergrundkomponenten" Bezug genommen ist) zu dem Pixelwert anzeigt, wie durch Gleichung (3), die im Folgenden gezeigt ist, ausgedrückt wird.
Der Vordergrund/Hintergrund-Separator 105 trennt das Eingangsbild in ein Vordergrundkomponentenbild, das aus lediglich den Bildkomponenten, die dem Vordergrundobjekt entsprechen, (auf die im Folgenden ebenfalls als "Vordergrundkomponenten" Bezug genommen ist) gebildet ist, und ein Hintergrundkomponentenbild, das aus lediglich den Hintergrundkomponenten gebildet ist, basierend auf den Bereichsinformationen, die von der Bereichsspezifizierungseinheit 103 zugeführt werden, und dem Mischungsverhältnis α, das von dem Mischungsverhältnis-Berechner 104 zugeführt wird, und führt das Vordergrundkomponentenbild der Bewegungsunschärfe-Einstelleinheit 106 und einem Selektor 107 zu. Das getrennte Vordergrundkomponentenbild kann als die endgültige Ausgabe eingestellt werden. Ein präziserer Vordergrund und ein präziserer Hintergrund können verglichen mit einem bekannten Verfahren, bei dem lediglich ein Vordergrund und ein Hintergrund spezifiziert werden, ohne den gemischten Bereich zu berücksichtigen, erhalten werden.
Die Bewegungsunschärfe-Einstelleinheit 106 bestimmt die Einheit eines Verarbeiten, die mindestens ein Pixel, das in dem Vordergrundkomponentenbild enthalten ist, anzeigt, basierend auf der Menge einer Bewegung v, die aus dem Bewegungsvektor erhalten wird, und basierend auf den Bereichsinformationen. Die Einheit eines Verarbeiten sind Daten, die eine Gruppe von Pixeln spezifizieren, die den Bewegungsunschärfe-Einstellungen zu unterziehen sind.
Basierend auf der Menge, mit der die Bewegungsunschärfe einzustellen ist, die in die Signalverarbeitungsvorrichtung eingegeben wird, dem Vordergrundkomponentenbild, das von dem Vordergrund/Hintergrund-Separator 105 zugeführt wird, dem Bewegungsvektor und den Positionsinformationen desselben, die von dem Bewegungsdetektor 102 zugeführt werden, und der Einheit eines Verarbeiten stellt die Bewegungsunschärfe-Einstelleinheit 106 die Menge einer Bewegungsunschärfe, die in dem Vordergrundkomponentenbild enthalten ist, durch Entfernen, Verringern oder Erhöhen der Bewegungsunschärfe, die in dem Vordergrundkomponentenbild enthalten ist, ein. Die Bewegungsunschärfe-Einstelleinheit 106 gibt dann das Vordergrundkomponentenbild, in dem die Menge einer Bewegungsunschärfe eingestellt ist, zu dem Selektor 107 aus. Es ist nicht wesentlich, dass der Bewegungsvektor und die Positionsinformationen desselben verwendet werden.
Der Selektor 107 wählt basierend auf beispielsweise einem Auswahlsignal, das eine Auswahl eines Benutzers widerspiegelt, entweder das Vordergrundkomponentenbild, das von dem Vordergrund/Hintergrund-Separator 105 zugeführt wird, oder das Vordergrundkomponentenbild, bei dem die Menge einer Bewegungsunschärfe eingestellt ist, das von der Bewegungsunschärfe-Einstelleinheit 106 zugeführt wird, aus und gibt das ausgewählte Vordergrundkomponentenbild aus.
Ein Eingangsbild, das der Signalverarbeitungsvorrichtung zugeführt wird, ist im Folgenden unter Bezugnahme auf 3 bis 18 beschrieben.
3 stellt ein Bilderfassen dar, das durch einen Sensor durchgeführt wird. Der Sensor ist beispielsweise aus einer CCD-(engt.: Charge-Coupled Device = Ladungskopplungsvorrichtung)Videokamera gebildet, die mit einem CCD-Bereichssensor, der eine Festkörper-Bilderzeugungsvorrichtung ist, versehen ist. Ein Objekt 111, das einem Vordergrund in der realen Welt entspricht, bewegt sich beispielsweise zwischen einem Objekt 112, das einem Hintergrund entspricht, und dem Sensor horizontal von links nach rechts.
Der Sensor erfasst das Bild des Objekts 111, das dem Vordergrund entspricht, zusammen mit dem Bild des Objekts 112, das dem Hintergrund entspricht. Der Sensor gibt das erfasste Bild in Einheiten von Rahmen aus. Beispielsweise gibt der Sensor ein Bild mit 30 Rahmen pro Sekunde aus. Die Belichtungszeit des Sensors kann 1/30 Sekunde sein. Die Belichtungszeit ist eine Dauer von dem Zeitpunkt an, zu dem der Sensor startet, Eingangslicht in elektrische Ladung umzuwandeln, bis zu dem Zeitpunkt, zu dem die Umwandlung von dem Eingangslicht zu der elektrischen Ladung abgeschlossen ist. Auf die Belichtungszeit wird ebenfalls als "Verschlusszeit" Bezug genommen.
4 stellt die Anordnung von Pixeln dar. In 4 zeigen A bis I die einzelnen Pixel an. Die Pixel sind in einer Ebene eines entsprechenden Bildes angeordnet. Eine Erfassungsvorrichtung, die jedem Pixel entspricht, ist auf dem Sensor angeordnet. Wenn der Sensor ein Bilderfassen durchführt, gibt jede Erfassungsvorrichtung einen Pixelwert des entsprechenden Pixels, der das Bild bildet, aus. Beispielsweise entspricht die Position der Erfassungsvorrichtung in der X-Richtung der horizontalen Richtung auf dem Bild, während die Position der Erfassungsvorrichtung in der Y-Richtung der vertikalen Richtung auf dem Bild entspricht.
Wie in 5 gezeigt, wandelt die Erfassungsvorrichtung, die beispielsweise eine CCD ist, während einer Dauer, die einer Verschlusszeit entspricht, Eingangslicht in elektrische Ladung um und speichert die umgewandelte elektrische Ladung. Die Menge einer Ladung ist annähernd proportional zu der Intensität des Eingangslichts und der Dauer, für die das Licht eingegeben wird. Die Erfassungsvorrichtung addiert während der Dauer, die der Verschlusszeit entspricht, der Reihe nach die elektrische Ladung, die aus dem Eingangslicht umgewandelt wird, zu der gespeicherten elektrischen Ladung. Das heißt, die Erfassungsvorrichtung integriert das Eingangslicht während der Dauer, die der Verschlusszeit entspricht, und speichert die elektrische Ladung, die der Menge eines integrierten Lichts entspricht. Die Erfassungsvorrichtung kann als hinsichtlich der Zeit eine integrierende Funktion aufweisend betrachtet werden.
Die elektrische Ladung, die in der Erfassungsvorrichtung gespeichert ist, wird durch eine Schaltung (nicht gezeigt) in einen Spannungswert umgewandelt, und der Spannungswert wird weiter in einen Pixelwert, wie digitale Daten, umgewandelt und ausgegeben. Dementsprechend ist jeder Pixelwert, der von dem Sensor ausgegeben wird, ein Wert, der auf einen linearen Raum projiziert ist, was ein Resultat eines Integrieren eines bestimmten dreidimensionalen Abschnitts des Objekts, das dem Vordergrund oder dem Hintergrund entspricht, hinsichtlich der Verschlusszeit ist.
Die Signalverarbeitungsvorrichtung extrahiert signifikante Informationen, die in dem Ausgangssignal eingebettet sind, beispielsweise das Mischungsverhältnis α, durch die Speicheroperation des Sensors. Die Signalverarbeitungsvorrichtung stellt die Menge einer Verzerrung, beispielsweise die Menge einer Bewegungsunschärfe, die durch die Mischung des Vordergrund-Bildobjekts selbst verursacht wird, ein. Die Signalverarbeitungsvorrichtung stellt ebenfalls die Menge einer Verzerrung, die durch die Mischung des Vordergrund-Bildobjekts und des Hintergrund-Bildobjekts verursacht wird, ein.
6A stellt ein Bild dar, das durch Erfassen eines sich bewegenden Objekts, das einem Vordergrund entspricht, und eines stationären Objekts, das einem Hintergrund entspricht, erhalten wird. Bei dem Beispiel, das in 6A gezeigt ist, bewegt sich das Objekt, das dem Vordergrund entspricht, hinsichtlich des Schirms horizontal von links nach rechts.
6B stellt ein Modell dar, das durch Ausdehnen von Pixelwerten, die einer Zeile des Bildes, das in 6A gezeigt ist, entsprechen, in der Zeitrichtung erhalten wird. Die horizontale Richtung, die in 6B gezeigt ist, entspricht der räumlichen Richtung X in 6A.
Die Werte der Pixel in dem Hintergrundbereich sind aus lediglich den Hintergrundkomponenten gebildet, d. h. den Bildkomponenten, die dem Hintergrundobjekt entsprechen. Die Werte der Pixel in dem Vordergrundbereich sind aus lediglich den Vordergrundkomponenten gebildet, d. h. den Bildkomponenten, die dem Vordergrundobjekt entsprechen.
Die Werte der Pixel des gemischten Bereichs sind aus den Hintergrundkomponenten und den Vordergrundkomponenten gebildet. Da die Werte der Pixel in dem gemischten Bereich aus den Hintergrundkomponenten und den Vordergrundkomponenten gebildet sind, kann auf denselben als ein "Verzerrungsbereich" Bezug genommen werden. Der gemischte Bereich wird weiter in einen abgedeckten Hintergrundbereich und einen nicht abgedeckten Hintergrundbereich klassifiziert.
Der abgedeckte Hintergrundbereich ist ein gemischter Bereich bei einer Position, die dem führenden Ende in der Richtung, in die sich das Vordergrundobjekt bewegt, entspricht, wobei die Hintergrundkomponenten mit der Zeit allmählich mit dem Vordergrund abgedeckt werden.
Im Gegensatz dazu ist der nicht abgedeckte Hintergrundbereich ein gemischter Bereich, der dem hinteren Ende in der Richtung, in die sich das Vordergrundobjekt bewegt, entspricht, wobei die Hintergrundkomponenten mit der Zeit allmählich erscheinen.
Wie im Vorhergehenden erörtert, wird das Bild, das den Vordergrundbereich, den Hintergrundbereich oder den abgedeckten Hintergrundbereich oder den nicht abgedeckten Hintergrundbereich enthält, als das Eingangsbild in die Bereichsspezifizierungseinheit 103, den Mischungsverhältnis-Berechner 104 und den Vordergrund/Hintergrund-Separator 105 eingegeben.
7 stellt den Hintergrundbereich, den Vordergrundbereich, den gemischten Bereich, den abgedeckten Hintergrundbereich und den nicht abgedeckten Hintergrundbereich, die im Vorhergehenden erörtert sind, dar. Bei den Bereichen, die dem Bild, das in 6A gezeigt ist, entsprechen, ist der Hintergrundbereich ein stationärer Abschnitt, der Vordergrundbereich ist ein sich bewegender Abschnitt, der abgedeckte Hintergrundbereich des gemischten Bereichs ist ein Abschnitt, der sich von dem Hintergrund zu dem Vordergrund ändert, und der nicht abgedeckte Hintergrundbereich des gemischten Bereichs ist ein Abschnitt, der sich von dem Vordergrund zu dem Hintergrund ändert.
8 stellt ein Modell dar, das durch Ausdehnen in der Zeitrichtung der Pixelwerte der Pixel, die in dem Bild, das durch Erfassen des Bildes des Objekts, das dem stationären Vordergrund entspricht, und des Bildes des Objekts, das dem stationären Hintergrund entspricht, erhalten wird, nebeneinanderliegend ausgerichtet sind, erhalten wird. Als die Pixel, die nebeneinanderliegend ausgerichtet sind, können beispielsweise die Pixel, die auf dem Schirm in einer Zeile angeordnet sind, ausgewählt werden.
Die Pixelwerte, die durch F01 bis F04 angezeigt sind, die in 8 gezeigt sind, sind Werte der Pixel, die dem Objekt des stationären Vordergrunds entsprechen. Die Pixelwerte, die durch B01 bis B04 angezeigt sind, die in 8 gezeigt sind, sind Werte der Pixel, die dem Objekt des stationären Hintergrunds entsprechen.
Die Zeit verstreicht in 8 von oben nach unten in der vertikalen Richtung in 8. Die Position bei der oberen Seite des Rechtecks in 8 entspricht der Zeit, zu der der Sensor startet, Eingangslicht in elektrische Ladung umzuwandeln, und die Position bei der unteren Seite des Rechtecks in 8 entspricht der Zeit, zu der die Umwandlung des Eingangslichts in die elektrische Ladung abgeschlossen ist. Das heißt, die Entfernung von der oberen Seite zu der unteren Seite des Rechtecks in 8 entspricht der Verschlusszeit.
Die Pixel, die in 8 gezeigt sind, sind im Folgenden unter der Annahme, dass beispielsweise die Verschlusszeit gleich der Rahmengröße ist, beschrieben.
Die horizontale Richtung in 8 entspricht der räumlichen Richtung X in 6A. Genauer gesagt ist bei dem Beispiel, das in 8 gezeigt ist, die Entfernung von der linken Seite des Rechtecks, das in 8 durch "F01" angezeigt ist, zu der rechten Seite des Rechtecks, das durch "B04" angezeigt ist, das Achtfache der Pixelteilung, d. h. acht aufeinander folgende Pixel.
Wenn das Vordergrundobjekt und das Hintergrundobjekt stationär sind, ändert sich das Licht, das in den Sensor eingegeben wird, während der Dauer, die der Verschlusszeit entspricht, nicht.
Die Dauer, die der Verschlusszeit entspricht, wird in zwei oder mehr Abschnitte mit gleichen Dauern geteilt. Wenn beispielsweise die Zahl von virtuellen geteilten Abschnitten 4 ist, kann das Modell, das in 8 gezeigt ist, durch das Modell, das in 9 gezeigt ist, dargestellt werden. Die Zahl von virtuellen geteilten Abschnitten kann gemäß der Menge einer Bewegung v des Objekts, das dem Vordergrund entspricht, innerhalb der Verschlusszeit eingestellt werden. Beispielsweise wird die Zahl von virtuellen geteilten Abschnitten auf 4 eingestellt, wenn die Menge einer Bewegung v 4 ist, und die Dauer, die der Verschlusszeit entspricht, wird in vier Abschnitte geteilt.
Die äußerste obere Zeile in 9 entspricht der ersten geteilten Dauer von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat. Die zweite Zeile in 9 entspricht der zweiten geteilten Dauer von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat. Die dritte Zeile in 9 entspricht der dritten geteilten Dauer von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat. Die vierte Zeile in 9 entspricht der vierten geteilten Dauer von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat.
Auf die Verschlusszeit, die in Übereinstimmung mit der Menge einer Bewegung v geteilt ist, ist im Folgenden ebenfalls als die "Verschlusszeit/v" Bezug genommen.
Wenn das Objekt, das dem Vordergrund entspricht, stationär ist, ändert sich das Licht, das in den Sensor eingegeben wird, nicht, und daher ist die Vordergrundkomponente F01/v gleich dem Wert, der durch Teilen des Pixelwerts F01 durch die Zahl von virtuellen geteilten Abschnitten erhalten wird. Auf ähnliche Weise ist, wenn das Objekt, das dem Vordergrund entspricht, stationär ist, die Vordergrundkomponente F02/v gleich dem Wert, der durch Teilen des Pixelwerts F02 durch die Zahl von virtuellen geteilten Abschnitten erhalten wird, die Vordergrundkomponente F03/v ist gleich dem Wert, der durch Teilen des Pixelwerts F03 durch die Zahl von virtuellen geteilten Abschnitten erhalten wird, und die Vordergrundkomponente F04/v ist gleich dem Wert, der durch Teilen des Pixelwerts F04 durch die Zahl von virtuellen geteilten Abschnitten erhalten wird.
Wenn das Objekt, das dem Hintergrund entspricht, stationär ist, ändert sich das Licht, das in den Sensor eingegeben wird, nicht, und daher ist die Hintergrundkomponente B01/v gleich dem Wert, der durch Teilen des Pixelwerts B01 durch die Zahl von virtuellen geteilten Abschnitten erhalten wird. Auf ähnliche Weise ist, wenn das Objekt, das dem Hintergrund entspricht, stationär ist, die Hintergrundkomponente B02/v gleich dem Wert, der durch Teilen des Pixelwerts B02 durch die Zahl von virtuellen geteilten Abschnitten erhalten wird, die Hintergrundkomponente B03/v ist gleich dem Wert, der durch Teilen des Pixelwerts B03 durch die Zahl von virtuellen geteilten Abschnitt erhalten wird, und die Hintergrundkomponente B04/v ist gleich dem Wert, der durch Teilen des Pixelwerts B04 durch die Zahl von virtuellen geteilten Abschnitten erhalten wird.
Genauer gesagt, wenn das Objekt, das dem Vordergrund entspricht, stationär ist, ändert sich das Licht, das dem Vordergrundobjekt entspricht, das in den Sensor eingegeben wird, während der Dauer, die der Verschlusszeit entspricht, nicht. Dementsprechend werden die Vordergrundkomponente F01/v, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, die Vordergrundkomponente F01/v, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, die Vordergrundkomponente F01/v, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, und die Vordergrundkomponente F01/v, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, der gleiche Wert. Das Gleiche gilt für F02/v bis F04/v, wie in dem Fall von F01/v.
Wenn das Objekt, das dem Hintergrund entspricht, stationär ist, ändert sich das Licht, das dem Hintergrundobjekt entspricht, das in den Sensor eingegeben wird, während der Dauer, die der Verschlusszeit entspricht, nicht. Dementsprechend werden die Hintergrundkomponente B01/v, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, die Hintergrundkomponente B01/v, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, die Hintergrundkomponente B01/v, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, und die Hintergrundkomponente B01/v, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, der gleiche Wert. Das Gleiche gilt für B02/v bis B04/v.
Eine Beschreibung des Falls, bei dem sich das Objekt, das dem Vordergrund entspricht, bewegt, und das Objekt, das dem Hintergrund entspricht, stationär ist, wird gegeben.
10 stellt ein Modell dar, das durch Ausdehnen in der Zeitrichtung der Pixelwerte der Pixel in einer Zeile, die einen abgedeckten Hintergrundbereich umfassen, erhalten wird, wenn sich das Objekt, das dem Vordergrund entspricht, in 10 nach rechts bewegt. In 10 ist die Menge einer Bewegung v 4. Da ein Rahmen eine kurze Dauer ist, kann angenommen werden, dass das Objekt, das dem Vordergrund entspricht, ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt. In 10 bewegt sich das Objektbild, das dem Vordergrund entspricht, derart, dass es hinsichtlich eines Bezugsrahmens vier Pixel weiter rechts positioniert ist, wenn es in dem nachfolgenden Rahmen angezeigt wird.
In 10 gehören die Pixel von dem äußersten linken Pixel zu dem vierten Pixel zu dem Vordergrundbereich. In 10 gehören die Pixel von dem fünften Pixel zu dem siebten Pixel von links zu dem gemischten Bereich, der der abgedeckte Hintergrundbereich ist. In 10 gehört das äußerste rechte Pixel zu dem Hintergrundbereich.
Das Objekt, das dem Vordergrund entspricht, bewegt sich derart, dass es mit der Zeit allmählich das Objekt, das dem Hintergrund entspricht, abdeckt. Dementsprechend ändern sich die Komponenten, die in den Pixelwerten der Pixel, die zu dem abgedeckten Hintergrundbereich gehören, enthalten sind, während der Dauer, die der Verschlusszeit entspricht, zu einer bestimmten Zeit von den Hintergrundkomponenten zu den Vordergrundkomponenten.
Beispielsweise wird der Pixelwert M, der in 10 durch den dicken Rahmen umgeben ist, durch die folgende Gleichung (1) ausgedrückt. M = B02/v + B02/v + F07/v + F06/v (1)
Beispielsweise enthält das fünfte Pixel von links eine Hintergrundkomponente, die einem Abschnitt der Verschlusszeit/v entspricht, und Vordergrundkomponenten, die drei Abschnitten der Verschlusszeit/v entsprechen, und daher ist das Mischungsverhältnis α des fünften Pixels von links 1/4. Das sechste Pixel von links enthält Hintergrundkomponenten, die zwei Abschnitten der Verschlusszeit/v entsprechen, und Vordergrundkomponenten, die zwei Abschnitten der Verschlusszeit/v entsprechen, und daher ist das Mischungsverhältnis α des sechsten Pixels von links 1/2. Das siebte Pixel von links enthält Hintergrundkomponenten, die drei Abschnitten der Verschlusszeit/v entsprechen, und eine Vordergrundkomponente, die einem Abschnitt der Verschlusszeit/v entspricht, und daher ist das Mischungsverhältnis α des fünften Pixels von links 3/4.
Es kann angenommen werden, dass das Objekt, das dem Vordergrund entspricht, ein starrer Körper ist, und dass sich das Vordergrundobjekt mit konstanter Geschwindigkeit bewegt, derart, dass es in dem nachfolgenden Rahmen vier Pixel weiter rechts angezeigt wird. Dementsprechend ist beispielsweise die Vordergrundkomponente F07/v des vierten Pixels von links in 10, die dem ersten Teil der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, gleich der Vordergrundkomponente des fünften Pixels von links in 10, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht. Auf ähnliche Weise ist die Vordergrundkomponente F07/v gleich der Vordergrundkomponente des sechsten Pixels von links in 10, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, und der Vordergrundkomponente des siebten Pixels von links in 10, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht.
Es kann angenommen werden, dass das Objekt, das dem Vordergrund entspricht, ein starrer Körper ist, und dass sich das Vordergrundobjekt mit konstanter Geschwindigkeit bewegt, derart, dass es in dem nachfolgenden Rahmen vier Pixel weiter rechts angezeigt wird. Dementsprechend ist beispielsweise die Vordergrundkomponente F06/v des dritten Pixels von links in 10, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, gleich der Vordergrundkomponente des vierten Pixels von links in 10, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht. Auf ähnliche Weise ist die Vordergrundkomponente F06/v gleich der Vordergrundkomponente des fünften Pixels von links in 10, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, und der Vordergrundkomponente des sechsten Pixels von links in 10, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht.
Es kann angenommen werden, dass das Objekt, das dem Vordergrund entspricht, ein starrer Körper ist, und dass sich das Vordergrundobjekt mit konstanter Geschwindigkeit bewegt, derart, dass es in dem nachfolgenden Rahmen vier Pixel weiter rechts angezeigt wird. Dementsprechend ist beispielsweise die Vordergrundkomponente F05/v des zweiten Pixels von links in 10, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, gleich der Vordergrundkomponente des dritten Pixels von links in 10, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht. Auf ähnliche Weise ist die Vordergrundkomponente F05/v gleich der Vordergrundkomponente des vierten Pixels von links in 10, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, und der Vordergrundkomponente des fünften Pixels von links in 10, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht.
Es kann angenommen werden, dass das Objekt, das dem Vordergrund entspricht, ein starrer Körper ist, und dass sich das Vordergrundobjekt mit konstanter Geschwindigkeit bewegt, derart, dass es in dem nachfolgenden Rahmen vier Pixel weiter rechts angezeigt wird. Dementsprechend ist beispielsweise die Vordergrundkomponente F04/v des äußersten linken Pixels in 10, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, gleich der Vordergrundkomponente des zweiten Pixels von links in 10, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht. Auf ähnliche Weise ist die Vordergrundkomponente F04/v gleich der Vordergrundkomponente des dritten Pixels von links in 10, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, und der Vordergrundkomponente des vierten Pixels von links in 10, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht.
Da der Vordergrundbereich, der dem sich bewegenden Objekt entspricht, wie im Vorhergehenden erörtert eine Bewegungsunschärfe enthält, kann auf denselben ebenfalls als einen "Verzerrungsbereich" Bezug genommen werden.
11 stellt ein Modell dar, das durch Ausdehnen in der Zeitrichtung der Pixelwerte der Pixel in einer Zeile, die einen nicht abgedeckten Hintergrundbereich umfassen, erhalten wird, wenn sich das Objekt, das dem Vordergrund entspricht, in 11 nach rechts bewegt. In 11 ist die Menge einer Bewegung v 4. Da ein Rahmen eine kurze Dauer ist, kann angenommen werden, dass das Objekt, das dem Vordergrund entspricht, ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt. In 11 bewegt sich das Objektbild, das dem Vordergrund entspricht, nach rechts, derart, dass es hinsichtlich eines Bezugsrahmens vier Pixel weiter rechts positioniert ist, wenn es in dem nachfolgenden Rahmen angezeigt wird.
In 11 gehören die Pixel von dem äußersten linken Pixel zu dem vierten Pixel zu dem Hintergrundbereich. In 11 gehören die Pixel von dem fünften Pixel zu dem siebten Pixel von links zu dem gemischten Bereich, der ein nicht abgedeckter Hintergrundbereich ist. In 11 gehört das äußerste rechte Pixel zu dem Vordergrundbereich.
Das Objekt, das dem Vordergrund entspricht, das das Objekt, das dem Hintergrund entspricht, abdeckt, bewegt sich derart, dass es mit der Zeit allmählich von dem Objekt, das dem Hintergrund entspricht, entfernt wird. Dementsprechend ändern sich die Komponenten, die in den Pixelwerten der Pixel, die zu dem nicht abgedeckten Hintergrundbereich gehören, enthalten sind, zu einer bestimmten Zeit der Dauer, die der Verschlusszeit entspricht, von den Vordergrundkomponenten zu den Hintergrundkomponenten.
Beispielsweise wird der Pixelwert M', der in 11 durch den dicken Rahmen umgeben ist, durch Gleichung (2) ausgedrückt. M' = F02/v + F01/v + B26/v + B26/v (2)
Beispielsweise enthält das fünfte Pixel von links Hintergrundkomponenten, die drei Abschnitten der Verschlusszeit/v entsprechen, und eine Vordergrundkomponente, die einem Verschlussabschnitt der Verschlusszeit/v entspricht, und daher ist das Mischungsverhältnis α des fünften Pixels von links 3/4. Das sechste Pixel von links enthält Hintergrundkomponenten, die zwei Abschnitten der Verschlusszeit/v entsprechen, und Vordergrundkomponenten, die zwei Abschnitten der Verschlusszeit/v entsprechen, und daher ist das Mischungsverhältnis α des sechsten Pixels von links 1/2. Das siebte Pixel von links enthält eine Hintergrundkomponente, die einem Abschnitt der Verschlusszeit/v entspricht, und Vordergrundkomponenten, die drei Abschnitten der Verschlusszeit/v entsprechen, und daher ist das Mischungsverhältnis α des siebten Pixels von links 1/4.
Wenn die Gleichungen (1) und (2) verallgemeinert werden, kann der Pixelwert M durch Gleichung (3) ausgedruckt werden: M = α·B + Σ iFi/v (3)wobei α das Mischungsverhältnis ist, B einen Pixelwert des Hintergrunds anzeigt und Fi/v eine Vordergrundkomponente bestimmt.
Es kann angenommen werden, dass das Objekt, das dem Vordergrund entspricht, ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt, und dass die Menge einer Bewegung 4 ist. Dementsprechend ist beispielsweise die. Vordergrundkomponente F01/v des fünften Pixels von links in 11, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, gleich der Vordergrundkomponente des sechsten Pixels von links in 11, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht. Auf ähnliche Weise ist die Vordergrundkomponente F01/v gleich der Vordergrundkomponente des siebten Pixels von links in 11, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, und der Vordergrundkomponente des achten Pixels von links in 11, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht.
Es kann angenommen werden, dass das Objekt, das dem Vordergrund entspricht, ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt, und dass die Menge einer Bewegung v 4 ist. Dementsprechend ist beispielsweise die Vordergrundkomponente F02/v des sechsten Pixels von links in 11, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, gleich der Vordergrundkomponente des siebten Pixels von links in 11, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht. Auf ähnliche Weise ist die Vordergrundkomponente F02/v gleich der Vordergrundkomponente des achten Pixels von links in 11, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht.
Es kann angenommen werden, dass das Objekt, das dem Vordergrund entspricht, ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt, und dass die Menge einer Bewegung v 4 ist. Dementsprechend ist beispielsweise die Vordergrundkomponente F03/v des siebten Pixels von links in 11, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, gleich der Vordergrundkomponente des achten Pixels von links in 11, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht.
Unter Bezugnahme auf 9 bis 11 ist beschrieben worden, dass die Zahl von virtuellen geteilten Abschnitten 4 ist. Die Zahl von virtuellen geteilten Abschnitten entspricht der Menge einer Bewegung v. Allgemein entspricht die Menge einer Bewegung v der Bewegungsgeschwindigkeit des Objekts, das dem Vordergrund entspricht. Wenn sich beispielsweise das Objekt, das dem Vordergrund entspricht, derart bewegt, dass es hinsichtlich eines bestimmten Rahmens vier Pixel weiter rechts angezeigt wird, wenn es in dem nachfolgenden Rahmen positioniert ist, wird die Menge einer Bewegung v auf 4 eingestellt. Die Zahl von virtuellen geteilten Abschnitten wird in Übereinstimmung mit der Menge einer Bewegung v auf 4 eingestellt. Auf ähnliche Weise wird, wenn sich das Objekt, das dem Vordergrund entspricht, derart bewegt, dass es hinsichtlich eines bestimmten Rahmens sechs Pixel weiter links angezeigt wird, wenn es in dem nachfolgenden Rahmen positioniert ist, die Menge einer Bewegung v auf 6 eingestellt, und die Zahl von virtuellen geteilten Abschnitten wird auf 6 eingestellt.
12 und 13 stellen die Beziehung des Vordergrundbereichs, des Hintergrundbereichs und des gemischten Bereichs, der aus einem abgedeckten Hintergrundbereich oder einem nicht abgedeckten Hintergrundbereich besteht, die im Vorhergehenden erörtert sind, zu den Vordergrundkomponenten und den Hintergrundkomponenten, die den geteilten Dauern der Verschlusszeit entsprechen, dar.
12 stellt ein Beispiel dar, bei dem Pixel in dem Vordergrundbereich, dem Hintergrundbereich und dem gemischten Bereich aus einem Bild extrahiert werden, das einen Vordergrund enthält, der einem Objekt entspricht, das sich vor einem stationären Hintergrund bewegt. Bei dem Beispiel, das in 12 gezeigt ist, bewegt sich das Objekt, das dem Vordergrund entspricht, hinsichtlich des Schirms horizontal.
Ein Rahmen #n + 1 ist ein Rahmen, der einem Rahmen #n nachfolgt, und ein Rahmen #n + 2 ist ein Rahmen, der dem Rahmen #n + 1 nachfolgt.
Pixel in dem Vordergrundbereich, dem Hintergrundbereich und dem gemischten Bereich werden aus einem der Rahmen #n bis #n + 2 extrahiert, und die Menge einer Bewegung v wird auf 4 eingestellt. Ein Modell, das durch Ausdehnen der Pixelwerte der extrahierten Pixel in der Zeitrichtung erhalten wird, ist in 13 gezeigt.
Da sich das Objekt, das dem Vordergrund entspricht, bewegt, sind die Pixelwerte in dem Vordergrundbereich aus vier unterschiedlichen Vordergrundkomponenten, die der Verschlusszeit/v entsprechen, gebildet. Beispielsweise besteht das äußerste linke Pixel der Pixel in dem Vordergrundbereich, die in 13 gezeigt sind, aus F01/v, F02/v, F03/v und F04/v. Das heißt die Pixel in dem Vordergrund enthalten eine Bewegungsunschärfe.
Da das Objekt, das dem Hintergrund entspricht, stationär ist, ändert sich Licht, das in den Sensor eingegeben wird, das dem Hintergrund entspricht, während der Verschlusszeit nicht. In diesem Fall enthalten die Pixelwerte in dem Hintergrundbereich keine Bewegungsunschärfe.
Die Pixelwerte in dem gemischten Bereich, der aus einem abgedeckten Hintergrund oder einem nicht abgedeckten Hintergrundbereich besteht, sind aus Vordergrundkomponenten und Hintergrundkomponenten gebildet.
Im Folgenden ist eine Beschreibung eines Modells gegeben, das durch Ausdehnen in der Zeitrichtung der Pixelwerte der Pixel, die in einer Mehrzahl von Rahmen nebeneinanderliegend ausgerichtet sind und die sich bei den gleichen Positionen befinden, wenn die Rahmen überlappen, erhalten wird, wenn sich das Bild, das dem Objekt entspricht, bewegt. Wenn sich beispielsweise das Bild, das dem Objekt entspricht, hinsichtlich des Schirms horizontal bewegt, können Pixel, die auf dem Schirm ausgerichtet sind, als die Pixel, die nebeneinanderliegend ausgerichtet sind, ausgewählt werden.
14 stellt ein Modell dar, das durch Ausdehnen in der Zeitrichtung der Pixel erhalten wird, die in drei Rahmen eines Bildes, das durch Erfassen eines Objekts, das einem stationären Hintergrund entspricht, erhalten wird, nebeneinanderliegend ausgerichtet sind und die sich bei den gleichen Positionen befinden, wenn die Rahmen überlappen. Der Rahmen #n ist der Rahmen, der dem Rahmen #n – 1 nachfolgt, und der Rahmen #n + 1 ist der Rahmen, der dem Rahmen #n nachfolgt. Das Gleiche gilt für die anderen Rahmen.
Die Pixelwerte B01 bis B12, die in 14 gezeigt sind, sind Pixelwerte, die dem stationären Hintergrundobjekt entsprechen. Da das Objekt, das dem Hintergrund entspricht, stationär ist, ändern sich die Pixelwerte der entsprechenden Pixel in dem Rahmen #n – 1 bis zu dem Rahmen #n + 1 nicht. Beispielsweise haben das Pixel in dem Rahmen #n und das Pixel in dem Rahmen #n + 1, die sich bei der entsprechenden Position des Pixels mit dem Pixelwert B05 in dem Rahmen #n – 1 befinden, den Pixelwert B05.
15 stellt ein Modell dar, das durch Ausdehnen in der Zeitrichtung der Pixel, die in drei Rahmen eines Bildes, das durch Erfassen eines Objekts, das einem Vordergrund entspricht, das sich in 15 nach rechts bewegt, zusammen mit einem Objekt, das einem stationären Hintergrund entspricht, erhalten wird, nebeneinanderliegend ausgerichtet sind und die sich bei den gleichen Positionen befinden, wenn die Rahmen überlappen, erhalten wird. Das Modell, das in 15 gezeigt ist, enthält einen abgedeckten Hintergrundbereich.
In 15 kann angenommen werden, dass das Objekt, das dem Vordergrund entspricht, ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt, und dass es sich derart bewegt, dass es in dem nachfolgenden Rahmen vier Pixel weiter rechts angezeigt wird. Dementsprechend ist die Menge einer Bewegung v 4, und die Zahl von virtuellen geteilten Abschnitten ist 4.
Beispielsweise ist die Vordergrundkomponente des äußersten linken Pixels des Rahmens #n – 1 in 15, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, F12/v, und die Vordergrundkomponente des zweiten Pixels von links in 15, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist ebenfalls F12/v. Die Vordergrundkomponente des dritten Pixels von links in 15, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, und die Vordergrundkomponente des vierten Pixels von links in 15, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, sind F12/v.
Die Vordergrundkomponente des äußersten linken Pixels des Rahmens #n – 1 in 15, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist F11/v. Die Vordergrundkomponente des zweiten Pixels von links in 15, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist ebenfalls F11/v. Die Vordergrundkomponente des dritten Pixels von links in 15, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist F11/v.
De Vordergrundkomponente des äußersten linken Pixels des Rahmens #n – 1 in 15, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist F10/v. Die Vordergrundkomponente des zweiten Pixels von links in 15, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist ebenfalls F10/v. Die Vordergrundkomponente des äußersten linken Pixels des Rahmens #n – 1 in 15, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist F09/v.
Da das Objekt, das dem Hintergrund entspricht, stationär ist, ist die Hintergrundkomponente des zweiten Pixels von links des Rahmens #n – 1 in 15, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, B01/v. Die Hintergrundkomponenten des dritten Pixels von links des Rahmens #n – 1 in 15, die den ersten und zweiten Abschnitten der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entsprechen, sind B02/v. Die Hintergrundkomponenten des vierten Pixels von links des Rahmens #n – 1 in 15, die den ersten bis dritten Abschnitten der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entsprechen, sind B03/v.
In dem Rahmen #n – 1 in 15 gehört das äußerste linke Pixel von links zu dem Vordergrundbereich und die zweiten bis vierten Pixel von links gehören zu dem gemischten Bereich, der ein abgedeckter Hintergrundbereich ist.
Die fünften bis zwölften Pixel von links des Rahmens #n – 1 in 15 gehören zu dem Hintergrundbereich, und die Pixelwerte derselben sind jeweils B04 bis B11.
Die ersten bis fünften Pixel von links in dem Rahmen #n in 15 gehören zu dem Vordergrundbereich. Die Vordergrundkomponente in der Verschlusszeit/v in dem Vordergrundbereich des Rahmens #n ist eine von F05/v bis F12/v.
Es kann angenommen werden, dass das Objekt, das dem Vordergrund entspricht, ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt, und dass es sich derart bewegt, dass das Vordergrundbild in dem nachfolgenden Rahmen vier Pixel weiter rechts angezeigt wird. Dementsprechend ist die Vordergrundkomponente des fünften Pixels von links des Rahmens #n in 15, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, F12/v, und die Vordergrundkomponente des sechsten Pixels von links in 15, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist ebenfalls F12/v. Die Vordergrundkomponente des siebten Pixels von links in 15, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, und die Vordergrundkomponente des achten Pixels von links in 15, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, sind F12/v.
Die Vordergrundkomponente des fünften Pixels von links des Rahmens #n in 15, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist F11/v. Die Vordergrundkomponente des sechsten Pixels von links in 15, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist ebenfalls F11/v. Die Vordergrundkomponente des siebten Pixels von links in 15, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist F11/v.
Die Vordergrundkomponente des fünften Pixels von links des Rahmens #n in 15, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist F10/v. Die Vordergrundkomponente des sechsten Pixels von links in 15, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist ebenfalls F10/v. Die Vordergrundkomponente des fünften Pixels von links des Rahmens #n in 15, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist F09/v.
Da das Objekt, das dem Hintergrund entspricht, stationär ist, ist die Hintergrundkomponente des sechsten Pixels von links des Rahmens #n in 15, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, B05/v. Die Hintergrundkomponenten des siebten Pixels von links des Rahmens #n in 15, die den ersten und zweiten Abschnitten der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entsprechen, sind B06/v. Die Hintergrundkomponenten des achten Pixels von links des Rahmens #n in 15, die dem ersten bis dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entsprechen, sind B07/v.
In dem Rahmen #n in 15 gehören die sechsten bis achten Pixel von links zu dem gemischten Bereich, der ein abgedeckter Hintergrundbereich ist.
Die neunten bis zwölften Pixel von links des Rahmens #n in 15 gehören zu dem Hintergrundbereich, und die Pixelwerte derselben sind jeweils B08 bis B11.
Die ersten bis neunten Pixel von links in dem Rahmen #n + 1 in 15 gehören zu dem Vordergrundbereich. Die Vordergrundkomponente in der Verschlusszeit/v in dem Vordergrundbereich des Rahmens #n + 1 ist eine von F01/v bis F12/v.
Es kann angenommen werden, dass das Objekt, das dem Vordergrund entspricht, ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt, und dass es sich derart bewegt, dass das Vordergrundbild in dem nachfolgenden Rahmen vier Pixel weiter rechts angezeigt wird. Dementsprechend ist die Vordergrundkomponente des neunten Pixels von links des Rahmens #n + 1 in 15, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, F12/v, und die Vordergrundkomponente des zehnten Pixels von links in 15, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist ebenfalls F12/v. Die Vordergrundkomponente des elften Pixels von links in 15, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, und die Vordergrundkomponente des zwölften Pixels von links in 15, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, sind F12/v.
Die Vordergrundkomponente des neunten Pixels von links des Rahmens #n + 1 von 15, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist F11/v. Die Vordergrundkomponente des zehnten Pixels von links in 15, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist ebenfalls F11/v. Die Vordergrundkomponente des elften Pixels von links in 15, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist ebenfalls F11/v.
Die Vordergrundkomponente des neunten Pixels von links des Rahmens #n + 1 von 15, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist F10/v. Die Vordergrundkomponente des zehnten Pixels von links in 15, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist ebenfalls F10/v. Die Vordergrundkomponente des neunten Pixels von links des Rahmens #n + 1 in 15, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist F09/v.
Da das Objekt, das dem Hintergrund entspricht, stationär ist, ist die Hintergrundkomponente des zehnten Pixels von links des Rahmens #n + 1 in 15, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, B09/v. Die Hintergrundkomponenten des elften Pixels von links des Rahmens #n + 1 in 15, die den ersten und zweiten Abschnitten der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entsprechen, sind B10/v. Die Hintergrundkomponenten des zwölften Pixels von links des Rahmens #n + 1 in 15, die dem ersten bis dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entsprechen, sind B11/v.
In dem Rahmen #n + 1 in 15 gehören die zehnten bis zwölften Pixel von links zu dem gemischten Bereich, der ein abgedeckter Hintergrundbereich ist.
16 ist ein Modell eines Bildes, das durch Extrahieren der Vordergrundkomponenten aus den Pixelwerten, die in 15 gezeigt sind, erhalten wird.
17 stellt ein Modell dar, das durch Ausdehnen in der Zeitrichtung der Pixel, die in drei Rahmen eines Bildes, das durch Erfassen eines Objekts, das einem Vordergrund entspricht, das sich in 17 nach rechts bewegt, zusammen mit einem Objekt, das einem stationären Hintergrund entspricht, erhalten wird, nebeneinanderliegend ausgerichtet sind und die sich bei den gleichen Positionen befinden, wenn die Rahmen überlappen, erhalten wird. Das Modell, das in 17 gezeigt ist, enthält einen nicht abgedeckten Hintergrundbereich.
In 17 kann angenommen werden, dass das Objekt, das dem Vordergrund entspricht, ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt, und dass es sich derart bewegt, dass es in dem nachfolgenden Rahmen vier Pixel weiter rechts angezeigt wird. Dementsprechend ist die Menge einer Bewegung v 4.
Beispielsweise ist die Vordergrundkomponente des äußersten linken Pixels des Rahmens #n – 1 in 17, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, F13/v, und die Vordergrundkomponente des zweiten Pixels von links in 17, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist ebenfalls F13/v. Die Vordergrundkomponente des dritten Pixels von links in 17, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, und die Vordergrundkomponente des vierten Pixels von links in 17, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, sind F13/v.
Die Vordergrundkomponente des zweiten Pixels von links des Rahmens #n – 1 in 17, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist F14/v. Die Vordergrundkomponente des dritten Pixels von links in 17, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist ebenfalls F14/v. Die Vordergrundkomponente des dritten Pixels von links in 17, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist F15/v.
Da das Objekt, das dem Hintergrund entspricht, stationär ist, sind die Hintergrundkomponenten des äußersten linken Pixels des Rahmens #n – 1 in 17, die den zweiten bis vierten Abschnitten der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entsprechen, B25/v. Die Hintergrundkomponenten des zweiten Pixels von links des Rahmens #n – 1 in 17, die den dritten und vierten Abschnitten der Verschlusszeit v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entsprechen, sind B26/v. Die Hintergrundkomponente des dritten Pixels von links des Rahmens #n – 1 in 17, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist B27/v.
In dem Rahmen #n – 1 in 17 gehören das äußerste linke Pixel bis zu dem dritten Pixel zu dem gemischten Bereich, der ein nicht abgedeckter Hintergrundbereich ist.
Die vierten bis zwölften Pixel von links des Rahmens #n – 1 in 17 gehören zu dem Vordergrundbereich. Die Vordergrundkomponente des Rahmens ist eine von F13/v bis F24/v.
Das äußerste linke Pixel bis zu dem vierten Pixel von links des Rahmens #n in 17 gehören zu dem Hintergrundbereich, und die Pixelwerte derselben sind jeweils B25 bis B28.
Es kann angenommen werden, dass das Objekt, das dem Vordergrund entspricht, ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt, und dass es sich derart bewegt, dass es in dem nachfolgenden Rahmen vier Pixel weiter rechts angezeigt wird. Dementsprechend ist die Vordergrundkomponente des fünften Pixels von links des Rahmens #n in 17, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöfffnet hat, entspricht, F13/v, und die Vordergrundkomponente des sechsten Pixels von links in 17, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist ebenfalls F13/v. Die Vordergrundkomponente des siebten Pixels von links in 17, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, und die Vordergrundkomponente des achten Pixels von links in 17, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, sind F13/v.
Die Vordergrundkomponente des sechsten Pixels von links des Rahmens #n in 17, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist F14/v. Die Vordergrundkomponente des siebten Pixels von links in 17, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist ebenfalls F14/v. Die Vordergrundkomponente des achten Pixels von links in 17, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist F15/v.
Da das Objekt, das dem Hintergrund entspricht, stationär ist, sind die Hintergrundkomponenten des fünften Pixels von links des Rahmens #n in 17, die den zweiten bis vierten Abschnitten der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entsprechen, B29/v. Die Hintergrundkomponenten des sechsten Pixels von links des Rahmens #n in 17, die den dritten und vierten Abschnitten der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entsprechen, sind B30/v. Die Hintergrundkomponente des siebten Pixels von links des Rahmens #n in 17, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist B31/v.
In dem Rahmen #n in 17 gehören das fünfte Pixel bis zu dem siebten Pixel von links zu dem gemischten Bereich, der ein nicht abgedeckter Hintergrundbereich ist.
Die achten bis zwölften Pixel von links des Rahmens #n in 17 gehören zu dem Vordergrundbereich. Der Wert in dem Vordergrundbereich des Rahmens #n, der der Dauer der Verschlusszeit/v entspricht, ist einer von F13/v bis F20/v.
Das äußerste linke Pixel bis zu dem achten Pixel von links des Rahmens #n + 1 in 17 gehören zu dem Hintergrundbereich, und die Pixelwerte derselben sind jeweils B25 bis B32.
Es kann angenommen werden, dass das Objekt, das dem Vordergrund entspricht, ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt, und dass es sich derart bewegt, dass es in dem nachfolgenden Rahmen vier Pixel weiter rechts angezeigt wird. Dementsprechend ist die Vordergrundkomponente des neunten Pixels von links des Rahmens #n + 1 in 17, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, F13/v, und die Vordergrundkomponente des zehnten Pixels von links in 17, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist ebenfalls F13/v. Die Vordergrundkomponente des elften Pixels von links in 17, die dem dritten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, und die Vordergrundkomponente des zwölften Pixels von links in 17, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, sind F13/v.
Die Vordergrundkomponente des zehnten Pixels von links des Rahmens #n + 1 in 17, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist F14/v. Die Vordergrundkomponente des elften Pixels von links in 17, die dem zweiten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist ebenfalls F14/v. Die Vordergrundkomponente des zwölften Pixels von links in 17, die dem ersten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist F15/v.
Da das Objekt, das dem Hintergrund entspricht, stationär ist, sind die Hintergrundkomponenten des neunten Pixels von links des Rahmens #n + 1 in 17, die den zweiten bis vierten Abschnitten der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entsprechen, B33/v. Die Hintergrundkomponenten des zehnten Pixels von links des Rahmens #n + 1 in 17, die den dritten und vierten Abschnitten der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entsprechen, sind B34/v. Die Hintergrundkomponente des elften Pixels von links des Rahmens #n + 1 in 17, die dem vierten Abschnitt der Verschlusszeit/v von dem Zeitpunkt an, zu dem sich der Verschluss geöffnet hat, entspricht, ist B35/v.
In dem Rahmen #n + 1 in 17 gehören die neunten bis elften Pixel von links in 17 zu dem gemischten Bereich, der ein nicht abgedeckter Hintergrundbereich ist.
Das zwölfte Pixel von links des Rahmens #n + 1 in 17 gehört zu dem Vordergrundbereich. Die Vordergrundkomponente in der Verschlusszeit/v in dem Vordergrundbereich des Rahmens #n + 1 ist jeweils eine von F13 bis F16.
18 stellt ein Modell eines Bildes dar, das durch Extrahieren der Vordergrundkomponenten aus den Pixelwerten, die in 17 gezeigt sind, erhalten wird.
Rückbezug nehmend auf 2 spezifiziert die Bereichsspezifizierungseinheit 103 unter Verwendung der Pixelwerte einer Mehrzahl von Rahmen Flags, die anzeigen, zu welchem von einem Vordergrundbereich, einem Hintergrundbereich, einem abgedeckten Hintergrundbereich oder einem nicht abgedeckten Hintergrundbereich die einzelnen Pixel des Eingangsbildes gehören, und führt die Flags dem Mischungsverhältnis-Berechner 104 und der Bewegungsunschärfe-Einstelleinheit 106 als die Bereichsinformationen zu.
Der Mischungsverhältnis-Berechner 104 berechnet das Mischungsverhältnis α für jedes Pixel, das in dem gemischten Bereich enthalten ist, basierend auf den Pixelwerten einer Mehrzahl von Rahmen und den Bereichsinformationen und führt das berechnete Mischungsverhältnis α dem Vordergrund/Hintergrund-Separator 105 zu.
Der Vordergrund/Hintergrund-Separator 105 extrahiert das Vordergrundkomponentenbild, das aus lediglich den Vordergrundkomponenten besteht, basierend auf den Pixelwerten einer Mehrzahl von Rahmen, den Bereichsinformationen und dem Mischungsverhältnis α und führt das Vordergrundkomponentenbild der Bewegungsunschärfe-Einstelleinheit 106 zu.
Die Bewegungsunschärfe-Einstelleinheit 106 stellt die Menge einer Bewegungsunschärfe, die in dem Vordergrundkomponentenbild enthalten ist, basierend auf dem Vordergrundkomponentenbild, das von dem Vordergrund/Hintergrund-Separator 105 zugeführt wird, dem Bewegungsvektor, der von dem Bewegungsdetektor 102 zugeführt wird, und den Bereichsinformationen, die von der Bereichsspezifizierungseinheit 103 zugeführt werden, ein und gibt dann das Vordergrundkomponentenbild, in dem eine Bewegungsunschärfe eingestellt ist, aus.
Das Verarbeiten zum Einstellen der Menge einer Bewegungsunschärfe, das durch die Signalverarbeitungsvorrichtung durchgeführt wird, ist im Folgenden unter Bezugnahme auf das Flussdiagramm von 19 beschrieben. Bei Schritt S11 führt die Bereichsspezifizierungseinheit 103 ein Bereichsspezifizierungsverarbeiten basierend auf einem Eingangsbild zum Erzeugen von Bereichsinformationen, die anzeigen, zu welchem von einem Vordergrundbereich, einem Hintergrundbereich, einem abgedeckten Hintergrundbereich oder einem nicht abgedeckten Hintergrundbereich jedes Pixel des Eingangsbildes gehört, aus. Details des Bereichsspezifizierungsverarbeitens sind im Folgenden angegeben. Die Bereichsspezifizierungseinheit 103 führt die erzeugten Bereichsinformationen dem Mischungsverhältnis-Berechner 104 zu.
Bei Schritt S11 kann die Bereichsspezifizierungseinheit 103 basierend auf dem Eingangsbild Bereichsinformationen erzeugen, die anzeigen, zu welchem von dem Vordergrundbereich, dem Hintergrundbereich oder dem gemischten Bereich (unabhängig davon, ob jedes Pixel zu einem abgedeckten Hintergrundbereich oder einem nicht abgedeckten Hintergrundbereich gehört) jedes Pixel des Eingangsbildes gehört. In diesem Fall bestimmen der Vordergrund/Hintergrund-Separator 105 und die Bewegungsunschärfe-Einstelleinheit 106 basierend auf der Richtung des Bewegungsvektors, ob der gemischte Bereich ein abgedeckter Hintergrundbereich oder ein nicht abgedeckter Hintergrundbereich ist. Wenn beispielsweise das Eingangsbild in der Richtung des Bewegungsvektors in der Reihenfolge des Vordergrundbereichs, des gemischten Bereichs und des Hintergrundbereichs angeordnet ist, wird bestimmt, dass der gemischte Bereich ein abgedeckter Hintergrundbereich ist. Wenn das Eingangsbild in der Richtung des Bewegungsvektors in der Reihenfolge des Hintergrundbereichs, des gemischten Bereichs und des Vordergrundbereichs angeordnet ist, wird bestimmt, dass der gemischte Bereich ein nicht abgedeckter Hintergrundbereich ist.
Bei Schritt S12 berechnet der Mischungsverhältnis-Berechner 104 das Mischungsverhältnis α für jedes Pixel, das in dem gemischten Bereich enthalten ist, basierend auf dem Eingangsbild und den Bereichsinformationen. Details des Mischungsverhältnis-Berechnungsverarbeitens sind im Folgenden angegeben. Der Mischungsverhältnis-Berechner 104 führt das berechnete Mischungsverhältnis α dem Vordergrund/Hintergrund-Separator 105 zu.
Bei Schritt S13 extrahiert der Vordergrund/Hintergrund-Separator 105 basierend auf den Bereichsinformationen und dem Mischungsverhältnis α die Vordergrundkomponenten aus dem Eingangsbild und führt die Vordergrundkomponenten der Bewegungsunschärfe-Einstelleinheit 106 als das Vordergrundkomponentenbild zu.
Bei Schritt S14 erzeugt die Bewegungsunschärfe-Einstelleinheit 106 basierend auf dem Bewegungsvektor und den Bereichsinformationen die Einheit eines Verarbeiten, die die Positionen aufeinander folgender Pixel, die in der Bewegungsrichtung angeordnet sind und zu einem von dem nicht abgedeckten Hintergrundbereich, dem Vordergrundbereich und dem abgedeckten Hintergrundbereich gehören, anzeigt, und stellt die Menge einer Bewegungsunschärfe, die in den Vordergrundkomponenten, die der Einheit eines Verarbeiten entsprechen, enthalten ist, ein. Details des Verarbeiten zum Einstellen der Menge einer Bewegungsunschärfe sind im Folgenden angegeben.
Bei Schritt S15 bestimmt die Signalverarbeitungsvorrichtung, ob das Verarbeiten für den gesamten Schirm beendet ist. Wenn bestimmt wird, dass das Verarbeiten für den gesamten Schirm nicht beendet ist, schreitet der Prozess zu Schritt S14 fort, und das Verarbeiten zum Einstellen der Menge einer Bewegungsunschärfe für die Vordergrundkomponenten, die der Einheit eines Verarbeiten entsprechen, wird wiederholt.
Wenn bei Schritt S15 bestimmt wird, dass das Verarbeiten für den gesamten Schirm beendet ist, ist das Verarbeiten abgeschlossen.
Auf diese Art und Weise ist die Signalverarbeitungsvorrichtung in der Lage, die Menge einer Bewegungsunschärfe, die in dem Vordergrund enthalten ist, durch Trennen des Vordergrunds und des Hintergrunds einzustellen. Das heißt, die Signalverarbeitungsvorrichtung ist in der Lage, die Menge einer Bewegungsunschärfe, die in abgetasteten Daten, die die Pixelwerte der Vordergrundpixel anzeigen, enthalten ist, einzustellen.
Die Konfiguration sowohl der Bereichsspezifizierungseinheit 103 als auch des Mischungsverhältnis-Berechners 104, des Vordergrund/Hintergrund-Separators 105 und der Bewegungsunschärfe-Einstelleinheit 106 ist im Folgenden beschrieben.
20 ist ein Blockdiagramm, das ein Beispiel der Konfiguration der Bereichsspezifizierungseinheit 103 darstellt. Die Bereichsspezifizierungseinheit 103, die in 20 gezeigt ist, verwendet keinen Bewegungsvektor. Ein Rahmenspeicher 201 speichert ein Eingangsbild in Einheiten von Rahmen. Wenn das zu verarbeitende Bild der Rahmen #n ist, speichert der Rahmenspeicher 201 den Rahmen #n – 2, der der Rahmen zwei Rahmen vor dem Rahmen #n ist, den Rahmen #n – 1, der der Rahmen ein Rahmen vor dem Rahmen #n ist, den Rahmen #n, den Rahmen #n + 1, der der Rahmen ein Rahmen nach dem Rahmen #n ist, den Rahmen #n + 2, der der Rahmen zwei Rahmen nach dem Rahmen #n ist.
Ein Stationär/Sich-bewegend-Bestimmungsabschnitt 202-1 liest den Pixelwert des Pixels des Rahmens #n + 2, das sich bei der gleichen Position wie ein spezifisches Pixel des Rahmens #n, in dem der Bereich, zu dem das Pixel gehört, bestimmt wird, befindet, und liest den Pixelwert des Pixels des Rahmens #n + 1, das sich bei der gleichen Position des spezifischen Pixels des Rahmens #n befindet, aus dem Rahmenspeicher 201 und berechnet den Absolutwert der Differenz der gelesenen Pixelwerte. Der Stationär/Sich-bewegend-Bestimmungsabschnitt 202-1 bestimmt, ob der Absolutwert der Differenz des Pixelwerts des Rahmens #n + 2 und des Pixelwerts des Rahmens #n + 1 größer als eine voreingestellte Schwelle Th ist. Wenn bestimmt wird, dass die Differenz größer als die Schwelle Th ist, wird eine Stationär/Sich-bewegend-Bestimmung, die "sich bewegend" anzeigt, einem Bereichsbestimmungsabschnitt 203-1 zugeführt. Wenn bestimmt wird, dass der Absolutwert der Differenz des Pixelwerts des Pixels des Rahmens #n + 2 und des Pixelwerts des Pixels des Rahmens #n + 1 kleiner oder gleich der Schwelle Th ist, führt der Stationär/Sich-bewegend-Bestimmungsabschnitt 202-1 dem Bereichsbestimmungsabschnitt 203-1 eine Stationär/Sich-bewegend-Bestimmung, die "stationär" anzeigt, zu.
Ein Stationär/Sich-bewegend-Bestimmungsabschnitt 202-2 liest den Pixelwert eines spezifischen Pixels des Rahmens #n, in dem der Bereich, zu dem das Pixel gehört, bestimmt wird, und liest den Pixelwert des Pixels des Rahmens #n + 1, das sich bei der gleichen Position wie das spezifische Pixel des Rahmens #n befindet, aus dem Rahmenspeicher 201 und berechnet den Absolutwert der Differenz der Pixelwerte. Der Stationär/Sich-bewegend-Bestimmungsabschnitt 202-2 bestimmt, ob der Absolutwert der Differenz des Pixelwerts des Rahmens #n + 1 und des Pixelwerts des Rahmens #n größer als eine voreingestellte Schwelle Tb ist. Wenn bestimmt wird, dass der Absolutwert der Differenz der Pixelwerte größer als die Schwelle Tb ist, wird eine Stationär/Sich-bewegend-Bestimmung, die "sich bewegend" anzeigt, dem Bereichsbestimmungsabschnitt 203-1 und einem Bereichsbestimmungsabschnitt 203-2 zugeführt. Wenn bestimmt wird, dass der Absolutwert der Differenz des Pixelwerts des Pixels des Rahmens #n + 1 und des Pixelwerts des Pixels des Rahmens #n kleiner oder gleich der Schwelle Tb ist, führt der Stationär/Sich-bewegend-Bestimmungsabschnitt 202-2 dem Bereichsbestimmungsabschnitt 203-1 und dem Bereichsbestimmungsabschnitt 203-2 eine Stationär/Sich-bewegend-Bestimmung, die "stationär" anzeigt, zu.
Ein Stationär/Sich-bewegend-Bestimmungsabschnitt 202-3 liest den Pixelwert eines spezifischen Pixels des Rahmens #n, in dem der Bereich, zu dem das Pixel gehört, bestimmt wird, und liest den Pixelwert des Pixels des Rahmens #n – 1, das sich bei der gleichen Position wie das spezifische Pixel des Rahmens #n befindet, aus dem Rahmenspeicher 201 und berechnet den Absolutwert der Differenz der Pixelwerte. Der Stationär/Sich-bewegend-Bestimmungsabschnitt 202-3 bestimmt, ob der Absolutwert der Differenz des Pixelwerts des Rahmens #n und des Pixelwerts des Rahmens #n – 1 größer als eine voreingestellte Schwelle Tb ist. Wenn bestimmt wird, dass der Absolutwert der Differenz der Pixelwerte größer als die Schwelle Tb ist, wird dem Bereichsbestimmungsabschnitt 203-2 und einem Bereichsbestimmungsabschnitt 203-3 eine Stationär/Sich-bewegend-Bestimmung, die "sich bewegend" anzeigt, zugeführt. Wenn bestimmt wird, dass der Absolutwert der Differenz des Pixelwerts des Pixels des Rahmens #n und des Pixelwerts des Pixels des Rahmens #n – 1 kleiner oder gleich der Schwelle Th ist, führt der Stationär/Sich-bewegend-Bestimmungsabschnitt 202-3 dem Bereichsbestimmungsabschnitt 203-2 und dem Bereichsbestimmungsabschnitt 203-3 eine Stationär/Sich-bewegend-Bestimmung, die "stationär" anzeigt, zu.
Der Stationär/Sich-bewegend-Bestimmungsabschnitt 202-4 liest den Pixelwert des Pixels des Rahmens #n – 1, das sich bei der gleichen Position wie ein spezifisches Pixel des Rahmens #n, in dem der Bereich, zu dem das Pixel gehört, bestimmt wird, befindet, und liest den Pixelwert des Pixels des Rahmens #n – 2, das sich bei der gleichen Position wie das spezifische Pixel des Rahmens #n befindet, aus dem Rahmenspeicher 201 und berechnet den Absolutwert der Differenz der Pixelwerte. Der Stationär/Sich-bewegend-Bestimmungsabschnitt 202-4 bestimmt, ob der Absolutwert der Differenz des Pixelwerts des Rahmens #n – 1 und des Pixelwerts des Rahmens #n – 2 größer als eine voreingestellte Schwelle Th ist. Wenn bestimmt wird, dass der Absolutwert der Differenz der Pixelwerte größer als die Schwelle Th ist, wird dem Bereichsbestimmungsabschnitt 203-3 eine Stationär/Sich-bewegend-Bestimmung, die "sich bewegend" anzeigt, zugeführt. Wenn bestimmt wird, dass der Absolutwert der Differenz des Pixelwerts des Pixels des Rahmens #n – 1 und des Pixelwerts des Pixels des Rahmens #n – 2 kleiner oder gleich der Schwelle Th ist, führt der Stationär/Sichbewegend-Bestimmungsabschnitt 202-4 dem Bereichsbestimmungsabschnitt 203-3 eine Stationär/Sich-bewegend-Bestimmung, die "stationär" anzeigt, zu.
Wenn die Stationär/Sich-bewegend-Bestimmung, die von dem Stationär/Sich-bewegend-Bestimmungsabschnitt 202-1 zugeführt wird, "stationär" anzeigt, und wenn die Stationär/Sich-bewegend-Bestimmung, die von dem Stationär/Sich-bewegend-Bestimmungsabschnitt 202-2 zugeführt wird, "sich bewegend" anzeigt, bestimmt der Bereichsbestimmungsabschnitt 203-1, dass das bestimmte Pixel des Rahmens #n zu einem nicht abgedeckten Hintergrundbereich gehört, und stellt "1", was anzeigt, dass das bestimmte Pixel zu einem nicht abgedeckten Hintergrundbereich gehört, in einer Nicht-abgedeckter-Hintergrundbereich-Bestimmungs-Flag, die zu dem spezifischen Pixel gehört, ein.
Wenn die Stationär/Sich-bewegend-Bestimmung, die von dem Stationär/Sich-bewegend-Bestimmungsabschnitt 202-1 zugeführt wird, "sich bewegend" anzeigt, oder wenn die Stationär/Sich-bewegend-Bestimmung, die von dem Stationär/Sich- bewegend-Bestimmungsabschnitt 202-2 zugeführt wird, "stationär" anzeigt, bestimmt die Bereichsspezifizierungseinheit 203-1, dass das bestimmte Pixel des Rahmens #n nicht zu einem nicht abgedeckten Hintergrundbereich gehört, und stellt "0", was anzeigt, dass das bestimmte Pixel nicht zu einem nicht abgedeckten Hintergrundbereich gehört, in der Nicht-abgedeckter-Hintergrundbereich-Bestimmungs-Flag, die zu dem spezifischen Pixel gehört, ein.
Der Bereichsbestimmungsabschnitt 203-1 führt die Nicht-abgedeckter-Hintergrundbereich-Bestimmungs-Flag, in der wie im Vorhergehenden erörtert "1" oder "0" eingestellt ist, einem Bestimmungs-Flag-speichernden Rahmenspeicher 204 zu.
Wenn die Stationär/Sich-bewegend-Bestimmung, die von dem Stationär/Sich-bewegend-Bestimmungsabschnitt 202-2 zugeführt wird, "stationär" anzeigt, und wenn die Stationär/Sich-bewegend-Bestimmung, die von dem Stationär/Sich-bewegend-Bestimmungsabschnitt 202-3 zugeführt wird, "stationär" anzeigt, bestimmt der Bereichsbestimmungsabschnitt 203-2, dass das spezifische Pixel des Rahmens #n zu dem stationären Bereich gehört, und stellt "1", was anzeigt, dass das Pixel zu dem stationären Bereich gehört, in einer Stationärer-Bereich-Bestimmungs-Flag, die zu dem spezifischen Pixel gehört, ein.
Wenn die Stationär/Sich-bewegend-Bestimmung, die von dem Stationär/Sich-bewegend-Bestimmungsabschnitt 202-2 zugeführt wird, "sich bewegend" anzeigt, oder wenn die Stationär/Sich-bewegend-Bestimmung, die von dem Stationär/Sich-bewegend-Bestimmungsabschnitt 202-3 zugeführt wird, "sich bewegend" anzeigt, bestimmt der Bereichsbestimmungsabschnitt 203-2, dass das spezifische Pixel des Rahmens #n nicht zu dem stationären Bereich gehört, und stellt "0", was anzeigt, dass das Pixel nicht zu dem stationären Bereich gehört, in der Stationärer-Bereich-Bestimmungs-Flag, die zu dem spezifischen Pixel gehört, ein.
Der Bereichsbestimmungsabschnitt 203-2 führt die Stationärer-Bereich-Bestimmungs-Flag, in der wie im Vorhergehenden erörtert "1" oder "0" eingestellt ist, dem Bestimmungs-Flag-speichernden Rahmenspeicher 204 zu.
Wenn die Stationär/Sich-bewegend-Bestimmung, die von dem Stationär/Sich-bewegend-Bestimmungsabschnitt 202-2 zugeführt wird, "sich bewegend" anzeigt, und wenn die Stationär/Sich-bewegend-Bestimmung, die von dem Stationär/Sich-bewegend-Bestimmungsabschnitt 202-3 zugeführt wird, "sich bewegend" anzeigt, bestimmt der Bereichsbestimmungsabschnitt 203-2, dass das spezifische Pixel des Rahmens #n zu dem sich bewegenden Bereich gehört, und stellt "1", was anzeigt, dass das spezifische Pixel zu dem sich bewegenden Bereich gehört, in einer Sich-bewegender-Bereich-Bestimmungs-Flag, die zu dem spezifischen Pixel gehört, ein.
Wenn die Stationär/Sich-bewegend-Bestimmung, die von dem Stationär/Sich-bewegend-Bestimmungsabschnitt 202-2 zugeführt wird, "stationär" anzeigt, oder wenn die Stationär/Sich-bewegend-Bestimmung, die von dem Stationär/Sich-bewegend-Bestimmungsabschnitt 202-3 zugeführt wird, "stationär" anzeigt, bestimmt der Bereichsbestimmungsabschnitt 203-2, dass das spezifische Pixel des Rahmens #n nicht zu dem sich bewegenden Bereich gehört, und stellt "0", was anzeigt, dass das Pixel nicht zu dem sich bewegenden Bereich gehört, in der Sich-bewegender-Bereich-Bestimmungs-Flag, die zu dem spezifischen Pixel gehört, ein.
Der Bereichsbestimmungsabschnitt 203-2 führt die Sich-bewegender-Bereich-Bestimmungs-Flag, in der wie im Vorhergehenden erörtert "1" oder "0" eingestellt ist, dem Bestimmungs-Flag-speichernden Rahmenspeicher 204 zu.
Wenn die Stationär/Sich-bewegend-Bestimmung, die von dem Stationär/Sich-bewegend-Bestimmungsabschnitt 202-3 zugeführt wird, "sich bewegend" anzeigt, und wenn die Stationär/Sich-bewegend-Bestimmung, die von dem Stationär/Sich-bewegend-Bestimmungsabschnitt 202-4 zugeführt wird, "stationär" anzeigt, bestimmt der Bereichsbestimmungsabschnitt 203-3, dass das spezifische Pixel des Rahmens #n zu einem abgedeckten Hintergrundbereich gehört, und stellt "1", was anzeigt, dass das spezifische Pixel zu dem abgedeckten Hintergrundbereich gehört, in einer Abgedeckter-Hintergrundbereich-Bestimmungs-Flag, die zu dem spezifischen Pixel gehört, ein.
Wenn die Stationär/Sich-bewegend-Bestimmung, die von dem Stationär/Sich-bewegend-Bestimmungsabschnitt 202-3 zugeführt wird, "stationär" anzeigt, oder wenn die Stationär/Sich-bewegend-Bestimmung, die von dem Stationär/Sich-bewegend-Bestimmungsabschnitt 202-4 zugeführt wird, "sich bewegend" anzeigt, bestimmt der Bereichsbestimmungsabschnitt 203-3, dass das spezifische Pixel des Rahmens #n nicht zu einem abgedeckten Hintergrundbereich gehört, und stellt "0", was anzeigt, dass das spezifische Pixel nicht zu einem abgedeckten Hintergrundbereich gehört, in der Abgedeckter-Hintergrundbereich-Bestimmungs-Flag, die zu dem spezifischen Pixel gehört, ein.
Der Bereichsbestimmungsabschnitt 203-3 führt die Abgedeckter-Hintergrundbereich-Bestimmungs-Flag, in der wie im Vorhergehenden erörtert "1" oder "0" eingestellt ist, dem Bestimmungs-Flag-speichernden Rahmenspeicher 204 zu.
Der Bestimmungs-Flag-speichernde Rahmenspeicher 204 speichert so die Nicht-abgedeckter-Hintergrundbereich-Bestimmungs-Flag, die von dem Bereichsbestimmungsabschnitt 203-1 zugeführt wird, die Stationärer-Bereich-Bestimmungs-Flag, die von dem Bereichsbestimmungsabschnitt 203-2 zugeführt wird, die Sich-bewegender-Bereich-Bestimmungs-Flag, die von dem Bereichsbestimmungsabschnitt 203-2 zugeführt wird, und die Abgedeckter-Hintergrundbereich-Bestimmungs-Flag, die von dem Bereichsbestimmungsabschnitt 203-3 zugeführt wird.
Der Bestimmungs-Flag-speichernde Rahmenspeicher 204 führt die Nicht-abgedeckter-Hintergrundbereich-Bestimmungs-Flag, die Stationärer-Bereich-Bestimmungs-Flag, die Sich-bewegender-Bereich-Bestimmungs-Flag und die Abgedeckter-Hintergrundbereich-Bestimmungs-Flag, die in demselben gespeichert sind, einem Synthesizer 205 zu. Der Synthesizer 205 erzeugt Bereichsinformationen, die anzeigen, zu welchem von dem nicht abgedeckten Hintergrundbereich, dem stationären Bereich, dem sich bewegenden Bereich oder dem abgedeckten Hintergrundbereich jedes Pixel gehört, basierend auf der Nicht-abgedeckter-Hintergrundbereich-Bestimmungs-Flag, der Stationärer-Bereich-Bestimmungs-Flag, der Sich-bewegender-Bereich-Bestimmungs-Flag und der Abgedeckter-Hintergrundbereich-Bestimmungs-Flag, die von dem Bestimmungs-Flag-speichernden Rahmenspeicher 204 zugeführt werden, und führt die Bereichsinformationen einem Bestimmungs-Flag-speichernden Rahmenspeicher 206 zu.
Der Bestimmungs-Flag-speichernde Rahmenspeicher 206 speichert die Bereichsinformationen, die von dem Synthesizer 205 zugeführt werden, und gibt ebenfalls die Bereichsinformationen, die in demselben gespeichert werden, aus.
Ein Beispiel des Verarbeiten, das durch die Bereichsspezifizierungseinheit 103 durchgeführt wird, ist im Folgenden unter Bezugnahme auf 21 bis 25 beschrieben.
Wenn sich das Objekt, das dem Vordergrund entspricht, bewegt, ändert sich die Position des Bildes, das dem Objekt entspricht, auf dem Schirm in jedem Rahmen. Wie in 21 gezeigt, ist das Bild, das dem Objekt entspricht, das sich in dem Rahmen #n bei der Position befindet, die durch Yn(x, y) angezeigt ist, in dem Rahmen #n + 1, der dem Rahmen #n nachfolgt, bei Yn + 1(x, y) positioniert.
Ein Modell, das durch Ausdehnen in der Zeitrichtung der Pixelwerte der Pixel, die in der Bewegungsrichtung des Bildes, das dem Vordergrundobjekt entspricht, nebeneinander ausgerichtet sind, erhalten wird, ist in 24 gezeigt. Wenn beispielsweise die Bewegungsrichtung des Bildes, das dem Vordergrundobjekt entspricht, hinsichtlich des Schirms horizontal ist, ist das Modell, das in 22 gezeigt ist, ein Modell, das durch Ausdehnen in der Zeitrichtung der Pixelwerte der Pixel, die auf einer Zeile nebeneinanderliegend angeordnet sind, erhalten wird.
In 22 ist die Zeile in dem Rahmen #n gleich der Zeile in dem Rahmen #n + 1.
Die Vordergrundkomponenten, die dem Objekt entsprechen, die in dem Rahmen #n in dem zweiten Pixel bis zu dem dreizehnten Pixel von links enthalten sind, sind in dem Rahmen #n + 1 in dem sechsten Pixel bis zu dem siebzehnten Pixel von links enthalten.
In dem Rahmen #n sind die Pixel, die zu dem abgedeckten Hintergrundbereich gehören, die elften bis dreizehnten Pixel von links, und die Pixel, die zu dem nicht abgedeckten Hintergrundbereich gehören, sind die zweiten bis vierten Pixel von links. In dem Rahmen #n + 1 sind die Pixel, die zu dem abgedeckten Hintergrundbereich gehören, die fünfzehnten bis siebzehnten Pixel von links, und die Pixel, die zu dem nicht abgedeckten Hintergrundbereich gehören, sind die sechsten bis achten Pixel von links.
Bei dem Beispiel, das in 22 gezeigt ist, ist, da die Vordergrundkomponenten, die in dem Rahmen #n enthalten sind, in dem Rahmen #n + 1 um vier Pixel bewegt sind, die Menge einer Bewegung v 4. Die Zahl von virtuellen geteilten Abschnitten ist 4, in Übereinstimmung mit der Menge einer Bewegung v.
Nun wird eine Beschreibung einer Änderung von Pixelwerten der Pixel, die in den Rahmen vor und nach einem spezifischen Rahmen zu dem gemischten Bereich gehören, gegeben.
In 23 sind die Pixel, die in dem Rahmen #n, in dem der Hintergrund stationär ist und die Menge einer Bewegung v in dem Vordergrund 4 ist, zu einem abgedeckten Hintergrundbereich gehören, die fünfzehnten bis siebzehnten Pixel von links. Da die Menge einer Bewegung v 4 ist, enthalten die fünfzehnten bis siebzehnten Rahmen von links in dem vorhergehenden Rahmen #n – 1 lediglich Hintergrundkomponenten und gehören zu dem Hintergrundbereich. Die fünfzehnten bis siebzehnten Pixel von links in dem Rahmen #n – 2, der einer vor dem Rahmen #n – 1 ist, enthalten lediglich Hintergrundkomponenten und gehören zu dem Hintergrundbereich.
Da das Objekt, das dem Hintergrund entspricht, stationär ist, ändert sich der Pixelwert des fünfzehnten Pixels von links in dem Rahmen #n – 1 nicht von dem Pixelwert des fünfzehnten Pixels von links in dem Rahmen #n – 2. Auf ähnliche Weise ändert sich der Pixelwert des sechzehnten Pixels von links in dem Rahmen #n – 1 nicht von dem Pixelwert des sechzehnten Pixels von links in dem Rahmen #n – 2, und der Pixelwert des siebzehnten Pixels von links in dem Rahmen #n – 1 ändert sich nicht von dem Pixelwert des siebzehnten Pixels von links in dem Rahmen #n – 2.
Das heißt, die Pixel in dem Rahmen #n – 1 und dem Rahmen #n – 2, die den Pixeln entsprechen, die in dem Rahmen #n zu dem abgedeckten Hintergrundbereich gehören, bestehen aus lediglich Hintergrundkomponenten, und die Pixelwerte derselben ändern sich nicht. Dementsprechend ist der Absolutwert der Differenz der Pixelwerte annähernd 0. Daher ist die Stationär/Sich-bewegend-Bestimmung, die für die Pixel in dem Rahmen #n – 1 und dem Rahmen #n – 2, die den Pixeln, die in dem Rahmen #n zu dem gemischten Bereich gehören, entsprechen, durch den Stationär/Sich-bewegend-Bestimmungsabschnitt 202-4 vorgenommen wird, "stationär".
Da die Pixel, die in dem Rahmen #n zu dem abgedeckten Hintergrundbereich gehören, Vordergrundkomponenten enthalten, sind die Pixelwerte derselben unterschiedlich zu denen des Rahmens #n – 1, die aus lediglich Hintergrundkomponenten bestehen. Dementsprechend ist die Stationär/Sich-bewegend-Bestimmung, die für die Pixel, die in dem Rahmen #n zu dem gemischten Bereich gehören, und die entsprechenden Pixel in dem Rahmen #n – 1 durch den Stationär/Sich-bewegend-Bestimmungsabschnitt 202-3 vorgenommen wird, "sich bewegend".
Wenn das Stationär/Sich-bewegend-Bestimmungsresultat, das "sich bewegend" anzeigt, von dem Stationär/Sich-bewegend-Bestimmungsabschnitt 202-3 zugeführt wird, und wenn das Stationär/Sich-bewegend-Bestimmungsresultat, das "stationär" anzeigt, von dem Stationär/Sich-bewegend-Bestimmungsabschnitt 202-4 zugeführt wird, wie im Vorhergehenden erörtert, bestimmt der Bereichsbestimmungsabschnitt 203-3, dass die entsprechenden Pixel zu einem abgedeckten Hintergrundbereich gehören.
In 24 sind in dem Rahmen #n, in dem der Hintergrund stationär ist und die Menge einer Bewegung v in dem Vordergrund 4 ist, die Pixel, die in einem nicht abgedeckten Hintergrundbereich enthalten sind, die zweiten bis vierten Pixel von links. Da die Menge einer Bewegung v 4 ist, enthalten die zweiten bis vierten Pixel von links in dem nachfolgenden Rahmen #n + 1 lediglich Hintergrundkomponenten und gehören zu dem Hintergrundbereich. In dem Rahmen #n + 2, der dem Rahmen #n + 1 nachfolgt, enthalten die zweiten bis vierten Pixel von links lediglich Hintergrundkomponenten und gehören zu dem Hintergrundbereich.
Da das Objekt, das dem Hintergrund entspricht, stationär ist, ändert sich der Pixelwert des zweiten Pixels von links in dem Rahmen #n + 2 nicht von dem Pixelwert des zweiten Pixels von links in dem Rahmen #n + 1. Auf ähnliche Weise ändert sich der Pixelwert des dritten Pixels von links in dem Rahmen #n + 2 nicht von dem Pixelwert des dritten Pixels von links in dem Rahmen #n + 1, und der Pixelwert des vierten Pixels von links in dem Rahmen #n + 2 ändert sich nicht von dem Pixelwert des vierten Pixels von links in dem Rahmen #n + 1.
Das heißt, die Pixel in dem Rahmen #n + 1 und dem Rahmen #n + 2, die den Pixeln entsprechen, die in dem Rahmen #n zu dem nicht abgedeckten Hintergrundbereich gehören, bestehen aus lediglich Hintergrundkomponenten, und die Pixelwerte derselben ändern sich nicht. Dementsprechend ist der Absolutwert der Differenz der Pixelwerte annähernd 0. Daher ist die Stationär/Sich-bewegend-Bestimmung, die für die Pixel in dem Rahmen #n + 1 und dem Rahmen #n + 2, die den Pixeln, die in dem Rahmen #n zu dem gemischten Bereich gehören, entsprechen, durch den Stationär/Sich-bewegend-Bestimmungsabschnitt 202-1 vorgenommen wird, "stationär".
Da die Pixel, die in dem Rahmen #n zu dem nicht abgedeckten Hintergrundbereich gehören, Vordergrundkomponenten enthalten, sind die Pixelwerte derselben unterschiedlich zu denen des Rahmens #n + 1, die aus lediglich Hintergrundkomponenten bestehen. Dementsprechend ist die Stationär/Sich-bewegend-Bestimmung, die für die Pixel, die in dem Rahmen #n zu dem gemischten Bereich gehören, und die entsprechenden Pixel in dem Rahmen #n + 1 durch den Stationär/Sich-bewegend-Bestimmungsabschnitt 202-2 vorgenommen wird, "sich bewegend".
Wenn das Stationär/Sich-bewegend-Bestimmungsresultat, das "sich bewegend" anzeigt, von dem Stationär/Sich-bewegend-Bestimmungsabschnitt 202-2 zugeführt wird, und wenn das Stationär/Sich-bewegend-Bestimmungsresultat, das "stationär" anzeigt, von dem Stationär/Sich-bewegend-Bestimmungsabschnitt 202-1 zugeführt wird, wie im Vorhergehenden erörtert, bestimmt der Bereichsbestimmungsabschnitt 203-1, dass die entsprechenden Pixel zu einem nicht abgedeckten Hintergrundbereich gehören.
25 stellt Bestimmungsbedingungen für den Rahmen #n, die durch die Bereichsspezifizierungseinheit 103 vorgenommen werden, dar. Wenn das Bestimmungsresultat für das Pixel in dem Rahmen #n – 2, das sich bei der gleichen Bildposition wie ein zu verarbeitendes Pixel in dem Rahmen #n befindet, und für das Pixel in dem Rahmen #n – 1, das sich bei der gleichen Position wie das Pixel in dem Rahmen #n befindet, stationär ist, und wenn das Bestimmungsresultat für das Pixel in dem Rahmen #n und das Pixel in dem Rahmen #n – 1, das sich bei der gleichen Bildposition wie das Pixel in dem Rahmen #n befindet, sich bewegend ist, bestimmt die Bereichsspezifizierungseinheit 103, dass das Pixel in dem Rahmen #n zu einem abgedeckten Hintergrundbereich gehört.
Wenn das Bestimmungsresultat für das Pixel in dem Rahmen #n und das Pixel in dem Rahmen #n – 1, das sich bei der gleichen Bildposition wie das Pixel in dem Rahmen #n befindet, stationär ist, und wenn das Bestimmungsresultat für das Pixel in dem Rahmen #n und das Pixel in dem Rahmen #n + 1, das sich bei der gleichen Bildposition wie das Pixel in dem Rahmen #n befindet, stationär ist, bestimmt die Bereichsspezifizierungseinheit 103, dass das Pixel in dem Rahmen #n zu dem stationären Bereich gehört.
Wenn das Bestimmungsresultat für das Pixel in dem Rahmen #n und das Pixel in dem Rahmen #n – 1, das sich bei der gleichen Bildposition wie das Pixel in dem Rahmen #n befindet, sich bewegend ist, und wenn das Bestimmungsresultat für das Pixel in dem Rahmen #n und das Pixel in dem Rahmen #n + 1, das sich bei der gleichen Bildposition wie das Pixel in dem Rahmen #n befindet, sich bewegend ist, bestimmt die Bereichsspezifizierungseinheit 103, dass das Pixel in dem Rahmen #n zu dem sich bewegenden Bereich gehört.
Wenn das Bestimmungsresultat für das Pixel in dem Rahmen #n und das Pixel in dem Rahmen #n + 1, das sich bei der gleichen Bildposition wie das Pixel in dem Rahmen #n befindet, sich bewegend ist, und wenn das Bestimmungsresultat für das Pixel in dem Rahmen #n + 1, das sich bei der gleichen Bildposition wie das Pixel in dem Rahmen #n befindet, und das Pixel in dem Rahmen #n + 2, das sich bei der gleichen Bildposition wir das Pixel in dem Rahmen #n befindet, stationär ist, bestimmt die Bereichsspezifizierungseinheit 103, dass das Pixel in dem Rahmen #n zu einem nicht abgedeckten Hintergrundbereich gehört.
26A bis 26D stellen Beispiele der Bereichsbestimmungsresultate dar, die durch die Bereichsspezifizierungseinheit 103 erhalten werden. In 26A sind die Pixel, die als zu einem abgedeckten Hintergrundbereich gehörend bestimmt werden, weiß angezeigt. In 26B sind die Pixel, die als zu einem nicht abgedeckten Hintergrundbereich gehörend bestimmt werden, weiß angezeigt.
In 26C sind die Pixel, die als zu einem sich bewegenden Bereich gehörend bestimmt werden, weiß angezeigt. In 26D sind die Pixel, die als zu einem stationären Bereich gehörend bestimmt werden, weiß angezeigt.
27 stellt die Bereichsinformationen, die den gemischten Bereich anzeigen, die aus den Bereichsinformationen, die von dem Bestimmungs-Flag-speichernden Rahmenspeicher 206 ausgegeben werden, ausgewählt werden, in der Form eines Bildes dar. In 27 sind die Pixel, die als zu dem abgedeckten Hintergrundbereich oder dem nicht abgedeckten Hintergrundbereich gehörend bestimmt werden, d. h. die Pixel, die als zu dem gemischten Bereich gehörend bestimmt werden, weiß angezeigt. Die Bereichsinformationen, die den gemischten Bereich anzeigen, die von dem Bestimmungs-Flag-speichernden Rahmenspeicher 206 ausgegeben werden, bestimmen den gemischten Bereich und die Abschnitte mit einer Textur in dem Vordergrundbereich, die durch die Abschnitte ohne eine Textur umgeben sind.
Das Bereichsspezifizierungsverarbeiten, das durch die Bereichsspezifizierungseinheit 103 durchgeführt wird, ist im Folgenden unter Bezugnahme auf das Flussdiagramm von 28 beschrieben. Bei Schritt S201 erhält der Rahmenspeicher 201 ein Bild von dem Rahmen #n – 2 bis zu dem Rahmen #n + 2, einschließlich des Rahmens #n.
Bei Schritt S202 bestimmt der Stationär/Sich-bewegend-Bestimmungsabschnitt 202-3, ob das Bestimmungsresultat für das Pixel in dem Rahmen #n – 1 und das Pixel in dem Rahmen #n, das sich bei der gleichen Position befindet, stationär ist. Wenn bestimmt wird, dass das Bestimmungsresultat stationär ist, schreitet der Prozess zu Schritt S203 fort, bei dem der Stationär/Sich-bewegend-Bestimmungsabschnitt 202-2 bestimmt, ob das Bestimmungsresultat für das Pixel in dem Rahmen #n und das Pixel in dem Rahmen #n + 1, das sich bei der gleichen Position befindet, stationär ist.
Wenn bei Schritt S203 bestimmt wird, dass das Bestimmungsresultat für das Pixel in dem Rahmen #n und das Pixel in dem Rahmen #n + 1, das sich bei der gleichen Position befindet, stationär ist, schreitet der Prozess zu Schritt S204 fort. Bei Schritt S204 stellt der Bereichsbestimmungsabschnitt 203-2 "1", was anzeigt, dass das zu verarbeitende Pixel zu dem stationären Bereich gehört, in der Stationärer-Bereich-Bestimmungs-Flag, die zu dem zu verarbeitenden Pixel gehört, ein. Der Bereichsbestimmungsabschnitt 203-2 führt die Stationärer-Bereich-Bestimmungs-Flag dem Bestimmungs-Flag-speichernden Rahmenspeicher 204 zu, und der Prozess schreitet zu Schritt S205 fort.
Wenn bei Schritt S202 bestimmt wird, dass das Bestimmungsresultat für das Pixel in dem Rahmen #n – 1 und das Pixel in dem Rahmen #n, das sich bei der gleichen Position befindet, sich bewegend ist, oder wenn bei Schritt S203 bestimmt wird, dass das Bestimmungsresultat für das Pixel in dem Rahmen #n und das Pixel in dem Rahmen #n + 1, das sich bei der gleichen Position befindet, sich bewegend ist, gehört das zu verarbeitende Pixel nicht zu einem stationären Bereich. Dementsprechend wird das Verarbeiten von Schritt S204 übersprungen, und der Prozess schreitet zu Schritt S205 fort.
Bei Schritt S205 bestimmt der Stationär/Sich-bewegend-Bestimmungsabschnitt 202-3, ob das Bestimmungsresultat für das Pixel in dem Rahmen #n – 1 und das Pixel in dem Rahmen #n, das sich bei der gleichen Position befindet, sich bewegend ist. Wenn bestimmt wird, dass das Bestimmungsresultat sich bewegend ist, schreitet der Prozess zu Schritt S206 fort, bei dem der Stationär/Sich-bewegend-Bestimmungsabschnitt 202-2 bestimmt, ob das Bestimmungsresultat für das Pixel in dem Rahmen #n und das Pixel in dem Rahmen #n + 1, das sich bei der gleichen Position befindet, sich bewegend ist.
Wenn bei Schritt S206 bestimmt wird, dass das Bestimmungsresultat für das Pixel in dem Rahmen #n und das Pixel in dem Rahmen #n + 1, das sich bei der gleichen Position befindet, sich bewegend ist, schreitet der Prozess zu Schritt S207 fort. Bei Schritt S207 stellt der Bereichsbestimmungsabschnitt 203-2 "1", was anzeigt, dass das zu verarbeitende Pixel zu einem sich bewegenden Bereich gehört, in der Sich-bewegender-Bereich-Bestimmungs-Flag, die zu dem zu verarbeitenden Pixel gehört, ein. Der Bereichsbestimmungsbereich 203-2 führt die Sich-bewegender-Bereich-Bestimmungs-Flag dem Bestimmungs-Flag-speichernden Rahmenspeicher 204 zu, und der Prozess schreitet zu Schritt S208 fort.
Wenn bei Schritt S205 bestimmt wird, dass das Bestimmungsresultat für das Pixel in dem Rahmen #n – 1 und das Pixel in dem Rahmen #n, das sich bei der gleichen Position befindet, stationär ist, oder wenn bei Schritt S206 bestimmt wird, dass das Bestimmungsresultat für das Pixel in dem Rahmen #n und das Pixel in dem Rahmen #n + 1, das sich bei der gleichen Position befindet, stationär ist, gehört das Pixel in dem Rahmen #n nicht zu einem sich bewegenden Bereich. Dementsprechend wird das Verarbeiten von Schritt S207 übersprungen, und der Prozess schreitet zu Schritt S208 fort.
Bei Schritt S208 bestimmt der Stationär/Sich-bewegend-Bestimmungsabschnitt 202-4, ob das Bestimmungsresultat für das Pixel in dem Rahmen #n – 2 und das Pixel in dem Rahmen #n – 1, das sich bei der gleichen Position befindet, stationär ist. Wenn bestimmt wird, dass das Bestimmungsresultat stationär ist, schreitet der Prozess zu Schritt S209 fort, bei dem der Stationär/Sich-bewegend-Bestimmungsabschnitt 202-3 bestimmt, ob das Bestimmungsresultat für das Pixel in dem Rahmen #n – 1 und das Pixel in dem Rahmen #n, das sich bei der gleichen Position befindet, sich bewegend ist.
Wenn bei Schritt 209 bestimmt wird, dass das Bestimmungsresultat für das Pixel in dem Rahmen #n – 1 und das Pixel in dem Rahmen #n, das sich bei der gleichen Position befindet, sich bewegend ist, schreitet der Prozess zu Schritt S210 fort. Bei Schritt S210 stellt der Bereichsbestimmungsabschnitt 203-3 "1", was anzeigt, dass das zu verarbeitende Pixel zu einem abgedeckten Hintergrundbereich gehört, in der Abgedeckter-Hintergrundbereich-Bestimmungs-Flag, die zu dem zu verarbeitenden Pixel gehört, ein. Der Bereichsbestimmungsabschnitt 203-3 führt die Abgedeckter-Hintergrundbereich-Bestimmungs-Flag dem Bestimmungs-Flag-speichemden Rahmenspeicher 204 zu, und der Prozess schreitet zu Schritt S211 fort. Der Bereichsbestimmungsabschnitt 203-3 führt die Abgedeckter-Hintergrundbereich-Bestimmungs-Flag dem Bestimmungs-Flag-speichemden Rahmenspeicher 204 zu, und der Prozess schreitet zu Schritt S211 fort.
Wenn bei Schritt S208 bestimmt wird, dass das Bestimmungsresultat für das Pixel in dem Rahmen #n – 2 und das Pixel in dem Rahmen #n – 1, das sich bei der gleichen Position befindet, sich bewegend ist, oder wenn bei Schritt S209 bestimmt wird, dass das Pixel in dem Rahmen #n – 1 und das Pixel in dem Rahmen #n, das sich bei der gleichen Position befindet, stationär ist, gehört das Pixel in dem Rahmen #n nicht zu einem abgedeckten Hintergrundbereich. Dementsprechend wird das Verarbeiten von Schritt S210 übersprungen, und der Prozess schreitet zu Schritt S211 fort.
Bei Schritt S211 bestimmt der Stationär/Sich-bewegend-Bestimmungsabschnitt 202-2, ob das Bestimmungsresultat für das Pixel in dem Rahmen #n und das Pixel in dem Rahmen #n + 1, das sich bei der gleichen Position befindet, sich bewegend ist. Wenn bei Schritt S211 bestimmt wird, dass das Bestimmungsresultat sich bewegend ist, schreitet der Prozess zu Schritt S211 fort, bei dem der Stationär/Sich-bewegend-Bestimmungsabschnitt 202-1 bestimmt, ob das Bestimmungsresultat für das Pixel in dem Rahmen #n + 1 und das Pixel in dem Rahmen #n + 2, das sich bei der gleichen Position befindet, stationär ist.
Wenn bei Schritt S212 bestimmt wird, dass das Bestimmungsresultat für das Pixel in dem Rahmen #n + 1 und das Pixel in dem Rahmen #n + 2, das sich bei der gleichen Position befindet, stationär ist, schreitet der Prozess zu Schritt S213 fort. Bei Schritt S213 stellt der Bereichsbestimmungsabschnitt 203-1 "1", was anzeigt, dass das zu verarbeitende Pixel zu einem nicht abgedeckten Hintergrundbereich gehört, in der Nicht-abgedeckter-Hintergrundbereich-Bestimmungs-Flag, die zu dem zu verarbeitenden Pixel gehört, ein. Der Bereichsbestimmungsabschnitt 203-1 führt die Nicht-abgedeckter-Hintergrundbereich-Flag Bestimmungs-Flag dem Bestimmungs-Flag-speichernden Rahmenspeicher 204 zu, und der Prozess schreitet zu Schritt S214 fort.
Wenn bei Schritt S211 bestimmt wird, dass das Bestimmungsresultat für das Pixel in dem Rahmen #n und das Pixel in dem Rahmen #n + 1, das sich bei der gleichen Position befindet, stationär ist, oder wenn bei Schritt S212 bestimmt wird, dass das Bestimmungsresultat für das Pixel in dem Rahmen #n + 1 und das Pixel in dem Rahmen #n + 2 sich bewegend ist, gehört das Pixel in dem Rahmen #n nicht zu einem nicht abgedeckten Hintergrundbereich. Dementsprechend wird das Verarbeiten von Schritt S213 übersprungen, und der Prozess schreitet zu Schritt S214 fort.
Bei Schritt S214 bestimmt die Bereichsspezifizierungseinheit 103, ob die Bereiche aller Pixel in dem Rahmen #n spezifiziert sind. Wenn bestimmt wird, dass die Bereiche aller Pixel in dem Rahmen #n noch nicht spezifiziert sind, kehrt der Prozess zu Schritt S202 zurück, und das Bereichsspezifizierungsverarbeiten wird für die verbleibenden Pixel wiederholt.
Wenn bei Schritt S214 bestimmt wird, dass die Bereiche aller Pixel in dem Rahmen #n spezifiziert sind, schreitet der Prozess zu Schritt S215 fort. Bei Schritt 215 erzeugt der Synthesizer 215 Bereichsinformationen, die den gemischten Bereich anzeigen, basierend auf der Nicht-abgedeckter-Hintergrundbereich-Bestimmungs-Flag und der Abgedeckter-Hintergrundbereich-Bestimmungs-Flag, die in dem Bestimmungs-Flag-speichernden Rahmenspeicher 204 gespeichert sind, und er erzeugt ebenfalls Bereichsinformationen, die anzeigen, zu welchem von dem abgedeckten Hintergrundbereich, dem stationären Bereich, dem sich bewegenden Bereich oder dem abgedeckten Hintergrundbereich jedes Pixel gehört, und stellt die erzeugten Bereichsinformationen in dem Bestimmungs-Flag-speichernden Rahmenspeicher 206 ein. Das Verarbeiten ist dann abgeschlossen.
Wie im Vorhergehenden erörtert, ist die Bereichsspezifizierungseinheit 103 in der Lage, Bereichsinformationen zu erzeugen, die anzeigen, zu welchem von dem sich bewegenden Bereich, dem stationären Bereich, dem nicht abgedeckten Hintergrundbereich oder dem abgedeckten Hintergrundbereich jedes der Pixel, die in einem Rahmen enthalten sind, gehört.
Die Bereichsspezifizierungseinheit 103 kann ein logisches ODER auf die Bereichsinformationen, die dem nicht abgedeckten Hintergrundbereich entsprechen, und die Bereichsinformationen, die dem abgedeckten Hintergrundbereich entsprechen, anwenden, um Bereichsinformationen, die dem gemischten Bereich entsprechen, zu erzeugen, und sie kann dann Bereichsinformationen erzeugen, die aus Flags bestehen, die anzeigen, zu welchem von dem sich bewegenden Bereich, dem stationären Bereich oder dem gemischten Bereich die einzelnen Pixel, die in dem Rahmen enthalten sind, gehören.
Wenn das Objekt, das dem Vordergrund entspricht, eine Textur aufweist, ist die Bereichsspezifizierungseinheit 103 fähig, den sich bewegenden Bereich präziser zu spezifizieren.
Die Bereichsspezifizierungseinheit 103 ist fähig, die Bereichsinformationen, die den sich bewegenden Bereich anzeigen, als die Bereichsinformationen, die den Vordergrundbereich anzeigen, auszugeben, und sie gibt die Bereichsinformationen, die den stationären Bereich anzeigen, als die Bereichsinformationen, die den Hintergrundbereich anzeigen, aus.
Das Ausführungsbeispiel ist unter der Annahme beschrieben worden, dass das Objekt, das dem Hintergrund entspricht, stationär ist. Das im Vorhergehenden beschriebenen Bereichsspezifizierungsverarbeiten kann jedoch selbst dann angewendet werden, wenn das Bild, das dem Hintergrundbereich entspricht, eine Bewegung enthält. Wenn sich beispielsweise das Bild, das dem Hintergrundbereich entspricht, gleichförmig bewegt, verschiebt die Bereichsspezifizierungseinheit 103 das gesamte Bild in Übereinstimmung mit dieser Bewegung und führt ein Verarbeiten auf eine Art und Weise, die ähnlich ist zu dem Fall, bei dem das Objekt, das dem Hintergrund entspricht, stationär ist, durch. Wenn das Bild, das dem Hintergrundbereich entspricht, lokal unterschiedliche Bewegungen enthält, wählt die Bereichsspezifizierungseinheit 103 die Pixel, die den Bewegungen entsprechen, aus und führt das im Vorhergehenden beschriebene Verarbeiten aus.
29 ist ein Blockdiagramm, das ein Beispiel einer weiteren Konfiguration der Bereichsspezifizierungseinheit 103 darstellt. Die Bereichsspezifizierungseinheit 103, die in 29 gezeigt ist, verwendet keinen Bewegungsvektor. Ein Hintergrundbilderzeuger 301 erzeugt ein Hintergrundbild, das einem Eingangsbild entspricht, und führt das erzeugte Hintergrundbild einem Binäres-Objektbild-Extrahierabschnitt 302 zu. Der Hintergrundbilderzeuger 301 extrahiert beispielsweise ein Bildobjekt, das einem Hintergrundobjekt entspricht, das in dem Eingangsbild enthalten ist, und erzeugt das Hintergrundbild.
Ein Beispiel eines Modells, das durch Ausdehnen in der Zeitrichtung der Pixelwerte von Pixeln, die in der Bewegungsrichtung eines Bildes, das einem Vordergrundobjekt entspricht, nebeneinanderliegend ausgerichtet sind, erhalten wird, ist in 30 gezeigt. Wenn beispielsweise die Bewegungsrichtung des Bildes, das dem Vordergrundobjekt entspricht, hinsichtlich des Schirms horizontal ist, ist das Modell, das in 30 gezeigt ist, ein Modell, das durch Ausdehnen der Pixelwerte von Pixeln, die auf einer einzigen Zeile nebeneinanderliegend angeordnet sind, in der Zeitdomäne erhalten wird.
In 30 ist die Zeile in dem Rahmen #n die gleiche wie die Zeile in dem Rahmen #n – 1 und die Zeile in dem Rahmen #n + 1.
In dem Rahmen #n sind die Vordergrundkomponenten, die dem Objekt entsprechen, die in den sechsten bis siebzehnten Pixeln von links enthalten sind, in dem Rahmen #n – 1 in den zweiten bis dreizehnten Pixeln von links enthalten und sind ebenfalls in dem Rahmen #n + 1 in dem zehnten bis einundzwanzigsten Pixel von links enthalten.
In dem Rahmen #n – 1 sind die Pixel, die zu dem abgedeckten Hintergrundbereich gehören, die elften bis dreizehnten Pixel von links, und die Pixel, die zu dem nicht abgedeckten Hintergrundbereich gehören, sind die zweiten bis vierten Pixel von links. In dem Rahmen #n sind die Pixel, die zu dem abgedeckten Hintergrundbereich gehören, die fünfzehnten bis siebzehnten Pixel von links, und die Pixel, die zu dem nicht abgedeckten Hintergrundbereich gehören, sind die sechsten bis achten Pixel von links. In dem Rahmen #n + 1 sind die Pixel, die zu dem abgedeckten Hintergrundbereich gehören, die neunzehnten bis einundzwanzigsten Pixel von links, und die Pixel, die zu dem nicht abgedeckten Hintergrundbereich gehören, sind die zehnten bis zwölften Pixel von links.
In dem Rahmen #n – 1 sind die Pixel, die zu dem Hintergrundbereich gehören, das erste Pixel von links und die vierzehnten bis einundzwanzigsten Pixel von links. In dem Rahmen #n sind die Pixel, die zu dem Hintergrundbereich gehören, die ersten bis fünften Pixel von links und die achtzehnten bis einundzwanzigsten Pixel von links. In dem Rahmen #n + 1 sind die Pixel, die zu dem Hintergrundbereich gehören, die ersten bis neunten Pixel von links.
Ein Beispiel des Hintergrundbildes, das dem Beispiel, das in 30 gezeigt ist, entspricht, das durch den Hintergrundbilderzeuger 301 erzeugt wird, ist in 31 gezeigt. Das Hintergrundbild besteht aus den Pixeln, die dem Hintergrundobjekt entsprechen, und enthält keine Bildkomponenten, die dem Vordergrundobjekt entsprechen.
Der Binäres-Objektbild-Extrahierabschnitt 302 erzeugt ein binäres Objektbild basierend auf der Korrelation zwischen dem Hintergrundbild und dem Eingangsbild und führt das erzeugte binäre Objektbild einem Zeitänderungsdetektor 303 zu.
32 ist ein Blockdiagramm, das die Konfiguration des Binäres-Objektbild-Extrahierabschnitts 302 zeigt. Ein Korrelationswertberechner 321 berechnet die Korrelation zwischen dem Hintergrundbild, das von dem Hintergrundbilderzeuger 301 zugeführt wird, und dem Eingangsbild, um einen Korrelationswert zu erzeugen, und führt den erzeugten Korrelationswert einem Schwellenwertprozessor 322 zu.
Der Korrelationswertberechner 321 wendet Gleichung (4) beispielsweise auf 3×3-Hintergrundbildblöcke mit X₄ im Zentrum, wie in 33A gezeigt, und beispielsweise auf 3×3-Hintergrundbildblöcke mit Y₄ im Zentrum, was den Hintergrundbildblöcken entspricht, wie in 33B gezeigt, an und berechnet dadurch einen Korrelationswert, der Y4 entspricht.
Der Korrelationswertberechner 321 führt den Korrelationswert, der wie im Vorhergehenden erörtert für jedes Pixel berechnet wird, dem Schwellenwertprozessor 322 zu.
Alternativ kann der Korrelationswertberechner 321 Gleichung (7) beispielsweise auf 3×3-Hintergrundbildblöcke mit X₄ im Zentrum, wie in 34A gezeigt, und beispielsweise auf 3×3-Bildblöcke mit Y₄ im Zentrum, was den Hintergrundbildblöcken entspricht, wie in 34B gezeigt, anwenden und dadurch die Summe von Absolutwerten von Differenzen, die Y₄ entspricht, berechnen.
Der Korrelationswertberechner 321 führt die Summe der Absolutwerte der Differenzen, die wie im Vorhergehenden beschrieben berechnet wird, dem Schwellenwertprozessor 322 als den Korrelationswert zu.
Der Schwellenwertprozessor 322 vergleicht den Pixelwert des Korrelationsbildes mit einem Schwellenwert th0. Wenn der Korrelationswert kleiner oder gleich dem Schwellenwert th0 ist, wird 1 in dem Pixelwert des binären Objektbildes eingestellt. Wenn der Korrelationswert größer als der Schwellenwert th0 ist, wird 0 in dem Pixelwert des binären Objektbildes eingestellt. Der Schwellenwertprozessor 322 gibt dann das binäre Objektbild, dessen Pixelwert auf 0 oder 1 eingestellt ist, aus. Der Schwellenwertprozessor 322 kann den Schwellenwert th0 in demselben im Voraus speichern, oder er kann den Schwellenwert th0, der von einer externen Quelle eingegeben wird, verwenden.
35 stellt das binäre Objektbild dar, das dem Modell des Eingangsbildes, das in 30 gezeigt ist, entspricht. Bei dem binären Objektbild ist 0 in den Pixelwerten der Pixel, die eine höhere Korrelation mit dem Hintergrundbild aufweisen, eingestellt.
36 ist ein Blockdiagramm, das die Konfiguration des Zeitänderungsdetektors 303 darstellt. Wenn er den Bereich eines Pixels in dem Rahmen #n bestimmt, speichert ein Rahmenspeicher 341 ein binäres Objektbild des Rahmens #n – 1, des Rahmens #n und des Rahmens #n + 1, die von dem Binäres-Objektbild-Extrahierabschnitt 302 zugeführt werden.
Ein Bereichsbestimmungsabschnitt 342 bestimmt den Bereich jedes Pixels des Rahmens #n basierend auf dem binären Objektbild des Rahmens #n – 1, des Rahmens #n und des Rahmens #n + 1, um Bereichsinformationen zu erzeugen, und gibt die erzeugten Bereichsinformationen aus.
37 stellt die Bestimmungen dar, die durch den Bereichsbestimmungsabschnitt 342 vorgenommen werden. Wenn das Pixel von Interesse des binären Objektbildes in dem Rahmen #n 0 ist, bestimmt der Bereichsbestimmungsabschnitt 342, dass das Pixel von Interesse in dem Rahmen #n zu dem Hintergrundbereich gehört.
Wenn das Pixel von Interesse des binären Objektbildes in dem Rahmen #n 1 ist, und wenn das entsprechende Pixel des binären Objektbildes in dem Rahmen #n – 1 1 ist, und wenn das entsprechende Pixel des binären Objektbildes in dem Rahmen #n + 1 1 ist, bestimmt der Bereichsbestimmungsabschnitt 342, dass das Pixel von Interesse in dem Rahmen #n zu dem Vordergrundbereich gehört.
Wenn das Pixel von Interesse des binären Objektbildes in dem Rahmen #n 1 ist, und wenn das entsprechende Pixel des binären Objektbildes in dem Rahmen #n – 1 0 ist, bestimmt der Bereichsbestimmungsabschnitt 342, dass das Pixel von Interesse in dem Rahmen #n zu einem abgedeckten Hintergrundbereich gehört.
Wenn das Pixel von Interesse des binären Objektbildes in dem Rahmen #n 1 ist, und wenn das entsprechende Pixel des binären Objektbildes in dem Rahmen #n + 1 0 ist, bestimmt der Bereichsbestimmungsabschnitt 342, dass das Pixel von Interesse in dem Rahmen #n zu einem nicht abgedeckten Hintergrundbereich gehört.
38 stellt ein Beispiel der Bestimmungen dar, die durch den Zeitänderungsdetektor 303 an dem binären Objektbild, das dem Modell des Eingangsbildes, das in 30 gezeigt ist, entspricht, vorgenommen werden. Der Zeitänderungsdetektor 303 bestimmt, dass die ersten bis fünften Pixel von links in dem Rahmen #n zu dem Hintergrundbereich gehören, da die entsprechenden Pixel des binären Objektbildes in dem Rahmen #n 0 sind.
Der Zeitänderungsdetektor 303 bestimmt, dass die sechsten bis neunten Pixel von links zu dem nicht abgedeckten Hintergrundbereich gehören, da die Pixel des binären Objektbildes in dem Rahmen #n 1 sind und die entsprechenden Pixel in dem Rahmen #n + 1 0 sind.
Der Zeitänderungsdetektor 303 bestimmt, dass die zehnten bis dreizehnten Pixel von links zu dem Vordergrundbereich gehören, da die Pixel des binären Objektbildes in dem Rahmen #n 1 sind, die entsprechenden Pixel in dem Rahmen #n – 1 1 sind und die entsprechenden Pixel in dem Rahmen #n + 1 1 sind.
Der Zeitänderungsdetektor 303 bestimmt, dass die vierzehnten bis siebzehnten Pixel von links zu dem abgedeckten Hintergrundbereich gehören, da die Pixel des binären Objektbildes in dem Rahmen #n 1 sind und die entsprechenden Pixel in dem Rahmen #n – 1 0 sind.
Der Zeitänderungsdetektor 303 bestimmt, dass die achtzehnten bis einundzwanzigsten Pixel von links zu dem Hintergrundbereich gehören, da die entsprechenden Pixel des binären Objektbildes in dem Rahmen #n 0 sind.
Das Bereichsspezifizierungsverarbeiten, das durch die Bereichsspezifizierungseinheit 103 durchgeführt wird, ist im Folgenden unter Bezugnahme auf das Flussdiagramm von 39 beschrieben. Bei Schritt S301 extrahiert der Hintergrundbilderzeuger 301 der Bereichsspezifizierungseinheit 103 beispielsweise ein Bildobjekt, das einem Hintergrundobjekt, das in einem Eingangsbild enthalten ist, entspricht, basierend auf dem Eingangsbild, um ein Hintergrundbild zu erzeugen, und führt das erzeugte Hintergrundbild dem Binäres-Objektbild-Extrahierabschnitt 302 zu.
Bei Schritt S302 berechnet der Binäres-Objektbild-Extrahierabschnitt 302 einen Korrelationswert zwischen dem Eingangsbild und dem Hintergrundbild, das von dem Hintergrundbilderzeuger 301 zugeführt wird, beispielsweise gemäß einer Berechnung, die unter Bezugnahme auf 33A und 33B erörtert ist. Bei Schritt S303 berechnet der Binäres-Objektbild-Extrahierabschnitt 302 ein binäres Objektbild aus dem Korrelationswert und dem Schwellenwert th0, beispielsweise durch Vergleichen des Korrelationswerts mit dem Schwellenwert th0.
Bei Schritt S304 führt der Zeitänderungsdetektor 303 das Bereichsbestimmungsverarbeiten aus, und das Verarbeiten ist abgeschlossen.
Details des Bereichsbestimmungsverarbeitens bei Schritt S304 sind im Folgenden unter Bezugnahme auf das Flussdiagramm von 40 beschrieben. Bei Schritt S321 bestimmt der Bereichsbestimmungsabschnitt 342 des Zeitänderungsdetektors 303, ob das Pixel von Interesse in dem Rahmen #n, der in dem Rahmenspeicher 341 gespeichert ist, 0 ist. Wenn bestimmt wird, dass das Pixel von Interesse in dem Rahmen #n 0 ist, schreitet der Prozess zu Schritt S322 fort. Bei Schritt S322 wird bestimmt, dass das Pixel von Interesse in dem Rahmen #n zu dem Hintergrundbereich gehört, und das Verarbeiten wird abgeschlossen.
Wenn bei Schritt S321 bestimmt wird, dass das Pixel von Interesse in dem Rahmen #n 1 ist, schreitet der Prozess zu Schritt S323 fort. Bei Schritt S323 bestimmt der Bereichsbestimmungsabschnitt 342 des Zeitänderungsdetektors 303, ob das Pixel von Interesse in dem Rahmen #n, der in dem Rahmenspeicher 341 gespeichert ist, 1 ist, und ob das entsprechende Pixel in dem Rahmen #n – 1 0 ist. Wenn bestimmt wird, dass das Pixel von Interesse in dem Rahmen #n 1 ist und das entsprechende Pixel in dem Rahmen #n – 1 0 ist, schreitet der Prozess zu Schritt S324 fort. Bei Schritt S324 wird bestimmt, dass das Pixel von Interesse in dem Rahmen #n zu dem abgedeckten Hintergrundbereich gehört, und das Verarbeiten wird abgeschlossen.
Wenn bei Schritt S323 bestimmt wird, dass das Pixel von Interesse in dem Rahmen #n 0 ist, oder dass das entsprechende Pixel in dem Rahmen #n – 1 1 ist, schreitet der Prozess zu Schritt S325 fort. Bei Schritt S325 bestimmt der Bereichsbestimmungsabschnitt 342 des Zeitänderungsdetektors 303, ob das Pixel von Interesse in dem Rahmen #n, der in dem Rahmenspeicher 341 gespeichert ist, 1 ist und ob das entsprechende Pixel in dem Rahmen #n + 1 0 ist. Wenn bestimmt wird, dass das Pixel von Interesse in dem Rahmen #n 1 ist und das entsprechende Pixel in dem Rahmen #n + 1 0 ist, schreitet der Prozess zu Schritt S326 fort. Bei Schritt S326 wird bestimmt, dass das Pixel von Interesse in dem Rahmen #n zu dem nicht abgedeckten Hintergrundbereich gehört, und das Verarbeiten wird abgeschlossen.
Wenn bei Schritt S325 bestimmt wird, dass das Pixel von Interesse in dem Rahmen #n 0 ist, oder dass das entsprechende Pixel in dem Rahmen #n + 1 1 ist, schreitet der Prozess zu Schritt S327 fort. Bei Schritt S327 bestimmt der Bereichsbestimmungsabschnitt 342 des Zeitänderungsdetektors 303, dass das Pixel von Interesse in dem Rahmen #n zu dem Vordergrundbereich gehört, und das Verarbeiten wird abgeschlossen.
Wie im Vorhergehenden erörtert, ist die Bereichsspezifizierungseinheit 103 fähig, basierend auf dem Korrelationswert zwischen dem Eingangsbild und dem entsprechenden Hintergrundbild zu spezifizieren, zu welchem von dem Vordergrundbereich, dem Hintergrundbereich, dem abgedeckten Hintergrundbereich oder dem nicht abgedeckten Hintergrundbereich jedes Pixel des Eingangsbildes gehört, und sie erzeugt Bereichsinformationen, die dem spezifizierten Resultat entsprechen.
41 ist ein Blockdiagramm, das eine weitere Konfiguration der Bereichsspezifizierungseinheit 103 darstellt. Die Bereichsspezifizierungseinheit 103 verwendet einen Bewegungsvektor und Positionsinformationen desselben, die von dem Bewegungsdetektor 102 zugeführt werden. Die gleichen Elemente wie diejenigen, die in 29 gezeigt sind, sind mit gleichen Bezugsziffern bestimmt, und eine Erklärung derselben wird daher weggelassen.
Ein Robust-Verarbeiten-Abschnitt 361 erzeugt ein robustes binäres Objektbild basierend auf binären Objektbildern von N Rahmen, die von dem Binäres-Objektbild-Extrahierabschnitt 302 zugeführt werden, und gibt das robuste binäre Objektbild zu dem Zeitänderungsdetektor 303 aus.
42 ist ein Blockdiagramm, das die Konfiguration des Robust-Verarbeiten-Abschnitts 361 darstellt. Ein Bewegungskompensator 381 kompensiert die Bewegung des binären Objektbildes von N Rahmen basierend auf dem Bewegungsvektor und den Positionsinformationen desselben, die von dem Bewegungsdetektor 102 zugeführt werden, und gibt ein bewegungskompensiertes binäres Objektbild zu einem Schalter 382 aus.
Die Bewegungskompensierung, die durch den Bewegungskompensator 381 durchgeführt wird, ist im Folgenden unter Bezugnahme auf Beispiele, die in 43 und 44 gezeigt sind, beschrieben. Nun wird beispielsweise angenommen, dass der Bereich in dem Rahmen #n zu verarbeiten ist. Wenn binäre Objektbilder des Rahmens #n – 1, des Rahmens #n und des Rahmens #n + 1, die in 43 gezeigt sind, eingegeben werden, kompensiert der Bewegungskompensator 381 die Bewegung des binären Objektbildes des Rahmens #n – 1 und des binären Objektbildes des Rahmens #n + 1, wie durch das Beispiel, das in 44 gezeigt ist, angezeigt, basierend auf dem Bewegungsvektor, der von dem Bewegungsdetektor 102 zugeführt wird, und führt das bewegungskompensierte binäre Objektbild dem Schalter 382 zu.
Der Schalter 382 gibt das bewegungskompensierte binäre Objektbild des ersten Rahmens zu einem Rahmenspeicher 383-1 aus und gibt das bewegungskompensierte binäre Objektbild des zweiten Rahmens zu einem Rahmenspeicher 383-2 aus. Auf ähnliche Weise gibt der Schalter 382 die bewegungskompensierten binären Objektbilder des dritten bis (N – 1)-ten Rahmens zu Rahmenspeichern 383-3 bis 383-(N – 1) aus, und er gibt das bewegungskompensierte binäre Objektbild des N-ten Rahmens zu einem Rahmenspeicher 383-N aus.
Der Rahmenspeicher 383-1 speichert das bewegungskompensierte binäre Objektbild des ersten Rahmens und gibt das gespeicherte binäre Objektbild zu einem Gewichtungsabschnitt 384-1 aus. Der Rahmenspeicher 382 speichert das bewegungskompensierte binäre Objektbild des zweiten Rahmens und gibt das gespeicherte binäre Objektbild zu einem Gewichtungsabschnitt 384-2 aus.
Auf ähnliche Weise speichern die Rahmenspeicher 383-3 bis 383-(N – 1) die bewegungskompensierten binären Objektbilder der dritten bis (N – 1)-ten Rahmen und geben die gespeicherten binären Objektbilder zu Gewichtungsabschnitten 384-3 bis 384-(N – 1) aus. Der Rahmenspeicher 383-N speichert das bewegungskompensierte binäre Objektbild des N-ten Rahmens und gibt das gespeicherte binäre Objektbild zu einem Gewichtungsabschnitt 384-N aus.
Der Gewichtungsabschnitt 384-1 multipliziert den Pixelwert des bewegungskompensierten binären Objektbildes des ersten Rahmens, das von dem Rahmenspeicher 383-1 zugeführt wird, mit einem vorbestimmten Gewicht w1 und führt ein gewichtetes binäres Objektbild einem Akkumulator 385 zu. Der Gewichtungsabschnitt 384-2 multipliziert den Pixelwert des bewegungskompensierten binären Objektbildes des zweiten Rahmens, das von dem Rahmenspeicher 383-2 zugeführt wird, mit einem vorbestimmten Gewicht w2 und führt das gewichtete binäre Objektbild dem Akkumulator 385 zu.
Auf ähnliche Weise multiplizieren die Gewichtungsabschnitte 384-3 bis 384-(N – 1) die Pixelwerte der bewegungskompensierten binären Objektbilder der dritten bis (N – 1)-ten Rahmen, die von den Rahmenspeichern 383-3 bis 383-(N – 1) zugeführt werden, mit vorbestimmten Gewichten w3 bis w(N – 1) und führen die gewichteten binären Objektbilder dem Akkumulator 385 zu. Der Gewichtungsabschnitt 384-N multipliziert den Pixelwert des bewegungskompensierten binären Objektbildes des N-ten Rahmens, das von dem Rahmenspeicher 383-N zugeführt wird, mit einem vorbestimmten Gewicht wN und führt das gewichtete binäre Objektbild dem Akkumulator 385 zu.
Der Akkumulator 385 akkumuliert die Pixelwerte der bewegungskompensierten binären Objektbilder, die mit den Gewichten w1 bis wN der ersten bis N-ten Rahmen multipliziert sind, und vergleicht den akkumulierten Pixelwert mit dem vorbestimmten Schwellenwert th0 und erzeugt dadurch das binäre Objektbild.
Wie im Vorhergehenden erörtert, erzeugt der Robust-Verarbeiten-Abschnitt 361 ein robustes binäres Objektbild aus N binären Objektbildern und führt dasselbe dem Zeitänderungsdetektor 303 zu. Dementsprechend ist die Bereichsspezifizierungseinheit 103, die wie in 41 gezeigt konfiguriert ist, fähig, den Bereich präziser als diejenige, die in 29 gezeigt ist, zu spezifizieren, selbst wenn in dem Eingangsbild Rauschen enthalten ist.
Das Bereichsspezifizierungsverarbeiten, das durch die Bereichsspezifizierungseinheit 103 durchgeführt wird, die wie in 41 gezeigt konfiguriert ist, ist im Folgenden unter Bezugnahme auf das Flussdiagramm von 45 beschrieben. Das Verarbeiten von Schritt S341 bis Schritt S343 ist ähnlich zu dem von Schritt S301 bis Schritt S303, das unter Bezugnahme auf das Flussdiagramm von 39 erörtert ist, und eine Erklärung desselben wird daher weggelassen.
Bei Schritt S344 führt der Robust-Verarbeiten-Abschnitt 361 das robuste Verarbeiten durch.
Bei Schritt S345 führt der Zeitänderungsdetektor 303 das Bereichsbestimmungsverarbeiten durch, und das Verarbeiten ist abgeschlossen. Details des Verarbeiten von Schritt S345 sind ähnlich zu dem Verarbeiten, das unter Bezugnahme auf das Flussdiagramm von 40 erörtert ist, und eine Erklärung desselben wird daher weggelassen.
Details des robusten Verarbeiten, das dem Verarbeiten von Schritt S344 in 45 entspricht, sind im Folgenden unter Bezugnahme auf das Flussdiagramm von 46 angegeben. Bei Schritt S361 führt der Bewegungskompensator 381 die Bewegungskompensierung eines eingegebenen binären Objektbildes basierend auf dem Bewegungsvektor und den Positionsinformationen desselben, die von dem Bewegungsdetektor 102 zugeführt werden, durch. Bei Schritt S362 speichert einer der Rahmenspeicher 383-1 bis 383-N das entsprechende bewegungskompensierte binäre Objektbild, das über den Schalter 382 zugeführt wird.
Bei Schritt S363 bestimmt der Robust-Verarbeiten-Abschnitt 361, ob N binäre Objektbilder gespeichert sind. Wenn bestimmt wird, dass keine N binären Objektbilder gespeichert sind, kehrt der Prozess zu Schritt S361 zurück, und das Verarbeiten zum Kompensieren der Bewegung des binären Objektbildes und das Verarbeiten zum Speichern des binären Objektbildes wird wiederholt.
Wenn bei Schritt S363 bestimmt wird, dass N binäre Objektbilder gespeichert sind, schreitet der Prozess zu Schritt S364 fort, bei dem eine Gewichtung durchgeführt wird.
Bei Schritt S364 multiplizieren die Gewichtungsabschnitte 384-1 bis 384-N die entsprechenden N binären Objektbilder mit den Gewichten w1 bis wN.
Bei Schritt S365 akkumuliert der Akkumulator 385 die N gewichteten binären Objektbilder.
Bei Schritt S366 erzeugt der Akkumulator 385 ein binäres Objektbild aus den akkumulierten Bildern, beispielsweise durch Vergleichen des akkumulierten Werts mit einem vorbestimmten Schwellenwert th1, und das Verarbeiten ist abgeschlossen.
Wie im Vorhergehenden erörtert, ist die Bereichsspezifizierungseinheit 103, die wie in 1 gezeigt konfiguriert ist, fähig, Bereichsinformationen basierend auf dem robusten binären Objektbild zu erzeugen.
Wie anhand der vorhergehenden Beschreibung ersichtlich ist, ist die Bereichsspezifizierungseinheit 103 fähig, Bereichsinformationen zu erzeugen, die anzeigen, zu welchem von dem sich bewegenden Bereich, dem stationären Bereich, dem nicht abgedeckten Hintergrundbereich oder dem abgedeckten Hintergrundbereich jedes Pixel, das in einem Rahmen enthalten ist, gehört.
47 ist ein Blockdiagramm, das die Konfiguration des Mischungsverhältnis-Berechners 104 darstellt. Ein Geschätztes-Mischungsverhältnis-Prozessor 401 berechnet ein geschätztes Mischungsverhältnis für jedes Pixel durch Berechnen eines Modells eines abgedeckten Hintergrundbereichs basierend auf dem Bewegungsvektor und den Positionsinformationen desselben, die von dem Bewegungsdetektor 102 zugeführt werden, und dem Eingangsbild und führt das geschätzte Mischungsverhältnis einem Mischungsverhältnis-Bestimmungsabschnitt 403 zu.
Ein Geschätztes-Mischungsverhältnis-Prozessor 402 berechnet ein geschätztes Mischungsverhältnis für jedes Pixel durch Berechnen eines Modells eines nicht abgedeckten Hintergrundbereichs basierend auf dem Bewegungsvektor und den Positionsinformationen desselben, die von dem Bewegungsdetektor 102 zugeführt werden, und dem Eingangsbild und führt das berechnete geschätzte Mischungsverhältnis dem Mischungsverhältnis-Bestimmungsabschnitt 403 zu.
Da angenommen werden kann, dass das Objekt, das dem Vordergrund entspricht, sich innerhalb der Verschlusszeit mit konstanter Geschwindigkeit bewegt, weist das Mischungsverhältnis α der Pixel, die zu einem gemischten Bereich gehören, die folgenden Charakteristiken auf. Das heißt, das Mischungsverhältnis α ändert sich linear gemäß der Positionsänderung der Pixel. Wenn die Positionsänderung der Pixel eindimensional ist, kann eine Änderung des Mischungsverhältnisses α linear dargestellt werden. Wenn die Positionsänderung der Pixel zweidimensional ist; kann eine Änderung des Mischungsverhältnisses α in einer Ebene dargestellt werden.
Da die Dauer eines Rahmens kurz ist, kann angenommen werden, dass das Objekt, das dem Vordergrund entspricht, ein starrer Körper ist, der sich mit konstanter Geschwindigkeit bewegt.
Der Gradient des Mischungsverhältnisses α ist umgekehrt proportional zu der Menge einer Bewegung v innerhalb der Verschlusszeit des Vordergrunds.
Ein Beispiel des idealen Mischungsverhältnisses α ist in 48 gezeigt. Der Gradient 1 des idealen Mischungsverhältnisses α in dem gemischten Bereich kann durch das Reziproke der Menge einer Bewegung v dargestellt werden.
Wie in 48 gezeigt, hat das ideale Mischungsverhältnis α den Wert von 1 in dem Hintergrundbereich, den Wert von 0 in dem Vordergrundbereich und den Wert von größer als 0 und kleiner als 1 in dem gemischten Bereich.
Bei dem Beispiel, das in 49 gezeigt ist, kann der Pixelwert C06 des siebten Pixels von links in dem Rahmen #n unter Verwendung des Pixelwerts P06 des siebten Pixels von links in dem Rahmen #n – 1 durch Gleichung (8) angezeigt werden.
In Gleichung (8) ist der Pixelwert C06 durch einen Pixelwert M des Pixels in dem gemischten Bereich angezeigt, während der Pixelwert P06 durch einen Pixelwert B des Pixels in dem Hintergrundbereich angezeigt ist. Das heißt, der Pixelwert M des Pixels in dem gemischten Bereich und der Pixelwert B des Pixels in dem Hintergrundbereich können jeweils durch die Gleichungen (9) und (10) dargestellt werden. M = C06 (9) B = P06 (10)
In Gleichung (8) entspricht 2/v dem Mischungsverhältnis α. Da die Menge einer Bewegung v 4 ist, ist das Mischungsverhältnis α des siebten Pixels von links in dem Rahmen #n 0,5.
Wie im Vorhergehenden erörtert, wird der Pixelwert C in dem Rahmen #n von Interesse als der Pixelwert in dem gemischten Bereich betrachtet, während der Pixelwert P des Rahmens #n – 1 vor dem Rahmen #n als der Pixelwert in dem Hintergrundbereich betrachtet wird. Dementsprechend kann Gleichung (3), die das Mischungsverhältnis α anzeigt, durch Gleichung (11) dargestellt werden.
C = α·P + f (11)wobei f in Gleichung (11) die Summe der Vordergrundkomponenten Σ i Fi/v, die in den Pixeln von Interesse enthalten sind, anzeigt. Die Variablen, die in Gleichung (11) enthalten sind, sind zwei Faktoren, d. h. das Mischungsverhältnis α und die Summe f der Vordergrundkomponenten.
Auf ähnliche Weise ist ein Modell, das durch Ausdehnen in der Zeitrichtung der Pixelwerte, bei denen die Menge einer Bewegung 4 ist und die Zahl von virtuellen geteilten Abschnitten 4 ist, in einem nicht abgedeckten Hintergrundbereich erhalten wird, in 50 gezeigt.
Wie bei der Darstellung des abgedeckten Hintergrundbereichs, wird bei dem nicht abgedeckten Hintergrundbereich der Pixelwert C des Rahmens #n von Interesse als der Pixelwert in dem gemischten Bereich betrachtet, während der Pixelwert N des Rahmens #n + 1, der dem Rahmen #n nachfolgt, als der Hintergrundbereich betrachtet wird. Dementsprechend kann Gleichung (3), die das Mischungsverhältnis α anzeigt, durch Gleichung (12) dargestellt werden. C = α·N + f (12)
Das Ausführungsbeispiel ist unter der Annahme beschrieben worden, dass das Hintergrundobjekt stationär ist. Die Gleichungen (8) bis (12) können jedoch unter Verwendung des Pixelwerts eines Pixels, das entsprechend der Menge einer Bewegung v des Hintergrunds positioniert ist, auf den Fall angewendet werden, bei dem sich das Hintergrundobjekt bewegt. Nun wird beispielsweise in 49 angenommen, dass die Menge einer Bewegung v des Objekts, das dem Hintergrund entspricht, 2 ist, und dass die Zahl von virtuellen geteilten Abschnitten 2 ist. In diesem Fall wird, wenn sich das Objekt, das dem Hintergrund entspricht, in 49 nach rechts bewegt, der Pixelwert B des Pixels in dem Hintergrundbereich in Gleichung (10) durch einen Pixelwert P04 dargestellt.
Da die Gleichungen (11) und (12) jeweils zwei Variablen enthalten, kann das Mischungsverhältnis α nicht ohne Modifizieren der Gleichungen bestimmt werden.
Dementsprechend wird das Mischungsverhältnis α durch Formulieren von Gleichungen für das Pixel, das zu dem gemischten Bereich gehört, und das entsprechende Pixel, das zu dem Hintergrundbereich gehört, in Übereinstimmung mit der Menge einer Bewegung v des Vordergrundobjekts bestimmt.
Als die Menge einer Bewegung v werden der Bewegungsvektor und die Positionsinformationen desselben, die von dem Bewegungsdetektor 102 zugeführt werden, benutzt.
Nun wird eine Beschreibung einer Berechnung des geschätzten Mischungsverhältnisses durch den Geschätztes-Mischungsverhältnis-Prozessor 401 unter Verwendung der Menge einer Bewegung v basierend auf dem Modell, das dem abgedeckten Hintergrundbereich entspricht, gegeben.
Bei dem Beispiel, das in 49 gezeigt ist, das dem abgedeckten Hintergrundbereich entspricht, kann Gleichung (13) für P02 des Rahmens #n – 1 gelten, und Gleichung (14) kann für C06 des Rahmens #n gelten.
In den Gleichungen (13) und (14) ist der Wert, der dem Mischungsverhältnis α entspricht, der gleiche, d. h. 2/v. In den Gleichungen (13) und (14) ist der Wert, der der Summe der Vordergrundkomponenten entspricht, der gleiche, d. h.
Das heißt, das Mischungsverhältnis α und die Summe der Vordergrundkomponenten von P02 des Rahmens #n – 1 sind die gleichen wie diejenigen von C06 des Rahmens #n, und man kann sagen, dass C06 des Rahmens #n aufgrund der Bewegung des Vordergrundobjekts P02 des Rahmens #n – 1 entspricht.
Unter Verwendung der Annahme, dass sich das Objekt, das dem Vordergrund entspricht, über eine Mehrzahl von Rahmen mit konstanter Geschwindigkeit bewegt, und dass die Vordergrundkomponenten gleichförmig sind, ist es möglich, eine Mehrzahl von Sätzen auszuwählen, wobei jeder Satz aus einem Pixel, das zu dem gemischten Bereich gehört, und dem entsprechenden Pixel, das zu dem Hintergrundbereich gehört, deren Mischungsverhältnis α und deren Summe der Vordergrundkomponenten die gleichen sind, besteht, in Übereinstimmung mit der Menge einer Bewegung v des Vordergrundobjekts auszuwählen. Beispielsweise können fünf Sätze vorbereitet werden, wobei jeder Satz aus einem Pixel, das zu dem gemischten Bereich gehört, und dem entsprechenden Pixel, das zu dem Hintergrundbereich gehört, besteht.
Beispielsweise können, wie in 51 gezeigt, in Übereinstimmung mit der Menge einer Bewegung v des Vordergrundobjekts Pixel Mt1 bis Mt5, die zu dem gemischten Bereich gehören, und die entsprechenden Pixel Bt1 bis Bt5, die zu dem Hintergrundbereich gehören, jeweils aus dem Rahmen #n – 3 bis zu dem Rahmen #n + 2 ausgewählt werden.
Die Gleichungen (15) bis (19) können jeweils für die Pixel Mt1 bis Mt5 und die Pixel Bt1 bis Bt5 gelten: Mt1 = α·Bt1 + f (15) Mt2 = α·Bt2 + f (16) Mt3 = α·Bt3 + f (17) Mt4 = α·Bt4 + f (18) Mt5 = α·Bt5 + f (19)wobei f in den Gleichungen (15) bis (19) die Summe der Vordergrundkomponenten Σ i Fi/v anzeigt.
In den fünf Gleichungen, d. h. in den Gleichungen (15) bis (19), sind die gemeinsamen Variablen, d. h. das Mischungsverhältnis α und die Summe f der Vordergrundkomponenten, enthalten. Dementsprechend kann durch Anwenden des Verfahrens der kleinsten Quadrate auf die Gleichungen (15) bis (19) das Mischungsverhältnis α und die Summe f der Vordergrundkomponenten erhalten werden.
Beispielsweise speichert der Geschätztes-Mischungsverhältnis-Prozessor 401 eine Normalgleichung zum Berechnen des Mischungsverhältnisses α und der Summe f der Vordergrundkomponenten im Voraus und stellt einen Pixelwert, der zu dem gemischten Bereich gehört, und den entsprechenden Pixelwert, der zu dem Hintergrundbereich gehört, in der gespeicherten Normalgleichung ein und berechnet dadurch das Mischungsverhältnis α und die Summe f der Vordergrundkomponenten durch ein Matrixberechnungsverfahren.
In dem Fall, bei dem sich der Hintergrund bewegt, wie in dem Beispiel von 52 gezeigt, stellt der Geschätztes-Mischungsverhältnis-Prozessor 401 einen Pixelwert, der zu dem gemischten Bereich gehört, und den entsprechenden Pixelwert, der zu dem Hintergrundbereich gehört, in der normalen Gleichung gemäß der Menge einer Bewegung v' des Hintergrunds ein und berechnet dann das Mischungsverhältnis α und die Summe f der Vordergrundkomponenten durch ein Matrixberechnungsverfahren.
Genauer gesagt extrahiert, unter der Annahme, dass eine Mehrzahl von entsprechenden Pixeln zu dem abgedeckten Hintergrundbereich gehören, der Geschätztes-Mischungsverhältnis-Prozessor 401 basierend auf der Menge einer Bewegung v des Vordergrundobjekts bei einer Mehrzahl von Objekten Daten einer Mehrzahl von entsprechenden gemischten Pixeln, die die Pixelwerte (Pixeldaten) der Pixel einer vorbestimmten Zahl von aufeinander folgenden Rahmen, in denen eine Mehrzahl von Objekten gemischt sind, anzeigen, und extrahiert ebenfalls basierend auf der Menge einer Bewegung v' des Hintergrundobjekts aus einer Mehrzahl von Objekten Hintergrund-Pixeldaten, die die Pixelwerte (Pixeldaten) der Pixel, die das Hintergrundobjekt bilden, die den gemischten Pixeldaten entsprechen, anzeigen, wobei die Hintergrund-Pixeldaten aus einem Rahmen, der unterschiedlich zu den Rahmen ist, in denen die gemischten Pixeldaten vorhanden sind, bei einer vorbestimmten Zahl von aufeinander folgenden Rahmen extrahiert werden. Der Geschätztes-Mischungsverhältnis-Prozessor 401 erzeugt dann einen Beziehungsausdruck der gemischten Pixeldaten und der Hintergrund-Pixeldaten, die der vorbestimmten Zahl von aufeinander folgenden Rahmen entsprechen, basierend auf den extrahierten gemischten Pixeldaten und den Hintergrund-Pixeldaten, und erfasst ein einziges Mischungsverhältnis, das der vorbestimmten Zahl von aufeinander folgenden Rahmen entspricht, basierend auf dem Beziehungsausdruck. Das erfasste Mischungsverhältnis wird in dem geschätzten Mischungsverhältnis eingestellt.
Der Geschätztes-Mischungsverhältnis-Prozessor 401 berechnet das geschätzte Mischungsverhältnis unter Verwendung der Menge einer Bewegung v basierend auf einem Modell, das dem abgedeckten Hintergrundbereich entspricht.
Auf ähnliche Weise berechnet der Geschätztes-Mischungsverhältnis-Prozessor 402 das geschätzte Mischungsverhältnis unter Verwendung der Menge einer Bewegung v basierend auf einem Modell, das dem nicht abgedeckten Hintergrundbereich entspricht. Bei dem Modell, das dem nicht abgedeckten Hintergrundbereich entspricht, wird das entsprechende Pixel, das zu dem Hintergrundbereich gehört, aus dem Rahmen, der dem Rahmen mit dem Pixel von Interesse nachfolgt, ausgewählt.
Genauer gesagt extrahiert, unter der Annahme, dass eine Mehrzahl von entsprechenden Pixeln zu dem nicht abgedeckten Hintergrundbereich gehören, der Geschätztes-Mischungsverhältnis-Prozessor 402 basierend auf der Menge einer Bewegung v des Vordergrundobjekts bei einer Mehrzahl von Objekten Daten einer Mehrzahl von entsprechenden gemischten Pixeln, die die Pixelwerte (Pixeldaten) der Pixel einer vorbestimmten Zahl von aufeinander folgenden Rahmen, in denen eine Mehrzahl von Objekten gemischt sind, anzeigen, und extrahiert ebenfalls basierend auf der Menge einer Bewegung v' des Hintergrundobjekts aus einer Mehrzahl von Objekten Hintergrund-Pixeldaten, die die Pixelwerte (Pixeldaten) der Pixel, die das Hintergrundobjekt bilden, die den gemischten Pixeldaten entsprechen, anzeigen, wobei die Hintergrundpixeldaten aus einem Rahmen, der unterschiedlich zu den Rahmen ist, in denen die gemischten Pixeldaten vorhanden sind, bei einer vorbestimmten Zahl von aufeinander folgenden Rahmen extrahiert werden. Der Geschätztes-Mischungsverhältnis-Prozessor 402 erzeugt dann einen Beziehungsausdruck der gemischten Pixeldaten und der Hintergrund-Pixeldaten, die der vorbestimmten Zahl von aufeinander folgenden Rahmen entsprechen, basierend auf den extrahierten gemischten Pixeldaten und den Hintergrund-Pixeldaten, und erfasst ein einziges Mischungsverhältnis, das der vorbestimmten Zahl von aufeinander folgenden Rahmen entspricht, basierend auf dem Beziehungsausdruck. Das erfasste Mischungsverhältnis wird in dem geschätzten Mischungsverhältnis eingestellt.
53 ist ein Blockdiagramm, das die Konfiguration des Geschätztes-Mischungsverhältnis-Prozessors 401 zum Berechnen des geschätzten Mischungsverhältnisses unter Verwendung der Menge einer Bewegung v basierend auf einem Modell, das dem abgedeckten Hintergrundbereich entspricht, darstellt.
Ein Rahmenspeicher 421 speichert eine Mehrzahl von Rahmen eines Eingangsbildes und führt die gespeicherten Rahmen einem Mischungsverhältnis-Berechner 422 zu. Der Rahmenspeicher 421 speichert beispielsweise sechs Rahmen in Einheiten von Rahmen und führt die gespeicherten sechs Rahmen dem Mischungsverhältnis-Berechner 422 zu.
Der Mischungsverhältnis-Berechner 422 speichert eine Normalgleichung zum Berechnen des Mischungsverhältnisses α und der Summe f der Vordergrundkomponenten im Voraus.
Der Mischungsverhältnis-Berechner 422 stellt in der Normalgleichung einen Pixelwert, der zu dem gemischten Bereich gehört, und den entsprechenden Pixelwert, der dem Hintergrundbereich entspricht, die in den Rahmen, die von dem Rahmenspeicher 412 zugeführt werden, enthalten sind, ein. Der Mischungsverhältnis-Berechner 422 löst die Normalgleichung, in der der Pixelwert, der zu dem gemischten Bereich gehört, und der entsprechende Pixelwert, der zu dem Hintergrundbereich gehört, eingestellt sind, gemäß einem Matrixlösungsverfahren, um das geschätzte Mischungsverhältnis zu erhalten, und gibt das berechnete geschätzte Mischungsverhältnis aus.
54 ist ein Blockdiagramm, das die Konfiguration des Mischungsverhältnis-Berechners 422 darstellt.
Ein Normalgleichungs-Addierer 441 speichert eine Normalgleichung zum Berechnen des geschätzten Mischungsverhältnisses im Voraus.
Der Normalgleichungs-Addierer 441 stellt einen entsprechenden Wert, der zu dem gemischten Bereich gehört, und den entsprechenden Wert, der zu dem Hintergrundbereich gehört, die in einem Bild von M Rahmen, die von dem Rahmenspeicher 421 zugeführt werden, enthalten sind, ein. Der Normalgleichungs-Addierer 441 führt die Normalgleichung, in der der Pixelwert, der zu dem gemischten Bereich gehört, und der entsprechende Pixelwert, der zu dem Hintergrundbereich gehört, eingestellt sind, einem Normalgleichungs-Berechner 442 zu.
Der Normalgleichungs-Berechner 442 löst die Normalgleichung, in der die Pixelwerte eingestellt sind, die von dem Normalgleichungs-Addierer 441 zugeführt wird, durch Anwenden von beispielsweise einem Sweep-Out-Verfahren (einer Gauß-Jordan- Eliminierung), um das geschätzte Mischungsverhältnis zu erhalten, und gibt das berechnete Mischungsverhältnis aus.
Wie im Vorhergehenden erörtert, berechnet der Geschätztes-Mischungsverhältnis-Prozessor 401 das geschätzte Mischungsverhältnis unter Verwendung der Menge einer Bewegung v basierend auf einem Modell, das dem abgedeckten Hintergrundbereich entspricht.
Der Geschätztes-Mischungsverhältnis-Prozessor 402 weist eine Konfiguration auf, die ähnlich zu dem Geschätztes-Mischungsverhältnis-Prozessor 401 ist, und eine Erklärung derselben wird daher weggelassen.
55 stellt ein Beispiel des geschätzten Mischungsverhältnisses, das durch den Geschätztes-Mischungsverhältnis-Prozessor 401 berechnet wird, dar. Das geschätzte Mischungsverhältnis, das in 55 gezeigt ist, ist das Resultat, das durch eine Linie dargestellt ist und das durch Berechnen der Normalgleichungen, in denen sieben Paare von Pixeln eingestellt sind, erhalten wird, wenn die Bewegung v des Vordergrundobjekts, das sich mit konstanter Geschwindigkeit bewegt, 11 ist.
Wie in 48 gezeigt, ist ersichtlich, dass sich das geschätzte Mischungsverhältnis in dem gemischten Bereich annähernd linear ändert.
Rückbezug nehmend auf 47 stellt der Mischungsverhältnis-Bestimmungsabschnitt 403 das Mischungsverhältnis α basierend auf den Bereichsinformationen, die von der Bereichsspezifizierungseinheit 101 zugeführt werden und anzeigen, zu welchem von dem Vordergrundbereich, dem Hintergrundbereich, dem abgedeckten Hintergrundbereich oder dem nicht abgedeckten Hintergrundbereich das Pixel, für das das Mischungsverhältnis α zu berechnen ist, gehört, ein. Der Mischungsverhältnis-Bestimmungsabschnitt 403 stellt das Mischungsverhältnis α auf 0 ein, wenn das entsprechende Pixel zu dem Vordergrundbereich gehört, und er stellt das Mischungsverhältnis α auf 1 ein, wenn das entsprechende Pixel zu dem Hintergrundbereich gehört. Wenn das entsprechende Pixel zu dem abgedeckten Hintergrundbereich gehört, stellt der Mischungsverhältnis-Bestimmungsabschnitt 403 das Mischungsverhältnis α auf das geschätzte Mischungsverhältnis, das von dem Geschätztes-Mischungsverhältnis-Prozessor 401 zugeführt wird, ein. Wenn das entsprechende Pixel zu dem nicht abgedeckten Hintergrundbereich gehört, stellt der Mischungsverhältnis-Bestimmungsabschnitt 403 das Mischungsverhältnis α auf das geschätzte Mischungsverhältnis, das von dem Geschätztes-Mischungsverhältnis-Prozessor 402 zugeführt wird, ein. Der Mischungsverhältnis-Bestimmungsabschnitt 403 gibt das Mischungsverhältnis α, das basierend auf den Bereichsinformationen eingestellt worden ist, aus.
Auf diese Art und Weise ist der Mischungsverhältnis-Berechner 104 fähig, das Mischungsverhältnis α für jedes Pixel, das in dem Bild enthalten ist, zu berechnen und das berechnete Mischungsverhältnis α auszugeben.
56 ist ein Blockdiagramm, das eine weitere Konfiguration des Mischungsverhältnis-Berechners 104 darstellt. Ein Selektor 461 führt ein Pixel, das zu dem abgedeckten Hintergrundbereich gehört, und die entsprechenden Pixel in den vorhergehenden und den nachfolgenden Rahmen einem Geschätztes-Mischungsverhältnis-Prozessor 462 basierend auf den Bereichsinformationen, die von der Bereichsspezifizierungseinheit 103 zugeführt werden, zu. Der Selektor 461 führt ein Pixel, das zu dem nicht abgedeckten Hintergrundbereich gehört, und die entsprechenden Pixel in den vorhergehenden und den nachfolgenden Rahmen einem Geschätztes-Mischungsverhältnis-Prozessor 463 basierend auf den Bereichsinformationen, die von der Bereichsspezifizierungseinheit 103 zugeführt werden, zu.
Der Geschätztes-Mischungsverhältnis-Prozessor 462 berechnet das geschätzte Mischungsverhältnis des Pixels von Interesse, das zu dem abgedeckten Hintergrundbereich gehört, gemäß der Normalgleichung, die dem abgedeckten Hintergrundbereich entspricht, basierend auf dem Bewegungsvektor und den Positionsinformationen desselben, die von dem Bewegungsdetektor 102 zugeführt werden, und den Pixelwerten, die von dem Selektor 461 eingegeben werden, und führt das berechnete geschätzte Mischungsverhältnis einem Selektor 464 zu.
Der Geschätztes-Mischungsverhältnis-Prozessor 463 berechnet das geschätzte Mischungsverhältnis des Pixels von Interesse, das zu dem nicht abgedeckten Hintergrundbereich gehört, gemäß der Normalgleichung, die dem abgedeckten Hintergrundbereich entspricht, basierend auf dem Bewegungsvektor und den Positionsinformationen desselben, die von dem Bewegungsdetektor 102 zugeführt werden, und den Pixelwerten, die von dem Selektor 461 eingegeben werden, und führt das berechnete geschätzte Mischungsverhältnis dem Selektor 464 zu.
Basierend auf den Bereichsinformationen, die von der Bereichsspezifizierungseinheit 103 zugeführt werden, stellt der Selektor 464 das Mischungsverhältnis α auf 0 ein, wenn das Pixel von Interesse zu dem Vordergrundbereich gehört, und er stellt das Mischungsverhältnis α auf 1 ein, wenn das Pixel von Interesse zu dem Hintergrundbereich gehört. Wenn das Pixel von Interesse zu dem abgedeckten Hintergrundbereich gehört, wählt der Selektor 464 das geschätzte Mischungsverhältnis, das von dem Geschätztes-Mischungsverhältnis-Prozessor 462 zugeführt wird, aus und stellt dasselbe als das Mischungsverhältnis α ein. Wenn das Pixel von Interesse zu dem nicht abgedeckten Hintergrundbereich gehört, wählt der Selektor 464 das geschätzte Mischungsverhältnis, das von dem Geschätztes-Mischungsverhältnis-Prozessor 463 zugeführt wird, aus und stellt dasselbe als das Mischungsverhältnis α ein. Der Selektor 464 gibt dann das Mischungsverhältnis α, das basierend auf den Bereichsinformationen ausgewählt und eingestellt worden ist, aus.
Wie im Vorhergehenden erörtert, ist der Mischungsverhältnis-Berechner 104, der wie in 56 gezeigt konfiguriert ist, fähig, das Mischungsverhältnis α für jedes Pixel, das in dem Bild enthalten ist, zu berechnen, und er gibt das berechnete Mischungsverhältnis α aus.
Das Berechnungsverarbeiten für das Mischungsverhältnis α, das durch den Mischungsverhältnis-Berechner 104 durchgeführt wird, ist im Folgenden unter Bezugnahme auf das Flussdiagramm von 57 erörtert. Bei Schritt S501 erhält der Mischungsverhältnis-Berechner 104 Berechnungsinformationen, die von der Bereichsspezifizierungseinheit 101 zugeführt werden. Bei Schritt S502 führt der Geschätztes-Mischungsverhältnis-Prozessor 401 das Verarbeiten zum Schätzen des Mischungsverhältnisses unter Verwendung eines Modells, das einem abgedeckten Hintergrundbereich entspricht, basierend auf einem Bewegungsvektor und Positionsinformationen desselben, die von dem Bewegungsvektor 102 zugeführt werden, aus und führt das geschätzte Mischungsverhältnis dem Mischungsverhältnis-Bestimmungsabschnitt 403 zu. Details des Verarbeiten zum Schätzen des Mischungsverhältnisses sind im Folgenden unter Bezugnahme auf das Flussdiagramm von 58 erörtert.
Bei Schritt S503 führt der Geschätztes-Mischungsverhältnis-Prozessor 402 das Verarbeiten zum Schätzen des Mischungsverhältnisses unter Verwendung eines Modells, das einem nicht abgedeckten Hintergrundbereich entspricht, basierend auf einem Bewegungsvektor und Positionsinformationen desselben, die von dem Bewegungsvektor 102 zugeführt werden, aus und führt das geschätzte Mischungsverhältnis dem Mischungsverhältnis-Bestimmungsabschnitt 403 zu.
Bei Schritt S504 bestimmt der Mischungsverhältnis-Berechner 104, ob die Mischungsverhältnisse für den gesamten Rahmen geschätzt worden sind. Wenn bestimmt wird, dass die Mischungsverhältnisse noch nicht für den gesamten Rahmen geschätzt worden sind, kehrt der Prozess zu Schritt S502 zurück, und das Verarbeiten zum Schätzen des Mischungsverhältnisses für das nachfolgende Pixel wird ausgeführt.
Wenn bei Schritt S504 bestimmt wird, dass die Mischungsverhältnisse für den gesamten Rahmen geschätzt worden sind, schreitet der Prozess zu Schritt S505 fort. Bei Schritt S505 stellt der Mischungsverhältnis-Bestimmungsabschnitt 403 das Mischungsverhältnis basierend auf den Bereichsinformationen, die von der Bereichsspezifizierungseinheit 101 zugeführt werden und anzeigen, zu welchem von dem Vordergrundbereich, dem Hintergrundbereich, dem abgedeckten Hintergrundbereich oder dem nicht abgedeckten Hintergrundbereich das Pixel, für das das Mischungsverhältnis α zu berechnen ist, gehört, ein. Der Mischungsverhältnis-Bestimmungsabschnitt 403 stellt das Mischungsverhältnis α auf 0 ein, wenn das entsprechende Pixel zu einem Vordergrundbereich gehört, und er stellt das Mischungsverhältnis α auf 1 ein, wenn das entsprechende Pixel zu dem Hintergrundbereich gehört. Wenn das entsprechende Pixel zu dem abgedeckten Hintergrundbereich gehört, stellt der Mischungsverhältnis-Bestimmungsabschnitt 403 das geschätzte Mischungsverhältnis, das von dem Geschätztes-Mischungsverhältnis-Prozessor 401 zugeführt wird, als das Mischungsverhältnis α ein. Wenn das entsprechende Pixel zu dem nicht abgedeckten Hintergrundbereich gehört, stellt der Mischungsverhältnis-Bestimmungsabschnitt 403 das geschätzte Mischungsverhältnis, das von dem Geschätztes-Mischungsverhältnis-Prozessor 402 zugeführt wird, als das Mischungsverhältnis α ein. Das Verarbeiten ist dann abgeschlossen.
Wie im Vorhergehenden erörtert, ist der Mischungsverhältnis-Berechner 104 fähig, das Mischungsverhältnis α, das eine Merkmalsgröße anzeigt, die jedem Pixel entspricht, basierend auf dem Bewegungsvektor und den Positionsinformationen desselben, die von dem Bewegungsvektor 102 zugeführt werden, den Bereichsinformationen, die von der Bereichsspezifizierungseinheit 101 zugeführt werden, und dem Eingangsbild zu berechnen.
Unter Benutzung des Mischungsverhältnisses α ist es möglich, die Vordergrundkomponenten und die Hintergrundkomponenten, die in den Pixelwerten enthalten sind, zu trennen, während die Informationen einer Bewegungsunschärfe, die in dem Bild, das dem sich bewegenden Objekt entspricht, enthalten sind, aufrechterhalten werden.
Das Verarbeiten des Mischungsverhältnis-Berechners 104, der wie in 56 gezeigt konfiguriert ist, ist ähnlich zu dem, das unter Bezugnahme auf das Flussdiagramm von 57 erörtert ist, und eine Beschreibung desselben wird daher weggelassen.
Nun wird unter Bezugnahme auf das Flussdiagramm von 57 eine Beschreibung des Berechnungsverarbeitens gegeben, das durch den Geschätztes-Mischungsverhältnis-Prozessor 401 bei Schritt S502 ausgeführt wird, bei dem das Mischungsverhältnis gemäß dem Modell des abgedeckten Hintergrundbereichs geschätzt wird.
Bei Schritt S521 liest der Normalgleichungs-Addierer 441 des Mischungsverhältnis-Berechners 442 den Bewegungsvektor und die Positionsinformationen desselben, die von dem Bewegungsdetektor 102 zugeführt werden, um die Menge einer Bewegung v zu erhalten.
Bei Schritt S522 wählt der Normalgleichungs-Addierer die Pixel aus dem Bild von M Rahmen, die von dem Rahmenspeicher 421 zugeführt werden, aus und stellt die ausgewählten Pixel in einer vorgespeicherten Normalgleichung ein.
Bei Schritt S523 bestimmt der Normalgleichungs-Addierer 441, ob das Einstellen der Pixelwerte der entsprechenden Pixel beendet ist. Wenn bestimmt wird, dass das Einstellen der Pixelwerte der entsprechenden Pixel nicht beendet ist, kehrt der Prozess zu Schritt S522 zurück, bei dem das Verarbeiten zum Einstellen der Pixelwerte wiederholt wird.
Wenn bei Schritt S523 bestimmt wird, dass das Einstellen der Pixelwerte der entsprechenden Pixel beendet ist, schreitet der Prozess zu Schritt S524 fort. Bei Schritt S524 führt der Normalgleichungs-Addierer 441 die Normalgleichung, in der die Pixelwerte eingestellt sind, dem Normalgleichungs-Berechner 442 zu, und der Normalgleichungs-Berechner 442 löst die Normalgleichung durch Anwenden von beispielsweise einem Sweep-Out-Verfahren (einer Gauß-Jordan-Eliminierung), um das geschätzte Mischungsverhältnis zu erhalten. Das Verarbeiten ist dann abgeschlossen.
Wie im Vorhergehenden erörtert, ist der Geschätztes-Mischungsverhältnis-Prozessor 401 fähig, das geschätzte Mischungsverhältnis zu berechnen.
Das Mischungsverhältnis-Schätzungsverarbeiten, das durch den Geschätztes-Mischungsverhältnis-Prozessor 402 bei Schritt 503 von 57 ausgeführt wird, bei dem das Mischungsverhältnis unter Verwendung des Modells, das dem nicht abgedeckten Hintergrundbereich entspricht, geschätzt wird, ist ähnlich zu dem Verarbeiten, das unter Verwendung der Normalgleichung, die dem Modell des nicht abgedeckten Hintergrundbereichs entspricht, durchgeführt wird, das durch das Flussdiagramm von 58 angezeigt ist, und eine Erklärung desselben wird daher weggelassen.
Das Verarbeiten, das durch den Geschätztes-Mischungsverhältnis-Prozessor 462 ausgeführt wird, ist ähnlich zu dem, das durch den Geschätztes-Mischungsverhältnis-Prozessor 401 ausgeführt wird, und eine Erklärung desselben wird daher weggelassen. Das Verarbeiten, das durch den Geschätztes-Mischungsverhältnis-Prozessor 463 ausgeführt wird, ist ähnlich zu dem, das durch den Geschätztes-Mischungsverhältnis-Prozessor 402 ausgeführt wird, und eine Erklärung desselben wird daher weggelassen.
Der Vordergrund/Hintergrund-Separator 105 ist im Folgenden erörtert. 59 ist ein Blockdiagramm, das ein Beispiel der Konfiguration des Vordergrund/Hintergrund-Separators 105 darstellt. Das Eingangsbild, das dem Vordergrund/Hintergrund-Separator 105 zugeführt wird, wird einem Trennabschnitt 601, einem Schalter 602 und einem Schalter 604 zugeführt. Die Bereichsinformationen, die von der Bereichsspezifizierungseinheit 103 zugeführt werden und die Informationen des abgedeckten Hintergrundbereichs und des nicht abgedeckten Hintergrundbereichs anzeigen, werden dem Trennabschnitt 601 zugeführt. Die Bereichsinformationen, die den Vordergrundbereich anzeigen, werden dem Schalter 602 zugeführt. Die Bereichsinformationen, die den Hintergrundbereich anzeigen, werden dem Schalter 604 zugeführt.
Das Mischungsverhältnis α, das von dem Mischungsverhältnis-Berechner 104 zugeführt wird, wird dem Trennabschnitt 601 zugeführt.
Der Trennabschnitt 601 trennt die Vordergrundkomponenten basierend auf den Bereichsinformationen, die den abgedeckten Hintergrundbereich anzeigen, den Bereichsinformationen, die den nicht abgedeckten Hintergrundbereich anzeigen, und dem Mischungsverhältnis α von dem Eingangsbild und führt die getrennten Vordergrundkomponenten einem Synthesizer 603 zu. Der Trennabschnitt 601 trennt ebenfalls die Hintergrundkomponenten von dem Eingangsbild und führt die getrennten Hintergrundkomponenten einem Synthesizer 605 zu.
Der Schalter 602 ist geschlossen, wenn ein Pixel, das dem Vordergrund entspricht, basierend auf den Bereichsinformationen, die den Vordergrundbereich anzeigen, eingegeben wird, und er führt lediglich die Pixel, die dem Vordergrund entsprechen, der in dem Eingangsbild enthalten ist, dem Synthesizer 603 zu.
Der Schalter 604 ist geschlossen, wenn ein Pixel, das dem Hintergrund entspricht, basierend auf den Bereichsinformationen, die den Hintergrundbereich anzeigen, eingegeben wird, und er führt lediglich die Pixel, die dem Hintergrund entsprechen, der in dem Eingangsbild enthalten ist, dem Synthesizer 605 zu.
Der Synthesizer 603 synthetisiert ein Vordergrundkomponentenbild basierend auf den Vordergrundkomponenten, die von dem Trennabschnitt 601 zugeführt werden, und den Pixeln, die dem Vordergrund entsprechen, die von dem Schalter 602 zugeführt werden, und gibt das synthetisierte Vordergrundkomponentenbild aus. Da der Vordergrundbereich und der gemischte Bereich nicht überlappen, wendet der Synthesizer 603 beispielsweise ein logisches ODER auf die Vordergrundkomponenten und die Vordergrundpixel an und synthetisiert dadurch das Vordergrundkomponentenbild.
Bei dem Initialisierungsverarbeiten, das beim Start des Synthetisierungsverarbeitens für das Vordergrundkomponentenbild ausgeführt wird, speichert der Synthesizer 603 ein Bild, dessen Pixelwerte alle 0 sind, in einem eingebauten Rahmenspeicher. Dann speichert der Synthesizer 603 bei dem Synthetisierungsverarbeiten für das Vordergrundkomponentenbild das Vordergrundkomponentenbild (überschreibt das vorhergehende Bild mit dem Vordergrundkomponentenbild). Dementsprechend ist 0 in den Pixeln, die dem Hintergrundbereich entsprechen, in dem Vordergrundkomponentenbild, das von dem Synthesizer 603 ausgegeben wird, gespeichert.
Der Synthesizer 605 synthetisiert ein Hintergrundkomponentenbild basierend auf den Hintergrundkomponenten, die von dem Trennabschnitt 601 zugeführt werden, und den Pixeln, die dem Hintergrund entsprechen, und die von dem Schalter 604 zugeführt werden, und gibt das synthetisierte Hintergrundkomponentenbild aus. Da der Hintergrundbereich und der gemischte Bereich nicht überlappen, wendet der Synthesizer 605 beispielsweise ein logisches ODER auf die Hintergrundkomponenten und die Hintergrundpixel an und synthetisiert dadurch das Hintergrundkomponentenbild.
Bei dem Initialisierungsverarbeiten, das beim Start des Synthetisierungsverarbeitens für das Hintergrundkomponentenbild ausgeführt wird, speichert der Synthesizer 605 ein Bild, dessen Pixelwerte alle 0 sind, in einem eingebauten Rahmenspeicher. Dann speichert der Synthesizer 605 bei dem Synthetisierungsverarbeiten für das Hintergrundkomponentenbild das Hintergrundkomponentenbild (überschreibt das vorhergehende Bild mit dem Hintergrundkomponentenbild). Dementsprechend ist 0 in den Pixeln, die dem Vordergrundbereich entsprechen, in dem Hintergrundkomponentenbild, das von dem Synthesizer 605 ausgegeben wird, gespeichert.
60A stellt das Eingangsbild, das in den Vordergrund/Hintergrund-Separator 105 eingegeben wird, und das Vordergrundkomponentenbild und das Hintergrundkomponentenbild, die von dem Vordergrund/Hintergrund-Separator 105 ausgegeben werden, dar. 60B stellt ein Modell des Eingangsbildes, das in den Vordergrund/Hintergrund-Separator 105 eingegeben wird, und des Vordergrundkomponentenbildes und des Hintergrundkomponentenbildes, die von dem Vordergrund/Hintergrund-Separator 105 ausgegeben werden, dar.
60A ist ein schematisches Diagramm, das das anzuzeigende Bild darstellt, und 60B stellt ein Modell dar, das durch Ausdehnen in der Zeitrichtung der Pixel, die in einer Zeile angeordnet sind, die die Pixel, die zu dem Vordergrundbereich gehören, die Pixel, die zu dem Hintergrundbereich gehören, und die Pixel, die zu dem gemischten Bereich gehören, umfassen, erhalten wird, entsprechend 60A.
Wie in 60A und 60B gezeigt, besteht das Hintergrundkomponentenbild, das von dem Vordergrund/Hintergrund-Separator 105 ausgegeben wird, aus den Pixeln, die zu dem Hintergrundbereich gehören, und den Hintergrundkomponenten, die in den Pixeln des gemischten Bereichs enthalten sind.
Wie in 60A und 60B gezeigt, besteht das Vordergrundkomponentenbild, das von dem Vordergrund/Hintergrund-Separator 105 ausgegeben wird, aus dem Pixel, das zu dem Vordergrundbereich gehört, und den Vordergrundkomponenten, die in den Pixeln des gemischten Bereichs enthalten sind.
Die Pixelwerte der Pixel in dem gemischten Bereich werden durch den Vordergrund/Hintergrund-Separator 105 in die Hintergrundkomponenten und die Vordergrundkomponenten getrennt. Die getrennten Hintergrundkomponenten bilden zusammen mit den Pixeln, die zu dem Hintergrundbereich gehören, das Hintergrundkomponentenbild. Die getrennten Vordergrundkomponenten bilden zusammen mit den Pixeln, die zu dem Vordergrundbereich gehören, das Vordergrundkomponentenbild.
Wie im Vorhergehenden erörtert, werden in dem Vordergrundkomponentenbild die Pixelwerte der Pixel, die dem Hintergrundbereich entsprechen, auf 0 eingestellt, und signifikante Pixelwerte werden in den Pixeln, die dem Vordergrundbereich entsprechen, und den Pixeln, die dem gemischten Bereich entsprechen, eingestellt. Auf ähnliche Weise werden in dem Hintergrundkomponentenbild die Pixelwerte der Pixel, die dem Vordergrundbereich entsprechen, auf 0 eingestellt, und signifikante Pixelwerte werden in den Pixeln, die dem Hintergrundbereich entsprechen, und den Pixeln, die dem gemischten Bereich entsprechen, eingestellt.
Im Folgenden wird eine Beschreibung des Verarbeiten gegeben, das durch den Trennabschnitt 601 zum Trennen der Vordergrundkomponenten und der Hintergrundkomponenten von den Pixeln, die zu dem gemischten Bereich gehören, ausgeführt wird.
61 stellt ein Modell eines Bildes dar, das Vordergrundkomponenten und Hintergrundkomponenten in zwei Rahmen anzeigt, das ein Vordergrundobjekt, das sich in 61 von links nach rechts bewegt, umfasst. Bei dem Modell des Bildes, das in 61 gezeigt ist, ist die Menge einer Bewegung v 4, und die Zahl von virtuellen geteilten Abschnitten ist 4.
In dem Rahmen #n bestehen das äußerste linke Pixel und die vierzehnten bis achtzehnten Pixel von links aus lediglich den Hintergrundkomponenten und gehören zu dem Hintergrundbereich. In dem Rahmen #n enthalten die zweiten bis vierten Pixel von links die Hintergrundkomponenten und die Vordergrundkomponenten und gehören zu dem nicht abgedeckten Hintergrundbereich. In dem Rahmen #n enthalten die elften bis dreizehnten Pixel von links Hintergrundkomponenten und Vordergrundkomponenten und gehören zu dem abgedeckten Hintergrundbereich. In dem Rahmen #n bestehen die fünften bis zehnten Pixel von links aus lediglich den Vordergrundkomponenten und gehören zu dem Vordergrundbereich.
In dem Rahmen #n + 1 bestehen die ersten bis fünften Pixel von links und das achtzehnte Pixel von links aus lediglich den Hintergrundkomponenten und gehören zu dem Hintergrundbereich. In dem Rahmen #n + 1 enthalten die sechsten bis achten Pixel von links Hintergrundkomponenten und Vordergrundkomponenten und gehören zu dem nicht abgedeckten Hintergrundbereich. In dem Rahmen #n + 1 enthalten die fünfzehnten bis siebzehnten Pixel von links Hintergrundkomponenten und Vordergrundkomponenten und gehören zu dem abgedeckten Hintergrundbereich. In dem Rahmen #n + 1 bestehen die neunten bis vierzehnten Pixel von links aus lediglich den Vordergrundkomponenten und gehören zu dem Vordergrundbereich.
62 stellt das Verarbeiten zum Trennen der Vordergrundkomponenten von den Pixeln, die zu dem abgedeckten Hintergrundbereich gehören, dar. In 62 zeigen α1 bis α18 Mischungsverhältnisse der einzelnen Pixel des Rahmens #n an. In 62 gehören die fünfzehnten bis siebzehnten Pixel von links zu dem abgedeckten Hintergrundbereich.
Der Pixelwert C15 des fünfzehnten Pixels von links in dem Rahmen #n kann durch Gleichung (20) ausgedrückt werden: C15 = B15/v + F09/v + F08/v + F07/v = α15·B15 + F09/v + F08/v + F07/v = α15·P15 + F09/v + F08/v + F07/v (20)wobei α15 das Mischungsverhältnis des fünfzehnten Pixels von links in dem Rahmen #n anzeigt und P15 den Pixelwert des fünfzehnten Pixels von links in dem Rahmen #n – 1 bestimmt.
Die Summe f15 der Vordergrundkomponenten des fünfzehnten Pixels von links in dem Rahmen #n kann durch Gleichung (21) basierend auf Gleichung (20) ausgedrückt werden. f15 = F09/v + F08/v + F07/v = C15 – α15·P15 (21)
Auf ähnliche Weise kann die Summe f16 der Vordergrundkomponenten des sechzehnten Pixels von links in dem Rahmen #n durch Gleichung (22) ausgedrückt werden, und die Summe f17 der Vordergrundkomponenten des siebzehnten Pixels von links in dem Rahmen #n kann durch Gleichung (23) ausgedrückt werden. f16 = C16 – α16·P16 (22) f17 = C17 – α17·P17 (23)
Auf diese Art und Weise können die Vordergrundkomponenten fc, die in dem Pixelwert C des Pixels, das zu dem abgedeckten Hintergrundbereich gehört, enthalten sind, durch Gleichung (24) ausgedrückt werden: fc = C – α·P (24)wobei P den Pixelwert des entsprechenden Pixels in dem vorhergehenden Rahmen bestimmt.
63 stellt das Verarbeiten zum Trennen der Vordergrundkomponenten von den Pixeln, die zu dem nicht abgedeckten Hintergrundbereich gehören, dar. In 63 zeigen α1 bis α18 Mischungsverhältnisse der einzelnen Pixel des Rahmens #n an. In 63 gehören die zweiten bis vierten Pixel von links zu dem nicht abgedeckten Hintergrundbereich.
Der Pixelwert C02 des zweiten Pixels von links in dem Rahmen #n kann durch Gleichung (25) ausgedruckt werden: C02 = B02/v + B02/v + B02/v + F01/v = α2·B02 + F01/v = α2·N02 + F01/v (25) wobei α2 das Mischungsverhältnis des zweiten Pixels von links in dem Rahmen #n anzeigt und N02 den Pixelwert des zweiten Pixels von links in dem Rahmen #n + 1 bestimmt.
Die Summe f02 der Vordergrundkomponenten des zweiten Pixels von links in dem Rahmen #n kann durch Gleichung (26) basierend auf Gleichung (25) ausgedruckt werden. f02 = F01/v = C02 – α2·N02 (26)
Auf ähnliche Weise kann die Summe f03 der Vordergrundkomponenten des dritten Pixels von links in dem Rahmen #n durch Gleichung (27) ausgedrückt werden, und die Summe f04 der Vordergrundkomponenten des vierten Pixels von links in dem Rahmen #n kann durch Gleichung (28) ausgedrückt werden. f02 = C03 – α3·N03 (27) f04 = C04 – α4·N04 (28)
Auf diese Art und Weise können die Vordergrundkomponenten fu, die in dem Pixelwert C des Pixels, das zu dem nicht abgedeckten Hintergrundbereich gehört, enthalten sind, durch Gleichung (29) ausgedrückt werden: fu = C – α·N (29)wobei N den Pixelwert des entsprechenden Pixels in dem nachfolgenden Rahmen bestimmt.
Wie im Vorhergehenden erörtert, ist der Trennabschnitt 601 fähig, die Vordergrundkomponenten von den Pixeln, die zu dem gemischten Bereich gehören, und die Hintergrundkomponenten von den Pixeln, die zu dem gemischten Bereich gehören, basierend auf den Informationen, die den abgedeckten Hintergrundbereich anzeigen, und den Informationen, die den nicht abgedeckten Hintergrundbereich anzeigen, die in den Bereichsinformationen enthalten sind, zu trennen und das Mischungsverhältnis α für jedes Pixel auszugeben.
64 ist ein Blockdiagramm, das ein Beispiel der Konfiguration des Trennabschnitts 601 zum Ausführen des im Vorhergehenden beschriebenen Verarbeiten darstellt. Ein Bild, das in den Trennabschnitt 601 eingegeben wird, wird einem Rahmenspeicher 621 zugeführt, und die Bereichsinformationen, die den abgedeckten Hintergrundbereich und den nicht abgedeckten Hintergrundbereich anzeigen, die von dem Mischungsverhältnis-Berechner 104 zugeführt werden, und das Mischungsverhältnis α werden einem Trennungsverarbeitungsblock 622 zugeführt.
Der Rahmenspeicher 621 speichert die Eingangsbilder in Einheiten von Rahmen. Wenn ein zu verarbeitender Rahmen ein Rahmen #n ist, speichert der Rahmenspeicher 621 einen Rahmen #n – 1, der der Rahmen ein Rahmen vor dem Rahmen #n ist, den Rahmen #n und einen Rahmen #n + 1, der der Rahmen ein Rahmen nach dem Rahmen #n ist.
Der Rahmenspeicher 621 führt die entsprechenden Pixel in dem Rahmen #n – 1, dem Rahmen #n und dem Rahmen #n + 1 dem Trennungsverarbeitungsblock 622 zu.
Der Trennungsverarbeitungsblock 622 wendet die Berechnungen, die unter Bezugnahme auf 62 und 63 erörtert sind, auf die Pixelwerte der entsprechenden Pixel in dem Rahmen #n – 1, dem Rahmen #n und dem Rahmen #n + 1, die von dem Rahmenspeicher 621 zugeführt werden, basierend auf den Bereichsinformationen, die den abgedeckten Hintergrund und den nicht abgedeckten Hintergrundbereich anzeigen, und dem Mischungsverhältnis α an, um die Vordergrundkomponenten und die Hintergrundkomponenten von den Pixeln, die in dem Rahmen #n zu dem gemischten Bereich gehören, zu trennen, und führt dieselben einem Rahmenspeicher 623 zu.
Der Trennungsverarbeitungsblock 622 ist aus einem Nicht-abgedeckter-Bereich-Prozessor 631, einem Abgedeckter-Bereich-Prozessor 632, einem Synthesizer 633 und einem Synthesizer 634 gebildet.
Ein Multiplizierer 641 des Nicht-abgedeckter-Bereich-Prozessors 631 multipliziert den Pixelwert des Pixels in dem Rahmen #n + 1, der von dem Rahmenspeicher 621 zugeführt wird, mit dem Mischungsverhältnis α und gibt den resultierenden Pixelwert zu einem Schalter 642 aus. Der Schalter 642 ist geschlossen, wenn das Pixel des Rahmens #n (das dem Pixel in dem Rahmen #n + 1 entspricht), der von dem Rahmenspeicher 621 zugeführt wird, zu dem nicht abgedeckten Hintergrundbereich gehört, und er führt den Pixelwert, der mit dem Mischungsverhältnis α multipliziert ist, der von dem Multiplizierer 641 zugeführt wird, einem Berechner 643 und dem Synthesizer 634 zu. Der Wert, der durch Multiplizieren des Pixelwerts des Pixels in dem Rahmen #n + 1 mit dem Mischungsverhältnis α erhalten wird, der von dem Schalter 642 ausgegeben wird, ist äquivalent zu den Hintergrundkomponenten des Pixelwerts des entsprechenden Pixels in dem Rahmen #n.
Der Berechner 643 subtrahiert die Hintergrundkomponenten, die von dem Schalter 642 zugeführt werden, von dem Pixelwert des Pixels in dem Rahmen #n, der von dem Rahmenspeicher 621 zugeführt wird, um die Vordergrundkomponenten zu erhalten. Der Berechner 643 führt die Vordergrundkomponenten des Pixels in dem Rahmen #n, die zu dem nicht abgedeckten Hintergrundbereich gehören, dem Synthesizer 633 zu.
Ein Multiplizierer 651 des Abgedeckter-Bereich-Prozessors 632 multipliziert den Pixelwert des Pixels in dem Rahmen #n – 1, der von dem Rahmenspeicher 621 zugeführt wird, mit dem Mischungsverhältnis α und gibt den resultierenden Pixelwert zu einem Schalter 652 aus. Der Schalter 652 ist geschlossen, wenn das Pixel des Rahmens #n (das dem Pixel in dem Rahmen #n – 1 entspricht), der von dem Rahmenspeicher 621 zugeführt wird, zu dem abgedeckten Hintergrundbereich gehört, und er führt den Pixelwert, der mit dem Mischungsverhältnis α multipliziert ist, der von dem Multiplizierer 651 zugeführt wird, einem Berechner 653 und dem Synthesizer 634 zu. Der Wert, der durch Multiplizieren des Pixelwerts des Pixels in dem Rahmen #n – 1 mit dem Mischungsverhältnis α erhalten wird, der von dem Schalter 652 ausgegeben wird, ist äquivalent zu den Hintergrundkomponenten des Pixelwerts des entsprechenden Pixels in dem Rahmen #n.
Der Berechner 653 subtrahiert die Hintergrundkomponenten, die von dem Schalter 652 zugeführt werden, von dem Pixelwert des Pixels in dem Rahmen #n, der von dem Rahmenspeicher 621 zugeführt wird, um die Vordergrundkomponenten zu erhalten. Der Berechner 653 führt die Vordergrundkomponenten des Pixels in dem Rahmen #n, die zu dem abgedeckten Hintergrundbereich gehören, dem Synthesizer 633 zu.
Der Synthesizer 633 kombiniert die Vordergrundkomponenten der Pixel, die zu dem nicht abgedeckten Hintergrundbereich gehören und von dem Berechner 643 zugeführt werden, mit den Vordergrundkomponenten der Pixel, die zu dem abgedeckten Hintergrundbereich gehören und von dem Berechner 653 zugeführt werden, und führt die synthetisierten Vordergrundkomponenten dem Rahmenspeicher 623 zu.
Der Synthesizer 634 kombiniert die Hintergrundkomponenten der Pixel, die zu dem nicht abgedeckten Hintergrundbereich gehören und von dem Schalter 642 zugeführt werden, mit den Hintergrundkomponenten der Pixel, die zu dem abgedeckten Hintergrundbereich gehören und von dem Schalter 652 zugeführt werden, und führt die synthetisierten Hintergrundkomponenten dem Rahmenspeicher 623 zu.
Der Rahmenspeicher 623 speichert die Vordergrundkomponenten und die Hintergrundkomponenten der Pixel in dem gemischten Bereich des Rahmens #n, die von dem Trennungsverarbeitungsblock 622 zugeführt werden.
Der Rahmenspeicher 623 gibt die gespeicherten Vordergrundkomponenten der Pixel in dem gemischten Bereich in dem Rahmen #n und die gespeicherten Hintergrundkomponenten der Pixel in dem gemischten Bereich in dem Rahmen #n aus.
Unter Benutzung des Mischungsverhältnisses α, das die Merkmalsgröße anzeigt, können die Vordergrundkomponenten und die Hintergrundkomponenten, die in den Pixelwerten enthalten sind, vollständig getrennt werden.
Der Synthesizer 603 kombiniert die Vordergrundkomponenten der Pixel in dem gemischten Bereich in dem Rahmen #n, die von dem Trennabschnitt 601 ausgegeben werden, mit den Pixeln, die zu dem Vordergrundbereich gehören, um ein Vordergrundkomponentenbild zu erzeugen. Der Synthesizer 605 kombiniert die Hintergrundkomponenten der Pixel in dem gemischten Bereich in dem Rahmen #n, die von dem Trennabschnitt 601 ausgegeben werden, mit den Pixeln, die zu dem Hintergrundbereich gehören, um ein Hintergrundkomponentenbild zu erzeugen.
65A stellt ein Beispiel des Vordergrundkomponentenbildes, das dem Rahmen #n in 61 entspricht, dar. 65B stellt ein Beispiel des Hintergrundkomponentenbildes, das dem Rahmen #n in 61 entspricht, dar.
65A stellt ein Beispiel des Vordergrundkomponentenbildes, das dem Rahmen #n in 61 entspricht, dar. Das äußerste linke Pixel und das vierzehnte Pixel von links bestehen aus lediglich den Hintergrundkomponenten, bevor der Vordergrund und der Hintergrund getrennt sind, und daher sind die Pixelwerte auf 0 eingestellt.
Die zweiten und vierten Pixel von links gehören zu dem nicht abgedeckten Hintergrundbereich, bevor der Vordergrund und der Hintergrund getrennt sind. Dementsprechend sind die Hintergrundkomponenten auf 0 eingestellt, und die Vordergrundkomponenten sind aufrechterhalten. Die elften bis dreizehnten Pixel von links gehören zu dem abgedeckten Hintergrundbereich, bevor der Vordergrund und der Hintergrund getrennt sind. Dementsprechend sind die Hintergrundkomponenten auf 0 eingestellt, und die Vordergrundkomponenten sind aufrechterhalten. Die fünften bis zehnten Pixel von links bestehen aus lediglich den Vordergrundkomponenten, die daher aufrechterhalten sind.
65B stellt ein Beispiel des Hintergrundkomponentenbildes, das dem Rahmen #n in 61 entspricht, dar. Das äußerste linke Pixel und das vierzehnte Pixel von links bestehen aus lediglich den Hintergrundkomponenten, bevor der Vordergrund und der Hintergrund getrennt sind, und daher sind die Hintergrundkomponenten aufrechterhalten.
Die zweiten bis vierten Pixel von links gehören zu dem nicht abgedeckten Hintergrundbereich, bevor der Vordergrund und der Hintergrund getrennt sind. Dementsprechend sind die Vordergrundkomponenten auf 0 eingestellt, und die Hintergrundkomponenten sind aufrechterhalten. Die elften bis dreizehnten Pixel von links gehören zu dem abgedeckten Hintergrundbereich, bevor der Vordergrund und der Hintergrund getrennt sind. Dementsprechend sind die Vordergrundkomponenten auf 0 eingestellt, und die Hintergrundkomponenten sind aufrechterhalten. Die fünften bis zehnten Pixel von links bestehen aus lediglich den Vordergrundkomponenten, und daher sind die Pixelwerte auf 0 eingestellt.
Das Verarbeiten zum Trennen des Vordergrunds und des Hintergrunds, das durch den Vordergrund/Hintergrund-Separator 105 ausgeführt wird, ist im Folgenden unter Bezugnahme auf das Flussdiagramm von 66 beschrieben. Bei Schritt S601 erhält der Rahmenspeicher 621 des Trennabschnitts 601 ein Eingangsbild und speichert den Rahmen #n, für den der Vordergrund und der Hintergrund getrennt werden, zusammen mit dem vorhergehenden Rahmen #n – 1 und dem nachfolgenden Rahmen #n + 1.
Bei Schritt S602 erhält der Trennungsverarbeitungsblock 622 des Trennabschnitts 601 Bereichsinformationen, die von dem Mischungsverhältnis-Berechner 104 zugeführt werden. Bei Schritt S603 erhält der Trennungsverarbeitungsblock 622 des Trennabschnitts 601 das Mischungsverhältnis α, das von dem Mischungsverhältnis-Berechner 104 zugeführt wird.
Bei Schritt S604 extrahiert der Nicht-abgedeckter-Bereich-Prozessor 631 die Hintergrundkomponenten aus den Pixelwerten der Pixel, die zu dem nicht abgedeckten Hintergrundbereich gehören, die von dem Rahmenspeicher 621 zugeführt werden, basierend auf den Bereichsinformationen und dem Mischungsverhältnis α.
Bei Schritt S605 extrahiert der Nicht-abgedeckter-Bereich-Prozessor 631 die Vordergrundkomponenten aus den Pixelwerten der Pixel, die zu dem nicht abgedeckten Hintergrundbereich gehören, die von dem Rahmenspeicher 621 zugeführt werden, basierend auf den Bereichsinformationen und dem Mischungsverhältnis α.
Bei Schritt S606 extrahiert der Abgedeckter-Bereich-Prozessor 632 die Hintergrundkomponenten aus den Pixelwerten der Pixel, die zu dem abgedeckten Hintergrundbereich gehören, die von dem Rahmenspeicher 621 zugeführt werden, basierend auf den Bereichsinformationen und dem Mischungsverhältnis α.
Bei Schritt S607 extrahiert der Abgedeckter-Bereich-Prozessor 632 die Vordergrundkomponenten aus den Pixelwerten der Pixel, die zu dem abgedeckten Hintergrundbereich gehören, die von dem Rahmenspeicher 621 zugeführt werden, basierend auf den Bereichsinformationen und dem Mischungsverhältnis α.
Bei Schritt S608 kombiniert der Synthesizer 633 die Vordergrundkomponenten der Pixel, die zu dem nicht abgedeckten Hintergrundbereich gehören, die bei dem Verarbeiten von Schritt S605 extrahiert werden, mit den Vordergrundkomponenten der Pixel, die zu dem abgedeckten Hintergrundbereich gehören, die bei dem Verarbeiten von Schritt S607 extrahiert werden. Die synthetisierten Vordergrundkomponenten werden dem Synthesizer 603 zugeführt. Der Synthesizer 603 kombiniert ferner die Pixel, die zu dem Vordergrundbereich gehören, die über den Schalter 602 zugeführt werden, mit den Vordergrundkomponenten, die von dem Trennabschnitt 601 zugeführt werden, um ein Vordergrundkomponentenbild zu erzeugen.
Bei Schritt S609 kombiniert der Synthesizer 634 die Hintergrundkomponenten der Pixel, die zu dem nicht abgedeckten Hintergrundbereich gehören, die bei dem Verarbeiten von Schritt S604 extrahiert werden, mit den Hintergrundkomponenten der Pixel, die zu dem abgedeckten Hintergrundbereich gehören, die bei dem Verarbeiten von Schritt S606 extrahiert werden. Die synthetisierten Hintergrundkomponenten werden dem Synthesizer 605 zugeführt. Der Synthesizer 605 kombiniert ferner die Pixel, die zu dem Hintergrundbereich gehören, die über den Schalter 604 zugeführt werden, mit den Hintergrundkomponenten, die von dem Trennabschnitt 601 zugeführt werden, um ein Hintergrundkomponentenbild zu erzeugen.
Bei Schritt S610 gibt der Synthesizer 603 das Vordergrundkomponentenbild aus. Bei Schritt S611 gibt der Synthesizer 605 das Hintergrundkomponentenbild aus. Das Verarbeiten ist dann abgeschlossen.
Wie im Vorhergehenden erörtert, ist der Vordergrund/Hintergrund-Separator 105 fähig, die Vordergrundkomponenten und die Hintergrundkomponenten von dem Eingangsbild basierend auf den Bereichsinformationen und dem Mischungsverhältnis α zu trennen, und er gibt das Vordergrundkomponentenbild, das aus lediglich den Vordergrundkomponenten besteht, und das Hintergrundkomponentenbild, das aus lediglich den Hintergrundkomponenten besteht, aus.
Nun wird eine Beschreibung von Einstellungen für die Menge einer Bewegungsunschärfe in dem Vordergrundkomponentenbild gegeben.
67 ist ein Blockdiagramm, das ein Beispiel der Konfiguration der Bewegungsunschärfe-Einstelleinheit 106 darstellt. Der Bewegungsvektor und die Positionsinformationen desselben, die von dem Bewegungsdetektor 102 zugeführt werden, und die Bereichsinformationen, die von der Bereichsspezifizierungseinheit 103 zugeführt werden, werden einem Einheit-eines-Verarbeitens-Bestimmungsabschnitt 801 und einem modellbildenden Abschnitt 802 zugeführt. Das Vordergrundkomponentenbild, das von dem Vordergrund/Hintergrund Separator 105 zugeführt wird, wird einem Addierer 804 zugeführt.
Der Einheit-eines-Verarbeiten-Bestimmungsabschnitt 801 führt zusammen mit dem Bewegungsvektor die Einheit eines Verarbeiten, die basierend auf dem Bewegungsvektor und den Positionsinformationen desselben und den Bereichsinformationen erzeugt wird, dem modellbildenden Abschnitt 802 zu. Der Einheit-eines-Verarbeiten-Bestimmungsabschnitt 801 führt die erzeugte Einheit eines Verarbeiten dem Addierer 804 zu.
Wie in 68 durch A angezeigt, zeigt die Einheit eines Verarbeiten, die durch den Einheit-eines-Verarbeiten-Bestimmungsabschnitt 801 erzeugt wird, beispielsweise aufeinander folgende Pixel, die in der Bewegungsrichtung startend von dem Pixel, das dem abgedeckten Hintergrundbereich des Vordergrundkomponentenbildes entspricht, bis zu dem Pixel, das dem nicht abgedeckten Hintergrundbereich entspricht, angeordnet sind, an, oder sie zeigt aufeinander folgende Pixel, die in der Bewegungsrichtung startend von dem Pixel, das dem nicht abgedeckten Hintergrundbereich entspricht, bis zu dem Pixel, das dem abgedeckten Hintergrundbereich entspricht, angeordnet sind, an. Die Einheit eines Verarbeiten ist aus zwei Stücken von Daten gebildet, die beispielsweise den oberen linken Punkt (der die Position des äußersten linken oder des äußersten oberen Pixels in dem Bild ist, die durch die Einheit eines Verarbeiten bestimmt ist) und den unteren rechten Punkt anzeigen.
Der modellbildende Abschnitt 802 bildet basierend auf dem Bewegungsvektor und der eingegebenen Einheit eines Verarbeiten ein Modell. Genauer gesagt kann der modellbildende Abschnitt 802 beispielsweise eine Mehrzahl von Modellen in Übereinstimmung mit der Zahl von Pixeln, die in der Einheit eines Verarbeiters enthalten sind, der Zahl von virtuellen geteilten Abschnitten des Pixelwerts in der Zeitrichtung und der Zahl von Vordergrundkomponenten für jedes Pixel im Voraus speichern. Der modellbildende Abschnitt 802 kann dann basierend auf der Einheit eines Verarbeiten und der Zahl von virtuellen geteilten Abschnitten des Pixelwerts in der Zeitrichtung das Modell auswählen, bei dem die Korrelation zwischen den Pixelwerten und den Vordergrundkomponenten bestimmt ist, wie das in 69.
Nun wird beispielsweise angenommen, dass die Zahl von Pixeln, die der Einheit eines Verarbeiten entspricht, 12 ist, und dass die Menge einer Bewegung v innerhalb der Verschlusszeit 5 ist. Dann stellt der modellbildende Abschnitt 802 die Zahl von virtuellen geteilten Abschnitten auf 5 ein und wählt ein Modell aus, das aus acht Typen von Vordergrundkomponenten gebildet ist, so dass das äußerste linke Pixel eine Vordergrundkomponente enthält, das zweite Pixel von links zwei Vordergrundkomponenten enthält, das dritte Pixel von links drei Vordergrundkomponenten enthält, das vierte Pixel von links vier Pixelkomponenten enthält, das fünfte Pixel von links fünf Vordergrundkomponenten enthält, das sechste Pixel von links fünf Vordergrundkomponenten enthält, das siebte Pixel von links fünf Vordergrundkomponenten enthält, das achte Pixel von links Riff Vordergrundkomponenten enthält, das neunte Pixel von links vier Vordergrundkomponenten enthält, das zehnte Pixel von links drei Vordergrundkomponenten enthält, das elfte Pixel von links zwei Vordergrundkomponenten enthält und das zwölfte Pixel von links eine Vordergrundkomponente enthält.
Anstatt eines Auswählen eines Modells aus den vorgespeicherten Modellen kann der modellbildende Abschnitt 802 ein Modell basierend auf dem Bewegungsvektor und der Einheit eines Verarbeiten erzeugen, wenn der Bewegungsvektor und die Einheit eines Verarbeiten zugeführt werden.
Der modellbildende Abschnitt 802 führt das ausgewählte Modell einem Gleichungserzeuger 803 zu.
Der Gleichungserzeuger 803 erzeugt eine Gleichung basierend auf dem Modell, das von dem modellbildenden Abschnitt 802 zugeführt wird. Im Folgenden ist unter Bezugnahme auf das Modell des Vordergrundkomponentenbildes, das in 69 gezeigt ist, eine Beschreibung einer Gleichung gegeben, die durch den Gleichungserzeuger 803 erzeugt wird, wenn die Zahl von Vordergrundkomponenten 8 ist, die Zahl von Pixeln, die der Einheit eines Verarbeiten entsprechen, 12 ist, die Menge einer Bewegung v 5 ist und die Zahl von virtuellen geteilten Abschnitten 5 ist.
Wenn die Vordergrundkomponenten, die in dem Vordergrundkomponentenbild enthalten sind, die der Verschlusszeit/v entsprechen, F01/v bis F08/v sind, können die Beziehungen zwischen F01/v bis F08/v und den Pixelwerten C01 bis C12 durch die Gleichungen (30) bis (41) ausgedrückt werden. C01 = F01/v (30) C02 = F02/v + F01/v (31) C03 = F03/v + F02/v + F01/v (32) C04 = F04/v + F03/v + F02/v + F01v (33) C05 = F05/v + F04/v + F03/v + F02/v + F01v (34) C06 = F06/v + F05/v + F04/v + F03/v + F02/v (35) C07 = F07/v + F06/v + F05/v + F04/v + F03/v (36) C08 = F08/v + F07/v + F06/v + F05/v + F04/v (37) C09 = F08/v + F07/v + F06/v + F05/v (38) C10 = F08/v + F07/v + F06/v (39) C11 = F08/v + F07/v (40) C12 = F08/v (41)
Der Gleichungserzeuger 803 erzeugt eine Gleichung durch Modifizieren der erzeugten Gleichungen. Die Gleichungen, die durch den Gleichungserzeuger 803 erzeugt werden, sind durch die Gleichungen (42) bis (53) angezeigt. C01 = 1·F01/v + 0·F02/v + 0·F03/v + 0·F04/v + 0·F05/v + 0·F06/v + 0·F07/v + 0·F08/v (42) C02 =1·F01/v + 1·F02/v + 0·F03/v + 0·F04/v + 0·F05/v + 0·F06/v + 0·F07/v + 0·F08/v (43) C03 = 1·F01/v + 1·F02/v + 1·F03/v + 0·F04/v + 0·F05/v + 0·F06/v + 0·F07/v + 0·F08/v (44) C04 = 1·F01/v + 1·F02/v + 1·F03/v + 1·F04/v + 0·F05/v + 0·F06/v + 0·F07/v + 0·F08/v (45) C05 = 1·F01/v + 1·F02/v + 1·F03/v + 1·F04/v + 1·F05/v + 0·F06/v + 0·F07/v + 0·F08/v (46) C06 = 0·F01/v + 1·F02/v + 1·F03/v + 1·F04/v + 1·F05/v + 1·F06/v + 0·F07/v + 0·F08/v (47) C07 = 0·F01/v + 0·F02/v + 1·F03/v + 1·F04/v + 1·F05/v + 1·F06/v + 1·F07/v + 0·F08/v (48) C08 = 0·F01/v + 0·F02/v + 0·F03/v + 1·F04/v + 1·F05/v + 1·F06/v + 1·F07/v + 1·F08/v (49) C09 = 0·F01/v + 0·F02/v + 0·F03/v + 0·F04/v + 1·F05/v + 1·F06/v + 1·F07/v + 1·F08/v (50) C10 = 0·F01/v + 0·F02/v + 0·F03/v + 0·F04/v + 0·F05/v + 1·F06/v + 1·F07/v + 1·F08/v (51) C11 = 0·F01/v + 0·F02/v + 0·F03/v + 0·F04/v + 0·F05/v + 0·F06/v + 1·F07/v + 1·F08/v (52) C12 = 0·F01/v + 0·F02/v + 0·F03/v + 0·F04/v + 0·F05/v + 0·F06/v + 0·F07/v + 1·F08/v (53)
Die Gleichungen (42) bis (53) können durch die Gleichung (54) ausgedrückt werden.
In Gleichung (54) bestimmt j die Position des Pixels. Bei diesem Beispiel hat j einen der Werte von 1 bis 12. In Gleichung (54) bestimmt i die Position des Vordergrundwerts. Bei diesem Beispiel hat i einen der Werte von 1 bis 8. In Gleichung (54) hat aij den Wert 0 oder 1, gemäß den Werten von i und j.
Gleichung (54) kann unter Berücksichtigung des Fehlers durch Gleichung (55) ausgedrückt werden.
In Gleichung (55) bestimmt ej den Fehler, der in dem Pixel von Interesse Cj enthalten ist.
Gleichung (55) kann zu Gleichung (56) modifiziert werden.
Um das Verfahren der kleinsten Quadrate anzuwenden, wird die Quadratsumme E des Fehlers als Gleichung (57) definiert.
Um den Fehler zu minimieren, sollte der partielle Ableitungswert unter Verwendung der Variablen Fk hinsichtlich der Quadratsumme E des Fehlers 0 sein. Fk wird bestimmt, so dass Gleichung (58) erfüllt ist.
In Gleichung (58) kann, da die Menge einer Bewegung v ein fester Wert ist, Gleichung (59) abgeleitet werden.
Um Gleichung (59) zu erweitern und die Ausdrücke umzustellen, kann Gleichung (60) erhalten werden.
Gleichung (60) wird durch Einsetzen der einzelnen ganzen Zahlen von 1 bis 8 in k in Gleichung (60) in acht Gleichungen entwickelt. Die erhaltenen acht Gleichungen können durch eine Matrixgleichung ausgedrückt werden. Auf diese Gleichung wird als eine "Normalgleichung" Bezug genommen.
Ein Beispiel der Normalgleichung, die durch den Gleichungserzeuger 803 basierend auf dem Verfahren der kleinsten Quadrate erzeugt wird, ist durch Gleichung (61) angezeigt.
Wenn Gleichung (61) durch A·F = v·C ausgedrückt wird, sind C, A und v bekannt, und F ist unbekannt. A und v sind bekannt, wenn das Modell gebildet wird, während C bekannt wird, wenn der Pixelwert bei dem Additionsverarbeiten eingegeben wird.
Durch Berechnen der Vordergrundkomponenten gemäß der Normalgleichung basierend auf dem Verfahren der kleinsten Quadrate kann der Fehler, der in dem Pixel C enthalten ist, verteilt werden.
Der Gleichungserzeuger 803 führt die Normalgleichung, die wie im Vorhergehenden erörtert erzeugt wird, dem Addierer 804 zu.
Der Addierer 804 stellt basierend auf der Einheit eines Verarbeiten, die von dem Einheit-eines-Verarbeitens-Bestimmungsabschnitt 801 zugeführt wird, den Pixelwert C, der in dem Vordergrundkomponentenbild enthalten ist, in der Matrixgleichung, die von dem Gleichungserzeuger 803 zugeführt wird, ein. Der Addierer 804 führt die Matrix, in der der Pixelwert C eingestellt ist, einem Berechner 805 zu.
Der Berechner 805 berechnet die Vordergrundkomponente Fi/v, aus der eine Bewegungsunschärfe eliminiert ist, durch das Verarbeiten basierend auf einer Lösung, wie einem Sweep-Out-Verfahren (einer Gauß-Jordan-Eliminierung), um Fi zu erhalten, das i entspricht, das eine der ganzen Zahlen von 1 bis 8 anzeigt, was der Pixelwert ist, aus dem eine Bewegungsunschärfe eliminiert ist. Der Berechner 805 gibt dann das Vordergrundkomponentenbild, das aus den Pixelwerten Fi ohne eine Bewegungsunschärfe besteht, wie das in 70, zu einem Bewegungsunschärfe-Addierer 806 und einem Selektor 807 aus.
Bei dem Vordergrundkomponentenbild ohne eine Bewegungsunschärfe, das in 70 gezeigt ist, besteht der Grund zum Einstellen von F01 bis F08 jeweils in C03 bis C10 darin, nicht die Position des Vordergrundkomponentenbildes hinsichtlich des Schirms zu ändern. F01 bis F08 können jedoch in beliebigen gewünschten Positionen eingestellt werden.
Der Bewegungsunschärfe-Addierer 806 ist fähig, die Menge einer Bewegungsunschärfe durch Addieren der Menge v', mit der eine Bewegungsunschärfe eingestellt wird, die unterschiedlich von der Menge einer Bewegung v ist, beispielsweise der Menge v', mit der eine Bewegungsunschärfe eingestellt wird, die die Hälfte des Wertes der Menge einer Bewegung v ist, oder der Menge v', mit der eine Bewegungsunschärfe eingestellt wird, die für die Menge einer Bewegung v nicht relevant ist, einzustellen. Beispielsweise teilt, wie in 71 gezeigt, der Bewegungsunschärfe-Addierer 806 den Vordergrund-Pixelwert Fi ohne eine Bewegungsunschärfe durch die Menge v', mit der eine Bewegungsunschärfe eingestellt wird, um die Vordergrundkomponente Fi/v' zu erhalten. Der Bewegungsunschärfe-Addierer 806 berechnet dann die Summe der Vordergrundkomponenten Fi/v' und erzeugt dadurch den Pixelwert, bei dem die Menge einer Bewegungsunschärfe eingestellt ist. Wenn beispielsweise die Menge v', mit der eine Bewegungsunschärfe eingestellt wird, 3 ist, wird der Pixelwert C02 auf (F01)/v' eingestellt, der Pixelwert C3 wird auf (F01 + F02)/v' eingestellt, der Pixelwert C04 wird auf (F01 + F02 + F03)/v' eingestellt und der Pixelwert C05 wird auf (F02 + F03 + F04)/v' eingestellt.
Der Bewegungsunschärfe-Addierer 806 führt das Vordergrundkomponentenbild, bei dem die Menge einer Bewegungsunschärfe eingestellt ist, einem Selektor 807 zu.
Der Selektor 807 wählt entweder das Vordergrundkomponentenbild ohne eine Bewegungsunschärfe, das von dem Berechner 805 zugeführt wird, oder das Vordergrundkomponentenbild, bei dem die Menge einer Bewegungsunschärfe eingestellt ist, das von dem Bewegungsunschärfe-Addierer 806 zugeführt wird, basierend auf einem Auswahlsignal, das eine Auswahl eines Benutzers widerspiegelt, aus und gibt das ausgewählte Vordergrundkomponentenbild aus.
Wie im Vorhergehenden erörtert, ist die Bewegungsunschärfe-Einstelleinheit 106 fähig, die Menge einer Bewegungsunscharfe basierend auf dem Auswahlsignal und der Menge v', mit der eine Bewegungsunschärfe eingestellt wird, einzustellen.
Ferner erzeugt, beispielsweise wenn die Zahl von Pixeln, die der Einheit eines Verarbeiten entspricht, 8 ist und die Menge einer Bewegung v 4 ist, wie in 72 gezeigt, die Bewegungsunschärfe-Einstelleinheit 106 eine Matrixgleichung, die durch Gleichung (62) ausgedrückt wird.
Auf diese Art und Weise berechnet die Bewegungsunschärfe-Einstelleinheit 106 Fi, was der Pixelwert ist, bei dem die Menge einer Bewegungsunschärfe eingestellt ist, durch Aufstellen der Gleichung in Übereinstimmung mit der Länge der Einheit eines Verarbeiten. Auf ähnliche Weise wird beispielsweise, wenn die Zahl von Pixeln, die in der Einheit eines Verarbeiten enthalten sind, 100 ist, die Gleichung, die 100 Pixeln entspricht, erzeugt, um Fi zu berechnen.
73 stellt ein Beispiel einer weiteren Konfiguration der Bewegungsunschärfe-Einstelleinheit 106 dar. Die gleichen Elemente wie diejenigen, die in 67 gezeigt sind, sind mit gleichen Bezugsziffern bestimmt, und eine Erklärung derselben wird daher weggelassen.
Basierend auf einem Auswahlsignal führt ein Selektor 821 einen eingegebenen Bewegungsvektor und ein Positionssignal desselben direkt dem Einheit-eines-Verarbeitens-Bestimmungsabschnitt 801 und dem modellbildenden Abschnitt 802 zu. Alternativ kann der Selektor 821 die Größe des Bewegungsvektors durch die Menge v', mit der eine Bewegungsunschärfe eingestellt wird, ersetzen und dann den Bewegungsvektor und das Positionssignal desselben dem Einheit-eines-Verarbeitens-Bestimmungsabschnitt 801 und der modellbildenden Einheit 802 zuführen.
Mit dieser Anordnung sind der Einheit-eines-Verarbeiten-Bestimmungsabschnitt 801 bis zu dem Berechner 805 der Bewegungsunschärfe-Einstelleinheit 106, die in 73 gezeigt ist, fähig, die Menge einer Bewegungsunschärfe in Übereinstimmung mit der Menge einer Bewegung v und der Menge v', mit der eine Bewegungsunschärfe eingestellt wird, einzustellen. Wenn beispielsweise die Menge einer Bewegung 5 ist und die Menge v', mit der eine Bewegungsunschärfe eingestellt wird, 3 ist, führen der Einheit-eines-Verarbeitens-Bestimmungsabschnitt 801 bis zu dem Brechner 805 der Bewegungsunschärfe-Einstelleinheit 106, die in 73 gezeigt ist, eine Berechnung des Vordergrundkomponentenbildes, bei dem die Menge einer Bewegung v 5 ist, das in 69 gezeigt ist, gemäß dem Modell, das in 71 gezeigt ist, bei dem die Menge v', mit der eine Bewegungsunschärfe eingestellt wird, 3 ist, aus. Als ein Resultat wird das Bild erhalten, das eine Bewegungsunschärfe mit der Menge einer Bewegung v von (Menge einer Bewegung v)/(Menge v', mit der eine Bewegungsunschärfe eingestellt wird) = 5/3, d. h. etwa 1,7, aufweist. In diesem Fall enthält das berechnete Bild keine Bewegungsunschärfe, die der Menge einer Bewegung v von 3 entspricht. Dementsprechend sei bemerkt, dass die Beziehung zwischen der Menge einer Bewegung v und der Menge v', mit der eine Bewegungsunschärfe eingestellt wird, unterschiedlich zu dem Resultat des Bewegungsunschärfe-Addierers 806 ist.
Wie im Vorhergehenden erörtert, erzeugt die Bewegungsunschärfe-Einstelleinheit 106 die Gleichung in Übereinstimmung mit der Menge einer Bewegung v und der Einheit eines Verarbeiten und stellt die Pixelwerte des Vordergrundkomponentenbildes in der erzeugten Gleichung ein und berechnet dadurch das Vordergrundkomponentenbild, bei dem die Menge einer Bewegungsunschärfe eingestellt ist.
Das Verarbeiten zum Einstellen der Menge einer Bewegungsunschärfe, die in dem Vordergrundkomponentenbild enthalten ist, das durch die Bewegungsunchärfe-Einstelleinheit 106 ausgeführt wird, ist im Folgenden unter Bezugnahme auf das Flussdiagramm von 74 beschrieben.
Bei Schritt S801 erzeugt der Einheit-eines-Verarbeiten-Bestimmungsabschnitt 801 der Bewegungsunschärfe-Einstelleinheit 106 die Einheit eines Verarbeiten basierend auf dem Bewegungsvektor und den Bereichsinformationen und führt die erzeugte Einheit eines Verarbeiten dem modellbildenden Abschnitt 802 zu.
Bei Schritt S802 wählt der modellbildende Abschnitt 802 der Bewegungsunschärfe-Einstelleinheit 106 das Modell in Übereinstimmung mit der Menge einer Bewegung v und der Einheit eines Verarbeiten aus oder erzeugt dasselbe. Bei Schritt S803 erzeugt der Gleichungserzeuger 803 die Normalgleichung basierend auf dem ausgewählten Modell.
Bei Schritt S804 stellt der Addierer 804 die Pixelwerte des Vordergrundkomponentenbildes in der erzeugten Normalgleichung ein. Bei Schritt S805 bestimmt der Addierer 804, ob die Pixelwerte aller Pixel, die der Einheit eines Verarbeiten entsprechen, eingestellt sind. Wenn bestimmt wird, dass die Pixelwerte aller Pixel, die der Einheit eines Verarbeiten entsprechen, noch nicht eingestellt sind, kehrt der Prozess zu Schritt S804 zurück, und das Verarbeiten zum Einstellen der Pixelwerte in der Normalgleichung wird wiederholt.
Wenn bei Schritt S805 bestimmt wird, dass die Pixelwerte aller Pixel, die der Einheit eines Verarbeiten entsprechen, eingestellt sind, schreitet der Prozess zu Schritt S806 fort. Bei Schritt S806 berechnet der Berechner 805 die Pixelwerte des Vordergrunds, bei denen die Menge einer Bewegungsunschärfe eingestellt ist, basierend auf der Normalgleichung, in der die Pixelwerte eingestellt sind, die von dem Addierer 804 zugeführt wird. Das Verarbeiten ist dann abgeschlossen.
Wie im Vorhergehenden erörtert, ist die Bewegungsunschärfe-Eintelleinheit 106 fähig, die Menge einer Bewegungsunschärfe des Vordergrundbildes, das eine Bewegungsunschärfe enthält, basierend auf dem Bewegungsvektor und den Bereichsinformationen einzustellen.
Das heißt, es ist möglich, die Menge einer Bewegungsunschärfe, die in den Pixelwerten enthalten ist, das heißt die in abgetasteten Daten enthalten ist, einzustellen.
Wie aus der vorhergehenden Beschreibung ersichtlich ist, ist die Signalverarbeitungsvorrichtung, die in 2 gezeigt ist, fähig, die Menge einer Bewegungsunschärfe, die in dem Eingangsbild enthalten ist, einzustellen. Die Signalverarbeitungsvorrichtung, die wie in 2 gezeigt konfiguriert ist, ist fähig, das Mischungsverhältnis α zu berechnen, das eine eingebettete Information darstellt, und sie gibt das berechnete Mischungsverhältnis α aus.
75 ist ein Blockdiagramm, das ein weiteres Beispiel der Konfiguration der Bewegungsunschärfe-Einstelleinheit 106 darstellt. Der Bewegungsvektor und die Positionsinformationen desselben, die von dem Bewegungsdetektor 102 zugeführt werden, werden einem Einheit-eines-Verarbeiten-Bestimmungsabschnitt 901 und einem Einstellabschnitt 905 zugeführt. Die Bereichsinformationen, die von der Bereichsspezifizierungseinheit 103 zugeführt werden, werden dem Einheit-eines-Verarbeitens-Bestimmungsabschnitt 901 zugeführt. Das Vordergrundkomponentenbild, das von dem Vordergrund/Hintergrund-Separator 105 zugeführt wird, wird einem Berechner 904 zugeführt.
Der Einheit-eines-Verarbeiten-Bestimmungsabschnitt 901 führt zusammen mit dem Bewegungsvektor die Einheit eines Verarbeiten, die basierend auf dem Bewegungsvektor und den Positionsinformationen desselben und den Bereichsinformationen erzeugt wird, einem modellbildenden Abschnitt 902 zu.
Der modellbildende Abschnitt 902 bildet ein Modell basierend auf dem Bewegungsvektor und der eingegebenen Einheit eines Verarbeiten.
Ein Gleichungserzeuger 903 erzeugt eine Gleichung basierend auf dem Modell, das von dem modellbildenden Abschnitt 902 zugeführt wird.
Nun wird unter Bezugnahme auf die Modelle von Vordergrundkomponentenbildern, die in 76 bis 78 gezeigt sind, eine Beschreibung eines Beispiels der Gleichung, die durch den Gleichungserzeuger 903 erzeugt wird, wenn die Zahl von Vordergrundkomponenten 8 ist, die Zahl von Pixeln, die der Einheit eines Verarbeiten entsprechen, 12 ist und die Menge einer Bewegung v 5 ist, gegeben.
Wenn die Vordergrundkomponenten, die in dem Vordergrundkomponentenbild enthalten sind, die der Verschlusszeit/v entsprechen, F01/v bis F08/v sind, können die Beziehungen zwischen F01/v bis F08/v und Pixelwerten C01 bis C12 durch die Gleichungen (30) bis (41), wie im Vorhergehenden angegeben, ausgedrückt werden.
Unter Betrachtung der Pixelwerte C12 und C11 enthält der Pixelwert C12 lediglich die Vordergrundkomponente F08/v, wie durch Gleichung (63) ausgedrückt, und der Pixelwert C11 besteht aus der Produktsumme der Vordergrundkomponente F08/v und der Vordergrundkomponente F07/v. Dementsprechend kann die Vordergrundkomponente F07/v durch Gleichung (64) gefunden werden. F08/v = C12 (63) F07/v = C11 – C12 (64)
Auf ähnliche Weise können, unter Betrachtung der Vordergrundkomponenten, die in den Pixelwerten C10 bis C01 enthalten sind, die Vordergrundkomponenten F06/v bis F01/v jeweils durch die Gleichungen (65) bis (70) gefunden werden. F06/v = C10 – C11 (65) F05/v = C09 – C10 (66) F04/v = C08 – C09 (67) F03/v = C07 – C08 + C12 (68) F02/v = C06 – C07 + C11 – C12 (69) F01/v = C05 – C06 + C10 – C11 (70)
Der Gleichungserzeuger 903 erzeugt die Gleichungen zum Berechnen der Vordergrundkomponenten durch die Differenz der Pixelwerte, wie durch die Beispiele der Gleichungen (63) bis (70) angezeigt. Der Gleichungserzeuger 903 führt die erzeugten Gleichungen dem Berechner 904 zu.
Der Berechner 904 stellt die Pixelwerte des Vordergrundkomponentenbildes in den Gleichungen, die von dem Gleichungserzeuger 903 zugeführt werden, ein, um die Vordergrundkomponenten basierend auf den Gleichungen, in denen die Pixelwerte eingestellt sind, zu erhalten. Wenn beispielsweise die Gleichungen (63) bis (70) von dem Gleichungserzeuger 903 zugeführt werden, stellt der Berechner 904 die Pixelwerte C05 bis C12 in den Gleichungen (63) bis (70) ein.
Der Berechner 904 berechnet die Vordergrundkomponenten basierend auf den Gleichungen, in denen die Pixelwerte eingestellt sind. Beispielsweise berechnet der Berechner 904 die Vordergrundkomponenten F01/v bis F08/v, wie in 77 gezeigt, basierend auf den Berechnungen der Gleichungen (63) bis (70), in denen die Pixelwerte C05 bis C12 eingestellt sind. Der Berechner 904 führt die Vordergrundkomponenten F01/v bis F08/v dem Einstellabschnitt 905 zu.
Der Einstellabschnitt 905 multipliziert die Vordergrundkomponenten, die von dem Berechner 904 zugeführt werden, mit der Menge einer Bewegung v, die in dem Bewegungsvektor, der von dem Einheit-eines-Verarbeiten-Bestimmungsabschnitt 901 zugeführt wird, enthalten ist, um die Vordergrund-Pixelwerte zu erhalten, aus denen eine Bewegungsunschärfe eliminiert ist. Wenn beispielsweise die Vordergrundkomponenten F01/v bis F08/v von dem Berechner 904 zugeführt werden, multipliziert der Einstellabschnitt 905 jede der Vordergrundkomponenten F01/v bis F08/v mit der Menge einer Bewegung v, d. h. 5, um die Vordergrund-Pixelwerte F01 bis F08 zu erhalten, aus denen eine Bewegungsunschärfe eliminiert ist, wie in 78 gezeigt.
Der Einstellabschnitt 905 führt das Vordergrundkomponentenbild, das aus den Vordergrund-Pixelwerten ohne eine Bewegungsunschärfe, die wie im Vorhergehenden beschrieben berechnet werden, besteht, einem Bewegungsunschärfe-Addierer 906 und einem Selektor 907 zu.
Der Bewegungsunschärfe-Addierer 906 ist fähig, die Menge einer Bewegungsunschärfe unter Verwendung der Menge v', mit der eine Bewegungsunschärfe eingestellt wird, die unterschiedlich zu der Menge einer Bewegung v ist, beispielsweise der Menge v', mit der eine Bewegungsunschärfe eingestellt wird, die die Hälfte des Wertes der Menge einer Bewegung v ist, oder der Menge v', mit der eine Bewegungsunschärfe eingestellt wird, die für die Menge einer Bewegung v irrelevant ist, einzustellen. Beispielsweise teilt, wie in 71 gezeigt, der Bewegungsunschärfe-Addierer 906 den Vordergrund-Pixelwert Fi ohne eine Bewegungsunschärfe durch die Menge v', mit der eine Bewegungsunschärfe eingestellt wird, um die Vordergrundkomponente Fi/v' zu erhalten. Der Bewegungsunschärfe-Addierer 906 berechnet dann die Summe der Vordergrundkomponenten Fi/v' und erzeugt dadurch den Pixelwert, in dem die Menge einer Bewegungsunschärfe eingestellt ist. Wenn beispielsweise die Menge v', mit der eine Bewegungsunschärfe eingestellt wird, 3 ist, wird der Pixelwert C02 auf (F01)/v' eingestellt, der Pixelwert C03 wird auf (F01 + F02)/v' eingestellt, der Pixelwert C04 wird auf (F01 + F02 + F03)/v' eingestellt und der Pixelwert C05 wird auf (F02 + F03 + F04)/v' eingestellt.
Der Bewegungsunschärfe-Addierer 906 führt das Vordergrundkomponentenbild, bei dem die Menge einer Bewegungsunschärfe eingestellt ist, dem Selektor 907 zu.
Der Selektor 907 wählt entweder das Vordergrundkomponentenbild ohne eine Bewegungsunschärfe, das von dem Einstellabschnitt 905 zugeführt wird, oder das Vordergrundkomponentenbild, bei dem die Menge einer Bewegungsunschärfe eingestellt ist, das von dem Bewegungsunschärfe-Addierer 906 zugeführt wird, basierend auf einem Auswahlsignal, das eine Auswahl eines Benutzers widerspiegelt, ein und gibt das ausgewählte Vordergrundkomponentenbild aus.
Wie im Vorhergehenden erörtert, ist die Bewegungsunschärfe-Einstelleinheit 106 fähig, die Menge einer Bewegungsunschärfe basierend auf dem Auswahlsignal und der Menge v', mit der eine Bewegungsunschärfe eingestellt wird, einzustellen.
Das Verarbeiten zum Einstellen der Menge einer Bewegungsunschärfe des Vordergrunds, das durch die Bewegungsunschärfe-Einstelleinheit 106, die wie in 75 gezeigt konfiguriert ist, ausgeführt wird, ist im Folgenden unter Bezugnahme das Flussdiagramm von 79 beschrieben.
Bei Schritt S901 erzeugt der Einheit-eines-Verarbeiten-Bestimmungsabschnitt 901 der Bewegungsunschärfe-Einstelleinheit 106 die Einheit eines Verarbeiten basierend auf dem Bewegungsvektor und den Bereichsinformationen und führt die erzeugte Einheit eines Verarbeiten dem modellbildenden Abschnitt 902 und dem Einstellabschnitt 905 zu.
Bei Schritt S902 wählt der modellbildende Abschnitt 902 der Bewegungsunschärfe-Einstelleinheit 106 das Modell gemäß der Menge einer Bewegung v und der Einheit eines Verarbeiten aus oder erzeugt dasselbe. Bei Schritt S903 erzeugt der Gleichungserzeuger 903 basierend auf dem ausgewählten oder erzeugten Modell die Gleichungen zum Berechnen der Vordergrundkomponenten durch die Differenz der Pixelwerte des Vordergrundkomponentenbildes.
Bei Schritt S904 stellt der Berechner 904 die Pixelwerte des Vordergrundkomponentenbildes in den erzeugten Gleichungen ein und extrahiert die Vordergrundkomponenten unter Verwendung der Differenz der Pixelwerte basierend auf den Gleichungen, in denen die Pixelwerte eingestellt sind. Bei Schritt S905 bestimmt der Berechner 904, ob alle Vordergrundkomponenten, die der Einheit eines Verarbeiten entsprechen, extrahiert worden sind. Wenn bestimmt wird, dass nicht alle Vordergrundkomponenten, die der Einheit eines Verarbeiten entsprechen, extrahiert worden sind, kehrt der Prozess zu Schritt S904 zurück, und das Verarbeiten zum Extrahieren der Vordergrundkomponenten wird wiederholt.
Wenn bei Schritt S905 bestimmt wird, dass alle Vordergrundkomponenten, die der Einheit eines Verarbeiten entsprechen, extrahiert worden sind, schreitet der Prozess zu Schritt S906 fort. Bei Schritt S906 stellt der Einstellabschnitt 905 jede der Vordergrundkomponenten F01/v bis F08/v, die von dem Berechner 904 zugeführt werden, basierend auf der Menge einer Bewegung v ein, um die Vordergrund-Pixelwerte F01/v bis F08/v, aus denen eine Bewegungsunschärfe eliminiert ist, zu erhalten.
Bei Schritt S907 berechnet der Bewegungsunschärfe-Addierer 906 die Vordergrund-Pixelwerte, in denen die Menge einer Bewegungsunchärfe eingestellt ist, und der Selektor 907 wählt das Bild ohne eine Bewegungsunschärfe oder das Bild, bei dem die Menge einer Bewegungsunschärfe eingestellt ist, aus und gibt das ausgewählte Bild aus. Das Verarbeiten ist dann abgeschlossen.
Wie im Vorhergehenden beschrieben, ist die Bewegungsunschärfe-Eintelleinheit 106, die wie in 75 gezeigt konfiguriert ist, fähig, eine Bewegungsunschärfe des Vordergrundbildes, das eine Bewegungsunschärfe enthält, gemäß einfacheren Berechnungen schneller einzustellen.
Eine bekannte Technik zum teilweisen Eliminieren einer Bewegungsunschärfe, wie ein Wiener-Filter, ist wirksam, wenn sie in dem Idealzustand verwendet wird, sie ist jedoch nicht für ein tatsächliches Bild ausreichend, das quantisiert ist und Rauschen enthält. Im Gegensatz dazu ist erwiesen, dass die Bewegungsunschärfe-Einstelleinheit 106, die wie in 75 gezeigt konfiguriert ist, ausreichend wirksam für ein tatsächliches Bild ist, das quantisiert ist und Rauschen enthält. Es ist daher möglich, eine Bewegungsunschärfe mit einer hohen Präzision zu eliminieren.
80 ist ein Blockdiagramm, das eine weitere Konfiguration der Funktion der Signalverarbeitungsvorrichtung darstellt.
Die Elemente, die ähnlich zu den in 2 gezeigten sind, sind mit gleichen Bezugsziffern bestimmt, und eine Erklärung derselben wird daher weggelassen.
Die Objekt-Extrahiereinheit 101 extrahiert ein grobes Bildobjekt, das einem Vordergrundobjekt entspricht, das in einem Eingangsbild enthalten ist, und führt das extrahierte Bildobjekt dem Bewegungsdetektor 102 zu. Der Bewegungsdetektor 102 berechnet einen Bewegungsvektor des groben Bildobjekts, das dem Vordergrundobjekt entspricht, und führt den berechneten Bewegungsvektor und die Positionsinformationen des Bewegungsvektors dem Mischungsverhältnis-Berechner 104 zu.
Die Bereichsspezifizierungseinheit 103 führt Bereichsinformationen dem Mischungsverhältnis-Berechner 104 und einem Synthesizer 1001 zu.
Der Mischungsverhältnis-Berechner 104 führt das Mischungsverhältnis α dem Vordergrund/Hintergrund-Separator 105 und dem Synthesizer 1001 zu.
Der Vordergrund/Hintergrund-Separator 105 führt das Vordergrundkomponentenbild dem Synthesizer 1001 zu.
Der Synthesizer 1001 kombiniert ein bestimmtes Hintergrundbild mit dem Vordergrundkomponentenbild, das von dem Vordergrund/Hintergrund-Separator 105 zugeführt wird, basierend auf dem Mischungsverhältnis α, das von dem Mischungsverhältnis-Berechner 104 zugeführt wird, und den Bereichsinformationen, die von der Bereichsspezifizierungseinheit 103 zugeführt werden, und gibt das synthetisierte Bild, bei dem das bestimmte Hintergrundbild und das Vordergrundkomponentenbild kombiniert sind, aus.
81 stellt die Konfiguration des Synthesizers 1001 dar. Ein Hintergrundkomponentenerzeuger 1021 erzeugt ein Hintergrundkomponentenbild basierend auf dem Mischungsverhältnis α und einem bestimmten Hintergrundbild und führt das Hintergrundkomponentenbild einem Gemischter-Bereich-Bildsynthetisierabschnitt 1022 zu.
Der Gemischter-Bereich-Bildsynthetisierabschnitt 1022 kombiniert das Hintergrundkomponentenbild, das von dem Hintergrundkomponentenerzeuger 1021 zugeführt wird, mit dem Vordergrundkomponentenbild, um ein synthetisiertes Gemischter-Bereich-Bild zu erzeugen, und führt das erzeugte synthetisierte Gemischter-Bereich-Bild einem Bildsynthetisierabschnitt 1023 zu.
Der Bildsynthesizer 1023 kombiniert das Vordergrundkomponentenbild, das synthetisierte Gemischter-Bereich-Bild, das von dem Gemischter-Bereich-Bildsynthetisierabschnitt 1022 zugeführt wird, und das bestimmte Hintergrundbild basierend auf den Bereichsinformationen, um ein synthetisiertes Bild zu erzeugen, und gibt dasselbe aus.
Wie im Vorhergehenden erörtert, ist der Synthesizer 1001 fähig, das Vordergrundkomponentenbild mit einem bestimmten Hintergrundbild zu kombinieren.
Das Bild, das durch Kombinieren eines Vordergrundkomponentenbildes mit einem bestimmten Hintergrundbild basierend auf dem Mischungsverhältnis α, das die Merkmalsgröße ist, erhalten wird, erscheint verglichen mit einem Bild, das durch einfaches Kombinieren von Pixeln erhalten wird, natürlicher.
82 ist ein Blockdiagramm, das noch eine weitere Konfiguration der Funktion der Signalverarbeitungsvorrichtung zum Einstellen der Menge einer Bewegungsunschärfe darstellt. Die Signalverarbeitungsvorrichtung, die in 2 gezeigt ist, führt der Reihe nach die Bereichsspezifizierungsoperation und die Berechnung für das Mischungsverhältnis α durch. Im Gegensatz dazu führt die Signalverarbeitungsvorrichtung, die in 82 gezeigt ist, die Bereichsspezifizierungsoperation und die Berechnung für das Mischungsverhältnis α gleichzeitig durch.
Die funktionalen Elemente, die ähnlich zu denen in dem Blockdiagramm von 2 sind, sind mit gleichen Bezugsziffern bestimmt, und eine Erklärung derselben wird daher weggelassen.
Ein Eingangsbild wird einem Mischungsverhältnis-Berechner 1101, einem Vordergrund/Hintergrund-Separator 1102, der Bereichsspezifizierungseinheit 103 und der Objekt-Extrahiereinheit 101 zugeführt.
Der Mischungsverhältnis-Berechner 1101 berechnet basierend auf dem Eingangsbild das geschätzte Mischungsverhältnis, wenn angenommen wird, dass jedes Pixel, das in dem Eingangsbild enthalten ist, zu dem abgedeckten Hintergrundbereich gehört, und das geschätzte Mischungsverhältnis, wenn angenommen wird, dass jedes Pixel, das in dem Eingangsbild enthalten ist, zu dem nicht abgedeckten Hintergrundbereich gehört, und führt die geschätzten Mischungsverhältnisse, die wie im Vorhergehenden beschrieben berechnet werden, dem Vordergrund/Hintergrund-Separator 1102 zu.
83 ist ein Blockdiagramm, das ein Beispiel der Konfiguration des Mischungsverhältnis-Berechners 1101 darstellt.
Ein Geschätztes-Mischungsverhältnis-Prozessor 401, der in 83 gezeigt ist, ist der gleiche wie der Geschätztes-Mischungsverhältnis-Prozessor 401, der in 47 gezeigt ist. Ein Geschätztes-Mischungsverhältnis-Prozessor 402, der in 83 gezeigt ist, ist der gleiche wie der Geschätztes-Mischungsverhältnis-Prozessor 402, der in 47 gezeigt ist.
Der Geschätztes-Mischungsverhältnis-Prozessor 401 berechnet das geschätzte Mischungsverhältnis für jedes Pixel durch die Berechnung, die einem Modell des abgedeckten Hintergrundbereichs entspricht, basierend auf dem Bewegungsvektor und den Positionsinformationen desselben und dem Eingangsbild und gibt das berechnete geschätzte Mischungsverhältnis aus.
Der Geschätztes-Mischungsverhältnis-Prozessor 402 berechnet das geschätzte Mischungsverhältnis für jedes Pixel durch die Berechnung, die einem Modell des nicht abgedeckten Hintergrundbereichs entspricht, basierend auf dem Bewegungsvektor und den Positionsinformationen desselben und dem Eingangsbild und gibt das berechnete geschätzte Mischungsverhältnis aus.
Der Vordergrund/Hintergrund-Separator 1102 erzeugt das Vordergrundkomponentenbild aus dem Eingangsbild basierend auf dem geschätzten Mischungsverhältnis, das berechnet wird, wenn angenommen wird, dass das Pixel zu dem abgedeckten Hintergrundbereich gehört, das von dem Mischungsverhältnis-Berechner 1101 zugeführt wird, dem geschätzten Mischungsverhältnis, das berechnet wird, wenn angenommen wird, dass das Pixel zu dem nicht abgedeckten Hintergrundbereich gehört, das von dem Mischungsverhältnis-Berechner 1101 zugeführt wird, und den Bereichsinformationen, die von der Bereichsspezifizierungseinheit 103 zugeführt werden, und führt das erzeugte Vordergrundkomponentenbild der Bewegungsunschärfe-Einstelleinheit 106 und dem Selektor 107 zu.
84 ist ein Blockdiagramm, das ein Beispiel der Konfiguration des Vordergrund/Hintergrund-Separators 1102 darstellt.
Die Elemente, die ähnlich zu denen des Vordergrund/Hintergrund-Separators 105 sind, der in 59 gezeigt ist, sind durch gleiche Bezugsziffern angezeigt, und eine Erklärung derselben wird daher weggelassen.
Ein Selektor 1121 wählt basierend auf den Bereichsinformationen, die von der Bereichsspezifizierungseinheit 103 zugeführt werden, entweder das geschätzte Mischungsverhältnis, das berechnet wird, wenn angenommen wird, dass das Pixel zu dem abgedeckten Hintergrundbereich gehört, das von dem Mischungsverhältnis-Berechner 1101 zugeführt wird, oder das geschätzte Mischungsverhältnis, das berechnet wird, wenn angenommen wird, dass das Pixel zu dem nicht abgedeckten Hintergrundbereich gehört, das von dem Mischungsverhältnis-Berechner 1101 zugeführt wird, aus und führt das ausgewählte geschätzte Mischungsverhältnis dem Trennabschnitt 601 als das Mischungsverhältnis α zu.
Der Trennabschnitt 601 extrahiert die Vordergrundkomponenten und die Hintergrundkomponenten aus den Pixelwerten der Pixel, die zu dem gemischten Bereich gehören, basierend auf dem Mischungsverhältnis α, das von dem Selektor 1121 zugeführt wird, und den Bereichsinformationen und führt die extrahierten Vordergrundkomponenten dem Synthesizer 603 zu und führt ebenfalls die Vordergrundkomponenten dem Synthesizer 605 zu.
Der Trennabschnitt 601 kann auf ähnliche Weise wie das Gegenstück, das in 64 gezeigt ist, konfiguriert sein.
Der Synthesizer 603 synthetisiert das Vordergrundkomponentenbild und gibt dasselbe aus. Der Synthesizer 605 synthetisiert das Hintergrundkomponentenbild und gibt dasselbe aus.
Die Bewegungsunschärfe-Einstelleinheit 106, die in 82 gezeigt ist, kann auf ähnliche Weise konfiguriert sein wie das Gegenstück, das in 2 gezeigt ist. Die Bewegungsunschärfe-Einstelleinheit 106 stellt die Menge einer Bewegungsunschärfe, die in dem Vordergrundkomponentenbild enthalten ist, das von dem Vordergrund/Hintergrund-Separator 1102 zugeführt wird, basierend auf den Bereichsinformationen und dem Bewegungsvektor ein und gibt das Vordergrundkomponentenbild, bei dem die Menge einer Bewegungsunschärfe eingestellt ist, aus.
Der Selektor 107, der in 82 gezeigt ist, wählt das Vordergrundkomponentenbild, das von dem Vordergrund/Hintergrund-Separator 1102 zugeführt wird, oder das Vordergrundkomponentenbild, bei dem die Menge einer Bewegungsunschärfe eingestellt ist, das von der Bewegungsunschärfe-Einstelleinheit 106 zugeführt wird, beispielsweise basierend auf einem Auswahlsignal, das eine Auswahl eines Benutzer widerspiegelt, aus und gibt das ausgewählte Vordergrundkomponentenbild aus.
Wie im Vorhergehenden erörtert, ist die Signalverarbeitungsvorrichtung, die in 82 gezeigt ist, fähig, die Menge einer Bewegungsunschärfe, die in einem Bild, das einem Vordergrundobjekt des Eingangsbildes entspricht, enthalten ist, einzustellen, und sie gibt das resultierende Vordergrundobjektbild aus. Wie bei dem ersten Ausführungsbeispiel ist die Signalverarbeitungsvorrichtung, die in 82 gezeigt ist, fähig, das Mischungsverhältnis α, das eine eingebettete Information darstellt, zu berechnen, und sie gibt das berechnete Mischungsverhältnis α aus.
85 ist ein Blockdiagramm, das eine weitere Konfiguration der Funktion der Signalverarbeitungsvorrichtung zum Kombinieren eines Vordergrundkomponentenbildes mit einem bestimmten Hintergrundbild darstellt. Die Signalverarbeitungsvorrichtung, die in 80 gezeigt ist, führt die Berechnungsspezifizierungsoperation und die Berechnung für das Mischungsverhältnis α der Reihe nach durch. Im Gegensatz dazu führt die Signalverarbeitungsvorrichtung, die in 85 gezeigt ist, die Bereichsspezifizierungsoperation und die Berechnung für das Mischungsverhältnis α auf eine parallele Art und Weise durch.
Die funktionalen Elemente, die ähnlich zu denen sind, die durch den Block von 82 angezeigt sind, sind durch gleiche Bezugsziffern angezeigt, und eine Erklärung derselben wird daher weggelassen.
Der Mischungsverhältnis-Berechner 1101, der in 85 gezeigt ist, berechnet basierend auf dem Bewegungsvektor und den Positionsinformationen desselben und dem Eingangsbild das geschätzte Mischungsverhältnis, wenn angenommen wird, dass jedes Pixel, das in dem Eingangsbild enthalten ist, zu dem abgedeckten Hintergrundbereich gehört, und das geschätzte Mischungsverhältnis, wenn angenommen wird, dass jedes Pixel, das in dem Eingangsbild enthalten ist, zu dem nicht abgedeckten Hintergrundbereich gehört, und führt die geschätzten Mischungsverhältnisse, die wie im Vorhergehenden beschrieben berechnet werden, dem Vordergrund/Hintergrund-Separator 1102 und einem Synthesizer 1201 zu.
Der Vordergrund/Hintergrund-Separator 1102, der in 85 gezeigt ist, erzeugt das Vordergrundkomponentenbild aus dem Eingangsbild basierend auf dem geschätzten Mischungsverhältnis, das berechnet wird, wenn angenommen wird, dass das Pixel zu dem abgedeckten Hintergrundbereich gehört, das von dem Mischungsverhältnis-Berechner 1101 zugeführt wird, dem geschätzten Mischungsverhältnis, das berechnet wird, wenn angenommen wird, dass das Pixel zu dem nicht abgedeckten Hintergrundbereich gehört, das von dem Mischungsverhältnis-Berechner 1101 zugeführt wird, und den Bereichsinformationen, die von der Bereichsspezifizierungseinheit 103 zugeführt werden, und führt das erzeugte Vordergrundkomponentenbild dem Synthesizer 1201 zu.
Der Synthesizer 1201 kombiniert ein bestimmtes Hintergrundbild mit dem Vordergrundkomponentenbild, das von dem Vordergrund/Hintergrund-Separator 1102 zugeführt wird, basierend auf dem geschätzten Mischungsverhältnis, das berechnet wird, wenn angenommen wird, dass das Pixel zu dem abgedeckten Hintergrundbereich gehört, das von dem Mischungsverhältnis-Berechner 1101 zugeführt wird, dem geschätzten Mischungsverhältnis, das berechnet wird, wenn angenommen wird, dass das Pixel zu dem nicht abgedeckten Hintergrundbereich gehört, das von dem Mischungsverhältnis-Berechner 1101 zugeführt wird, und den Bereichsinformationen, die von der Bereichsspezifizierungseinheit 103 zugeführt werden, und gibt das synthetisierte Bild, bei dem das Hintergrundbild und das Vordergrundkomponentenbild kombiniert sind, aus.
86 stellt die Konfiguration des Synthesizers 1201 dar. Die funktionalen Elemente, die ähnlich zu denen des Blockdiagramms von 81 sind, sind mit gleichen Bezugsziffern versehen, und eine Erklärung derselben wird daher weggelassen.
Ein Selektor 1221 wählt basierend auf den Bereichsinformationen, die von der Bereichsspezifizierungseinheit 103 zugeführt werden, entweder das geschätzte Mischungsverhältnis, das berechnet wird, wenn angenommen wird, dass das Pixel zu dem abgedeckten Hintergrundbereich gehört, das von dem Mischungsverhältnis-Berechner 1101 zugeführt wird, oder das geschätzte Mischungsverhältnis, das berechnet wird, wenn angenommen wird, dass das Pixel zu dem nicht abgedeckten Hintergrundbereich gehört, das von dem Mischungsverhältnis-Berechner 1101 zugeführt wird, aus und führt das ausgewählte Mischungsverhältnis dem Hintergrundkomponentenerzeuger 1021 als das Mischungsverhältnis α zu.
Der Hintergrundkomponentenerzeuger 1021, der in 86 gezeigt ist, erzeugt ein Hintergrundkomponentenbild basierend auf dem Mischungsverhältnis α, das von dem Selektor 1221 zugeführt wird, und einem bestimmten Hintergrundbild und führt das Hintergrundkomponentenbild dem Gemischter-Bereich-Bildsynthetisierabschnitt 1022 zu.
Der Gemischter-Bereich-Bildsynthetisierabschnitt 1022, der in 86 gezeigt ist, kombiniert das Hintergrundkomponentenbild, das von dem Hintergrundkomponentenerzeuger 1021 zugeführt wird, mit dem Vordergrundkomponentenbild, um ein synthetisiertes Gemischter-Bereich-Bild zu erzeugen, und führt das erzeugte synthetisierte Gemischter-Bereich-Bild dem Bildsynthetisierabschnitt 1023 zu.
Der Bildsynthetisierabschnitt 1023 kombiniert das Vordergrundkomponentenbild, das synthetisierte Gemischter-Bereich-Bild, das von dem Gemischter-Bereich-Bildsynthetisierabschnitt 1022 zugeführt wird, und das Hintergrundbild basierend auf den Bereichsinformationen, um ein synthetisiertes Bild zu erzeugen, und gibt dasselbe aus.
Auf diese Art und Weise ist der Synthesizer 1201 fähig, das Vordergrundkomponentenbild mit einem bestimmten Hintergrundbild zu kombinieren.
Die Erfindung ist im Vorhergehenden durch Einstellen des Mischungsverhältnisses α auf den Anteil der Hintergrundkomponenten, die in den Pixelwerten enthalten sind, erörtert worden. Das Mischungsverhältnis α kann jedoch auf den Anteil der Vordergrundkomponenten, die in den Pixelwerten enthalten sind, eingestellt werden.
Die Erfindung ist im Vorhergehenden durch Einstellen der Bewegungsrichtung des Vordergrundobjekts auf die Richtung von links nach rechts erörtert worden. Die Bewegungsrichtung ist jedoch nicht auf die im Vorhergehenden beschriebene Richtung beschränkt.
Bei der vorhergehenden Beschreibung wird ein Bild des realen Raums mit dreidimensionalen Raum- und Zeitachseninformationen unter Verwendung einer Videokamera auf einen Zeit-Raum mit zweidimensionalen Raum- und Zeitachseninformationen projiziert. Die vorliegende Erfindung ist jedoch nicht auf dieses Beispiel beschränkt und kann auf den folgenden Fall angewandt werden. Wenn eine größere Menge von ersten Informationen in einem eindimensionalen Raum auf eine kleinere Menge von zweiten Informationen in einem zweidimensionalen Raum projiziert wird, kann eine Verzerrung, die durch die Projektion erzeugt wird, korrigiert werden, signifikante Informationen können extrahiert werden oder ein natürlicheres Bild kann synthetisiert werden.
Der Sensor ist nicht auf eine CCD beschränkt und kann ein anderer Typ eines Sensors, wie eine Festkörper-Bilderzeugungsvorrichtung, beispielsweise ein CMOS (engl.: Complementary Metal Oxide Semiconductor = komplementärer Metalloxidhalbleiter), eine BBD (engl.: Gucket Brigade Device = Eimerkettenvorrichtung), eine CID (engl.: Charge Injection Device = Ladungsinjektionsvorrichtung) oder eine CPD (engl.: Charge Priming Device = Ladungsvorspannungsvorrichtung) sein. Ferner muss der Sensor kein Sensor sein, bei dem Erfassungsvorrichtungen in einer Matrix angeordnet sind, und er kann ein Sensor sein, bei dem Erfassungsvorrichtungen in einer Zeile angeordnet sind.
Ein Aufzeichnungsmedium, in dem ein Programm zum Durchführen des Bildverarbeitens der vorliegenden Erfindung aufgezeichnet ist, kann aus einem entnehmbaren Medium, in dem das Programm aufgezeichnet ist, gebildet sein, das zum Liefern des Programms zu einem Benutzer separat von dem Computer, wie in 1 gezeigt, verteilt wird, wie der magnetischen Platte 51 (einschließlich einer flexiblen Platte), der optischen Platte 52 (CD-ROM (engl.: Compact Disk-Reed Only Memory = Kompaktplatten-Nur-Lese-Speicher) und eine DVD (engl.: Digital Versatile Disk = vielseitige digitale Platte)), der magnetooptischen Platte (einschließlich der MD (engl.: Mini-Disk = Mini-Platte) (Markenname)) oder dem Halbleiterspeicher 54. Das Aufzeichnungsmedium kann ebenfalls aus dem ROM 22 oder einer Festplatte, die in der Speichereinheit 28, in der das Programm aufgezeichnet ist, enthalten ist, gebildet sein, wobei ein solches Aufzeichnungsmedium dem Benutzer geliefert wird, während es in dem Computer vorgespeichert ist.
Das Programm zum Durchführen des Bildverarbeitens kann dem Computer über ein Kabel oder einen drahtlosen Übertragungskanal zugeführt werden.
Die Schritte, die das Programm bilden, das in einem Aufzeichnungsmedium aufgezeichnet ist, können gemäß den Reihenfolgen, die in der Beschreibung beschrieben sind, chronologisch ausgeführt werden. Sie müssen jedoch nicht auf eine Art und Weise einer zeitlichen Abfolge ausgeführt werden, und sie können gleichzeitig oder einzeln ausgeführt werden.
Industrielle Anwendbarkeit
Gemäß der ersten Erfindung kann das Mischungsverhältnis, das den Mischungszustand einer Mehrzahl von Objekten anzeigt, erfasst werden.
Gemäß der zweiten Erfindung kann das Mischungsverhältnis, das den Mischungszustand einer Mehrzahl von Objekten anzeigt, erfasst werden.

Claims

Bildverarbeitungsvorrichtung zum Durchführen eines Bildverarbeitens an Videobilddaten, die aus einer vorbestimmten Zahl von Pixeldaten, die durch eine Bilderzeugungsvorrichtung, die eine vorbestimmte Zahl von Pixeln umfasst und eine zeitintegrierende Funktion hat, erhalten werden, gebildet sind, und zum Berechnen eines Mischungsverhältnisses, das einen Mischungszustand zwischen Vordergrund- und Hintergrundkomponenten der Pixeldaten einer Mehrzahl von Objekten in der realen Welt anzeigt, wobei die Bildverarbeitungsvorrichtung folgende Merkmale aufweist: eine Pixeldaten-Extraktionseinrichtung zum Extrahieren einer Mehrzahl von gemischten Pixeldaten, die die Pixeldaten einer vorbestimmten Zahl von aufeinander folgenden Rahmen, bei denen die Mehrzahl von Objekten gemischt ist, darstellen, basierend auf einer Bewegung eines Vordergrundobjekts, das als ein Vordergrund der Mehrzahl von Objekten dient, und ferner zum Extrahieren von Hintergrund-Pixeldaten, die die Pixeldaten, die aus dem Hintergrundobjekt gebildet sind, darstellen und die den gemischten Pixeldaten entsprechen, basierend auf einer Bewegung eines Hintergrundobjekts, das als ein Hintergrund der Mehrzahl von Objekten dient, wobei die Hintergrund-Pixeldaten aus einem Rahmen, der nicht einer der aufeinander folgenden Rahmen ist, bei denen die Mehrzahl von Objekten gemischt ist, extrahiert werden; eine Beziehungsausdruck-Erzeugungseinrichtung zum Erzeugen von Beziehungsausdrücken für die gemischten Pixeldaten und die Hintergrund-Pixeldaten, die der vorbestimmten Zahl von aufeinander folgenden Rahmen entsprechen, basierend auf den extrahierten gemischten Pixeldaten und den extrahierten Hintergrund-Pixeldaten gemäß der Formel: M = α·B + f, wobei f = Σ iFi/vwobei M der Pixelwert ist, α das Mischungsverhältnis ist, B der Hintergrund-Pixelwert ist, f die Summe der Vordergrundkomponenten ist, F der Vordergrund-Pixelwert ist, und v die Anzahl von Abschnitten ist, in die die Verschlusszeit auf der Basis der Menge einer Bewegung des Vordergrundobjekts in einem Bezugsrahmen in Einheiten einer Pixelteilung virtuell geteilt wird, wobei die Beziehungsausdrücke ein Satz von Gleichungen sind, die durch Anwenden der Formel auf jedes der Pixel der aufeinander folgenden Rahmen, bei denen die Mehrzahl von Objekten gemischt ist, und durch Anwenden des Verfahrens der kleinsten Quadrate auf diese Gleichungen erhalten werden, um das einzelne Mischungsverhältnis α zu erhalten; und eine Mischungsverhältnis-Erfassungseinrichtung zum Erfassen des einzelnen Mischungsverhältnisses für die vorbestimmte Zahl von aufeinander folgenden Rahmen basierend auf den Beziehungsausdrücken.
Bildverarbeitungsvorrichtung nach Anspruch 1, bei der die Pixeldaten-Extraktionseinrichtung die gemischten Pixeldaten gemäß der Menge der Bewegung des Vordergrundobjekts in den Rahmen extrahiert.
Bildverarbeitungsvorrichtung nach Anspruch 1, bei der die Pixeldaten-Extraktionseinrichtung die Hintergrund-Pixeldaten gemäß der Menge der Bewegung des Hintergrundobjekts in den Rahmen extrahiert.
Bildverarbeitungsvorrichtung nach Anspruch 1, die ferner eine Bewegungserfassungseinrichtung zum Erfassen der Bewegung mindestens entweder des Vordergrundobjekts oder des Hintergrundobjekts aufweist.
Bildverarbeitungsvorrichtung nach Anspruch 1, die ferner eine Bereichsspezifizierungseinrichtung zum Spezifizieren eines gemischten Bereichs aufweist, der aus den gemischten Pixeldaten besteht, eines Hintergrundbereichs, der aus den Hintergrundpixeln besteht, und eines Vordergrundbereichs, der aus Vordergrund-Pixeldaten, die die Pixeldaten sind, die dem Vordergrundobjekt entsprechen, besteht.
Bildverarbeitungsvorrichtung nach Anspruch 1, die ferner eine Trennungseinrichtung zum Trennen mindestens des Vordergrundobjekts von den gemischten Pixeldaten basierend auf dem Mischungsverhältnis aufweist.
Bildverarbeitungsvorrichtung nach Anspruch 6, die ferner eine Bewegungsunschärfe-Einstelleinrichtung zum Einstellen der Menge einer Bewegungsunschärfe des getrennten Vordergrundobjekts aufweist.
Bildverarbeitungsvorrichtung nach Anspruch 6, die ferner eine Synthetisiereinrichtung zum Kombinieren des getrennten Vordergrundobjekts mit einem gewünschten Objekt basierend auf dem Mischungsverhältnis aufweist.
Bildverarbeitungsvorrichtung nach einem der Ansprüche 1 bis 8 mit ferner: einer Bilderzeugungseinrichtung zum Ausgeben eines Gegenstandsbilds als Bilddaten, die aus einer vorbestimmten Zahl von Pixeldaten gebildet sind, wobei das Gegenstandsbild durch Durchführen eines Bilderfassens durch die Bilderzeugungsvorrichtung, die die vorbestimmte Zahl von Pixeln hat, wobei jedes die zeitintegrierende Funktion hat, erhalten wird.
Bildverarbeitungsverfahren zum Durchführen eines Bildverarbeitens an Videobilddaten, die aus einer vorbestimmten Zahl von Pixeldaten gebildet sind, die durch eine Bilderzeugungsvorrichtung, die eine vorbestimmte Zahl von Pixeln umfasst und eine zeitintegrierende Funktion hat, erhalten werden, und zum Berechnen eines Mischungsverhältnisses, das einen Mischungszustand zwischen Vordergrund- und Hintergrundkomponenten der Pixeldaten einer Mehrzahl von Objekten in der realen Welt anzeigt, wobei das Bildverarbeitungsverfahren folgende Schritte aufweist: einen Pixeldaten-Extraktionsschritt zum Extrahieren einer Mehrzahl von gemischten Pixeldaten, die die Pixeldaten einer vorbestimmten Zahl von aufeinander folgenden Rahmen, bei denen die Mehrzahl von Objekten gemischt ist, darstellen, basierend auf einer Bewegung eines Vordergrundobjekts, das als ein Vordergrund der Mehrzahl von Objekten dient, und ferner zum Extrahieren von Hintergrund-Pixeldaten, die die Pixeldaten, die aus dem Hintergrundobjekt gebildet sind, darstellen und die den gemischten Pixeldaten entsprechen, basierend auf einer Bewegung eines Hintergrundobjekts, das als ein Hintergrund der Mehrzahl von Objekten dient, wobei die Hintergrund-Pixeldaten aus einem Rahmen, der nicht einer der aufeinander folgenden Rahmen ist, bei denen die Mehrzahl von Objekten gemischt ist, extrahiert werden; einen Beziehungsausdruck-Erzeugungsschritt zum Erzeugen von Beziehungsausdrücken für die gemischten Pixeldaten und die Hintergrund-Pixeldaten, die der vorbestimmten Zahl von aufeinander folgenden Rahmen entsprechen, basierend auf den extrahierten gemischten Pixeldaten und den extrahierten Hintergrund-Pixeldaten gemäß der Formel: M = α·B + f, wobei f = Σ iF_i/v wobei M der Pixelwert ist, α das Mischungsverhältnis ist, B der Hintergrund-Pixelwert ist, f die Summe der Vordergrundkomponenten ist, F der Vordergrund-Pixelwert ist, und v die Anzahl von Abschnitten ist, in die die Verschlusszeit auf der Basis der Menge einer Bewegung des Vordergrundobjekts in einem Bezugsrahmen in Einheiten einer Pixelteilung virtuell geteilt wird, wobei die Beziehungsausdrücke ein Satz von Gleichungen sind, die durch Anwenden der Formel auf jedes der Pixel der aufeinander folgenden Rahmen, bei denen die Mehrzahl von Objekten gemischt ist, und durch Anwenden des Verfahrens der kleinsten Quadrate auf diese Gleichungen erhalten werden, um das einzelne Mischungsverhältnis α zu erhalten; und einen Mischungsverhältnis-Erfassungsschritt zum Erfassen eines einzelnen Mischungsverhältnisses für die vorbestimmte Zahl von aufeinander folgenden Rahmen basierend auf den Beziehungsausdrücken.
Bildverarbeitungsverfahren nach Anspruch 10, bei dem bei dem Pixeldaten-Extraktionsschritt die gemischten Pixeldaten gemäß der Menge der Bewegung des Vordergrundobjekts in den Rahmen extrahiert werden.
Bildverarbeitungsverfahren nach Anspruch 10, bei dem bei dem Pixeldaten-Extraktionsschritt die Hintergrund-Pixeldaten gemäß der Menge der Bewegung des Hintergrundobjekts in den Rahmen extrahiert werden.
Bildverarbeitungsverfahren nach Anspruch 10, das ferner einen Bewegungserfassungsschritt zum Erfassen der Bewegung mindestens entweder des Vordergrundobjekts oder des Hintergrundobjekts aufweist.
Bildverarbeitungsverfahren nach Anspruch 10, das ferner einen Bereichsspezifizierungsschritt zum Spezifizieren eines gemischten Bereichs aufweist, der aus den gemischten Pixeldaten besteht, eines Hintergrundbereichs, der aus den Hintergrundpixeln besteht, und eines Vordergrundbereichs, der aus Vordergrund-Pixeldaten, die die Pixeldaten sind, die dem Vordergrundobjekt entsprechen, besteht.
Bildverarbeitungsverfahren nach Anspruch 10, das ferner einen Trennungsschritt zum Trennen mindestens des Vordergrundobjekts von den gemischten Pixeldaten basierend auf dem Mischungsverhältnis aufweist.
Bildverarbeitungsverfahren nach Anspruch 15, das ferner einen Bewegungsunschärfe-Einstellschritt zum Einstellen der Menge einer Bewegungsunschärfe des getrennten Vordergrundobjekts aufweist.
Bildverarbeitungsverfahren nach Anspruch 15, das ferner einen Synthetisierschritt zum Kombinieren des getrennten Vordergrundobjekts mit einem gewünschten Objekt basierend auf dem Mischungsverhältnis aufweist.
Aufzeichnungsmedium, in dem ein computerlesbares Programm aufgezeichnet ist, wobei das Programm zum Durchführen eines Bildverarbeitens gemäß dem Verfahren nach einem der Ansprüche 10 bis 17 verwendet wird.
Programm, um einem Computer zu erlauben, das Verfahren nach einem der Ansprüche 10 bis 17 auszuführen.