DE102005026876B4

DE102005026876B4 - Fahrzeugumgebungs-Überwachungsvorrichtung

Info

Publication number: DE102005026876B4
Application number: DE102005026876A
Authority: DE
Inventors: Fuminori Wako Taniguchi; Nobuharu Wako Nagaoka; Takayuki Wako Tsuji
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2004-06-14
Filing date: 2005-06-10
Publication date: 2008-03-27
Anticipated expiration: 2025-06-11
Also published as: DE102005026876A1; JP2005352974A; US7436982B2; US20050276450A1; JP3987057B2

Abstract

Fahrzeugumgebungs-Überwachungsvorrichtung, umfassend:
eine Infrarotbildaufnahmeeinrichtung (2R, 2L), die ein Bild aufnimmt;
eine Binärisiertes-Objekt-Extraktionseinrichtung (S4 – S7), die durch Binärisierung des Bildes ein binärisiertes Objekt (100) extrahiert;
eine Extraktionsbereichsetzeinrichtung (S41 – S46), die als Extraktionsbereich einen Bereich setzt, der einem Oberende oder einem Unterende des durch die Binärisiertes-Objekt-Extraktionseinrichtung (S4 – S7) extrahierten binärisierten Objekts (100) benachbart ist;
eine Suchbereichsetzeinrichtung (S41 – S46), die eine Mehrzahl von Suchbereichen in der Aufwärts- und/oder Abwärtsrichtung des Extraktionsbereichs setzt;
eine Ähnliches-Objekt-Extraktionseinrichtung (S41 – S46), die dann, wenn sich in den Suchbereichen weitere Objekte mit einer Form befinden, die jener des Objekts in dem Extraktionsbereich ähnlich ist, und das extrahierte Objekt und die weiteren Objekte eine durchgehend gleiche Form in der Aufwärtsrichtung und in der Abwärtsrichtung haben, die weiteren Objekte in dem Suchbereich als ähnliche Objekte extrahiert; und
eine Identisches-Objekt-Bestimmungseinrichtung (S41 – S46), die bestimmt, ob das Objekt in dem Extraktionsbereich...

Description

Die Erfindung betrifft eine Fahrzeugumgebungs-Überwachungsvorrichtung, worin eine Objektextraktion ausgeführt wird, indem ein Bild einem Binärisierungsprozess unterzogen wird.
Es ist eine Fahrzeugumgebungs-Überwachungsvorrichtung verwendet worden, in der Objekte, die mit dem Fahrzeug kollidieren könnten, wie etwa Fußgänger, aus einem von einer Infrarotkamera aufgenommenen Bild der Umgebung des Fahrzeugs extrahiert werden. Insbesondere wird in der Vorrichtung das aufgenommene Infrarotbild einem Binärisierungsprozess unterzogen, und es wird nach einer Fläche (binärisiertes Objekt), auf die die hellen Abschnitte konzentriert sind, gesucht. Dann wird bestimmt, ob die Fläche ein Kopfbereich eines Fußgängers ist oder nicht, unter Verwendung des Aspektverhältnisses (Verhältnis von Länge zu Breite), und der Erfüllungsrate des binärisierten Objekts, und ferner durch Berechnen des Abstands zwischen dem Fahrzeug und dem binärisierten Objekt unter Verwendung der tatsächlichen Oberflächenausdehnung und der Position des Schwerpunkts in dem Bild. Wenn die Fläche des Kopfbereichs eines Fußgängers bestimmt wird, wird eine Fläche, die den Körper des Fußgängers enthält, bestimmt und gesetzt. Diese Flächen werden so angezeigt, dass sie von anderen Bereichen des Bilds unterschieden werden. Auf diese Weise wird die Position des gesamten Körpers des Fußgängers im Infrarotbild bestimmt, und diese Information wird dem Fahrer angezeigt, um die Sicht des Fahrers effizient zu unterstützen (siehe z.B. JP-A-H11.328364 ).
Wenn jedoch ein Fahrzeug fährt, spiegelt die Form des binärisierten Objekts nicht notwendigerweise die tatsächliche Form des Objekts wider, und zwar aufgrund des Einflusses einer Änderung der Geometrie der vorausliegenden Straße oder von Nickbewegungen des Fahrzeugs.
Um daher dem Fahrer eine effiziente Sichtunterstützung zu bieten, ist es notwendig, künstliche Strukturen, wie etwa Straßenkonstruktionen, aus einem binärisierten Objekt zu extrahieren und dann zwischen anderen Objekten als Fußgängern und Fußgängern zu unterscheiden, und zwar zusätzlich dazu, Fußgänger auf der Basis körperlicher Eigenschaften zu extrahieren, die relativ leicht unterschieden werden können, wie etwa die Formidentifikation auf der Basis des Vorhandenseins eines Objekts, das eine Höhe hat, die der Größe eines Menschen im Objektbild äquivalent ist, einer Formidentifikation auf der Basis des Vorhandenseins des Kopfs und des Rumpfs, und der Formidentifikation allein auf der Basis des Kopfs oder dgl., wie sie in der Vorrichtung verwendet werden, die in der japanischen Offenlegungsschrift Nr. H11-328364 beschrieben sind.
Aus der DE 10 228 638 A1 ist eine Fahrzeugumgebungs-Überwachungsvorrichtung bekannt, worin nur zwei Suchbereiche gesetzt werden, einer über und der andere unter das extrahierte Bild. Dann wird ein gradliniges Segment, das in diesen Suchbereichen enthalten ist, bestimmt, und dieses wird mit einer vorab gespeicherten Struktur verglichen, z. B. einem Lichtmast als einer künstlichen Struktur.
In der DE 10 247 371 A1 werden die Formen von Menschen aus binärisierten Bildern extrahiert. Hierzu werden ein oberer Suchbereich und ein unterer Suchbereich über und unter das extrahierte Bild gesetzt, wenn in diesen Suchbereichen Formen vorhanden sind, die einem Kopf und den Beinen eines Menschen entsprechen, wird das extrahierte Bild als Mensch identifiziert.
In der prioritätsälteren aber nachveröffentlichten DE 10 2004 01 28 11 A1 werden Suchbereiche über, unter und seitlich eines extrahierten Objekts gesetzt, um festzustellen, ob der extrahierte Körper zu einem Menschen gehört oder nicht.
Aufgabe der Erfindung ist es daher, eine Fahrzeugumgebungs-Überwachungsvorrichtung anzugeben, die künstliche Objekte in der Umgebung des Fahrzeugs richtig erkennen kann.
Zur Lösung der Aufgabe wird eine Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruche 1, 7 und 11 angegeben.
Die Vorrichtung umfasst: eine Infrarotbildaufnahmeeinrichtung, die ein Bild aufnimmt; eine Binärisiertes-Objekt-Extraktionseinrichtung, die durch Binärisierung des Bildes ein binärisiertes Objekt extrahiert; eine Extraktionsbereichsetzeinrichtung, die als Extraktionsbereich einen Bereich setzt, der einem Oberende oder einem Unterende des durch die Binärisiertes-Objekt-Extraktionseinrichtung extrahierten binärisierten Objekts benachbart ist; eine Suchbereichsetzeinrichtung, die einen Suchbereich in die Umgebung des Extraktionsbereichs setzt; eine Ähnliches-Objekt-Extraktionseinrichtung, die dann, wenn sich in dem Suchbereich ein Objekt mit einer Form befindet, die jener des Objekts in dem Extraktionsbereich ähnlich ist, das Objekt in dem Suchbereich als ähnliches Objekt extrahiert; und eine Identisches-Objekt-Bestimmungseinrichtung, die bestimmt, ob das Objekt in dem Extraktionsbereich und das ähnliche Objekt in dem Suchbereich identisch sind oder nicht.
In dieser Fahrzeugumgebungs-Überwachungsvorrichtung extrahiert die Binärisiertes-Objekt-Extraktionseinrichtung ein binärisiertes Objekt aus dem von der Infrarotbildaufnahmeeinrichtung erhaltenen Bild, und die Extraktionsbereichsetzeinrichtung setzt als Extraktionsbereich den Bereich, der dem Oberende oder Unterende des von der Binärisiertes-Objekt-Extraktionseinrichtung binärisierten Objekts benachbart ist. Wenn sich dann ein Objekt mit einer ähnlichen Form wie das Objekt in dem Extraktionsbereich, der durch die Extraktionsbereichsetzeinrichtung gesetzt ist, in dem Suchbereich befindet, der durch die Suchbereichsetzeinrichtung in der Umgebung des Extraktionsbereichs gesetzt ist, extrahiert die Ähnliches-Objekt-Extraktionseinrichtung das Objekt in dem Suchbereich mit der ähnlichen Form als ein ähnliches Objekt. Da die Bestimmung, ob das Objekt in dem Extraktionsbereich und das ähnliche Objekt in dem Suchbereich identisch sind oder nicht, durch die Identisches-Objekt-Bestimmungseinrichtung erfolgt, können kontinuierliche Objekte mit der gleichen Form erkannt wreden, wenn das binärisierte Objekt oder ein Objekt in dem Extraktionsbereich in der aufwärtigen und abwärtigen Richtung davon die ähnliche Form hat wie jene eines Objekts in dem Suchbereich.
Wenn bei der Fahrzeugumgebungs-Überwachungsvorrichtung des ersten Aspekts der Erfindung das binärisierte Objekt oder ein Objekt in dem Extraktionsbereich in der aufwärtigen und abwärtigen Richtung davon die ähnliche Form hat wie ein Objekt in dem Suchbereich, können Reihen kontinuierlicher künstlicher Objekte anhand ihrer gleichen Form erkannt werden.
Weil eine Serie von Objekten mit der gleichen Form nur ein Charakteristikum einer künstlichen Struktur ist, wird dementsprechend ein binärisiertes Objekt, das eine aus einem Infrarotbild extrahierte unbestimmte Form hat, genau identifiziert. Dementsprechend kann eine Fahrzeugumgebungs-Überwachungsvorrichtung erhalten werden, indem eine künstliche Struktur aus Objekten in der Umgebung des Fahrzeugs genau und leicht extrahiert werden kann.
Erfindungsgemäß setzt die Suchbereichsetzeinrichtung eine Richtung zum Suchen des Suchbereichs in eine Aufwärtsrichtung oder eine Abwärtsrichtung oder eine Aufwärts- und Abwärtsrichtung des Extraktionsbereichs.
In dieser Ausführung setzt die Suchbereichsetzeinrichtung den Suchbereich in die aufwärtige Richtung oder die abwärtige Richtung oder die aufwärtige und abwärtige Richtung des Extraktionsbereichs, und die Identisches-Objekt-Bestimmungseinrichtung bestimmt, ob das binärisierte Objekt in dem Extraktionsbereich und das ähnliche Objekt in dem Suchbereich, der auf die aufwärtige Richtung, die abwärtige Richtung oder die aufwärtige und die abwärtige Richtung des Extraktionsbereichs gesetzt wurde, identisch sind oder nicht. Daher können kontinuierliche Objekte, die die gleiche in der vertikalen Richtung angeordnete Form haben, erkannt werden, wenn das binärisierte Objekt in dem Extraktionsbereich und das ähnliche Objekt in dem Suchbereich, der die aufwärtige Richtung, die abwärtige Richtung oder die aufwärtige und abwärtige Richtung des Extraktionsbereichs gesetzt worden ist, ähnlich sind.
Hierdurch können, wenn das binärisierte Objekt in dem Extraktionsbereich und das ähnliche Objekt in dem Suchbereich, der in der aufwärtigen Richtung oder der abwärtigen Richtung oder der aufwärtigen und der abwärtigen Richtung des Extraktionsbereichs gesetzt worden ist, ähnlich sind, kontinuierliche Objekte, die die in der vertikalen Richtung angeordnete ähnliche Form haben, erkannt werden.
Dementsprechend ist die Vorrichtung in der Lage, ein binärisiertes Objekt mit einer unbestimmten Form, die aus einem Infrarotbild extrahiert ist, genau zu identifizieren, und ist in der Lage, kontinuierliche künstliche Strukturen, die die gleiche Form in der vertikalen Richtung aufweisen, wie z.B. Stromversorgungsmasten oder Stromverteilerkästen oder ähnliche feststehende säulenförmige Strukturen, leicht und genau von Objekten in der Umgebung des Fahrzeugs zu extrahieren.
Erfindungsgemäß setzt die Suchbereichsetzeinrichtung eine Mehrzahl von Suchbereichen in der gleichen Richtung, und die Identisches-Objekt-Bestimmungseinrichtung bestimmt dann, wenn das Verhältnis der Anzahl von Bildern, aus denen das ähnliche Objekt extrahiert ist, gleich oder höher als ein vorbestimmtes Verhältnis ist, dass das Objekt in dem Extraktionsbereich und die ähnlichen Objekte in den Suchbereichen identisch sind.
Hierbei setzt die Suchbereichsetzeinrichtung die Mehrzahl von Suchbereichen in die Umgebung des Extraktionsbereichs, und die Ähnliches-Objekt-Extraktionseinrichtung extrahiert das ähnliche Objekt. Wenn in diesem Prozess das Verhältnis der Anteile der Anzahl von Bildern, aus denen das ähnliche Objekt extrahiert ist, gleich oder höher als ein vorbestimmtes Verhältnis bzw. ein vorbestimmter Anteil ist, bestimmt die Identisches-Objekt-Bestimmungseinrichtung, dass das Objekt in dem Extraktionsbereich und die ähnlichen Objekte in der Mehrzahl von Suchbereichen, die um den Extraktionsbereich herum gesetzt sind, auch wenn die ähnlichen Objekte nicht in allen Suchbereichen vorhanden sind. Daher können kontinuierliche Objekte mit der gleichen Form erkannt werden, wenn das Objekt in dem Extraktionsbereich und die Objekte in den Suchbereichen die ähnliche Form haben.
Hierdurch können, obwohl die ähnlichen Objekte nicht in allen Suchbereichen vorhanden sind, kontinuierliche Objekte mit der gleichen Form erkannt werden, wenn ein binärisiertes Objekt in dem Extraktionsbereich und ein binärisiertes Objekt in dem Suchbereich ähnlich sind.
Dementsprechend können kontinuierliche künstliche Strukturen mit der gleichen Form auch aus einem Objekt extrahiert werden, dessen Gesamtbild von der Infrarotbildaufnahmeeinrichtung nicht aufgenommen worden ist, aufgrund des Einflusses des Fahrzustands des Fahrzeugs oder der Umgebung des Objekts, und daher kann die Genauigkeit bei der Extraktion künstlicher Strukturen von Objekten in der Umgebung des Fahrzeugs verbessert werden.
Bevorzugt enthält die Fahrzeugumgebungs-Überwachungsvorrichtung ferner eine zweite Infrarotbildaufnahmeeinrichtung; und eine Abstandsberechnungseinrichtung, die beruhend auf den zwei von den Infrarotbildaufnahmeeinrichtungen aufgenommenen Bildern, einen Abstand zu dem in den Bildern enthaltenen Objekt berechnet, wobei die Identisches-Objekt-Bestimmungseinrichtung bestimmt, dass das Objekt in dem Extraktionsbereich und das ähnliche Objekt in dem Suchbereich identisch sind, wenn ein Abstand zu dem Objekt in dem Extraktionsbereich gleich einem Abstand zu dem ähnlichen Objekt in dem Suchbereich ist.
Wenn in dieser Fahrzeugumgebungs-Überwachungsvorrichtung der Abstand zu dem Objekt in dem Extraktionsbereich, der durch die Abstandsberechnungseinrichtung berechnet ist, die den Abstand zu einem Objekt aus der Parallaxe zwischen dem rechten Bild und dem linken Bild berechnet, und der Abstand zu dem ähnlichen Objekt in dem Suchbereich, der ebenfalls durch die Abstandsberechnungseinrichtung berechnet ist, gleich sind, dann kann eine Bestimmung davon, ob das Objekt in dem Extraktionsbereich und das ähnliche Objekt in dem Suchbereich identisch sind, genauer durchgeführt werden, da die Identisches-Objekt-Bestimmungseinrichtung bestimmt, dass das Objekt in dem Extraktionsbereich und das ähnliche Objekt in dem Suchbereich identisch sind.
Hierdurch kann eine Bestimmung, ob das binärisierte Objekt in dem Extraktionsbereich und das ähnliche Objekt in dem Suchbereich identisch sind oder nicht, noch genauer durchgeführt werden.
Dementsprechend können künstliche Strukturen aus Objekten in der Umgebung des Fahrzeugs noch genauer extrahiert werden.
In der Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 7 setzt die Extraktionsbereichsetzeinrichtung einen rechten Extraktionsbereich eine horizontale Koordinate eines rechten Endes des von der Binärisiertes-Objekt-Extraktionseinrichtung extrahierten binärisierten Objekts aufweist, und einen linken Extraktionsbereich, der eine horizontale Koordinate eines linken Endes des binärisierten Objekts aufweist, wobei die Suchbereichsetzeinrichtung die Suchbereiche jeweils um den rechten Extraktionsbereich und den linken Extraktionsbereich herum setzt, wobei die Ahnliches-Objekt-Extraktionseinrichtung dann, wenn ein Objekt mit einer ähnlichen Form wie ein Objekt in dem linken Extraktionsbereich sich im dem linken Extraktionsbereich entsprechenden Suchbereich befindet, oder dann, wenn ein Objekt mit einer ähnlichen Form wie das Objekt in dem rechten Extraktionsbereich sich im dem rechten Extraktionsbereich entsprechenden Suchbereich befindet, das Objekt, das die ähnliche Form in dem Suchbereich aufweist, als ähnliches Objekt extrahiert, und wobei die Identisches-Objekt-Bestimmungseinrichtung bestimmt, ob das Objekt in dem linken Extraktionsbereich und das ähnliche Objekt im dem linken Extraktionsbereich entsprechenden Suchbereich identisch sind oder nicht, oder ob das Objekt in dem rechten Extraktionsbereich und das ähnliche Objekt im dem rechten Extraktionsbereich entsprechenden Suchbereich identisch sind oder nicht.
In dieser Ausführung setzt die Extraktionsbereichsetzeinrichtung den rechten und den linken Extraktionsbereich, die jeweils einen Bereich entsprechend der rechten Seite und der linken Seite des binärisierten Objekts enthalten, als Extraktionsbereich. Wenn dann ein Objekt mit einer ähnlichen Form wie jener des Objekts in den Extraktionsbereichen, die durch die Extraktionsbereichsetzeinrichtung gesetzt sind, sich in jedem Suchbereich befindet, der dem rechten Suchbereich und dem linken Suchbereich entspricht, die von der Suchbereichsetzeinrichtung gesetzt sind, extrahiert die Ähnliches-Objekt-Extraktionseinrichtung jenes Objekt in den Suchbereichen mit der ähnlichen Form als ähnliches Objekt. Da auf diese Weise die Identisches-Objekt-Bestimmungseinrichtung bestimmt, ob ein Objekt entweder in dem rechten Extraktionsbereich oder dem linken Extraktionsbereich und das ähnliche Objekt in dem Suchbereich, der diesem Extraktionsbereich entspricht, identisch sind, können kontinuierliche Objekte, die die gleiche Form entweder am rechten Ende oder linken Ende haben, erkannt werden, wenn das Objekt in entweder dem rechten Extraktionsbereich oder dem linken Extraktionsbereich und das ähnliche Objekt in dem Suchbereich, der diesem Extraktionsbereich entspricht, ähnlich sind.
Hierdurch können durch Vergleich entweder des rechten Extraktionsbereichs oder des linken Extraktionsbereichs mit dem Suchbereich, der diesem Extraktionsbereich entspricht, kontinuierliche Objekte mit der gleichen Form entweder am rechten Ende oder am linken Ende erkannt werden, wenn das binärisierte Objekt in entweder dem rechten Extraktionsbereich oder dem linken Extraktionsbereich und das binärisierte Objekt in dem Suchbereich, der dem Extraktionsbereich entspricht, ähnlich sind.
Dementsprechend können kontinuierliche künstliche Strukturen mit der gleichen Form auch aus einem Objekt extrahiert werden, das sich nur in entweder der rechten Seite oder der linken Seite der von der Infrarotbildaufnahmeeinrichtung aufgenommenen Bilder befinden, aufgrund des Einflusses des Fahrzustands des Fahrzeugs oder der Umgebung des Objekts.
Bevorzugt enthält die Vorrichtung eine Fußgängererkennungseinrichtung, die einen Bereich, der das Objekt enthält, das durch die Identisches-Objekt-Bestimmungseinrichtung als identisches Objekt bestimmt worden ist, ausschließt und aus einem binärisierten Objekt in einem verbleibenden Bereich einen Fußgänger erkennt.
In dieser Ausführung schließt die Fußgängererkennungseinrichtung einen Bereich aus, der das Objekt enthält, das durch die Identisches-Objekt-Bestimmungseinrichtung als das identische Objekt bestimmt worden ist, und erkennt einen Fußgänger aus einem binärisierten Objekt in einem verbleibenden Bereich. Auf diese Weise kann ein Fußgänger aus anderen verbleibenden Objekten als den kontinuierlichen Objekten mit der gleichen Form, die kein Fußgänger sein können, erkannt werden.
Hierbei kann ein Fußgänger aus anderen verbleibenden Objekten als den kontinuierlichen Objekten mit der gleichen Form erkannt werden.
Dementsprechend kann eine Fahrzeugumgebungs-Überwachungsvorrichtung realisiert werden, die ein binärisiertes Objekt mit einer unbestimmten Form, das aus einem Infrarotbild extrahiert worden ist, genau bestimmen kann, wobei es von vornherein eine künstliche Struktur, in der eine Serie von Objekten die gleiche Form haben, ausgeschlossen werden, und ein Fußgänger aus den verbleibenden Objekten in der Umgebung des Fahrzeugs akkurat und leicht extrahiert wird.
Bevorzugt enthält die Vorrichtung ferner eine Warnausgabeeinrichtung, die in Bezug auf den in der Fußgängererkennungseinrichtung erkannten Fußgänger eine Warnung ausgibt.
Da in dieser Ausführung die Warnausgabeeinrichtung eine Warnung in Bezug auf den von der Fußgängererkennungseinrichtung erkannten Fußgänger ausgibt, kann das Vorhandensein eines Fußgängers in der Umgebung des Fahrzeugs vom Fahrer des Fahrzeugs gemeldet werden.
Hierbei kann das Vorhandensein eines Fußgängers in der Umgebung des Fahrzeugs dem Fahrer des Fahrzeugs gemeldet werden.
Dementsprechend ist es möglich, den Fahrer des Fahrzeugs über den Fußgänger zu informieren.
Bevorzugt enthält die Fahrzeugumgebungs-Überwachungsvorrichtung eine Fußgängererkennungseinrichtung, die im von der Binärisiertes-Objekt-Extraktionseinrichtung extrahierten binärisierten Objekt einen Fußgänger erkennt.
In dieser Fahrzeugumgebungs-Überwachungsvorrichtung extrahiert die Binärisiertes-Objekt-Extraktionseinrichtung ein binärisiertes Objekt aus dem von der Infrarotbildaufnahmeeinrichtung erhaltenen Bild und die Fußgängererkennungseinrichtung erkennt einen Fußgänger aus dem extrahierten binärisierten Objekt. Die Extraktionsbereichsetzeinrichtung setzt dann den Bereich, der dem Oberende oder dem Unterende des binärisierten Objekts benachbart ist, das von der Fußgängererkennungseinrichtung als Fußgänger erkannt worden ist, als einen Extraktionsbereich. Wenn dann ein Objekt mit einer ähnlichen Form wie das Objekt in dem Extraktionsbereich, der durch die Extraktionsbereichsetzeinrichtung gesetzt ist, sich in dem Suchbereich befindet, der durch die Suchbereichsetzeinrichtung in dem Umgebung des Extraktionsbereichs gesetzt ist, extrahiert die Ähnliches-Objekt-Extraktionseinrichtung das Objekt in dem Suchbereich, das die ähnliche Form hat, als ähnliches Objekt. Da eine Bestimmung, ob das Objekt in dem Extraktionsbereich und das ähnliche Objekt in dem Suchbereich identisch sind oder nicht, durch die Identisches-Objekt-Bestimmungseinrichtung durchgeführt, können kontinuierliche Objekte mit derselben Form aus Objekten erkannt werden, die zuvor von der Fußgängererkennungseinrichtung als Fußgänger bestimmt worden sind, wenn das binärisierte Objekt oder ein Objekt in dem Extraktionsbereich in der aufwärtigen und der abwärtigen Richtung davon die ähnliche Form hat wie jene eines Objekts in einem Suchbereich.
Hierbei können kontinuierliche Objekte mit der gleichen Form von Objekten erkannt werden, die durch die Fußgängererkennungseinrichtung zuvor als Fußgänger bestimmt worden sind, wenn das binärisierte Objekt oder ein Objekt in dem Extraktionsbereich in der aufwärtigen und der abwärtigen Richtung davon die ähnliche Form wie ein Objekt in dem Suchbereich hat.
Da eine Serie von Objekten mit der gleichen Form nur ein Charakteristikum einer künstlichen Struktur ist, wird dementsprechend ein künstliches Objekt mit einer Serie von Objekten gleicher Form ausgeschlossen, selbst wenn ein binärisiertes Objekt mit einer unbestimmten Form, das aus einem Infrarotbild extrahiert worden ist, als Fußgänger erkannt worden ist. Somit kann eine Vorrichtung zur Überwachung eines Fahrzeugs realisiert werden, die einen Fußgänger aus Objekten in der Fahrzeugumgebung akkurat und leicht extrahieren kann.
Erfindungsgemäß ist es möglich, die Extraktionsgenauigkeit eines Fußgängers von Objekten in der Umgebung des Fahrzeugs zu verbessern.
Hier wird ein binärisiertes Objekt mit unbestimmter Form, das aus einem Infrarotbild extrahiert worden ist, genau identifiziert, und es kann eine Fahrzeugumgebungs-Überwachungsvorrichtung realisiert werden, die in der Lage ist, kontinuierliche künstliche Strukturen mit der gleichen Form in der vertikalen Richtung, z.B. Stromversorgungsmasten, aus Objekten in der Umgebung des Fahrzeugs zu extrahieren, und einen Fußgänger leicht und genau von restlichen Objekten zu unterscheiden.
Erfindungsgemäß können durch Vergleich entweder des rechten Extraktionsbereichs oder des linken Extraktionsbereichs mit dem Suchbereich, der diesem Extraktionsbereich entspricht, kontinuierliche Objekte, die die gleiche Form in entweder dem rechten Ende oder dem linken Ende haben, aus Objekten erkannt werden, die von der Fußgängererkennungseinrichtung zuvor als Fußgänger bestimmt worden sind, wenn das binärisierte Objekt in dem rechten Extraktionsbereich oder dem linken Extraktionsbereich und das binärisierte Objekt in dem Suchbereich entsprechend diesem Extraktionsbereich ähnlich sind.
Hierbei setzt die Suchbereichsetzeinrichtung eine Mehrzahl von Suchbereichen in der Umgebung des Extraktionsbereichs, und die Ahnliches-Objekt-Extraktionseinrichtung extrahiert ein ähnliches Objekt. Wenn das ähnliche Objekt aus dem vorbestimmten Verhältnis oder darüber der Mehrzahl von Suchbereichen extrahiert wird, bestimmt die Identisches-Objekt-Bestimmungseinrichtung, dass das Objekt in dem Extraktionsbereich und die Mehrzahl der ähnlichen Objekte, die um den Extraktionsbereich in dem Suchbereich herum gesetzt sind, dasselbe Objekt sind, selbst wenn ähnliche Objekte nicht in allen Suchbereichen vorhanden sind. Somit können kontinuierliche Objekte mit der gleichen Form aus Objekten erkannt werden, die von der Fußgängererkennungseinrichtung als Fußgänger bestimmt worden sind, wenn das Objekt in dem Extraktionsbereich und das Objekt in dem Suchbereich ähnliche Formen haben.
Erfindungsgemäß werden ein rechter Extraktionsbereich und ein linker Extraktionsbereich in den Positionen entsprechend dem rechten Ende und dem linken Ende des binärisierten Objekts als Extraktionsbereiche in einem Bereich gesetzt, die dem Oberende oder Unterende des binärisierten Objekts benachbart ist, das von der Fußgängererkennungseinrichtung als Fußgänger erkannt worden ist. Wenn dann ein Objekt mit einer ähnlichen Form wie das Objekt in dem Extraktionsbereich, der durch die Extraktionsbereichsetzeinrichtung gesetzt worden ist, in jedem Suchbereich entsprechend dem rechten Suchbereich und dem linken Suchbereich vorhanden ist, die durch Suchbereichsetzeinrichtung gesetzt sind, extrahiert die Ähnliches-Objekt-Extraktionseinrichtung das Objekt in dem Suchbereich mit der ähnlichen Form als ähnliches Objekt. Da auf diese Weise die Identisches-Objekt-Bestimmungseinrichtung bestimmt, ob ein Objekt in entweder dem rechten Extraktionsbereich oder dem linken Extraktionsbereich und das ähnliche Objekt in dem Suchbereich entsprechend diesem Extraktionsbereich identisch sind, können kontinuierliche Objekte, die die gleiche Form in entweder dem rechten Ende oder dem linken Ende aufweisen, von Objekten erkannt werden, die zuvor von der Fußgängererkennungseinrichtung als Fußgänger erkannt worden sind, wenn das Objekt in entweder der rechten Extraktionsrichtung oder der linken Extraktionsrichtung und das ähnliche Objekt in dem Suchbereich entsprechend diesem Extraktionsbereich ähnlich sind.
Hierbei können, durch Vergleich entweder des rechten Extraktionsbereichs oder des linken Extraktionsbereichs mit dem Suchbereich, der diesem Extraktionsbereich entspricht, kontinuierliche Objekte mit der gleichen Form entweder am rechten Ende oder linken Ende aus Objekten erkannt werden, die durch die Fußgängererkennungseinrichtung zuvor als Fußgänger bestimmt worden sind, wenn das binärisierte Objekt entweder im rechten Extraktionsbereich oder linken Extraktionsbereich und das binärisierte Objekt in dem Suchbereich entsprechend jenem Extraktionsbereich ähnlich sind.
Dementsprechend können kontinuierliche künstliche Strukturen mit der gleichen Form auch aus einem solchen Objekt ausgeschlossen werden, das sich nur in entweder der rechten Seite oder der linken Seite der von den Infrarotbildaufnahmeeinrichtungen aufgenommenen Bilder findet, und das von der Fußgängererkennungseinrichtung als Fußgänger bestimmt worden ist. Dementsprechend kann ein Fußgänger genau und leicht aus den restlichen Objekten extrahiert werden, und dementsprechend ist es möglich, die Genauigkeit der Extraktion eines Fußgängers von Objekten in der Umgebung des Fahrzeugs zu verbessern.
Erfindungsgemäß schließt die Warnungsausgabeeinrichtung einen Bereich aus, in dem sich das Objekt befindet, das durch die Identisches-Objekt-Bestimmungseinrichtung als das gleiche Objekt bestimmt worden ist und kein Fußgänger sein kann, und gibt für den Fußgänger eine Warnung aus, der sich in dem verbleibenden Bereich befindet, und gibt eine Warnung hinsichtlich der verbleibenden Fußgänger aus. Somit ist es möglich, den Fahrer des Fahrzeugs nur auf das Vorhandensein des Fußgängers in der Fahrzeugumgebung aufmerksam zu machen.
Hierdurch können kontinuierliche Objekte mit der gleichen Form ausgeschlossen werden, und es ist möglich, den Fahrer des Fahrzeugs nur über das Vorhandensein des Fußgängers in der Umgebung des Fahrzeugs zu informieren.
Dementsprechend kann eine unnötige Ausgabe der Warnung zu kontinuierlichen künstlichen Strukturen mit der gleichen Form verhindert werden, und an den Fahrer des Fahrzeugs wird eine Warnung nur hinsichtlich des Fußgängers ausgegeben.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispielen in Bezug auf die beigefügten Zeichnungen beschrieben.
1 ist ein Blockdiagramm einer Konfiguration einer Fahrzeugumgebungs-Überwachungsvorrichtung gemäß einer Ausführung;
2 zeigt schematisch Positionen einer Infrarotstrahlenkamera, eines Sensors, einer Anzeige etc., die an einem Fahrzeug installiert sind, gemäß der Ausführung;
3 ist ein Flussdiagramm einer Objekterfassung und einer Alarmoperation der Fahrzeugumgebungs-Überwachungsvorrichtung gemäß der Ausführung;
4A und 4B zeigen schematisch ein Grauwertbild, das mittels einer Infrarotkamera erhalten ist, bzw. ein binärisiertes Bild davon;
5 ist ein Flussdiagramm einer Alarmbestimmungsoperation gemäß der Ausführung;
6 zeigt schematisch Bereiche, in denen eine Kollision mit dem Fahrzeug auftreten könnte;
7 zeigt schematisch Bereiche und Abschnitte vor einem Fahrzeug gemäß der Ausführung;
8 ist ein Flussdiagramm des Künstliche-Struktur-Bestimmungsvorgang gemäß der vorliegenden Erfindung;
9 ist ein Schema einer Binärisierungsbereich-Aufwärtssuche des Künstliche-Struktur-Bestimmungsprozesses;
10 ist ein Schema der Binärisierungsbereich-Aufwärtssuche des Künstliche-Struktur-Bestimmungsprozesses;
11 ist ein Schema einer Binärisierungsbereich-Abwärtssuche des Künstliche-Struktur-Bestimmungsprozesess;
12 ist ein Schema der Binärisierungsbereich-Abwärtssuche des Künstliche-Struktur-Bestimmungsprozesses;
13 ist ein Schema einer Binärisierungsbereich-Obenlinkssuche des Künstliche-Struktur-Bestimmungsprozesses;
14 ist ein Schema der Binärisierungsbereich-Obenlinkssuche des Künstliche-Struktur-Bestimmungsprozesses;
15 ist ein Schema einer Binärisierungsbereich-Linksabwärtssuche des Künstliche-Struktur-Bestimmungsprozesses;
16 ist ein Schema der Binärisierungsbereich-Linksabwärtssuche des Künstliche-Struktur-Bestimmungsprozesses; und
17 ist ein Bild eines Beispiels einer künstlichen Struktur, die von der Fahrzeugumgebungs-Überwachungsvorrichtung gemäß der Ausführung der Erfindung erkannt worden ist.
Gesamtkonfiguration
1 ist ein Blockdiagramm einer Konfiguration einer Vorrichtung zur Überrwachung eines Fahrzeugs gemäß einer Ausführung der Erfindung.
In 1 bezeichnet die Bezugszahl 1 eine Bildverarbeitungseinheit mit einer zentralen Prozessoreinrichtung (CPU), die Fahrzeugumgebungs-Überwachungsvorrichtung gemäß der Ausführung steuert/regelt. Mit der Bildverarbeitungseinheit 1 sind verbunden: zwei Infrarotkameras 2R und 2L, die ferne Infrarotstrahlungen erkennen können, ein Gierratensensor 3, der die Gierrate des Fahrzeugs erfasst, ein Fahrzeuggeschwindigkeitssensor 4, der den Fahrzustand (die Fahrgeschwindigkeit) des Fahrzeugs erfasst, sowie einen Bremssensor 15 zum Erfassen der Bremsbetätigung. In dieser Ausführung erfasst die Bildverarbeitungseinheit 1 bewegende Objekte, wie etwa Fußgänger oder Tiere, vor dem Fahrzeug auf der Basis eines Infrarotbilds der Umgebung des Fahrzeugs und Signalen, die den Fahrzustand des Fahrzeugs angeben, und gibt einen Alarm aus, wenn bestimmt wird, dass die Kollisionsmöglichkeit hoch ist.
Auch sind mit der Bildverarbeitungseinheit 1 verbunden: ein Lautsprecher 6 zum Erzeugen eines Alarmtons, sowie ein Bildanzeigevorrichtung 7, die die von den Infrarotkameras 2R, 2L aufgenommenen Bilder anzeigt und den Fahrer des Fahrzeugs Objekte erkennen lässt, auf die das Fahrzeug auftreffen könnte. Die Bildanzeigevorrichtung 7 kann z.B. eine Anzeige enthalten, die mit einem Tacho verbunden ist, der den Fahrzustand des Fahrzeugs in numerischen Werten darstellt, einer Navigationsanzeige, die an der Konsole des Fahrzeugs vorgesehen ist und/oder einem Headup-Display (HUD) 7a, das Information an einer Position in der Frontscheibe dort anzeigt, wo die Sicht des Fahrers damit nicht beeinträchtigt wird.
Darüber hinaus kann die Bildverarbeitungseinheit 1 ferner enthalten: eine A/D-Wandlerschaltung, die analoge Eingangssignale in digitale Signale umwandelt, einen Bildspeicher, der digitalisierte Bildsignale speichert, eine zentrale Prozessoreinrichtung (CPU), die verschiedene Operationen durchführt, einen Direktzugriffspeicher (RAM), der zum Speichern von Daten benutzt wird, die von der CPU verarbeitet werden, einen Festwertspeicher (ROM), der Programme, Tabelle, Kennfelder etc. speichert, die von der CPU benutzt werden, sowie Ausgabeschaltungen, durch die Treibersignale für einen Lautsprecher 6, Anzeigesignale für das HUD 7a etc. ausgegeben werden. Dementsprechend werden Signale, die jeweils von den Infrarotkameras 2R, 2L, dem Gierratensensor 3, dem Fahrzeuggeschwindigkeitssensor 4 und dem Bremssensor geschickt werden, in digitale Signale umgewandelt und in die CPU eingegeben.
Wie in 2 gezeigt, sind die Infrarotkameras 2R, 2L hier an der Vorderseite des Fahrzeugs 10 an symmetrischen Positionen in Bezug auf die Mitte des Fahrzeugs 10 in der Breitenrichtung angeordnet, sodass die optischen Achsen der Infrarotkameras 2R, 2L zueinander parallel werden und die Höhen der Kameras 2R, 2L von der Straßenoberfläche gleich werden. Übrigens hat jede der Infrarotkameras 2R, 2L hier eine solche Eigenschaft, dass der Pegel des Ausgangssignals höher wird (d.h. die Luminanz nimmt zu), wenn die Temperatur eines Objekts zunimmt.
Darüber hinaus ist die Anzeigetafel des HUD 7a an einer Position der Windschutzscheibe des Fahrzeugs 10 dort angeordnet, wo sich die Sicht des Fahrers nicht mit der Anzeigetafel stört.
Nachfolgend wird der Betrieb der Fahrzeugumgebungs-Überwachungsvorrichtung gemäß der Ausführung der Erfindung in Bezug auf die beigefügten Zeichnungen erläutert.
Objekterfassung und Warnoperation
3 ist ein Flussdiagramm von Operationen zum Erfassen eines Objekts, wie etwa eines Fußgängers, und zum Erzeugen eines Alarms, die in der Bildverarbeitungseinheit 1 der Fahrzeugumgebungs-Überwachungsvorrichtung gemäß der Ausführung der Erfindung durchgeführt werden.
In 3 erhält zuerst die Bildverarbeitungseinheit 1 ein Infrarotbild (Schritt S1), das sind Ausgangssignale von den Infrarotkameras 2R und 2L, unterzieht die Signale einem A/D-Wandlungsprozess (Schritt S2) und speichert das erhaltene Grauwertbild in einem Bildspeicher (Schritt S3). Übrigens wird in dieser Ausführung das rechte Bild von der Infrarotkamera 2R erhalten, und das linke Bild wird von der Infrarotkamera 2L erhalten. Da auch die horizontalen Positionen des gleichen Objekts in dem rechten Bild und im linken Bild zueinander verschoben sind, wenn die Bilder erhalten werden, ist es möglich, den Abstand zu dem Objekt auf der Basis der Verschiebung (Parallaxe) zu berechnen.
Nachdem das Grauwertbild in Schritt S3 erhalten ist, wird das von der Infrarotkamera 2R erhaltene rechte Bild als Referenzbild benutzt, und die Bildsignale davon werden einem Binärisierungsprozess unterzogen, d.h. einem Prozess, in dem eine Fläche, deren Luminanz höher ist als ein Schwellenwert ITH, auf "1" (weiß) gesetzt wird, und eine Fläche, deren Luminanz geringer ist als der Schwellenwert ITH, auf "0" (schwarz) gesetzt wird (Schritt S4).
4 zeigt ein mit der Infrarotkamera 2R erhaltenes Grauwertbild, und das in 4B gezeigte Bild erhält man, indem das in 4A gezeigte Grauwertbild dem Binärisierungsprozess unterzogen wird. Übrigens sind in 4B solche Objekte, die in jedem der Rahmen P1 bis P4 angegeben sind, solche Objekte (nachfolgend auch als "Hochluminanzflächen" bezeichnet), die in dem dargestellten Bild weiß gezeigt werden.
Nachdem binärisierte Bilddaten aus dem Infrarotbild erhalten sind, wird ein Prozess durchgeführt, in dem die erhaltenen Bilddaten in Lauflängendaten umgewandelt werden (Schritt S5). Linien, die durch die Lauflängendaten ausgedrückt werden, sind aus Flächen in Pixelebene aufgebaut, die in dem Binärisierungsprozess als weiß bestimmt worden sind. Jede der Linien hat eine Breite eines Pixels in der Y-Richtung und eine Länge entsprechend der Länge eines Pixels, das die Lauflängendaten in der X-Richtung bildet.
Dann werden Objekte in Bilddaten, die in die Lauflängendaten umgewandelt sind, gekennzeichnet (Schritt S6), sodass ein Extraktionsprozess für die Objekte ausgeführt werden kann (Schritt S7). D.h. von den als Lauflängendaten ausgedrückten Linien kann, wenn man eine Linie mit einem in der Y-Richtung überlagerten Abschnitt als einziges Objekt betrachtet, jede der Hochluminanzflächen P1 bis P4, wie z.B. in 4B gezeigt, als ein Objekt (binärisiertes Objekt) erkannt werden.
Nachdem die Extraktion der Objekte abgeschlossen ist, werden der (Flächen-) Schwerpunkt G, die Oberflächenausdehnung S und das Aspektverhältnis ASPECT (Verhältnis von Länge zu Breite) des Umrissrechtecks berechnet (Schritt S8).
In dieser Ausführung wird die Oberflächenausdehnung S berechnet, indem die Lauflängendaten einer Objektkennung A als (x [i], y [i], run [i], A) (i = 0, 1, 2, ... N–1) angenommen werden, und indem die Längen der Lauflängendaten (run [i]–1) für dasselbe Objekt (Daten von N Lauflängen) akkumuliert werden. Auch werden die Koordinaten (xc, yc) des Schwerpunkts G des Objekts A berechnet, indem die Länge der jeweiligen Lauflängendaten (run [i] –1) mit der Koordinate x [i] oder y [i] der jeweiligen Lauflängendaten multipliziert wird und ferner der resultierende Wert für das gleiche Objekt miteinander multipliziert wird und der erhaltene Wert durch die Oberflächenausdehnung S dividiert wird.
Darüber hinaus wird das Aspektverhältnis ASPECT berechnet als das Verhältnis von Dy/Dx, wobei Dy der Länge des Umrissrechtecks für das Objekt in der Längsrichtung ist und Dx die Länge des Umrissrechtecks für dasselbe Objekt in der Querrichtung ist.
Da übrigens die Lauflängendaten als Pixelzahl ausgedrückt werden (Koordinatenzahl) (= run [i]), ist es notwendig, eins zu subtrahieren, um die tatsächliche Länge zu erhalten (= run [i] –1). Auch ist es möglich, die Position des Schwerpunkts des Umrissrechtecks durch die Position des Schwerpunkts G zu ersetzen.
Nachdem der Schwerpunkt, die Oberflächenausdehnung und das Aspektverhältnis des Umrissrechtecks des binärisierten Objekts berechnet sind, wird ein Prozess zum Verfolgen des Objekts über die Zeit, d.h. ein Prozess, in dem dasselbe Objekt in jeder Abtastperiode erkannt wird, ausgeführt (Schritt S9). In dem Verfolgungsprozess über die Zeit werden Objekte A und B zur Zeit "k", die durch Diskretisierung der Zeit "t" erhalten wird, als analoger Wert extrahiert, und z.B. unter Verwendung der Abtastdauer, und es wird bestimmt, dass die Objekte C und D, die zur Zeit (k+1) extrahiert werden, jeweils die gleichen Objekte sind wie die Objekte A und B. Wenn dann bestimmt wird, dass die Objekte A und B und die Objekte C und D die gleichen Objekte sind, werden die Kennungen der Objekte C und D jeweils auf die Kennungen A und B geändert, um den Verfolgungsprozess über die Zeit auszuführen.
Auch werden die Positionskoordinaten jedes der so erkannten Objekte (von deren Schwerpunkten) in dem Speicher als Zeitserien-Positionsdaten gespeichert und für den nachfolgenden Operationsprozess verwendet.
Übrigens werden die Prozesse in den Schritten S4 bis S9, wie oben erläutert, für das binärisierte Referenzbild (in dieser Ausführung das rechte Bild) ausgeführt.
Dann werden die von dem Fahrgeschwindigkeitssensor 4 erfasste Fahrzeuggeschwindigkeit VCAR und die von dem Gierratensensor 3 erfasste Gierrate YR eingelesen, und der Schwenkwinkel θr des Fahrzeugs 10 wird berechnet, indem die Gierrate YR einer zeitlichen Integration unterzogen wird (Schritt S10).
Andererseits wird, gleichzeitig mit dem Prozess der Schritte S9 und S10, ein Prozess zur Berechnung des Abstands "z" zwischen dem Objekt und dem Fahrzeug 10 (Schritte S11 bis S13) ausgeführt. Da dieser Prozess zur Berechnung des Abstands "z" eine längere Zeitdauer braucht als die Zeit in den Schritten S9 und S10, wird dieser mit einer längeren Zeit ausgeführt als die Schritte S9 und S10 (z.B. etwa dreimal länger als die Zeit zur Ausführung der Schritte S1 bis S10).
Zuerst wird eines der Objekte, die mittels des binärisierten Bilds des Referenzbilds (des rechten Bilds) verfolgt werden, ausgewählt, um aus dem rechten Bild (Schritt S11) ein Suchbild R1 zu extrahieren (in dieser Ausführung wird die von dem Umrissrechteck umgebene Gesamtfläche als Suchbild bezeichnet, und das Umrissrechteck des Suchbilds wird als "Zielrahmen" bezeichnet).
Dann wird ein Suchbereich, aus dem ein Bild entsprechend dem Suchbild R1 (nachfolgend auch als "entsprechendes Bild" bezeichnet) gesucht wird, in dem linken Bild gesetzt, und das entsprechende Bild wird durch eine Korrelationsoperation extrahiert (Schritt S12). Insbesondere wird ein Suchbereich R2 in dem linken Bild entsprechend jeder Scheitelkoordinate des Suchbilds R1 gesetzt, und ein Luminanzdifferenzsummenwert C (a, b), der den Korrelationsgrad mit dem Suchbild R1 in dem Suchbereich R2 angibt, wird berechnet. Die Fläche, an der der Summenwert C (a, b) minimal ist, wird als entsprechendes Bild extrahiert. Übrigens wird die Korrelationsoperation unter Verwendung des Grauwertbilds, aber nicht des binärisierten Bilds durchgeführt. Auch wenn es vorherige Positionsdaten für dasselbe Objekt gibt, wird eine Fläche R2a, die näher ist als der Suchbereich R2, auf der Basis der vorherigen Positionsdaten als Suchbereich gesetzt.
Da das Suchbild R1 und das entsprechende Bild R4, das diesem Objekt entspricht, in dem Referenzbild (dem rechten Bild) und dem linken Bild jeweils in Schritt S12 extrahiert werden, wird die Position des Schwerpunkts des Suchbilds R1 und jene des entsprechenden Bilds R4 sowie die Parallaxe Δd (Pixelzahl) bestimmt, und der Abstand "z" zwischen dem Fahrzeug 10 und dem Objekt kann unter Verwendung dieser Parameter berechnet werden (in Schritt S13).
Nachdem dann die Berechnung des Schwenkwinkels θr in Schritt S10 und die Berechnung des Abstands "z" zwischen dem Objekt in Schritt S13 abgeschlossen sind, wird ein Schwenkwinkelkorrekturprozess zur Korrektur der Positionsverschiebung im Bild aufgrund des Verschwenkens des Fahrzeugs 10 ausgeführt (in Schritt S14). D.h., wenn (der Vorderteil des) Fahrzeugs 10 in Richtung nach links mit einem Winkel θr von der Zeit k bis (k + 1) dreht, verschiebt sich der durch die Kameras erhaltene Bildbereich in der X-Richtung um Δx, und diese Verschiebung wird durch den Schwenkwinkelkorrekturprozess korrigiert.
Nachdem die Schwenkwinkelkorrektur für die Echtraumkoordinate abgeschlossen ist, werden die Koordinate (x, y) in dem Bild und der Abstand "z" in die Koordinate (X, Y, Z) des realen Raums umgewandelt (Schritt S15).
In dieser Ausführung ist die Koordinate (X, Y, Z) des realen Raums so definiert, wie in 2 gezeigt, wobei der Ursprung O der Mittel zwischen den Installationspositionen der Infrarotkameras 2R und 2L entspricht (der am Fahrzeug 10 festen Position). Übrigens wird in der folgenden Beschreibung die Koordinate nach dem Schwenkwinkelkorrekturprozess ausgedrückt als "X, Y, Z".
Nachdem die Schwenkwinkelkorrektur für die Echtraumkoordinate abgeschlossen ist, wird eine gerade Annäherungslinie LMV, die einem Vektor der relativen Bewegung zwischen dem Objekt und dem Fahrzeug 10 entspricht, aus N Sätzen aus Echtraumpositionsdaten (z.B. N = etwa 10) erhalten, die dem Schwenkwinkelkorrekturprozess unterzogen sind, und die innerhalb der Überwachungsdauer von ΔT für dasselbe Objekt erhalten sind, d.h. den Zeitseriendaten.
Dann werden die letzte Positionskoordinate P(0) = (X(0), Y(0), Z(0)) und die Positionskoordinate P(N–1) = (X(N–1), Y(N–1), Z(N–1)) vor der (N–1)ten Abtastung (d.h. vor der Zeit ΔT) korrigiert, sodass sie auf den Positionen der geraden Annäherungslinie LMV liegen, und die Positionskoordinaten nach der Korrektur Pv(0) = (Xv(0), Yv(0), Zv(0)) und PV)N–1) = (Xv(N–1), Yv(N–1), Zv(N–1)) werden erhalten.
Auf diese Weise kann der relative Bewegungsvektor als ein Vektor erhalten werden, der von der Positionskoordinate Pv(N–1) zu Pv(0) weist (in Schritt S16).
Wie oben erläutert, wird es gemäß der Ausführung der Erfindung möglich, die Kollisionsmöglichkeit des Fahrzeugs mit einem Objekt genauer abzuschätzen, mit einem verringernden Fehlergrad in der Positionserfassung durch Berechnung der geraden Annäherungslinie, die zum Annähern einer relativen Bewegungsortskurve des Objekts in Bezug auf das Fahrzeug 10 verwendet wird, beruhend auf mehreren Sätzen (N) von Daten, die aus der Überwachungsperiode ΔT herausgenommen sind.
Nachdem in Schritt S16 der Relativbewegungsvektor erhalten ist, wird ein Alarmbestimmungsprozess ausgeführt, in dem die Möglichkeit der Kollision gegen das erfasste Objekt bestimmt wird (in Schritt S17). Der Alarmbestimmungsprozess wird im Detail später beschrieben.
Wenn in Schritt S17 bestimmt wird, dass keine Kollisionsmöglichkeit des Fahrzeugs 10 gegen das erfasste Objekt besteht (d.h. NEIN in Schritt S17), kehrt der Prozess zu Schritt S1 zurück, um die oben beschriebenen Prozesse zu wiederholen.
Auch wenn bestimmt wird, dass eine Kollisionsmöglichkeit des Fahrzeugs 10 mit dem erfassten Objekt besteht (d.h. JA in Schritt S17), geht der Prozess zu einem Alarmausgabebestimmungsprozess in Schritt S18 weiter.
In Schritt S18 wird bestimmt, ob der Alarmausgabebestimmungsprozess ausgeführt werden sollte, d.h. ob die Alarmausgabe durchgeführt werden sollte, durch Bestimmung, ob der Fahrer des Fahrzeugs 10 die Bremse betätigt, auf der Basis der Ausgabe BR von dem Bremssensor 5 (in Schritt S18).
Wenn der Fahrer des Fahrzeugs 10 die Bremse betätigt, wird die durch die Bremsbetätigung erzeugte Beschleunigung Gs (die Verzögerungsrichtung davon wird als positiv angesehen) errechnet. Wenn die Beschleunigung Gs größer ist als ein vorbestimmter Schwellenwert GTH, wird bestimmt, dass die Kollision durch Betätigung der Bremse vermieden wird, und der Alarmausgabebestimmungsprozess wird beendet (d.h. NEIN in Schritt S18). Dann kehrt de Prozess zu Schritt S1 zurück, um die oben erläuterten Prozesse zu wiederholen.
Auf diese Weise wird kein Alarm erzeugt, wenn eine geeignete Bremsbetätigung durchgeführt wird, und daher wird es möglich eine Belästung des Fahrers zu vermeiden.
Auch wenn die Beschleunigung Gs gleich oder geringer als der vorbestimmte Schwellenwert ist, oder wenn der Fahrer des Fahrzeugs 10 die Bremse nicht betätigt (d.h. JA in Schritt S18), geht der Prozess unmittelbar zu Schritt S19 weiter und es ertönt ein Alarm für den Fahrer, z.B. durch den Lautsprecher 6, dass die Kollisionsmöglichkeit mit dem Objekt hoch ist. Ferner wird z.B. das von der Infrarotkamera 2R erhatlene Bild an die Bildanzeigevorrichtung 7 ausgegeben, sodass das sich annähernde Objekt dem Fahrer des Fahrzeugs 10 als verbessertes Bild angezeigt werden kann (in Schritt S20).
Übrigens ist der vorbestimmte Schwellenwert GTH ein Wert, der an die Bedingungen angepasst ist, dass das Fahrzeug 10 innerhalb des Fahrabstands stoppt, der kürzer ist als der Abstand Zv(0) zwischen dem Objekt und dem Fahrzeug 10, wenn die Beschleunigung Gs während der Bremsbetätigung so bleibt wie sie ist.
Warnbestimmungsprozess
Als Nächstes wird der Alarmbestimmungsprozess in Schritt S17 des in 3 gezeigten Flussdiagramms im Detail in Bezug auf das in 5 gezeigte Flussdiagramm beschrieben.
5 ist ein Flussdiagramm des Betriebs des Alarmbestimmungsprozesses gemäß der Ausführung der Erfindung.
Der Alarmbestimmungsprozess ist ein Prozess, in dem die Kollisionsmöglichkeit des Fahrzeugs 10 mit einem erfassten Objekt auf der Basis des folgenden Kollisionsbestimmungsprozesses, des Prozesses zur Bestimmung, ob sich ein Objekt innerhalb einer Annäherungsbestimmungsfläche befindet, eines Eintrittskollisionsbestimmungsprozesses, eines Fußgängerbestimmungsprozesses und eines Künstliche-Struktur-Bestimmungsprozesses bestimmt wird. Dies wird anhand eines Beispiels erläutert, in dem sich ein Objekt 20 mit einer Geschwindigkeit Vp bei einem Winkel von angenähert 90° in bezug auf die Fahrtrichtung des Fahrzeugs 10 voranbewegt, wie in 6 gezeigt.
Im in 5 gezeigten Flussdiagramm führt die Bildverarbeitungseinheit 1 zuerst den Kollisionsbestimmungsprozess aus (in Schritt S31). Der Kollisionsbestimmungsprozess ist ein Prozess, in dem, wenn sich innerhalb der Zeit ΔT das Objekt 20 dem Fahrzeug 10 aus dem Abstand Zv(N–1) zu dem Abstand Zv(0) annähert, wie in 6 gezeigt, die Relativgeschwindigkeit Vs in Bezug auf das Fahrzeug 10 in der Z-Richtung erhalten wird, und bestimmt wird, ob das Objekt von dem Fahrzeug 10 innerhalb einer Toleranzzeit T getroffen wird, unter der Annahme, dass das Objekt 20 und das Fahrzeug 10 sich weiterbewegen, während die Relativgeschwindigkeit Vs innerhalb des Höhenbereichs H beibehalten wird. Hier ist die Toleranzzeit T so, dass die Bestimmung der Kollisionsmöglichkeit vor der geschätzten Kollisionszeit, mit dem Spielraum der Zeit T, durchgeführt werden kann. Dementsprechend wird die Toleranzzeit T z.B. auf etwa 2 bis 5 Sekunden gelegt.
Wenn dann in Schritt S31 eine Kollisionsmöglichkeit zwischen dem Fahrzeug 10 und dem Objekt innerhalb der Toleranzzeit T vorliegt (d.h. JA in Schritt S31), führt die Bildverarbeitungseinheit 1 den Prozess aus, in dem bestimmt wird, ob sich das Objekt in einem Annäherungsbestimmungsbereich befindet (in Schritt S32), um die Zuverlässigkeit der Bestimmung weiter zu verbessern. Der Prozess zur Bestimmung, ob sich das Objekt in einem Annäherungsbestimmungsbereich befindet, ist ein Prozess, in dem bestimmt wird, ob sich das Objekt in einem in 7 gezeigten Annäherungsbestimmungsbereich AR1 befindet, wo die Kollisionsmöglichkeit gegen das Fahrzeug 10 extrem hoch ist, wenn das Objekt dort verbleibt. Wie in 7 gezeigt, ist der Annäherungsbestimmungsbereich AR1 als ein Bereich bzw. eine Fläche innerhalb der Dreiecksfläche AR0 definiert, die durch die dicke durchgehende Linie angegeben ist, die eine Fläche zeigt, die mittels der Infrarotkameras 2R und 2L überwacht werden kann und die dem Fahrzeug 10 in Bezug auf die Linie Z1 = Vs × T näher ist. Der Annäherungsbestimmungsbereich AR1 entspricht einer Fläche mit einer Breite von α + 2β, wobei α die Breite des Fahrzeugs 10 ist und β ein Spielraum ist (z.B. etwa 50 bis 100 cm), der zu beiden Seiten der Breite α des Fahrzeugs 10 hinzugefügt ist, wie in 7 gezeigt. Übrigens hat auch der Annäherungsbestimmungsbereich AR1 die vorbestimmte Höhe H.
Wenn in Schritt S32 bestimmt wird, dass sich in dem Annäherungsbestimmungsbereich AR1 kein Objekt befindet (d.h. NEIN in Schritt S32), führt die Bildverarbeitungseinheit 1 den Eintrittskollisionsbestimmungsprozess aus, in dem bestimmt wird, ob die Möglichkeit besteht oder nicht, dass ein Objekt in den Annäherungsbestimmungsbereich AR1 eintritt und von dem Fahrzeug 10 getroffen werden kann (in Schritt S33). Wie in 7 gezeigt, haben die Eintrittsbestimmungsbereiche AR2 und AR3 größere Absolutwerte der X-Koordinate als jene des Annäherungsbestimmungsbereichs AR, und der Eintrittskollisionsbestimmungsprozess ist ein Prozess, in dem bestimmt wird, ob sich ein in dem Bereich AR2 oder AR3 befindliches Objekt bewegen und in den Annäherungsbestimmungsbereich AR1 eintreten könnte und von dem Fahrzeug 10 getroffen werden könnte.
Wenn sich andererseits in Schritt S32 ein Objekt in dem Annäherungsbestimmungsbereich befindet (d.h. JA in Schritt S32), führt die Bildverarbeitungseinheit 1 den Fußgängerbestimmungsprozess aus, worin bestimmt, ob eine Möglichkeit besteht, dass das Objekt ein Fußgänger ist (in Schritt S34). Der Fußgängerbestimmungsprozess führt eine Formidentifikation auf der Basis des Vorhandenseins eines Objekts durch, das eine Höhe hat, die der Größe eines Menschen in dem Objektbild entspricht, eine Formidentifikation auf der Basis des Vorhandenseins des Kopfs und des Torso oder eine Formidentifikation auf der Basis nur des Kopfs oder dgl. Wenn irgendeine der körperlichen Eigenschaften, die für einen Fußgänger bestimmend sind, in dem Objektbild erfasst wird, wird das Objekt als der Fußgänger bestimmt, und das Objekt wird als Objekt betrachtet, das die Ausgabe eines Alarms erfordern könnte.
Wenn ferner bestimmt wird, dass das Objekt ein Fußgänger sein kann (JA in Schritt S34), wird, um die Zuverlässigkeit der Bestimmung in Schritt S34 weiter zu verbessern, der Künstliche-Struktur-Bestimmungsprozess ausgeführt, um zu bestimmen, ob das Objekt eine künstliche Struktur ist oder nicht (Schritt S35), um in dem Graustufenbild aus dem als möglicher Fußgänger bestimmten Objekt künstliche Strukturen mit Formen auszuschließen, die jenen eines Fußgängers ähnlich sind, wie etwa Stromversorgungsmasten, Stromverteilerkästen und ähnliche säulenförmige öffentliche Einrichtungen. Der Künstliche-Struktur-Bestimmungsprozess wird später beschrieben.
Wenn dementsprechend im oben erwähnten Schritt S33 die Möglichkeit besteht, dass ein Objekt in den Annäherungsbestimmungsbereich eintritt und mit dem Fahrzeug 10 kollidiert (d.h. JA in Schritt S33), und wenn das Objekt, das als möglicher Fußgänger bestimmt ist, in Schritt S35 keine künstliche Struktur ist (d.h. NEIN in Schritt S35), bestimmt die Bildverarbeitungseinheit 1 in Schritt S36, dass eine Kollisionsmöglichkeit zwischen dem Fahrzeug 10 und dem erfassten Objekt besteht (d.h. das Objekt wird als ein Objekt betrachtet, für das ein Alarm ausgegeben werden muss), und der Prozess geht zu Schritt S18 weiter (über JA in Schritt S17), um den Alarmausgabebestimmungsprozess auszuführen (in Schritt S18).
Wenn andererseits in dem oben erwähnten Schritt S31 bestimmt wird, dass keine Kollisionsmöglichkeit zwischen dem Fahrzeug 10 und dem Objekt innerhalb der Toleranzzeit T besteht (d.h. NEIN in Schritt S31), oder wenn in Schritt S33 keine Möglichkeit besteht, dass das Objekt in den Annäherungsbestimmungsbereich eintritt und mit dem Fahrzeug 10 kollidiert (d.h. NEIN in Schritt S33), oder wenn in Schritt S34 bestimmt wird, dass keine Möglichkeit besteht, dass das Objekt ein Fußgänger ist (d.h. NEIN in Schritt S34), oder wenn das Objekt, das in Schritt S35 als möglicher Fußgänger bestimmt ist, eine künstliche Struktur ist (d.h. JA in Schritt S35), dann bestimmt die Bildverarbeitungseinheit in Schritt S37, dass keine Kollisionsmöglichkeit zwischen dem Fahrzeug 10 und dem Objekt besteht (d.h. dass das Objekt kein Objekt ist, das die Ausgabe eines Alarms erfordert), und der Prozess kehrt über NEIN in Schritt S17 zu Schritt S1 zurück, wie in 3 gezeigt. Auf diese Weise wird der Vorgang zum Erfassen von Objekten, wie etwa eines Fußgängers, und die Alarmausgabe wiederholt.
Künstliche-Struktur-Bestimmungsprozess
Als Nächstes wird der Künstliche-Struktur-Bestimmungsprozess von Schritt S35 im in 5 gezeigten Flussdiagramm im weiteren Detail in Bezug auf ein in 8 gezeigtes Flussdiagramm und die in den 9 bis 16 gezeigten schematischen Diagrammen erläutert.
8 ist ein Flussdiagramm der Künstliche-Struktur-Bestimmungsoperation gemäß der vorliegenden Erfindung. In 8 führt die Bildverarbeitungseinheit 1 eine Aufwärtssuche aus, worin bestimmt wird, ob kontinuierliche oder durchgehende Flächen vorhanden sind oder nicht, die die gleiche Form und den gleichen Abstand in der Aufwärtsrichtung des betreffenden binären Objekts haben.
Aufwärtssuche 1
Die Aufwärtssuche wird im Detail in Bezug auf 9 erläutert, die eine Aufwärtssuche des Binärisierungsbereichs zeigt. Wie in 9 gezeigt, setzt die Bildverarbeitungseinheit 1 eine Referenzmustermaske 101 über das Oberende des binärisierten Objekts 100, das aus dem Referenzbild (dem rechten Bild) extrahiert ist. Die Referenzmustermaske 101 hat einen oberen linken Ausgangspunkt mit einer Koordinate (xP1, yP1), eine Breite von dxP uund eine Höhe dyP. Angemerkt werden sollte, dass der Grund dafür, warum die Referenzmustermaske 101 über das Oberende des extrahierten binärisierten Objekts 100 gesetzt wird, ist, dass ein Objekt, welches Wärme erzeugt, wie etwa ein an einem Stromverteilerkasten oder dgl. vorgesehene Schaltplatine, leicht als das binäre Objekt 100 extrahiert wird, obwohl es der Stromverteilerkasten in der Umgebung eines Objekts ist, das mittels der Referenzmustermaske 101 extrahiert werden soll.
Als Nächstes setzt die Bildverarbeitungseinheit 1 eine Vergleichsmustermaske 102 in einen Bereich entsprechend der Referenzmustermaske 101 in dem zu vergleichenden Bild (im linken Bild), und die Vergleichsmustermaske 102 hat einen oberen linken Ausgangspunkt mit einer Koordinate (xA1, yP1), eine Breite von dxP und eine Höhe von dyP. Die Bildverarbeitungseinheit 1 setzt ferner zwei Vergleichsmustermasken 103 und 104 mit einer X-Achsenkoordinate xA1, einer Breite von dxP und einer Höhe von dyP, die sich an die Vergleichsmustermasken 102 und 103 jeweils anschließen, in dem Bereich, der entsprechend oberhalb der Referenzmustermaske 101 liegt. Hier sind dxP, dyP, xP1, yP1 und xA1 jeweils durch die folgenden Formeln (1) bis (6) definiert. Darüber hinaus wird angenommen, dass die Höhe der Mustermaske in der folgenden Formel (2) z.B. 20 cm beträgt. dxP = Breite des Umrissrechtecks des binärisierten Objekts + 4 (Pixel) (1) dyP = (Brennweite × Höhe der Mustermaske)/binärisierter Objektabstand (Pixel) (2) xP1 = Horizontalachsen-Koordinate der oberen linken Ecke des Umrissrechtecks des binärisierten Objekts + die Breite des Umrissrechtecks des binärisierten Objekts/2 – dxP/2 (Pixel) (3) yP1 = Längsachsenkoordinate der oberen linken Ecke des Umrissrechtecks des binärisierten Objekts – 2 – dyP (Pixel) (4) Binärisiertes-Objekt-Parallaxe = (Grundlinienlänge × Brennweite)/binärisierter Objektabstand (Pixel) (5) xA1 = xP1 + Binärisiertes-Objekt-Parallaxe (Pixel) (6)
Um ferner den Korrelationsgrad zwischen der Referenzmustermaske 101 und den drei Vergleichsmustermasken 102, 103 und 104 zu bestimmen, berechnet die Bildverarbeitungseinheit 1 die durchschnittlichen Korrelationsrestwert MAD1, MAD2 und MAD3 der Summen der Absolutdifferenzen (SAD) zwischen der Referenzmustermaske 101 und jeder der drei Vergleichsmustermasken 102, 103 und 104. Hier ist MAD1 der durchschnittliche Korrelationsrestwert zwischen der Referenzmustermaske 101 und der Vergleichsmustermaske 102, MAD2 ist der durchschnittliche Korrelationsrestwert zwischen der Referenzmustermaske 101 und der Vergleichsmustermaske 103, und MAD3 ist der durchschnittliche Korrelationsrestwert zwischen der Referenzmustermaske 101 und der Vergleichsmustermaske 104.
Dann bestimmt die Bildverarbeitungseinheit 1 die durchschnittlichen Korrelationsrestwerte MAD1, MAD2 und MAD3 und bestimmt, ob die Beziehung zwischen den durchschnittlichen Korrelationsrestwerten MAD1, MAD2 und MAD3 der folgenden Formel (7) genügt oder nicht. Anzumerken ist, dass in der Formel (7) MAD_MAX1 der Maximalwert der durchschnittlichen Korrelationsrestwerte MAD1, MAD2 und MAD3 ist, MAD_MIN1 der Minimalwert der durchschnittlichen Korrelationsrestwerte MAD1, MAD2 und MAD3 ist, und MAD_TH1 ein Schwellenwert für den durchschnittlichen Korrelationsrestwert zwischen den Grauwertbildern ist, aus denen kein binärisiertes Objekt extrahiert ist. MAD_MAX1 – MAD_MIN1 < MAD_TH1 (7)
Wenn die durchschnittlichen Korrelationsrestwerte MAD1, MAD2 und MAD3 der Formel (7) genügen und es möglich ist, zu bestimmen, dass die Referenzmustermaske 101 und die Vergleichsmustermasken 102, 103 und 104 ähnlich sind, in anderen Worten, sie kontinuierliche oder durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand oberhalb des binärisierten Objekts 100 sind (JA in Schritt S41), bestimmt die Bildverarbeitungseinheit 1, dass das erfasste Objekt eine künstliche Struktur ist (Schritt S42), und beendet den Künstliche-Struktur-Bestimmungsprozess. Da dann der in 5 gezeigte Schritt S35 JA ist, geht der Prozess zu Schritt S37 in 5 weiter, worin bestimmt wird, dass das Objekt als ein Objekt betrachtet wrid, das keine Alarmausgabe erfordert.
Aufwärtssuche 2
Die Bildverarbeitungseinheit 1 führt eine andere Aufwärtssuche in ähnlicher Weise aus, nachdem die Position der Referenzmustermaske 101 geändert ist. Diese Aufwärtssuche wird im Detail in Bezug auf 10 erläutert, die eine Aufwärtssuche des binärisierten Bereichs zeigt. Wie in 10 gezeigt, ändert die Bildverarbeitungseinheit 1 die Y-Achsenkoordinate VP1 der Referenzmustermaske 101 und der Vergleichsmustermaske 102 auf yP2, d.h. den Wert, der durch die Formel 8 definiert ist, und setzt die Referenzmustermaske 101 über das Unterende des binärisierten Objekts 100, das aus dem Referenzbild (dem rechten Bild) extrahiert ist. Dann bestimmt sie, ob die durchschnittlichen Korrelationsrestwerte MAD1, MAD2 und MAD3 der folgenden Formel (9) genügen oder nicht, in den gleichen Prozeduren wie oben beschrieben. Anzumerken ist, dass in der Formel (9) MAD-TH2 ein Schwellenwert des durchschnittlichen Korrelationsrestwerts zwischen den Grauwertbildern ist, aus denen ein binärisiertes Objekt extrahiert wird. Der Grund dafür, warum die Referenzmustermaske 101 über das Unterende des extrahierten binärisierten Objekts 100 gesetzt wird, ist es, auf Fälle abzustellen, wo ein Objekt, das mittels der Referenzmustermaske 101 extrahiert werden soll, wie etwa ein Stromversorgungsmast, als binärisiertes Objekt extrahiert worden ist. yP2 = Längsachsenkoordinate der unteren linken Ecke des Umrissrechtecks des binärisierten Objekts – 2 – dyP (Pixel) (8) MAD_MAX1 – MAD_MIN1 < MAD_TH2 (9)
Ähnlich, wenn die durchschnittlichen Korrelationsrestwerte MAD1, MAD2 und MAD3 der Formel (9) genügen und es möglich ist zu bestimmen, dass die Referenzmustermaske 101 und die Vergleichsmustermasken 102, 103 und 104 ähnlich sind, in anderen Worten, es kontinuierliche oder durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand oberhalb des binärisierten Objekts 100 gibt (JA in Schritt S41), bestimmt die Bildverarbeitungseinheit 1, dass das erfasste Objekt eine künstliche Struktur ist (Schritt S42) und beendet den Künstliche-Struktur-Bestimmungsprozess. Da im in 5 gezeigten Schritt S35 das Ergebnis JA ist, geht der Prozess zu Schritt S37 in 5 weiter, wo bestimmt wird, dass das Objekt als ein Objekt betrachtet wird, das keine Alarmausgabe benötigt.
Wenn hingegen die durchschnittlichen Korrelationsrestwerte MAD1, MAD2 und MAD3 weder der Formel (9) noch der Formel (7) für sowohl die Y-Koordinate yP1 als auch yP2, die die Höhe der Referenzmustermaske 101 und der Vergleichsmustermaske 102 anzeigt, genügen, und es ist in Schritt S41 nicht möglich zu bestimmen, dass die Referenzmustermaske 101 und die Vergleichsmustermasken 102, 103 und 104 ähnlich sind, in anderen Worten, es durchgehende kontinuierliche Bereiche mit der gleichen Form und dem gleichen Abstand oberhalb des binärisierten Objekts 100 gibt (NEIN in Schritt S41), dann führt die Bildverarbeitungseinheit 1 einen Abwärtssuche aus, in der bestimmt wird, ob es durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand in der Abwärtsrichtung des betreffenden binärisierten Objekts gibt oder nicht (Schritt S43).
Abwärtssuche 1
Die Abwärtssuche wird im Detail in Bezug auf 11 erläutert, die eine Abwärtssuche des Binärisierungsbereichs zeigt. Wie in 11 gezeigt, setzt die Bildverarbeitungseinheit 1 eine Referenzmustermaske 105 unter das Oberende des binärisierten Objekts 100, das aus dem Referenzbild (dem rechten Bild) extrahiert ist. Die Referenzmustermaske 105 hat einen oberen linken Ausgangspunkt mit einer Koordinate von (xP1, yP3), eine Breite von dxP und eine Höhe von dyP. Der Grund dafür, warum die Referenzmustermaske 101 unter das Oberende des extrahierten binärisierten Objekts 105 gesetzt wird, ist es, auf Fälle abzustellen, wo ein Objekt, das mittels der Referenzmustermaske 105 extrahiert werden soll, wie etwa ein Stromversorgungsmast, als das binärisierte Objekt 100 extrahiert worden ist.
Als Nächstes setzt die Bildverarbeitungseinheit 1 eine Vergleichsmustermaske 106 in einen Bereich entsprechend der Referenzmustermaske 105 in dem zu vergleichenden Bild (dem linken Bild), und die Vergleichsmustermaske 106 hat einen oberen linken Ausgangspunkt mit einer Koordinate von (xA1, yP3), eine Breite von dxP und eine Höhe von dyP. Die Bildverarbeitungseinheit 1 setzt ferner zwei Vergleichsmustermasken 107 und 108 mit einer X-Achsenkoordinate von xA1, einer Breite von dxP und einer Höhe von dyP, die sich jeweils an die Vergleichsmustermasken 106 und 107 anschließen, in den Bereich, der jenem unterhalb der Referenzmustermaske 105 entspricht. Anzumerken ist, dass yP3 der Wert ist, der durch die folgende Formel (10) ausgedrückt wird: yP3 = Längsachsenkoordinate der oberen linken Ecke des Umrissrechtecks des binärisierten Objekts + 2 (Pixel) (10)
Um ferner den Korrelationsgrad zwischen der Referenzmustermaske 105 und den drei Vergleichsmustermasken 106, 107 und 108 zu bestimmen, berechnet die Bildverarbeitungseinheit 1 die durchschnittlichen Korrelationsrestwerte MAD4, MAD5 und MAD6 der SADs zwischen der Referenzmustermaske 105 und jeder der Vergleichsmustermasken 106, 107 und 108. Hier ist MAD4 der durchschnittliche Korrelationsrestwert zwischen der Referenzmustermaske 105 und der Vergleichsmustermaske 106, MAD5 ist der durchschnittliche Korrelationsrestwert zwischen der Referenzmustermaske 105 und der Vergleichsmustermaske 107, und MAD6 ist der durchschnittliche Korrelationsrestwert zwischen der Referenzmustermaske 105 und der Vergleichsmustermaske 108.
Dann bestimmt die Bildverarbeitungseinheit 1 die durchschnittlichen Korrelationsrestwerte MAD4, MAD5 und MAD6, und bestimmt, ob die Beziehung zwischen durchschnittlichen Korrelationsrestwerten MAD4, MAD5 und MAD6 der folgenden Formel (11) genügen oder nicht. Anzumerken ist, dass in der Formel (11) MAD_MAX2 der Maximalwert der durchschnittlichen Korrelationsrestwerte MAD4, MAD5 und MAD6 ist, und MAD-MIN1 der Minimalwert der durchschnittlichen Korrelationsrestwerte MAD4, MAD5 und MAD6 ist. MAD_MAX2 – MAD_MIN2 < MAD_TH2 (11)
Wenn die durchschnittlichen Korrelationsrestwerte MAD4, MAD5 und MAD6 der Formel (11) genügen, und es möglich ist zu bestimmen, dass die Referenzmustermaske 105 und die Vergleichsmustermasken 106, 107 und 108 ähnlich sind, in anderen Worten, sie durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand unterhalb des binärisierten Objekts 100 sind (JA in Schritt S43), bestimmt die Bildverarbeitungseinheit 1, dass das erfasste Objekt eine künstliche Struktur (Schritt S42) ist und beendet den Künstliche-Struktur-Bestimmungsprozess. Da dann im in 5 gezeigten Schritt S35 das Ergebnis JA ist, geht der Prozess zu Schritt S37 in 5 weiter, worin bestimmt wird, dass das Objekt als ein Objekt betrachtet wird, das keine Alarmausgabe benötigt.
Abwärtssuche 2
Die Bildverarbeitungseinheit 1 führt, nach Änderung der Position der Referenzmustermaske 105, eine andere Abwärtssuche in ähnlicher Weise durch. Diese Abwärtssuche wird im Detail in Bezug auf 12 erläutert, die eine Abwärtssuche des binärisierten Bereichs zeigt. Wie in 12 gezeigt, ändert die Bildverarbeitungseinheit 1 die Y-Achsenkoordinate yP3 der Referenzmustermaske 105 und der Vergleichsmustermaske 106 auf yP4, d.h. den durch die folgende Formel (12) definierten Wert, und setzt die Referenzmustermaske 105 unter das Unterende des binärisierten Objekts 100, das aus dem Referenzbild (dem rechten Bild) extrahiert wird. Dann bestimmt sie, ob die durchschnittlichen Korrelationsrestwerte MAD4, MAD5 und MAD6 der folgenden Formel (13) genügen oder nicht, in den gleichen Prozeduren wie oben beschrieben. Angemerkt werden sollte, dass der Grund dafür, warum die Referenzmustermaske 101 unter das Unterende des extrahierten binärisierten Objekts 105 gesetzt wird, ist, dass ein Objekt, das Wärme erzeugt, wie etwa eine an einem Stromversorgungsmast oder dgl. vorgesehene Schaltplatine, leicht als das binärisierte Objekt 100 extrahiert wird, wobei es aber der Stromversorgungsmast in der Umgebung eines solchen Objekts ist, der mittels der Referenzmustermaske 105 extrahiert werden soll. yP4 = Längsachsenkoordinate der unteren linken Ecke des Umrissrechtecks des binärisierten Objekts + 2 (Pixel) (12) MAD_MAX2 – MAD_MIN2 < MAD_TH1 (13)
Ähnlich, wenn die durchschnittlichen Korrelationsrestwerte MAD4, MAD5 und MAD6 der Formel (13) genügen und es möglich ist zu bestimmen, dass die Referenzmustermaske 105 und die Vergleichsmustermasken 106, 107 und 108 ähnlich sind, in anderen Worten, sie kontinuierliche oder durchgehende Bereiche oder Flächen mit der gleichen Form und dem gleichen Abstand unterhalb des binärisierten Objekts 100 sind (JA in Schritt S43), bestimmt die Bildverarbeitungseinheit 1, dass das erfasste Objekt eine künstliche Struktur ist (Schritt S42) und beendet den Künstliche-Struktur-Bestimmungsprozess. Da dann im 5 gezeigten Schritt S35 das Ergebnis JA ist, geht der Prozess zu Schritt S37 in 5 weiter, worin bestimmt wird, dass das Objekt als ein Objekt betrachtet wird, das keine Alarmausgabe benötigt.
Wenn hingegen die durchschnittlichen Korrelationsrestwerte MAD4, MAD5 und MAD6 weder der Formel (11) noch der Formel (13) für beide Y-Koordinaten yP3 und yP4, die die Höhe der Referenzmustermaske 105 und der Vergleichsmustermaske 106 anzeigt, genügen, und es in Schritt S43 nicht möglich ist zu bestimmen, dass die Referenzmustermaske 105 und die Vergleichsmustermasken 106, 107 und 108 ähnlich sind, in anderen Worten, es kontinuierliche Bereiche mit der gleichen Form und dem gleichen Abstand oberhalb des binärisierten Objekts 100 gibt (NEIN in Schritt S43), dann bestimmt die Bildverarbeitungseinheit 3, ob es durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand im linken Ende des betreffenden binärisierten Objekts gibt oder nicht (Schritt S44).
Linke Aufwärtssuche 1
Die linke Aufwärtssuche wird im Detail in Bezug auf 13 erläutert, die eine linke Aufwärtssuche des Binärisierungsbereichs zeigt. Wie in 13 gezeigt, setzt die Bildverarbeitungseinheit 1 eine Referenzmustermaske 109 oberhalb des Oberendes des binärisierten Objekts 100, das aus dem Referenzbild (dem rechten Bild) extrahiert ist. Die Referenzmustermaske 109 hat den oberen linken Ausgangspunkt mit der Koordinate (xP2, yP1), eine Breite von dxP' und eine Höhe von dyP. Als Nächstes setzt die Bildverarbeitungseinheit 1 eine Vergleichsmustermaske 110 in einen Bereich entsprechend der Referenzmustermaske 109 in dem zu vergleichenden Bild (dem linken Bild) und die Vergleichsmustermaske 110 hat einen oberen linken Ausgangspunkt mit der Koordinate (xA2, yP1), eine Breite von dxP' und eine Höhe von dyP. Die Bildverarbeitungseinheit 1 setzt ferner zwei Vergleichsmustermasken 111 und 112 mit einer X-Achsenkoordinate von xA2, eine Breite von dxP' und einer Höhe von dyP, die sich jeweils an die Vergleichsmustermasken 110 und 111 anschließen, in den Bereich entsprechend jenem oberhalb der Referenzmustermaske 109. Anzumerken ist, dass dxP' auf den kleineren Wert von dxP1 und dxP2 gelegt wird, ausgedrückt durch die folgenden Formel (14) und (15), durch Vergleich von dxP1 und dxP2. Zusätzlich sind xP2 und xA2 Werte, die durch die folgenden Formeln (16) und (17) definiert sind. Darüber hinaus wird angenommen, dass die Schulterbreite in der folgenden Formel (15) z.B. 70 cm beträgt. dxP1 = Breite des Umrissrechtecks des binärisierten Objekts + 4 (Pixel) (14) dxP2 = (Brennweite × Schulterbreite/2)/binärisierter Objektabstand (Pixel) (15) xP2 = Horizontalachsenkoordinate der oberen linken Ecke des Umrissrechtecks des binärisierten Objekts – dxP'/2 (Pixel) (16) xA2 = xP2 + Binärisiertes-Objekt-Parallaxe (Pixel) (17)
Um ferner den Korrelationsgrad zwischen der Referenzmustermaske 109 und den drei Vergleichsmustermasken 110, 111 und 112 zu bestimmen, berechnet die Bildverarbeitungseinheit 1 die durchschnittlichen Korrelationsrestwerte MAD7, MAD8 und MAD9 der SADs zwischen der Referenzmustermaske 109 und jeder der drei Vergleichsmustermasken 110, 111 und 112. Hier ist MAD7 der durchschnittliche Korrelationsrestwert zwischen der Referenzmustermaske 109 und der Vergleichsmustermaske 110, MAD8 ist der durchschnittliche Korrelationsrestwert zwischen der Referenzmustermaske 109 und der Vergleichsmustermaske 111, und MAD9 ist der durchschnittliche Korrelationsrestwert zwischen der Referenzmustermaske 109 und der Vergleichsmustermaske 112.
Dann bestimmt die Bildverarbeitungseinheit 1 die durchschnittlichen Korrelationsrestwerte MAD7, MAD8 und MAD9 und bestimmt, ob die Beziehung zwischen den durchschnittlichen Korrelationsrestwerten MAD7, MAD8 und MAD9 der folgenden Formel (18) genügen oder nicht. Anzumerken ist, dass in der Formel (18) MAD-MAX3 der Maximalwert der durchschnittlichen Korrelationsrestwerte MAD7, MAD8 und MAD9 ist, und MAD_MIN3 der Minimalwert der durchschnittlichen Korrelationsrestwerte MAD7, MAD8 und MAD9 ist. MAD_MAX3 – MAD_MIN3 < MAD_TH1 (18)
Wenn die durchschnittlichen Korrelationsrestwerte MAD7, MAD8 und MAD9 der Formel (18) genügen und es möglich ist zu bestimmen, dass die Referenzmustermaske 109 und die Vergleichsmustermasken 110, 111 und 112 ähnlich sind, in anderen Worten, sie durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand im linken Ende des binärisierten Objekts 100 sind (JA in Schritt S44), dann bestimmt die Bildverarbeitungseinheit 1, dass das erfasste Objekt eine künstliche Struktur ist (Schritt S42) und beendet den Künstliche-Struktur-Bestimmungsprozess. Da dann im in 5 gezeigten Schritt S35 das Ergebnis JA ist, geht der Prozess zu Schritt S37 in 5 weiter, worin bestimmt wird, dass das Objekt als ein Objekt betrachtet wird, das keine Alarmausgabe benötigt.
Linke Aufwärtssuche 2
Die Bildverarbeitungseinheit 1 führt eine andere linke Aufwärtssuche in ähnlicher Weise durch, nachdem die Position der Referenzmustermaske 109 geändert ist. Diese linke Aufwärtssuche wird im Detail in Bezug auf 14 erläutert, die die linke Aufwärtssuche des Binärisierungsbereichs zeigt. Wie in 14 gezeigt, setzt die Bildverarbeitungseinheit 1 die Y-Achsenkoordinate yP1 der Referenzmustermaske 109 und der Vergleichsmustermaske 110 auf yP2, d.h. den Wert, der durch die folgende Formel (8) definiert ist, und setzt die Referenzmustermaske 109 oberhalb des Unterendes des binärisierten Objekts 100, das aus dem Referenzbild (dem rechten Bild) extrahiert ist. Dann bestimmt sie, ob die durchschnittlichen Korrelationsrestwerte MAD7, MAD8 und MAD9 der folgenden Formel (19) genügen oder nicht, in den gleichen Prozeduren wie oben beschrieben. MAD_MAX3 – MAD_MIN3 < MAD_TH2 (19)
Ähnlich, wenn die durchschnittlichen Korrelationsrestwerte MAD7, MAD8 und MAD9 der Formel (19) genügen und es möglich ist zu bestimmen, dass die Referenzmustermaske 109 und die Vergleichsmustermasken 110, 111 und 112 ähnlich sind, in anderen Worten, sie durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand in dem linken Ende des binärisierten Objekts 100 sind (JA in Schritt S44), bestimmt die Bildverarbeitungseinheit 1, dass das erfasste Objekt eine künstliche Struktur ist (Schritt S42) und beendet den Künstliche-Struktur-Bestimmungsprozess. Da dann im in 5 gezeigten Schritt S35 das Ergebnis JA ist, geht der Prozess zu Schritt S37 in 5 weiter, worin bestimmt wird, dass das Objekt als ein Objekt betrachtet wird, das keine Alarmausgabe benötigt.
Linke Abwärtssuche 1
Die linke Abwärtssuche wird im Detail in Bezug auf 15 erläutert, die eine Abwärtssuche des Binärisierungsbereichs zeigt. Wie in 15 gezeigt, setzt die Bildverarbeitungseinheit 1 eine Referenzmustermaske 113 unterhalb des Obersendes des binärisierten Objekts 100, das aus dem Referenzbild (dem rechten Bild) extrahiert ist. Die Referenzmustermaske 105 hat den oberen linken Ausgangspunkt mit der Koordinate (xP2, yP3), eine Breite von dxP' und eine Höhe von dyP. Als Nächstes setzt die Bildverarbeitungseinheit 1 eine Vergleichsmustermaske 114 in einem Bereich entsprechend der Referenzmustermaske 113 in dem zu vergleichenden Bild (dem linken Bild), und die Vergleichsmustermaske 114 hat den oberen linken Ausgangspunkt der Koordinate (xA2, yP3), eine Breite von dxP' und einer Höhe von dyP. Die Bildverarbeitungseinheit 3 setzt ferner zwei Vergleichsmustermasken 115 und 116 mit der X-Achsenkoordinate xA2, einer Breite von dxP' und einer Höhe von dyP, die sich jeweils an die Vergleichsmustermasken 114 und 115 anschließt, in den Bereich, der jenem unterhalb der Referenzmustermaske 113 entspricht.
Um ferner den Korrelationsgrad zwischen der Referenzmustermaske 113 und den drei Vergleichsmustermasken 114, 115 und 116 zu bestimmen, berechnet die Bildverarbeitungseinheit 1 die durchschnittlichen Korrelationsrestwerte MAD10, MAD11 und MAD12 der SADs zwischen der Referenzmustermaske 113 und jeder der deri Vergleichsmustermasken 114, 115 und 116. Hier ist MAD10 der durchschnittliche Korrelationsrestwert zwischen der Referenzmustermaske 113 und der Vergleichsmustermaske 114, MAD11 ist der durchschnittliche Korrelationsrestwert zwischen der Referenzmustermaske 113 und der Vergleichsmustermaske 115, und MAD12 ist der durchschnittliche Korrelationsrestwert zwischen der Referenzmustermaske 113 und der Vergleichsmustermaske 116.
Dann bestimmt die Bildverarbeitungseinheit 1 die durchschnittlichen Korrelationsrestwerte MAD10, MAD11 und MAD12 und bestimmt, ob die Beziehung zwischen den durchschnittlichen Korrelationsrestwerten MAD10, MAD11 und MAD12 der folgenden Formel 20 genügen oder nicht. Anzumerken ist, dass in der Formel (20) MAD_MAX4 der Maximalwert der durchschnittlichen Korrelationsrestwerte MAD10, MAD11 und MAD12 ist, und MAD_MIN4 der Minimalwert der durchschnittlichen Korrelationsrestwerte MAD10, MAD11 und MAD12 ist. MAD_MAX4 – MAD_MIN4 < MAD_TH2 (20)
Wenn die durchschnittlichen Korrelationsrestwerte MAD10, MAD11 und MAD12 der Formel (20) genügen und es möglich ist zu bestimmen, dass die Referenzmustermaske 113 und die Vergleichsmustermasken 114, 115 und 116 ähnlich sind, in anderen Worten, sie durchgehende Bereiche oder Flächen mit der gleichen Form und dem gleichen Abstand im linken Ende des binärisierten Objekts 100 sind (JA in Schritt S44), bestimmt die Bildverarbeitungseinheit 10, dass das erfasste Objekt eine künstliche Struktur ist (Schritt S42) und beendet den Künstliche-Struktur-Bestimmungsprozess. Da dann im in 5 gezeigten Schritt S35 das Ergebnis JA ist, geht der Prozess zu Schritt S37 in 5 weiter, worin bestimmt wird, dass das Objekt als ein Objekt betrachtet wird, das keine Alarmausgabe erfordert.
Linke Abwärtssuche 2
Die Bildverarbeitungseinheit 1 führt eine andere linke Abwärtssuche in ähnlicher Weise durch, nachdem die Position der Referenzmustermaske 113 geändert ist. Diese linke Abwärtssuche wird im Detail in Bezug auf 16 erläutert, die eine line Abwärtssuche des Binärisierungsbereichs zeigt. Wie in 16 gezeigt, ändert die Bildverarbeitungseinheit 1 die Y-Achsenkoordinate yP1 der Referenzmustermaske 113 und der Vergleichsmustermaske 114 auf yP4, d.h. den Wert, der durch die Formel (12) definiert ist, und setzt die Referenzmustermaske 113 unterhalb des Unterendes des binärisierten Objekts 100, das aus dem Referenzbild (dem rechten Bild) extrahiert ist. Dann bestimmt sie, ob die durchschnittlichen Korrelationsrestwerte MAD10, MAD11 und MAD12 der folgenden Formel (21) genügen oder nicht, in den gleichen Prozeduren wie oben beschrieben. MAD_MAX4 – MAC_MIN4 < MAD_TH1 (21)
Ähnlich, wenn die durchschnittlichen Korrelationsrestwerte MAD10, MAD11 und MAD12 der Formel (21) genügen und es möglich ist zu bestimmen, dass die Referenzmustermaske 113 und die Vergleichsmustermasken 114, 115 und 116 ähnlich sind, in anderen Worten, sie kontinuierliche Bereiche mit der gleichen Form und dem gleichen Abstand in dem linken Ende des binärisierten Objekts 100 sind (JA in Schritt S44), bestimmt die Bildverarbeitungseinheit 10, dass das erfasste Objekt eine künstliche Struktur ist (Schritt S42) und beendet den Künstliche-Struktur-Bestimmungsprozess. Da dann im in 5 gezeigten Schritt S35 das Ergebnis JA ist, geht der Prozess zu Schritt S37 in 5 weiter, worin bestimmt wird, dass das Objekt als ein Objekt betrachtet wird, das keine Alarmausgabe erfordert.
Wenn andererseits in Schritt S44 die Beziehung zwischen den durchschnittlichen Korrelationsrestwerten MAD7, MAD8 und MAD9 nicht der durch die Formel (18) oder (19) definierten Bedingung genügen, für beide Y-Achsenkoordinatenwerte von yP1 und yP2, die die Höhe der Referenzmustermaske 109 bzw. der Vergleichsmustermaske 110 angeben, und nicht bestimmt werden kann, dass die Referenzmustermaske 109 und die drei Vergleichsmustermasken 110, 111 und 112 ähnlich sind; oder wenn die Beziehung zwischen den durchschnittlichen Korrelationsrestwerten MAD10, MAD11 und MAD12 nicht der durch die Formel (20) oder (21) definierten Bedingung genügen, für beide Y-Achsenkoordinaten Werte von yP3 und yP4, die die Höhe der Referenzmustermaske 113 bzw. der Vergleichsmustermaske 114 angeben, und nicht bestimmt werden kann, dass die Referenzmustermaske 113 und die drei Vergleichsmustermasken 114, 115 und 116 ähnlich sind; in anderen Worten, es keine durchgehenden oder kontinuierlichen Bereiche mit der gleichen Form und dem gleichen Abstand im linken Ende des Objekts mit dem binärisierten Objekt 100 haben (NEIN in Schritt S44), dann bestimmt die Bildverarbeitungseinheit 1, ob es durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand im rechten Ende des Objekts mit dem binärisierten Objekt 100 gibt oder nicht (Schritt S45).
Rechte Aufwärtssuche und rechte Abwärtssuche
Anzumerken ist, dass der Prozess zur Bestimmung, ob es durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand am rechten Ende des Objekts, das das binärisierte Objekt 100 aufweist, gibt oder nicht, ähnlich dem Prozess von Schritt S44 ist zur Bestimmung, ob es durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand im linken Ende des Objekts, das das binärisierte Objekt 100 aufweist, gibt oder nicht, die in Bezug auf Schritt S44 beschrieben worden sind, außer dass die Position der Referenzmustermaske in Bezug auf das binärisierte Objekt 100 von links nach rechts umgekehrt ist.
Insbesondere wird im Prozess von Schritt S44 zur Bestimmung, ob es durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand am linken Ende des Objekts mit dem binärisierten Objekt 100 gibt oder nicht, die Position der Referenzmustermaske aus der Horizontalachsenkoordinate der oberen linken Ecke des Umrissrechtecks des binärisierten Objekts und der Längsachsenkoordinate der oberen linken Ecke des Umrissrechtecks des binärisierten Objekts berechnet. Im Prozess von Schritt S45 zur Bestimmung, ob es durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand im rechten Ende des Objekts mit dem binärisierten Objekt 100 gibt oder nicht, werden die Horizontalachsenkoordinate der oberen linken Ecke des Umrissrechtecks des binärisierten Objekts und die Längsachsenkoordinate der oberen linken Ecke des Umrissrechtecks des binärisierten Objekts in jeder der Formeln durch die Horizontalachsenkoordinate der oberen rechten Ecke des Umrissrechtecks des binärisierten Objekts und die Längsachsenkoordinate der oberen rechten Ecke des Umrissrechtecks des binärisierten Objekts ersetzt, und dann wird die Position der Referenzmustermaske 109 aus der Horizontalachsenkoordinate der oberen rechten Ecke des Umrissrechtecks des binärisierten Objekts und der Längsachsenkoordinate der oberen rechten Ecke des Umrissrechtecks des binärisierten Objekts ersetzt.
Wenn es, ähnlich dem Prozess von Schritt S44, möglich ist zu bestimmen, dass eine Referenzmustermaske und drei Vergleichsmustermasken ähnlich sind, in anderen Worten, es durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand in dem rechten Ende des binärisierten Objekts 100 gibt (JA in Schritt S45), dann bestimmt die Bildverarbeitungseinheit 10, dass das erfasste Objekt eine künstliche Struktur ist (Schritt S42), und beendet den Künstliche-Struktur-Bestimmungsprozess. Da dann im in 5 gezeigten Schritt S35 das Ergebnis JA ist, geht der Prozess zu Schritt S37 in 5 weiter, worin bestimmt wird, dass das Objekt als ein Objekt betrachtet wird, das keine Alarmausgabe benötigt. Wenn es andererseits in Schritt S45 nicht möglich ist zu bestimmen, dass eine Referenzmustermaske und drei Vergleichsmustermasken ähnlich sind, in anderen Worten, es durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand im rechten Ende des binärisierten Objekts 100 gibt (NEIN in Schritt S45), dann bestimmt die Bildverarbeitungseinheit 1, dass das erfasste Objekt keine künstliche Struktur ist (Schritt S46) und beendet den Künstliche-Struktur-Bestimmungsprozess. Da dann im in 5 gezeigten Schritt S35 das Ergebnis NEIN ist, geht der Prozess zu Schritt S36 in 5 weiter, worin bestimmt wird, dass das Objekt als ein Objekt betrachtet wird, das eine Alarmausgabe benötigt.
Anzumerken ist, dass in der oben beschriebenen Ausführung die Bildverarbeitungseinheit 1 bestimmt, ob es durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand in einem Objekt gibt oder nicht, durch Vergleich einer Referenzmustermaske und der drei Vergleichsmustermasken, die in der Aufwärst- und der Abwärtsrichtung des betreffenden binärisierten Objekts gesetzt sind, oder ein Bereich entsprechend dem rechten Ende und dem linken Ende eines Objekts, das das betreffende binärisierte Objekt aufweist, in den Prozessschritten S41 bis S46. Jedoch ist die Anzahl der Vergleichsmustermasken nicht auf drei beschränkt, und es kann jede Anzahl von Vergleichsmustermasken gesetzt werden.
Wenn darüber hinaus eine Mehrzahl von Vergleichsmustermasken gesetzt ist, braucht die Beziehung zwischen der Mehrzahl von Vergleichsmustermasken und der Referenzmustermaske nicht notwendigerweise die Bedingungen erfüllen, dass durchgehende Bereiche, die die gleiche Form und den gleichen Abstand haben, in einem Objekt für alle Vergleichsmustermasken vorhanden sind. In anderen Worten, obwohl von der Mehrzahl von Vergleichsmustermasken einige Vergleichsmustermasken in einem Bildbereich mit dem betreffenden Objekt gesetzt werden können, ist das betreffende Objekt aufgrund des Vorhandenseins anderer Objekte auf der Straße von der Infrarotkamera 2L nicht erfasst worden. Das Objekt kann als künstliche Struktur bestimmt werden, solange die Beziehungen zwischen der Referenzmustermaske und einem vorbestimmten Verhältnis von Vergleichsmustermasken oder darüber den Bedingungen zur Bestimmung genügen, dass es durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand in dem Objekt gibt.
Dies wird anhand eines bestimmten Beispiels erläutert. Die Bestimmung davon, ob die Beziehung zwischen der Referenzmustermaske und einem vorbestimmten Verhältnis von Vergleichsmustermasken oder darüber die Bedingungen zur Bestimmung erfüllt, dass es durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand in dem Objekt gibt, erfolgt z.B. dadurch, dass zehn Vergleichsmustermasken gesetzt werden, um die durchschnittlichen Korrelationsrestwerte (MADs) der Referenzmustermaske und jeder der Vergleichsmustermasken in jedem in 8 gezeigten Prozess berechnet werden. Dann werden die fünf kleinsten durchschnittlichen Korrelationsrestwerte (MADs), beginnend z.B. vom kleinsten, ausgewählt, und es wird bestimmt, ob die Differenz zwischen dem Maximalwert und dem Minimalwert der gewählten fünf Werte jeder Bedingung der Formeln (7), (9), (11), (13), (18) und (19) genügen.
Darüber hinaus setzt in der oben beschriebenen Ausführung die Bildverarbeitungseinheit 1 eine Mehrzahl von Vergleichsmustermasken in der vertikalen Richtung und bestimmt, ob es durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand in einem Objekt gibt oder nicht. Jedoch ist die spezifische Richtung zum Setzen der Vergleichsmustermasken (Richtung zum Setzen des Suchbereichs mit der gleichen Form) nicht auf die vertikale Richtung beschränkt, und es kann jede Anzahl von Richtungen und jede Richtung, z.B. eine schräge Richtung, vorab gewählt werden, oder kann nach Bedarf entsprechend der Form künstlicher Strukturen gewählt werden, von denen zu erwarten ist, dass sie sich in einem Bild in der Umgebung des Fahrzeugs befinden.
Zusätzlich wird in der oben beschriebenen Ausführung, nachdem der Fußgängerbestimmungsprozess ausgeführt ist (Schritt S34), der Künstliche-Struktur-Bestimmungsprozess (Schritt S35) in dem in 5 gezeigten Warnbestimmungsprozess ausgeführt. Die Reihenfolge kann umgekehrt werden, und der Fußgängerbestimmungsprozess kann nach dem Künstliche-Struktur-Bestimmungsprozess ausgeführt werden. Falls der Fußgängerbestimmungsprozess nach dem Künstliche-Struktur-Bestimmungsprozess ausgeführt wird, wird ein Objekt, das einmal als Fußgänger bestimmt worden ist, aber Charakteristiken hat, die nur für eine künstliche Struktur spezifisch sind, ausgeschlossen. Wenn andererseits der Fußgängerbestimmungsprozess nach dem Künstliche-Struktur-Bestimmungsprozess ausgeführt wird, wird ein Objekt, das einmal als Fußgänger bestimmt ist, jedoch Charakteristiken hat, die nur für eine künstliche Struktur spezifisch sind, ausgeschlossen. Anzumerken ist, dass das ausgeschlossene Objekt ein binärisiertes Objekt in dem Binärisierungsbild sein kann, oder ein Grauwertobjekt entsprechend dem binärisierten Objekt in dem Grauwertbild sein kann.
Zusätzlich enthält gemäß dieser Ausführung die Bildverarbeitungseinheit 1 eine Binärisiertes-Objekt-Extraktionseinrichtung, eine Abstandsberechnungseinrichtung, eine Warnausgabeeinrichtung und eine Fußgängererkennungseinrichtung. Insbesondere entspricht der Prozess der Schritte S4 bis S7 in 3 der Binärisiertes-Objekt-Extraktionseinrichtung, und der Prozess von Schritt S13 in 3 entspricht der Abstandsberechnungseinrichtung, der Prozess von Schritt S18 in 3 entspricht der Warnungsbestimmungseinrichtung, der Prozess von Schritt S19 und S20 in 3 entspricht der Warnausgabeeinrichtung, und der Prozess von Schritt S34 in 5 entspricht der Fußgängererkennungseinrichtung.
In dieser Ausführung enthält die Bildverarbeitungseinheit 1 ferner eine Extraktionsbereichsetzeinrichtung, eine Suchbereichsetzeinrichtung, eine Ähnliches-Objekt-Extraktionseinrichtung und eine Identisches-Objekt- Bestimmungseinrichtung. Insbesondere entspricht der Prozess der Schritte S41 bis S46 in 8, dem Prozess des Setzens von Referenzmustermasken der Extraktionsbereichsetzeinrichtung. In dem Prozess der Schritte S41 bis S46 in 8 entspricht der Prozess des Setzens der Vergleichsmustermasken der Suchbereichsetzeinrichtung. In dem Prozess der Schritte S41 bis S46 in 8 entspricht der Prozess der Berechnung durchschnittlicher Korrelationsrestwerte der Ähnliches-Objekt-Extraktionseinrichtung. In dem Prozess der Schritte S41 bis S46 in 8 entspricht der Prozess der Bestimmung durchschnittlicher Korrelationsrestwerte der Identisches-Objekt-Bestimmungseinrichtung.
Wie zuvor beschrieben, setzt die Vorrichtung zur Überwachung einer Fahrzeugumgebung gemäß dieser Ausführung eine Referenzmustermaske unter Verwendung des binärisierten Objekts 100, das aus dem Referenzbild (rechten Bild) als Referenz extrahiert ist, und eine Mehrzahl von Vergleichsmustermasken entsprechend diesem Referenzmuster in dem zu vergleichenden Bild (linken Bild). Als Nächstes werden die Referenzmustermaske und die Mehrzahl von Vergleichsmustermasken entsprechend der Referenzmustermaske verglichen, wodurch die Aufwärtsrichtung des binärisierten Objekts 100 abgesucht wird. Wenn es dann kontinuierliche durchgehende Bereiche oder Flächen mit der gleichen Form und dem gleichen Abstand in der Aufwärtsrichtung des binärisierten Objekts 100 gibt, wird bestimmt, dass das Objekt eine künstliche Struktur ist. Wenn es darüber hinaus in der Aufwärtsrichtung des binärisierten Objekts 100 keine durchgehenden Bereiche mit der gleichen Form und dem gleichen Abstand gibt, wird die Abwärtsrichtung des binärisierten Objekts 100 auf ähnliche Weise abgesucht. Wenn es dann in der Abwärtsrichtung des binärisierten Objekts 100 durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand gibt, wird bestimmt, dass das Objekt eine künstliche Struktur ist.
Wenn es darüber hinaus keine durchgehenden Bereiche mit der gleichen Form und dem gleichen Abstand in der abwärtigen Richtung des binärisierten Objekts 100 gibt, wird der Bereich entsprechend dem linken Ende des Objekts, das das binärisierte Objekt 100 aufweist, abgesucht. Wenn es dann durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand in dem Bereich entsprechend dem linken Ende des Objekts, das das binärisierte Objekt 100 aufweist, gibt, wird bestimmt, dass das Objekt eine künstliche Struktur ist. Wenn es ferner keine durchgehenden Bereiche mit der gleichen Form und dem gleichen Abstand in dem Bereich entsprechend dem linken Ende des Objekts, das das binärisierte Objekt 100 aufweist, gibt, wird der Bereich entsprechend dem rechten Ende des Objekts, das das binärisierte Objekt 100 aufweist, abgesucht. Wenn es durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand am rechten Ende des Objekts, das das binärisierte Objekt 100 aufweist, gibt, wird bestimmt, dass das Objekt eine künstliche Struktur ist.
Dementsprechend wird ein binärisiertes Objekt mit einer unbestimmten Form, das aus einem Infrarotbild extrahiert ist, genau identifiziert, und es kann eine Fahrzeugumgebungs-Überwachungsvorrichtung realisiert werden, die in der Lage ist, durchgehende künstliche Strukturen mit der gleichen Form in der Aufwärtsrichtung und in der Abwärtsrichtung, z.B. Stromversorgungsmasten, leicht und akkurat zu extrahieren. Da insbesondere gemäß der Fahrzeugumgebungs-Überwachungsvorrichtung dieser Ausführung Bereiche mit der gleichen Form um das binärisierte Objekt herum abgesucht werden, wenn z.B. mehrere künstliche Strukturen, z.B. Stromversorgungsmasten, in einer Serie vorhanden sind, wie im Beispiel der künstlichen Struktur in 17 gezeigt (im Abschnitt von 17, der mit der weißen Linie eingekreist ist), kann die künstliche Struktur korrekt erkannt werden, auch wenn die Kombination des Objekts am rechten und linken Infrarotbild falsch erkannt wird.
Da zusätzlich mehrere Vergleiche ausgeführt werden, indem mehrere Vergleichsmustermasken gesetzt werden, kann die Genauigkeit bei der Extraktion künstlicher Strukturen von Objekten in der Umgebung des Fahrzeugs verbessert werden. Inbesondere, solange die Beziehung zwischen einem vorbestimmten Verhältnis von Vergleichsmustermasken oder darüber und der Referenzmustermaske den Bedingungen zur Bestimmung genügt, dass es durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand in dem Objekt gibt, wird das Objekt als künstliche Struktur bestimmt. Dementsprechend können durchgehende künstliche Strukturen mit der gleichen Form auch aus einem Objekt des gesamten Bilds extrahiert werden, das, wegen des Einflusses des Fahrzustands des Fahrzeugs oder der Umgebung des Objekts, von der Infrarotkamera 21 nicht aufgenommen worden ist.
Wenn darüber hinaus sowohl der Bereich entsprechend dem linken Ende des binärisierten Objekts 100 als auch der Bereich entsprechend dem rechten Ende des binärisierten Objekts 100 abgesucht werden, und wenn es daher durchgehende Bereiche mit der gleichen Form und dem gleichen Abstand in dem Bereich gibt, der entweder dem rechten Ende oder dem linken Ende des binärisierten Objekts 100 entspricht, wird bestimmt, dass das Objekt eine künstliche Struktur ist. Dementsprechend können durchgehende künstliche Strukturen mit der gleichen Form auch aus einem Objekt extrahiert werden, das sich, aufgrund des Einflusses des Fahrzustands des Fahrzeugs oder der Umgebung des Objekts, nur entweder an der rechten Seite oder der linken Seite der von der Infrarotkamera aufgenommene Bilder befindet.

Claims

Fahrzeugumgebungs-Überwachungsvorrichtung, umfassend: eine Infrarotbildaufnahmeeinrichtung (2R, 2L), die ein Bild aufnimmt; eine Binärisiertes-Objekt-Extraktionseinrichtung (S4 – S7), die durch Binärisierung des Bildes ein binärisiertes Objekt (100) extrahiert; eine Extraktionsbereichsetzeinrichtung (S41 – S46), die als Extraktionsbereich einen Bereich setzt, der einem Oberende oder einem Unterende des durch die Binärisiertes-Objekt-Extraktionseinrichtung (S4 – S7) extrahierten binärisierten Objekts (100) benachbart ist; eine Suchbereichsetzeinrichtung (S41 – S46), die eine Mehrzahl von Suchbereichen in der Aufwärts- und/oder Abwärtsrichtung des Extraktionsbereichs setzt; eine Ähnliches-Objekt-Extraktionseinrichtung (S41 – S46), die dann, wenn sich in den Suchbereichen weitere Objekte mit einer Form befinden, die jener des Objekts in dem Extraktionsbereich ähnlich ist, und das extrahierte Objekt und die weiteren Objekte eine durchgehend gleiche Form in der Aufwärtsrichtung und in der Abwärtsrichtung haben, die weiteren Objekte in dem Suchbereich als ähnliche Objekte extrahiert; und eine Identisches-Objekt-Bestimmungseinrichtung (S41 – S46), die bestimmt, ob das Objekt in dem Extraktionsbereich und die ähnlichen Objekte in den Suchbereichen identisch und somit künstlich sind oder nicht; dadurch gekennzeichnet, dass die Identisches-Objekt-Bestimmungseinrichtung (S41 – S46) dann, wenn die Anzahl von Bildern, aus denen die ähnlichen Objekte extrahiert sind, gleich oder höher als eine vorbestimmte Anzahl ist, bestimmt, dass das Objekt in dem Extraktionsbereich und die ähnlichen Objekte in den Suchbereichen identisch sind, auch wenn die ähnlichen Objekte nicht in allen Suchbereichen vorhanden sind.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 1, gekennzeichnet durch: eine zweite Infrarotbildaufnahmeeinrichtung (2R); und eine Abstandsberechnungseinrichtung (S13), die beruhend auf den zwei von den Infrarotbildaufnahmeeinrichtungen (2R, 2L) aufgenommenen Bildern, einen Abstand zu dem in den Bildern enthaltenen Objekt berechnet, wobei die Identisches-Objekt-Bestimmungseinrichtung (S41 – S46) bestimmt, dass das Objekt in dem Extraktionsbereich und die ähnlichen Objekte in den Suchbereichen identisch sind, wenn ein Abstand zu dem Objekt in dem Extraktionsbereich gleich einem Abstand zu den ähnlichen Objekten in den Suchbereichen ist.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Extraktionsbereichsetzeinrichtung (S41 – S46) einen rechten Extraktionsbereich, der eine horizontale Koordinate eines rechten Endes des von der Binärisiertes-Objekt-Extraktionseinrichtung (S4 – S7) extrahierten binärisierten Objekts aufweist, und einen linken Extraktionsbereich, der eine horizontale Koordinate eines linken Endes des binärisierten Objekts (100) aufweist, setzt, wobei die Suchbereichsetzeinrichtung (S41 – S46) die Suchbereiche jeweils um den rechten Extraktionsbereich und den linken Extraktionsbereich herum setzt, wobei die Ahnliches-Objekt-Extraktionseinrichtung (S41 – S46) dann, wenn ein Objekt mit einer ähnlichen Form wie ein Objekt in dem linken Extraktionsbereich sich im dem linken Extraktionsbereich entsprechenden Suchbereich befindet, oder dann, wenn ein Objekt mit einer ähnlichen Form wie das Objekt in dem rechten Extraktionsbereich sich im dem rechten Extraktionsbereich entsprechenden Suchbereich befindet, das Objekt, das die ähnliche Form in dem Suchbereich aufweist, als ähnliches Objekt extrahiert, und wobei die Identisches-Objekt-Bestimmungseinrichtung (S41 – S46) bestimmt, ob das Objekt in dem linken Extraktionsbereich und das ähnliche Objekt im dem linken Extraktionsbereich entsprechenden Suchbereich identisch sind oder nicht, oder ob das Objekt in dem rechten Extraktionsbereich und das ähnliche Objekt im dem rechten Extraktionsbereich entsprechenden Suchbereich identisch sind oder nicht.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß einem der vorhergehenden Ansprüche, gekennzeichnet durch eine Fußgängererkennungseinrichtung (S34), die einen Bereich, der das Objekt enthält, das durch die Identisches-Objekt-Bestimmungseinrichtung (S41 – S46) als identisches Objekt bestimmt worden ist, ausschließt und aus einem binärisierten Objekt (100) in einem verbleibenden Bereich einen Fußgänger erkennt.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 4, gekennzeichnet durch eine Warnausgabeeinrichtung (S19, S20), die in Bezug auf den in der Fußgängererkennungseinrichtung (S34) erkannten Fußgänger eine Warnung ausgibt.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 1, gekennzeichnet durch eine Fußgängererkennungseinrichtung (S34), die im von der Binärisiertes-Objekt-Extraktionseinrichtung (S4) extrahierten binärisierten Objekt (100) einen Fußgänger erkennt.
Fahrzeugumgebungs-Überwachungsvorrichtung, umfassend: eine Infrarotbildaufnahmeeinrichtung (2R, 2L), die ein Bild aufnimmt; eine Binärisiertes-Objekt-Extraktionseinrichtung (S4 – S7), die durch Binärisierung des Bildes ein binärisiertes Objekt (100) extrahiert; eine Extraktionsbereichsetzeinrichtung (S41 – S46), die als Extraktionsbereich einen Bereich setzt, der einem Oberende oder einem Unterende des durch die Binärisiertes-Objekt-Extraktionseinrichtung (S4 – S7) extrahierten binärisierten Objekts (100) benachbart ist; eine Suchbereichsetzeinrichtung (S41 – S46), die einen Suchbereich in die Umgebung des Extraktionsbereichs setzt; eine Ähnliches-Objekt-Extraktionseinrichtung (S41 – S46), die dann, wenn sich in den Suchbereichen weitere Objekte mit einer Form befinden, die jener des Objekts in dem Extraktionsbereich ähnlich ist, das Objekt in dem Suchbereich als ähnliches Objekt extrahiert; und eine Identisches-Objekt-Bestimmungseinrichtung (S41 – S46), die bestimmt, ob das Objekt in dem Extraktionsbereich und das ähnliche Objekt in dem Suchbereich identisch ist oder nicht, dadurch gekennzeichnet, dass die Extraktionsbereichsetzeinrichtung (S41 – S46) einen rechten Extraktionsbereich, der eine horizontale Koordinate eines rechten Endes des von der Binärisierten-Objekt-Extraktionseinrichtung (S4 – S7) extrahierten binärisierten Objekts aufweist, und einen linken Extraktionsbereich, der eine horizontale Koordinate eines linken Endes des binärisierten Objekts (100) aufweist, setzt, wobei die Suchbereichsetzeinrichtung (S41 S46) die Suchbereiche jeweils um den rechten Extraktionsbereich und den linken Extraktionsbereich herum setzt, wobei die Ähnliches-Objekt-Extraktionseinrichtung (S41 – S46) dann, wenn ein Objekt mit einer ähnlichen Form wie ein Objekt in dem linken Extraktionsbereich sich in dem linken Extraktionsbereich entsprechenden Suchbereich befindet, oder dann, wenn ein Objekt mit einer ähnlichen Form wie das Objekt in dem rechten Extraktionsbereich sich mit dem rechten Extraktionsbereich entsprechenden Suchbereich befindet, das Objekt, das die ähnliche Form in dem Suchbereich aufweist, als ähnliches Objekt extrahiert, und wobei die Identisches-Objekt-Bestimmungseinrichtung (S41 – S46) bestimmt, ob das Objekt in dem linken Extraktionsbereich und das ähnliche Objekt in dem linken Extraktionsbereich entsprechenden Suchbereich identisch sind oder nicht, oder ob das Objekt in dem rechten Extraktionsbereich und das ähnliche Objekt in dem rechten Extraktionsbereich entsprechenden Suchbereich identisch sind oder nicht.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 7, gekennzeichnet durch: eine zweite Infrarotbildaufnahmeeinrichtung (2R); und eine Abstandsberechnungseinrichtung (S13), die beruhend auf den zwei von den Infrarotbildaufnahmeeinrichtungen (2R, 2L) aufgenommenen Bildern, einen Abstand zu dem in den Bildern enthaltenen Objekt berechnet, wobei die Identisches-Objekt-Bestimmungseinrichtung (S41 – S46) bestimmt, dass das Objekt in dem Extraktionsbereich und die ähnlichen Objekte in den Suchbereichen identisch sind, wenn ein Abstand zu dem Objekt in dem Extraktionsbereich gleich einem Abstand zu den ähnlichen Objekten in den Suchbereichen ist.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 7, gekennzeichnet durch eine Fußgängererkennungseinrichtung (S34), die einen Bereich, der das Objekt enthält, das durch die Identisches-Objekt-Bestimmungseinrichtung (S41 – S46) als identisches Objekt bestimmt worden ist, ausschließt und aus einem binärisierten Objekt (100) in einem verbleibenden Bereich einen Fußgänger erkennt.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 7, gekennzeichnet durch eine Warnausgabeeinrichtung (S19, S20), die in Bezug auf den in der Fußgängererkennungseinrichtung (S34) erkannten Fußgänger eine Warnung ausgibt.
Fahrzeugumgebungs-Überwachungsvorrichtung, umfassend: eine Infrarotbildaufnahmeeinrichtung (2R, 2L), die ein Bild aufnimmt; eine Binärisiertes-Objekt-Extraktionseinrichtung (S4 – S7), die durch Binärisierung des Bildes ein binärisiertes Objekt (100) extrahiert; eine Extraktionsbereichsetzeinrichtung (S41 – S46), die als Extraktionsbereich einen Bereich setzt, der sich von dem binärisierten Objekt (100) unterscheidet und der einem Oberende oder einem Unterende des durch die Binärisiertes-Objekt-Extraktionseinrichtung (S4 – S7) extrahierten binärisierten Objekts (100) benachbart ist; eine Suchbereichsetzeinrichtung (S41 – S46), die einen Suchbereich in die Umgebung des Extraktionsbereichs setzt; eine Ähnliches-Objekt-Extraktionseinrichtung (S41 – S46), die dann, wenn sich in dem Suchbereich ein Objekt mit einer Form befindet, die jener des Objekts in dem Extraktionsbereich ähnlich ist, das Objekt in dem Suchbereich als ähnliches Objekt extrahiert; und eine Identisches-Objekt-Bestimmungseinrichtung (S41 – S46), die bestimmt, ob das Objekt in dem Extraktionsbereich und das ähnliche Objekt in dem Suchbereich identisch ist oder nicht.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 11, gekennzeichnet durch: eine zweite Infrarotbildaufnahmeeinrichtung (2R); und eine Abstandsberechnungseinrichtung (S13), die beruhend auf den zwei von den Infrarotbildaufnahmeeinrichtungen (2R, 2L) aufgenommenen Bildern, einen Abstand zu dem in den Bildern enthaltenen Objekt berechnet, wobei die Identisches-Objekt-Bestimmungseinrichtung (S41 – S46) bestimmt, dass das Objekt in dem Extraktionsbereich und die ähnlichen Objekte in den Suchbereichen identisch sind, wenn ein Abstand zu dem Objekt in dem Extraktionsbereich gleich einem Abstand zu den ähnlichen Objekten in den Suchbereichen ist.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 11, gekennzeichnet durch eine Fußgängererkennungseinrichtung (S34), die einen Bereich, der das Objekt enthält, das durch die Identisches-Objekt-Bestimmungseinrichtung (S41 – S46) als identisches Objekt bestimmt worden ist, ausschließt und aus einem binärisierten Objekt (100) in einem verbleibenden Bereich einen Fußgänger erkennt.
Fahrzeugumgebungs-Überwachungsvorrichtung gemäß Anspruch 11, gekennzeichnet durch eine Warnausgabeeinrichtung (S19, S20), die in Bezug auf den in der Fußgängererkennungseinrichtung (S34) erkannten Fußgänger eine Warnung ausgibt.