DE102007002419B4

DE102007002419B4 - Fahrzeugumgebungsüberwachungsgerät, -verfahren und -programm

Info

Publication number: DE102007002419B4
Application number: DE102007002419A
Authority: DE
Inventors: Nobuharu Nagaoka; Takayuki Tsuji
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2006-01-17
Filing date: 2007-01-17
Publication date: 2012-02-16
Anticipated expiration: 2027-01-18
Also published as: JP4426535B2; US20070165910A1; JP2007193445A; DE102007002419A1; US8175331B2

Abstract

Fahrzeugumgebungs-Überwachungsgerät, welches um ein Fahrzeug herum vorhandene Objekte aus Bildern detektiert, die von zwei auf dem Fahrzeug montierten Bildsensoren, die sich links- bzw. rechtsseitig in der Front des Fahrzeugs befinden und die Ansichten vor dem Fahrzeug abbilden, erhalten werden, umfassend: eine Objektextraktions-Verarbeitungseinheit, welche die Objekte aus einem vorbestimmten Standardbild der von den beiden Bildsensoren erhaltenen Bildern extrahiert; und eine Bildverarbeitungseinheit, welche aus dem Standardbild ein Zielbild extrahiert, indem eines der Objekte ausgewählt wird, und welche in einem Referenzbild ein dem Zielbild entsprechendes Bild extrahiert; gekennzeichnet durch eine Fahrumfelddetektier-Verarbeitungseinheit, die eine Fahrumgebung des Fahrzeugs detektiert; und eine Standardbildauswahl-Verarbeitungseinheit, die aus den von den beiden Bildsensoren erhaltenen Bildern gemäß dem von der Fahrumfelddetektier-Verarbeitungseinheit detektierten Fahrumfeld erneut ein Standardbild zur Verwendung in der Verarbeitung der Objektextraktions-Verarbeitungseinheit auswählt.

Description

HINTERGRUND DER ERFINDUNG
1. Gebiet der Erfindung
Die vorliegende Erfindung bezieht sich auf ein Fahrzeugumgebungs-Überwachungsgerät bzw. -verfahren bzw. -programm gemäß dem Oberbegriff der Ansprüche 1, 11, 12, 13, und 15.
2. Beschreibung des Stands der Technik
In den letzten Jahren ist eine Technologie des Abbildens der Umgebung eines Fahrzeugs mit einer Mehrzahl von Bildsensoren, wie beispielsweise auf dem Fahrzeug montierten CCD-Kameras, bekannt geworden, die auf Grundlage einer Differenz (Parallaxe) zwischen Bildern, die von einer Mehrzahl von Bildsensoren erhalten worden sind, einen Abstand zwischen einem um das Fahrzeug herum vorhandenen Objekt, wie beispielsweise einem Fußgänger, und dem Fahrzeug detektieren, die auf Grundlage des detektierten Ergebnisses ein Objekt, wie beispielsweise ein Fußgänger, bestimmen, für das ein hohes Kollisionsrisiko besteht, und die einem Fahrer Informationen darbieten (siehe beispielsweise die JP 2001-6 096 A ).
Bei dem in der JP 2001-6 096 A offenbarten Fahrzeugumgebungs-Überwachungsgerät ist auf einem Fahrzeug eine von zwei Infrarotkameras gebildete, stereoskopische Kamera montiert, wobei ein von einer rechten Kamera (rechtes Bild) der stereoskopischen Kamera erhaltenes Bild als Standardbild verwendet wird. Das Fahrzeugumgebungs-Überwachungsgerät überträgt das Standardbild in die Binärdarstellung, indem ein Wert auf ”1” (weiß) festgelegt wird, falls die Helligkeit einer Fläche ein vorbestimmter Schwellenwert oder höher ist, und andernfalls auf ”0” (schwarz) festgelegt wird, benennt das Binärbild und extrahiert Objekte, die um das Fahrzeug herum vorhanden sind. Danach durchsucht das Fahrzeugumgebungs-Überwachungsgerät zu jedem der aus dem Standardbild extrahierten Objekte das von der linken Kamera erhaltene Bild (das linke Bild) nach dem jeweils entsprechenden Objekt, und detektiert auf Grundlage der Parallaxe zwischen dem Objekt im Standardbild und dem Objekt, welches dem Objekt im linken Bild entspricht, die Position des Objekts bezüglich des Fahrzeugs.
In der Umgebung des Fahrzeugs können als Detektierziele (Detektierobjekte) jedoch auch von Fußgängern oder anderen Objekten verschiedene Objekte (Hintergrundobjekte) vorhanden sein, wie beispielsweise Gebäude oder Zäune. Falls die Umgebung von den auf dem Fahrzeug montierten Bildsensoren in dieser Situation abgebildet wird, werden die Hintergrundobjekte zusammen mit den Detektierobjekten als eine Szene abgebildet. Wenn die Objekte nach der Übertragung der erhaltenen Bilder in Binärdarstellung extrahiert werden, werden zusätzlich zu Flächen, die den Detektierobjekten entsprechen, deshalb auch die den Hintergrundobjekten entsprechenden Flächen extrahiert.
Falls sich das Detektierobjekt und das Hintergrundobjekt bei dem Fahrzeugumgebungs-Überwachungsgerät der JP 2001-6 096 A in Blickrichtung der rechten Kamera beispielsweise auf einer geraden Linie befinden, werden das Detektierobjekt und das Hintergrundobjekt außerdem derart extrahiert, dass die beiden Objekte einander im Standardbild überlappen. Deshalb kann im Standardbild eine dem Detektierobjekt entsprechende Fläche nicht von einer dem Hintergrundobjekt entsprechenden Fläche getrennt werden, wodurch die Objekte nicht ordnungsgemäß extrahiert werden können. Dementsprechend hat in dieser Situation das Problem bestanden, dass die Position eines Objekts bezüglich des Fahrzeugs nicht ordnungsgemäß detektiert werden kann, da das dem extrahierten Objekt entsprechende Objekt nicht gefunden werden kann oder da die Parallaxe nicht korrekt erhalten werden kann.
Die gattungsbildende DE 103 01 468 A1 offenbart eine Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs, in welcher zwei Kameras in der Front des Fahrzeugs angebracht sind, so dass sie sich überlappende Objektbereiche aufnehmen. Die Bilder der beiden Kameras werden kombiniert ausgewertet, etwa um den Abstand zu einem erfassten Objekt zu bestimmen. Dabei wird stets das Bild der rechten Kamera als Referenzbild ausgewählt, indem erkannte Objekte den entsprechenden Objekten im Bild der linken Kamera zugeordnet werden.
Ferner sei auf die DE 101 08 646 A1 verwiesen, die eine Gefahrenentscheidungsvorrichtung für ein Kraftfahrzeug und eine Umgebungsüberwachungsvorrichtung für dasselbe betrifft. Es sind im Fahrzeug drei Kameras vorgesehen, eine nach hinten gerichtete und zwei am vorderen Ende des Fahrzeugs jeweils nach rechts und links gerichtete. Abhängig von der Fahrsituation, etwa ob eine Geradeausfahrt entlang eines Straßenverlaufs oder eine Annäherung an eine Kreuzung stattfindet, wird eine der jeweiligen Kameras zur Bildaufnahme ausgewählt, deren Bild dann der Gefahrenentscheidungsvorrichtung zugeführt wird. Alle Kameras sind jedoch in verschiedene Richtungen gerichtet und können somit keine sich überlappenden Objektbereiche auszeichnen.
ABRISS DER ERFINDUNG
Deshalb ist es eine Aufgabe der vorliegenden Erfindung, ein Fahrzeugumgebungs-Überwachungsgerät und -verfahren vorzusehen, die in der Lage sind, das oben erwähnte Problem zu beheben und Objekte ordnungsgemäß zu detektieren, indem die Möglichkeit der Überlappung zwischen einem Detektierobjekt und einem Hintergrundobjekt in einem Standardbild verringert wird, wenn die um das Fahrzeug herum vorhandenen Objekte aus einer Mehrzahl von Bildsensoren erhaltenen Bildern detektiert werden, und ein Fahrzeugumgebungs-Überwachungsprogramm vorzusehen, welches einen Computer dazu veranlasst, die Verarbeitung des Fahrzeugumgebungs-Überwachungsgeräts durchzuführen.
Diese Aufgabe wird gemäß eines ersten Gesichtspunkts der vorliegenden Erfindung durch ein Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 1 gelöst (Erste Erfindung).
Bei dem Fahrzeugumgebungs-Überwachungsgerät gemäß dem ersten Gesichtspunkt der vorliegenden Erfindung extrahiert die Objektextraktions-Verarbeitungseinheit die Objekte aus dem vorbestimmten Standardbild der von zwei auf dem Fahrzeug montierten Bildsensoren erhaltenen Bildern. Zudem werden die um das Fahrzeug herum vorhandenen Objekte auf Grundlage der in der oben erwähnten Verarbeitung extrahierten Objekte detektiert. Es sollte beachtet werden, dass die von den beiden auf dem Fahrzeug montierten Bildsensoren erhaltenen Bilder neben den Detektierobjekten, wie beispielsweise einem Fußgänger, auch um die Straßen herum vorhandene Hintergrundobjekte, wie beispielsweise ein Gebäude, einen Zaun oder dergleichen, einschließen können. Wenn dies der Fall ist, werden die abgebildeten Hintergrundobjekte in Folge der Durchführung der Objektextraktions-Verarbeitung, wie beispielsweise der Übertragung des Bilds in die Binärdarstellung, zusammen mit dem Detektierobjekten extrahiert.
In dieser Situation hängt die örtliche Beziehung zwischen dem Detektierobjekt und dem Hintergrundobjekt im Bild von der örtlichen Beziehung zwischen dem Detektierobjekt und dem Hintergrundobjekt bezüglich jedes Bildsensors im realen Raum ab. Insbesondere dann, wenn sich der Bildsensor, das Detektierobjekt und das Hintergrundobjekt im realen Raum auf einer geraden Linie befinden, überlappt das Detektierobjekt das Hintergrundobjekt in dem vom Bildsensor erhaltenen Bild. Falls das Detektierobjekt das Hintergrundobjekt im Bild überlappt, ist es schwierig, das Detektierobjekt im Bild vom Hintergrundobjekt zu trennen, nachdem die Objekte aus dem Bild extrahiert worden sind.
Deshalb detektiert die Fahrumfelddetektier-Verarbeitungseinheit ein Fahrumfeld des Fahrzeugs. Hier sollte beachtet werden, dass das Fahrumfeld des Fahrzeugs die Informationenbezüglich des Umfelds bedeutet, wo das Ausmaß der Möglichkeit der Überlappung zwischen dem Detektierobjekt und dem Hintergrundobjekt in den Bildern erkannt oder geschätzt werden kann, die von den auf dem Fahrzeug montierten Bildsensoren erhalten worden sind. Da die Verteilung der um das Fahrzeug herum vorhandenen Objekte auf Grundlage des detektierten Fahrumfelds des Fahrzeugs geschätzt werden kann, wird die Möglichkeit der Überlappung zwischen dem Detektierobjekt und dem Hintergrundobjekt in dem von jedem Bildsensor erhaltenen Bild ermittelt. Deshalb kann die Standardbildauswahl-Verarbeitungseinheit erneut ein Bild, welches eine niedrigere Möglichkeit der Überlappung zwischen dem Detektierobjekt und dem Hintergrundobjekt im Bild aufweist, als das Standardbild zur Verwendung in der Verarbeitung der Objektextraktions-Verarbeitungseinheit auswählen, indem aus den von den beiden Bildsensoren erhaltenen Bildern gemäß dem von der Fahrumfelddetektier-Verarbeitungseinheit detektierten Fahrumfeld das Standardbild gewählt wird.
Da die Standardbildauswahl-Verarbeitungseinheit, wie oben beschrieben, die Möglichkeit einer Überlappung zwischen dem Detektierobjekt und dem Hintergrundobjekt im Standardbild verringert, wird das Detektierobjekt im Standardbild vom Hintergrundobjekt getrennt und wird dadurch die Genauigkeit der Objektextraktion verbessert, wenn die Standardbildauswahl-Verarbeitungseinheit die Standardbildauswahlverarbeitung für das vorbestimmte Standardbild durchführt. Deshalb werden die Objekte gemäß der vorliegenden Erfindung korrekt aus dem Standardbild extrahiert und werden die Objekte dadurch ordnungsgemäß detektiert.
Vorzugsweise umfasst das Fahrzeugumgebungs-Überwachungsgerät gemäß dem ersten Gesichtspunkt der vorliegenden Erfindung ferner eine Positionsdetektier-Verarbeitungseinheit, die auf Grundlage der von den beiden Bildsensoren erhaltenen Bilder und der von der Objektextraktions-Verarbeitungseinheit extrahierten Objekte die Position jedes der Objekte bezüglich des Fahrzeugs detektiert.
Dementsprechend detektiert die Positionsdetektier-Verarbeitungseinheit auf Grundlage der von den beiden Bildsensoren erhaltenen Bilder und der von der Objektextraktions-Verarbeitungseinheit extrahierten Objekte die Position des Objekts bezüglich des Fahrzeugs. Insbesondere durchsucht die Positionsdetektier-Verarbeitungseinheit beispielsweise ein vom Standardbild der von den beiden Bildsensoren erhaltenen Bilder verschiedenes Bild (Referenzbild) zu jedem der von der Objektextraktions-Verarbeitungseinheit aus dem Standardbild extrahierten Objekte nach einem entsprechenden Objekt. Danach berechnet die Positionsdetektier-Verarbeitungseinheit eine Parallaxe, die einer Differenz zwischen der Position des Objekts im Standardbild und der Position des Objekts im Referenzbild entspricht, und detektiert auf Grundlage der berechneten Parallaxe die Position des Objekts bezüglich des Fahrzeugs. In dieser Verarbeitung verringert die Standardbildauswahl-Verarbeitungseinheit gemäß der vorliegenden Erfindung die Möglichkeit der Überlappung zwischen dem Detektierobjekt und dem Hintergrundobjekt im Standardbild, wodurch die Genauigkeit der Objektextraktion der Objektextraktions-Verarbeitungseinheit im Standardbild verbessert wird, und deshalb kann die Position des Objekts unter Verwendung der Objektextraktions-Verarbeitungseinheit mit größerer Genauigkeit detektiert werden.
Falls eine Straße, auf welcher das Fahrzeug vorhanden ist, eine Mehrzahl von Fahrbahnen aufweist, detektiert die Fahrumfelddetektier-Verarbeitungseinheit bei dem Fahrzeugumgebungs-Überwachungsgerät gemäß dem ersten Gesichtspunkt der vorliegenden Erfindung vorzugsweise einen Straßenrand der Straße, auf welcher das Fahrzeug vorhanden ist, als das Fahrumfeld; und wählt die Standardbildauswahl-Verarbeitungseinheit erneut ein Bild als das Standardbild zur Verwendung in der Verarbeitung der Objektextraktions-Verarbeitungseinheit aus, welches von einem Bildsensor erhalten worden ist, der von den beiden Bildsensoren dem von der Fahrumfelddetektier-Verarbeitungseinheit detektierten Straßenrand der Strafe am nächsten angeordnet ist.
Dementsprechend detektiert die Fahrumfelddetektier-Verarbeitungseinheit den Straßenrand der Strafe, auf welcher das Fahrzeug vorhanden ist, als das Fahrumfeld. Falls der Verkehr, wie gemäß der japanischen Verkehrsregelung, linksseitig geführt wird und die Straße zwei Fahrbahnen mit jeweils einer Fahrbahn in jeder Richtung aufweist, wird die örtliche Beziehung des Straßenrands bezüglich des Fahrzeugs beispielsweise derart detektiert, dass sich auf der rechten Seite des Fahrzeugs eine entgegenkommende Fahrbahn befindet und sich auf der linken Seite des Fahrzeugs der Straßenrand befindet. Im Allgemeinen weist der Straßenrand der Straße einen Gehsteig, einen Seitenstreifen oder dergleichen auf, auf welchem Fußgänger gehen.
In dieser Situation werden um den Straßenrand herum vorhandene Hintergrundobjekte, wie beispielsweise ein Gebäude, ein Zaun und dergleichen, in der den Straßenrand einschließenden Fläche des Bilds abgebildet. Dort wo das Detektierobjekt in der den Straßenrand einschließenden Fläche des Bilds abgebildet ist, wird deshalb angenommen, dass eine größere Möglichkeit der Überlappung zwischen einem Detektierobjekt und einem Hintergrundobjekt im Bild besteht als in dem Fall, in welchem das Detektierobjekt in einer Fläche des Bilds abgebildet ist, die eine entgegenkommende Fahrbahn einschließt.
In dem Fall, in welchem das Detektierobjekt in der den Straßenrand einschließenden Fläche des Bilds abgebildet ist, wird ein Hintergrundobjekt, welches auf einer Verlängerung einer geraden Linie vorhanden ist, die den im Bereich des Straßenrands vorhandenen Bildsensor und das Detektierobjekt verbindet, als das Detektierobjekt als dessen Hintergrund überlappend im Bild abgebildet. In dieser Situation bildet eine gerade Linie, welche den sich in der Nähe des Straßenrands befindenden Bildsensor und das Detektierobjekt verbindet, mit einer optischen Achse des Bildsensors einen kleineren Winkel als eine gerade Linie, welche den vom Straßenrand entfernt angeordneten Bildsensor und das Detektierobjekt verbindet. In dem Bild, welches von dem sich in der Nähe des Straßenrands befindenden Bildsensor erhalten worden ist, erscheint deshalb ein im Bereich des Straßenrands vorhandenes, weiter entferntes Hintergrundobjekt. Je weiter das Hintergrundobjekt vom Bildsensor entfernt ist, desto kleiner erscheint es überdies im Bild, und es kann überhaupt nicht mehr abgebildet werden, falls es zu weit vom Bildsensor entfernt ist, um aufgrund eines Überschreitens des möglichen Bereichs abgebildet zu werden. Es wird deshalb angenommen, dass das von dem vom Straßenrand entfernten Bildsensor erhaltene Bild möglicherweise eher ein Detektierobjekt einschließt, welches ein Hintergrundobjekt überlappt.
Dementsprechend wählt die Standardbildauswahl-Verarbeitungseinheit erneut ein Bild, welches von einem Bildsensor erhalten worden ist, der von den beiden Bildsensoren dem von der Fahrumfelddetektier-Verarbeitungseinheit detektierten Straßenrand der Straße am nächsten angeordnet ist, als Standardbild zur Verwendung in der Verarbeitung der Objektextraktions-Verarbeitungseinheit aus. Dadurch wird das Standardbild derart ausgewählt, dass die Möglichkeit der Überlappung zwischen einem Detektierobjekt und einem Hintergrundobjekt im Standardbild verringert wird, wodurch die Standardbildauswahl-Verarbeitungseinheit das Objekt aus dem Standardbild ordnungsgemäß extrahiert.
Falls die Straße, auf welcher das Fahrzeug vorhanden ist, eine Mehrzahl von Fahrbahnen aufweist, umfasst das Fahrzeugumgebungs-Überwachungsgerät gemäß dem ersten Gesichtspunkt der vorliegenden Erfindung vorzugsweise ferner eine Eingabevorrichtung, in welche ein Fahrzeuginsasse Informationen über den Straßenrand der Straße eingibt, und detektiert die Fahrumfelddetektier-Verarbeitungseinheit auf Grundlage der in die Eingabevorrichtung eingegebenen Informationen über den Straßenrand der Straße den Straßenrand der Straße, auf welcher das Fahrzeug vorhanden ist.
Da der Fahrzeuginsasse die Informationen über den Straßenrand der Straße eingibt wie zum Beispiel, dass der Verkehr auf der Straße, auf welcher das Fahrzeug vorhanden ist, linksseitig geführt wird, detektiert die Fahrumfelddetektier-Verarbeitungseinheit dementsprechend die örtliche Beziehung des Straßenrands der Straße, auf welcher das Fahrzeug vorhanden ist, bezüglich des Fahrzeugs. Deshalb kann die Standardbildauswahl-Verarbeitungseinheit erneut das Bild, welches von dem Bildsensor erhalten worden ist, der dem Straßenrand der Straße am nächsten angeordnet ist, als Standardbild zur Verwendung in der Verarbeitung der Objektextraktions-Verarbeitungseinheit auswählen.
Falls die Straße, auf welcher das Fahrzeug vorhanden ist, eine Mehrzahl von Fahrbahnen aufweist, weist das Fahrzeug bei dem Fahrzeugumgebungs-Überwachungsgerät gemäß dem ersten Gesichtspunkt der vorliegenden Erfindung alternativ vorzugsweise ein Fahrzeugnavigationssystem auf, und detektiert die Fahrumfelddetektier-Verarbeitungseinheit auf Grundlage der vom Fahrzeugnavigationssystem erhaltenen Informationen über den Straßenrand der Straße den Straßenrand der Straße, auf welcher das Fahrzeug vorhanden ist.
Da die Informationen über den Straßenrand, wie zum Beispiel, dass der Verkehr auf der Straße, auf welcher das Fahrzeug vorhanden ist, linksseitig geführt wird, vom Fahrzeugnavigationssystem erhalten werden, detektiert die Fahrumfelddetektier-Verarbeitungseinheit dementsprechend die örtliche Beziehung des Straßenrands der Straße, auf welcher das Fahrzeug vorhanden ist, bezüglich des Fahrzeugs. Deshalb kann die Standardbildauswahl-Verarbeitungseinheit erneut das Bild, welches von dem Bildsensor erhalten worden ist, der dem Straßenrand der Straße am nächsten angeordnet ist, als Standardbild zur Verwendung in der Verarbeitung der Objektextraktions-Verarbeitungseinheit auswählen.
Falls die Straße, auf welcher das Fahrzeug vorhanden ist, eine Mehrzahl von Fahrbahnen aufweist, umfasst das Fahrzeugumgebungs-Überwachungsgerät gemäß dem ersten Gesichtspunkt der vorliegenden Erfindung alternativ vorzugsweise ferner eine Relativgeschwindigkeitsberechnungs-Verarbeitungseinheit, die zu jedem der von der Objektextraktions-Verarbeitungseinheit extrahierten Objekte eine Relativgeschwindigkeit bezüglich des Fahrzeugs berechnet, und wählt die Fahrumfelddetektier-Verarbeitungseinheit auf Grundlage der von der Relativgeschwindigkeitsberechnungs-Verarbeitungseinheit berechneten Relativgeschwindigkeit aus den extrahierten Objekten ein weiteres Fahrzeug aus, welches aus einer zur Richtung des Fahrzeugs entgegengesetzten Richtung kommt (ein anderes Fahrzeug, welches in der zur Richtung des Fahrzeugs entgegengesetzten Richtung fährt), und detektiert auf Grundlage der Position des ausgewählten, weiteren Fahrzeugs den Straßenrand der Straße, auf welcher das Fahrzeug vorhanden ist.
Dementsprechend berechnet die Relativgeschwindigkeitsberechnungs-Verarbeitungseinheit die Relativgeschwindigkeit des von der Objektextraktions-Verarbeitungseinheit extrahierten Objekts bezüglich des Fahrzeugs. Die Objektextraktions-Verarbeitung erfolgt beispielsweise durch die Übertragung in Binärdarstellung, und das extrahierte Objekt schließt neben dem Detektierobjekt, wie einem Fußgänger oder einem weiteren Fahrzeug im Bereich des Fahrzeugs, ein im Bereich der Straße vorhandenes Hintergrundobjekt ein, wie beispielsweise ein Gebäude oder einen Zaun.
In dieser Situation nähert sich ein anderes Fahrzeug (ein entgegenkommendes Fahrzeug), welches aus der zur Richtung des Fahrzeugs entgegengesetzten Richtung kommt, dem Fahrzeug im Allgemeinen mit einer höheren Geschwindigkeit als ein im Bereich der Straße vorhandener Fußgänger oder ein ruhender Körper (ein Gebäude, ein Zaun oder dergleichen). Deshalb kann die Fahrumfelddetektier-Verarbeitungseinheit auf Grundlage der von der Relativgeschwindigkeitsberechnungs-Verarbeitungseinheit berechneten Relativgeschwindigkeit aus den extrahierten Objekten das entgegenkommende Fahrzeug auswählen. Da die örtliche Beziehung der entgegenkommenden Fahrbahn bezüglich des Fahrzeugs aus der Position des ausgewählten, entgegenkommenden Fahrzeugs bekannt ist, kann die Fahrumfelddetektier-Verarbeitungseinheit auf Grundlage der Position des ausgewählten, entgegenkommenden Fahrzeugs außerdem den sich auf der gegenüberliegenden Seite der entgegenkommenden Fahrbahn befindenden Straßenrand detektieren. Deshalb kann die Standardbildauswahl-Verarbeitungseinheit erneut ein Bild, welches von dem Bildsensor erhalten worden ist, der dem Straßenrand der Straße am nächsten angeordnet ist, als das Standardbild zur Verwendung in der Verarbeitung der Objektextraktions-Verarbeitungseinheit auswählen.
Falls sich die beiden Bildsensoren links- bzw. rechtsseitig in der Front des Fahrzeugs befinden, die Ansichten vor dem Fahrzeug abbilden, detektiert die Fahrumfelddetektier-Verarbeitungseinheit bei dem Fahrzeugumgebungs-Überwachungsgerät gemäß dem ersten Gesichtspunkt der vorliegenden Erfindung vorzugsweise denjenigen Bereich der linken und rechten Bereiche vor dem Fahrzeug, der mehr von den Objekten verschiedene Dinge einschließt, als das Fahrumfeld und wählt die Standardbildauswahl-Verarbeitungseinheit erneut ein Bild, welches von dem Bildsensor der beiden Bildsensoren erhalten worden ist, der sich auf der Seite des von der Fahrumfelddetektier-Verarbeitungseinheit detektierten Bereichs befindet, als das Standardbild zur Verwendung in der Verarbeitung der Objektextraktions-Verarbeitungseinheit aus.
Dementsprechend detektiert die Fahrumfelddetektier-Verarbeitungseinheit denjenigen Bereich der linken und rechten Bereiche vor dem Fahrzeug, der mehr von den Objekten verschiedene Dinge einschließt, als das Fahrumfeld. Falls das Detektierobjekt in einer Fläche abgebildet wird, die dem fraglichen Bereich in dem oben erwähnten Bild entspricht, besteht eine hohe Wahrscheinlichkeit der Überlappung zwischen dem Detektierobjekt und dem Hintergrundobjekt.
Falls das Detektierobjekt in der Fläche erscheint, die dem fraglichen Bereich in dem Bild entspricht, wird überdies ein Hintergrundobjekt, welches im fraglichen Bereich und auf einer Verlängerung der geraden Linie vorhanden ist, die den Bildsensor und das Detektierobjekt verbindet, als das Detektierobjekt als dessen Hintergrund überlappend abgebildet. In dieser Situation bildet die gerade Linie, welche den sich auf der Seite des fraglichen Bereichs (auf der gleichen Seite wie der fragliche Bereich) befindenden Bildsensor und das Detektierobjekt verbindet, mit der optischen Achse des Bildsensors einen kleineren Winkel als eine gerade Linie, welche den sich auf der dem fraglichen Bereich gegenüberliegenden Seite befindenden Bildsensor und das Detektierobjekt verbindet. Ein im fraglichen Bereich weiter entferntes Hintergrundobjekt erscheint deshalb in dem Bild, welches von dem sich auf der Seite des fraglichen Bereichs befindenden Bildsensor erhalten worden ist. Je weiter das Hintergrundobjekt vom Bildsensor entfernt ist, desto kleiner erscheint es überdies im Bild, und ferner kann es überhaupt nicht mehr abgebildet werden, falls es zu weit vom Bildsensor entfernt ist, um aufgrund eines Überschreitens des möglichen Bereichs noch abgebildet zu werden. Es wird deshalb angenommen, dass das Bild, welches von dem sich auf der dem fraglichen Bereich gegenüberliegenden Seite befindenden Bildsensor erhalten worden ist, möglicherweise eher ein Detektierobjekt einschließt, welches ein Hintergrundobjekt überlappt.
Dementsprechend wählt die Standardbildauswahl-Verarbeitungseinheit erneut ein Bild, welches von dem Bildsensor auf der Seite des von der Fahrumfelddetektier-Verarbeitungseinheit der beiden Bildsensoren detektierten Bereichs erhalten worden ist, als das Standardbild zur Verwendung in der Verarbeitung der Objektextraktions-Verarbeitungseinheit aus. Dadurch wird das Standardbild derart ausgewählt, dass die Möglichkeit der Überlappung zwischen einem Detektierobjekt und einem Hintergrundobjekt im Standardbild verringert wird, wodurch die Standardbildauswahl-Verarbeitungseinheit das Objekt aus dem Standardbild ordnungsgemäß extrahiert.
Falls die Straße, auf welcher das Fahrzeug vorhanden ist, eine Mehrzahl von Fahrbahnen aufweist, wird beispielsweise angenommen, dass der Bereich der linken und rechten Bereiche vor dem Fahrzeug, der mehr von Objekten verschiedene Dinge einschließt, ein Bereich auf der Seite des Straßenrands der Straße ist, der ein Gebäude, einen Zaun oder dergleichen im Bereich der Straße einschließt, und wird zudem angenommen, dass der Bereich, der weniger von Objekten verschiedene Dinge einschließt, ein Bereich auf der Seite der entgegenkommenden Fahrbahn ist, die nahezu vollständig von einer Straßenoberfläche bedeckt ist. Deshalb ist der Bildsensor auf der Seite des von der Fahrumfelddetektier-Verarbeitungseinheit der beiden Bildsensoren detektierten Bereichs in dieser Situation ein dem Straßenrand näher angeordneter Bildsensor.
Falls sich die beiden der Bildsensoren links- bzw. rechtsseitig in der Front des Fahrzeugs befinden, die Ansichten vor dem Fahrzeug abbilden, umfasst das Fahrzeugumgebungs-Überwachungsgerät gemäß dem ersten Gesichtspunkt der vorliegenden Erfindung vorzugsweise ferner eine Flächenextraktions-Verarbeitungseinheit, die eine Fläche extrahiert, die im Bild Pixeldaten eines vorbestimmten Schwellenwerts oder größer aufweist, indem das von zumindest einem der beiden Bildsensoren erhaltene Bild in Binärdarstellung übertragen wird, und bestimmt die Fahrumfelddetektier-Verarbeitungseinheit aus den linken und rechten Flächen im Bild diejenige Fläche, welche mehr von der Flächenextraktions-Verarbeitungseinheit extrahierte Flächen einschließt, und detektiert einen Bereich der linken und rechten Bereiche vor dem Fahrzeug, der sich auf der gleichen Seite wie die bestimmte Fläche befindet, als den mehr Objekte einschließenden Bereich.
Dementsprechend extrahiert die Flächenextraktions-Verarbeitungseinheit eine Fläche, die im Bild Pixeldaten eines vorbestimmten Schwellenwerts oder größer aufweist, indem das von zumindest einem der beiden Bildsensoren erhaltene Bild in Binärdarstellung übertragen wird. Hier sollte beachtet werden, dass die extrahierte Fläche eine Fläche ist, die einem Objekt entspricht. Das Objekt schließt zusätzlich zu dem Detektierobjekt, wie beispielsweise einem Fußgänger oder irgendeinem anderen Fahrzeug im Bereich des Fahrzeugs, ein Hintergrundobjekt, wie beispielsweise ein Gebäude oder einen Zaun im Bereich der Straße, ein.
In dieser Situation bestimmt die Fahrumfelddetektier-Verarbeitungseinheit aus den linken und rechten Flächen im Bild diejenige Fläche, welche mehr von der Flächenextraktions-Verarbeitungseinheit extrahierte Flächen einschließt. Da die bestimmte Fläche im Bild mehr Objekte einschließt, wird der dieser Fläche entsprechende Bereich vor dem Fahrzeug als ein mehr Objekte einschließender Bereich betrachtet. Deshalb detektiert die Fahrumfelddetektier-Verarbeitungseinheit den Bereich auf der gleichen Seite wie die bestimmte Fläche der linken und rechten Bereiche vor dem Fahrzeug als einen mehr Objekte einschließenden Bereich, und wählt die Standardbildauswahl-Verarbeitungseinheit erneut das vom Bildsensor auf der gleichen Seite wie der detektierte Bereich erhaltene Bild als Standardbild zur Verwendung in der Verarbeitung der Objektextraktions-Verarbeitungseinheit aus. Dadurch wird das Standardbild derart ausgewählt, dass die Möglichkeit der Überlappung zwischen einem Detektierobjekt und einem Hintergrundobjekt im Standardbild verringert wird.
Falls sich die beiden Bildsensoren links- bzw. rechtsseitig in der Front des Fahrzeugs befinden, die Ansichten vor dem Fahrzeug abbilden, umfasst das Fahrzeugumgebungs-Überwachungsgerät gemäß dem ersten Gesichtspunkt der vorliegenden Erfindung alternativ vorzugsweise ferner eine Abstandsberechnungs-Verarbeitungseinheit, die zu jedem der von der Objektextraktions-Verarbeitungseinheit extrahierten Objekte einen Abstand bezüglich des Fahrzeugs berechnet, und detektiert die Fahrumfelddetektier-Verarbeitungseinheit denjenigen Bereich der linken und rechten Bereiche vor dem Fahrzeug, der innerhalb eines vorbestimmten Abstands vom Fahrzeug mehr extrahierte Objekte einschließt, als den mehr Objekte einschließenden Bereich.
Dementsprechend berechnet die Abstandsberechnungs-Verarbeitungseinheit zu jedem der von der Objektextraktions-Verarbeitungseinheit extrahierten Objekte den Abstand bezüglich des Fahrzeugs. Die Objektextraktions-Verarbeitung erfolgt beispielsweise durch die Übertragung in Binärdarstellung, und die extrahierten Objekte schließen zusätzlich zu den Detektierobjekten, wie einem Fußgänger oder irgendeinem anderen Fahrzeug im Bereich des Fahrzeugs, Hintergrundobjekte, wie beispielsweise ein Gebäude oder einen Zaun im Bereich der Straße, ein.
Falls innerhalb des vorbestimmten Abstands vor dem Fahrzeug viele extrahierte Objekte vorhanden sind, wird in dieser Situation angenommen, dass es viele Hintergrundobjekte gibt, die eine hohe Wahrscheinlichkeit aufweisen, die Detektierobjekte im Bild zu überlappen. Deshalb detektiert die Fahrumfelddetektier-Verarbeitungseinheit denjenigen Bereich der linken und rechten Bereiche vor dem Fahrzeug, der innerhalb eines vorbestimmten Abstands vom Fahrzeug mehr extrahierte Objekte einschließt, als den mehr Objekte einschließenden Bereich. Dann wählt die Standardbildauswahl-Verarbeitungseinheit erneut das vom Bildsensor auf der gleichen Seite wie der detektierte Bereich erhaltene Bild als das Standardbild zur Verwendung in der Verarbeitung der Objektextraktions-Verarbeitungseinheit aus, wodurch das Standardbild derart ausgewählt wird, dass die Möglichkeit der Überlappung zwischen einem Detektierobjekt und einem Hintergrundobjekt im Standardbild verringert wird.
Andererseits ist die örtliche Beziehung des Straßenrands bezüglich des Fahrzeugs aus der Verkehrsführung der Verkehrsregelung des Landes, in welchem das Fahrzeug gefahren wird, bereits bekannt und kann der dem Straßenrand der Straße am nächsten angeordnete Bildsensor als vorbestimmter Bildsensor voreingestellt werden. Gemäß eines zweiten Gesichtspunkts der vorliegenden Erfindung wird deshalb ein Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 11 bereitgestellt.
Dementsprechend wählt die Standardbildauswahl-Verarbeitungseinheit erneut das Bild, welches vom Bildsensor erhalten worden ist, der dem Straßenrand der Straße am nächsten angeordnet ist, auf welcher das Fahrzeug vorhanden ist und die eine Mehrzahl von Fahrbahnen aufweist, als Standardbild aus, wodurch die Möglichkeit der Überlappung zwischen dem Detektierobjekt und dem Hintergrundobjekt im Standardbild in ähnlicher Weise verringert wird, wie bei dem Fahrzeugumgebungs-Überwachungsgerät gemäß dem ersten Gesichtspunkt der vorliegenden Erfindung. Deshalb verbessert die Objektextraktions-Verarbeitungseinheit die Genauigkeit der Objektextraktion im Standardbild und werden die Objekte daher korrekt aus dem Standardbild extrahiert, so dass die Objekte ordnungsgemäß detektiert werden.
Gemäß eines dritten Gesichtspunkts der vorliegenden Erfindung wird schließlich ein Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 12 bereitgestellt.
Gemäß dem Fahrzeugumgebungs-Überwachungsgerät des dritten Gesichtspunkts der vorliegenden Erfindung ist dieses in der Lage, mittels der Durchführung der computergestützten, arithmetischen Verarbeitung die gleichen Effekte hervorzubringen wie diejenigen, die mit Bezug auf das Fahrzeugumgebungs-Überwachungsgerät der ersten Erfindung beschrieben worden sind.
Gemäß der vorliegenden Erfindung wird schließlich ein Fahrzeugumgebungs-Überwachungsverfahren gemäß Anspruch 13 bereitgestellt.
Gemäß dieses Fahrzeugumgebungs-Überwachungsverfahrens wird der Standardbildauswahlschritt durchgeführt, um aus den von den beiden Bildsensoren erhaltenen Bildern gemäß dem im Fahrumfelddetektierschritt detektierten Fahrumfeld das Standardbild auszuwählen, wodurch es möglich ist, erneut ein Bild, welches eine niedrige Wahrscheinlichkeit der Überlappung zwischen dem Detektierbild und dem Hintergrundbild im Bild aufweist, als das Standardbild zur Verwendung in der Verarbeitung des Objektextraktionsschritts auszuwählen. Deshalb wird das vom Hintergrundobjekt getrennte Detektierobjekt im Standardbild dann bereitgestellt, wenn die Verarbeitung des Extrahierens der Objekte aus dem vorbestimmten Standardbild im Objektextraktionsschritt durchgeführt wird, was die Genauigkeit der Objektextraktion verbessert, wodurch die Objekte aus dem Standardbild korrekt extrahiert und die Objekte ordnungsgemäß detektiert werden.
Gemäß der vorliegenden Erfindung wird schließlich ein Fahrzeugumgebungs-Überwachungsprogramm gemäß Anspruch 15 bereitgestellt.
Gemäß dem Fahrzeugumgebungs-Überwachungsprogramm ist es möglich, den Computer zu veranlassen, eine Verarbeitung durchzuführen, welche die gleichen Effekte hervorbringt wie diejenigen, die in Bezug auf das Fahrzeugumgebungs-Überwachungsgerät der ersten Erfindung beschrieben worden sind.
KURZBESCHREIBUNG DER ZEICHNUNGEN
1 ist ein funktionales Blockdiagramm eines Fahrzeugumgebungs-Überwachungsgeräts gemäß einer ersten Ausführungsform der vorliegenden Erfindung.
2 ist ein Diagramm, welches Montageorte von Infrarotkameras, Sensoren, einer Anzeigevorrichtung und dergleichen auf dem in 1 gezeigten Fahrzeug zeigt.
3 ist ein Flussdiagramm, welches einen Objektdetektions- und Warnungsbetrieb in einer Bildverarbeitungseinheit des in 1 gezeigten Fahrzeugumgebungs-Überwachungsgeräts zeigt.
4 ist eine Darstellung von Bildern, die in dem in 3 gezeigten Objektdetektions- und Warnungsbetrieb erhalten worden sind.
5 ist eine Darstellung eines Binärbilds in dem in 3 gezeigten Objektdetektions- und Warnungsbetrieb.
6 ist eine Darstellung eines Objektextraktionsbilds in dem in 3 gezeigten Objektdetektions- und Warnungsbetrieb.
7 ist ein Diagramm zur Erläuterung einer Verarbeitung der Suche nach einem entsprechenden Bild in dem in 3 gezeigten Objektdetektions- und Warnungsbetrieb.
8 ist ein Diagramm zur Erläuterung einer Verarbeitung der Suche nach einem entsprechenden Bild in dem in 3 gezeigten Objektdetektions- und Warnungsbetrieb.
9 ist ein Diagramm zur Erläuterung einer Verarbeitung des Berechnens einer Parallaxe in dem in 3 gezeigten Objektdetektions- und Warnungsbetrieb.
10 ist ein Diagramm zur Erläuterung einer Verarbeitung des Auswählens eines Standardbilds in dem in 3 gezeigten Objektdetektions- und Warnungsbetrieb.
11 ist ein Diagramm zur Erläuterung einer Verarbeitung des Auswählens eines Standardbilds in dem in 3 gezeigten Objektdetektions- und Warnungsbetrieb.
12 ist ein Diagramm zur Erläuterung einer Verarbeitung des Detektierens eines Fahrumfelds in einem Fahrzeugumgebungs-Überwachungsgerät gemäß einer vierten Ausführungsform der vorliegenden Erfindung.
13 ist ein Diagramm zur Erläuterung einer Verarbeitung des Detektierens eines Fahrumfelds in einem Fahrzeugumgebungs-Überwachungsgerät gemäß einer fünften Ausführungsform der vorliegenden Erfindung.
AUSFÜHRLICHE BESCHREIBUNG BEVORZUGTER AUSFÜHRUNGSFORMEN
[Erste Ausführungsform]
Zuerst wird mit Bezug auf 1 bis 11 eine erste Ausführungsform der vorliegenden Erfindung beschrieben. Es sollte beachtet werden, dass diese Ausführungsform einem Fahrzeugumgebungs-Überwachungsgerät gemäß eines ersten Gesichtspunkts der vorliegenden Erfindung entspricht.
Mit Bezug auf 1 und 2 schließt das Fahrzeugumgebungs-Überwachungsgerät gemäß dieser Ausführungsform eine Bildverarbeitungseinheit 1 ein, die eine elektronische Einheit mit einer zentralen Verarbeitungseinheit (CPU) ist, welche das Fahrzeugumgebungs-Überwachungsgerät steuert. Die Bildverarbeitungseinheit 1 ist mit folgenden, auf dem Fahrzeug 10 montierten Vorrichtungen verbunden: zwei Infrarotkameras 2R und 2L, einem Gierratensensor 3, der eine Gierrate des Fahrzeugs 10 detektiert, einem Fahrzeuggeschwindigkeitssensor 4, der eine Fahrgeschwindigkeit (Fahrzeuggeschwindigkeit) des Fahrzeugs 10 detektiert, und einem Bremssensor 5, der Bremsvorgänge des Fahrzeugs 10 detektiert.
Außerdem ist die Bildverarbeitungseinheit 1 mit einem Lautsprecher 6 verbunden, der einen Sprachalarm erzeugt, sowie mit einer Bildanzeigevorrichtung 7, die von den Infrarotkameras 2R und 2L erhaltene Bilder derart anzeigt, dass ein Fahrer ein Objekt mit höherem Kollisionsrisiko erkennt, wobei der Lautsprecher 6 und die Bildanzeigevorrichtung 7 im Fahrzeugumgebungs-Überwachungsgerät angeordnet sind. Die Bildanzeigevorrichtung 7 schließt beispielsweise eine mit einem Messgerät verbundene Anzeigevorrichtung ein, die mit einem Messgerät verbunden ist, welches einen Fahrzustand des Fahrzeugs 10 numerisch anzeigt, eine auf einer Konsole des Fahrzeugs 10 angeordnete Navigationsanzeigevorrichtung und eine Headup-Anzeigevorrichtung (HUD) 7a, die an einer Position der Frontscheibe des Fahrzeugs 10, wo das Frontsichtfeld des Fahrers nicht behindert wird, Informationen anzeigt.
Zudem ist die Bildverarbeitungseinheit 1 mit einer im Fahrzeugumgebungs-Überwachungsgerät vorgesehenen Eingabevorrichtung (nicht gezeigt) verbunden, in welche ein Insasse des Fahrzeugs 10 Informationen über einen Straßenrand einer Straße eingibt. Die in die Eingabevorrichtung eingegebenen Informationen über den Straßenrand einer Straße sind beispielsweise dergestalt, dass der Verkehr der Straße, auf welcher das Fahrzeug 10 vorhanden ist, linksseitig geführt wird.
Obwohl eine ausführliche Darstellung weggelassen worden ist, umfasst die Bildverarbeitungseinheit 1 einen A/D-Wandler, der ein eingegebenes analoges Signal in ein digitales Signal umwandelt, einen Bildspeicher, der ein digitalisiertes Bildsignal speichert, und einen Computer (einen arithmetischen Verarbeitungsschaltkreis, der eine CPU, einen Speicher, Ein-/Ausgabeschaltkreise und dergleichen oder einen Mikrocomputer einschließt, in welchem all diese Funktionen konzentriert zusammengefasst sind), der einen Schnittstellenschaltkreis aufweist, um auf im Bildspeicher gespeicherte Daten zuzugreifen (zu lesen und zu schreiben), um für das im Bildspeicher gespeicherte Bild verschiedene arithmetische Verarbeitungsvorgänge durchzuführen. Die Bildverarbeitungseinheit 1 wandelt von den Infrarotkameras 2R und 2L, vom Gierratensensor 3, vom Fahrzeuggeschwindigkeitssensor 4 und vom Bremssensor 5 erzeugte Ausgabesignale in digitale Signale um und gibt diese in den Computer ein.
Die Infrarotkameras 2R und 2L können Ferninfrarotstrahlen detektieren, wobei sie die Eigenschaft aufweisen, dass ihre Ausgabesignalpegel sich erhöhen (dass die Helligkeit zunimmt) wenn die Temperatur eines Objekts ansteigt. Die Infrarotkameras 2R und 2L entsprechen einer Mehrzahl der (in dieser Ausführungsform zwei) Bildsensoren der vorliegenden Erfindung.
Wie in 2 gezeigt, befinden sich die Infrarotkameras 2R und 2L auf der rechten bzw. linken Seite des vorderen Teils des Fahrzeugs 10, so dass sie bezüglich der Mitte des Fahrzeugs 10 in der Fahrzeugbreitenrichtung im Wesentlichen symmetrisch angeordnet sind. Die Infrarotkameras 2R und 2L sind derart am Fahrzeug 10 befestigt, dass die optischen Achsen der beiden Infrarotkameras 2R und 2L zueinander parallel verlaufen und dass sich beide auf gleicher Höhe über der Straßenoberfläche befinden. Zudem ist das HUD 7a derart angeordnet, dass sein Anzeigeschirm an einer Position auf der Frontscheibe des Fahrzeugs 10 erscheint, wo das Frontsichtfeld des Fahrers nicht behindert wird.
Die Bildverarbeitungseinheit 1 schließt als ihre Funktionen ferner eine Objektextraktions-Verarbeitungseinheit ein, die aus einem vorbestimmten Standardbild von erhaltenen Bildern ein Objekt extrahiert; eine Positionsdetektier-Verarbeitungseinheit, welche die Position des extrahierten Objekts bezüglich des Fahrzeugs 10 detektiert; eine Fahrumfelddetektier-Verarbeitungseinheit, die eine Fahrumgebung des Fahrzeugs 10 detektiert; und eine Standardbildauswahl-Verarbeitungseinheit, die gemäß dem detektierten Fahrumfeld das Standardbild auswählt.
Diese Verarbeitungseinheiten werden durch das Ausführen eines Programms konfiguriert, welches unter Verwendung der Bildverarbeitungseinheit 1 zuvor in den Speicher der Bildverarbeitungseinheit 1 implementiert worden ist. Dieses Programm schließt ein Fahrzeugumgebungs-Überwachungsprogramm der vorliegenden Erfindung ein. Das Programm kann über ein Aufzeichnungsmittel, wie beispielsweise eine CD-ROM, im Speicher gespeichert werden. Zudem kann das Programm über ein Netzwerk oder einen Satelliten von einem externen Server zugeführt oder übertragen und im Speicher gespeichert werden, nachdem es von einer am Fahrzeug 10 montierten Kommunikationsvorrichtung empfangen worden ist.
Die Objektextraktions-Verarbeitungseinheit extrahiert Objekte aus dem vorbestimmten Standardbild der von den Infrarotkameras 2R und 2L erhaltenen Bilder. Dann detektiert die Positionsdetektier-Verarbeitungseinheit auf Grundlage der von den Infrarotkameras 2R und 2L erhaltenen Bildern und der von der Objektextraktions-Verarbeitungseinheit extrahierten Objekte die Position jedes extrahierten Objekts bezüglich des Fahrzeugs 10. Als besonderes Beispiel einer anwendbaren Technik zum Extrahieren der Objekte und zum Detektieren der Position jedes der Objekte kann die in der oben erwähnten Patentschrift 1 offenbarte Technik verwendet werden.
Die Fahrumfelddetektier-Verarbeitungseinheit detektiert auf Grundlage der Informationen über die Straßenseite der Straße, die vom Insassen des Fahrzeugs 10 in die Eingabevorrichtung eingegeben worden sind, den Straßenrand der Straße, auf welcher das Fahrzeug 10 vorhanden ist, als eine Fahrumgebung des Fahrzeugs 10. Hier sollte beachtet werden, dass das Fahrumfeld des Fahrzeugs Umfeldinformationen sind, aus welchen das Ausmaß der Möglichkeit einer Überlappung zwischen dem Detektierobjekt und dem Hintergrundobjekt in den Bildern erkannt oder geschätzt werden kann, die von den auf dem Fahrzeug 10 montierten Infrarotkameras 2R und 2L erhalten worden sind. Zudem wird in der Beschreibung dieses Umfelds angenommen, dass eine Straße, auf welcher das Fahrzeug 10 vorhanden ist, eine Mehrzahl von Fahrbahnen aufweist.
Die Standardbildauswahl-Verarbeitungseinheit wählt aus den von den Infrarotkameras 2R und 2L erhaltenen Bildern (Grauskala-Bildern) gemäß dem von der Fahrumfelddetektier-Verarbeitungseinheit detektierten Fahrumfeld erneut ein Standardbild zur Verwendung in der Verarbeitung der Objektextraktions-Verarbeitungseinheit aus. In dieser Verarbeitung wählt die Standardbildauswahl-Verarbeitungseinheit als das Standardbild ein Bild aus, welches aus den Infrarotkameras 2R und 2L von derjenigen Infrarotkamera erhalten worden ist, die dem von der Fahrumfelddetektier-Verarbeitungseinheit detektierten Straßenrand der Straße am nächsten angeordnet ist.
In dieser Ausführungsform ist das Detektierobjekt (Objekt als Ziel der Detektion) ein sich bewegendes Objekt, wie beispielsweise ein Fußgänger, ein großes Tier oder andere Fahrzeuge, welches in der Umgebung des Fahrzeugs 10 vorhanden ist. Andererseits ist das Hintergrundobjekt (ein vom Detektierobjekt verschiedenes Objekt) ein ruhender Körper, wie beispielsweise ein Gebäude, ein Zaun oder ein auf der Seite des Straßenrands einer Straße vorhandener Stromversorgungsmast, in der Umgebung der Straße, auf welcher das Fahrzeug 10 fährt, bei welchem eine Möglichkeit besteht, das Detektierobjekt als dessen Hintergrund zu überlappen, wenn das Detektierobjekt vom Fahrzeug 10 aus abgebildet wird.
Nachfolgend wird mit Bezug auf das in 3 gezeigte Flussdiagramm der allgemeine Betrieb (der Objektdetektions- und Warnungsbetrieb) des Fahrzeugumgebungs-Überwachungsgeräts gemäß dieser Ausführungsform beschrieben. Mit Bezug auf 3 erhält die Bildverarbeitungseinheit 1 zunächst Infrarotbilder als Ausgabesignale der Infrarotkameras 2R und 2L (Schritt 001), wandelt diese durch A/D-Wandlung um (Schritt 002) und speichert die Grauskala-Bilder im Bildspeicher (Schritt 003). Es sollte beachtet werden, dass von der Infrarotkamera 2R ein rechtes Bild erhalten wird und von der Infrarotkamera 2L ein linkes Bild erhalten wird.
4(a) und 4(b) sind Diagramme zur schematischen Erläuterung des rechten Bilds und des linken Bilds, die von den Infrarotkameras 2R bzw. 2L erhalten worden sind. In 4(a) und 4(b) ist eine schraffierte Fläche eine Halbtonfläche (grau) und ist eine von einer dicken, ausgezogenen Linie umgebene Fläche eine Objektfläche, die ein höheres Maß an Helligkeit (eine hohe Temperatur) aufweist und auf dem Schirm als weiße Fläche angezeigt wird (hinfort als ”Fläche hoher Helligkeit” bezeichnet). Wie gezeigt, ist auf dem Schirm die horizontale Position des gleichen Objekts zwischen dem rechten Bild und dem linken Bild verschieden. Deshalb kann der Abstand bezüglich des Objekts mittels der Differenz (der Parallaxe) berechnet werden.
Anschließend wird aus dem rechten Bild und dem linken Bild ein Standardbild ausgewählt (Schritt 004). Die Einzelheiten dieser Verarbeitung werden nachfolgend beschrieben.
Anschließend überträgt die Bildverarbeitungseinheit 1 das Bildsignal des Standardbilds in Binärdarstellung (Schritt 005). Insbesondere legt sie einen Wert ”1” (weiß) fest, falls der Helligkeitswert einer Fläche größer oder gleich einem Schwellenwert Ith ist und legt ansonsten für das Bildsignal des Standardbilds ”0” (schwarz) fest. Der Schwellenwert Ith wird vorher auf einer Versuchsbasis bestimmt. 5 zeigt ein mittels der Übertragung des in 4(a) gezeigten Bilds in Binärdarstellung erhaltenes Bild. In 5 stellt eine schraffierte Fläche einen schwarzen Bereich dar, wohingegen von dicken, ausgezogenen Linien umgebene Flächen hoher Helligkeit weiße Flächen darstellen.
Anschließend wandelt die Bildverarbeitungseinheit 1 die in Binärdarstellung übertragenen Bilddaten in Lauflängendaten um (Schritt 006). Die Lauflängendatenlinien zeigen jeweils die mittels der Übertragung in Binärdarstellung auf weiß festgesetzte Fläche hoher Helligkeit durch eindimensionale, verbundene Pixel an. Die Linien weisen alle eine Breite von einem Pixel in der y-Richtung (Vertikalrichtung) auf und weisen eine Länge von Pixeln auf, welche die Lauflängendaten in der x-Richtung (Horizontalrichtung) bilden.
Anschließend extrahiert die Bildverarbeitungseinheit 1 ein Objekt, indem sie es mit einer Bezeichnung versieht (Schritt 007), und zwar aus den in die Lauflängendaten umgewandelten Bilddaten (Schritt 008). Mit anderen Worten werden aus den in die Lauflängendaten umgewandelten Linien diejenigen Linien, die sich in der y-Richtung überlappen, als ein Objekt angesehen, wodurch die miteinander verbundenen Flächen im Bild als das Objekt erfasst werden. Wie in 6 gezeigt, sind die in 4(a) gezeigten Flächen hoher Helligkeit beispielsweise als Objekte (Binärobjekte) T1 und T2 erfasst, die von Rahmen P1 bzw. P2 umgeben sind.
Dann berechnet die Bildverarbeitungseinheit 1 den Schwerpunkt G und die Fläche S des extrahierten Objekts und das Seitenverhältnis ASPECT des Rechtecks, welches das extrahierte Objekt umgrenzt (Schritt 009). Wenn man hier annimmt, dass die Lauflängendaten des Objekts mit der Bezeichnung A (x[i], y[i], run[i], A) (i = 0, 1, 2, ---, N – 1) ist, so berechnet die Bildverarbeitungseinheit 1 die Fläche S des Objekts A mittels Integrieren der Längen (run[i] – 1) der Lauflängendaten eines identischen Objekts (N Lauflängendaten). Die Koordinaten des Schwerpunkts G des Objekts A werden alle mittels Multiplizieren der Länge (run[i] – 1) jedes Lauflängendatums mit der Koordinate x[i] oder y[i] des Zentrums des Lauflängendatums berechnet, wobei die Längen (run[i] – 1) der Lauflängendaten eines identischen Objekts (N Lauflängendaten) integriert werden, und dann Dividieren des Ergebnisses der Integration durch die Fläche S. Das Seitenverhältnis ASPECT wird als Dy/Dx berechnet, welches ein Verhältnis der Länge Dy in der Vertikalrichtung zur Länge Dx in der Horizontalrichtung des das Objekt umgrenzenden Rechtecks ist. Es sollte beachtet werden, dass die Koordinate des Schwerpunkts des das Objekt umgrenzenden Rechtecks anstelle jener des Schwerpunkts G verwendet werden kann.
Anschließend verfolgt die Bildverarbeitungseinheit 1 das Objekt in Zeitabständen, dass heißt, dass sie für jeden Stichprobenzeitraum identische Objekte erkennt (Schritt 010). Nimmt man an, dass k ein Zeitpunkt ist, der durch Diskretisieren der Zeit t als analogen Betrag in einem Stichprobenzeitraum erhalten wird, werden beim Verfolgen in Zeitabständen die Objekte A und B zum Zeitpunkt k extrahiert und dann bezüglich ihrer Identität mit den zum Zeitpunkt (k + 1) extrahierten Objekten C und D bestimmt. Die Identität wird auf Grundlage des Schwerpunkts G und der Fläche S des Objekts und des Seitenverhältnisses ASPECT bestimmt. Falls bestimmt wird, dass die Objekte A und B zu den Objekten C bzw. D identisch sind, werden die Objekte C und D in die Objekte A und B umbezeichnet, um dadurch die Objekte in Zeitabständen zu verfolgen (um dadurch identische Objekte zu erkennen). Die Positionskoordinaten (der Schwerpunkt der) der erkannten Objekte werden als Zeitfolge-Positionsdaten im Speicher gespeichert und für die spätere arithmetische Verarbeitung verwendet.
Es sollte beachtet werden, dass die oben beschriebenen Verarbeitungen in den Schritten 005 bis 010 an dem Binärstandardbild durchgeführt werden.
Dann liest die Bildverarbeitungseinheit 1 die vom Fahrzeuggeschwindigkeitssensor 4 detektierte Fahrzeuggeschwindigkeit VCAR und die vom Gierratensensor 3 detektierte Gierrate YR und integriert die Gierrate YR über die Zeit, um den Drehwinkel θr des Fahrzeugs 10 zu berechnen (Schritt 011).
Andererseits wird parallel zu den Verarbeitungen der Schritte 010 und 011 in den Schritten 012 bis 015 ein Abstand z zwischen dem Objekt und dem Fahrzeug 10 berechnet. Diese Berechnung erfordert einen längeren Zeitraum als die Verarbeitungen der Schritte 010 und 011 und wird im Vergleich zum Zeitraum der Verarbeitungen der Schritte 010 und 011 daher während eines längeren Zeitraums ausgeführt (beispielsweise dreimal so lang wie der Zeitraum der Ausführung der Verarbeitungen der Schritte 001 und 011).
Zuerst extrahiert die Bildverarbeitungseinheit 1 aus dem in 7(a) gezeigten Standardbild ein Zielbild R1 (die gesamte vom umgrenzenden Rechteck umgebene Fläche wird hier als Zielbild angenommen), indem eines der Objekte ausgewählt wird, welches mittels der Binärbilder des Standardbilds verfolgt worden ist (Schritt 012).
Als Nächstes legt die Bildverarbeitungseinheit 1 eine Suchfläche fest, um ein Bild (hinfort als ”entsprechendes Bild” bezeichnet) zu durchsuchen, welches dem Zielbild R1 im Referenzbild (das vom Standardbild, welches von den Infrarotkameras 2R und 2L aus dem rechten Bild und dem linken Bild erhalten worden ist, verschiedene Bild) entspricht, und extrahiert durch die Durchführung eines Korrelationsvorgangs das entsprechende Bild (Schritt 013). Insbesondere legt die Bildverarbeitungseinheit 1 auf Grundlage der Koordinaten jedes Scheitelpunkts des Zielbilds R1 in dem in 7(b) gezeigten Referenzbild eine Suchfläche R2 fest und berechnet unter Verwendung der folgenden Gleichung (1) den Totalsummenwert C(a, b) der Helligkeitsdifferenzen, die einen Grad der Korrelation mit dem Zielbild R1 in der Suchfläche R2 bezeichnen, um eine Fläche zu extrahieren, die den Mindestwert des Totalsummenwerts C(a, b) vorsieht. [Gleichung 1]
in welcher IR(m, n) ein Helligkeitswert einer Position ist, die in dem in 8 gezeigten Zielbild R1 mittels der Koordinaten (m, n) gezeigt ist, und IL(a + m – M, b + n – N) ein Helligkeitswert einer mittels der Koordinaten (m, n) gezeigten Position in einer örtlichen Fläche R3 ist, welche die gleiche Gestalt wie das Zielbild R1 aufweist, wobei in der in 8 gezeigten Suchfläche R2 ein Referenzpunkt auf die Koordinaten (a, b) festgesetzt ist. Eine den Totalsummenwert C(a, b) der Helligkeitsdifferenzen minimierende Position wird erhalten, indem die Koordinaten (a, b) des Referenzpunkts geändert werden, wodurch die Position des entsprechenden Bilds bestimmt werden kann.
Für den Korrelationsvorgang wird anstelle des Binärbilds ein Grauskala-Bild verwendet. Falls frühere Positionsdaten des identischen Objekts vorhanden sind, legt die Bildverarbeitungseinheit 1 auf Grundlage der Positionsdaten als Suchfläche eine Fläche R2a fest (in 7(b) mittels einer gestrichelten Linie angezeigt), die schmaler als die Suchfläche R2 ist. In Folge der Verarbeitungen der Schritte 012 bis 013 werden, wie in 9(a) gezeigt, im Standardbild ein Zielbild R1 und, wie in 9(b) gezeigt, im Referenzbild ein entsprechendes Bild R4 extrahiert.
Anschließend berechnet die Bildverarbeitungseinheit 1 auf Grundlage der Position des Schwerpunkts des Zielbilds R1 und der Position des Schwerpunkts des entsprechenden Bilds R4 eine Parallaxe Δd (Anzahl der Pixel) (Schritt 014). Wie in 9(a) gezeigt, wird insbesondere ein Abstand dR (Anzahl der Pixel) zwischen der Position des Schwerpunkts des Zielbilds R1 und einer Mittellinie LCTR des Bilds berechnet. Wie in 9(b) gezeigt, wird zudem ein Abstand dL (Anzahl der Pixel) zwischen der Position des Schwerpunkts des entsprechenden Bilds R4 und einer Mittellinie LCTR des Bilds berechnet. Dann wird unter Verwendung der Gleichung Δd = dL + dR die Parallaxe Δd berechnet.
Anschließend wendet die Bildverarbeitungseinheit 1 die berechnete Parallaxe Δd in der folgenden Gleichung (2) an, um einen Abstand z zwischen dem Fahrzeug 10 und dem Objekt zu berechnen (Schritt 015):
[Gleichung 2]

z = B × f / Δd × p (2) in welcher B die Basislänge ist, das heißt ein horizontaler Abstand (in der X-Richtung) zwischen der Mittelposition eines abbildenden Elements der Infrarotkamera 2R und der Mittelposition eines abbildenden Elements der Infrarotkamera 2L (ein Abstand zwischen den optischen Achsen der jeweiligen Kameras); f die Brennweite der Linsen der Infrarotkameras 2R und 2L ist; und p ein Raumabstand zwischen Pixeln in den abbildenden Elementen der Infrarotkameras 2R und 2L ist.

Nach Beendigung der Berechnung des Drehwinkels θr in Schritt 011 und der Berechnung des Abstands z zwischen dem Objekt und dem Fahrzeug 10 in Schritt 015 wandelt die Bildverarbeitungseinheit 1 die Koordinaten (x, y) und den Abstand z im Bild in Realraum-Koordinaten (X, Y, Z) um (Schritt 016). Hier ist das Koordinatensystem der Realraum-Koordinaten (X, Y, Z) festgelegt, wie es in 2 gezeigt ist, wobei die Position eines Mittelpunkts (einer auf dem Fahrzeug 10 festen Position) der Montagepositionen, an welchen die Infrarotkameras 2R und 2L montiert sind, als Ursprung O des Realraum-Koordinatensystems festgesetzt sind, und die Koordinaten in einem Koordinatensystem eines Bilds derart festgelegt sind, dass die Bildmitte auf den Ursprung des Koordinatensystems festgesetzt ist, wobei die Horizontalrichtung als die x-Richtung und die Vertikalrichtung als die y-Richtung festgelegt sind.
Anschließend führt die Bildverarbeitungseinheit 1 eine vom Drehwinkel abhängende Korrektur durch, um die Positionsverlagerung auf dem Bild aufgrund des Drehens des Fahrzeugs 10 zu korrigieren (Schritt 017). Die vom Drehwinkel abhängende Korrektur wird durchgeführt, um die Verlagerung des Bilds zu korrigieren, da sich der Bereich des Bilds auf dem von der Kamera erhaltenen Bild beispielsweise um Δx in der x-Richtung verlagert, wenn sich das Fahrzeug 10 während des Zeitraums vom Zeitpunkt k zum Zeitpunkt (k + 1) um dem Drehwinkel θr nach links dreht. Es sollte beachtet werden, dass in der untenstehenden Beschreibung die Koordinaten nach der vom Drehwinkel abhängenden Korrektur mit (X, Y, Z) bezeichnet werden.
Dann bestimmt die Bildverarbeitungseinheit 1 auf Grundlage von N (zum Beispiel N = 10 oder nahe 10) Realraum-Positionsdaten, das heißt von während eines Überwachungszeitraums ΔT erhaltenen Zeitfolgedaten nach der vom Drehwinkel abhängenden Korrektur, den ungefähren Wert LMV, der einem Relativbewegungsvektor zwischen einem identischen Objekt und dem Fahrzeug 10 entspricht (Schritt 018). Danach korrigiert die Bildverarbeitungseinheit 1 die letzten Positionskoordinaten P(0) = (X(0), Y(0), Z(0)) und die Positionskoordinaten P(N – 1) = (X(N – 1), Y(N – 1), Z(N – 1)), die während eines (N – 1) Stichprobenzeitraums früher (der um ΔT frühere Zeitraum) erhalten worden sind, bezüglich der Positionen auf der annähernd geraden Linie LMV und bestimmt die korrigierten Positionskoordinaten Pv(0) = (Xv(0), Yv(0), Zv(0)) und Pv(N – 1) = (Xv(N – 1), Yv(N – 1), Zv(N – 1)). Dadurch wird der Relativbewegungsvektor als Vektor von den Positionskoordinaten Pv(N – 1) in Richtung auf Pv(0) zu erhalten.
Anschließend führt die Bildverarbeitungseinheit 1 eine Warnungsbestimmungsverarbeitung durch, um zu bestimmen, ob die Möglichkeit einer Kollision mit dem detektierten Objekt besteht (Schritt 019). Die Warnungsbestimmungsverarbeitung wird durchgeführt, um durch eine Kollisionsbestimmungsverarbeitung, eine Bestimmungsverarbeitung zum Bestimmen, ob sich das detektierte Objekt in einer Nahobjekt-Bestimmungsfläche befindet, und eine Näherungsobjekt-Kollisionsbestimmungsverarbeitung, die hier nachstehend beschrieben wird, die Möglichkeit einer Kollision zwischen dem Fahrzeug 10 und dem detektierten Objekt zu bestimmen. Die Bestimmungsverarbeitung zum Bestimmen, ob sich das detektierte Objekt in der Nahobjekt-Bestimmungsfläche befindet, wird durchgeführt, falls in der Kollisionsbestimmungsverarbeitung bestimmt wird, dass eine Möglichkeit einer Kollision zwischen dem Fahrzeug 10 und dem detektierten Objekt besteht. Außerdem wird die Näherungsobjekt-Kollisionsbestimmungsverarbeitung durchgeführt, falls in der Bestimmungsverarbeitung zum Bestimmen, ob sich das detektierte Objekt in der Nahobjekt-Bestimmungsfläche befindet, bestimmt wird, dass keine Möglichkeit einer Kollision zwischen dem Fahrzeug 10 und dem detektierten Objekt besteht.
Zuerst wird die Kollisionsbestimmungsverarbeitung durchgeführt, um eine Relativgeschwindigkeit Vs in der Z-Richtung zwischen dem Objekt und dem Fahrzeug 10 zu berechnen und um zu bestimmen, ob zwischen den beiden innerhalb einer Zeit T bis zur Kollision unter der Annahme, dass sie sich bei beibehaltener Relativgeschwindigkeit Vs bewegen, die Möglichkeit einer Kollision besteht. Es sollte beachtet werden, dass die Zeit T bis zur Kollision beabsichtigt zu bestimmen, ob in der Zeit T vor dem vorhergesagten Kollisionszeitpunkt die Möglichkeit einer Kollision besteht.
Außerdem wird die Bestimmungsverarbeitung zum Bestimmen, ob sich das Objekt in der Nahobjekt-Bestimmungsfläche befindet, durchgeführt, um zu bestimmen, ob das Objekt in einer Fläche AR0, die mittels der Infrarotkameras 2R und 2L überwacht werden kann, in einer Fläche AR1 vorhanden ist, die einem Bereich entspricht, der die Breite α des Fahrzeugs 10 und Toleranzen β einschließt, die auf beiden Seiten des Fahrzeugs 10 vorgesehen sind, mit anderen Worten eine Nahobjekt-Bestimmungsfläche AR1 mit einem äußerst hohen Kollisionsrisiko mit dem Fahrzeug 10, falls das Objekt weiterhin vorhanden ist.
Außerdem werden Flächen AR2 und AR3, die beide X-Koordinaten mit größeren Absolutwerten aufweisen als jene der X-Koordinaten bei der vorstehenden Näherungsobjekt-Bestimmungsfläche AR1 (sich seitlich außerhalb der Nahobjekt-Bestimmungsfläche befindende Flächen), als Näherungsobjekt-Bestimmungsflächen bezeichnet. Die Näherungsobjekt-Kollisionsbestimmungsverarbeitung wird durchgeführt, um zu bestimmen, ob ein Objekt in einer dieser Flächen AR2 und AR3 durch Bewegung in die Näherungsobjekt-Bestimmungsfläche AR1 eintritt und es zu einer Kollision mit dem Fahrzeug 10 kommt.
Falls in Schritt 019 bestimmt wird, dass keine Möglichkeit einer Kollision zwischen dem Fahrzeug 10 und dem detektierten Objekt besteht (NEIN als Bestimmungsergebnis von Schritt 019), beendet die Bildverarbeitungseinheit 1 die Warnungsbestimmungsverarbeitung und kehrt zu Schritt 001 zurück, um die oben erwähnten Verarbeitungen zu wiederholen.
Falls in Schritt 019 bestimmt wird, dass eine Möglichkeit einer Kollision zwischen dem Fahrzeug 10 und dem detektierten Objekt besteht (JA als Bestimmungsergebnis von Schritt 019), geht die Bildverarbeitungseinheit 1 zu Schritt 020 über, in welchem die Bildverarbeitungseinheit 1 auf Grundlage einer Ausgabe BR des Bremssensors 5 bestimmt, ob der Fahrer des Fahrzeugs 10 einen Bremsvorgang ausführt, um dadurch zu bestimmen, ob eine Warnungsausgabe-Bestimmungsverarbeitung durchgeführt wird, das heißt, ob eine Warnung herausgegeben werden sollte.
Falls in Schritt 020 bestimmt wird, dass der Fahrer des Fahrzeugs 10 den Bremsvorgang ausführt, berechnet die Bildverarbeitungseinheit 1 die vom Bremsvorgang erzeugte Beschleunigung Gs (positiv in der Verzögerungsrichtung). Falls die Beschleunigung Gs größer ist als ein vorbestimmter Schwellenwert Gth, bestimmt die Bildverarbeitungseinheit 1, dass die Kollision mittels des Bremsvorgangs verhindert wird, wodurch das Bestimmungsergebnis von Schritt 020 NEIN ist (die Warnung wird nicht herausgegeben). Somit beendet die Bildverarbeitungseinheit 1 die Warnungsausgabe-Bestimmungsverarbeitung und kehrt zu Schritt 001 zurück, um die oben erwähnten Verarbeitungen zu wiederholen. Es sollte beachtet werden, dass der vorbestimmte Schwellenwert Gth einem Zustand entspricht, um das Fahrzeug 10 in einem Fahrabstand anzuhalten, der kleiner oder gleich einem Abstand Zv(0) zwischen dem Objekt und dem Fahrzeug 10 ist, falls die Beschleunigung Gs während des Bremsvorgangs unverändert beibehalten wird.
Falls die Beschleunigung Gs in einer Situation, in welcher der Fahrer des Fahrzeugs 10 in Schritt 020 den Bremsvorgang ausführt, kleiner oder gleich dem vorbestimmten Schwellenwert Gth ist, oder falls der Fahrer des Fahrzeugs 10 den Bremsvorgang nicht ausführt, ist das Bestimmungsergebnis von Schritt 020 andererseits JA (die Warnung wird herausgegeben). Da eine hohe Wahrscheinlichkeit besteht, dass das Fahrzeug 10 das Objekt berührt, erzeugt die Bildverarbeitung 1 zu Schritt 021 übergehend unter Verwendung des Lautsprechers 6 einen Sprachalarm. Danach gibt die Bildverarbeitung 1 zu Schritt 022 übergehend das von beispielsweise der Infrarotkamera 2L erhaltene Bild an die Bildanzeigevorrichtung 7 aus und zeigt dem Fahrer des Fahrzeugs 10 das Bild an, in welchem das sich dem Fahrzeug 10 nähernde Objekt hervorgehoben ist.
Wie oben beschrieben, schließt die Bildverarbeitungseinheit 1 in dieser Ausführungsform als ihre Funktionen die Fahrumfelddetektier-Verarbeitungseinheit, die Standardbildauswahl-Verarbeitungseinheit, die Objektextraktions-Verarbeitungseinheit und die Positionsdetektier-Verarbeitungseinheit ein. Insbesondere entspricht der Schritt 004 in 3 der Fahrumfelddetektier-Verarbeitungseinheit und der Standardbildauswahl-Verarbeitungseinheit; entsprechen die Schritte 005 bis 008 in 3 der Objektextraktions-Verarbeitungseinheit; und entsprechen die Schritte 009 bis 017 in 3 der Positionsdetektier-Verarbeitungseinheit.
Zudem entspricht der Schritt 004 in 3 dem Fahrumfelddetektier-Verarbeitungsschritt und dem Standardbildauswahl-Verarbeitungsschritt des Fahrzeugumgebungs-Überwachungsverfahrens der vorliegenden Erfindung. Die Schritte 005 bis 008 in 3 entsprechen dem Objektextraktions-Verarbeitungsschritt des Fahrzeugumgebungs-Überwachungsverfahrens der vorliegenden Erfindung.
Das Vorstehende entspricht dem Objektdetektions- und Warnungsbetrieb in der Bildverarbeitungseinheit 1 des Fahrzeugumgebungs-Überwachungsgeräts gemäß dieser Ausführungsform. Dadurch wird auf Grundlage der Infrarotbilder der Umgebung des Fahrzeugs 10 und des Signals, welches den Fahrzustand des Fahrzeugs 10 anzeigt, ein vor dem Fahrzeug 10 vorhandenes Objekt, wie beispielsweise ein Fußgänger oder ein Tier, detektiert und wird dann die Warnung herausgegeben, wenn bestimmt wird, dass für das Fahrzeug 10 ein hohes Kollisionsrisiko besteht.
Anschließend wird die Verarbeitung des Auswählens des Standardbilds in Schritt 004 des in 3 gezeigten Flussdiagramms nachstehend ausführlich beschrieben.
Zuerst liest die Fahrumfelddetektier-Verarbeitungseinheit der Bildverarbeitungseinheit 1 Informationen über den Straßenrand, die vom Insassen des Fahrzeugs 10 in die Eingabevorrichtung eingeben worden sind. Dadurch liest sie Informationen wie zum Beispiel, dass der Verkehr der Straße, auf welcher das Fahrzeug 10 vorhanden ist, linksseitig geführt wird. Anschließend detektiert die Fahrumfelddetektier-Verarbeitungseinheit eine örtliche Beziehung des Straßenrands bezüglich des Fahrzeugs 10 als Fahrumfeld. Falls der Verkehr der Straße, auf welcher das Fahrzeug 10 vorhanden ist, linksseitig geführt wird, wird beispielsweise detektiert, dass sich auf der linken Seite des Fahrzeugs 10 ein Straßenrand befindet. Dieses Fahrumfeld wird dazu verwendet, die Verteilung der um das Fahrzeug 10 herum vorhandenen Hintergrundobjekte zu schätzen.
Anschließend wählt die Standardbildauswahl-Verarbeitungseinheit der Bildverarbeitungseinheit 1 gemäß dem Fahrumfeld das Standardbild aus. In diesem Zustand befindet sich der Straßenrand auf der linken Seite des Fahrzeugs 10, und ist die Infrarotkamera 2L, die sich auf der linken Seite des Fahrzeugs 10 befindet, deshalb diejenige der Infrarotkameras 2R und 2L, die dem Straßenrand am nächsten angeordnet ist. Deshalb wird das von der Infrarotkamera 2L erhaltene, linke Bild als das Standardbild ausgewählt.
Dann wird mit Bezug auf 10 die Verarbeitung des Auswählens des Standardbilds beschrieben. 10 zeigt in Ansicht von oberhalb des Fahrzeugs 10 schematisch das Fahrzeug 10 und die darum herum vorhandene Straße. Mit Bezug auf 10 fährt das Fahrzeug 10 in einer mittels eines Pfeils angezeigten Richtung auf einer Fahrbahn A0. Eine Fläche, die über eine Mittellinie CL auf der rechten Seite des Fahrzeugs 10 hinausgeht, ist eine entgegenkommende Fahrbahn A1, und eine Fläche auf der linken Seite des Fahrzeugs 10 entspricht einem Straßenrand A2. Die Infrarotkameras 2R und 2L befinden sich in der Front des Fahrzeugs 10. Vor dem Fahrzeug 10 ist ein Detektierobjekt T0 vorhanden, und auf dem Straßenrand A2 sind Hintergrundobjekte B1 und B2 vorhanden.
In 10 sind die Realraum-Koordinaten auf die gleiche Art und Weise genommen wie in 2, wobei (X0, Z0) die Abstände des Detektierobjekts T0 von der Infrarotkamera 2R aus in der X-Achsenrichtung und in der Z-Achsenrichtung sind; (X1, Z1) die Abstände des Hintergrundobjekts B1 von der Infrarotkamera 2R aus in der X-Achsenrichtung und in der Z-Achsenrichtung sind; und (X2 = X1, Z2) die Abstände des Hintergrundobjekts B2 von der Infrarotkamera 2R aus in der X-Achsenrichtung und in der Z-Achsenrichtung sind. B bezeichnet die Basislänge, das heißt den Horizontalabstand (in der X-Richtung) zwischen der Mittelposition des abbildenden Elements der Infrarotkamera 2R und der Mittelposition des abbildenden Elements der Infrarotkamera 2L (Abstand zwischen den optischen Achsen der jeweiligen Kameras). Im Beispiel von 10 ist die Beziehung X1 > X0 > B erfüllt.
Falls das Detektierobjekt T0 von der Infrarotkamera 2R abgebildet wird, wird das auf dem Straßenrand A2 vorhandene Hintergrundobjekt B1, welches auf einer Verlängerung einer geraden Linie vorhanden ist, welche die Infrarotkamera 2R und das Detektierobjekt T0 verbindet, in 10 im erhaltenen Bild (rechten Bild) als Hintergrund des Detektierobjekts T0 abgebildet. Die Bedingung, dass das Detektierobjekt T0 und das Hintergrundobjekt B1 einander überlappen, ist X0:X1 = Z0:Z1. Falls das Detektierobjekt T0 von der Infrarotkamera 2L abgebildet wird, wird zudem das auf dem Straßenrand A2 vorhandene Hintergrundobjekt B2, welches auf einer Verlängerung einer geraden Linie vorhanden ist, welche die Infrarotkamera 2L und das Detektierobjekt T0 verbindet, im erhaltenen Bild (linken Bild) als Hintergrund des Detektierobjekts T0 abgebildet. Die Bedingung, dass das Detektierobjekt T0 und das Hintergrundobjekt B2 einander überlappen, ist X0 – B:X1 – B = Z0:Z2.
In dieser Situation ist der Winkel θ1 zwischen der geraden Linie, welche die Infrarotkamera 2L und das Detektierobjekt T0 verbindet, und der Z-Achse kleiner als der Winkel θR zwischen der geraden Linie, welche die Infrarotkamera 2R und das Detektierobjekt T0 verbindet, und der Z-Achse. Wie in 10 gezeigt, ist das Hintergrundobjekt B2 deshalb vom Fahrzeug 10 stets weiter entfernt als das Hintergrundobjekt B1. Mit anderen Worten wird die Beziehung Z2 – Z1 > 0 stets erfüllt. Darüber hinaus wird das entfernte Hintergrundobjekt B2 im Bild als kleineres Objekt abgebildet, und erscheint das entfernte Hintergrundobjekt B2 im Bild aufgrund der Abschwächung der Infrarotstrahlung vom Objekt gemäß dem Abstand fast nicht. Deshalb besteht eine größere Wahrscheinlichkeit, dass das nahe Hintergrundobjekt B1 das Detektierobjekt T0 im Bild überlappt. Deshalb ist es möglich, die Möglichkeit der Überlappung zwischen dem Detektierobjekt T0 und dem Hintergrundobjekt im Standardbild zu verringern, indem das linke Bild, welches von der sich in der Nähe des Straßenrands befindenden Infrarotkamera 2L erhalten worden ist, als Standardbild ausgewählt wird.
Indem das Standardbild auf diese Art und Weise ausgewählt wird, kann außerdem die Genauigkeit der Objektdetektion verbessert werden, wenn das Objekt in den Schritten 005 bis 008 aus dem Standardbild extrahiert wird. Für den Fall, dass das Detektierobjekt T0, wie in 10 gezeigt, vor dem Fahrzeug 10 vorhanden ist und die Hintergrundobjekte B1 und B2 auf dem Straßenrand A2 vorhanden sind, zeigen die 11(a) und 11(b) beispielsweise Bilder, die mittels Übertragung der von den Infrarotkameras 2R und 2L genommenen Bildern in Binärdarstellung (Schritt 005) erhalten worden sind. 11(a) stellt ein in Binärdarstellung übertragenes Bild aus dem von der Infrarotkamera 2L erhaltenen Bild dar, und 11(b) stellt ein in Binärdarstellung übertragenes Bild aus dem von der Infrarotkamera 2R erhaltenen Bild dar.
Die in den 11(a) und 11(b) dargestellten Bilder schließen das Detektierobjekt T0 (Fußgänger) bzw. das Hintergrundobjekt B1 (Stromversorgungsmast) ein, die jeweils als Flächen hoher Helligkeit extrahiert sind. Andererseits ist das Hintergrundobjekt B2 vom Fahrzeug 10 entfernt und weniger hell als das Detektierobjekt T0 und das Hintergrundobjekt B1 und wird deshalb bei der Übertragung in Binärdarstellung nicht als Fläche hoher Helligkeit extrahiert. In diesem Zustand überlappt das Detektierobjekt T0 in 11(b) das Hintergrundobjekt B1, und kann das Detektierobjekt T0 deshalb nicht gesondert extrahiert werden. In 11(a) kann das Detektierobjekt T0 hingegen gesondert extrahiert werden. Dementsprechend wird das Detektierobjekt T0 durch das Extrahieren des Objekts aus der 11(a) (Schritte 006 bis 008) ordnungsgemäß extrahiert.
Die vorstehenden Verarbeitungen verringern die Möglichkeit der Überlappung zwischen dem Detektierobjekt und dem Hintergrundobjekt im Standardbild, wenn das um das Fahrzeug 10 herum vorhandene Objekt aus den von den Infrarotkameras 2R und 2L erhaltenen Bildern detektiert wird. Dies verbessert die Genauigkeit der Objektextraktion im Standardbild, was zu einer ordnungsgemäßen Suche nach dem entsprechenden Objekt und einer ordnungsgemäßen Berechnung einer Parallaxe führt, mittels welcher die Position des Objekts präzise detektiert wird.
In dieser Ausführungsform ist eine Eingabevorrichtung vorgesehen und wird angenommen, dass die Fahrumfelddetektier-Verarbeitungseinheit auf Grundlage von in die Eingabevorrichtung eingegebenen Informationen das Fahrumfeld detektiert und dass die Standardbildauswahl-Verarbeitungseinheit auf Grundlage des von der Fahrumfelddetektier-Verarbeitungseinheit detektierten Fahrumfelds das Standardbild auswählt. Da die örtliche Beziehung des Straßenrands bezüglich des Fahrzeugs 10 aus der Verkehrsführung der Verkehrsregelung des Landes, in welchem das Fahrzeug 10 gefahren wird, vorab bekannt ist, kann die dem Straßenrand der Straße am nächsten angeordnete Infrarotkamera andererseits als vorbestimmte Infrarotkamera voreingestellt werden. Als weitere Ausführungsform kann die Standardbildauswahl-Verarbeitungseinheit deshalb derart angepasst werden, dass sie ein Bild, welches von der dem Straßenrand der Straße, auf welcher das Fahrzeug 10 vorhanden ist, am nächsten angeordneten, vorbestimmten Infrarotkamera erhalten worden ist, als Standardbild auswählt, ohne dass eine Eingabevorrichtung vorgesehen ist (entspricht dem Fahrzeugumgebungs-Überwachungsgerät gemäß dem zweiten Gesichtspunkt der vorliegenden Erfindung).
Darüber hinaus schließt die Bildverarbeitungseinheit 1 in dieser Ausführungsform als ihre Funktion die Positionsdetektier-Verarbeitungseinheit ein und detektiert auf Grundlage des von der Objektextraktions-Verarbeitungseinheit extrahierten Objekts die Position des um das Fahrzeug 10 herum vorhandenen Objekts und gibt eine Warnung heraus, wenn bestimmt wird, dass für das Fahrzeug 10 ein hohes Kollisionsrisiko besteht. In einer anderen Ausführungsform kann die Positionsdetektier-Verarbeitungseinheit hingegen weggelassen werden und kann das Standardbild beispielsweise an die Bildanzeigevorrichtung 7 ausgegeben werden, damit es dem Fahrer des Fahrzeugs 10 mit dem hervorgehobenen, extrahierten Objekt angezeigt wird. Ferner kann in dieser Situation ein Fußgänger oder ein anderes Objekt im Bereich des Fahrzeugs 10 ordnungsgemäß hervorgehoben werden, so dass der Fahrer das Objekt aufgrund der Verbesserung der Genauigkeit der Objektextraktion erkennen kann.
[Zweite Ausführungsform]
Im Folgenden wird eine zweite Ausführungsform der vorliegenden Erfindung beschrieben. Diese Ausführungsform ist zu der ersten Ausführungsform mit der Ausnahme identisch, dass das Fahrzeug 10 mit einem Navigationssystem versehen ist anstatt mit der Eingabevorrichtung. In der nachstehenden Beschreibung bezeichnen die gleichen Bezugszeichen die gleichen Bestandteile wie in der ersten Ausführungsform, und wird deren Beschreibung hier weggelassen.
In dieser Ausführungsform ist die Bildverarbeitungseinheit 1 mit dem auf dem Fahrzeug 10 montierten Navigationssystem verbunden. Die Fahrumfelddetektier-Verarbeitungseinheit detektiert als Funktion der Bildverarbeitungseinheit 1 auf Grundlage von vom Navigationssystem erhaltenen Informationen über den Straßenrand der Straße einen Straßenrand einer Straße, auf welcher das Fahrzeug 10 vorhanden ist, als Fahrumfeld. Die vom Navigationssystem erhaltenen Informationen über den Straßenrand der Straße sind Informationen wie zum Beispiel, dass der Verkehr auf der Straße, auf welcher das Fahrzeug 10 vorhanden ist, linksseitig geführt wird. Ähnlich wie bei der ersten Ausführungsform wird angenommen, dass die Straße, auf welcher das Fahrzeug 10 vorhanden ist, eine Mehrzahl von Fahrbahnen aufweist. Andere Merkmale dieser Ausführungsform sind denjenigen der ersten Ausführungsform gleich.
Nun wird die Beschreibung des gesamten Betriebs (Objektdetektions- und Warnungsbetrieb) des Fahrzeugumgebungs-Überwachungsgeräts gemäß dieser Ausführungsform wiedergegeben. Der Objektdetektions- und Warnungsbetrieb in dieser Ausführungsform unterscheidet sich von der ersten Ausführungsform lediglich in der Verarbeitung des Detektierens des Fahrumfelds in der Verarbeitung des Auswählens des Standardbilds (Schritt 004 in 3). Das Flussdiagramm des Objektdetektions- und Warnungsbetriebs dieser Ausführungsform ist das gleiche wie in der 3.
Deshalb wird die folgende Beschreibung mit Bezug auf das in 3 gezeigte Flussdiagramm vorgenommen.
Mit Bezug auf 3 erhält die Fahrumfelddetektier-Verarbeitungseinheit der Bildverarbeitungseinheit 1 unter Verwendung des Navigationssystems in Schritt 004 dieser Ausführungsform zuerst Informationen über den Straßenrand. Dadurch erhält sie beispielsweise Informationen wie zum Beispiel, dass der Verkehr auf der Straße, auf welcher das Fahrzeug 10 vorhanden ist, linksseitig geführt wird. Anschließend detektiert die Fahrumfelddetektier-Verarbeitungseinheit die örtliche Beziehung des Straßenrands bezüglich des Fahrzeugs 10 als Fahrumfeld. Falls der Verkehr auf der Straße, auf welcher das Fahrzeug 10 vorhanden ist, linksseitig geführt wird, wird beispielsweise detektiert, dass sich auf der linken Seite des Fahrzeugs 10 ein Straßenrand befindet. Die Verteilung der um das Fahrzeug 10 herum vorhandenen Hintergrundobjekte wird auf Grundlage des Fahrumfelds geschätzt. Die vorstehend nicht beschriebenen Vorgänge sind denjenigen der ersten Ausführungsform gleich.
Ähnlich wie bei der ersten Ausführungsform ist es gemäß dieser Ausführungsform möglich, die Möglichkeit der Überlappung zwischen dem Detektierobjekt und dem Hintergrundobjekt im Standardbild zu verringern, wenn das um das Fahrzeug 10 herum vorhandene Objekt aus den von den Infrarotkameras 2R und 2L erhaltenen Bildern detektiert wird. Dadurch wird die Genauigkeit der Objektextraktion im Standardbild verbessert, was zu einer ordnungsgemäßen Suche nach dem entsprechenden Objekt und einer ordnungsgemäßen Berechnung einer Parallaxe führt, mittels welcher die Position des Objekts ordnungsgemäß detektiert wird.
[Dritte Ausführungsform]
Im Folgenden wird eine dritte Ausführungsform der vorliegenden Erfindung beschrieben. Diese Ausführungsform ist zu der ersten Ausführungsform mit der Ausnahme identisch, dass die Bildverarbeitungseinheit 1 als ihre Funktion eine Relativgeschwindigkeitsberechnungs-Verarbeitungseinheit anstelle der Eingabevorrichtung einschließt. In der nachstehenden Beschreibung bezeichnen die gleichen Bezugszeichen die gleichen Bestandteile wie in der ersten Ausführungsform, und wird deren Beschreibung hier weggelassen.
Bei dem Fahrzeugumgebungs-Überwachungsgerät gemäß dieser Ausführungsform schließt die Bildverarbeitungseinheit 1 als ihre Funktion die Relativgeschwindigkeitsberechnungs-Verarbeitungseinheit ein, welche die Relativgeschwindigkeit eines von der Objektextraktions-Verarbeitungseinheit extrahierten Objekts bezüglich des Fahrzeugs 10 berechnet. Die Relativgeschwindigkeitsberechnungs-Verarbeitungseinheit berechnet beispielsweise unter Verwendung der Position des von der Objektextraktions-Verarbeitungseinheit extrahierten Objekts die Relativgeschwindigkeit des von Positionsdetektier-Verarbeitungseinheit detektierten Objekts bezüglich des Fahrzeugs 10.
Danach wählt die Fahrumfelddetektier-Verarbeitungseinheit auf Grundlage der von der Relativgeschwindigkeitsberechnungs-Verarbeitungseinheit berechneten Relativgeschwindigkeit aus den extrahierten Objekten ein aus der zur Richtung des Fahrzeugs 10 entgegengesetzten Richtung kommendes, anderes Fahrzeug aus und detektiert auf Grundlage der Position des ausgewählten Fahrzeugs den Straßenrand der Straße, auf welcher das Fahrzeug 10 vorhanden ist. Es sollte beachtet werden, dass angenommen wird, dass die Straße, auf welcher das Fahrzeug 10 vorhanden ist, ähnlich wie bei der ersten Ausführungsform eine Mehrzahl von Fahrbahnen aufweist. Die vorstehend nicht beschriebenen Merkmale sind denjenigen der ersten Ausführungsform gleich.
Nun wird die Beschreibung des gesamten Betriebs (des Objektdetektions- und Warnungsbetriebs) des Fahrzeugumgebungs-Überwachungsgeräts gemäß dieser Ausführungsform wiedergegeben. Eine Umgebungsüberwachungsverarbeitung in dieser Ausführungsform unterscheidet sich von der ersten Ausführungsform lediglich in der Verarbeitung des Detektierens eines Fahrumfelds in der Verarbeitung des Detektierens des Fahrumfelds in der Verarbeitung des Auswählens des Standardbilds (Schritt 004 in 3). Das Flussdiagramm des Objektdetektions- und Warnungsbetriebs dieser Ausführungsform ist das Gleiche wie in 3. Deshalb wird die folgende Beschreibung mit Bezug auf das in 3 gezeigte Flussdiagramm vorgenommen.
Mit Bezug auf 3 werden in Schritt 004 dieser Ausführungsform zuerst die Objektextraktionsverarbeitungen für ein vorbestimmtes Standardbild aus den von den Infrarotkameras 2R und 2L erhaltenen Bildern durchgeführt. Insbesondere werden für das vorbestimmte Standardbild die gleichen Verarbeitungen wie diejenigen der Schritte 005 bis 008 durchgeführt und wird das Objekt dadurch extrahiert. Ähnlich wie bei den Verarbeitungen der Schritte 005 bis 008, entspricht dieser Betrieb der Objektextraktions-Verarbeitungseinheit gemäß der vorliegenden Erfindung. Als vorbestimmtes Standardbild in Schritt 004 kann beispielsweise ein von einer vorbestimmten Infrarotkamera (beispielsweise von der Infrarotkamera 2R) erhaltenes Bild (rechtes Bild) verwendet werden. Alternativ kann das in Schritt 004 verwendete, vorbestimmte Standardbild beispielsweise ein von derselben Infrarotkamera erhaltenes Bild sein, welches von der Standardbildauswahl-Verarbeitungseinheit in der Verarbeitung während des vorhergehenden Stichprobenzeitraums als Standardbild ausgewählt worden ist.
Anschließend berechnet die Relativgeschwindigkeitsberechnungs-Verarbeitungseinheit die Relativgeschwindigkeit des extrahierten Objekts bezüglich des Fahrzeugs 10. Insbesondere werden für das extrahierte Objekt die gleichen Verarbeitungen wie diejenigen der Schritte 009 bis 017 durchgeführt und wird dadurch die Position (Realraum-Positionsdaten) des Objekts detektiert. Dieser Vorgang entspricht, ähnlich wie die Schritte 009 bis 017, der Positionsdetektier-Verarbeitungseinheit gemäß der vorliegenden Erfindung. Danach wird unter Verwendung des Detektionsergebnisses der Abstand des extrahierten Objekts vom Fahrzeug 10 berechnet, und wird auf Grundlage des für jeden Stichprobenzeitraum berechneten Abstands die Relativgeschwindigkeit des extrahierten Objekts bezüglich des Fahrzeugs 10 berechnet.
Anschließend wählt die Fahrumfelddetektier-Verarbeitungseinheit auf Grundlage der von der Relativgeschwindigkeitsberechnungs-Verarbeitungseinheit berechneten Relativgeschwindigkeit aus den extrahierten Objekten ein aus der zur Richtung des Fahrzeugs 10 entgegengesetzten Richtung kommendes, anderes Fahrzeug (ein entgegenkommendes Fahrzeug) aus. Insbesondere wählt sie als entgegenkommendes Fahrzeug ein Objekt aus, welches sich mit einer Relativgeschwindigkeit in der Richtung bewegt, in welcher sich das Objekt dem Fahrzeug 10 nähert, und dies mit einer Relativgeschwindigkeit, die größer oder gleich einem vorbestimmten Wert ist. Danach detektiert die Fahrumfelddetektier-Verarbeitungseinheit auf Grundlage der Position des ausgewählten, entgegenkommenden Fahrzeugs die örtliche Beziehung des Straßenrands bezüglich des Fahrzeugs 10 als Fahrumfeld. Falls das ausgewählte, entgegenkommende Fahrzeug auf der rechten Seite des Fahrzeugs 10 fährt, wird detektiert, dass sich auf der dem Fahrzeug 10 gegenüberliegenden oder linken Seite ein Straßenrand befindet. Die Verteilung der um das Fahrzeug 10 herum vorhandenen Hintergrundobjekte wird auf Grundlage des Fahrumfelds geschätzt.
Danach wählt die Standardbildauswahl-Verarbeitungseinheit gemäß dem vorstehenden Fahrumfeld erneut ein Standardbild zur Verwendung in den Verarbeitungen (Verarbeitungen der Schritte 005 bis 008) der Objektextraktions-Verarbeitungseinheit aus. In dieser Ausführungsform können die Verarbeitungen der Schritte 005 bis 017 wegelassen werden, falls das für die Verarbeitungen der Objektextraktions-Verarbeitungseinheit verwendete Standardbild gleich dem von der Standardbildauswahl-Verarbeitungseinheit in Schritt 004 erneut ausgewählten Standardbild ist, und können die Verarbeitungen in Schritt 018 und den nachfolgenden Schritten unter Verwendung der von der Positionsdetektier-Verarbeitungseinheit detektierten Position (Realraum-Positionsdaten) des von der Objektextraktions-Verarbeitungseinheit in Schritt 004 extrahierten Objekts durchgeführt werden. Die vorstehend nicht beschriebenen Vorgänge sind denjenigen der ersten Ausführungsform gleich.
Gemäß dieser Ausführungsform ist es möglich, die Möglichkeit der Überlappung zwischen dem Detektierobjekt und dem Hintergrundobjekt im Standardbild zu verringern, wenn das um das Fahrzeug 10 herum vorhandene Objekt auf die gleiche Art und Weise wie in der ersten Ausführungsform aus den von den Infrarotkameras 2R und 2L erhaltenen Bildern detektiert wird. Dadurch wird die Genauigkeit der Objektextraktion im Standardbild verbessert, was zu einer ordnungsgemäßen Suche nach dem entsprechenden Objekt und einer ordnungsgemäßen Berechnung einer Parallaxe führt, mittels welcher die Position des Objekts präzise detektiert wird.
Obgleich die Relativgeschwindigkeitsberechnungs-Verarbeitungseinheit in dieser Ausführungsform unter Verwendung des von der Positionsdetektier-Verarbeitungseinheit erhaltenen Detektionsergebnisses die Relativgeschwindigkeit des Objekts bezüglich des Fahrzeugs 10 berechnet, kann die Relativgeschwindigkeitsberechnungs-Verarbeitungseinheit in einer anderen Ausführungsform die Relativgeschwindigkeit des Objekts bezüglich des Fahrzeugs 10 auf Grundlage der von den Infrarotkameras 2R und 2L erhaltenen Bildern und der von der Objektextraktions-Verarbeitungseinheit extrahierten Objekte berechnen, ohne das von der Positionsdetektier-Verarbeitungseinheit erhaltene Detektionsergebnis zu verwenden. Darüber hinaus kann die Relativgeschwindigkeitsberechnungs-Verarbeitungseinheit die Relativgeschwindigkeit des Objekts bezüglich des Fahrzeugs 10 anstelle der von den Infrarotkameras 2R und 2L erhaltenen Bildern unter Verwendung der von einem Millimeterwellen-Radar oder von anderen Sensoren detektierten Positionsinformationen des Objekts berechnen.
[Vierte Ausführungsform]
Im Folgenden wird mit Bezug auf 12 eine vierte Ausführungsform der vorliegenden Erfindung beschrieben. Diese Ausführungsform ist zu der ersten Ausführungsform mit der Ausnahme identisch, dass die Bildverarbeitungseinheit 1 als ihre Funktion eine Flächenextraktions-Verarbeitungseinheit anstelle der Eingabevorrichtung einschließt. In der nachstehenden Beschreibung bezeichnen die gleichen Bezugszeichen die gleichen Bestandteile wie in der ersten Ausführungsform und wird deren Beschreibung hier weggelassen.
Bei dem Fahrzeugumgebungs-Überwachungsgerät gemäß dieser Ausführungsform schließt die Bildverarbeitungseinheit 1 als ihre Funktion die Flächenextraktions-Verarbeitungseinheit ein, die ein von der Infrarotkamera 2R und/oder der Infrarotkamera 2L erhaltenes Bild in Binärdarstellung überträgt und eine Fläche extrahiert, die im Bild Pixeldaten eines vorbestimmten Schwellenwerts oder größer aufweist.
Dann detektiert die Fahrumfelddetektier-Verarbeitungseinheit aus den linken und rechten Bereichen vor dem Fahrzeug 10 einen eine größere Anzahl von Objekten einschließenden Bereich als Fahrumfeld. In dieser Verarbeitung bestimmt die Fahrumfelddetektier-Verarbeitungseinheit eine von der Flächenextraktions-Verarbeitungseinheit aus linken und rechten Flächen in dem von der Flächenextraktions-Verarbeitungseinheit in Binärdarstellung übertragenen Bild extrahierte Fläche, die mehr Flächen einschließt. Danach detektiert die Fahrumfelddetektier-Verarbeitungseinheit aus den linken und rechten Bereichen vor dem Fahrzeug 10 denjenigen Bereich, der sich auf der gleichen Seite befindet wie die bestimmte Fläche, als den vorstehenden Bereich. In dieser Ausführungsform kann die Straße, auf welcher das Fahrzeug 10 vorhanden ist, auch lediglich eine Fahrbahn aufweisen.
Außerdem wählt die Standardbildauswahl-Verarbeitungseinheit erneut ein Bild, welches von den beiden Infrarotkameras 2R und 2L von der Infrarotkamera erhalten worden ist, die sich auf der gleichen Seite befindet wie der von der Fahrumfelddetektier-Verarbeitungseinheit detektierte Bereich, als das Standardbild zur Verwendung in der Verarbeitung der Objektextraktions-Verarbeitungseinheit aus. Die vorstehend nicht beschriebenen Merkmale sind denjenigen der ersten Ausführungsform gleich.
Nun wird die Beschreibung des gesamten Betriebs (des Objektdetektions- und Warnungsbetriebs) des Fahrzeugumgebungs-Überwachungsgeräts gemäß dieser Ausführungsform wiedergegeben. Die Umgebungsüberwachungs-Verarbeitung dieser Ausführungsform unterscheidet sich von der ersten Ausführungsform lediglich in der Verarbeitung des Auswählens des Standardbilds (Schritt 004 in 3). Das Flussdiagramm des Objektdetektions- und Warnungsbetriebs dieser Ausführungsform ist das Gleiche wie in 3. Deshalb wird die folgende Beschreibung mit Bezug auf das in 3 gezeigte Flussdiagramm vorgenommen.
Mit Bezug auf 3 überträgt die Flächenextraktions-Verarbeitungseinheit der Bildverarbeitungseinheit 1 in Schritt 004 dieser Ausführungsform zunächst das von einer vorbestimmten Infrarotkamera (beispielsweise der Infrarotkamera 2R) erhaltene Bild (rechtes Bild) in Binärdarstellung und extrahiert eine Fläche, die im Bild Pixeldaten eines vorbestimmten Schwellenwerts oder größer aufweist. Insbesondere wird die Übertragung in Binärdarstellung für das rechte Bild auf die gleiche Art und Weise wie in Schritt 005 durchgeführt. Es sollte beachtet werden, dass eine Rauschminderung dadurch vorgenommen werden kann, dass die in Binärdarstellung übertragenen Bilddaten auf die gleiche Art und Weise wie in den Schritten 006 und 007 in Lauflängendaten umgewandelt und derart mit einer Bezeichnung versehen werden, dass lediglich Flächen extrahiert werden, von denen jede Abmessungen des vorbestimmten Werts oder größer aufweist.
Anschließend detektiert die Fahrumfelddetektier-Verarbeitungseinheit aus den linken und rechten Bereichen vor dem Fahrzeug 10 einen mehr Objekte einschließenden Bereich als Fahrumfeld. Die Verteilung der um das Fahrzeug 10 herum vorhandenen Hintergrundobjekte wird auf Grundlage des Fahrumfelds geschätzt.
Nun wird mit Bezug auf 12 die Verarbeitung des Detektierens des Fahrumfelds beschrieben. 12 stellt ein mittels der Übertragung in Binärdarstellung des rechten Bilds erhaltenes Bild und das Extrahieren der Flächen dar. Das in 12 gezeigte Bild ist der vorstehenden Rauschminderung unterzogen worden. Die Fahrumfelddetektier-Verarbeitungseinheit setzt auf diesem Bild die rechte Fläche AR und die linke Fläche AL fest. Danach berechnet sie für jede Fläche den Gesamtbetrag der mittels weißer Flächen in dieser Figur angezeigten Flächen hoher Helligkeit, um eine Fläche mit einem größeren berechneten Wert zu bestimmen. Außerdem detektiert die Fahrumfelddetektier-Verarbeitungseinheit aus den linken und rechten Bereichen vor dem Fahrzeug 10 einen Bereich, der sich auf der gleichen Seite wie derjenige der bestimmten Fläche befindet, als einen mehr Objekte einschließenden Bereich. In dem in 12 gezeigten Beispiel wird die linke Fläche AL im Bild bestimmt und wird der linke Bereich vor dem Fahrzeug 10 als der mehr Objekte einschließende Bereich detektiert. Falls die Straße eine Mehrzahl von Fahrbahnen aufweist, wird danach beispielsweise angenommen, dass der Bereich, in welchem sich ein Straßenrand befindet, mehr Hintergrundobjekte einschließt, und wird deshalb der Bereich auf der Seite detektiert, auf welcher sich der Straßenrand befindet. Falls die Straße, auf welcher das Fahrzeug 10 fährt, beispielsweise ein einspuriger Bergweg ist, wird zudem angenommen, dass, vom Fahrzeug 10 aus betrachtet, auf der Bergseite mehr Hintergrundobjekte vorhanden sind als auf der Talseite, und wird deshalb der Bereich auf der Bergseite detektiert. Anschließend wählt die Standardbildauswahl-Verarbeitungseinheit der Bildverarbeitungseinheit 1 gemäß dem Fahrumfeld ein Standardbild aus. In dieser Situation wird der linke Bereich vor dem Fahrzeug 10 detektiert und wird deshalb das von den Infrarotkameras 2R und 2L von der Infrarotkamera 2L, die sich auf der linken Seite des Fahrzeugs 10 befindet, erhaltene Bild als das Standardbild ausgewählt.
Ähnlich wie bei dem unter Verwendung von 10 in der ersten Ausführungsform beschriebenen Beispiel, ist es dadurch möglich, die Möglichkeit einer Überlappung zwischen dem Detektierobjekt und dem Hintergrundobjekt im Standardbild zu verringern, indem für die Seite, auf welcher mehr Hintergrundobjekte vorhanden sind, wie beispielsweise den Straßenrand, ein von einer näher zum Straßenrand angeordneten Infrarotkamera erhaltenes Bild als das Standardbild ausgewählt wird. Wenn das Objekt in den Schritten 005 bis 008 aus dem Standardbild extrahiert wird, kann außerdem die Genauigkeit der Objektextraktion verbessert werden, indem das Standardbild, ähnlich wie in dem unter Verwendung von 11 in der ersten Ausführungsform beschriebenen Beispiel, wie vorstehend beschrieben ausgewählt wird. Die vorstehend nicht beschriebenen Vorgänge sind denjenigen der ersten Ausführungsform gleich.
Gemäß dieser Ausführungsform ist es möglich, die Möglichkeit der Überlappung zwischen dem Detektierobjekt und dem Hintergrundobjekt im Standardbild zu verringern, wenn das um das Fahrzeug 10 herum vorhandene Objekt auf die gleiche Art und Weise wie in der ersten Ausführungsform aus den von den Infrarotkameras 2R und 2L erhaltenen Bildern detektiert wird. Dadurch wird die Genauigkeit der Objektextraktion im Standardbild verbessert, was zu einer ordnungsgemäßen Suche nach dem entsprechenden Objekt und einer ordnungsgemäßen Berechnung einer Parallaxe führt, mittels welcher die Position des Objekts präzise detektiert wird.
[Fünfte Ausführungsform]
Im Folgenden wird mit Bezug auf 13 eine fünfte Ausführungsform der vorliegenden Erfindung beschrieben. Diese Ausführungsform ist zu der ersten Ausführungsform mit der Ausnahme identisch, dass die Bildverarbeitungseinheit 1 eine Abstandsberechnungs-Verarbeitungseinheit anstelle der Flächenextraktions-Verarbeitungseinheit einschließt. In der nachstehenden Beschreibung bezeichnen die gleichen Bezugszeichen die gleichen Bestandteile wie in der vierten Ausführungsform und wird deren Beschreibung hier weggelassen.
Bei dem Fahrzeugumgebungs-Überwachungsgerät gemäß dieser Ausführungsform schließt die Bildverarbeitungseinheit 1 als ihre Funktion die Abstandsberechnungs-Verarbeitungseinheit ein, die einen Abstand eines von der Objektextraktions-Verarbeitungseinheit extrahierten Objekts vom Fahrzeug 10 berechnet. Die Abstandsberechnungs-Verarbeitungseinheit berechnet beispielsweise unter Verwendung der von der Positionsdetektier-Verarbeitungseinheit detektierten Position des von der Objektextraktions-Verarbeitungseinheit extrahierten Objekts den Abstand des extrahierten Objekts vom Fahrzeug 10.
Danach detektiert die Fahrumfelddetektier-Verarbeitungseinheit aus den linken und rechten Bereichen vor dem Fahrzeug 10 einen mehr Objekte einschließenden Bereich als Fahrumfeld. In dieser Detektion detektiert die Fahrumfelddetektier-Verarbeitungseinheit aus den linken und rechten Bereichen vor dem Fahrzeug 10 einen Bereich, der innerhalb eines vorbestimmten Abstands vom Fahrzeug 10 mehr Objekte einschließt, als den vorstehenden Bereich. Ähnlich wie in der vierten Ausführungsform, kann die Straße, auf welcher das Fahrzeug 10 vorhanden ist, in dieser Ausführungsform lediglich eine Fahrbahn aufweisen. Die vorstehend nicht beschriebenen Merkmale sind denjenigen der vierten Ausführungsform gleich.
Nun wird die Beschreibung des gesamten Betriebs (des Objektdetektions- und Warnungsbetriebs) des Fahrzeugumgebungs-Überwachungsgeräts gemäß dieser Ausführungsform gegeben. Die Umgebungsüberwachungsverarbeitung in dieser Ausführungsform unterscheidet sich von der vierten Ausführungsform lediglich in der Verarbeitung des Detektierens des Fahrumfelds in der Verarbeitung des Auswählens des Standardbilds (Schritt 004 in 3). Das Flussdiagramm des Objektdetektions- und Warnungsbetriebs dieser Ausführungsform ist das Gleiche wie in 3. Deshalb wird die folgende Beschreibung mit Bezug auf das in 3 gezeigte Flussdiagramm vorgenommen.
Mit Bezug auf 3 wird in Schritt 004 dieser Ausführungsform zuerst eine Objektextraktions-Verarbeitung für ein vorbestimmtes Standardbild der von den Infrarotkameras 2R und 2L erhaltenen Bilder durchgeführt. Insbesondere werden für das vorbestimmte Standardbild die gleichen Verarbeitungen wie diejenigen der Schritte 005 bis 008 durchgeführt, um dadurch ein Objekt zu extrahieren. Ähnlich wie bei den Verarbeitungen der Schritte 005 bis 008, entspricht dieser Vorgang der Objektextraktions-Verarbeitungseinheit gemäß der vorliegenden Erfindung. Wie das vorbestimmte Standardbild in Schritt 004 wird beispielsweise das von der vorbestimmten Infrarotkamera (beispielsweise der Infrarotkamera 2R) erhaltene Bild (rechtes Bild) verwendet. Alternativ kann das in Schritt 004 verwendete, vorbestimmte Standardbild beispielsweise ein Bild sein, welches von derselben Infrarotkamera erhalten und von der Standardbildauswahl-Verarbeitungseinheit in der Verarbeitung während des vorhergehenden Stichprobenzeitraums als Standardbild ausgewählt worden ist.
Anschließend berechnet die Abstandsberechnungs-Verarbeitungseinheit einen Abstand des extrahierten Objekts vom Fahrzeug 10. Insbesondere werden für das extrahierte Objekt die gleichen Verarbeitungen wie diejenigen der Schritte 009 bis 017 durchgeführt und wird dadurch die Position (Realraum-Positionsdaten) des Objekts detektiert. Ähnlich wie bei den Verarbeitungen der Schritte 009 bis 017, entspricht dieser Vorgang der Positionsdetektier-Verarbeitungseinheit gemäß der vorliegenden Erfindung. Danach wird unter Verwendung des Detektionsergebnisses der Abstand des extrahierten Objekts vom Fahrzeug 10 berechnet.
Anschließend detektiert die Fahrumfelddetektier-Verarbeitungseinheit denjenigen Bereich der linken und rechten Bereiche vor dem Fahrzeug 10, der mehr Objekte einschließt, als Fahrumfeld. Die Verteilung der um das Fahrzeug 10 herum vorhandenen Hintergrundobjekte wird auf Grundlage des Fahrumfelds geschätzt.
Danach wählt die Standardbildauswahl-Verarbeitungseinheit gemäß dem Fahrumfeld ein neues Standardbild zur Verwendung in den Verarbeitungen (Verarbeitungen der Schritte 005 bis 008) der Objektextraktions-Verarbeitungseinheit aus. In dieser Ausführungsform können die Verarbeitungen der Schritte 005 bis 017 weggelassen werden, falls das in den Verarbeitungen der Objektextraktions-Verarbeitungseinheit verwendete Standardbild gleich dem von der Standardbildauswahl-Verarbeitungseinheit in Schritt 004 erneut ausgewählten Standardbild ist, und können die Verarbeitungen von Schritt 018 und der nachfolgenden Schritte unter Verwendung der von der Positionsdetektier-Verarbeitungseinheit detektierten Position (Realraum-Positionsdaten) des von der Objektextraktions-Verarbeitungseinheit in Schritt 004 extrahierten Objekts durchgeführt werden.
Nun wird mit Bezug auf 13 die Verarbeitung des Detektierens des Fahrumfelds beschrieben. 13 zeigt in Ansicht von oberhalb des Fahrzeugs die Positionen der aus dem rechten Bild zeitweise extrahierten Objekte B3 bis B9 bezüglich des Fahrzeugs 10. Die auf einer Seite der Straße vorhandenen Hintergrundobjekte B3 bis B6 befinden sich in einem Abschnitt, der eine Linie L2 auf der linken Seite des Fahrzeugs 10 überschreitet, und die auf der anderen Seite der Straße vorhandenen Hintergrundobjekte B7 und B8 befinden sich in einem Abschnitt, der eine Linie L3 auf der rechten Seite des Fahrzeugs 10 überschreitet.
Die Fahrumfelddetektier-Verarbeitungseinheit setzt im linken Bereich vor dem Fahrzeug 10 einen Bereich (einen von einer durchgezogenen Linie αL umgebenen Bereich AL) innerhalb eines vorbestimmten Abstands vom Fahrzeug 10 fest und setzt im rechten Bereich von dem Fahrzeug 10 einen Bereich (einen von einer durchgezogenen Linie αR umgebenen Bereich AR) innerhalb eines vorbestimmten Abstands vom Fahrzeug 10 fest. Wie die Bereiche AL und AR können in den linken und rechten Bereichen vor dem Fahrzeug 10 in den sich innerhalb des vorbestimmten Abstands vom Fahrzeug 10 befindenden Bereichen weitere vorbestimmte Teilbereiche festgesetzt werden.
Danach detektiert die Fahrumfelddetektier-Verarbeitungseinheit, welcher der Bereiche AL und AR mehr Hintergrundobjekte einschließt. In dem in 13 gezeigten Beispiel schließt der Bereich AL mehr Hintergrundobjekte ein als der Bereich AR, und deshalb detektiert die Fahrumfelddetektier-Verarbeitungseinheit den linken Bereich vor dem Fahrzeug 10 als den mehr Hintergrundobjekte einschließenden Bereich und als Fahrumfeld.
Falls die Straße beispielsweise eine Mehrzahl von Fahrbahnen aufweist, wird dabei angenommen, dass ein Bereich, in welchem ein Straßenrand vorhanden ist, mehr Hintergrundobjekte einschließt als ein Bereich, in welchem eine entgegenkommende Fahrbahn vorhanden ist. Deshalb wird der Bereich, in welchem ein Straßenrand vorhanden ist, ähnlich wie in der vierten Ausführungsform detektiert. Falls die Straße, auf welcher das Fahrzeug 10 fährt, beispielsweise ein einspuriger Bergweg ist, wird angenommen, dass, vom Fahrzeug 10 aus betrachtet, auf der Bergseite mehr Hintergrundobjekte vorhanden sind als auf der Talseite, und wird deshalb der Bereich auf der Bergseite auf die gleiche Art und Weise wie in der vierten Ausführungsform detektiert. Die vorstehend nicht beschriebenen Vorgänge sind denjenigen der vierten Ausführungsform gleich.
Gemäß dieser Ausführungsform ist es möglich, die Möglichkeit der Überlappung zwischen dem Detektierobjekt und dem Hintergrundobjekt im Standardbild zu verringern, wenn das um das Fahrzeug 10 herum vorhandene Objekt auf die gleiche Art und Weise wie in der vierten Ausführungsform aus den von den Infrarotkameras 2R und 2L erhaltenen Bildern detektiert wird. Dies verbessert die Genauigkeit der Objektextraktion im Standardbild, was zu einer ordnungsgemäßen Suche nach dem entsprechenden Objekt und einer ordnungsgemäßen Berechnung einer Parallaxe führt, mittels welcher die Position des Objekts präzise detektiert wird.
Obgleich die Abstandsberechnungs-Verarbeitungseinheit in dieser Ausführungsform den Abstand des extrahierten Objekts bezüglich des Fahrzeugs 10 unter Verwendung des von der Positionsdetektier-Verarbeitungseinheit erhaltenen Detektionsergebnisses berechnet, kann sie auf Grundlage der von den Infrarotkameras 2R und 2L erhaltenen Bildern und den von der Objektextraktions-Verarbeitungseinheit extrahierten Objekten ebenfalls den Abstand des Objekts bezüglich des Fahrzeugs 10 berechnen, ohne das in einer anderen Ausführungsform von der Positionsdetektier-Verarbeitungseinheit erhaltene Detektionsergebnis zu verwenden. Außerdem kann die Abstandsberechnungs-Verarbeitungseinheit den Abstand des Objekts bezüglich des Fahrzeugs 10 anstelle der von den Infrarotkameras 2R und 2L erhaltenen Bilder auch unter Verwendung der von einem Millimeterwellen-Radar oder von anderen Sensoren detektierten Positionsinformationen des Objekts berechnen.
Obgleich in den vorstehenden ersten bis fünften Ausführungsformen Infrarotkameras als Bildsensoren verwendet werden, können darüber hinaus auch normale CCD-Kameras oder dergleichen verwendet werden, die in der Lage sind, nur sichtbares Licht zu detektieren. Es sollte beachtet werden, dass die Verarbeitung des Extrahierens eines Fußgängers, eines fahrenden Fahrzeugs oder dergleichen hingegen durch die Verwendung der Infrarotkameras vereinfacht werden kann, da hierdurch die vorliegende Erfindung unter Verwendung einer arithmetischen Einheit erfüllt werden kann, deren arithmetische Leistungsfähigkeit relativ niedrig ist.
Ein Fahrzeugumgebungs-Überwachungsgerät, -verfahren und -programm, die in der Lage sind, die Möglichkeit einer Überlappung zwischen einem Detektierobjekt und einem Hintergrundobjekt in einem Standardbild zu verringern, wenn aus von einer Mehrzahl von Bildsensoren erhaltenen Bildern um das Fahrzeug herum vorhandene Objekte detektiert werden, damit die Objekte präzise detektiert werden. Das Fahrzeugumgebungs-Überwachungsgerät detektiert aus den Bildern, die von auf dem Fahrzeug 10 montierten Bildsensoren 2R, 2L erhalten worden sind, die um das Fahrzeug 10 herum vorhandenen Objekte. Das Fahrzeugumgebungs-Überwachungsgerät schließt eine Objektextraktions-Verarbeitungseinheit 1 ein, die eine Verarbeitung des Extrahierens der Objekte für ein vorbestimmtes Standardbild aus den von den Bildsensoren 2R, 2L erhaltenen Bildern, eine Fahrumfelddetektier-Verarbeitungseinheit 1, die ein Fahrumfeld des Fahrzeugs 10 detektiert, und eine Standardbildauswahl-Verarbeitungseinheit 1 ein, die gemäß der detektierten Fahrumgebung erneut ein Standardbild auswählt, welches bei der Verarbeitung der Objektextraktions-Verarbeitungseinheit 1 verwendet wird.

Claims

Fahrzeugumgebungs-Überwachungsgerät, welches um ein Fahrzeug herum vorhandene Objekte aus Bildern detektiert, die von zwei auf dem Fahrzeug montierten Bildsensoren, die sich links- bzw. rechtsseitig in der Front des Fahrzeugs befinden und die Ansichten vor dem Fahrzeug abbilden, erhalten werden, umfassend: eine Objektextraktions-Verarbeitungseinheit, welche die Objekte aus einem vorbestimmten Standardbild der von den beiden Bildsensoren erhaltenen Bildern extrahiert; und eine Bildverarbeitungseinheit, welche aus dem Standardbild ein Zielbild extrahiert, indem eines der Objekte ausgewählt wird, und welche in einem Referenzbild ein dem Zielbild entsprechendes Bild extrahiert; gekennzeichnet durch eine Fahrumfelddetektier-Verarbeitungseinheit, die eine Fahrumgebung des Fahrzeugs detektiert; und eine Standardbildauswahl-Verarbeitungseinheit, die aus den von den beiden Bildsensoren erhaltenen Bildern gemäß dem von der Fahrumfelddetektier-Verarbeitungseinheit detektierten Fahrumfeld erneut ein Standardbild zur Verwendung in der Verarbeitung der Objektextraktions-Verarbeitungseinheit auswählt.
Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 1, dadurch gekennzeichnet, dass die Auswahl des Standardbilds so erfolgt, dass die Möglichkeit einer Überlappung zwischen einem Detektierobjekt und einem Hintergrundobjekt verringert wird.
Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 1 oder 2, dadurch gekennzeichnet, dass es ferner eine Positionsdetektier-Verarbeitungseinheit umfasst, die auf Grundlage der von den beiden Bildsensoren erhaltenen Bilder und der von der Objektextraktions-Verarbeitungseinheit extrahierten Objekte die Position des Objekts bezüglich des Fahrzeugs detektiert.
Fahrzeugumgebungs-Überwachungsgerät gemäß einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass: eine Straße, auf welcher das Fahrzeug vorhanden ist, eine Mehrzahl von Fahrbahnen aufweist; die Fahrumfelddetektier-Verarbeitungseinheit einen Straßenrand der Straße, auf welcher das Fahrzeug vorhanden ist, als Fahrumfeld detektiert; und die Standardbildauswahl-Verarbeitungseinheit erneut ein Bild als das Standardbild zur Verwendung in der Verarbeitung der Objektextraktions-Verarbeitungseinheit auswählt, welches von einem Bildsensor erhalten worden ist, welcher von den beiden Bildsensoren dem von der Fahrumfelddetektier-Verarbeitungseinheit detektierten Straßenrand der Straße am nächsten angeordnet ist.
Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 4, dadurch gekennzeichnet, dass es ferner eine Eingabevorrichtung umfasst, in welche ein Fahrzeuginsasse Informationen über den Straßenrand der Straße eingibt, wobei die Fahrumfelddetektier-Verarbeitungseinheit auf Grundlage der in die Eingabevorrichtung eingegebenen Informationen über den Straßenrand der Straße den Straßenrand der Straße detektiert, auf welcher das Fahrzeug vorhanden ist.
Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 4, dadurch gekennzeichnet, dass: das Fahrzeug ein Fahrzeugnavigationssystem aufweist; und die Fahrumfelddetektier-Verarbeitungseinheit auf Grundlage der vom Fahrzeugnavigationssystem erhaltenen Informationen über den Straßenrand der Straße den Straßenrand der Straße detektiert, auf welcher das Fahrzeug vorhanden ist.
Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 4, dadurch gekennzeichnet, dass es ferner eine Relativgeschwindigkeitsberechnungs-Verarbeitungseinheit umfasst, die zu jedem der von der Objektextraktions-Verarbeitungseinheit extrahierten Objekte eine Relativgeschwindigkeit bezüglich des Fahrzeugs berechnet, wobei die Fahrumfelddetektier-Verarbeitungseinheit auf Grundlage der von der Relativgeschwindigkeitsberechnungs-Verarbeitungseinheit berechneten Relativgeschwindigkeit aus den extrahierten Objekten ein weiteres Fahrzeug auswählt, welches aus einer zur Richtung des Fahrzeugs entgegengesetzten Richtung kommt, und auf Grundlage der Position des ausgewählten, weiteren Fahrzeugs den Straßenrand der Straße detektiert, auf welcher das Fahrzeug vorhanden ist.
Fahrzeugumgebungs-Überwachungsgerät gemäß einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass: die Fahrumfelddetektier-Verarbeitungseinheit denjenigen Bereich der linken und rechten Bereiche vor dem Fahrzeug, der mehr Objekte einschließt, als das Fahrumfeld detektiert; und die Standardbildauswahl-Verarbeitungseinheit erneut ein Bild als das Standardbild zur Verwendung in der Verarbeitung der Objektextraktions-Verarbeitungseinheit auswählt, welches von dem Bildsensor der beiden Bildsensoren erhalten worden ist, der sich auf der Seite des von der Fahrumfelddetektier-Verarbeitungseinheit detektierten Bereichs befindet.
Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 8, dadurch gekennzeichnet, dass es ferner eine Flächenextraktions-Verarbeitungseinheit umfasst, die eine Fläche extrahiert, die im Bild Pixeldaten eines vorbestimmten Schwellenwerts oder größer aufweist, indem das von zumindest einem der beiden Bildsensoren erhaltene Bild in Binärdarstellung übertragen wird, wobei die Fahrumfelddetektier-Verarbeitungseinheit aus den linken und rechten Flächen im Bild diejenige Fläche bestimmt, welche mehr von der Flächenextraktions-Verarbeitungseinheit extrahierte Flächen einschließt, und einen Bereich der linken und rechten Bereiche vor dem Fahrzeug, der sich auf der gleichen Seite wie die bestimmte Fläche befindet, als den mehr Objekte einschließenden Bereich detektiert.
Fahrzeugumgebungs-Überwachungsgerät gemäß Anspruch 8, dadurch gekennzeichnet, dass es ferner eine Abstandsberechnungs-Verarbeitungseinheit umfasst, die zu jedem der von der Objektextraktions-Verarbeitungseinheit extrahierten Objekte einen Abstand bezüglich des Fahrzeugs berechnet, wobei die Fahrumfelddetektier-Verarbeitungseinheit denjenigen Bereich der linken und rechten Bereiche vor dem Fahrzeug, der innerhalb eines vorbestimmten Abstands vom Fahrzeug mehr extrahierte Objekte einschließt, als den mehr Objekte einschließenden Bereich detektiert.
Fahrzeugumgebungs-Überwachungsgerät, welches um ein Fahrzeug herum vorhandene Objekte aus Bildern detektiert, die von zwei auf dem Fahrzeug montierten Bildsensoren, die sich links- bzw. rechtsseitig in der Front des Fahrzeugs befinden und die Ansichten vor dem Fahrzeug abbilden, erhalten werden, umfassend: eine Objektextraktions-Verarbeitungseinheit, welche die Objekte aus einem vorbestimmten Standardbild der von den beiden Bildsensoren erhaltenen Bildern extrahiert; und eine Bildverarbeitungseinheit, welche aus dem Standardbild ein Zielbild extrahiert, indem eines der Objekte ausgewählt wird, und welche in einem Referenzbild ein dem Zielbild entsprechendes Bild extrahiert; dadurch gekennzeichnet, dass eine Standardbildauswahl-Verarbeitungseinheit erneut ein Bild als das Standardbild zur Verwendung in der Verarbeitung der Objektextraktions-Verarbeitungseinheit auswählt, welches von einem vorbestimmten Bildsensor erhalten worden ist, welcher von/aus den beiden Bildsensoren dem Straßenrand der Straße, auf der das Fahrzeug vorhanden ist und die eine Mehrzahl von Fahrbahnen aufweist, am nächsten angeordnet ist.
Fahrzeugumgebungs-Überwachungsgerät, welches mit einem Computer versehen ist, der eine Schnittstellenschaltung aufweist, um auf Daten von Bildern zuzugreifen, die von zwei auf dem Fahrzeug montierten Bildsensoren, die sich links- bzw. rechtsseitig in der Front des Fahrzeugs befinden und die Ansichten vor dem Fahrzeug abbilden, erhalten worden sind, und welches mittels vom Computer ausgeführter, arithmetischer Verarbeitung um das Fahrzeug herum vorhandene Objekte detektiert, wobei der Computer ausführt: eine Objektextraktionsverarbeitung, die die Objekte aus einem vorbestimmten Standardbild der von den beiden Bildsensoren erhaltenen Bildern extrahiert; und eine Bildverarbeitung, welche aus dem Standardbild ein Zielbild extrahiert, indem eines der Objekte ausgewählt wird, und welche in einem Referenzbild ein dem Zielbild entsprechendes Bild extrahiert; gekennzeichnet durch eine Fahrumfelddetektierverarbeitung, die ein Fahrumfeld des Fahrzeugs detektiert; und eine Standardbildauswahlverarbeitung, die aus den von den beiden Bildsensoren erhaltenen Bildern gemäß dem in der Fahrumfelddetektierverarbeitung detektierten Fahrumfeld erneut ein Standardbild zur Verwendung in der Verarbeitung der Objektextraktionsverarbeitung auswählt.
Fahrzeugumgebungs-Überwachungsverfahren, in welchem um ein Fahrzeug herum vorhandene Objekte aus Bildern detektiert werden, die von zwei auf dem Fahrzeug montierten Bildsensoren, die sich links- bzw. rechtsseitig in der Front des Fahrzeugs befinden und die Ansichten vor dem Fahrzeug abbilden, erhalten werden, umfassend: einen Objektextraktionsschritt, der die Objekte aus einem vorbestimmten Standardbild der von den beiden Bildsensoren erhaltenen Bildern extrahiert; und einen Bildverarbeitungschritt, in welchem aus dem Standardbild ein Zielbild extrahiert wird, indem eines der Objekte ausgewählt wird, und in welchem in einem Referenzbild ein dem Zielbild entsprechendes Bild extrahiert wird; gekennzeichnet durch einen Fahrumfelddetektierschritt, der ein Fahrumfeld des Fahrzeugs detektiert; und einen Standardbildauswahlschritt, der aus den von den beiden Bildsensoren erhaltenen Bildern gemäß dem im Fahrumfelddetektierschritt detektierten Fahrumfeld erneut ein Standardbild zur Verwendung in der Verarbeitung des Objektextraktionsschritts auswählt.
Fahrzeugsumgebungs-Überwachungsverfahren gemäß Anspruch 13, dadurch gekennzeichnet, dass im Standardbildauswahlschritt das Standardbild so ausgewählt wird, dass die Möglichkeit der Überlappung zwischen einem Detektierobjekt und einem Hintergrundobjekt verringert wird.
Fahrzeugumgebungs-Überwachungsprogramm, welches einen Computer dazu veranlasst, eine Verarbeitung durchzuführen, welche um ein Fahrzeug herum vorhandene Objekte aus Bildern detektiert, die von zwei auf dem Fahrzeug montierten Bildsensoren, die sich links- bzw. rechtsseitig in der Front des Fahrzeugs befinden und die Ansichten vor dem Fahrzeug abbilden, erhalten werden, und welches Funktionen hat, um den Computer dazu zu veranlassen auszuführen: eine Objektextraktionsverarbeitung, die die Objekte aus einem vorbestimmten Standardbild der von den beiden Bildsensoren erhaltenen Bildern extrahiert; und eine Bildverarbeitung, welche aus dem Standardbild ein Zielbild extrahiert, indem eines der Objekte ausgewählt wird, und welche in einem Referenzbild ein dem Zielbild entsprechendes Bild extrahiert; gekennzeichnet durch eine Fahrumfelddetektierverarbeitung, die ein Fahrumfeld des Fahrzeugs detektiert; und eine Standardbildauswahlverarbeitung, die aus den von den beiden Bildsensoren erhaltenen Bildern gemäß dem in der Fahrumfelddetektierverarbeitung detektierten Fahrumfeld erneut ein Standardbild zur Verwendung in der Objektextraktionsverarbeitung auswählt.