DE10101250A1

DE10101250A1 - Überwachung der Umgebung eines Motorfahrzeugs auf Kollisionsgefahr

Info

Publication number: DE10101250A1
Application number: DE10101250A
Authority: DE
Inventors: Masaki Saito; Naoto Ishikawa
Original assignee: Yazaki Corp
Current assignee: Yazaki Corp
Priority date: 2000-01-14
Filing date: 2001-01-12
Publication date: 2001-07-26
Also published as: GB2358751A; JP2001195699A; US20010008992A1; GB0100036D0; US6714139B2

Abstract

Die Position eines Objektes im seitwärtigen Bereich eines Fahrzeuges wird innerhalb vorgegebener Zeitintervalle ermittelt. Der erwartete Ort eines Objektes wird auf der Grundlage der innerhalb vorgegebener Zeitintervalle ermittelten Position des Objektes berechnet. Der erwartete Ort des Fahrzeuges wird ebenso berechnet. Es wird ermittelt, ob es, auf der Grundlage sowohl des erwarteten Ortes des Objektes als auch des erwarteten Ortes des Fahrzeuges, die Gefahr einer Kollision gibt oder nicht. Mit dieser Konfiguration ist eine Vorrichtung zur Überwachung der Umgebung eines Fahrzeuges vorgeschlagen worden, die in der Lage ist, die Gefahr einer Kollision auf der Grundlage der relativen Bewegungen des Fahrzeuges und des Objektes festzustellen.

Description

Die vorliegende Erfindung betrifft eine Vorrichtung zur Überwachung der Umgebung eines Motorfahrzeugs (im folgenden als im Fahrzeug eingebaute Vorrichtung zur Überwachung der Umgebung bezeichnet) und eine Vorrichtung zur Aufzeichnung von Daten für das Fahrzeug, die ein Programm zur Ermittlung der Gefahr einer Kollision aufweist. Insbesondere betrifft die vorliegende Erfindung eine im Fahrzeug eingebaute Vorrichtung zur Überwachung der Umgebung zur Beobachtung eines Objektes, wie eines Fussgängers oder eines Fahrrades, in der Umgebung des Motorfahrzeuges, um die Gewährleistung von Verkehrssicherheit durch den Fahrer zu unterstützen, und auf eine Vorrichtung zur Aufzeichnung von Daten, die ein Programm zur Ermittlung der Gefahr einer Kollision zwischen dem Fahrzeug und dem Objekt mittels eines Computers aufweist.

Wenn ein Fahrer ein Motorfahrzeug oder Auto fährt, gibt es in der Umgebung des Motorfahrzeuges ein Gebiet ausserhalb seines Gesichtsfeldes, auch wenn sein Gesichtsfeld durch einen Kotflügelspiegel oder einen Rückspiegel erweitert wird. Im besonderen hat er, wenn er ein grosses Fahrzeug bewegt, wie einen Lastwagen oder Bus, einen besonders grossen toten Winkel. Zum Beispiel kann der Fahrer daher, wenn ein Fahrzeug mit Rechtssteuerung nach links abbiegt, ein niedriges Objekt, dass das Fahrzeug passiert, wie z. B. ein Kind, das auf einem Bürgersteig in Richtung des Fahrzeuges läuft, nicht entdecken, was zu einem Unfall mit einem Zusammenstoss führt oder dazu, dass dem Objekt der Weg abgeschnitten wird. Um solche Schwierigkeiten zu umgehen, ist eine in ein Fahrzeug eingebaute Vorrichtung zur Überwachung der Umgebung vorgeschlagen worden, welche das seitliche Gesichtsfeld mittels des Bildes, das eine auf einem grossen Fahrzeug, wie einem Bus, seitlich montierte Kamera aufnimmt, überwachen kann, um das Überwachen der Umgebung während des Rechts- oder Linksabbiegens sicherzustellen.

Wie auch immer muss der Fahrer, wenn er die im Fahrzeug eingebaute Vorrichtung zur Überwachung der Umgebung benutzt, die Anzeigevorrichtung im Auge behalten, um in dieser Richtung Sicherheit zu gewährleisten, was für die Gesamtsicherheit gefährlich ist. Um eine solche Gefahr zu vermeiden, ist die nachfolgend beschriebene Vorrichtung zum Vermeiden von Unfällen aufgrund des Abschneidens des Weges vorgeschlagen worden. Die Vorrichtung zum Vermeiden von Unfällen aufgrund des Abschneidens des Weges entscheidet auf der Basis des von einer Kamera, die an der Seite des Fahrzeugs angebracht ist, aufgenommenen Bildes, ob es ein Objekt in der Nachbarschaft eines Fahrzeuges innerhalb eines vorgegebenen Gebietes gibt, oder nicht. Falls ein Objekt in der Nachbarschaft des Fahrzeuges innerhalb des vorgegebenen Gebietes existiert, gibt die Vorrichtung zum Vermeiden von Unfällen aufgrund des Abschneidens des Weges eine Warnmeldung aus, dass die Möglichkeit besteht, dass dem Objekt der Weg abgeschnitten wird, wenn ein Lenkvorgang oder Blinkvorgang ausgeführt wird. Diese Vorrichtung zum Vermeiden von Unfällen aufgrund des Abschneidens des Weges macht es unnötig, die Sicherheit durch Blickkontakt festzustellen und informiert über die Gefahr des Wegabschneidens durch die Warnmeldung, wodurch die Fahrsicherheit verbessert wird.

Wenn sich das Objekt, wie z. B. ein Fussgänger oder ein Fahrrad, bewegt, kann es der Fall sein, dass es trotzdem, auch wenn sich das Objekt in der Nähe des Fahrzeuges befindet, keine Möglichkeit des Kontaktes des Fahrzeuges mit dem Objekt gibt, wenn dieses sich vom Fahrzeug wegbewegt.

Umgekehrt gibt es, auch wenn sich das Objekt nicht in der Nähe des Fahrzeuges befindet, eine große Wahrscheinlichkeit einer Kollision zwischen dem Fahrzeug und dem Objekt, wenn sich das Objekt auf das Fahrzeug zu bewegt. Das heisst, dass die Gefahr der Kollision zwischen dem Fahrzeug und dem Objekt nicht notwendigerweise von dem momentanen Abstand zwischen dem Fahrzeug und dem Objekt abhängt.

Jedenfalls entscheidet die oben beschriebene Vorrichtung zum Vermeiden von Unfällen durch Wegabschneiden die Gefahr des Wegabschneidens oder einer Kollision während des Links- oder Rechtsabbiegens nur gemäß der Tatsache, ob es ein Objekt in einer vorbestimmten Region in der Umgebung des Fahrzeuges gibt, oder nicht und kann daher die Gefahr einer Kollision nicht genau feststellen.

Unter Berücksichtigung der oben beschriebenen Probleme ist es ein vorrangiges Ziel der vorliegenden Erfindung, eine im Fahrzeug eingebaute Überwachungsvorrichtung bereitzustellen, die die Gefahr einer Kollision zwischen einem Fahrzeug und einem Objekt auf der Basis der Relativbewegungen des Fahrzeuges und des Objektes entscheiden kann.

Ein weiteres Ziel der Erfindung ist es, eine Vorrichtung zur Aufzeichnung von Daten bereitzustellen, die ein Programm zum geeigneten Feststellen der Gefahr einer Kollision zwischen dem Fahrzeug und dem Objekt aufweist.

Um das erste Ziel in Übereinstimmung mit der Erfindung zu erreichen, wird, wie in dem grundlegenden Strukturdiagramm in Fig. 1 zu sehen ist, eine Vorrichtung zur Überwachung der Umgebung für ein Fahrzeug bereitgestellt, die Folgendes aufweist: Eine Vorrichtung zum Ermitteln der Objektposition 51a zum Ermitteln der Positionen eines Objektes in der Nähe eines Fahrzeuges innerhalb festgelegter Zeitintervalle, eine Vorrichtung zur Berechnung 51b für den erwarteten Ort des Objektes, zur Berechnung des erwarteten Ortes des Objektes auf der Basis der Positionen des Objektes, die mittels der Vorrichtung zum Ermitteln der Objektposition ermittelt worden sind, eine Vorrichtung zur Berechnung 51c des erwarteten Ortes des Fahrzeugs, zur Berechnung des erwarteten Ortes des Fahrzeugs und eine Vorrichtung zur Ermittlung der Gefahr 51d für die Ermittlung der Tatsache, ob es eine Gefahr einer Kollision zwischen dem Objekt und dem Fahrzeug, beurteilt auf der Grundlage sowohl des erwarteten Ortes des Objektes als auch des erwarteten Ortes des Fahrzeuges, gibt, oder nicht.

Mittels dieser Vorrichtung kann die Gefahr genau ermittelt werden, da auf der Grundlage sowohl des erwarteten Ortes des Objektes als auch des Fahrzeuges ermittelt wird, ob es eine Gefahr einer Kollision zwischen dem Objekt und dem Fahrzeug gibt, oder nicht.

Bevorzugterweise weist die Vorrichtung zur Überwachung der Umgebung für ein Fahrzeug weiterhin auf: Eine Vorrichtung zum Ermitteln der Geschwindigkeit des Objektes und eine Vorrichtung zur Ermittlung der Geschwindigkeit des Fahrzeuges, wobei die Vorrichtung zur Ermittlung der Gefahr auf der Basis sowohl des erwarteten Ortes des Objektes, berechnet auf der Grundlage des erwarteten Ortes und der Geschwindigkeit des Objektes, als auch der erwarteten Position des Fahrzeuges, berechnet auf der Grundlage des erwarteten Ortes und der Geschwindigkeit des Fahrzeuges, ermittelt, ob es eine Gefahr einer Kollision zwischen dem Objekt und dem Fahrzeug gibt, oder nicht.

Mittels dieses Aufbaus kann die Gefahr genauer ermittelt werden, da die Gefahr auf der Grundlage der Geschwindigkeit sowohl des Objektes und des Fahrzeuges als auch ihrer jeweiligen Orte ermittelt wird.

In Übereinstimmung mit der vorliegenden Erfindung wird ein Gerät zur Überwachung der Umgebung für ein Fahrzeug bereitgestellt, welches Folgendes aufweist: Eine Vorrichtung zur Ermittlung der Objektposition, welche eine im Fahrzeug eingebaute Vorrichtung zur Überwachung für die Überwachung der Umgebung eines Fahrzeuges aufweist, die ein Überwachungssignal bereitstellt, das repräsentativ für die Umgebungssituation ist; eine Vorrichtung zum Ermitteln der Objektposition zum Ermitteln der Position eines Objektes, innerhalb vorgegebener Zeitintervalle auf der Basis des Überwachungssignals, in einem Koordinatensystem, welches mit Bezug auf die Position und die Überwachungsrichtung der Überwachungsvorrichtung gewählt wird; eine Vorrichtung zur Ermittlung der Bewegungsgrößen, zur Ermittlung der Position und der Bewegungsgrößen der Überwachungsvorrichtung in Überwachungsrichtung, da die Überwachungsvorrichtung sich innerhalb eines vorgegebenen Zeitintervalls bewegt, wenn sich das Fahrzeug bewegt; eine Vorrichtung zur Berechnung des erwarteten Ortes eines Objektes zur Berechnung des wirklichen Ortes des Objektes auf der Grundlage der Position des Objektes und der Bewegungsgrößen der Überwachungsvorrichtung und für die Berechnung des erwarteten Ortes des Objektes auf der Grundlage des wirklichen Ortes des Objektes; eine Vorrichtung zur Berechnung des erwarteten Ortes des Fahrzeuges zur Berechnung des erwarteten Ortes des Fahrzeuges; und eine Vorrichtung zur Ermittlung der Gefahr für die Beurteilung, ob es, auf der Grundlage sowohl des erwarteten Ortes des Objektes als auch des erwarteten Ortes des Fahrzeuges, die Gefahr einer Kollision zwischen dem Objekt und dem Fahrzeug, gibt, oder nicht.

Mittels dieses Aufbaus kann die Gefahr genau ermittelt werden, weil die Beurteilung, ob es die Gefahr einer Kollision zwischen dem Objekt und dem Fahrzeug gibt oder nicht, auf der Basis sowohl des erwarteten Ortes des Objektes als auch des erwarteten Ortes des Fahrzeuges getroffen wird.

In dem Gerät zur Überwachung der Umgebung für ein Fahrzeug ist die Überwachungsvorrichtung bevorzugterweise eine bildaufnehmende Vorrichtung, die eine Mehrzahl von Bildsignalen bereitstellt, welche durch Aufnehmen der Umgebung des Fahrzeuges aus zwei Positionen, die voneinander um eine vorgeschriebene Distanz getrennt sind, erhalten werden, wobei die Vorrichtung zur Ermittlung der Objektposition die Position eines Objektes auf der Grundlage der Mehrzahl von Bildsignalen, welche von der bildaufnehmenden Vorrichtung bereitgestellt werden, ermittelt.

Mit Hilfe dieses Aufbaus kann die Gefahr einer Kollision genauer ermittelt werden, weil die bildaufnehmende Vorrichtung das Objekt in einem weiteren räumlichen Bereich überwacht.

Bevorzugterweise ermittelt die Vorrichtung zur Ermittlung der Objektposition im Gerät zur Überwachung der Umgebung für ein Fahrzeug jedes einzelne der Mehrzahl von Objekten in Koordinaten, wie sie von der bildaufnehmenden Vorrichtung aufgenommen werden. Die Vorrichtung zur Berechnung des erwarteten Ortes des Objektes berechnet unterscheidbar den erwarteten Ort jedes einzelnen der Objekte und die Vorrichtung zur Ermittlung der Gefahr stellt auf der Grundlage sowohl des erwarteten Ortes jedes der Objekte als auch des erwarteten Ortes des Fahrzeuges fest, ob es eine Gefahr einer Kollision zwischen dem Objekt und dem Fahrzeug gibt, oder nicht.

Mittels dieses Aufbaus kann, auch wenn es eine Mehrzahl von Objekten gibt, die Gefahr für jedes einzelne der Objekte ermittelt werden, so dass sie insgesamt genauer ermittelt werden kann.

Die Vorrichtung zur Überwachung der Umgebung für ein Fahrzeug weist weiterhin auf: Eine Vorrichtung zur Ermittlung der Geschwindigkeit des Objektes auf der Basis des wirklichen Ortes des Objektes; eine Vorrichtung zur Ermittlung der Geschwindigkeit des Fahrzeuges, wobei die Vorrichtung zur Ermittlung der Gefahr auf der Grundlage sowohl der erwarteten Position des Objektes, welche auf der Grundlage des erwarteten Ortes und der Geschwindigkeit des Objektes berechnet wird, als auch der erwarteten Position des Fahrzeuges, welche auf der Grundlage des erwarteten Ortes und der Geschwindigkeit des Fahrzeugs berechnet wird, ermittelt, ob es eine Gefahr einer Kollision zwischen dem Objekt und dem Fahrzeug gibt, oder nicht.

Mittels dieses Aufbaus kann die Gefahr genauer ermittelt werden, weil die Gefahr auf der Grundlage sowohl der Geschwindigkeit jedes der Objekte und des Fahrzeuges als auch ihrer jeweiligen Orte ermittelt wird.

Bevorzugterweise weist die Vorrichtung zur Überwachung der Umgebung für ein Fahrzeug weiterhin eine Warnvorrichtung für die Ausgabe eines Warnsignals auf, dass ausgegeben wird, wenn die Vorrichtung zur Ermittlung der Gefahr ermittelt, dass es eine Gefahr gibt. Mittels dieser Konfiguration wird ein Fahrer im voraus über die Gefahr einer Kollision informiert.

Die Vorrichtung zur Überwachung der Umgebung für ein Fahrzeug weist weiterhin auf: Eine Vorrichtung zur Berechnung des erwarteten Kollisionszeitpunktes, zur Berechnung eines erwarteten Kollisionszeitpunktes auf der Basis der erwarteten Position des Objektes und der erwarteten Position des Fahrzeugs, wenn die Vorrichtung zur Ermittlung einer Gefahr ermittelt, dass es eine Gefahr gibt, und eine Vorrichtung zur Ausgabe einer Warnmeldung für das Ausgeben von mehrstufigen Warnmeldungen gemäß der erwarteten Kollisionszeit.

Mittels dieser Konfiguration kann der Fahrer im voraus vom Grad der Gefahr einer Kollision informiert werden.

In Übereinstimmung mit einem zweiten Aspekt der Erfindung wird eine Vorrichtung zur Aufzeichnung von Daten bereitgestellt, die ein Programm für die Ermittlung der Kollisionsgefahr eines Fahrzeuges und eines Objektes mittels eines Computers aufweist, wobei das auszuführende Programm die folgenden Schritte aufweist: Die Ermittlung der Position eines Objektes in der Umgebung eines Fahrzeuges innerhalb vorgegebener Zeitintervalle; das Berechnen des erwarteten Ortes eines Objektes auf der Grundlage der Positionen des Objektes, die mittels der Vorrichtung zum Ermitteln der Objektposition ermittelt worden sind; das Berechnen eines erwarteten Ortes des Fahrzeuges und die Beurteilung, auf der Grundlage sowohl der erwarteten Orte des Fahrzeugs als auch des Objektes, ob es eine Gefahr einer Kollision zwischen dem Objekt und dem Fahrzeug gibt, oder nicht.

Weiterhin wird eine Vorrichtung zur Aufzeichnung von Daten bereitgestellt, die ein Programm zur Ermittlung der Gefahr einer Kollision des Fahrzeuges und eines Objektes mittels eines Computers aufweist, wobei das mittels des Computers auszuführende Programm die folgenden Schritte aufweist: Das Aufnehmen eines Überwachungssignals, welches von der im Fahrzeug eingebauten Überwachungsvorrichtung zur Überwachung der Umgebung des Fahrzeuges bereitgestellt wird, das repräsentativ für die Umgebungssituation ist; die Ermittlung der Positionen eines Objektes in bestimmten Koordinaten innerhalb vorgegebener Zeitintervalle auf der Basis des Überwachungssignals; die Ermittlung der Position und der Bewegungsgrößen der Überwachungsvorrichtung in Überwachungsrichtung, da die Überwachungsvorrichtung sich innerhalb eines vorgegebenen Zeitraums bewegt, wenn sich das Fahrzeug bewegt; das Berechnen des wirklichen Ortes eines Objektes auf der Grundlage der Positionen des Objektes und der Bewegungsgrößen der Überwachungsvorrichtung; das Berechnen des erwarteten Ortes eines Objektes auf der Grundlage des wirklichen Ortes des Objektes; das Berechnen des erwarteten Ortes des Fahrzeuges; und die Beurteilung, auf der Grundlage sowohl des erwarteten Ortes des Objektes als auch des erwarteten Ortes des Fahrzeugs, ob es eine Gefahr einer Kollision zwischen dem Objekt und dem Fahrzeug gibt, oder nicht.

Mittels der Konfiguration gemäß diesem Aspekt der vorliegenden Erfindung kann die Gefahr genau ermittelt werden, weil die Beurteilung, ob es die Gefahr einer Kollision zwischen dem Objekt und dem Fahrzeug gibt, oder nicht, auf der Grundlage sowohl des erwarteten Ortes des Objektes als auch des erwarteten Ortes des Fahrzeugs getroffen wird.

Die oben beschriebenen und weitere Ziele und Eigenschaften der vorliegenden Erfindung werden aus der nachfolgenden Beschreibung in Verbindung mit den begleitenden Zeichnungen klarer ersichtlich werden.

Fig. 1 ist ein Blockdiagramm, welches den grundlegenden Aufbau einer im Fahrzeug eingebauten Vorrichtung zur Überwachung des seitwärtigen Bereiches gemäß der Erfindung darstellt.

Fig. 2 ist ein Blockdiagramm, dass eine Ausführungsform einer im Fahrzeug eingebauten Vorrichtung zur Überwachung des seitwärtigen Bereiches gemäß der Erfindung darstellt.

Fig. 3 ist eine perspektivische Ansicht der Art und Weise, in der eine Kamera gemäß einer Ausführungsform der Erfindung angebracht wird.

Fig. 4 ist ein Flussdiagramm, welches die Verarbeitungsprozedur in einer CPU zeigt, die einen wichtigen Bestandteil der im Fahrzeug eingebauten Vorrichtung zur Überwachung des seitwärtigen Bereiches darstellt, die in Fig. 2 dargestellt ist.

Fig. 5 ist eine Ansicht zur Erklärung der Korrektur des Senkungswinkels der Kamera gemäß einer Ausführungsform der Erfindung.

Die Fig. 6A und 6B sind Ansichten zur Erklärung der Messung einer dreidimensionalen Position gemäß dieser Ausführungsform der Erfindung.

Die Fig. 7A bis 7D sind Ansichten zur Erklärung des Entfernens eines Bildes der Strassenoberfläche.

Die Fig. 8A bis 8C sind Ansichten zur Erklärung der Ermittlung einer Objektkante gemäß der vorliegenden Erfindung.

Die Fig. 9A und 9B sind Ansichten zur Erklärung der Arbeitsweise der CPU.

Die Fig. 10A und 10B sind Ansichten zur Erklärung der Entscheidung über eine Gefahr, die mittels der CPU ausgeführt wird.

Die Fig. 11A und 11B sind Ansichten zur Erklärung der Entscheidung über eine Gefahr, die mittels der CPU ausgeführt wird.

Nachfolgend wird eine Erklärung der bevorzugten Ausführungsformen der vorliegenden Erfindung mit Bezug auf die Zeichnungen gegeben.

Fig. 2 zeigt eine im Fahrzeug eingebaute Überwachungsvorrichtung gemäß der Erfindung.

In Fig. 2 bezeichnet die Referenznummerierung 1 eine bildaufnehmende Einheit, die in einem Fahrzeug eingebaut ist, um die Umgebung des Fahrzeugs zu überwachen; 2 bezeichnet eine Steuerrichtungsbestimmungseinheit für die Ermittlung von Lenkbewegungen des Fahrzeugs; 3 eine Geschwindigkeitsermittlungseinheit für die Ermittlung der Geschwindigkeit des Fahrzeugs; 4 eine Speichereinheit für das Speichern von Bildinformationen und anderen Informationen; 5 einen Mikrocomputer (µCOM); 6 eine Anzeigeeinheit; und 7 eine geräuscherzeugende Einheit für die Ausgabe eines Warntones oder einer Richtungsanweisung mittels Sprache.

Die bildaufnehmende Einheit 1 aufweist eine rechte CCD-Kamera (bildaufnehmende Vorrichtung) 11R, eine linke CCD-Kamera (bildaufnehmende Vorrichtung) 11L, eine rechte Bildebene 12R, auf die die mittels der rechten CCD-Kamera 11R aufgenommene Bildinformation projiziert wird und eine linke Bildebene 12R, auf die die Bildinformation, die mittels der linken CCD- Kamera 11L aufgenommen worden ist, projiziert wird. Wie in Fig. 3 dargestellt, ist die bildaufnehmende Einheit 1 in einer Position mit der Höhe H an der vorderen seitwärtigen Position des Fahrzeugs 100 so angeordnet, dass sie in eine Richtung vom Fahrzeug weg orientiert ist. Das Paar der CCD- Kameras 11, welche die bildaufnehmende Einheit 1 bilden, sind parallel in einer vorgegebenen Distanz voneinander mit einem Senkungswinkel θs angeordnet. Daher nimmt die bildaufnehmende Einheit 1 die Überwachungsregion 100a [100a(11R) und 100a(11L)] im vorderen seitwärtigen Gebiet des Fahrzeugs auf.

Die Steuerrichtungsbestimmungseinheit 2 umfasst einen Lenkradsensor für die Ermittlung des Einschlags und der Drehrichtung des Lenkrads und einen Steuerwinkelsensor für die Ermittlung des Steuerwinkels des steuernden Rades (im allgemeinen vorderes Rad; beide Sensoren sind nicht dargestellt) und erzeugt eine Drehsinninformation, inklusive der Drehrichtung des Fahrzeuges und des Steuerwinkels, der von diesen Sensoren ermittelt wird. Die Geschwindigkeitsermittlungseinheit 3 kann ein Entfernungssensor sein (nicht dargestellt), der immer dann, wenn das Fahrzeug eine Entfernungseinheit zurücklegt, ein Pulssignal erzeugt, um die Fahrzeuggeschwindigkeit, die auf der Grundlage des Pulssignals berechnet wird, als Geschwindigkeitsinformation bereitzustellen.

Die Speichereinheit 4 aufweist einen rechten Einzelbildspeicher 41R für das zeitweise Speichern der Bildinformation der bildaufnehmenden Einheit 1, die auf die rechte Bildebene 12R projiziert worden ist, als sogenanntes rechtes Bildsignal; einen linken Einzelbildspeicher 41L für das zeitweise Speichern der Bildinformation der bildaufnehmenden Einheit 1, die auf die linke Bildebene 12L projiziert worden ist, als sogenanntes linkes Bildsignal; einen differentiellen Bildspeicher 42 für das Speichern eines differentiellen Bildes; einen Speicher für ein differenziertes Bild 43 für das Speichern eines differenzierten Bildes; und einen Kantenbildspeicher 44 für das Speichern einer Bildkante (das differentielle Bild, das differenzierte Bild und das Kantenbild werden später beschrieben). Diese Speicher 41 bis 45 sind in Form einer Matrix mit m Zeilen und n Spalten aufgebaut, z. B. als ein Feld von 512(m) × 512(n) Pixeln. Jeder der Pixel, die den Speicher aufbauen, stellt Luminanzdaten mit z. B. 256 Grauabstufungen dar.

Der µCOM 5 weist einen ROM 52, der eine Vorrichtung zur Aufzeichnung von Daten darstellt, die ein Programm für die Entscheidung der Gefahr einer Kollision zwischen dem Fahrzeug und dem Objekt speichert, eine CPU 51, die gemäß des Programms arbeitet und einen RAM 53 für das zeitweise Speichern der benötigten Information auf, wenn die CPU 51 arbeitet. Die Anzeigeeinheit 6 weist eine Anzeige 61 auf, auf der auf der Grundlage des von der CPU 51 bereitgestellten darzustellenden Bildsignals entweder das von der Kamera 11 aufgenommene Bild, oder eine Nachricht für den Fahrer dargestellt wird. Die geräuscherzeugende Einheit 7 gibt auf der Grundlage des Summtonsignals oder der Verkehrsführung durch Sprache, die von der CPU 51 bereitgestellt wird, ein Summgeräusch oder eine Richtungsanweisung mittels eines Lautsprechers 71 aus.

Die CPU 51 innerhalb des µCOM 5 ermittelt zu jedem der vorgegebenen Zeitintervalle Δt die Position eines Objektes in einem Koordinatensystem mit Bezug auf die Position der CCD- Kamera, auf der Basis der Bildsignale, die in dem rechten Einzelbildspeicher 41R und dem linken Einzelbildspeicher 41L der bildaufnehmenden Einheit 1 gespeichert sind (Vorrichtung zum Ermitteln der Objektposition). Die CPU 51 ermittelt, auf der Grundlage des sich bewegenden Ortes der CCD Kamera 11, der sich während der vorgegebenen Zeit bewegt, die Position und die Bewegungsgrößen der CCD-Kamera 11 in Überwachungsrichtung (Vorrichtung zur Ermittlung der Bewegungsgrößen). Die CPU 51 berechnet den wirklichen Ort des Objektes auf der Grundlage der Positionen des Objektes, wie sie zu zwei Zeitpunkten, getrennt durch ein Intervall der vorgegebenen Länge Δt ermittelt worden sind und der Bewegungsgrößen, die mittels der Vorrichtung zur Ermittlung der Bewegungsgrößen ermittelt worden sind und berechnet den erwarteten Ort des Objektes auf der Grundlage des wirklichen Ortes, der vorher wie beschrieben berechnet worden ist (Vorrichtung zur Berechnung des erwarteten Ortes). Die CPU 51 ermittelt die Geschwindigkeit des Objektes auf der Grundlage des wirklichen Ortes des Objektes, wie er berechnet worden ist, und berechnet die erwartete Position des Objektes nach Δt1, Δt2,. . .,Δtn auf der Grundlage des erwarteten Ortes des Objektes und der Objektgeschwindigkeit.

Die CPU 51 berechnet den erwarteten Ortes eines Fahrzeuges auf der Grundlage der Information über Lenkbewegungen von der Steuerrichtungsbestimmungseinheit 2 (Vorrichtung zur Berechnung des erwarteten Ortes des Fahrzeuges), und berechnet die erwarteten Positionen des Fahrzeuges nach Δt1, Δt2,. . .,Δtn auf der Grundlage des erwarteten Ortes des Fahrzeuges und der Geschwindigkeitsinformation, die von der Geschwindigkeitsbestimmungseinheit 3 bereitgestellt wird. Die CPU 51 ermittelt auf der Grundlage der erwarteten Objektpositionen und der erwarteten Fahrzeugposition, ob es die Gefahr einer Kollision zwischen dem Fahrzeug und dem Objekt gibt, oder nicht (Vorrichtung zum Ermitteln einer Gefahr), und gibt eine Warnmeldung aus, wenn entschieden worden ist, dass es die Gefahr einer Kollision gibt (Vorrichtung zur Ausgabe einer Warnmeldung).

Im folgenden wird unter Bezugnahme auf das in Fig. 4 dargestellte Flussdiagramm eine Erklärung der Arbeitsweise der im Fahrzeug eingebauten Vorrichtung zur Überwachung der Umgebung, die eine wie oben beschriebene Konfiguration aufweist, gegeben.

Die CPU 51 beginnt zu arbeiten, wenn der Zündschalter (nicht dargestellt) umgelegt wird. In einem Initialisierungsschritt (nicht dargestellt) werden initialisierende Einstellungen für die verschiedenen Gebiete des µCOM 5 durchgeführt. Danach schreitet das Programm zum Anfangsschritt S1 fort.

Im Schritt S1 wird das Bildsignal, welches von der bildaufnehmenden Einheit zum Zeitpunkt t aufgenommen worden ist, einmal auf die Bildebenen 12R und 12L projiziert und dann im rechten Einzelbildspeicher 41R und im linken Einzelbildspeicher 41L als Luminanzdaten für jedes der Pixel gespeichert.

Im Schritt S2 wird die Ermittlung der Gegenwart/Abwesenheit eines Objektes auf der Grundlage des in Schritt S1 gespeicherten Bildsignals getroffen.

Im Schritt S3 wird entschieden, ob die Gegenwart eines Objektes in Schritt 2 ermittelt worden ist, oder nicht. Falls "JA" (ein Objekt ist vorhanden), schreitet die Verarbeitung zu Schritt S4 fort. Im Schritt S4 wird die Ermittlung der Position des Objektes im Koordinatensystem mit Bezug auf die Position der CCD-Kamera 11 getroffen. Falls "NEIN" in Schritt S3, schreitet das Programm zu Schritt S6 fort.

Im folgenden wird eine detaillierte Erklärung für den Programmschritt der Ermittlung der Gegenwart/Abwesenheit eines Objektes in Schritt S2 und den Programmschritt des Feststellens der Objektposition in Schritt S4 gegeben. In dem Programmschritt der Ermittlung der Gegenwart/Abwesenheit eines Objektes, entfernt die CPU 51 ein Hintergrundbild (Bild auf Höhe "0") und schafft eines Kantenbild des Objektes. Zum Zwecke der Erleichterung der Erklärung dieser Arten von Programmschritten wird der Programmschritt der Entdeckung des Objektes im Schritt S4 zunächst erklärt werden.

Die bildaufnehmende Einheit 1 (z. B. CCD-Kameras 11), wie in Verbindung mit Fig. 3 erklärt, ist mit dem Senkungswinkel es an der vorderen seitwärtigen Position des Fahrzeugs angebracht und nimmt das Überwachungsgebiet 100a auf. Daher ist das Bild, das von der bildaufnehmenden Einheit 1 aufgenommen wird, ein Bild mit Bezug auf diesen Ort. Daher wird die Position des Objektes mit Bezug auf seine Position bezüglich der bildaufnehmenden Einheit genommen. Wie aus der oberen Erklärung entnommen werden kann, dient die bildaufnehmende Einheit 1, die am Fahrzeug angebracht ist, als Überwachungsvorrichtung, die die Umgebung des Fahrzeugs überwacht und ebenso ein Signal erzeugt, dass ein Anhaltspunkt für die Position des Objektes im Koordinatensystem mit Bezug auf den Ort der bildaufnehmenden Einheit 1 ist (im folgenden als "Kameraposition" bezeichnet). Zum Zwecke der Erklärung werden, wie in Fig. 5 dargestellt, die Koordinaten mit Bezug auf den Ort, wie oben beschrieben, repräsentiert durch X', Y' und Z', während diejenigen auf der Strasse durch X, Y und Z repräsentiert sind.

Im X'Y'Z'-Koordinatensystem ist, wie in Fig. 6a gezeigt, die Z'-Achse definiert als die optische Linsenachse jeder der CCD-Kameras 11; die X'-Achse ist definiert als eine Achse parallel zur Strassenoberfläche und die Y'-Achse ist definiert als eine Achse senkrecht sowohl zu der Y' als auch der Z'-Achse. Daher sind die rechte CCD-Kamera 11R und die linke CCD-Kamera 11L so angeordnet, dass ihre optischen Linsenachsen koinzident mit der Z'-Achse sind. Mit Bezug auf die X'-Achse sind die CCD-Kameras 11 so angeordnet, dass ihre Mittelpunkte auf der X'-Achse in einem Abstand dXa voneinander angeordnet sind. Zum Zwecke der Erleichterung der nachfolgenden Erklärung ist der Ursprung "0" der X'-, Y'- und Z'-Achsen definiert als der Mittelpunkt der Linse der linken CCD-Kamera 11R.

Der Punkt P (X_P', Y_P', Z_P') auf dem von den CCD-Kameras 11 aufgenommenen Objekt wird als PR (x_RP, y_RP) in dem rechten Einzelbildspeicher 41R und als P_L (x_LP, y_LP) im linken Einzelbildspeicher 41L gespeichert. Die Z' Koordinate Z_P' des Punktes P kann auf gleichartige Weise aus einem Dreieck erhalten werden, wie in der schematischen Ansicht der X'Z'- Ebene in Fig. 6B zu sehen ist. Namentlich kann die Koordinate Z_P' durch die Gleichung (1)

Z_P' = dxa.f(x_LP - x_RP) (1)

ausgedrückt werden, wobei dxa die Entfernung zwischen beiden Linsen und f die Brennweite der Linsen ist.

Auf gleiche Art und Weise kann die X'-Koordinate X_P' des Punktes P ebenso in gleichartiger Weise aus einem Dreieck erhalten werden, wie aus der schematischen Ansicht der X'Z'- Ebene in Fig. 6B ersichtlich. Die Y'-Koordinate Y_P' des Punktes P kann ebenso auf gleichartige Weise aus der Y'Z'- Ebene, die nicht dargestellt ist, gewonnen werden. So können die X'-Koordinate X_P' und die Y'-Koordinate Y_P' mittels der Gleichungen (2) und (3)ausgedrückt werden.

X_P' = Z_P' = Z_P'x_LP/f = dxa.x_LP (x_LP - x_RP) (2)

Y_P' = Z_P'y_LP/f = dxa.y_LP (x_LP - x_RP) (3)

Bezüglich der Koordinate X_P' kann, falls der Ursprung des Standardkoordinatensystems genau zwischen der rechten CCD- Kamera 11R und der linken CCD-Kamera 11L gewählt wird, die Differenz zwischen den gemäß Gleichung (2) berechneten Koordinaten X_P' und der Hälfte des Abstandes dxa zwischen beiden Linsen genommen werden.

Da der Punkt P (X_P', Y_P', Z_P') im X'Y'Z'-Koordinatensystem, der gemäß den Gleichungen (1) bis (3) berechnet worden ist, den Koordinatenwert im Koordinatensystem mit Bezug auf die Kameraposition darstellt, muss dieser Koordinatenwert in das XYZ-Koordinatensystem auf der Strassenoberfläche umgerechnet werden. In diesem Fall ist, unter der Annahme, dass der Senkungswinkel der bildaufnehmenden Einheit 1 (CCD-Kameras 11) θ_s ist, die Beziehung zwischen den Koordinaten (X_P', Y_P', Z_P') des Punktes P im X'Y'Z'-Koordinatensystem und dem XYZ-Koordinatensystem mit Bezug auf die Strassenoberfläche, wie in Fig. 5 dargestellt.

So können die Koordinaten (Z_P', Y_P', X_P'), die mittels der Gleichung (1) bis (3) berechnet worden sind, in die Koordinaten (X_P, Y_P, Z_P) durch Anwenden der nachfolgenden Gleichungen (4) bis (6) umgerechnet werden.

X_P = X_P' (4)

Y_P = H - Z_P' cosθ_s + Y_P'sinθ_s (5)

Z_P = Z_P' sinθ_s + Y_P'cosθ_s (6)

Auf der Grundlage der Gleichungen (1) bis (6) wird eine Erklärung des Programmschrittes der Ermittlung der Gegenwart/Abwesenheit eines Objektes mittels der CPU 51 in Schritt S2 angegeben. Zuerst wird das Entfernen eines Hintergrundbildes (des Bildes in Höhe "0") erklärt.

Fig. 7A zeigt das rechte Bild, welches mittels der rechten CCD-Kamera 11R aufgenommen worden ist und das im rechten Einzelbildspeicher 41R gespeichert wird. In Fig. 7A bezeichnet die Referenznummerierung 300 eine weisse Linie und die Referenznummerierung 240 ein pfahlartiges Objekt.

Im folgenden wird angenommen, dass das gesamte im rechten Einzelbildspeicher 32R gehaltene Bild das Bild auf Höhe "0" ist, z. B. das auf der Strassenoberfläche gezeichnete Bild. Das so aufgenommene rechte Bild wird in das an der Position der linken CCD-Kamera 11L (Fig. 7B) aufgenommene Bild umgerechnet (projiziert).

Der Programmschritt der Berechnung des projizierten Bildes wird nachfolgend erklärt. Es wird angenommen, dass der Punkt P_L (x_LP, y_LP) des projizierten Bildes, welcher dem Punkt P_R des rechten Bildes (x_RP,y_RP) entspricht, P_L (x_LP,y_LP) ist. Wie in Fig. 3 zu sehen ist, sind unter der Annahme, dass die X'- Achse relativ zur Kamera und die X-Achse relativ zur Strassenoberfläche parallel sind und die x-Achsen der von den Kameras aufzunehmenden Linien (x_L-Achse und x_R-Achse in Fig. 6) ebenso parallel sind, der y_L-Wert und der y_R-Wert des Bildes einander gleich, wenn das identische Objekt aufgenommen worden ist. Weiterhin wird unter der Annahme, dass sich das gesamte Bild auf der Strasse befindet, der Wert Y_P in Gleichung (6) gleich Null. Dies führt zu den nachfolgenden Gleichungen (7) und (8).

Durch Einsetzen von Z_P' aus Gleichung (1) und Y_P' aus Gleichung (3) in Z_P' und Y_P' in Gleichung (8) kann X_LP', wie in Gleichung (9) ausgedrückt, erhalten werden.

y_LP = y_RP (7)

O = HP - ZP'cosθ_s + YP'sinθ_s (8)

X_LP = (dxa.fcosθ_s + dxa.y_RPsinθ_s)/H + x_RP (9)

Durch Berechnung der Gleichungen (8) und (9) erzeugt der µCOM 5 das projizierte Bild (Fig. 7B).

Eine Superposition des so erzeugten Bildes mit dem linken Bild erzeugt ein Bild wie in Fig. 7C dargestellt. Namentlich wird, wenn das rechte Bild, das von der rechten CCD-Kamera 11R aufgenommen worden ist, der linken Bildebene superponiert wird, das Muster, inklusive der weissen Linie, das auf der Höhe der Strassenoberfläche liegt, in Position und Lumineszenz koinzident mit dem Muster, das von der linken CCD-Kamera 11L aufgenommen worden ist, die Differenz steigt jedoch an, wenn der Ort des Objektes höher als die Strassenoberfläche liegt. Wenn die Differenz zwischen den linken Bilddaten und den projizierten rechten Bilddaten genommen wird, wird der Wert der Lumineszenz jedes der Pixel, die die Strassenoberfläche abbilden und die nicht zum Objekt gehören, gleich Null oder ein Wert in der Nähe von Null. Unter der Annahme, dass die Werte, die nicht größer als ein vorgegebener Schwellenwert sind, gleich Null gesetzt werden, werden alle diese Pixel den Wert Null annehmen. Auf diese Art und Weise wird in dem differentiellen Bild das Bild der Strassenoberfläche (Hintergrundbild auf der Höhe Null) entfernt, wenn die Differenz zwischen den linken Bilddaten und den projizierten rechten Bilddaten genommen wird, wie in Fig. 7D dargestellt, und nur der Teil, der eine gewisse Höhe aufweist, wird mit von Null verschiedenen Werten aufgenommen. Das differentielle Bild wird im differentiellen Bildspeicher 42 des Speicherteils 4 gespeichert.

Auf diese Art und Weise wird das Hintergrundbild mit der Höhe Null entfernt und nur das Bild des Objektes mit einer von Null verschiedenen Höhe wird herausgelöst. Nachfolgend wird der Programmschritt der Kantenextraktion für das Objektbild, das in der unten beschriebenen Art und Weise herausgelöst worden ist, ausgeführt.

Der Programmschritt der Kantenextraktion wird auf der Grundlage der Bildinformation, die im linken Einzelbildspeicher 41L gespeichert ist, ausgeführt. Im linken Bild, das im linken Einzelbildspeicher 41L gespeichert ist, werden die Lumineszenzwerte Im,n der Bilddaten in einer Matrix mit m Reihen und n Spalten in horizontaler Richtung gescannt, z. B. in Richtung der X'-Achse in Fig. 6. Die Berechnung gemäß Gleichung (10) erzeugt ein differenziertes Bild.

If ¦I_m,n + 1 - I_m,n¦ = E₀ E_m,n = 1
If ¦I_m,n + 1 - I_m,n¦ < E₀ E_m,n = 0 (10)

Hierbei ist E₀ ein Schwellenwert.

Das differenzierte Bild, wie in Fig. 8B dargestellt, führt zu einem Bild mit longitudinalen Kantenbereichen mit dem Wert "1", wobei der übrige Teil den Wert "0" annimmt. Das differenzierte Bild wird im differenzierten Bildspeicher 43 der Speichereinheit gespeichert.

Das so erhaltene differenzierte Bild (Fig. 8B) und das im differentiellen Bildspeicher 42 gespeicherte differentielle Bild (erhalten mittels des Programmschritts des Entfernens des Bildes der Strassenoberfläche) werden superponiert, um ihre "UND"-Verknüpfung zu erzeugen. Auf diese Art und Weise wird das Bild der Objektkante, das nur den extrahierten Kantenteil des Objektes aufweist, wie in Fig. 8C dargestellt, geschaffen. Das Objektkantenbild wird im Kantenbildspeicher 35 gespeichert.

Im Schritt S3 der in Fig. 4 dargestellten Programmschritte wird gemäß der Tatsache, ob eine Objektkante erzeugt worden ist, oder nicht, entschieden, ob ein Objekt entdeckt worden ist, oder nicht.

Das Programm schreitet weiter zu Schritt S4, wenn das Objekt mittels der bildaufnehmenden Einheit 1 aufgenommen worden ist und das Objektkantenbild, das dem so aufgenommenen Objekt entspricht, erzeugt worden ist.

Auf der anderen Seite schreitet das Programm sofort weiter zu Schritt S6, wenn das Objekt nicht mittels der bildaufnehmenden Einheit 1 aufgenommen worden ist und daher ein Objektkantenbild nicht erzeugt worden ist. In Schritt S4 werden unter Benutzung der Gleichungen (4) bis (6) die Kantenpunkte des erzeugten Objektkantenbildes in die Koordinaten des XYZ-Koordinatensystems auf der Strassenoberfläche umgeformt. Die Koordinaten werden im RAM 53 gespeichert. Das Programm schreitet zu Schritt S5 weiter.

Im Schritt S5 werden zu einem Zeitpunkt t, wie in Fig. 9A dargestellt, die Kartendaten, die repräsentativ für die lagemäßige Beziehung zwischen dem Fahrzeug 100A und dem Objekt 240A im X1Z1-Koordinatensystem auf der Strassenoberfläche relativ zu den CCD-Kameras 11 sind, erzeugt. Die Kartendaten werden im RAM 53 gespeichert.

Das Programm schreitet zu den Schritten S6 und S7 fort. Nach einer vorgegebenen Zeitdauer Δ vom Zeitpunkt des Schrittes S1 oder des Schrittes S6 aus, die vorher ausgeführt worden sind, werden die gleichen Schritte wie in den obigen Programmschritten S1 und S2 wiederholt, um die Gegenwart oder Abwesenheit des Objektes festzustellen. In Schritt S8 wird entschieden, ob ein Objekt in dem Programmschritt S7 der Ermittlung der Gegenwart oder Abwesenheit eines Objektes entdeckt worden ist, oder nicht. Falls "JA", schreitet das Programm zu Schritt S9 fort. Auf der anderen Seite wird, falls in Schritt S8 "NEIN" ermittelt wird, festgelegt, dass es keine Gefahr einer Kollision zwischen dem Objekt und dem Fahrzeug gibt und das Programm kehrt zu Schritt S6 zurück.

In Schritt S9 werden dieselben Aufgaben wie in Schritt S4 ausgeführt. Zu einem Zeitpunkt t + Δ wird, wie in Fig. 9B dargestellt, die Position des Objektes 240B im X2Y2- Koordinatensystem relativ zu den CCD-Kameras 11, die im Fahrzeug 100B angebracht sind, berechnet und im RAM 53 gespeichert. In Schritt S10 wird auf der Grundlage der Steuerungsinformation der Steuerungserkennungseinheit 2 und der Geschwindigkeitsinformation der Geschwindigkeitsermittlungseinheit 3 der Ort L3 der CCD- Kamera 11, der sich während der vorgegebenen Zeit Δt gemäß der Fahrbewegung des Fahrzeugs bewegt hat, ebenso ermittelt. Auf der Grundlage des bewegten Ortes L3 werden die Positionen der CCD-Kameras 11 und ihre Bewegungsgrößen in Beobachtungsrichtung ermittelt. Ebenso müssen, wenn die CCD- Kameras gemäß dem Linksabbiegen oder Rechtsabbiegen des Fahrzeugs gedreht werden, die Bewegungsgrößen unter Berücksichtigung des Drehwinkels berechnet werden.

Auf der Grundlage der erhaltenen Bewegungsgrößen und der Position des Objektes 240B in der X2Z2-Koordinatenebene werden Kartendaten, die repräsentativ für die örtliche Beziehung zwischen dem Fahrzeug 100B und dem Objekt 240B in der XlZl-Koordinatenebene sind, erzeugt. Die Kartendaten werden im RAM 53 gespeichert.

In Schritt S11 wird die Aufgabe des Ermittlens von identischen Objekten gelöst. Dieser Schritt stellt eine Korrelation zwischen dem Objekt, das zur Zeit t entdeckt worden ist und dem Objekt, das zum Zeitpunkt t + Δt entdeckt wird, her. Während dieses Programmschrittes wird das Objektbild, das repräsentativ für das zum Zeitpunkt t aufgenommene Objekt 240A ist, mit dem für das Objekt 240B repräsentativen Bild verglichen. Wenn beide Bilder aufeinander passen, wird ermittelt, dass die Objekte 240A und 240B identisch sind.

Wenn eine Mehrzahl von Objekten mittels der CCD-Kameras aufgenommen wird, wird der Programmschritt der Identitätsermittlung für jedes der Mehrzahl der Objekte ausgeführt.

Im Schritt S12 wird entschieden, ob das Objekt identisch ist, oder nicht. Falls "NEIN", kehrt das Programm zum Schritt S6 zurück. Falls "JA", fährt das Programm mit Schritt S13 fort. In Schritt S13 wird die Aufgabe der Berechnung des erwarteten Ortes des inneren Rades L22 und des erwarteten Ortes des äusseren Rades L22 auf der Grundlage der Lenkungsinformation von der Steuerungserkennungseinheit 2, wie in Fig. 10a dargestellt, gelöst. Im Schritt S14 werden nachfolgend, auf der Grundlage der Geschwindigkeitsinformationen von der Geschwindigkeitsbestimmungseinheit 3 und den erwarteten Orten L22 und L21, die erwarteten Positionen des Fahrzeugs 100C, 100D, 100E,. . . nach ΔT1, ΔT2, ΔT3,. . . berechnet und im RAM 53 gespeichert.

In Schritt S15 wird die Aufgabe der Berechnung des erwarteten Ortes des Objektes gelöst. Spezifisch wird der wirkliche Ort L11 des Objektes auf der Grundlage der Positionen der Objekte 240A und 240B, wie in Fig. 10a dargestellt, die zu vorgegebenen Zeitintervallen Δt entdeckt worden sind und die als identisch angesehen werden können, berechnet und der so berechnete Ort L11 wird benutzt, um einen erwarteten Objektort L12 zu berechnen.

In Schritt S16 wird die Aufgabe der Berechnung der erwarteten Objektposition gelöst. Spezifisch wird die in Schritt S15 erhaltene Entfernung des wirklichen Ortes L11 geteilt durch ein vorgegebenes Zeitintervall Δt, um die Objektgeschwindigkeit zu erhalten. Auf der Basis der so erhaltenen Geschwindigkeit und des erwarteten Objektortes L12 werden die erwarteten Positionen 240C, 240D, 240E,. . . ΔT1, ΔT2, ΔT3,. . . berechnet und im RAM 53 gespeichert. Die Abarbeitung des Programms mittels der CPU 51 schreitet zu Schritt S17 fort.

In Schritt S17 wird entschieden, ob die erwarteten Objektorte für alle Objekte berechnet worden sind, die im Schritt S11 der IdentitätsErmittlung korreliert worden sind, oder nicht. Falls "NEIN", wird das Programm von Schritt S15 zu Schritt 516 wiederholt. So werden die erwarteten Objektpositionen für alle Objekte berechnet. Durch Wiederholung des Programms von Schritt S15 zu Schritt S16 wird der erwartete Ort und so ebenfalls die erwartete Position jedes der Objekte, die im Schritt S4 des Entdeckens der Position entdeckt werden können, berechnet. Falls "JA" in Schritt S17, schreitet das Programm zu Schritt S18 fort.

In Schritt S18 wird auf der Grundlage der erwarteten Positionen 240C, 240D, 240E,. . . der Objekte nach ΔT1, ΔT2, ΔT3,. . . die in Schritt S16 berechnet worden sind und der erwarteten Positionen 100C, 100D, 100E des Fahrzeugs nach ΔT1, tT2, ΔT3,. . . die in Schritt S14 berechnet worden sind, entschieden, ob es die Gefahr einer Kollision zwischen beiden gibt. Spezifischerweise wird, wenn es ein Objekt gibt, das sich dem Fahrzeug annähert (Fig. 10a) oder ein Objekt, das innerhalb des erwarteten Ortes des Fahrzeuges stillsteht (Fig. 10B), ermittelt, dass es die Gefahr einer Kollision gibt ("JA"). Die Bearbeitung des Programms mittels der CPU 51 schreitet zu Schritt S19 fort. Auf der anderen Seite wird, wenn sich das Objekt vom Fahrzeug entfernt (Fig. 11A) oder wenn das Objekt ein vorherfahrendes Fahrzeug ist, welches mit der gleichen oder einer höheren Geschwindigkeit als das betreffende Fahrzeug fährt (Fig. 11B), ermittelt, dass es keine Gefahr einer Kollision gibt. Dann kehrt das Programm zum Schritt S6 zurück.

Wie oben bereits beschrieben, kann die Gefahr einer Kollision genau bestimmt werden, da sie nicht nur unter Berücksichtigung der erwarteten Position des Fahrzeugs, sondern auch derjenigen des Objektes ermittelt wird.

Weiterhin wird in Schritt S19 der erwartete Zeitpunkt der Kollision mittels der CPU 51 auf der Grundlage der erwarteten Positionen 240C, 240D, 240E,. . . des Objektes nach ΔT1, ΔT2, ΔT3,. . . und der erwarteten Positionen 100C, 100D, 100E des Fahrzeugs nach ΔT1, AT2, ΔT3,. . . berechnet. Zum Beispiel ist im Falle der Fig. 10A und 10B der erwartete Zeitpunkt derjenige nach ΔT3. In diesem Schritt dient die CPU 51 zur Berechnung des Zeitpunkts der Kollision.

Nachfolgend wird im Schritt S20, in dem ein Warnsignal ausgegeben wird, ein mehrstufiges Summer-"AN"-Signal oder ein Audioverkehrsführungssignal, welches mit dem erwarteten Zeitpunkt der Kollision, der in Schritt S19 berechnet worden ist, korrespondiert, zum Lautsprecher 71 geschickt.

Spezifischerweise wird, falls der erwartete Zeitpunkt der Kollision früher als ein vorgegebener Zeitpunkt liegt, nach der Entscheidung, dass die Gefahr gross ist, ein Audioverkehrsführungssignal ausgegeben, so dass der Lautsprecher 71 angibt: "Kollision tritt auf" und "Kollision sofort abwenden". Auf der anderen Seite wird, falls der erwartete Zeitpunkt der Kollision nicht früher als ein vorgegebener Zeitpunkt liegt, nach der Entscheidung, dass die Gefahr gering ist, ein Audioverkehrsführungssignal in folgender Art ausgegeben: "Eine Kollision kann auftreten" und "Vorsicht".

Ein Bildanzeigesignal wird ausgegeben, um die von den CCD- Kameras 11 aufgenommenen Bilder auf dem Display 61 anzuzeigen und ein Markierungsrahmensignal wird ausgegeben, um einen Markierungsrahmen anzuzeigen, der das Objekt einkreist, mit dem eine Kollision wahrscheinlich ist. Wenn es eine Mehrzahl von Objekten mit Kollisionswahrscheinlichkeit gibt, wird die Warnung an das Objekt mit dem erwarteten frühesten Kollisionszeitpunkt angepasst.

Wie oben beschrieben, wird durch das Ausgeben von mehrstufigen Warnmeldungen, die an die Kollisionszeitpunkte angepasst sind, nicht nur die Kollisionsgefahr zwischen dem Fahrzeug und dem Objekt, sondern ebenso der Gefährlichkeitsgrad dem Fahrer zu einem frühen Zeitpunkt zur Kenntnis gebracht. Daher kann die Kollision zwischen dem Fahrzeug und dem Objekt vermieden werden.

In der oben beschriebenen Ausführungsform wurde die räumliche Beziehung zwischen dem Fahrzeug und dem Objekt auf der Grundlage der von den zwei CCD-Kameras aufgenommenen Bilder ermittelt. Sie kann aber ebenso auf der Grundlage der Zeit, die ein Ultraschallsignal, das von einem Ultraschallgenerator zu einem Empfänger übertragen wird, benötigt, oder der Zeit, die ein Laserstrahl, der von einer Laserlichtquelle emittiert wird, zum Erreichen eines Empfängers benötigt, ermittelt werden. In diesem Fall werden der Ultraschallgenerator oder die Laserlichtquelle an Stelle der zwei CCD-Kameras 11 an dem Fahrzeug angebracht.

Jedenfalls erlaubt Laserlicht oder ein Ultraschallsignal nur die Bestimmung der relativen Position eines Objektes, das sich sehr nahe beim Fahrzeug befinden muss. Zusätzlich wurden in der oben beschriebenen Ausführungsform die zum Zeitpunkt t und t + Δt entdeckten Objekte auf der Grundlage der von den CCD-Kameras 11 aufgenommenen Bilder korreliert. Jedenfalls ist es bei der Ermittlung der Objektpositionen mittels Laserlicht oder Ultraschallsignal schwierig zu entscheiden, ob die Objekte, die zum Zeitpunkt Δt entdeckt worden sind, identisch sind, oder nicht. Bevorzugterweise werden daher, um die Kollisionsgefahr zwischen dem Fahrzeug und dem Objekt genauer bestimmen zu können, die relativen Positionen des Fahrzeugs und der Objekte auf der Basis der Bilder ermittelt, die von den CCD-Kameras 11 aufgenommen worden sind, wobei die CCD-Kameras wie beschrieben in der Lage sind, die relativen Positionen aller Objekte und des Fahrzeuges zu ermitteln.

Weiterhin wurde in der oben beschriebenen Ausführungsform die Kollisionsgefahr zwischen dem Objekt und dem Fahrzeug auf der Grundlage der erwarteten Position des Objektes nach ΔT1, ΔT2, ΔT3 bestimmt, unter Berücksichtigung der Geschwindigkeit und der erwarteten Orte des Objektes und der erwarteten Positionen des Fahrzeugs nach ΔT1, ΔT2, ΔT3, unter Berücksichtigung der Geschwindigkeit und des erwarteten Ortes des Fahrzeugs. Jedenfalls kann, wenn ein Objekt, welches sich dem Fahrzeug annähert, auf der Grundlage der erwarteten Orte des Objektes und des Fahrzeuges, entdeckt wird, ermittelt werden, dass es eine Gefahr gibt, ohne die Geschwindigkeit des Objektes und des Fahrzeuges in Betracht zu ziehen. In diesem Fall müssen die erwarteten Orte unter Berücksichtigung der Differenzstrecke zwischen den inneren und den äusseren Rädern berechnet werden. Jedenfalls ist es möglich, dass es keine Gefahr einer Kollision gemäß den Geschwindigkeiten des Objektes und des Fahrzeuges gibt, auch wenn sich das Objekt dem Fahrzeug annähert. Daher wird, um die Kollisionsgefahr zwischen dem Fahrzeug und dem Objekt genauer feststellen zu können, die Kollisionsgefahr bevorzugterweise auf der Grundlage sowohl der erwarteten Positionen des Fahrzeugs als auch der erwarteten Positionen des Objektes ermittelt, wie in der oben beschriebenen Ausführungsform.

In der oben beschriebenen Ausführungsform wurden die Steuerrichtungsbestimmungseinheit 2 und die Geschwindigkeitsermittlungseinheit 3 als Mittel zur Bestimmung der Bewegungsgrößen angewandt. Wie auch immer können z. B. GPS oder ein Kreiselkompass eingesetzt werden, um die Bewegungsgrößen während der vorgegebenen Zeit Δt zu bestimmen. Weiterhin wird in der oben beschriebenen Ausführungsform der Vorgang der Überwachung der Umgebung begonnen, wenn der Zündschalter umgelegt wird. Jedenfalls kann der Vorgang, beginnend mit der Entscheidung zum Rechtsabbiegen oder Linksabbiegen, gestartet werden, wenn der Blinker betätigt wird oder ein Navigationssystem ein Rechtsabbiegen oder Linksabbiegen anweist, und der Vorgang kann beendet werden, wenn das Rechtsabbiegen oder Linksabbiegen, auf der Basis der Steuerrichtungsinformationen, die von der Steuerrichtungsüberwachungseinheit 2b erzeugt werden, als beendet angesehen werden kann. In diesem Fall wird der Seitenbereich des Fahrzeugs nur zum Zeitpunkt des Rechtsabbiegens oder Linksabbiegens überwacht. Zu anderen Zeitpunkten als zu den Zeitpunkten des Rechts- oder Linksabbiegens können die CCD Kameras 11 seitwärts nach hinten gerichtet sein, um den hinteren Bereich während des Fahrens oder Einparkens zu überwachen.

Weiterhin wurde in der oben beschriebenen Ausführungsform ein ROM innerhalb des ìCOM 5 als Vorrichtung zur Aufzeichnung von Daten, die ein Programm zur Ermittlung der Gefahr einer Kollision speichert, eingesetzt. Als weitere Beispiele können Vorrichtungen, die in der Lage sind, das Programm zu speichern, wie eine Speichervorrichtung, eine Magnetplattenvorrichtung oder eine optische Platte, als Vorrichtung zur Aufzeichnung von Daten angewendet werden. Es kann ebenfalls eine Vorrichtung zur Überwachung der Umgebung bereitgestellt werden, in der das Speichermedium nur das Programm starten muss.

Claims

1. Eine Vorrichtung zur Überwachung der Umgebung eines Fahrzeugs, die Folgendes aufweist:
eine Objektpositions-Ermittlungs-Vorrichtung zur Ermittlung der Position eines Objektes in der Umgebung eines Fahrzeuges innerhalb vorgegebener Zeitintervalle;
eine Objekt-Ortsberechnungs-Vorrichtung zur Berechnung des erwarteten Ortes eines Objektes auf der Grundlage der Positionen des Objektes, die mittels der Vorrichtung zur Ermittlung der Objektposition ermittelt worden sind;
eine Fahrzeug-Ortsberechnungs-Vorrichtung zur Berechnung des erwarteten Ortes des Fahrzeuges; und
eine Gefahr-Ermittlungs-Vorrichtung zur Ermittlung, ob es, auf der Grundlage sowohl des erwarteten Ortes des Objektes als auch des erwarteten Ortes des Fahrzeuges, die Gefahr einer Kollision zwischen dem Objekt und dem Fahrzeug gibt, oder nicht.

2. Eine Vorrichtung zur Überwachung der Umgebung eines Fahrzeuges gemäß Anspruch 1, die weiterhin aufweist:
eine Vorrichtung zur Bestimmung der Geschwindigkeit des Objektes; und
eine Vorrichtung zur Bestimmung der Geschwindigkeit des Fahrzeuges,
wobei die Gefahr-Ermittlungs-Vorrichtung bestimmt, ob es, beurteilt auf der Basis sowohl der erwarteten Position des Objektes, welche auf der Basis des erwarteten Ortes und der Geschwindigkeit des Objektes berechnet wird, als auch der erwarteten Position des Fahrzeuges, welche auf der Grundlage des erwarteten Ortes und der Geschwindigkeit des Fahrzeugs berechnet wird, eine Kollisionsgefahr zwischen dem Objekt und dem Fahrzeug gibt, oder nicht.

3. Eine Vorrichtung zur Überwachung der Umgebung für ein Fahrzeug, die Folgendes aufweist:
eine Vorrichtung zur Bestimmung der Position eines Objektes, die eine im Fahrzeug eingebaute Vorrichtung zur Überwachung der Umgebung eines Fahrzeuges aufweist, um ein Überwachungssignal zu erzeugen, dass repräsentativ für die Umgebungssituation ist, wobei die Vorrichtung zur Bestimmung der Position eines Objektes zur Bestimmung der Position eines Objektes in einem Koordinatensystem mit Bezug auf die Position und Überwachungsrichtung der Überwachungsvorrichtung innerhalb vorgegebener Zeitintervalle auf der Grundlage des Überwachungssignals dient;
eine Vorrichtung zur Bestimmung der Bewegungsgrößen zur Bestimmung der Position und der Bewegungsgrößen der Überwachungsvorrichtung in Überwachungsrichtung, die sich innerhalb einer vorgegebenen Zeit bewegt, wenn sich das Fahrzeug bewegt;
eine Vorrichtung zur Berechnung des erwarteten Ortes des Objektes, zur Berechnung des wirklichen Ortes des Objektes auf der Grundlage der Position des Objektes und der Bewegungsgrößen der Überwachungsvorrichtung und zur Berechnung des erwarteten Ortes des Objektes auf der Grundlage des wirklichen Ortes des Objektes;
eine Vorrichtung zur Berechnung des Ortes des Fahrzeugs zur Berechnung des erwarteten Ortes des Fahrzeuges; und
eine Vorrichtung zur Gefahrbestimmung, zur Beurteilung, ob es, auf der Grundlage sowohl des erwarteten Ortes des Objektes als auch des Fahrzeugs, die Gefahr einer Kollision zwischen dem Objekt und dem Fahrzeug gibt, oder nicht.

4. Eine Vorrichtung zur Überwachung der Umgebung für ein Fahrzeug gemäß Anspruch 3, wobei die Überwachungsvorrichtung eine bildaufnehmende Vorrichtung ist, die eine Mehrzahl von Bildsignalen erzeugt, die mittels Aufnahme der Umgebung des Fahrzeuges aus zwei Positionen, die voneinander durch eine vorgegebene Distanz getrennt sind, erhalten werden; und die Vorrichtung zur Bestimmung der Objektposition die Position eines Objektes auf der Grundlage der Mehrzahl von Bildsignalen der bildaufnehmenden Vorrichtung bestimmt.

5. Eine Vorrichtung zur Überwachung der Umgebung für ein Fahrzeug gemäß Anspruch 4, wobei die Vorrichtung zur Ermittlung der Objektposition die Position jedes einer Mehrzahl von Objekten in einem Koordinatensystem ermittelt, wenn sie mittels der bildaufnehmenden Vorrichtung aufgenommen werden;
die Vorrichtung zur Berechnung des erwarteten Ortes des Objektes einen erwarteten Ort jedes einzelnen der Objekte unterscheidbar berechnet; und
eine Vorrichtung zur Gefahrbestimmung zur Beurteilung, ob es, auf der Grundlage sowohl des Ortes jedes der Objekte, als auch des erwarteten Ortes des Fahrzeuges, die Gefahr einer Kollision zwischen dem Objekt und dem Fahrzeug gibt, oder nicht.

6. Eine Vorrichtung zur Überwachung der Umgebung für ein Fahrzeug gemäß Anspruch 4, die weiterhin aufweist:
eine Vorrichtung zur Bestimmung der Geschwindigkeit des Objektes auf der Grundlage des wirklichen Ortes des Objektes; und
eine Vorrichtung zur Bestimmung der Geschwindigkeit des Objektes; und
eine Vorrichtung zur Bestimmung der Geschwindigkeit des Fahrzeugs,
wobei die Vorrichtung zur Bestimmung der Gefahr beurteilt, ob es, auf der Grundlage sowohl der erwarteten Position des Objektes, welche auf der Grundlage des erwarteten Ortes und der Geschwindigkeit des Objektes berechnet wird, als auch der erwarteten Position des Fahrzeuges, welche auf der Grundlage des erwarteten Ortes und der Geschwindigkeit des Fahrzeuges berechnet wird, die Gefahr einer Kollision zwischen dem Objekt und dem Fahrzeug, gibt, oder nicht.

7. Eine Vorrichtung zur Überwachung der Umgebung für ein Fahrzeug gemäß Anspruch 1, die weiterhin eine Warnvorrichtung für die Ausgabe eines Warnsignals aufweist, wenn die Vorrichtung zur Ermittlung der Gefahr ermittelt, dass es eine Gefahr gibt.

8. Eine Vorrichtung zur Überwachung der Umgebung für ein Fahrzeug gemäß Anspruch 2, die weiterhin aufweist:
eine Vorrichtung zur Berechnung der erwarteten Kollisionszeit, zur Berechnung der erwarteten Kollisionszeit auf der Grundlage der erwarteten Position des Objektes und der erwarteten Position des Fahrzeugs, wenn die Vorrichtung zur Ermittlung der Gefahr ermittelt, dass es eine Gefahr gibt; und
eine Vorrichtung zur Ausgabe einer Warnmeldung zur Ausgabe einer mehrstufigen Warnmeldung gemäß der erwarteten Kollisionszeit.

9. Eine Vorrichtung zur Überwachung der Umgebung für ein Fahrzeug gemäß Anspruch 5, die weiterhin aufweist:
eine Vorrichtung zur Berechnung der erwarteten Kollisionszeit auf der Grundlage der erwarteten Position des Objektes und der erwarteten Position des Fahrzeugs, wenn die Vorrichtung zur Ermittlung der Gefahr ermittelt, dass es eine Gefahr gibt; und
eine Vorrichtung zur Ausgabe einer Warnmeldung für das Ausgeben einer mehrstufigen Warnmeldung gemäß der erwarteten Kollisionszeit.

10. Eine Vorrichtung zur Aufzeichnung von Daten, die ein Programm für die Bestimmung der Gefahr der Kollision eines Fahrzeuges und eines Objektes mittels eines Computers aufweist, wobei das Programm, das ausgeführt werden soll, nachfolgende Schritte aufweist:
Bestimmen der Position eines Objektes in der Umgebung eines Fahrzeugs innerhalb vorgegebener Zeitintervalle;
Berechnen der erwarteten Orte des Objektes auf der Grundlage der Positionen des Objektes, die mittels der Vorrichtung zum Ermitteln der Objektposition ermittelt worden sind;
Berechnen des erwarteten Ortes des Fahrzeuges; und
Ermitteln, ob es eine, auf der Grundlage sowohl des erwarteten Ortes des Objektes als auch des erwarteten Ortes des Fahrzeuges, Gefahr einer Kollision zwischen dem Objekt und dem Fahrzeug gibt, oder nicht.

11. Eine Vorrichtung zur Aufzeichnung von Daten, die ein Programm zur Ermittlung der Gefahr einer Kollision eines Fahrzeuges und eines Objekts mittels eines Computers aufweist, wobei das Programm, dass mittels besagten Computers ausgeführt werden soll, folgende Schritte aufweist:
Aufnehmen eines Überwachungssignals, das repräsentativ für die Umgebungssituation ist und von einer im Fahrzeug eingebauten Überwachungsvorrichtung zur Überwachung der Umgebung des Fahrzeuges erzeugt wird;
Feststellen der Position eines Objektes in einem Koordinatensystem innerhalb vorgegebener Zeitintervalle auf der Grundlage des Überwachungssignals;
Feststellen der Position und Bewegungsgrößen der Überwachungsvorrichtung in Überwachungsrichtung, die sich innerhalb einer vorgegebenen Zeit bewegt, wenn sich das Fahrzeug bewegt;
Berechnen des wirklichen Ortes des Objektes auf der Grundlage der Positionen des Objektes und der Bewegungsgrößen der Überwachungsvorrichtung;
Berechnen des erwarteten Ortes des Objektes auf der Grundlage des wirklichen Ortes des Objektes;
Berechnen des erwarteten Ortes des Fahrzeuges; und
Beurteilen, ob es, auf der Grundlage sowohl des erwarteten Ortes des Objektes als auch des Ortes des Fahrzeuges, die Gefahr einer Kollision zwischen dem Objekt und dem Fahrzeug gibt, oder nicht.