DE10030421A1 - Fahrzeugumgebungsüberwachungssystem - Google Patents

Abstract

Die Erfindung stellt ein Fahrzeugumgebungsüberwachungssystem für ein Kraftfahrzeug bereit, welches geeignet ist, genau die Bewegung eines in einer Umgebung des Fahrzeugs vorhandenen Objekts zu erfassen und die Möglichkeit für eine Kollision zwischen dem Objekt und dem Fahrzeug zu bestimmen, und dadurch den Fahrer angemessen zu warnen. Eine Relativposition des Objekts zu dem Kraftfahrzeug wird aus dem mittels einer an dem Fahrzeug angebrachten Kamera erhaltenen Bild erhalten, um Positionsdaten zu erlangen (S11-S20, S31-S33). Positionen des Objekts in einem Echtraum werden basierend auf einer Mehrzahl von Zeitreihendatenelementen der an dem Objekt erfaßten Positionsdaten berechnet (S21, S22) und ein Bewegungsvektor des Objekts wird basierend auf den Positionen im Echtraum berechnet (S23). Es wird basierend auf dem Bewegungsvektor bestimmt (S24), ob das Objekt eine bedeutende Möglichkeit für eine Kollision mit dem Kraftfahrzeug aufweist.

Description

HINTERGRUND DER ERFINDUNG Gebiet der Erfindung

Diese Erfindung betrifft ein Fahrzeugumgebungsüberwachungssystem, welches eine Umgebung eines Kraftfahrzeugs überwacht, an dem das System installiert ist, und ein Objekt erfaßt, welches mit dem Fahrzeug kollidieren könnte, aus einem Bild, das durch eine an dem Fahrzeug angebrachte Abbildungseinrichtung erhalten wird, wodurch eine Kollision mit großen Tieren wie etwa einem Reh, einem Bären und dergleichen vermieden werden, da eine derartige Kollision sich nachteilig auf die Fahrt des Fahrzeugs auswirkt.

Beschreibung des Stands der Technik

Durch die japanische Offenlegungs-Patentveröffentlichung (Kokai) Nr. 9- 226490 wurde in herkömmlicher Weise ein Erfassungssystem zum Erfassen eines eine Straße kreuzenden Objekts vorgeschlagen, welches eine Distanz zwischen dem Fahrzeug und dem Objekt basierend auf dem Versatz zwischen Bildern des Objekts erfaßt, und zwar der Parallaxe von Bildern, die durch zwei CCD(charge-coupled device)-Kameras erhalten werden, die an dem Fahrzeug angebracht sind, wodurch ein Fußgänger 30 bis 60 Meter vor dem Fahrzeug erfaßt wird.

Die obige herkömmliche Vorrichtung bestimmt die Möglichkeit einer Kollision mit einem Objekt unter Verwendung der Richtung eines optischen Flusses des erfaßten Objekts basierend auf durch die Kameras erhaltenen Bildern des Objekts, ohne weitere Verarbeitung, was zu einer verschlechterten Bestimmungsgenauigkeit führt, abhängig von einer relativen Distanz zwischen dem Fahrzeug und dem Objekt sowie der Geschwindigkeit des Fahrzeugs. Dies bedeutet, wenn eine Fahrzeuggeschwindigkeit wesentlich größer als die Geschwindigkeit eines sich bewegenden Objekts ist, so wird ein optischer Fluß auf dem Bild, der z. B. einem sich tatsächlich zur Mitte einer Straße sich bewegenden Objekt entspricht, manchmal als ein Vektor verfolgt, der sich außerhalb der Straße erstreckt, was eine fehlerhafte Bestimmung der Möglichkeit einer potentiellen Kollision zur Folge hat.

ABRISS DER ERFINDUNG

Es ist eine Aufgabe der Erfindung, ein Fahrzeugumgebungsüberwachungs­ system bereitzustellen, welches es ermöglicht, genauer die Bewegung eines in einer Umgebung des Fahrzeugs vorhandenen Objekts zu erfassen und die Möglichkeit einer Kollision zwischen dem Objekt und dem Fahrzeug zu bestimmen und dadurch den Fahrer zuverlässiger zu warnen.

Zur Lösung der obigen Aufgabe stellt die vorliegende Erfindung ein Fahrzeugumgebungsüberwachungssystem für ein Kraftfahrzeug bereit, welches ein in einer Umgebung des Kraftfahrzeugs vorhandenes Objekt aus einem Bild erfaßt, welches durch Abbildungsmittel erhalten wird, die an dem Kraftfahrzeug angeordnet sind.

Das Fahrzeugumgebungsüberwachungssystem ist dadurch gekennzeichnet, daß es umfaßt:
Relativpositionserfassungsmittel zum Erfassen einer Relativposition des Objekts zu dem Kraftfahrzeug aus dem Bild, das durch die Abbildungsmittel erhalten wird, um Positionsdaten zu erhalten;
Bewegungsvektorberechnungsmittel zum Berechnen von Positionen des Objekts in einem Echtraum, basierend auf einer Mehrzahl von Zeitreihen­ datenelementen der Positionsdaten, die mittels der Relativposition­ erfassungsmittel an dem Objekt erfaßt werden, und zum Berechnen eines Bewegungsvektors des Objekts, basierend auf den Positionen in dem Echtraum; und
Bestimmungsmittel zum Bestimmen, ob das Objekt eine bedeutende Möglichkeit einer Kollision mit dem Kraftfahrzeug besitzt oder nicht, basierend auf dem Bewegungsvektor.

Gemäß diesem Fahrzeugumgebungsüberwachungssystem wird die Relativ­ position des Objekts zu dem Kraftfahrzeug aus dem Bild erfaßt, welches durch die Abbildungsmittel erhalten wird, um die Positionsdaten zu erhalten, und werden Positionen des Objekts in einem Echtraum berechnet, basierend auf einer Mehrzahl von Zeitreihendatenelementen der an dem Objekt erfaßten Positionsdaten. Dann wird basierend auf den Positionen des Objekts in dem Echtraum ein Bewegungsvektor des Objekts berechnet, und es wird basierend auf dem Bewegungsvektor bestimmt, ob das Objekt eine bedeutende Möglichkeit einer Kollision mit dem Kraftfahrzeug besitzt. Deshalb ist es, anders als bei dem herkömmlichen System, möglich, das Auftreten einer fehlerhaften Bestimmung zu vermeiden und dadurch die Genauigkeit der Bestimmung der Möglichkeit einer Kollision zu steigern.

Vorzugsweise umfassen die Bewegungsvektorberechnungsmittel Näherungsgeradenberechnungsmittel zum Berechnen einer Näherungs­ geraden, welche eine Ortskurve der Relativbewegung des Objekts nähert, und Positionsdatenkorrekturmittel zum Korrigieren der Zeitreihen­ datenelemente der Positionsdaten unter Verwendung der Näherungs­ geraden, wobei die Bewegungsvektorberechnungsmittel den Bewegungs­ vektor basierend auf den korrigierten Zeitreihendatenelementen der Positionsdaten berechnen.

Gemäß dieser bevorzugten Ausführungsform wird eine gerade Näherungs­ linie berechnet, die eine Ortskurve der Relativbewegung des Objekts nähert, und die Zeitreihendatenelemente der Positionsdaten werden unter Verwendung der Näherungsgeraden korrigiert. Der Bewegungsvektor wird basierend auf den korrigierten Zeitreihendatenelementen der Positionsdaten berechnet. Deshalb ist es möglich, eine nachteilige Wirkung von Fehlern bei der Erfassung der Positionsdaten zu vermindern und die Möglichkeit einer Kollision mit dem Objekt im voraus genauer abzuschätzen.

Vorzugsweise führen die Bestimmungsmittel die Bestimmung durch Anwenden von Bedingungen zum Bestimmen einer potentiellen Kollision aus, wobei die Bedingungen von einer Breite des Fahrzeugs abhängig sind.

Gemäß dieser bevorzugten Ausführungsform wird die Möglichkeit einer Kollision durch Anwenden von Bedingungen für ein Bestimmen einer potentiellen Kollision bestimmt, die abhängig von einer Breite des Fahrzeugs sind. Dies ermöglicht es, die Möglichkeit einer Kollision genauer zu bestimmen und zu vermeiden, daß der Fahrer unnötigerweise gewarnt wird.

Weiter bevorzugt berechnen die Näherungsgeradenberechnungsmittel die Näherungsgerade als eine dreidimensionale Gerade, umfassend Daten einer Höhe des Objekts.

Gemäß dieser bevorzugten Ausführungsform ist es möglich, die Möglichkeit einer Kollision genau zu bestimmen, selbst wenn der Fahrer auf einer hügeligen Straße fährt.

Vorzugsweise umfassen die Abbildungsmittel zwei Infrarotkameras, die zur Erfassung von Infrarotstrahlung geeignet sind.

Gemäß dieser bevorzugten Ausführungsform kann ein Tier, ein fahrendes Kraftfahrzeug und dergleichen einfach erfaßt werden, selbst wenn der Fahrer bei Nacht fährt und es schwierig ist, diese zu erkennen.

Vorzugsweise umfassen die Abbildungsmittel zwei TV-Kameras zum Erfassen von Infrarotstrahlung oder sichtbarer Strahlung und umfassen die Relativpositionbestimmungsmittel Suchbereichsetzmittel zum Setzen, basierend auf einer Position eines Objektbilds, das in einer Bildausgabe von einer der zwei TV-Kameras enthalten ist, eines Suchbereichs in einer Bildausgabe von der anderen der zwei TV-Kameras, um ein korrespondierendes Objektbild zu suchen, das in der Bildausgabe der anderen der zwei TV-Kameras enthalten ist, Korrespondenzobjekt­ identifizierungsmittel zum Identifizieren des korrespondierenden Objektbilds durch Ausführen einer Korrelationsoperation an Daten in dem Suchbereich, und Distanzberechnungsmittel zum Berechnen einer Distanz von dem Fahrzeug zu dem Objekt basierend auf einer Parallaxe zwischen dem Objektbild und dem Korrespondenzobjektbild.

Weiter bevorzugt sind die Daten in dem Suchbereich Graustufendaten, die Halbtoninformation enthalten.

Indem nicht binäre Daten sondern Graustufendaten verwendet werden, ist es gemäß dieser bevorzugten Ausführungsform möglich, eine genauere Korrelationsoperation durchzuführen, wodurch eine fehlerhafte Identifizierung eines korrespondierenden Objektbilds vermieden wird.

Weiterhin bevorzugt umfassen die Relativpositionserfassungsmittel Verfolgungsmittel zum Verfolgen eines Objekts, das sich in dem Bild bewegt, das durch die Abbildungsmittel erhalten wird, unter Verwendung von Binärdaten, die durch Binärisierung der Graustufendaten gebildet werden.

Noch weiter bevorzugt erkennen die Verfolgungsmittel das verfolgte Objekt unter Verwendung von Lauflängendaten, die aus den Binärdaten codiert werden.

Gemäß dieser bevorzugten Ausführungsform ist es möglich, die Menge von Daten, die das verfolgte Objekt betreffen, zu reduzieren, wodurch bei der Kapazität der Speichereinrichtung gespart wird.

Noch weiter bevorzugt bestimmen die Verfolgungsmittel eine Identität des verfolgten Objekts, basierend auf Positionskoordinaten eines Flächenschwerpunkts von einem Bilds desselben, einer Fläche des Bilds desselben und einem Seitenverhältnis eines das Bild desselben umschreibenden Rechtecks.

Gemäß dieser bevorzugten Ausführungsform ist es möglich, die Identität eines verfolgten Objekts genau zu bestimmen.

Vorzugsweise umfaßt das Fahrzeugumgebungsüberwachungssystem Warnungsmittel zum Warnen eines Fahrers, wenn durch die Bestimmungsmittel bestimmt wird, daß es eine bedeutende Möglichkeit einer Kollision mit dem Objekt gibt, und sind die Warnungsmittel an einem Warnen des Fahrers gehindert, wenn der Fahrer eine Bremsoperation ausführt und die hierbei durch die Bremsoperation verursachte Verzögerung größer als eine vorbestimmte Schwelle ist.

Gemäß dieser bevorzugten Ausführungsform wird der Fahrer nicht gewarnt, wenn er das Objekt bereits erkannt hat und eine angemessene Bremsoperation ausführt. Dies ermöglicht es, zu verhindern, daß der Fahrer durch eine unnötige Warnung gestört wird.

Die obigen und weitere Aufgaben, Merkmale und Vorteile der Erfindung werden aus der folgenden detaillierten Beschreibung in Verbindung mit den beigefügten Zeichnungen ersichtlicher.

KURZE BESCHREIBUNG DER ZEICHNUNGEN

Fig. 1 ist ein Blockdiagramm, das die Anordnung eines Fahrzeug­ umgebungsüberwachungssystems gemäß einer Ausführungsform der Erfindung zeigt;

Fig. 2 ist eine Darstellung, die Teile eines Fahrzeugs veranschaulicht, an welchen in Fig. 1 dargestellte Anbringungskameras angebracht sind;

Fig. 3 ist ein Flußdiagramm, das eine Verarbeitungsprozedur zeigt, die durch eine in Fig. 1 dargestellte Bildverarbeitungseinheit ausgeführt wird;

Fig. 4 ist ein Flußdiagramm, das Details eines Warnungsbestimmungs­ prozesses in Fig. 3 zeigt;

Fig. 5A und 5B sind Darstellungen, die jeweils Halbtonabschnitte als schraffierte Bereiche zeigen, welche bei der Erläuterung von Graustufenbildern nützlich sind, die durch Infrarot­ kameras erhalten werden, wobei:

Fig. 5A ein rechtes Bild zeigt, das durch eine rechte der Infrarotkameras erhalten wird;

Fig. 5B ein linkes Bild zeigt, das durch eine linke derselben erhalten wird;

Fig. 6 ist eine Darstellung, die einen schwarzen Bereich als schraffierten Bereich zeigt, welche bei der Erläuterung eines Bilds nützlich ist, das durch Binärisierung eines Graustufenbilds gebildet wird;

Fig. 7A bis 7C sind Darstellungen, die bei der Erläuterung eines Prozesses zum Umwandeln binärisierter Bilddaten in Lauflängendaten und zum Kennzeichnen von Objekten für eine Identifizierung derselben sind;

Fig. 8A und 8B sind Darstellungen, die bei der Erläuterung der Art und Weise nützlich sind, in der Objekte in Zeitintervallen verfolgt werden;

Fig. 9A ist eine Darstellung, die bei der Erläuterung eines Zielbilds in dem rechten Bild nützlich ist;

Fig. 9B ist eine Darstellung, die bei der Erläuterung eines in dem linken Bild gesetzten Suchbereichs nützlich ist;

Fig. 10A und 10B sind Darstellungen, die bei der Erläuterung einer Korrelationsoperation nützlich sind, die an Daten in dem Suchbereich ausgeführt wird;

Fig. 11A und 11B sind Darstellungen, die bei der Erläuterung einer Methode zur Berechnung einer Parallaxe nützlich sind;

Fig. 12 ist eine Darstellung, die bei der Erläuterung einer Methode zum Berechnen einer Distanz zwischen dem Fahrzeug und dem Objekt basierend auf der Parallaxe nützlich ist;

Fig. 13A und 13B sind Darstellungen, die für eine Erläuterung eines bei der vorliegenden Ausführungsform verwendeten Koordinatensystems nützlich sind;

Fig. 14 ist eine Darstellung, die bei der Erläuterung einer Wendewinkel-abhängigen Korrektur von Positionsdaten eines Objekts nützlich ist;

Fig. 15 ist eine Darstellung, die die Verlagerung des Objekts in den Bildern aufgrund einer Wendung des Fahrzeugs zeigt;

Fig. 16 ist eine Darstellung, die bei der Erläuterung einer Methode zum Berechnen eines Relativbewegungsvektors nützlich ist;

Fig. 17 ist eine Darstellung, die bei der Erläuterung von Bedingungen zur Bestimmung, ob eine Warnung ausgegeben werden soll oder nicht, nützlich ist;

Fig. 18 ist eine Darstellung, die bei der Erläuterung von Teilbereichen vor dem Fahrzeug nützlich ist;

Fig. 19 ist eine Darstellung, die bei der Erläuterung eines Falls nützlich ist, in welchem eine Kollision leicht stattfinden kann;

Fig. 20 ist eine Darstellung, die nützlich ist bei der Erläuterung einer Methode einer Eintrittsobjektkollisionsbestimmung, die von einer Breite des Fahrzeugs abhängig ist;

Fig. 21A zeigt einen Zustand, in dem ein Bildschirm eines Head-up- Displays nicht angezeigt wird; und

Fig. 21B zeigt einen Zustand, in dem ein Bildschirm des Head-up- Displays angezeigt wird.

DETAILLIERTE BESCHREIBUNG

Die Erfindung wird nun im Detail mit Bezug auf Zeichnungen beschrieben, die eine Ausführungsform derselben zeigen.

Es wird zunächst auf Fig. 1 Bezug genommen. Hier ist die Anordnung eines Fahrzeugumgebungsüberwachungssystems gemäß der Ausführungsform der Erfindung gezeigt, die aufweist: zwei zum Erfassen von Fern- Infrarotstrahlung geeignete rechte und linke Infrarotkameras 1R, 1L, einen Gierratensensor 5 zum Erfassen einer Gierrate des Fahrzeugs, einen Fahrzeuggeschwindigkeitssensor 6 zum Erfassen einer Fahrgeschwindigkeit (Fahrzeuggeschwindigkeit) VCAR des Fahrzeugs, einen Bremssensor 7 zum Erfassen eines Betriebsausmaßes einer Bremse, nicht gezeigt, eine Bildverarbeitungseinheit 2 zum Erfassen eines Objekts, wie eines Tieres oder dergleichen, vor dem Fahrzeug, basierend auf Bilddaten, die durch die obigen Kameras 1R, 1L erhalten werden, und zum Warnen des Fahrers, wenn es eine bedeutende Möglichkeit einer Kollision mit dem Objekt gibt, einen Lautsprecher 3 zum Erzeugen eines Sprachalarms zum Warnen des Fahrers und ein Head-up-Display (nachfolgend als das "HUD" bezeichnet) 4 zum Anzeigen eines durch die Kamera 1R oder 1L erhaltenen Bilds und um zu bewirken, daß der Fahrer das Objekt mit der bedeutenden Möglichkeit einer Kollision mit dem Fahrzeug erkennt.

Wie es in Fig. 2 gezeigt ist, sind die Kameras 1R, 1L in einem vorderen Teil des Kraftfahrzeugs 10 an Stellen angeordnet, die symmetrisch zu der Längsmittelachse des Fahrzeugs 10 sind, und derart fest an dem Fahrzeug befestigt, daß die zwei Kameras zueinander parallele optische Achsen und gleiche Höhen von einer Straßenoberfläche besitzen. Die Infrarotkameras 1R, 1L besitzen eine Charakteristik derart, daß der Ausgangssignalpegel größer wird (die Luminanz eines Bilds eines Objekts steigt), wenn die Temperatur des Objekts größer wird.

Die Bildverarbeitungseinheit 2 umfaßt eine A/D-Wandlerschaltung zum Umwandeln eingegebener Analogsignale in Digitalsignale, einen Bildspeicher zum Speichern digitalisierter Bildsignale, eine CPU (Central Processing Unit) zum Ausführen arithmetischer Operationen, einen RAM (Random Access Memory), der durch die CPU zum Speichern von Daten verwendet wird, die mit den arithmetischen Operationen verarbeitet werden, einen ROM (Read Only Memory), der durch die CPU ausgeführte Programme, Tabellen und Karten speichert, und eine Ausgangsschaltung zum Ausgeben von Ansteuersignalen für den Lautsprecher 3, Anzeigesignalen für das HUD 4 und dergleichen. Ausgangssignale von den Kameras 1R, 1L und den Sensoren 5 bis 7 werden in Digitalsignale umgewandelt und der CPU eingegeben.

Wie es in Fig. 2 gezeigt ist, ist das HUD 4 derart angeordnet, daß ein Bildschirm 4a desselben in einem Vorderfenster an einer Stelle vor dem Fahrer angezeigt wird.

Fig. 3 ist ein Flußdiagramm, das eine durch die Bildverarbeitungseinheit 2 ausgeführte Verarbeitungsprozedur zeigt. Zunächst werden die Ausgangssignale von den Kameras 1R, 1L durch die A/D-Wandlerschaltung einer A/D-Wandlung unterzogen und die resultierenden Digitaldaten in dem Bildspeicher gespeichert (Schritte S11, S12, S13). Daten von Bildern, die in dem Bildspeicher gespeichert sind, sind Daten von Graustufenbildern, umfassend Luminanzinformation. Die Fig. 5A und 5B sind Darstellungen zur Erläuterung von Graustufenbildern, die durch die jeweiligen Kameras 1R, 1L erhalten werden (ein rechtes Bild durch die Kamera 1R und ein linkes Bild durch die Kamera 1L). Schraffierte Bereiche in den rechten und linken Bildern sind Halbton (Grau)-Bereiche, wohingegen durch dicke durchge­ zogene Linien umgebene Bereiche Bereiche mit einem hohen Luminanzpegel (mit einer hohen Temperatur) sind, welches Bereiche (nachfolgend als "Hochluminanzbereiche" bezeichnet) der erfaßten Objekte sind, die in weiß auf dem Bildschirm angezeigt werden. In dem rechten Bild und dem linken Bild wird ein identisches Objekt in Form von Bildern angezeigt, die an jeweiligen, horizontal gegeneinander versetzten Stellen angezeigt werden, so daß es möglich ist, eine Distanz von dem Fahrzeug 10 zu dem Objekt basierend auf dem Versatz (Parallaxe) zu berechnen.

In dem Schritt S14 in Fig. 3 wird das rechte Bild als ein Referenzbild gesetzt und die für das Referenzbild repräsentativen Digitalbilddaten werden derart binärisiert (in 1-Bit-Daten umgewandelt), daß ein Bereich mit einem Pegel der Luminanz, der gleich oder größer als eine Luminanzschwelle ITH ist, die experimentell bestimmt ist, auf "1" (weiß) gesetzt wird, und ein Bereich mit einem Pegel der Luminanz, der niedriger als die Schwelle ITH ist, auf "0" (schwarz) gesetzt wird. Fig. 6 zeigt ein durch Binärisierung des Bilds von Fig. 5A erhaltenes Bild. In der Figur stellt ein schraffierter Bereich einen schwarzen Bereich dar, wohingegen durch dicke durchgezogene Linien umgebene Bereiche (Hochluminanzbereiche) jeweilige weiße Bereiche repräsentieren.

In dem nachfolgenden Schritt S15 werden die binärisierten Bilddaten in Lauflängendaten codiert. Fig. 7A ist eine Darstellung zur Erläuterung des Codierprozesses. In der Figur sind Bereiche, die durch die obige Binärisierung auf weiß gesetzt sind, durch Linien L1 bis L8 dargestellt, welche jeweilige Pixellinien angeben. Obwohl die Linien L1 bis L8 jeweils eine Breite von einem Pixel in der y-Richtung besitzen und tatsächlich Seite- an-Seite ohne irgendwelche Lücken in der y-Richtung angeordnet sind, sind sie der Klarheit der Beschreibung halber als separate Linien gezeigt, die voneinander getrennt sind. Die Linien L1 bis L8 besitzen ferner jeweilige Längen von zwei Pixeln, zwei Pixeln, drei Pixeln, acht Pixeln, sieben Pixeln, acht Pixeln, acht Pixeln und acht Pixeln in der x-Richtung. Die Lauflängendaten repräsentieren jede der Linien L1 bis L8 durch Koordinaten des Startpunkts (Punkt des linken Endes) der Linie und der Länge (die Anzahl von Pixeln) der Linie von dem Startpunkt zu dem Endpunkt (Punkt des rechten Endes) derselben. Beispielsweise ist die Linie L3 aus drei Pixeln (x3, y5), (x4, y5) und (x5, y5) gebildet und wird durch die Lauflängendaten (x3, y5, 3) repräsentiert.

In Schritten S16 und S17 wird ein Objekt extrahiert durch Kennzeichnen desselben, wie es in Fig. 7B gezeigt ist. Dies bedeutet, von den in die Lauflängendaten codierten Linien L1 bis L8 werden die in der y-Richtung überlappenden Linien L1 bis L3 als ein Objekt 1 betrachtet und die in der y- Richtung überlappenden Linien L4 bis L8 als ein Objekt 2 betrachtet, wobei Objektkennungen 1 und 2 den Lauflängendaten hinzugefügt werden. Diese Verarbeitung ermöglicht es z. B., daß die in Fig. 6 erscheinenden Hochluminanzbereiche jeweils als Objekt 1 bis 4 begriffen werden.

In einem Schritt S18, wie es in Fig. 7C gezeigt ist, werden der Flächenschwerpunkt G eines extrahierten Objekts (Bild eines Objekts), die Fläche S des extrahierten Objekts und das Seitenverhältnis ASPECT eines das extrahierte Objekt umschreibenden Rechtecks, angegeben durch gestrichelte Linien, berechnet. Die Fläche S wird durch Integrieren der Längen der Lauflängendaten eines identischen Objekts berechnet. Die Koordinaten des Flächenschwerpunkts G werden berechnet als die x- Koordinate einer Linie, die die Fläche S längs der y-Richtung hälftig teilt, und die y-Koordinate einer Linie, die die Fläche S längs der x-Richtung hälftig teilt. Das Seitenverhältnis ASPECT wird als Dy/Dx berechnet, welches ein Verhältnis von Dy zu Dx ist, wie es in Fig. 7C dargestellt ist. Es ist zu bemerken, daß die Position des Flächenschwerpunkts des umschreibenden Rechtecks anstatt des Flächenschwerpunkts G des extrahierten Objekts verwendet werden kann.

In einem Schritt S19 werden Objekte in Zeitintervallen verfolgt, d. h. es wird eine Identifizierung oder Erkennung identischer Objekte ausgeführt, jedesmal dann, wenn jede Abstastwiederholperiode abläuft. Unter der Annahme, daß eine durch Diskretisieren einer Zeit t als eine Analoggröße mit einer Abtastwiederholperiode erhaltene Zeit durch k ausgedrückt wird, werden zu der Zeit k extrahierte Objekte 1 und 2, wie es in Fig. 8A gezeigt ist, und zu der Zeit (k + 1) extrahierte Objekte 3 und 4, wie es in Fig. 8B gezeigt ist, hinsichtlich ihrer Identität überprüft. Im besonderen wird bestimmt, daß die Objekte 3 und 4 identisch mit den entsprechenden Objekten 1 und 2 sind, wenn die folgenden Identifizierungsbedingungen (1) bis (3) erfüllt sind, und die Objekte 3 und 4 werden als Objekte 1 und 2 gekennzeichnet, um dadurch die Objekte in Zeitintervallen zu verfolgen:

• 1. Unter der Annahme, daß die Positionskoordinaten des Flächenschwerpunkts von Objekten i (= 1, 2) in einem Bild zur Zeit k ausgedrückt werden durch (xi(k), yi(k)) und die Positionskoordinaten des Flächenschwerpunkts von Objekten j (= 3, 4) in einem Bild zur Zeit (k + 1) ausgedrückt werden durch (xj(k + 1), yj(k + 1)), so sind die folgenden Bedingungen erfüllt:
  |xj(k + 1) - xi(k)| < Δx, und
  |yj(k + 1) - yi(k)| < Δy,
  wobei Δx und Δy maximal zulässige Werte für jeweilige Distanzen darstellen, die durch das in dem Bild in der x-Richtung und der y-Richtung sich bewegenden Objekts überstrichen werden.
• 2. Unter der Annahme, daß die Flächen der Objekte i (= 1, 2) in dem Bild zur Zeit k ausgedrückt werden durch Si(k) und die Flächen der Objekte j (= 3, 4) in dem Bild zur Zeit (k + 1) ausgedrückt werden durch Sy(k + 1), so ist die folgende Bedingung erfüllt:
  Sj(k + 1)/Si(k) < 1 ± ΔS
  wobei ΔS einen maximal zulässigen Wert für eine Änderung der Fläche darstellt.
• 3. Unter der Annahme, daß die Seitenverhältnisse von Rechtecken, welche die Objekte i (= 1, 2) zur Zeit k umschreiben, ausgedrückt werden durch ASPECT i(k) und die Seitenverhältnisse der Rechtecke, welche die Objekte j (= 3, 4) zur Zeit (k + 1) umschreiben, ausgedrückt werden durch ASPECT j(k + 1), so ist die folgende Bedingung erfüllt:
  ASPECT j(k + 1)/ASPECT i(k) < 1 ± ΔASPECT
  wobei ΔASPECT einen maximal zulässigen Wert für eine Änderung des Seitenverhältnisses darstellt.

Vergleicht man die Fig. 8A und Fig. 8B, so ist die Größe jedes Objekts in Fig. 8B vergrößert, jedoch erfüllen die Objekte 1 und 3 die obigen Identifizierungsbedingungen und erfüllen die Objekte 2 und 4 die obigen Identifizierungsbedingungen. Somit können die Objekte 3 und 4 als die jeweiligen Objekte 1 und 2 identifiziert werden. Die Positionskoordinaten (des Flächenschwerpunkts) jedes somit identifizierten Objekts werden als Zeitreihendatenelemente von Positionsdaten in dem Speicher gespeichert und zum Ausführen nachfolgender arithmetischer Operationen verwendet.

Es ist zu bemerken, daß die oben erwähnten Prozesse in den Schritten S14 bis S19 an dem binärisierten Referenzbild (dem rechten Bild in der vorliegenden Ausführungsform) ausgeführt werden.

In einem Schritt S20 in Fig. 3 werden die durch den Fahrzeug­ geschwindigkeitssensor 6 erfaßte Fahrzeuggeschwindigkeit VCAR sowie die durch den Gierratensensor 5 erfaßte Gierrate YR zur Integration der Gierrate YR über die Zeit eingelesen, wodurch der Winkel θr der Wendung des Kraftfahrzeugs 10 (siehe Fig. 14) berechnet wird.

Andererseits wird in Schritten S31 bis S33 eine Operation zum Berechnen einer Distanz z zwischen dem Objekt und dem Kraftfahrzeug 10 parallel zu den Prozessen in den Schritten S19 und S20 ausgeführt. Diese arithmetische Operation benötigt eine längere Zeitperiode als die Prozesse in den Schritten S19 und S20, und wird deshalb mit einer längeren Wiederholperiode ausgeführt als derjenigen der Prozesse in den Schritten S19 und S20 (ungefähr dreimal so lang wie die Wiederholperiode der Ausführung der Prozesse von Schritt S11 bis Schritt S20).

In dem Schritt S31 wird eines der unter Verwendung des binärisierten Bilds des Referenzbilds (rechtes Bild) verfolgten Objekts ausgewählt, wobei, wie es in Fig. 9A gezeigt ist, ein Zielbild R1 (in diesem Beispiel wird die ganze durch ein umbeschriebenes Rechteck umschlossene Fläche als ein Zielbild gesetzt) aus dem rechten Bild extrahiert. In dem folgenden Schritt S32 wird ein Suchbereich zum Durchsuchen eines Bilds (nachfolgend als das "korrespondierende Bild" bezeichnet), welches dem Zielbild entspricht, in dem linken Bild gesetzt und es wird das korrespondierende Bild durch Ausführen einer Korrelationsoperation extrahiert. Im besonderen, wie es in Fig. 9B gezeigt ist, wird ein Suchbereich R2 in dem linken Bild basierend auf den Koordinaten jedes Eckpunkts des Zielbilds R1 gesetzt, und es wird der Gesamtsummenwert C(a, b) von Luminanzdifferenzen berechnet, die einen Grad der Korrelation mit dem Zielbild R1 angeben, wie an Daten im Suchbereich R2, unter Verwendung der nachfolgenden Gleichung (1), wobei eine Fläche, die den Minimalwert des Gesamtsummenwerts C(a, b) liefert, als das Korrespondenzbild extrahiert wird. Es ist zu bemerken, daß die Korrelationsoperation nicht unter Verwendung von Daten des binärisierten Bilds (Binärdaten), sondern unter Verwendung von Daten der Graustufen­ bilder (Graustufendaten) ausgeführt wird. Ferner, wenn in der Vergangenheit erhaltene Positionsdaten eines identischen Objekts verfügbar sind, so wird ein Bereich R2a (in Fig. 9B durch gestrichelte Linien gezeigt), der schmäler als der Suchbereich R2 ist, als der Suchbereich basierend auf den Positions­ daten eingestellt.

wobei IR(m, n) einen Luminanzwert einer durch Koordinaten (m, n) in dem in Fig. 10 dargestellten Zielbild R1 angegebenen Position darstellt, und IL(a + m - M, b + n - N) einen Luminanzwert einer durch Koordinaten (m, n) in einem lokalen Bereich R3 angegebenen Position darstellt, welche die gleiche Form besitzt, wie diejenige des Zielbilds R1 mit einem Referenzpunkt (Ursprung seines eigenen Koordinatensystems), der in den Suchbereich R2 auf Koordinaten (a, b) gesetzt wird. Eine Position, die den Gesamtsummenwert C(a, b) der Luminanzdifferenzen minimiert, wird durch Ändern der Koordinaten (a, b) des Referenzpunkts erhalten, wodurch die Position des Korrespondenzbilds bestimmt werden kann.

Nachdem im Schritt S32 das Zielbild R1 und das korrespondierende Bild R4, welches diesem Zielbild R1 entspricht, wie es in den Fig. 11A und 11B gezeigt ist, extrahiert sind, werden dann im Schritt S33 eine Distanz dR (Anzahl von Pixeln) zwischen dem Flächenschwerpunkt des Zielbilds R1 und einer Mittellinie LCTR des rechten Bilds sowie eine Distanz dL (die Anzahl von Pixeln) zwischen dem Flächenschwerpunkt des Korrespondenzbilds R4 und einer Mittellinie LCTR des linken Bildes bestimmt und für die folgende Gleichung (2) verwendet, um eine Distanz z zwischen dem Kraftfahrzeug 10 und dem Objekt zu berechnen.

wobei B die Länge einer Basislinie bezeichnet, d. h. eine horizontale Distanz (in der x-Richtung) zwischen der Mittelposition eines Abbildungselements 11R der Kamera 1R und der Mittelposition eines Abbildungselements 11L der Kamera 1L (d. h. Distanz zwischen den optischen Achsen der jeweiligen Kameras), wie es in Fig. 12 gezeigt ist; wobei F die fokale Distanz der Linsen 12R, 12L bezeichnet; wobei p ein Raumintervall zwischen Pixeln in den Abbildungselementen 11R, 11L bezeichnet; und wobei Δd(= dR + dL) das Ausmaß der Parallaxe darstellt.

In dem Schritt S21 werden Koordinaten (x, y) in dem Bild sowie die unter Verwendung der Gleichung (2) berechnete Distanz z für die folgenden Gleichungen (3) für eine Umwandlung in Echtraumkoordinaten (X, Y, Z) verwendet. Das Koordinatensystem der Echtraumkoordinaten (X, Y, Z) (Echtraumkoordinatensystem) ist hierbei wie in Fig. 13A gezeigt definiert, wobei die Position eines Mittelpunkts (an dem Kraftfahrzeug 10 feste Position) von Anbringungspositionen, an welchen die Kameras 1R, 1L angebracht sind, als ein Ursprung O des Echtraumkoordinatensystems gesetzt, und Koordinaten in einem Koordinatensystem eines Bilds (imaginäres Bild, auf das nachfolgend Bezug genommen wird), welches dem Echtkoordinatensystem entspricht, werden wie in Fig. 13B gezeigt definiert, wobei das Zentrum des Bilds als der Ursprung des Koordinatensystems gesetzt wird, welches dem Echtraumkoordinatensystem entspricht, wobei die horizontale Richtung als die x-Richtung definiert wird und die vertikale Richtung als die y-Richtung definiert wird.

In diesen Gleichungen werden (xc, yc) durch Umwandeln der Koordinaten (x, y) in dem Koordinatensystem des rechten Bilds in Koordinaten im Koordinatensystem des imaginären Bilds erhalten, dessen Zentrum zur Koinzidenz mit dem Ursprung O des Echtraumkoordinatensystems gebracht wird, basierend auf der relativen Beziehung der Anbringungsposition der Kamera 1R und dem Ursprung O des Echtraumkoordinatensystems. Ferner stellt f ein Verhältnis zwischen der fokalen Distanz F und dem Pixel-zu-Pixel- Raumintervall p dar.

In einem Schritt S22 wird eine Wendewinkel-abhängige Korrektur der Positionsdaten jedes Objekts ausgeführt durch Kompensieren einer Positionsverlagerung des Objekts in dem Bild aufgrund einer Wendung des Fahrzeugs 10 entsprechend dem Wendungswinkel. Unter der Annahme, daß das Fahrzeug 10 wendet, wie es in Fig. 14 gezeigt ist, z. B. in einer Richtung nach links über einen Winkel θr der Wendung während einer Zeitperiode von einer Zeit k zu einer Zeit (k + 1), so wird ein durch die Kamera erhaltenes Bild um Δx in der x-Richtung versetzt, wie es in Fig. 15 gezeigt ist. Die Wendewinkel-abhängige Korrektur im Schritt S22 wird ausgeführt, um die Verlagerung des Bilds zu kompensieren. Im besonderen werden die Echtraumkoordinaten (X, Y, Z) für die folgende Gleichung (4) verwendet, um korrigierte Koordinaten (Xr, Yr, Zr) zu berechnen. Somit berechnete Echtraumpositionsdaten (Xr, Yr, Zr) werden in einer zu jedem korrespondierenden Objekt korrelierten Weise in dem Speicher gespeichert. Ferner werden die korrigierten Koordinaten in der folgenden Beschreibung als Koordinaten (X, Y, Z) bezeichnet.

In einem Schritt S23, wie es in Fig. 16 gezeigt ist, wird eine Näherungsgerade LMV, die einem Relativbewegungsvektor zwischen einem identischen Objekt und dem Kraftfahrzeug 10 entspricht, basierend auf N Echtraumpositionsdatendatenelementen erhalten, d. h. Zeitreihenpositions­ daten (N ist beispielsweise eine Zahl gleich oder ungefähr 10) nach der Wendewinkel-abhängigen Korrektur, die während einer Zeitperiode ΔT erhalten werden. Im besonderen, unter der Annahme, daß ein die Richtung der Näherungsgeraden LMV angegebender Richtungsvektor ausgedrückt wird durch L = (lx, ly, ly) (|L| = 1), wird eine durch die folgenden Gleichungen (5) dargestellte Gerade bestimmt:

wobei u einen Parameter darstellt, der einen beliebigen Wert besitzen kann, und Xav, Yav und Zav den Mittelwert von X-Koordinaten, den Mittelwert von Y-Koordinaten bzw. den Mittelwert von Z-Koordinaten von Reihen von Echtraumpositionsdaten darstellen. Ferner, falls der Parameter u aus den Gleichungen (5) eliminiert wird, so wird die folgende Gleichung (5a) erhalten:

(X - Xav)/lx = (Y - Yav)/ly = (Z - Zav)/lz (5a)

Fig. 16 ist eine Darstellung, die die Näherungsgerade LMV veranschaulicht. In dieser Figur bezeichnen P(0), P(1), P(2), . . ., P(N - 2), P(N - 1) Punkte, die durch jeweilige Zeitreihenpositionsdatendatenelemente (Datenpunkte) nach der Wendewinkel-abhängigen Korrektur angegeben werden. Die Näherungs­ gerade LMV wird als eine Gerade bestimmt, die sich durch die mittleren Positionskoordinaten Pav (= Xav, Yav, Zav) der Zeitreihenpositionsdaten­ datenelemente erstreckt und einen Mittelwert der Quadrate der jeweiligen Distanzen zwischen der Linie und den Datenpunkten minimiert. Ein jedem P, welches die Koordinaten jedes Datenpunkts (Positionskoordinaten) angibt, in Klammern hinzugefügter numerischer Wert gibt hier an, daß das Datendatenelement mit dem numerischen Wert umso älter ist, je größer der numerische Wert ist. Beispielsweise gibt P(0) die letzten Positions­ koordinaten an, gibt P(1) die eine Abtastwiederholperiode früher erhaltenen Positionskoordinaten an und gibt P(2) die zwei Abtastwiederholperioden früher erhaltenen Positionskoordinaten an. Das gleiche gilt für D(j), X(j), Y(j), Z(j) und dergleichen, auf die später Bezug genommen wird.

Im besonderen werden innere Produkte s des Vektors D(j) = (DX(j), DY(j), DZ(j)) = (X(j) - Xav, Y(j) - Yav, Z(j) - Zav), der sich von den mittleren Positionskoordinaten Pav zu den Koordinaten P(0) bis P(N - 1) der jeweiligen Datenpunkte erstreckt, und einem Richtungsvektor L durch die folgende Gleichung (6) berechnet, und es wird der Richtungsvektor L = (lx, ly, lz), der die Varianz des inneren Produkts s maximiert, bestimmt:

s = lx . DX(j) + ly . DY(j) + lz . DZ(j) (6)

Eine Varianz-Kovarianz-Matrix V der Koordinaten bei den jeweiligen Datenpunkten wird durch die folgende Gleichung (7) dargestellt. Da ein charakteristischer Wert σ für diese Varianz-Kovarianz-Matrix V der Varianz der inneren Produkte s entspricht, wird ein aus der Matrix berechneter, dem größten der drei charakteristischen Werte entsprechender charakteristischer Vektor der Richtungsvektor L, der erhalten werden soll. Es ist zu bemerken, daß zum Berechnen charakteristischer Werte und eines charakteristischen Vektors aus der Matrix der Gleichung (7) eine als Jacobische Methode bekannte Methode verwendet wird (z. B. beschrieben in "Suuchi-Keisan Handbook (Handbook of Numeral Calculus)" (veröffentlicht durch Ohmsha, Ltd, Tokio, Japan)).

Als nächstes werden die letzten Positionskoordinaten P(0) = (X(0), Y(0), Z(0)) und die (N - 1) Abtastwiederholperioden (Zeitperiode ΔT) früher erhaltenen Positionskoordinaten P(N - 1) = (X(N - 1), Y(N - 1), Z(N - 1)) derart korrigiert, daß deren Positionen auf der Näherungsgeraden LMV liegen. Im besonderen werden durch Verwendung der Z-Koordinaten Z(0), Z(N - 1) für die oben erwähnte Gleichung (5a), d. h. durch Verwendung der folgenden Gleichungen (8) korrigierte Positionskoordinaten Pv(0) = (Xv(0), Yv(0), Zv(0)) sowie korrigierte Positionskoordinaten Pv(N - 1) = (Xv(N - 1), Yv(N - 1), Zv(N - 1)) berechnet.

Der zuvor erwähnte Relativbewegungsvektor kann als der Vektor erhalten werden, der sich von den Positionskoordinaten Pv(N - 1) zu den Positionskoordinaten Pv(0), berechnet durch die Gleichungen (8) erstreckt. Wie es oben beschrieben ist, wird eine Näherungsgerade, die die Ortskurve der Relativbewegung eines Objekts zu dem Kraftfahrzeug 10 nähert, basierend auf einer Mehrzahl von (N) Datenelementen von Positionsdaten während einer Überwachungszeitperiode ΔT berechnet, und basierend auf der Näherungsgeraden ein Relativbewegungsvektor bestimmt. Dies ermöglicht es, eine nachteilige Wirkung von Positionserfassungsfehlern zu verringern und die Möglichkeit einer Kollision mit dem Objekt vorab genauer abzuschätzen.

Es wird nun wieder auf Fig. 3 Bezug genommen. In einem Schritt S24 wird ein Warnungsbestimmungsprozeß (Fig. 4) ausgeführt durch Bestimmen, ob es eine Möglichkeit für eine Kollision mit dem erfaßten Objekt gibt oder nicht, und Ausgeben einer Warnung, falls es eine bedeutende Möglichkeit für die Kollision gibt.

In einem Schritt S41 in Fig. 4 wird eine Relativgeschwindigkeit Vs in der Z- Richtung mittels der folgenden Gleichung (9) berechnet. Wenn die folgenden Ausdrücke (10) und (11) erfüllt sind, so wird bestimmt, daß es eine Möglichkeit für eine Kollision gibt, und das Programm schreitet zu einem Schritt S42. Falls der Ausdruck (10) und/oder der Ausdruck (11) nicht erfüllt ist, wird der Warnungsbestimmungsprozeß beendet.

Vs = (Zv(N - 1) - Zv(0))/ΔT (9)

Zv(0)/Vs ≦ T (10)

|Yv(0)| ≦ H (11)

In den obigen Ausdrücken stellt Zv(0) den zuletzt erfaßten Distanzwert dar (obwohl v dem Symbol hinzugefügt wurde, um anzugeben, daß das Symbol einen Wert eines Datenelements darstellt, das unter Verwendung der Näherungsgeraden LMV korrigiert wurde, besitzt die Z-Koordinate selbst den gleichen Wert, den sie vor der Korrektur besaß) und stellt Zv(N - 1) einen eine Zeitperiode ΔT früher erfaßten Distanzwert dar. Ferner stellt T eine Voreilzeit dar, die dazu vorgesehen ist, ein Bestimmen der Möglichkeit einer Kollision eine Zeitperiode T vor einer abgeschätzten Kollisionszeit zu ermöglichen. T ist auf eine Zeitperiode in einem Bereich von z. B. zwei bis fünf Sekunden eingestellt. Ferner stellt H eine vorbestimmte Höhe zur Definition einer Reichweite in der Y-Richtung dar, d. h. in der Richtung der Höhe, die z. B. auf eine Höhe von ungefähr der zweifachen Größe des Kraftfahrzeugs 10 eingestellt wird.

Die in dem Ausdruck (10) enthaltene Beziehung kann durch Fig. 17 dargestellt werden. Wenn der Relativgeschwindigkeit Vs und der Distanz Zv(0), die beide erfaßt oder berechnet sind, entsprechende Koordinaten in einem schraffierten Bereich in der Figur liegen und gleichzeitig |Yv(0)| ≦ H gilt, so werden in den Schritten S42 ff. Bestimmungsprozesse ausgeführt.

In Fig. 18 ist ein Bereich, der durch die Kameras 1R, 1L überwacht werden kann, durch einen Bereich AR0 dargestellt, der durch ein durch dicke durchgehende Linien angegebenes äußeres Dreieck bestimmt ist. In dem Bereich AR0 sind Bereiche AR1, AR2 und AR3 als Warnungsbestimmungs­ bereiche gesetzt, die dem Kraftfahrzeug 10 näher sind als Z1 = Vs × T (Fahrzeuggeschwindigkeit × Voreilzeit). Hierbei ist der Bereich AR1 ein einer Reichweite entsprechender Bereich, umfassend die Breite α des Kraftfahrzeugs 10 und Zuschläge β, β (die jeweils einen Wert von z. B. 50 bis 100 cm besitzen), die an entgegengesetzten Seiten des Fahrzeugs 10 vorgesehen sind, mit anderen Worten, ein Bereich mit einer Breite von (α/2 + β) auf jeder Seite der Mittelachse in der Längsrichtung des Fahrzeugs 10. Falls das Objekt in diesem Bereich vorhanden bleibt, gibt es eine sehr bedeutende Möglichkeit einer Kollision mit dem Fahrzeug 10. Daher wird dieser Bereich nachfolgend als der "Näherungsobjektbestimmungsbereich" bezeichnet. Die Bereiche AR2, AR3 sind Bereiche, die X-Koordinaten mit größeren Absolutwerten als diejenigen der X-Koordinaten in dem Näherungsobjektbestimmungsbereichs aufweisen (Bereiche seitlich außerhalb des Näherungsobjektbestimmungsbereich). Ein Objekt in einem dieser Bereiche AR2 und AR3 wird einem nachfolgend beschriebenen Eintrittsobjektkollisionsbestimmungsprozeß für ein Bestimmen der Möglichkeit einer potentiellen Kollision eines eintretenden Objekts unterzogen. Diese Bereiche AR2 und AR3 werden als die "Eintrittsobjekt­ bestimmungsbereiche" bezeichnet. Ferner besitzen die obigen Bereiche die vorbestimmte Höhe H in der Y-Richtung, wie es in dem Ausdruck (11) angegeben ist.

Die Antwort auf die Frage von Schritt S41 wird bestätigend (Ja), wenn das Objekt in dem Näherungsobjektbestimmungsbereich AR1 oder in einem der Eintrittsobjektbestimmungsbereiche AR2, AR3 vorliegt.

In dem nachfolgenden Schritt S42 wird bestimmt, ob das Objekt in dem Näherungsobjektbestimmungsbereich AR1 vorliegt oder nicht. Falls die Antwort auf die Frage von Schritt S42 bestätigend (Ja) ist, schreitet das Programm unmittelbar zu einem Schritt S44, wohingegen in dem Fall, in dem die Antwort negativ (Nein) ist, in einem Schritt S43 der Eintrittsobjektkollisionsbestimmungsprozeß zum Bestimmen der Möglichkeit einer potentiellen Kollision des eintretenden Objekts ausgeführt wird. Im besonderen wird bestimmt, ob der folgende Ausdruck (12) durch die Differenz zwischen der letzten x-Koordinate xc(0) (wie oben beschrieben, wird c dem Symbol hinzugefügt, um anzugeben, daß das Symbol die x- Koordinate darstellt, welche korrigiert wurde, indem die Mittelposition des Bilds mit dem Ursprung O des Echtraumkoordinatensystems zur Koinzidenz gebracht wurde) und einer x-Koordinate xc(N - 1) erfüllt wird oder nicht, die eine Zeitperiode ΔT früher erhalten wurde. Falls der folgende Ausdruck (12) erfüllt ist, so wird bestimmt, daß eines bedeutende Möglichkeit für eine Kollision gibt.

Wie es in Fig. 19 gezeigt ist, falls ein Tier 20 in einer Richtung kommt, die ungefähr orthogonal zu der Richtung der Fahrt des Kraftfahrzeugs 10 ist, wenn Xv(N - 1)/Zv(N - 1) = Xv(0)/Zr(0) gilt, mit anderen Worten, wenn ein Verhältnis Vp/Vs = Xr(N - 1)/Zr(N - 1) gilt (Vp ist eine Geschwindigkeit des Tiers 20 und Vs ist eine Relativgeschwindigkeit des Fahrzeugs 10), so ist ein Azimuthwinkel θd des Tiers 20, wie von dem Fahrzeug 10 betrachtet, konstant. In diesem Fall gibt es eine bedeutende Möglichkeit für eine Kollision. Der Ausdruck (12) wird zum Bestimmen der Möglichkeit verwendet, in dem die Breite α des Kraftfahrzeugs 10 berücksichtigt wird. Im folgenden wird eine Methode zum Ableiten des Ausdrucks (12) mit Bezug auf Fig. 20 beschrieben.

Wenn eine durch die letzten Positionskoordinaten des Objekts 20 sowie die eine Zeitperiode ΔT früher erhaltenen Positionskoordinaten desselben sich erstreckende Gerade, d. h. die Näherungsgerade LMV, eine X-Y-Ebene (Ebene umfassend die X-Achse und die Y-Achse, d. h. eine Ebene, die eine dem Vorderende des Fahrzeugs 10 entsprechende Linie (X-Achse) enthält und sich in einer Richtung orthogonal zu der Fahrtrichtung des Fahrzeugs 10 erstreckt) schneidet, falls die X-Koordinate des Schnittpunkts davon durch XCL ausgedrückt wird, so sind Kollisionsauftrittsbedingungen, in denen die Breite α des Fahrzeugs 10 berücksichtigt wird, durch den folgenden Ausdruck (13) gegeben:

-α/2 ≦ XCL ≦ α/2 (13)

Andererseits ist eine durch Projizieren der Näherungsgeraden LMV auf eine X-Z-Ebene gebildete Gerade durch die folgende Gleichung (14) gegeben:

Wenn Z = 0, X = XCL in dieser Gleichung substituiert werden, um XCL zu berechnen, so erhält man die folgende Gleichung (15):

Ferner, da die Echtraumkoordinate X sowie die Koordinate xc auf dem Bild eine durch die obige Gleichung (3) angegebene Beziehung besitzen, gelten die folgenden Gleichungen (16) und (17):

Xv(0) = xc(0) × Zv(0)/f (16)

Xv(N - 1) = xc(N - 1) × Zv(N - 1)/f (17)

Wenn die obigen Gleichungen (16) und (17) bei der Gleichung (15) verwendet werden, so wird die X-Koordinate XCL des Schnittpunkts durch die folgende Gleichung (18) angegeben:

Durch Substituieren von XCL in den Ausdruck (13) werden die durch den obigen Ausdruck (12) definierten Bedingungen erhalten.

Es wird wieder auf Fig. 4 Bezug genommen. Wenn bei einem Schritt S43 bestimmt wird, daß es eine bedeutende Möglichkeit für eine Kollision gibt, so schreitet das Programm zu einem Schritt S44, wohingegen, wenn bestimmt wird, daß es keine bedeutende Möglichkeit einer Kollision gibt, der Warnungsbestimmungprozeß beendet wird.

In dem Schritt S44 wird ein Warnungsausgabebestimmungsprozeß ausgeführt, um zu bestimmen, ob eine Warnung ausgegeben werden soll oder nicht. Zunächst wird aus einem Ausgangssignal von dem Bremssensor bestimmt, ob der Fahrer eine Bremsoperation, d. h. eine Betätigung der Bremse des Fahrzeugs 10, ausführt oder nicht. Falls er die Bremse nicht betätigt, schreitet das Programm unmittelbar zu einem Schritt S45, um eine Warnung auszugeben. Falls er die Bremse betätigt, wird eine durch die Bremsoperation hervorgerufene Verzögerung Gs (als ein positiver Wert) berechnet. Wenn die Verzögerung Gs gleich oder kleiner als eine vorbestimmte Schwelle GTH ist, schreitet das Programm zu einem Schritt S45, wohingegen, wenn Gs < GTH gilt, bestimmt wird, daß eine Kollision durch die Bremsoperation vermieden werden kann, gefolgt von einer Beendigung des Warnungsbestimmungsprozesses. Dies ermöglicht es, zu vermeiden, daß der Fahrer gewarnt wird, wenn er eine angemessene Bremsoperation ausführt, wodurch verhindert wird, daß der Fahrer durch unnötige Warnungen gestört wird.

Die vorbestimmte Schwelle GTH wird gemäß der folgenden Gleichung (19) eingestellt:

Die somit bestimmte Schwelle entspricht einer Bedingung zum Anhalten des Fahrzeugs 10 in einer Fahrdistanz gleich oder kleiner als die Distanz Zv(0), unter der Annahme, daß die durch die Bremsoperation hervorgerufene Verzögerung Gs beibehalten wird.

In einem Schritt S45 wird ein Sprachalarm durch den Lautsprecher 3 erzeugt, und wie es in Fig. 21B gezeigt ist, wird ein z. B. mittels der Kamera 1R erhaltenes Bild auf dem Bildschirm 4a des HUD 4 derart angezeigt, daß ein sich näherndes Objekt betont angezeigt wird (beispielsweise zur Betonung in einem Rahmen eingeschlossen). Fig. 21A zeigt einen Zustand, in dem der Bildschirm 4a nicht angezeigt wird, wohingegen Fig. 21B einen Zustand zeigt, in dem der Bildschirm 4a angezeigt wird. Dies ermöglicht es dem Fahrer, ein Objekt, welches eine bedeutende Möglichkeit einer Kollision mit dem Fahrzeug 10 besitzt, sicher zu erkennen.

Wie es oben beschrieben ist, werden in der vorliegenden Ausführungsform Positionen eines identischen Objekts in dem Echtraum basierend auf einer Mehrzahl von Zeitreihendatenelementen von Positionsdaten des Objekts berechnet und der Bewegungsvektor des Objekts wird basierend auf dessen Positionen im Echtraum erhalten. Dann wird die Möglichkeit einer Kollision zwischen dem Objekt und dem Kraftfahrzeug 10 basierend auf dem somit berechneten Bewegungsvektor derart bestimmt, daß es anders als bei dem herkömmlichen System möglich ist, das Auftreten einer fehlerhaften Bestimmung zu vermeiden und damit die Genauigkeit der Bestimmung der Möglichkeit einer Kollision zu steigern.

Ferner wird die Näherungsgerade LMV, welche die Ortskurve der Relativbewegung eines Objekts zu dem Kraftfahrzeug 10 nähert, berechnet, und die Positionskoordinaten des Objekts werden derart korrigiert, daß Positionen des erfaßten Objekts auf der Näherungsgeraden liegen, und der Bewegungsvektor des Objekts wird basierend auf den korrigierten Positionskoordinaten erhalten. Dies ermöglicht es, eine nachteilige Wirkung von Fehlern beim Erfassen der Positionen des Objekts zu reduzieren und die Möglichkeit einer Kollision genauer zu bestimmen.

Da die Bestimmung einer potentiellen Kollision unter Berücksichtigung der Breite α des Fahrzeugs 10 ausgeführt wird, ist es ferner möglich, die Möglichkeit einer Kollision genau zu bestimmen und eine unnötige Warnung des Fahrers zu vermeiden.

In der vorliegenden Ausführungsform bildet die Bildverarbeitungseinheit 2 Relativpositionserfassungsmittel, Bewegungsvektorberechnungsmittel, Bestimmungsmittel und einen Teil von Warnungsmitteln. Insbesondere entsprechen die in Fig. 3 auftretenden Schritte S14 bis S19 den Relativpositionerfassungsmitteln, entsprechen die Schritte S20 bis S23 in der Figur den Bewegungsvektorberechnungsmitteln, entsprechen die Schritte S41 bis S44 in Fig. 4 den Bestimmungsmitteln, wie auch der Schritt S45 in Fig. 4 und der Lautsprecher 3 und das HUD 4 den Warnungsmitteln entsprechen.

Es ist zu bemerken, daß die Erfindung nicht auf die obige Ausführungsform beschränkt ist, sondern verschiedene Variationen und Modifikationen möglich sind. Obwohl in der vorliegenden Ausführungsform Infrarot- Kameras als Abbildungsmittel verwendet werden, ist beispielsweise dies nicht einschränkend, sondern es könnten TV-Kameras eingesetzt werden, die zum Erfassen lediglich normaler sichtbarer Strahlung geeignet sind, wie es in der japanischen Offenlegungs-Patentveröffentlichung (Kokai) Nr. 9- 226490 offenbart ist. Durch die Verwendung von Infrarot-Kameras kann jedoch der Extraktionsprozeß zum Extrahieren eines Tiers oder eines fahrenden Fahrzeugs vereinfacht werden und das System unter Verwendung einer arithmetischen Einheit mit vergleichsweise geringen Leistungseigenschaften realisiert werden.

Obwohl in der obigen Ausführungsform ein Beispiel gezeigt ist, welches einen Frontabschnitt der Umgebung eines Kraftfahrzeugs überwacht, so ist ferner dies nicht beschränkend, sondern das System kann derart konfiguriert sein, daß irgendwelche Abschnitte der Umgebung in irgendwelchen Richtungen einschließlich einem rückwärtigen Abschnitt derselben überwacht werden können.

Für Fachleute ist es ferner verständlich, daß das Vorangegangene eine bevorzugte Ausführungsform der Erfindung ist daß verschiedene Veränderungen und Modifikationen vorgenommen werden können, ohne den Sinn und Bereich derselben zu verlassen.

Zusammenfassend stellt die Erfindung ein Fahrzeugumgebungs­ überwachungssystem für ein Kraftfahrzeug bereit, welches geeignet ist, genau die Bewegung eines in einer Umgebung des Fahrzeugs vorhandenen Objekts zu erfassen und die Möglichkeit für eine Kollision zwischen dem Objekt und dem Fahrzeug zu bestimmen, und dadurch den Fahrer angemessen zu warnen. Eine Relativposition des Objekts zu dem Kraftfahrzeug wird aus dem mittels einer an dem Fahrzeug angebrachten Kamera erhaltenen Bild erhalten, um Positionsdaten zu erlangen. Positionen des Objekts in einem Echtraum werden basierend auf einer Mehrzahl von Zeitreihendatenelementen der an dem Objekt erfaßten Positionsdaten berechnet und ein Bewegungsvektor des Objekts wird basierend auf den Positionen im Echtraum berechnet. Es wird basierend auf dem Bewegungsvektor bestimmt, ob das Objekt eine bedeutende Möglichkeit für eine Kollision mit dem Kraftfahrzeug aufweist.

Claims (11)

1. Fahrzeugumgebungsüberwachungssystem für ein Kraftfahrzeug (10), welches ein in einer Umgebung des Kraftfahrzeugs (10) vorhandenes Objekt aus einem Bild erfaßt, welches mittels an dem Kraftfahrzeug (10) angebrachter Abbildungsmittel (1R, 1L, 2) erhalten wird, wobei das Fahrzeugumgebungsüberwachungssystem umfaßt:
Relativpositionerfassungsmittel (2, S14 bis S19) zum Erfassen einer Relativposition des Objekts zu dem Kraftfahrzeug (10) aus dem mittels der Abbildungsmittel (1R, 1L, 2) erhaltenen Bild, um Positionsdaten zu erlangen;
Bewegungsvektorberechnungsmittel (2, S20 bis S23) zum Berechnen von Positionen des Objekts in einem Echtraum basierend auf einer Mehrzahl von Zeitreihendatenelementen der an dem Objekt mittels der Relativpositionerfassungsmittel (2, S14 bis S19) erfaßten Positionsdaten, und zum Berechnen eines Bewegungsvektors des Objekts basierend auf den Positionen im Echtraum; und
Bestimmungsmittel (2, S41 bis S44) zum Bestimmen, ob das Objekt eine bedeutende Möglichkeit für eine Kollision mit dem Kraftfahrzeug (10) besitzt oder nicht, basierend auf dem Bewegungsvektor.

2. Fahrzeugumgebungsüberwachungssystem nach Anspruch 1, wobei die Bewegungsvektorberechnungsmittel Näherungsgeraden­ berechnungsmittel zum Berechnen einer eine Ortskurve der Relativbewegung des Objekts nähernden Näherungsgeraden (LMV) sowie Positionsdatenkorrekturmittel zum Korrigieren der Zeitreihen­ datenelemente der Positionsdaten unter Verwendung der Näherungsgeraden (LMV) umfassen, wobei die Bewegungsvektor­ berechnungsmittel (2, S20 bis S23) den Bewegungsvektor basierend auf den korrigierten Zeitreihendatenelementen der Positionsdaten berechnen.

3. Fahrzeugumgebungsüberwachungssystem nach Anspruch 1 oder 2, wobei die Bestimmungsmittel (2, S41 bis S44) die Bestimmung unter Anwendung von Bedingungen zum Bestimmen einer potentiellen Kollision ausführen, wobei die Bedingungen von einer Breite (α) des Fahrzeugs (10) abhängig sind.

4. Fahrzeugumgebungsüberwachungssystem nach Anspruch 2 oder 3, wobei die Näherungsgeradenberechnungsmittel die Näherungsgerade (LMV) als eine dreidimensionale Gerade umfassend Daten einer Höhe des Objekts berechnen.

5. Fahrzeugumgebungsüberwachungssystem nach einem der Ansprüche 1 bis 4, wobei die Abbildungsmittel (1R, 1L, 2) zwei Infrarot-Kameras (1R, 1L) umfassen, die zum Erfassen von Infrarotstrahlung geeignet sind.

6. Fahrzeugumgebungsüberwachungssystem nach einem der Ansprüche 1 bis 5, wobei die Abbildungsmittel zwei TV-Kameras zum Erfassen von Infrarotstrahlung oder sichtbarer Strahlung umfassen, und wobei die Relativpositionerfassungsmittel (2, S14 bis S19) umfassen:
Suchbereichsetzmittel zum Setzen, basierend auf einer Position eines in einer Bildausgabe von einer der zwei TV-Kameras enthaltenen Objektbilds, eines Suchbereichs in einer Bildausgabe von der anderen der zwei TV-Kameras zum Suchen nach einem in der Bildausgabe von der anderen der zwei TV-Kameras enthaltenen korrespondierenden Objektbild,
Korrespondenzobjektbildidentifizierungsmittel zum Identifizieren des korrespondierenden Objektbilds durch Ausführen einer Korrelationsoperation an Daten in dem Suchbereich, und
Distanzberechnungsmittel zum Berechnen einer Distanz von dem Fahrzeug (10) zu dem Objekt basierend auf einer Parallaxe zwischen dem Objektbild und dem korrespondierenden Objektbild.

7. Fahrzeugumgebungsüberwachungssystem nach Anspruch 6, wobei die Daten in dem Suchbereich Graustufendaten umfassend eine Halbtoninformation sind.

8. Fahrzeugumgebungsüberwachungssystem nach Anspruch 7, wobei die Relativpositionerfassungsmittel Verfolgungsmittel zum Verfolgen eines Objekts, das sich in dem mittels der Abbildungsmittel (1R, 1L, 2) erhaltenen Bild bewegt, unter Verwendung von Binärdaten, die durch Binärisieren der Graustufendaten gebildet werden, umfassen.

9. Fahrzeugumgebungsüberwachungssystem nach Anspruch 8, wobei die Verfolgungsmittel das verfolgte Objekt unter Verwendung von Lauflängendaten erkennen, die aus den Binärdaten codiert werden.

10. Fahrzeugumgebungsüberwachungssystem nach Anspruch 8 oder 9, wobei die Verfolgungsmittel eine Identität des verfolgten Objekts bestimmen basierend auf Positionskoordinaten eines Flächen­ schwerpunkts von einem Bild desselben, einer Fläche des Bilds desselben und einem Seitenverhältnis eines das Bild desselben umschreibenden Rechtecks.

11. Fahrzeugumgebungsüberwachungssystem nach einem der Ansprüche 1 bis 10, umfassend Warnungsmittel (S45, 3, 4) zum Warnen eines Fahrers, wenn mittels der Bestimmungsmittel (2, S14 bis S19) bestimmt wird, daß es eine bedeutende Möglichkeit für eine Kollision mit dem Objekt gibt, wobei die Warnungsmittel (S45, 3, 4) an einem Warnen des Fahrers gehindert sind, wenn der Fahrer eine Bremsoperation ausführt und die durch die Bremsoperation hervorgerufene Verzögerung hierbei größer als eine vorbestimmte Schwelle ist.