DE10029423B4

DE10029423B4 - Objekterkennungssystem

Info

Publication number: DE10029423B4
Application number: DE10029423A
Authority: DE
Inventors: Morimichi Wako Nishigaki; Masakazu Wako Saka
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 1999-06-16
Filing date: 2000-06-15
Publication date: 2011-04-14
Anticipated expiration: 2020-06-16
Also published as: DE10029423A1; JP4391624B2; JP2001004368A; US6853738B1

Abstract

Ein Objekterkennungssystem umfasst einen Speicher (8) zum Speichern einer Mehrzahl von Abstandsbereichen mit verschiedenen Abstandskennungen, die den jeweiligen Abstandsbereichen zugeordnet sind. Die Steuereinrichtung wandelt gemessene Abstandswerte in Abstandskennungen entsprechend den Abstandsbereichen, zu denen die Abstandswerte gehören. Die Steuereinrichtung gruppiert die Sektionen oder Fenster eines aufgenommenen Bilds auf der Basis zugeordneter Abstandskennungen. Eine Erfassungs- oder eine Blickfläche der Sensoren (3, 3') ist in einer Mehrzahl von Abstandsbereichen entsprechend der Toleranz des gemessenen Abstands unterteilt, so dass ein breiterer Abstandsbereich definiert wird, wenn der Abstand von dem System größer wird. Die Steuereinrichtung tastet die Fenster mit Abstandskennungen unter Verwendung einer Schablone ab, die eine Verknüpfungsbeziehung für die Fenster definiert, und ordnet jedem Fenster eine Clustererkennung zu, die eine Kombination der Abstandskennung und eines Häufigkeitsindex ist, der für die Fenster die gleiche ist, die der Verknüpfungsbeziehung entsprechen. Die Steuereinrichtung vereinigt die Fenster mit denselben Clustererkennungen zu einem Cluster, erzeugt dreidimensionale Daten jedes der Cluster und kombiniert die Cluster, die einander eng benachbart sind, auf der Basis der dreidimensionalen Daten unter Bildung eines Kandidaten eines körperlichen Objekts. Das System enthält einen Speicher zum Speichern dreidimensionaler Daten von einem oder ...

Description

Die Erfindung betrifft ein optisches Objekterkennungssystem und -verfahren, welches Objekte vor einem Fahrzeug, wie etwa einem Automobil etc., unter Verwendung einer Bildaufnahmevorrichtung mit an diesem Fahrzeug angebrachten Kameras erfasst. Insbesondere betrifft die Erfindung ein Objekterkennungssystem, welches die charakteristischen Merkmale von Objekten unter Verwendung einer Mehrzahl von Sektionen oder Fenstern in den aufgenommenen Bildern erkennt.
Um die Sicherheit des Fahrzeugbetriebs zu verbessern, wurden in den letzten Jahren Vorrichtungen vorgeschlagen, die den Abstand und die Größe von Objekten vor einem Fahrzeug bestimmen und die das Fahrzeug nach Maßgabe dieser Bewertung geeignet steuern.
Die JP09079821 A beschreibt ein Beispiel einer Vorrichtung, in der eine aus zwei Lichtempfangselementen bestehende optische Abstandmessvorrichtung zur Bestimmung genutzt wird, ob ein Objekt, dessen Abstand erfasst wurde, ein Objekt oder eine Straßenfläche ist (einschließlich Buchstaben bzw. Zahlen oder weiße Linien auf der Straßenfläche). Diese Vorrichtung berechnet Differenzen für jeweilige Berechnungsflächen und erkennt Flächen, in denen Hindernisse vorhanden sind, indem Berechnungsflächen gehäuft bzw. geclustert werden, deren gegenseitige Abstände innerhalb eines festen Bereichs liegen und die in der horizontalen Richtung einander benachbart sind. Im Falle dieser Clusterbildung werden auch solche Berechnungsflächen geclustert, deren Abstände noch nicht gemessen wurden.
Die DE 43 08 776 A1 zeigt ein ähnliches Objekterkennungssystem gemäß dem Oberbegriff der Ansprüche 1 und 5.
Wenn jedoch die Clusterbildung (entsprechend der oben erwähnten Blockbildung) mit einer großen Anzahl von Fenstern erfolgt (die den oben erwähnten Berechnungsflächen entspricht), so dass die gemessenen Abstandswerte mit größerer Genauigkeit erhalten werden können, ist ein außerordentlich großer Zeitaufwand erforderlich, um zu bestimmen, ob die Abstände innerhalb eines bestimmten Bereichs liegen oder nicht, gemäß dem Schema, wie es in der JP09079821 A beschrieben ist.
Wenn ferner herkömmlich die Abstandsbereiche vorab bestimmt werden und Fenster innerhalb dieser Abstandsbereiche geclustert werden, war es notwendig, zuerst den Abstandsbereich, in dem die Clusterbildung erfolgen soll, auf der Basis von Faktoren zu bestimmen, wie etwa einer Frequenz- bzw. Häufigkeitsverteilung der Abstände. Ferner war es zur Durchführung der Clusterbildung erforderlich, zu bestimmen, welche Abstandsbereiche der für die Fenster berechneten Abstandswerte dazugehören, und zu bestimmen, ob die jeweiligen Abstandsbereiche einander gleich sind oder nicht. Dieser Prozess erfordert einen großen Zeitaufwand.
Wenn ferner die Abstandsbereiche, in denen eine Clusterbildung erfolgt, fest sind, wie in der JP09079821 A beschrieben, sinkt die Präzision des Abstandswerts, wenn der Abstand größer wird. Allgemein erfolgt die Berechnung eines Abstands ”d” durch ”d = C/s (C ist eine Konstante)”, wobei ”s” eine Parallaxe ist. Während die Parallaxenauflösung konstant ist, sinkt die Abstandsauflösung, wenn der Abstand größer wird. Im Ergebnis wird, wenn ein Objekt auf mehreren Fenstern abgebildet wird, ein größerer Fehler in den Abstandswerten für die jeweiligen Fenster erzeugt, wenn der Abstand größer wird.
Beispielsweise erfolgt gemäß 14(a) entsprechend dem Stand der Technik die Clusterbildung mit einem festen Abstandsbereich, wie durch ein Pfeilepaar dargestellt. In dem fahrzeugnäheren Bereich liegen ein Fenster mit einem Abstandswert 101 und ein Fenster mit einem Abstandswert 102, die in den festen Abstandsbereich fallen, im Cluster beieinander. Im Gegensatz hierzu liegen in einem vom Fahrzeug weiter entfernten Bereich ein Fenster mit einem Abstandswert 103 und ein Fenster mit einem Abstandswert 104 in verschiedenen Bereichen beieinander, auch wenn die beiden Fenster zum selben Objekt gehören. Der Grund hierfür ist, dass sie nicht innerhalb des festen Abstandsbereichs liegen.
Umgekehrt, wenn in einem Bereich, der vom Fahrzeug weiter entfernt ist, wie in 14(b) gezeigt, der Abstandsbereich auf einen größeren Wert gesetzt ist, so dass die zwei Fenster, die zum selben Objekt gehören, in dasselbe Cluster geclustert werden, können das Fenster mit Abstandswert 103 und das Fenster mit Abstandswert 104 zum selben Cluster geclustert werden. Jedoch werden in dem fahrzeugnäheren Bereich nicht nur die Fenster mit Abstandswerten 101 und 102, sondern auch das Fenster mit einem Abstandswert 105, der zu einem anderen Objekt gehört, zu ein und demselben Cluster geclustert. Wenn somit die Clusterbildung mit einem festen Abstandsbereich erfolgt, kommt es zu Fällen, in denen ein Objekt nicht in ein und dasselbe Cluster geclustert werden kann, und verschiedene Objekte in ein und demselben Cluster enthalten sind.
Eine Aufgabe der Erfindung ist es daher, ein System anzugeben, welches die Erkennung von Objekten durch Clusterbildung von Sektionen oder Fenstern mit hoher Geschwindigkeit ermöglicht. Dies wird erreicht durch Clusterbildung auf der Basis von Kennungen, die entsprechend den Abstandswerten für die Sektionen berechnet wurden. Eine weitere Aufgabe der Erfindung ist es, ein Objekterkennungssystem anzugeben, welches die Erkennung Objekte durch genaue Clusterbildung von Sektionen ermöglicht. Dies wird erreicht durch Setzen von Abstandsbereichen entsprechend den Toleranzen in gemessenen Abständen.
Nach einem Aspekt der Erfindung wird ein Objekterkennungssystem gemäß Anspruch 1 sowie ein Objekterkennungsverfahren gemäß Anspruch 5 vorgeschlagen. Das System umfasst einen Speicher zum Speichern einer Mehrzahl von Abstandsbereichen mit unterschiedlichen Abstandskennungen, die den jeweiligen Abstandsbereichen zugeordnet sind. Die Steuereinrichtung wandelt die gemessenen Abstandswerte in Abstandskennungen entsprechend den Abstandsbereichen, zu denen die Abstandswerte gehören. Die Steuereinrichtung gruppiert die Sektionen oder Fenster eines aufgenommenen Bilds auf der Basis zugeordneter Abstandskennungen. Die Erfassungs- oder Blickfläche der Sensoren wird in eine Mehrzahl von Abstandsbereichen entsprechend der Präzision des gemessenen Abstands unterteilt, so dass ein breiterer Abstandsbereich definiert wird, wenn der Abstand von dem System größer wird.
Die Steuereinrichtung tastet die Sektionen mit Abstandskennungen unter Verwendung einer Schablone ab, die eine Verknüpfungsbeziehung für die Sektionen definiert, und ordnet jeder Sektion eine Clusterkennung zu, die eine Kombination der Abstandskennung und eines Häufigkeitsindex ist. Der Häufigkeitsindex ist für die Sektionen gleich, die der Verknüpfungsbeziehung entsprechen. Die Steuereinrichtung vereinigt die Sektionen mit den gleichen Clusterkennungen zu einem Cluster.
Die Steuereinrichtung erzeugt dreidimensionale Daten jedes der Cluster auf der Basis des Abstands von dem Fahrzeug, der Höhe und der Breite der Cluster, und kombiniert die Cluster, die eng beieinander angeordnet sind, auf der Basis der dreidimensionalen Daten zur Bildung eines Kandidaten eines Objekts. Das System enthält einen Speicher zum Speichern dreidimensionaler Daten von einem oder mehreren Objekten, die in dem vorherigen Erkennungszyklus erkannt wurden. Die Steuereinrichtung inferiert bzw. schließt auf ein Objekt, das im gegenwärtigen Zyklus auf der Basis der gespeicherten Daten erkannt würde, und eine Geschwindigkeit des Fahrzeugs relativ zu dem Objekt. Die Steuereinrichtung vergleicht das inferierte Objekt mit dem Kandidaten eines Objekts zur Erkennung eines Objekts.
Der Abstand eines Clusters von dem Fahrzeug wird durch Mittelwertbildung des Abstands von dem Fahrzeug der das Cluster bildenden Fenster bestimmt. Die Höhe eines Clusters wird durch die Differenz zwischen einer Position des Fensters an der Oberseite des Clusters und einer Position des Fensters an der Unterseite des Clusters bestimmt. Die Breite eines Clusters wird durch die Differenz zwischen einer Position des Fensters am rechten Ende des Clusters und einer Position des Fensters am linken Ende des Clusters bestimmt.
Die Steuereinrichtung kann eine Mikrosteuereinrichtung umfassen, die typischerweise eine zentrale Prozessoreinheit (CPU) oder einen Mikroprozessor enthält, sowie einen nur-Lesespeicher (ROM), der Steuerprogramme enthält, die bei Ausführung durch den Prozessor jeweilige Funktionen ausführen, die nachfolgend beschrieben werden. Die Steuereinrichtung enthält ferner einen Speicher mit wahlfreiem Zugriff (RAM), der eine Arbeitsebene für die CPU bildet und verschiedene Daten und Programme vorübergehend speichert.
Die Erfindung wird nun in bevorzugten Ausführungsbeispielen anhand der beigefügten Zeichnungen erläutert. Es zeigen:
1 ein Blockdiagramm der Gesamtstruktur mit Funktionsblöcken der Steuereinrichtung einer Ausführung;
2 ein Diagramm des Messprinzips durch das Triangulationsverfahren;
3(a) ein Diagramm des aufgenommenen Bilds, und
3(b) das Bild, das zum Bewerten vorn Abständen und Straßenflächen in kleine Flächen (Fenster) unterteilt ist, nach einer Ausführung;
4(a) ein Diagramm der Unterteilung der Erfassungsflächen, und
4(b) das Setzen der Abstandsbereiche und Abstandswerte;
5 eine Tabelle der Unterteilung der Abstände nach Maßgabe der Fehler der gemessenen Abstände;
6 ein Diagramm des Clusterschemas nach einer Ausführung;
7 ein Diagramm der Schablone und das Verfahren zur Bestimmung von Clusterkennungen, das in einer Ausführung verwendet wird;
8 ein Diagramm des Verfahrens, das zur Zuordnung von Clusterkennungen in einer Ausführung verwendet wird;
9 ein Diagramm des Verfahrens, das zur Verknüpfung von Clusterkennungen in einer Ausführung verwendet wird;
10(a) ein Diagramm des Verfahrens, das zum Exprimieren von Fenstern als dreidimensionale Information verwendet wird;
10(b) ein Diagramm von Änderungen der dreidimensionalen Fensterinformation, die auftreten, wenn sich das Fahrzeug bewegt, in einer Ausführung;
11(a) ein Diagramm von Clustern, gesehen von der x-y-Ebene;
11(b) ein Diagramm der Cluster, gesehen von der x-z-Ebene;
11(c) ein Diagramm von Clustergruppen, gesehen von der x-y-Ebene;
11(d) ein Diagramm von Clustergruppen, gesehen von der x-z-Ebene;
12(a) ein Diagramm des zuvor aufgenommenen Bilds;
12(b) ein Diagramm von Clustern;
12(c) ein Diagramm von erkannten körperlichen Objekten in einer Ausführung;
12(d) ein Diagramm eines gegenwärtig aufgenommenen Bilds;
12(e) ein Diagramm von körperlichen Objekten 75 und 76, erhalten durch Inferieren bzw. Schließen aus den körperlichen Objekten 65 und 66;
12(f) ein Diagramm erkannter körperlicher Objekte 77, 78 und 79 entsprechend einem Verkehrzeichen 93, einem Auto 91 bzw. einem anderen Auto 92;
13 eine Tabelle von Clusterkombinationen in einer Ausführung;
14 ein Diagramm der Beziehung zwischen der Clusterbildung und dem Setzen von Abstandsbereichen in der Erfassungsfläche nach dem Stand der Technik.
1 ist ein Gesamtblockdiagramm eines Objekterkennungssystems nach einer Ausführung. Abgesehen von den Sensoren 3 und 3' können alle Blöcke in 1 in einer Steuereinrichtung enthalten sein, die eine integrierte Halbleiterschaltung vom Ein-Chip- oder Mehr-Chip-Typ umfasst. Somit zeigt 1 Funktionsblöcke der Steuereinrichtung. Die jeweiligen Funktionen der Blöcke werden durch Ausführung jeweiliger Programme durchgeführt, die in dem ROM der Steuereinrichtung gespeichert sind.
2 zeigt in einem Diagramm das Abstandsmessprinzip auf der Basis des Triangulationsverfahrens, das in der vorliegenden Ausführung verwendet wird. Zuerst wird ein Abstandsmessverfahren unter Verwendung eines Paars von Bildsensoren anhand von 2 beschrieben. Ein Linearsensor 21 und eine Linse 23, die eines der oben erwähnten Bildsensorpaare bilden, sind mit einem bestimmten Abstand, d. h. mit einem Abstand gleich der Basislinienlänge B in der horizontalen oder vertikalen Richtung von dem Linearsensor 22 und der Linse 24, die den anderen Bildsensor des Paars bilden, installiert. Die Linearsensoren 21 und 22 sind typischerweise eindimensionale CCDs, können jedoch auch linear angeordnete Fotosensorreihen sein. Im Hinblick auf den Gebrauch bei Nacht sind Infrarotlicht verwendende Bildsensoren bevorzugt. In diesem Fall ist es bevorzugt, infrarotdurchlässige Filter vor den Linsen 23 und 24 zu installieren und das System so auszustatten, dass ein Objekt 20 durch eine Infrarotlichtquelle mit zeitlich vorbestimmten Intervallen beleuchtet wird. Von dem Objekt 20 reflektiertes Infrarotlicht wird von den Linearsensoren 21 und 22 erfasst.
Die Linearsensoren 21 und 22 sind jeweils an der Brennweite ”f” der Linsen 23 und 24 positioniert. Wenn man annimmt, dass ein Bild eines Objekts, das mit einem Abstand ”a” vor der Ebene der Linsen 23 und 24 angeordnet ist, im Falle des Linearsensors 21 an einer Position abgebildet wird, die um einen Abstand X1 von der optischen Achse der Linse 23 verschoben ist, und, im Falle des Linearsensors 22, an einer Position abgebildet wird, die um einen Abstand X2 von der optischen Achse der Linse 24 verschoben ist, dann wird, gemäß dem Prinzip der Triangulation der Abstand a zu dem Objekt 20 von der Ebene der Linsen 23 und 24 durch die Gleichung bestimmt: a = B·f/(X1 + X2).
In der vorliegenden Ausführung werden die Bilder digitalisiert. Entsprechend wird der Abstand (X1 + X2) digital berechnet. Die Summe der Absolutwerte der Differenzen zwischen den Digitalwerten, die die Helligkeit der entsprechenden Pixel beider Bilder von den Linearsensoren 21 und 22 indizieren, wird bestimmt, während eines oder beide der Bilder verschoben sind, und diese Summe wird als Korrelationswert genommen. Der Verschiebungsbetrag der Bilder, wenn dieser Korrelationswert minimal ist, indiziert die Positionsabweichung zwischen den zwei Bildern, d. h. (X1 + X2). Idealisiert gesagt, ist der Abstand, um den die von den Linearsensoren 21 und 22 erhaltenen beiden Bilder bewegt werden müssen, damit die zwei Bilder einander überlappen, wie in 2 gezeigt, (X1 + X2).
Der Einfachheit wegen werden hier die Bildsensoren als eindimenisonale Linearsensoren 21 und 22 beschrieben. Jedoch werden in einer Ausführung, wie nachfolgend beschrieben, als Bildsensoren zweidimensionale CCDs oder zweidimensionale Fotosensorfelder benutzt. In diesem Fall werden die gleichen Korrelationsberechnungen wie oben beschrieben durchgeführt, indem die von den zwei Bildsensoren erhaltenen zweidimensionalen Bilder relativ verschoben werden. Der Verschiebungsbetrag an der Stelle, an der der Korrelationswert ein Minimum erreicht, entspricht (X1 + X2).
Der in 1 gezeigte Bildsensor 3 entspricht einem der in 2 gezeigten Bildsensoren, bestehend aus der Linse 23 und dem Linearsensor 21, und der Bildsensor 3' entspricht dem anderen Bildsensor in 2, bestehend aus der Linse 24 und dem Linearsensor 22. In dieser Ausführung ist, wie in 3(b) gezeigt, die abgebildete Fläche in eine Mehrzahl von Fenstern (kleine Sektionen) W₁₁, W₁₂, ... unterteilt, und der Abstand wird für jedes Fenster gemessen. Dementsprechend ist ein zweidimensionales Bild des gesamten Objekts erforderlich. Dementsprechend umfasst jeder Bildsensor 3 und 3' ein zweidimensionales CCD-Feld oder ein zweidimensionales Fotosensorfeld.
3(a) zeigt ein Beispiel des erhaltenen Bilds, wenn ein anderes Fahrzeug, das vor dem das System enthaltenden Fahrzeugs fährt, von einem der Bildsensoren 3 oder 3' abgebildet wird. 3(b) zeigt das Bild in 3(a), schematisch aufgetrennt in eine Mehrzahl kleiner Sektionen, Fenster genannt. 3(b) besitzt in der vertikalen Richtung aufgereihte Reihen und in der horizontalen Richtung aufgereihte Spalten. Der Einfachheit wegen ist das Bild in 10 Reihen × 15 Spalten der Fenster unterteilt. Den jeweiligen Fenstern sind Bezugszahlen zugeordnet. Beispielsweise bezeichnet W₁₂ das Fenster in Reihe 1, Spalte 2.
Zu 1. Die Bilder der vom Bildsensor 3 und 3' aufgenommenen Objekte werden durch Analog-Digital-Wandler (A/D-Wandler) 4 und 4' in Digitaldaten gewandelt und in Bildspeichern 5 und 5' gespeichert. Die BildSektionen entsprechend dem Fenster W₁₁ werden jeweils aus den Bildspeichern 5 und 5' durch ein Fensterausschnittsteil 9 ausgeschnitten und zu einem Korrelationsberechnungsteil 6 gesendet. Das Korrelationsberechnungsteil verschiebt die zwei Ausschnittsbilder gleichzeitig um eine spezifische Einheit und führt die oben erwähnten Korrelationsberechnungen durch. Der Verschiebungsbetrag an dem Punkt, an dem der Korrelationswert ein Minimum erreicht, entspricht (X1 + X2). Das Korrelationsberechnungsteil 6 sendet den somit ermittelten Wert von (X1 + X2) zu einem Abstandsberechnungsteil 7.
Das Abstandsberechnungsteil 7 bestimmt den Abstand a₁₁ zu dem Objekt in dem Fenster W₁₁ durch die oben erwähnte Formel: a = B·f/X1 + X2). Der somit ermittelte Abstand a₁₁ wird in einem Abstandsspeicher 8 gespeichert. Ein ähnlicher Berechnungsprozess erfolgt nacheinander für die jeweiligen Fenster, und die erhaltenen Abstände a₁₁, a₁₂, ... werden in dem Abstandsspeicher 8 gespeichert. Der für jedes Fenster berechnete Abstand zu einem aufgenommenen Objekt bezieht sich auf den gemessenen Abstand des Fensters.
In den bei den oben erwähnten Korrelationsberechnungen benutzten Bilddaten bestimmt die Teilung bzw. der Abstand der Elemente in dem Abbildungselementenfeld die Auflösung. Wenn daher ein Lichtempfangselement, wie etwa ein Fotosensorfeld, mit relativ großer Teilung benutzt wird, ist es bevorzugt, die Dichte der Bilddaten rechnerisch durch Zwischenteilungs-Interpolation zu verbessern. Korrelationsberechnungen können für jene Bilddaten erfolgen, deren Dichte somit verbessert worden ist.
Um Korrekturen für Schwankungen in den Charakteristiken des abbildenden Elementenfelds nach der Temperatur durchzuführen, kann ein Temperatursensor in der Nähe des abbildenden Elementenfelds installiert sein, und die Abstandsberechnungen können auf der Basis der Temperaturinformation von dem Temperatursensor korrigiert werden.
Zu 1. Ein Straßenflächenausschlussteil 31 schließt Fenster aus, die lediglich Straßenfläche zeigen. Diese Straßenfläche zeigenden Fenster werden identifiziert und durch ein Schema entfernt, das in DE 100 19 462 A1 beschrieben ist, deren Offenbarung hier unter Bezugnahme aufgenommen wird und die in Kopie der vorliegenden Anmeldung beigefügt ist. Kurz gesagt, das System vergleicht einen vorbestimmten geschätzten Abstand jedes Fensters zur Straßenoberfläche mit dem gemessenen Abstand eines entsprechenden Fensters. Das Fenster, dessen gemessener Abstand im Wesentlichen gleich dem geschätzten Abstand ist oder wesentlich größer als der geschätzte Abstand ist, wird als Straßenfläche markiert und von dem Objekterkennungsprozess ausgeschlossen, weil dieses Fenster kein Objekt auf der Straßenfläche enthält.
Der Begriff ”geschätzter Abstand” bezieht sich auf den Abstand zur Straßenfläche, wenn das Fahrzeug parallel zur Straßenfläche ist. Beispielsweise werden diese geschätzten Abstände vorab auf der Basis von Montagepositionen, Installationswinkeln, Basislinienlängen, Brennweiten und der Größe des Bildsensors 3 und 3' (realisiert durch CCD-Felder) und der Positionen der Fenster in dem Bild berechnet und in einem Geschätzter-Abstand-Speicher 32 gespeichert.
Die gemessenen Abstandswerte der Fenster, die gemäß Bestimmung zur Straßenfläche gehören, können aus dem Abstandsspeicher 8 gelöscht werden. Alternativ können Flags (Merker) für solche Fenster gesetzt werden, die identifizieren, dass die Fenster zur Straßenfläche gehören. Solche Fenster mit Flags können in dem Abstandsspeicher 8 gespeichert werden.
Das Fahrzeug kann ein Gefälle bergauf oder bergab fahren. Das System kann angeordnet sein, um die gemessenen Abstandswerte zu löschen, wenn das Ergebnis des Vergleichs mit dem entsprechenden geschätzten Abstand in einen spezifischen Bereich sinkt. Wenn beispielsweise die Differenz zwischen dem gemessenen Abstand und dem geschätzten Abstand 0,5 m oder weniger ist, kann der gemessene Abstandswert gelöscht werden. Wenn andererseits die Differenz größer als 0,2 m ist, erfolgt anschließend die Clusterbearbeitung.
Ein Clusterbildungsteil 33 führt eine Clusterbildung der Fenster durch, die nicht gelöscht sind oder von dem Straßenflächen-Ausschlussteil 31 nicht als Teil der Straßenfläche identifiziert wurden. Ein Abstandswandler 26 wandelt die gemessenen Abstände in Abstandskennungen für das jeweilige Fenster unter Bezug auf eine Konversionstabelle, die in einem Abstandsbereichspeicher 9 gespeichert ist. Die gemessenen Abstände werden entsprechend den Abstandsbereichen in Abstandskennungen bzw. Abstandskennwerte gewandelt. Das Blickfeld der Bildsensoren ist in eine Mehrzahl von Abstandsbereichen unterteilt, und jedem Abstandsbereich ist eine jeweilige Abstandskennung zugeordnet. Der Abstandsbereich ist kleiner, wenn der Abstand kürzer ist, und ist größer, wenn der Abstand größer ist, um beim Messen eines größeren Abstands eine größere Toleranz zu erlauben.
Ein Clusterkenngeber 27 ordnet den jeweiligen Fenstern auf der Basis der Beziehung eines gegebenen Fensters und eines benachbarten Fensters Clusterkennungen als Abstandskennungen der jeweiligen Fenster zu. Typischerweise werden das Fenster unmittelbar links des gegebenen Fensters, das Fenster unmittelbar rechts des gegebenen Fensters, das Fenster unmittelbar über dem gegebenen Fenster und das Fenster unmittelbar an der oberen rechten Ecke des gegebenen Fensters zum Auswerten der Beziehung gewählt. Der Clusterkenngeber 27 ordnet Clusterkennungen dem gegebenen Fenster unter Verwendung einer Schablone zu, die diese Beziehung definiert. Ein Beispiel einer solchen Schablone ist in 7 gezeigt, deren Details später beschrieben werden. Cluster mit den gleichen Clusterkennungen bilden ein integrales Cluster.
Ein Dreidimensions-Wandler 35 generiert dreidimensionale Information der Cluster. Typischerweise umfasst die dreidimensionale Information drei Koordinaten, die horizontale Position (x), die vertikale Position (y) und der Abstand zur Straßenfläche (z). Die dreidimensionale Information ermöglicht die Analyse des aufgenommenen Bilds in der x-y-Ebene, das ist eine vordere Draufsicht auf das Bild, und in der y-z-Ebene, das ist eine Seitenansicht des Bilds.
Eine Erkennungseinheit 200 erkennt körperliche Objekte in dem aufgenommenen Bild auf der Basis der so generierten Clusterinformation. Die Einheit 200 enthält ein erstes Erkennungsteil 43, welches körperliche Objekte unter Verwendung von Information zu ermittelten körperlichen Objekten erkennt, die durch ein Inferierteil erzeugt und in einem Inferiertes-Objekt-Speicher 49 gespeichert wurden. Die Einheit 200 enthält ferner ein zweites Erkennungsteil 44, das körperliche Objekte auf der Basis von Clusterinformation erkennt, die von einem Bewertungsteil 37 bearbeitet wurde, jedoch ohne Nutzung der Information der inferierten körperlichen Objekte.
Abstandsbereich
Ein Beispiel der Erfassungsfläche 100 ist in 4(a) gezeigt. Die Erfassungsfläche 100 ist eine Fläche, in der die Abstände von den Bildsensoren 3 und 3' gemessen werden können. Die Fläche 100 wird auf der Basis der Spezifikation und der Positionen der Bildsensoren 3 und 3' bestimmt. Beispielsweise kann die Erfassungsfläche 100 in einen Abstandsbereich von 60 Metern und einen Winkelbereich von 30 Grad gelegt werden. Obwohl die Erfassungsfläche 100 vorab festgelegt sein kann, ist es gewünscht, die Erfassungsfläche 100 dynamisch nach Maßgabe der Fahrgeschwindigkeit zu setzen. In diesem Fall wird die Erfassungsfläche 100 so gesetzt, dass der Abstandsbereich größer wird und der Winkelbereich kleiner wird, wenn die Fahrgeschwindigkeit zunimmt.
Die Erfassungsfläche 100 wird in eine Mehrzahl von Abstandsbereiche unterteilt, so dass keine Überlappung vorliegt. In dieser Ausführung sinkt die Präzision der gemessenen Abstände, wenn der Abstand von dem mit dem Bildsensor 3 und 3' ausgestatteten Fahrzeug zunimmt. Daher ist die Erfassungsfläche 100 so unterteilt, dass die Abstandsbereiche breiter werden, wenn der Abstand von dem Fahrzeug zunimmt (S1 bis S6 in 4(a)).
Die Abstandsbereiche werden nach Maßgabe der Toleranz in den gemessenen Abständen gesetzt. Hier ist der Wert der Abstandstoleranz von den Spezifikationen etc. des Bildsensors 3 und 3' abhängig. Wenn man beispielsweise annimmt, dass die Toleranz in den gemessenen Abständen 10% oder weniger der tatsächlichen Abstände ist, kann der Abstandsbereich für einen bestimmten gegebenen Abstand gesetzt werden als ”Abstand ~ (Abstand × (1 + 0,1))”. Weil in der vorliegenden Ausführung eine Präzision von 10% Toleranz nicht für alle Pixel gewährleistet werden kann, werden für Hochgeschwindigkeitsprozesse die Abstandsbereiche mit der Abstandstoleranz von 30% gesetzt. Demzufolge wird der Abstandsbereich für einen bestimmten gegebenen Abstand gesetzt als ”Abstand ~ (Abstand × (1 + 0,3)”.
5 zeigt in einer Tabelle die Beziehung zwischen den Abständen und den Abstandskennungen, wobei die Toleranz auf 30% gesetzt ist. Den unterschiedlichen Abstandsbereichen sind unterschiedliche Abstandskennungen zugeordnet. Beispielsweise ist, im Falle eines Abstands von 1 m, 30% des Abstands 0 (Werte unter dem Dezimalpunkt sind unberücksichtigt). Daher wird die Abstandskennung ”1” dem Abstand 1 m zugeordnet. Im Falle eines Abstands von 2 m wird, weil 30% des Abstands 0 ist, die Kennung ”2” dem Abstand 2 m zugeordnet. Ähnlich wird die Kennung ”3” dem Abstand 3 zugeordnet. Weil für den Abstand 4 30% des Abstands 1 m ist, wird die Kennung 4 dem Abstandsbereich von 4 m bis 4 + 1 = 5 m zugeordnet. Weil ähnlich für den Abstand 6 30% des Abstands 1 m ist, wird die Kennung 5 dem Abstandsbereich von 6 m bis 6 + 1 = 7 m zugeordnet.
Weil für den Abstand 8 m 30% des Abstands 2 m ist, wird die nächste Kennung 6 dem Abstandsbereich von 8 m bis 8 + 2 = 10m zugeordnet. Hier wird die Abstandskennung jedes Mal um 1 erhöht, wenn sich der Abstandsbereich ändert. Im Falle eines Abstands von 20m beträgt 30% des Abstands 6 m. Daher wird eine Abstandskennung ”9” dem Abstandsbereich von 20 m bis 26 m zugeordnet. Auf diese Weise werden die Abstandsbereiche von kurzen Abständen bis zu langen Abständen progressiv gesetzt, so dass die Erfassungsfläche 100 in eine Mehrzahl von Abstandsbereichen unterteilt ist. Alternativ können verschiedene Abstandsbereiche mit unterschiedlichen Abstandskennungen kombiniert werden, um einen einzigen Abstandsbereich zu bilden.
In der vorliegenden Ausführung werden der Einfachheit wegen verschiedene Abstandsbereiche, wie in 5 gezeigt, kombiniert, um größere Abstandsbereiche zu bilden, so dass die Abstandsbereiche S1 bis S6 so gesetzt sind, wie in 4(b) gezeigt, und diesen Abstandsbereichen werden jeweilige neue Abstandskennungen 1 bis 6 zugeordnet. 4(a) zeigt die Abstandsbereiche S1 bis S6 von 4(b).
Hier werden die Abstandsbereiche größer, wenn der Abstand von dem Fahrzeug zunimmt. Ferner können auch andere unterscheidbare Symbole, wie etwa ein alphabetischer Buchstabe, etc. als die Abstandskennungen benutzt werden. Die Abstandsbereiche, denen die Abstandskennungen somit zugeordnet wurden, werden als Abstandskonversionstabelle in einem Abstandsbereichspeicher 9 gespeichert. Wenn die Erfassungsfläche vorab festgelegt ist, ist es erwünscht, dass die Abstandsbereiche vorab berechnet werden, und dass eine Abstandskonversionstabelle mit zugeordneten Abstandskennungen vorab in dem Abstandsbereichspeicher 9 gespeichert wird. Wenn andererseits die Erfassungsfläche dynamisch aktualisiert wird, kann die gespeicherte Abstandskonversionstabelle dynamisch aktualisiert werden.
Clusterbildung
Zu 1. Das Clusterbildungsteil 33 führt die Clusterbildung der Fenster durch, die von dem Straßenflächen-Ausschlussteil 31 ungelöscht verbleiben. Zuerst wandelt der Abstandswandler 26 die gemessenen Abstände in Abstandkennungen für die jeweiligen Fenster um. Die gemessenen Abstände der Fenster werden unter Bezug auf die Abstandskonversionstabelle geprüft, die in dem Abstandsbereichspeicher 9 gespeichert ist, und in die Abstandskennungen gewandelt. Hier kann im Falle von Fenstern, für die kein gemessener Abstand erhalten wurde, weil sie beispielsweise zu wenig Kontrast haben, eine Kennung zugeordnet werden, die nicht in der Abstandskonversionstabelle benutzt wird (z. B. die Kennung ”0”). Wenn der Abstandswandler 26 die gemessenen Abstände in Abstandskennungen wandelt, zählt und berechnet der Abstandswandler 26 den Häufigkeitsgrad der Fenster in den jeweiligen Abstandsbereichen.
Zum Beispiel zeigt 6(a) die gemessenen Abstände der jeweiligen Fenster auf dem Bild, das aufgenommen worden ist. Der Abstandswandler 26 wandelt die gemessenen Abstände gemäß 6(a) in Abstandkennungen gemäß der in 4(b) gezeigten Abstandskonversionstabelle. 6(b) zeigt die Abstandskennungen, die durch diese Konversion für die jeweiligen Fenster erzeugt wurden. Gleichzeitig mit diesem Prozess zählt der Abstandwandler 26 die Anzahl der Fenster für jede Abstandskennung und bestimmt den Häufigkeitsgrad der Fenster für jede Abstandskennung.
Wenn der Häufigkeitsgrad der Fenster mit einer bestimmten Abstandskennung kleiner als ein gewisser Schwellenwert ist, nachdem die Konversion in Abstandskennungen für alle Fenster durchgeführt wurde, setzt der Abstandswandler 26 die Abstandskennungen auf ”0”. Dieser Vorgang ist für einen Hochgeschwindigkeitsbetrieb geeignet. Weil insbesondere bestimmt wird, dass kein wesentliches körperliches Objekt (ein vorausfahrendes Fahrzeug etc.) im fraglichen Abstandsbereich aufgenommen wurde, werden die Abstandskennungen auf ”0” rückgesetzt. Für jeden Abstandsbereich können verschiedene Werte als der Schwellenwert gesetzt werden.
Im in 6(b) gezeigten Beispiel bestehen Fenster mit einer Abstandskennung von ”1” nur aus dem einzigen Fenster W31, und Fenster mit einer Abstandskennung von ”2” bestehen aus fünf Fenstern W53, W73, W66, W68 und W48. Wenn der Schwellenwert für die Abstandskennung ”1” und ”2” beispielsweise auf ”10” gesetzt wird, werden die Abstandskennungen dieser Fenster durch ”0” ersetzt. Die im Ergebnis erhaltenen Abstandskennungen sind in 6(c) gezeigt.
Clusterkennung
Zu 1. Der Clusterkenngeber 27 ordnet Clusterkennungen den jeweiligen Fenstern auf der Basis der Abstandskennungen zu, und Fenster mit gleichen Kennungen werden zu einem integralen Cluster geformt. Die Clusterkennungen werden so zugeordnet, dass benachbarte Fenster mit gleichen Abstandskennungen Teile desselben Clusters bilden.
Der Clusterkenngeber 27 ordnet Clusterkennungen den Fenstern unter Verwendung der in 7 gezeigten Schablone zu. T1 bis T5 in 7(a) bezeichnen Positionen in der Schablone. ”a” bis ”e” in 7(b) bezeichnen die Abstandskennungen von Fenstern jeweils entsprechend den Positionen T1 bis T5, wenn die Schablone so angeordnet wird, dass T4 die Stelle eines zu bearbeitenden Fensters einnimmt. ”A” bis ”E” in 7(c) bezeichnen die Clusterkennungen, die den jeweiligen Fenstern entsprechend den Positionen T1 bis T5 zugeordnet sind.
Die Tabelle in 7(d) zeigt den Typ von Clusterkennung D, der dem Fenster an Position T4 zugeordnet ist, auf der Basis der Abstandskennungen für die Fenster an den Positionen T1 bis T5, wenn T4 an dem zu bearbeitenden Fenster angeordnet ist. Wenn beispielsweise die Abstandskennungen ”a” bis ”e” an den Positionen T1 bis T5 die Bedingung 5 in 7(d) erfüllen, dann wird eine Clusterkennung B dem Fenster bei T4 zugeordnet. Die Clusterkennung ”1” wird zugeordnet, wenn die Bedingungen 2 oder 3 erfüllt sind, die eine neue Clusterkennung erfordern. Der Clusterkenngeber 27 tastet nacheinander die Fenster auf dem Bild ab, unter Platzierung von T4 der Schablone an den jeweiligen Fenstern auf dem Bild, um hierdurch die Clusterkennung D den jeweiligen Fenstern zuzuordnen. Die Tabelle von 7(d) zeigt die Clusterkennungen, die sich an den jeweiligen Fenstern entsprechend dem oben beschriebenen Schema und einem nachfolgend beschriebenen zusätzlichen Schema ergeben.
Zu 8. Jeweilige Fenster werden als W11 bis W44 identifiziert, wie in der Tabelle in 8(f) gezeigt. Die gemessenen Abstände der Fenster wurden durch den Abstandswandler 26 in Abstandskennungen gewandelt, wie in 8(a) gezeigt. Der Clusterkenngeber 27 tastet die Fenster von links oben nach rechts unten ab. Da die Abstandskennung des Fensters W11 ”0” ist, ist die Bedingung 1 von der Tabelle in 7(d) erfüllt, und dem Fenster W11 wird eine Clusterkennung von ”0” zugeordnet. Ähnlich wird die Clusterkennung ”0” jedem der Fenster W11 bis W14 und W21 zugeordnet.
Das Fenster 22 mit der Abstandskennung ”6” erfüllt die Bedingung 2 der Tabelle in 7(d), und eine neue Clusterkennung ”61” wird zugeordnet (8(b)). In diesem Beispiel wird die Clusterkennung durch zwei Digitalwerte ausgedrückt. Der höhere Digitalwert indiziert die Abstandkennung und der niedrigere Digitalwert indiziert die Häufigkeitszahl der Fenster mit derselben Abstandkennung. Der zweite Digitalwert wird um 1 erhöht, jedes Mal, wenn die Bedingungen 2 oder 3 der Tabelle in 7(d) für das Fenster mit der gleichen Abstandskennung erfüllt ist. Als Clusterkennungen können auch irgendwelche anderen Symbole verwendet werden, wie etwa Zahlen und alphabetische Buchstaben.
Dann wird die Schablone so angeordnet, dass T4 mit dem Fenster W23 fluchtet. Da hier das Fenster W23 die Bedingung 4 der Tabelle in 7(d) erfüllt, wird die gleiche Clusterkennung wie von Fenster W22, d. h. die Clusterkennung ”61”, dem Fenster W23 zugeordnet (8(c)). Da die Fenster W24 und W31 die Bedingung 1 erfüllen, wird diesen Fenstern die Clusterkennung ”0” zugeordnet. Das Fenster W32 erfüllt Bedingung 6 der Tabelle in 7(d), und die gleiche Clusterkennung wie das von Fenster W22, d. h. die Clusterkennung ”61” wird dem Fenster W32 zugeordnet (8(d)). Das Fenster W33 erfüllt Bedingung 7 der Tabelle in 7(d), und die gleiche Clusterkennung wie von Fenster W23, d. h. die Clusterkennung ”61”, wird dem Fenster W33 zugeordnet. Der Rest der Fenster W34 und W41 bis W44 erfüllen die Bedingung 1, und die Clusterkennung ”0” wird diesen Fenstern zugeordnet. Auf diese Weise werden die Clusterkennungen so vergeben, wie in 8(e) gezeigt.
Für die in 7(a) gezeigte Schablone werden die Fenster von links oben nach unten rechts abgetastet. Die in 7 gezeigte Schablone ist ein Beispiel. Es wäre auch möglich, andere Schablonen zu verwenden, wobei die Abtastfolge der Fenster entsprechend der Schablone gesetzt werden kann.
Clusterverknüpfung
Wenn Bedingung 8 der Tabelle in 7(d) erfüllt ist, verknüpft der Clusterkenngeber 27 die Clusterkennungen bei T1 und T3 der Schablone und speichert diese verknüpften Clusterkennungen in dem Clusterspeicher 48. Diese Verknüpfung wird anhand von 9 beschrieben. Die Fenster in dem Beispiel werden von W11 bis W35 identifiziert, wie in 9(g) gezeigt. 9(a) zeigt die Abstandskennungen der jeweiligen Fenster W11 bis W35, die durch den Abstandswandler 26 gegeben wurden.
Zu 1. Der Clusterkenngeber 27 bewegt die Schablone über das Fenster auf dem Bild von links oben nach rechts unten und ordnet Clusterkennungen den Fenstern auf der Basis der Abstandskennungen in 9(a) zu, und zwar durch das gleiche Verfahren, wie in 8 dargestellt. Die Fenster W11 bis W15, W21 bis W23 erfüllen die Bedingung 1, und die Clusterkennungen ”0” werden diesen Fenstern zugeordnet. Da das Fenster W24 die Bedingung 2 in 7(d) erfüllt und dies das erste Auftreten eines Fensters mit der Abstandskennung ”6” ist, wird eine neue Clusterkennung ”61” diesem Fenster zugeordnet, wie in 9(b) gezeigt. Da die Fenster W25 und W31 die Bedingung 1 erfüllen, werden diesen Fenstern die Clusterkennungen ”0” zugeordnet. Das Fenster W32 erfüllt Bedingung 2, und dies ist das zweite Auftreten eines Fensters mit der Abstandskennung 6, und es wird eine neue Clusterkennung ”62” zugeordnet (9(c)). Da das Fenster W33 die Bedingung 4 erfüllt, wird die Clusterkennung ”62”, die die gleiche ist wie die von Fenster W32, zugeordnet (9(d)).
Das Fenster W34 erfüllt Bedingung 8 der Tabelle in 7(d), und es wird eine Clusterkennung ”61”, die die gleiche ist wie von Fenster W24, dem Fenster W34 zugeordnet (9(e)). Im Ergebnis sind die Clusterkennungen der Fenster W32 und W33 von den Clusterkennungen der Fenster W24 und W34 unterschiedlich, obwohl die Fenster einander benachbart sind.
Wenn die Bedingung 8 der Tabelle in 7(d) erfüllt ist, werden die Clusterkennungen entsprechend A und C der Schablone verknüpft. Die Clusterkennungen ”62” und ”61” der Fenster W33 und W24 dieses Beispiels werden verknüpft und in dem Clusterspeicher 48 als integrales Cluster gespeichert. Nachdem die Clusterkennungen allen Fenstern zugeordnet wurden, ersetzt dieselbe Clusterkennung die zwei Clusterkennungen, die in verknüpfter Form gespeichert sind. Beispielsweise kann die Clusterkennung ”62” durch ”61” ersetzt werden oder umgekehrt. Ferner können beispielsweise ”61” und ”62” durch eine neue Clusterkennung ”63” ersetzt werden. 9(f) zeigt die den jeweiligen Fenstern zugeordneten Clusterkennungen.
Zurück zu 6. Wenn Clusterkennungen den Fenstern auf der Basis der Abstandskennungen gemäß 6(c) entsprechend dem oben beschriebenen Verfahren zugeordnet werden, erhält man eine Clusterkennungsverteilung, wie in 6(d) gezeigt. Fenster mit den gleichen Clusterkennungen bilden gemeinsam ein integrales Cluster. Die so bestimmten Cluster sind in 6(e) gezeigt.
Durch Verwendung von Abstandskennungen anstatt der Behandlung der gemessenen Abstandswerte selbst kann die Clusterbildung von Fenstern mit hoher Geschwindigkeit erfolgen. Insbesondere wird erfindungsgemäß die Wandlung der gemessenen Abstandswerte in Abstandskennungen parallel zur Bestimmung der Häufigkeitsgrad-Verteilung oder Verteilungsfrequenz jedes Abstandsbereichs durchgeführt. Somit wird inhärent bestimmt, zu welchem Abstandsbereich die gemessenen Werte der Fenster gehören.
Durch Setzen der Abstandsbereiche auf der Basis der Toleranz in den gemessenen Abständen wird die Genauigkeit und Geschwindigkeit der Clusterbildung verbessert.
Dreidimensionale Daten
Zu 1. Der Dreidimensions-Wandler 35 erzeugt dreidimensionale Daten der Cluster. Wie in 10 gezeigt, enthält die dreidimensionale Information in der vorliegenden Ausführung drei Koordinaten, d. h. horizontale Position (x), vertikale Position (y) und Straßenoberflächenabstand (z). Die ”x”-Koordinate, die die horizontale Position ausdrückt, entspricht der Richtung, in der die Spalten der Fenster aufgereiht sind (siehe 3(b)). Die ”y”-Koordinate, die die vertikale Position ausdrückt, entspricht der Höhenrichtung von der Straßenoberfläche. Die ”z”-Koordinate, die den Abstand der Straßenoberfläche angibt, entspricht der Richtung, in der die Reihen der Fenster aufgereiht sind (siehe 3(b)). Die ”z”-Koordinate ist proportional zum gemessenen Abstand ”d”.
Der Ursprung O bezeichnet den Punkt der Straßenoberfläche, en dem sich das Fahrzeug befindet. Die ”x”-, ”y”- und ”z”-Achsen schneiden einander rechtwinklig am Ursprung O. Die ”x”-Achse erstreckt sich von links nach rechts, gesehen vom Fahrzeug aus. Die ”y”-Achse erstreckt sich in Richtung orthogonal zur Straßenfläche und die ”z”-Achse in der Fortbewegungsrichtung des Fahrzeugs. Die Bildkamera 53 befindet sich an der Höhe ”H” in Richtung der ”y”-Achse von dem Ursprung O ausgehend. Das körperliche Objekt 54 hat eine Höhe ”h” und eine Breite ”g” und befindet sich mit einem Abstand ”i” in Richtung der ”z”-Achse. Wenn das körperliche Objekt 54 nicht vorhanden ist, dann ist der Punkt 55 auf der Straßenfläche in dem von der Bildkamera 53 aufgenommenen Bild enthalten. Wenn das körperliche Objekt 54 auf der Straße vorhanden ist, dann enthält das Fenster, das das Bild vom Punkt 55 enthalten würde, einen Punkt 56 des körperlichen Objekts anstelle des Bilds vom Punkt 55 der Straßenoberfläche. Der geschätzte Abstand ”D” ist der Abstand zwischen der Bildkamera 53 und dem Punkt 55 auf der Straßenfläche. Wenn kein körperliches Objekt 54 vorhanden ist, ist dieser geschätzte Abstand ”d” gleich dem gemessenen Abstand zum aufgenommenen Punkt 55. In 10 ist der gemessene Abstand ”d” der Abstand von der Bildkamera 53 zu Punkt 56 des körperlichen Objekts 54, der durch das oben anhand von 2 beschriebene Verfahren berechnet ist. In dem (x, y, z-)Koordinatensystem ist die Position der Bildkamera 53 (O, H, O) und die Position von Punkt 56 ist (g, h, i).
Da der geschätzte Abstand ”D” für jedes Fenster und die Höhe ”H” der Bildkamera von der geschätzten Straßenoberfläche Festwerte sind, können sie vorab berechnet und gespeichert werden. Wie aus 10 ersichtlich, kann die Höhe ”h” des Objekts aus der folgenden Gleichung (1) bestimmt werden, und der Abstand ”i” zu dem Objekt 54 kann aus der folgenden Gleichung (2) bestimmt werden. h = (D – d) × H/D (1) i = √d² – (H – h)² (2)
Der horizontale Abstand von dem Fahrzeug, d. i. der Abstand in der ”x”-Achse in 10, wird vorab zur Lokalisierung von Fenstern auf der Basis der Position der Bildkamera bestimmt. Beispielsweise bezeichnet die dritte Reihe und die dritte Spalte der Fenster Positionen von 1 Meter links von der Mitte des Fahrzeugs. Dementsprechend kann der Wert der ”x”-Koordinate von Punkt 56 (im vorliegenden Beispiel ist dies g und ist gleich dem Wert der Breite des Bildobjekts) auf der Basis der Position desjenigen Fensters bestimmt werden, das Punkt 56 enthält. Somit können die jeweiligen Fenster, die die Cluster bilden, als x, y, z-Koordinaten ausgedrückt werden. In einer anderen Ausführung wäre es auch möglich, beispielsweise den gemessenen Abstand ”d” anstatt der ”z”-Koordinate, die den Straßenflächenabstand anzeigt, zu benutzen, und die Fenster könnten auch durch ein anderes Koordinatensystem als dem oben beschriebenen Koordinatensystem ausgedrückt werden.
Somit repräsentiert der Dreidimensions-Wandler 35 die Cluster dreidimensional und projiziert das Bild in drei Dimensionen. Bevorzugt kann ein minimales rechtwinkliges Parallelepiped, das alle Punkte eines dreidimensional projizierten gegebenen Clusters enthält, bestimmt werden, und das Cluster kann durch dieses rechtwinklige Parallelepiped angenähert werden. Auf diese Weise können die Mittelposition, die Breite und Höhe des Objekts bestimmt und genau erkannt werden.
Wenn das oben erwähnte x, y, z-Koordinatensystem benutzt wird, ist die Breite jedes Clusters, angenähert durch ein rechtwinkliges Parallelepiped, der Wert, der erhalten ist durch Subtrahieren des minimalen ”x”-Koordinatenwerts von dem maximalen ”x”-Koordinatenwert als aufgenommene Punkte, und die Dicke des Clusters ist der Wert, der erhalten ist durch Subtrahieren des minimalen ”y”-Koordinatenwerts von dem maximalen ”y”-Koordinatenwert der aufgenommenen Punkte. Ferner wird die Mittelposition jedes Clusters ausgedrückt als Wert, der erhalten ist durch Subtrahieren des minimalen Werts vom maximalen Wert für jede der x-, y- und z-Koordinaten, und Halbieren des Ergebnisses. Der Abstand der Mittelposition, der horizontalen Position und der vertikalen Position und die Clusterhöhe und -breite (Cluster-Attribute) jedes somit berechneten Clusters werden in dem Clusterspeicher 48 gespeichert.
Clustergruppe
Zurück zu 1. Das Clustergruppierungsteil 36 holt Cluster aus dem Clusterspeicher 48 und bestimmt Clustergruppen auf der Basis der Clusterattribute. Ein ”Prozess zu Ende”-Flag wird für das Cluster gesetzt, das somit bearbeitet wurde. Zuerst ist bei keinem der Cluster ein ”Prozess zu Ende”-Flag gesetzt. Demzufolge werden alle Cluster geholt und bearbeitet.
In der vorliegenden Ausführung vergleicht das Clustergruppierungsteil 36 die Abstände zwischen einem gegebenen Cluster und anderen Clustern sowie die Differenzen der horizontalen Positionen und der vertikalen Positionen der Cluster. Wenn die Differenzen alle gleich oder kleiner als bestimmte Schwellenwerte sind, kombiniert das Clustergruppierungsteil 36 diese Cluster zu einer Clustergruppe. Dieser Prozess wird für alle geholten Cluster durchgeführt. Wenn mehrere Cluster eng beieinander angeordnet sind, ist die Wahrscheinlichkeit hoch, dass sie zum selben Objekt gehören.
Bevorzugt werden entsprechend dem Abstand von dem Fahrzeug verschiedene Schwellenwerte benutzt. In der vorliegenden Ausführung werden Schwellenwerte entsprechend dem Abstand der zwei Cluster gesetzt, deren Positions- und Abstandsdifferenzen bestimmt werden sollen. Der Abstand der zwei Cluster wird auf der Basis der Anzahl der Fenster, die in den jeweiligen Clustern enthalten sind, und der gemessenen Abstände dieser Fenster, berechnet. Wenn man beispielsweise annimmt, dass das Bild zwei Cluster C1 und C2 enthält, sind die jeweiligen. Abstände der Cluster C1 und C2 vom Fahrzeug d1 und d2, und die Anzahl der Fenster, die in den Clustern C1 und C2 enthalten sind, ist w1 bzw. w2. Der Abstand der zwei Cluster von dem Fahrzeug kann durch folgende Gleichung (3) berechnet werden. Hier werden Werte, die durch Mittelwertbildung der gemessenen Abstände der in den jeweiligen Clustern enthaltenen Fenster erhalten wurden, als die Abstände d1 und d2 der Cluster benutzt. Abstand zweier Cluster = (d1 × w1 + d2 × w2)/(w1 + w2) (3)
Die Differenzen dx und dy in den horizontalen Positionen und vertikalen Positionen der zwei Cluster werden als Abstand der zwei Cluster ausgedrückt, und die Abstandsdifferenz dz wird als die Differenz in den Abständen der jeweiligen Cluster (d1 und d2 in der obigen Beschreibung) ausgedrückt. Beispielsweise zeigt 11(a) eine Mehrzahl von Clustern, gesehen von der x-y-Ebene her, und 11(b) zeigt dieselben Cluster wie in 11(a), gesehen von der x-z-Ebene her. Die Differenz in den horizontalen Positionen der Cluster C4 und C6 wird durch dx in der Richtung der ”x”-Achse ausgedrückt, und die Differenz in den vertikalen Positionen wird durch dy in der Richtung der ”y”-Achse ausgedrückt. Wenn die Abstände der Cluster C4 und C6 von dem Fahrzeug jeweils d4 und d6 sind, dann wird die Abstandsdifferenz durch dz in Richtung der z-Achse ausgedrückt.
Auf der Basis des Abstands der zwei Cluster von dem Fahrzeug, berechnet mittels der obigen Gleichung (3), kann der Schwellenwert relativ zur Abstandsdifferenz zwischen den Clustern beispielsweise so gesetzt werden, wie in der folgenden Tabelle 1 gezeigt, und für die Differenzen in den horizontalen Positionen und den vertikalen Positionen der zwei Cluster, wie in der folgenden Tabelle 2 gezeigt. Tabelle 1

Abstand zweier Cluster (Meter) Schwellenwert der Differenz im Abstand dz (Meter)

0~14,9 3,0

15,9~29,9 5,0

30,0~ 8,0

Tabelle 2

Abstand zweier Cluster (Meter) Schwellenwert der Differenzen in der horizontalen/vertikalen Position (dx und dy) (Meter)

0~5,9 1,0

6~ 0,6
Es werden größere Schwellenwerte verwendet, wenn der Abstand von dem Fahrzeug größer wird, weil die Toleranz vom gemessenen Abstand größer ist, wenn das Objekt weiter vom Fahrzeug entfernt ist. Es wird ein größerer Schwellenwert für die Differenzen in den horizontalen und vertikalen Positionen verwendet, wenn der Abstand zwischen den zwei Clustern kleiner wird, wie in Tabelle 2 gezeigt. Wenn nämlich z. B. ein körperliches Objekt mit geringem Abstand vor dem das System tragenden Fahrzeug angeordnet ist, kann der Kontrast des aufgenommenen Bilds zu gering sein, um den Abstand von dem Fahrzeug in Bezug auf jedes Fenster zu berechnen, was einen Ausfall einer Anzahl von Fenstern zur Folge hat, was wiederum einen größeren Abstand zwischen den Clustern erzeugt.
Nun zu den 11(a) und 11(b). Das Clustergruppierungsteil 36 wählt zwei Cluster aus den Clustern C1 bis C6, berechnet die Abstandsdifferenz von dem Fahrzeug, der horizontalen Positionen und vertikalen Positionen und bewertet, ob die zwei Cluster in ein und derselben Clustergruppe enthalten sein sollten oder nicht. Beispielsweise im Falle der Cluster C1 und C2 sind die Abstandsdifferenzen von dem Fahrzeug und der Positionen gleich oder kleiner als die jeweiligen Schwellenwerte, so dass die Cluster C1 und C2 in derselben Clustergruppe enthalten sind. Im Falle der Cluster C2 und C4 sind Abstandsdifferenzen vom Fahrzeug und den Positionen ebenfalls gleich oder weniger als die der jeweiligen Schwellenwerte. Daher sind auch die Cluster C2 und C4 in derselben Clustergruppe enthalten. Im Ergebnis wird bestimmt, dass die Cluster C1, C2 und C4 in derselben Clustergruppe C1 enthalten sind.
Andererseits sind im Falle der Cluster C6 und C5 die Differenzen in den horizontalen und vertikalen Positionen gleich oder kleiner als der Schwellenwert, wobei aber die Abstandsdifferenz von dem Fahrzeug den Schwellenwert überschreitet. Demzufolge wird bestimmt, dass diese Cluster zu verschiedenen Clustergruppen gehören. Daher bestimmt das Clustergruppierungsteil 36 zwei Clustergruppen G1 und G2, wie in den 11(c) und 11(d) gezeigt. Das Clustergruppierungsteil 36 ordnet dieselben Clusterkennungen solchen Clustern zu, die zu denselben Clustergruppen gehören.
Inferierung eines körperlichen Objekts
Zu 1. Ein körperliches-Objekt-Inferierteil 40 inferiert (folgert) die Positionen körperlicher Objekte in dem gegenwärtig erhaltenen Bild auf der Basis der Position zuvor erkannter körperlicher Objekte und der Relativgeschwindigkeit in Bezug auf die körperlichen Objekte. Das in dieser Ausführung benutzte Schema zum Inferieren körperlicher Objekte wird anhand von 12 beschrieben. 12(a) bis 12(c) zeigen einen vorherigen Prozess, und die 12(d) und 12(f) zeigen den gegenwärtigen Prozess. In 12(a) werden zwei Fahrzeuge 91 und 92 aufgenommen, während in 12(d) dieselben Fahrzeuge 91 und 92 wie in 12(a) sowie ein Verkehrszeichen 93 aufgenommen werden.
12(b) zeigt Cluster C11 bis C17, die von dem Clusterbildungsteil 33 bestimmt sind und von dem Clustergruppierungsteil 36 auf der Basis des in 12(a) gezeigten aufgenommenen Bilds in Clustergruppen 63 und 64 gruppiert sind. 12(c) zeigt körperliche Objekte 65 und 66, die aus den Clustergruppen 63 und 64 erkannt wurden, entsprechend dem Fahrzeug 91 bzw. dem Fahrzeug 92. Die Positionen und Größen der körperlichen Objekte 65 und 66 wurden im vorherigen Prozess in einem körperliches-Objekt-Speicher 39 gespeichert.
Das körperliches-Objekt-Inferierteil 40 liest die Positionen und Relativgeschwindigkeiten der zuvor erkannten körperlichen Objekte 65 und 66 aus dem körperliches-Objekt-Speicher 39 aus und berechnet die gegenwärtigen Positionen der körperlichen Objekte 65 und 66. Diese Berechnung kann mittels folgender Formel erfolgen: (vorherige Position des körperlichen Objekts + Relativgeschwindigkeit × Erfassungszeitintervall).
In diesem Beispiel wird angenommen, dass die Relativgeschwindigkeit in Bezug auf das körperliche Objekt 65 null ist, wird angenommen, dass die Relativgeschwindigkeit in Bezug auf das körperliche Objekt 66 -10 Kilometer pro Stunde beträgt (wenn in diesem Beispiel die Geschwindigkeit des das System tragenden Fahrzeugs größer als die Geschwindigkeit eines körperlichen Objekts ist, wird die Relativgeschwindigkeit als ”minus” ausgedrückt), und wird angenommen, dass das Erfassungszeitintervall 100 Millisekunden beträgt. Der relative Abstand zu dem körperlichen Objekt 65 ist zwischen der vorherigen Erfassung und der gegenwärtigen Erfassung unverändert, und der relative Abstand zum körperlichen Objekt 66 ist um 0,3 Meter verkürzt.
Wenn man annimmt, dass die vorherige Position des körperlichen Objekts 65 als Mittelkoordinaten (x1, y1, z1) ausgedrückt ist und die Position des körperlichen Objekts 66 (x2, y2, z2) ist, wobei die Position des das System tragenden Fahrzeugs der Ursprung ist und die jeweiligen Koordinatenwerte in Metern ausgedrückt sind, kann die gegenwärtige Position des körperlichen Objekts 65 als (x1, y1, z1) geschätzt werden und die gegenwärtige Position des körperlichen Objekts 66 kann als (x2, y2, z2-0,3) geschätzt werden. Hier wird angenommen, dass die geschätzten körperlichen Objekte die gleichen Horizontalpositionen wie in der vorigen Erfassung haben. Bei dem verwendeten Koordinatensystem und Ursprung kann die Relativgeschwindigkeit, falls die Geschwindigkeit des das System tragenden Fahrzeugs größer oder kleiner ist, relativ zum körperlichen Objekt ausgedrückt werden als ”positiv” oder ”negativ”. Die Positionen der körperlichen Objekte können auch durch ein anderes System als das oben beschriebene berechnet werden.
Das körperliches-Objekt-Inferierteil 40 kann die Breite und Höhe der körperlichen Objekte 65 und 66 aus dem körperliches-Objekt-Speicher 39 auslesen und die körperlichen Objekte 65 und 66 dreidimensional in ihren jeweiligen gegenwärtigen Positionen (x1, y1, z1) und (x2, y2, z2-0,3) rekonstruieren. Die Positionen der Cluster in den Bildern der inferierten körperlichen Objekte können bestimmt werden. 12(e) zeigt körperliche Objekte 75 und 76, die wie oben beschrieben durch Inferieren der körperlichen Objekte 65 und 66 erhalten sind.
Das körperliches-Objekt-Inferierteil 40 speichert die Attribute (die körperlichen Objekte betreffende Information, wie etwa Abstände, Horizontalpositionen, Vertikalpositionen, Breiten, Höhen etc.) der inferierten körperlichen Objekte (nachfolgend als ”inferierte körperliche Objekte” bezeichnet) 75 und 76 in dem inferiertes-Objekt-Speicher 49. Ferner kann der von dem körperliches-Objekt-Inferierteil 49 durchgeführte Prozess parallel zu dem Prozess durchgeführt werden, der von dem Clusterbildungsteil 33 und dem Clustergruppierungsteil 36 durchgeführt wird.
Clusterauswahl
Nun zu 1. Das Clusterwählteil 41 wählt die Clustergruppe, die ein Cluster enthält, das den kürzesten Abstand von dem Fahrzeug hat. Ein inferiertes körperliches Objekt, das einen Abstand von dem Fahrzeug hat, dessen Differenz von dem Cluster in der gewählten Clustergruppe innerhalb des Schwellenwerts liegt, und das in den horizontalen und vertikalen Positionen mit der gewählten Clustergruppe überlappt, wird aus den in dem Speicher 49 gespeicherten inferierten körperlichen Objekten gewählt. Das Clusterwählteil 41 wählt alle Cluster aus der gewählten Clustergruppe, die mit dem gewählten inferierten körperlichen Objekt überlappt.
Falls keines der Cluster der gewählten Clustergruppe die Abstandsdifferenzbedingungen erfüllt oder falls keine Cluster Überlappungen mit den in dem Speicher 49 gespeicherten inferierten Objekten haben, werden hier alle Cluster, die in der gewählten Clustergruppe enthalten sind, zu einem Kandidaten-Erzeugungsteil 42 überführt. Inferierte körperliche Objekte, die keine Entsprechung mit den gegenwärtigen Clustern haben, können aus dem Speicher 49 gelöscht werden, weil diese körperlichen Objekte nicht länger in dem aufgenommenen Bild erscheinen. Der Prozess beginnt von den Clustergruppen und den inferierten körperlichen Objekten, deren Abstand von dem Fahrzeug am kürzesten ist, weil körperliche Objekte nahe dem Fahrzeug mit der höchsten Priorität erkannt werden müssen.
Im Hinblick auf jeweilige Abstände der Cluster und der inferierten körperlichen Objekte von dem Fahrzeug können die Abstände an jeweiligen Mittelpositionen dieser Cluster und inferierter körperlicher Objekte benutzt werden. Alternativ können Werte, erhalten durch Mittelwertbildung der gemessenen Abstände von clusterbildenden Fenstern, als die jeweiligen Abstände der jeweiligen Cluster benutzt werden. Die in der obigen Tabelle 1 gezeigten Werte können als die Schwellenwerte für die Abstandsdifferenz benutzt werden, oder es können andere Schwellenwerte benutzt werden. Die Überlappungsbewertung kann leicht durchgeführt werden, indem man die Cluster und die zu vergleichenden inferierten körperlichen Objekte auf die x-y-Ebene projiziert, um hierdurch die Überlappung in den horizontalen und vertikalen Positionen zu bestimmen. In den inferierten körperlichen Objekten braucht kein vollständiges Cluster enthalten sein.
In dem in 12 gezeigten Beispiel wird angenommen, dass die Fahrzeuge 91 und 92 und ein Verkehrszeichen 93, wie in 12(d) gezeigt, tatsächlich im Wesentlichen den gleichen Abstand von dem Fahrzeug haben. 12(e) zeigt die Cluster C21 bis C31 gemäß Bestimmung durch das Clusterbildungsteil 33 auf der Basis des in 12(d) aufgenommenen Bilds.
Eine einzelne Clustergruppe 72, die die Cluster C21 bis C31 aufweist, wird durch das Clusterbildungsteil 36 bestimmt.
Das Clusterwählteil 41 wählt Clustergruppen, die nächst dem Fahrzeug befindliche Cluster enthalten. Da in diesem Beispiel nur eine einzelne Clustergruppe vorhanden ist, wird die Clustergruppe 72 gewählt. Dann werden die Abstände und Positionen der die Clustergruppe 72 bildenden Cluster aus dem Clusterspeicher 48 gelesen. Die Abstände und Positionen der inferierten körperlichen Objekte 75 und 76 werden aus dem inferiertes-körperliches-Objekt-Speicher 49 gelesen. Es sind zwei inferierte körperliche Objekte vorhanden (das sind die inferierten körperlichen Objekte 75 und 76), die eine Überlappung in den horizontalen und vertikalen Positionen zeigen und einen Abstand von dem Fahrzeug haben, dessen Differenz von den Clustern der Clustergruppe 72 kleiner ist als der Schwellenwert. Wenn man annimmt, dass das inferierte körperliche Objekt 75 dem Fahrzeug näher ist als das inferierte körperliche Objekt 76, wird das inferierte körperliche Objekt 75 gewählt. Dann werden unter den Clustern der Clustergruppe 72 die Cluster C22 bis C26 gewählt, die mit dem inferierten körperlichen Objekt 75 überlappen. Somit werden die den inferierten körperlichen Objekten entsprechenden Cluster als eine Gruppe gewählt.
Kombinierte Cluster
Das Kandidaten-Erzeugungsteil 42 prüft alle möglichen Kombinationen der von dem Clusterwählteil 41 gewählten Cluster und bestimmt eine Kombination von Clustern als Kandidaten für ein körperliches Objekt. Die Kombinationen können eine Kombination mit einem einzelnen Cluster enthalten. 13 zeigt in einer Tabelle alle möglichen Kombinationen der Cluster C22 bis C26, die für das inferierte körperliche Objekt 75 in 12(e) gewählt sind. Beispielsweise wird im kombinierten Cluster Nr. 10 in 13 eine Kombination der Cluster C23 und C24 angezeigt. Hier ist es bevorzugt, dass das minimale rechtwinklige Parallelepiped, das alle kombinierte Cluster bildenden Cluster enthält, bestimmt wird, und dass das kombinierte Cluster durch dieses rechtwinklige Parallelepiped angenähert wird. Auf diese Weise können die Attribute kombinierter Cluster (Abstand, Position, Größe etc.) leicht bestimmt werden.
Nachdem die kombinierten Cluster, welche Kandidaten für ein körperliches Objekt darstellen, durch das Kandidaten-Erzeugungsteil 42 erzeugt wurden, geht der Prozess über ein Bewertungsteil 37 zu einem ersten Erkennungsteil 43 weiter, wenn kombinierte Cluster ein entsprechendes inferiertes körperliches Objekt haben, und der Prozess geht über das Bewertungsteil 37 zu einem zweiten Erkennungsteil 44 weiter, wenn kombinierte Cluster kein entsprechendes inferiertes körperliches Objekt haben.
Das Bewertungsteil 37 in 1 bestimmt, ob das Bildobjekt der Cluster ein körperliches Objekt ist oder nicht, auf der Basis der Höhe oder Dicke der kombinierten Cluster, die von dem Kandidaten-Erzeugungsteil 42 erzeugt sind. Die Höhe und Dicke der kombinierten Cluster werden in dem Clusterspeicher 48 gespeichert. Wenn zum Beispiel das zu erfassende Objekt ein Fahrzeug ist, wäre ein entsprechendes kombiniertes Cluster bei einem gegebenen Abstand von der geschätzten Straßenfläche 90 cm hoch, und die Differenz zwischen der Oberseite und der Unterseite des kombinierten Clusters wäre 80 cm oder weniger. Daher wird bestimmt, dass kombinierte Cluster, deren Höhe von der Straßenoberfläche zur Oberseite 70 cm oder weniger ist, kein Fahrzeug sind. Durch diese Schwellenwerte für die Höhe und Dicke können zur Straßenoberfläche gehörende kombinierte Cluster gelöscht werden, so dass sie nicht irrtümlich als körperliches Objekt bestimmt werden.
Objekterkennung

Das erste Erkennungsteil 43 vergleicht nacheinander die Attribute der kombinierten Cluster, die entsprechende inferierte körperliche Objekte haben, mit den Attributen der inferierten körperlichen Objekte. Das Erkennungsteil 43 erkennt die kombinierten Cluster, die den Attributen der inferierten körperlichen Objekte nächstliegende Attribute haben, als körperliche Objekte. Hier sind die benutzten Attribute Abstand, Horizontalposition, Vertikalposition, Breite und Höhe, und der Vergleich der Attribute erfolgt mittels der folgenden Gleichung (4). Die Bedeutungen der Variablen in Gleichung (4) sind in Tabelle 3 gezeigt.

E1 = √(Xc –Xt)² + (Yc – Yt)² + (Zc – Zt)²/C·Zt + |Wc – Wt| + |Hc – Ht| (4)

Tabelle 3

E1	Funktioneller Wert, der die Differenz der Attribute zwischen kombinierten Clustern und einem inferierten körperlichen Objekt ausdrückt
Xc	x-Koordinate der horizontalen Mittelposition kombinierter Cluster
Yc	y-Koordinate der vertikalen Mittelposition kombinierter Cluster
Zc	z-Koordinate, die den Abstand kombinierter Cluster angibt
Wc	Breite kombinierter Cluster
Hc	Höhe kombinierter Cluster
Xt	x-Koordinate der horizontalen Mittelposition eines inferierten körperlichen Objekts
Yt	y-Koordinate der vertikalen Mittelposition eines inferierten körperlichen Objekts
Zt	z-Koordinate, die den Abstand von einem inferierten körperlichen Objekt angibt
Wt	Breite eines inferierten körperlichen Objekts
Ht	Höhe eines inferierten körperlichen Objekts
C	Konstante

Gleichung (4) drückt die Differenzen zwischen kombinierten Clustern und einem inferierten körperlichen Objekt als Funktion der Differenz der Mittelposition kombinierter Cluster und eines inferierten körperlichen Objekts und als Differenz der Breite und Höhe kombinierter Cluster und eines inferierten körperlichen Objekts aus. Der Abstand (Z-Wert) hat eine Toleranz entsprechend dem Abstandswert und wird um einen Wert proportional zum Abstand Zt des inferierten körperlichen Objekts korrigiert.
In dem in 13 gezeigten Beispiel werden funktionelle Werte E1 (e01, e02, ... e31) für alle kombinierten Cluster 1 bis 31 entsprechend dem inferierten körperlichen Objekt 75 berechnet. Ein verknüpftes Cluster 31 mit dem kleinsten funktionellen Wert E1 wird als das körperliche Objekt 78 erkannt (12(f)). Ein verknüpftes Cluster 31 mit dem kleinsten E1 passt am besten zu Position und Größe des inferierten körperlichen Objekts 75.
Wenn zum Beispiel ein bestimmtes Cluster mit einer Mehrzahl inferierter körperlicher Objekte überlappt und somit nur Sektionen der inferierten körperlichen Objekte darstellt, kann ein solches Cluster aus kombinierten Clustern ausgeschlossen werden. Die Cluster C22 bis C26 und das inferierte körperliche Objekt 75 werden in dem Clusterspeicher 48 gespeichert bzw. in dem geschätztes-körperliches-Objekt-Speicher 49, und es wird ein ”Prozess zu Ende”-Flag gesetzt.
Der vom Clustergruppierungsteil 36, Clusterwählteil 41, Kandidaten-Erzeugungsteil 42 und ersten und zweiten Erkennungsteil 43 und 44 durchgeführte Prozess wird wiederholt, bis alle Cluster bearbeitet sind und die ”Prozess zu Ende”-Flags gesetzt sind. Insbesondere prüft das Clustergruppierungsteil 36 die ”Prozess zu Ende”-Flags der in dem Clusterspeicher 48 gespeicherten Cluster, und wenn alle Cluster die ”Prozess zu Ende”-Flags haben, endet der Prozess. Alternativ wäre es auch möglich, das System so anzuordnen, dass eine Obergrenze (z. B. 4) vorab als die Anzahl von als körperliche Objekte zu erkennenden Objekten gesetzt wird, und die Wiederholung des Erkennungsprozesses endet, wenn die Anzahl der erkannten körperlichen Objekte diese Zahl erreicht.
Wie oben zu 12(f) angemerkt, prüft, nachdem das körperliche Objekt 78 erkannt wurde, das Clustergruppierungsteil 36 die ”Prozess zu Ende”-Flags der in dem Clusterspeicher 48 gespeicherten Cluster und holt Cluster C21 und Cluster C27 bis C31, für die noch keine ”Prozess zu Ende”-Flags gesetzt wurden. Das Clustergruppierungsteil 36 prüft die ”Prozess zu Ende”-Flags der inferierten körperlichen Objekte, die in dem inferierten-körperlichen-Objekt-Speicher 49 gespeichert sind und extrahiert die inferierten körperlichen Objekte 76, für die kein ”Prozess zu Ende”-Flag gesetzt wurde.
Da die Differenz der Horizontalpositionen der Cluster C21 und jene der Cluster C27 bis C31 den Schwellenwert überschreitet, erzeugt das Clustergruppierungsteil 36 zwei verschiedene Clustergruppen. Wenn man annimmt, dass die aus den Clustern C27 bis C31 gebildete Clustergruppe dem Fahrzeug näher ist, wählt das Clusterwählteil 41 zuerst die aus den Clustern C27 bis C31 bestehende Clustergruppe, und wählt das inferierte körperliche Objekt 76, dessen Abstand von dem Fahrzeug im Wesentlichen gleich dem der Clustergruppe C27 bis C31 ist. ”Im Wesentlichen gleich” bedeutet, dass die Abstandsdifferenz kleiner ist als der Schwellenwert. Anzumerken ist, dass das inferierte körperliche Objekt 76 teilweise in der horizontalen und vertikalen Position mit der Clustergruppe C27 bis C31 überlappt. Die Cluster C27 bis C31, die mit dem inferierten körperlichen Objekt 76 überlappen, werden unter den die Clustergruppe bildenden Clustern gewählt.
Das Kandidaten-Erzeugungsteil 42 bestimmt kombinierte Cluster aus Kombinationen der Cluster C27 bis C31. Das erste Erkennungsteil 43 vergleicht die Attribute der jeweiligen kombinierten Cluster mit den Attributen des inferierten körperlichen Objekts 76. Im Ergebnis wird das aus den Clustern C27 bis C31 bestehende kombinierte Cluster als dasjenige bestimmt, das Attribute hat, die denen des inferierten körperlichen Objekts 76 am nächsten kommen, so dass das aus den Clustern C27 bis C31 bestehende kombinierte Cluster als körperliches Objekt 79 erkannt wird (12(f)). Die Cluster C27 bis C31, die als körperliches Objekt erkannt wurden, und das entsprechende inferierte körperliche Objekt 76 werden mit ”Prozess zu Ende”-Flags in dem Clusterspeicher 48 bzw. dem inferiertes-körperliches-Objekt-Speicher 49 gespeichert.
Dann holt das Clustergruppierungsteil 36 aus dem Clusterspeicher 48 das Cluster C21, für das kein ”Prozess zu Ende”-Flag gesetzt wurde. Da dies ein einzelnes Cluster ist, wird das Cluster C21 als Clustergruppe behandelt. In diesem Beispiel wurden alle inferierten körperlichen Objekte so bearbeitet, dass kein entsprechendes inferiertes körperliches Objekt verglichen werden muß. Dementsprechend wählt das Clusterwählteil 41 das Cluster C21 und überführt dieses zum Kandidaten-Erzeugungsteil 42. Das Kandidaten-Erzeugungsteil 42 bestimmt kombinierte Cluster aus Kombinationen aller in einer Clustergruppe enthaltener Cluster. Da das Cluster C21 ein Einzelcluster ist, wird C21 als kombiniertes Cluster behandelt. Das aus dem Cluster C21 bestehende kombinierte Cluster wird über das Bewertungsteil 37 von dem zweiten Erkennungsteil 44 bearbeitet.
Die körperliche Objekte repräsentierenden Cluster werden somit in Gruppen betrachtet. Daher beginnt die Wiederholung des Prozesses mit der Bestimmung von Clustergruppen. Wie oben beschrieben, werden die Abstände und Positionen inferierter körperlicher Objekte auf der Basis der Relativgeschwindigkeit bestimmt. Entsprechend enthalten die benutzten Werte einen bestimmten Toleranzbetrag. Wenn Cluster, die mit inferierten körperlichen Objekten überlappen, ohne die Bestimmung von Clustergruppen extrahiert werden, können Cluster, deren Horizontalpositionen weit voneinander entfernt sind, kombiniert werden und irrtümlich als ein körperliches Objekt erkannt werden.
Das zweite Erkennungsteil 44 erhält kombinierte Cluster aus dem Kandidaten-Erzeugungsteil 42, die ein oder mehrere Cluster aufweisen, die kein entsprechendes inferiertes körperliches Objekt haben, und vergleicht deren Attribute mit den Attributen vorbestimmter körperlicher Objekte, die erfasst werden sollen. Das Erkennungsteil 44 erkennt, dass eines der vorbestimmten körperlichen Objekte, das die kleinste Differenz der Attribute hat, als das körperliche Objekt, das den kombinierten Clustern entspricht. Auch die Verwendung von Schwellenwerten ist zur Bestimmung möglich, dass das vorbestimmte körperliche Objekt, dessen Attribute sich nur gering unterscheiden, so dass die Differenz kleiner als der Schwellenwert ist, das körperliche Objekt darstellt. Dieser Vergleich mit vorbestimmten körperlichen Objekten wird für alle kombinierten Cluster durchgeführt.

Die Attribute der vorbestimmten körperlichen Objekte sind vorbestimmt und in einem körperliches-Objekt-Speicher 50 gespeichert. Wenn beispielsweise die zu erfassenden Objekte Fahrzeuge umfassen, werden die Attribute verschiedener Fahrzeugtypen gespeichert, und wenn die zu erfassenden Objekte Verkehrszeichen umfassen, werden die Attribute verschiedener Typen von Verkehrszeichen gespeichert. In dieser Ausführung werden die Breite und Höhe als die Attribute benutzt, die verglichen werden. Abstand, Horizontalposition und Vertikalposition werden nicht verglichen. Zum Vergleich der Attribute wird die unten gezeigte Gleichung (5) benutzt. Die Bedeutung der Variablen in Gleichung (5) ist in Tabelle 4 gezeigt. Gleichung (5) drückt die Differenz der Attribute kombinierter Cluster und eines vorbestimmten Objekts auf der Basis der Differenz von Breite und Höhe kombinierter Cluster und eines vorbestimmten Objekts aus.

E2 = |Wc – Wt| + |Hc – Ht| (5)

Tabelle 4

E2	Funktioneller Wert, der die Differenz in den Attributen kombinierter Cluster und eines vorbestimmten körperlichen Objekts ausdrückt
Wc	Breite kombinierter Cluster
Hc	Höhe kombinierter Cluster
Wt	Breite eines vorbestimmten körperlichen Objekts
Ht	Höhe eines vorbestimmten körperlichen Objekts

In dem in 12 gezeigten Beispiel vergleicht, wie oben beschrieben, das zweite Erkennungsteil 44 die Attribute des kombinierten Clusters, das aus dem vom Kandidaten-Erzeugungsteil 42 extrahierten Cluster C21 besteht, mit den Attributen verschiedener vorbestimmter körperlicher Objekte, die erfasst wrden sollen, und bestimmt das zu erfassende vorbestimmte Objekt, das den kleinsten funktionellen Wert E2 hat. Daher wird das Cluster C21 als körperliches Objekt 77 erkannt (12(f)).
Da die Information, die vorbestimmte körperliche Objekte betrifft, zur Erkennung gegenwärtiger körperlicher Objekte benutzt wird, kann eine fehlerhafte Erkennung zweier körperlicher Objekte als einzelnes körperliches Objekt auch dann vermieden werden, wenn ein vorausfahrendes Fahrzeug in der Nähe eines straßenseitigen Objekts, wie etwa eines Verkehrszeichens, vorhanden ist oder wenn ein Fahrzeug in einer benachbarten Fahrspur sich dem vorausfahrenden Fahrzeug annähert.
Die ersten und zweiten körperliches-Objekt-Erkennungsteile 43 und 44 speichern die Attribute gegenwärtig erkannter körperlicher Objekte in dem körperliches-Objekt-Speicher 39. Die Attribute früher erkannter körperlicher Objekte werden ebenfalls in dem körperliches-Objekt-Speicher 39 gespeichert. Die ersten und zweiten körperliches-Objekt-Erkennungsteile 43 und 44 berechnen die Relativgeschwindigkeit des Fahrzeugs in Bezug auf körperliche Objekte auf der Basis eines aus der Berechnungsformel bestimmten Werts: (Gegenwärtiger Abstand – vorheriger Abstand)/Erfassungszeitintervall.
Die so berechnete Relativgeschwindigkeit wird in dem körperliches-Objekt-Speicher 39 gespeichert. Wie oben beschrieben, ist das Erfassungszeitintervail die Zeitdifferenz zwischen der vorherigen Messung und der gegenwärtigen Messung und kann beispielsweise auf 100 Millisekunden gesetzt sein.
Die Fahrzeugsteuereinrichtung 45 steuert das das System tragende Fahrzeug auf der Basis der Information, wie etwa Abstand, Position und Relativgeschwindigkeit der körperlichen Objekte, die in dem körperliches-Objekt-Speicher 39 gespeichert sind, und auf der Basis der Information von Vorrichtungen, wie etwa einer Fahrgeschwindigkeits-Erfassungsvorrichtung 46 und einer Gierraten-Erfassungsvorrichtung 47, so dass der Abstand zu den körperlichen Objekten auf einem geeigneten Wert gehalten wird. Beispielsweise gibt die Fahrzeugsteuereinrichtung 45 an den Fahrer eine Warnung aus, etwa mittels einer Sprachmitteilung oder eines Alarmtons. Die Steuereinrichtung kann auch die Geschwindigkeit des Fahrzeugs durch aktive Verzögerung oder Beschleunigung regeln.
Um die Erkennung körperlicher Objekte zu gewährleisten, erfolgt bevorzugt eine Bewertung durch die ersten und zweiten körperliches-Objekt-Erkennungsteile 43 und 44 dahingehend, ob zuvor erkannte Objekte und gegenwärtig erkannte Objekte dieselben Objekte sind, und die Fahrzeugsteuereinrichtung 45 reagiert, wenn eine vorbestimmte Anzahl von Malen dasselbe Objekt fortlaufend erkannt wird.
Das Korrelations-Berechnungsteil 6, das Abstandmessteil 7, der Abstandsspeicher 8, das Fensterausschneideteil 13, der Abstandbereichsspeicher 9, das Clusterbildungsteil 33, das Clustergruppierungsteil 36, der Clusterspeicher 48, das Bewertungsteil 37, der körperliches-Objekt-Speicher 39, das körperliches-Objekt-Inferierteil 40, das Clusterwählteil 41, das Kandidaten-Erzeugungsteil 42, die erstes- und zweites-körperliches-Objekt-Erkennungsteile 43 und 44, der inferiertes-körperliches-Objekt-Speicher 49, der Objektspeicher 50 und die Fahrzeugsteuereinrichtung 55 können durch eine Mikrosteuereinrichtung implementiert sein, die typischerweise eine zentrale Prozessoreinheit (CPU), einen NUR-Lesespeicher (ROM), der Steuerprogramme und Daten enthält, sowie einen Speicher mit wahlfreiem Zugriff (RAM) enthält, der eine Arbeitsebene für die CPU bildet und verschiedene Daten vorübergehend speichert. Anders gesagt, implementieren in dem ROM gespeicherte Computerprogramme die oben beschriebenen Funktionen der in 1 gezeigten Funktionsblöcke.
Der Abstandsspeicher 8, der Abstandsbereichsspeicher 9, der Clusterspeicher 48, der inferiertes-körperliches-Objekt-Speicher 49, der körperliches-Objekt-Speicher 39 und der Objektspeicher 5 können durch verschiedene Speicherbereiche eines einzelnen RAM realisiert werden. Vorübergehende Speicherbereiche für Daten, die in verschiedenen Operationstypen erforderlich sind, können auch durch Sektionen desselben RAM gebildet sein.
Die erfindungsgemäße Objekterkennungsvorrichtung kann durch ein lokales Funknetzwerk (LAN) mit einer elektronischen Motorsteuereinheit (ECU), einer Bremssteuerungseinheit ECU oder einer anderen ECU verbunden sein, und die Ausgabe von dieser Objekterkennungsvorrichtung kann zur Gesamtsteuerung des Fahrzeugs benutzt werden.
Erfindungsgemäß erfolgt die Clusterbildung nicht auf der Basis der gemessenen Abstände von Fenstern, sondern auf der Basis von Kennungen, die den Abstandsbereichen entsprechen, zu denen diese gemessenen Abstände gehören. Daher ist eine Hochgeschwindigkeitsclusterbildung möglich. Die Abstandsbereiche werden entsprechend den Toleranzen in den gemessenen Abständen gesetzt. Daher ist eine genaue Clusterbildung möglich.
Ein erfindungsgemässes Objekterkennungssystem umfasst einen Speicher 8 zum Speichern einer Mehrzahl von Abstandsbereichen mit verschiedenen Abstandskennungen, die den jeweiligen Abstandsbereichen zugeordnet sind. Die Steuereinrichtung wandelt gemessene Abstandswerte in Abstandskennungen entsprechend den Abstandsbereichen, zu denen die Abstandswerte gehören. Die Steuereinrichtung gruppiert die Sektionen oder Fenster W eines aufgenommenen Bilds auf der Basis zugeordneter Abstandskennungen. Eine Erfassungs- oder eine Blickfläche der Sensoren 3, 3' ist in einer Mehrzahl von Abstandsbereichen entsprechend der Toleranz des gemessenen Abstands unterteilt, so dass ein breiterer Abstandsbereich definiert wird, wenn der Abstand von dem System größer wird. Die Steuereinrichtung tastet die Fenster mit Abstandskennungen unter Verwendung einer Schablone ab, die eine Verknüpfungsbeziehung für die Fenster definiert, und ordnet jedem Fenster eine Clustererkennung zu, die eine Kombination der Abstandskennung und eines Häufigkeitsindex ist, der für die Fenster die gleiche ist, die der Verknüpfungsbeziehung entsprechen. Die Steuereinrichtung vereinigt die Fenster mit denselben Clustererkennungen zu einem Cluster, erzeugt dreidimensionale Daten jedes der Cluster und kombiniert die Cluster, die einander eng benachbart sind, auf der Basis der dreidimensionalen Daten unter Bildung eines Kandidaten eines körperlichen Objekts. Das System enthält einen Speicher zum Speichern dreidimensionaler Daten von einem oder mehreren körperlichen Objekten, die im vorherigen Erkennungszyklus erkannt wurden. Die Steuereinrichtung inferiert ein körperliches Objekt, das im gegenwärtigen Zyklus erkannt wurde, auf der Basis der gespeicherten Daten und einer Geschwindigkeit des Fahrzeugs relativ zum körperlichen Objekt. Die Steuereinrichtung vergleicht das inferierte körperliche Objekt mit dem Kandidaten eines körperlichen Objekts zur Erkennung eines körperlichen Objekts.

Claims

An einem Fahrzeug anbringbares Objekterkennungssystem mit mehreren Bildsensoren (3, 3', 53), einer Steuereinrichtung, die Abstände (d) von dem Fahrzeug zu Objekten (54) in Bezug auf jeweilige Sektionen (W) in von den jeweiligen Bildsensoren (3, 3', 53) aufgenommenen Bildern misst, und einem Speicher (8) zum Speichern einer Mehrzahl von Abstandsbereichen (S1, S2 ...), wobei die Steuereinrichtung den Sektionen (W) jeweils entsprechend den Abstandsbereichen (S1, S2 ...), zu denen die gemessenen Abstände (d) gehören, Abstandskennungen (1, 2 ...) zuordnet, dadurch gekennzeichnet, dass Erfassungsflächen (100) der Sensoren (3, 3', 53) entsprechend der Präzision der gemessenen Abstände (d) in eine Mehrzahl von in Fahrtrichtung aufeinanderfolgenden Abstandsbereichen (S1, S2 ...) unterteilt sind, wobei mit zunehmenden Abständen (d) von dem Fahrzeug in Fahrtrichtung die Abstandsbereiche (S1, S2 ...) breiter sind.
System nach Anspruch 1, dadurch gekennzeichnet, dass Sektionen (W) mit der gleichen Abstandskennung in ein und demselben Cluster (C1, C2 ...) gruppiert werden.
System nach Anspruch 1, dadurch gekennzeichnet, dass die Steuereinrichtung, die die Abstandskennungen (1, 2 ...) aufweisenden Sektionen (W) unter Verwendung einer Schablone abtastet, die eine Verknüpfungsbeziehung für die Sektionen (W) definiert, und jeder Sektion (W) eine Clusterkennung (1, 2 ...) zuordnet, die eine Kombination der Abstandskennung und eines Häufgkeitsindex ist, wobei der Häufgkeitsindex für diejenigen Sektionen (W), die der Verknüpfungsbeziehung entsprechen, derselbe ist, wobei die Sektionen (W) mit derselben Abstandskennung und demselben Häufigkeitsindex in einem Cluster (C1, C2 ...) vereinigt werden, und wobei die Steuereinrichtung dreidimensionale Information jedes der Cluster auf Basis des Abstands, der Höhe und der Breite der vereinigten Cluster erzeugt, und die Cluster (C1, C2 ...) auf Basis der dreidimensionalen Information in eine oder mehrere Clustergruppen (G1, G2) gruppiert, so dass jede Clustergruppe ein mögliches Objekt (54) repräsentiert.
System nach Anspruch 1, dadurch gekennzeichnet, dass die Steuereinrichtung in einem Speicher (39) dreidimensionale Information von einem oder mehreren Objekten (54), die in einem vorherigen Erkennungszyklus erkannt wurden, speichert und, auf der Basis der gespeicherten Information und einer anhand einer erfassten Fahrgeschwindigkeit ermittelten relativen Geschwindigkeit des Fahrzeugs zu dem Objekt (54), ein im gegenwärtigen Zyklus erkanntes Objekt inferiert.
Verfahren zum Erkennen von Objekten (54) vor einem Fahrzeug, umfassend die Schritte: Definieren einer Mehrzahl von Abstandsbereichen (S1, S2 ...), denen jeweils eine Abstandskennung (1, 2 ...) zugeordnet wird; Aufnehmen eines Bilds in Fahrtrichtung durch eine Mehrzahl von Bildsensoren (3, 3', 53) und Messen von Abständen (d) von dem Fahrzeug zu Objekten (54) in Bezug auf jeweilige Sektionen (W) des Bilds; und Zuordnen der Abstandskennungen (1, 2 ...) zu den Sektionen (W) entsprechend den Abstandsbereichen (S1, S2 ...), zu denen die gemessenen Abstandswerte (d) gehören, dadurch gekennzeichnet, dass Erfassungsflächen (100) der Sensoren (3, 3', 53) entsprechend der Präzision der gemessenen Abstände (d) in eine Mehrzahl von in Fahrtrichtung aufeinanderfolgenden Abstandsbereichen (S1, S2 ...) unterteilt werden, wobei mit zunehmendem Abstand (d) von dem Fahrzeug in Fahrtrichtung die Abstandsbereiche (S1, S2 ...) breiter werden.
Verfahren nach Anspruch 5, gekennzeichnet durch die Schritte: Abtasten der die Abstandskennungen (S1, S2 ...) aufweisenden Sektion (W) unter Verwendung einer Schablone, die eine Verknüpfungsbeziehung für die Sektionen (W) definiert; und Zuordnen einer Clusterkennung, die eine Kombination der Abstandskennung und eines Häufigkeitsindex der Sektionen (W) ist, zu jeder Sektion (W), wobei der Häufigkeitsindex für jene Sektionen, die der Verknüpfungsbeziehung entsprechen, derselbe ist, Erzeugen dreidimensionaler Information für Cluster (C1, C2 ...) auf Basis des Abstands (d) von dem Fahrzeug, der Höhe und der Breite der Cluster, Gruppieren der Cluster (C1, C2 ...), die einander eng benachbart sind, auf Basis der dreidimensionalen Information in eine oder mehrere Clustergruppen (G1, G2 ...), so dass jede Clustergruppe ein mögliches Objekt repräsentiert, Speichern dreidimensionaler Information von einem oder mehreren Objekten (54), die in einem vorherigen Erkennungszyklus erkannt wurden, in einem Speicher (39); und Inferieren eines im gegenwärtigen Zyklus erkannten Objekts auf der Basis der gespeicherten Daten und einer anhand einer erfassten Fahrgeschwindigkeit ermittelten relativen Geschwindigkeit des Fahrzeugs zu dem Objekt.
Verfahren nach Anspruch 6, gekennzeichnet durch: Vereinigen der Sektionen (W) mit denselben Clusterkennungen zu einem Cluster.