DE10115080A1 - Objekterkennungssystem - Google Patents

Abstract

Ein Objekterkennungssystem umfasst wenigstens zwei Bildsensoren und eine Steuer/Regeleinrichtung, welche geeignet ist, den Abstand von dem System zu einem körperlichen Objekt bezüglich jeweiliger Fenster eines durch die Sensoren erfassten Bildes zu messen. Die Steuer/Regeleinrichtung ist weiterhin programmiert, Gruppierungen durch Vereinigen benachbarter Fenster zu bilden, welche ähnliche gemessene Abstände aufweisen. Die Steuer/Regeleinrichtung ist programmiert, auf Grundlage der Attribute der Gruppierung, bspw. der Fläche der Gruppierung, zu beurteilen, ob jede der Gruppierungen gültig oder ungültig ist, und ein Objekt auf Grundlage der als gültig beurteilten Gruppierungen zu erkennen. Die Steuer/Regeleinrichtung erfasst einen beliebigen Fehlerzustand des erfassten Bildes auf Grundlage der Anzahl von als ungültig beurteilten Gruppierungen.

Description

Die vorliegende Erfindung betrifft ein optisches Objekterkennungssystem, welches Objekte vor einem Fahrzeug, wie z. B. ein Automobil usw. durch Verwendung einer Bilderfassungsvorrichtung mit wenigstens zwei an dem Fahrzeug montierten Kameras erfasst. Genauer betrifft die Erfindung ein Objekterkennungssystem, welches Objekte durch Verwendung einer Mehr­ zahl von Fenstern in den erfassten Bildern erkennt.

In den letzten Jahren wurden Vorrichtungen, welche den Abstand und die Größe von Objekten vor einem Fahrzeug bestimmen und welche das Fahr­ zeug nach Maßgabe dieser Bestimmung in geeigneter Weise steuern/regeln, zum Zwecke einer Verbesserung der Sicherheit des Fahrzeugbetriebs vorgeschlagen.

Die offengelegte japanische Patentanmeldung Nr. Hei 9-79821 beschreibt ein Beispiel eines Systems, welches eine optische Abstandsmessvorrich­ tung, umfassend zwei Licht empfangende Elemente verwendet, um zu bestimmen, ob ein Objekt, dessen Abstand erfasst wurde, ein körperliches Objekt oder ein Fahrbahnbereich (einschließlich Buchstaben oder weißer Linien auf der Fahrbahnoberfläche) ist. Das System berechnet Abstände für jeweilige Berechnungsbereiche und erkennt die Bereiche, in welchen Hin­ dernisse vorhanden sind durch Gruppieren von Berechnungsbereichen, deren gegenseitige Abstände sich innerhalb eines festgelegten Bereichs befinden und in der horizontalen Richtung nahe beieinander liegen. Im Falle dieses Gruppierens werden ebenso Berechnungsbereiche gruppiert, deren Abstände nicht gemessen wurden.

Die vom selben Anmelder wie die vorliegende Erfindung angemeldete japanische Patentanmeldung Nr. Hei 11 -169567 (Veröffentlichungsnr.: 2001-004368), welche am 16. Juni 1999 eingereicht wurde und der DE 100 29 423 A1 entspricht, beschreibt ein System, welches in der Lage ist, Objekte schnell zu erkennen, indem es einzelnen Fenstern nach Maßgabe des für die jeweiligen Fenster gemessenen Abstands Abstandskennzeich­ nungen zuweist und die Fenster auf Grundlage der Abstandskennzeichnun­ gen gruppiert. Die Abstandskennzeichnungen sind für Abstandsbereiche vorbestimmt, welche wiederum nach Maßgabe von Fehlern in gemessenen Abständen vorbestimmt sind. Da Fenstern Abstandskennzeichnungen entsprechend den Abstandsbereichen zugeordnet sind, zu welchen die für die jeweiligen Fenster gemessenen Abstände gehören, werden die Fenster, welche das gleiche Objekt repräsentieren exakt gruppiert, was gestattet, dass das Objekt vor dem Fahrzeug mit größerer Genauigkeit erkannt wird.

Objekterkennungssysteme, wie das oben beschriebene, erkennen Objekte jedoch unter Umständen aufgrund von Regentropfen auf der Fahrzeug- Windabschirmung, z. B. der Windschutzscheibe, vor den abbildenden Kame­ ras oder aufgrund von Rauschen in Bildern fehlerhaft. Beim Umgang mit dieser Situation verursachen Versuche, Regentropfen unter Verwendung von Technologien zur Erkennung der Außenumgebung bei schlechtem Wetter vermittels von mit sichtbarem Licht arbeitenden Kameras, Infrarot­ kameras, Regensensoren oder anderen äußeren Sensoren zu erfassen, wie in der offengelegten japanischen Patentanmeldung Nr. 2000-19259 offen­ bart, hohe Kosten.

Andererseits erfordert ein von der Objekterkennung gesondertes Prüfen der Gültigkeit einer Objekterkennung aus erfassten Bildern, um zu verhindern, dass Objekte aufgrund von Regentropfen oder Rauschen fehlerhaft erkannt werden, zusätzliche Verarbeitungszeit und Speicherkapazität.

Es ist somit eine Aufgabe der vorliegenden Erfindung, ein Objekterken­ nungssystem bereitzustellen, welches die Gültigkeit von erfassten Bildern auf Grundlage der für Fenster gemessenen Abstände beurteilt, anstatt gesonderte Sensoren zu verwenden, und welches frei von einer durch Regentropfen oder Rauschen verursachten fehlerhaften Erkennung ist.

Es ist eine weitere Aufgabe der vorliegenden Erfindung, ein Objekterken­ nungssystem bereitzustellen, welches die Gültigkeit einer Objekterkennung während des Prozesses der Objekterkennung beurteilt, was die Anforderun­ gen an Verarbeitungszeit und Speicherkapazität verringert.

Gemäß einem Gesichtspunkt der Erfindung wird ein Objekterkennungs­ system bereitgestellt mit wenigstens zwei Bildsensoren und einer Steuer/­ Regeleinrichtung, welche ausgebildet ist, den Abstand von dem System zu einem Objekt in bezug auf jeweilige Fenster eines durch die Sensoren erfassten Bildes zu messen. Die Steuer/Regeleinrichtung ist programmiert, durch Vereinigung benachbarter Fenster, welche ähnliche gemessene Abstände aufweisen, Gruppierungen zu bilden und auf Grundlage der Attribute der Gruppierung jede Gruppierung dahingehend zu beurteilen, ob sie gültig oder ungültig ist. Die Steuer/Regeleinrichtung ist weiter program­ miert, das körperliche Objekt auf Grundlage der als gültig beurteilten Grup­ pierungen zu erkennen.

Gemäß einem Gesichtspunkt der Erfindung können die Attribute der Grup­ pierung eine Fläche der Gruppierung umfassen. Die Steuer/Regeleinrichtung kann derart programmiert sein, dass sie die Fläche der Gruppierung auf Grundlage der Anzahl von in der Gruppierung enthaltener Fenster und des gemessenen Abstands eines jeden Fensters berechnet. Die Steuer/Regel­ einrichtung kann derart programmiert sein, dass sie die Gruppierung als gültig beurteilt, falls der Bereich größer als ein vorbestimmter Schwellen­ wert ist.

Gemäß einem zweiten Gesichtspunkt der Erfindung können die Attribute der Gruppierung die Anzahl von in der Gruppierung enthaltenen Fenstern umfassen. Die Steuer/Regeleinrichtung kann programmiert sein, zu beur­ teilen, dass die Gruppierung gültig ist, falls die Anzahl von in der Gruppie­ rung enthaltenen Fenstern größer als ein Schwellenwert ist, welcher nach Maßgabe der gemessenen Abstände der in der Gruppierung enthaltenen Fenster vorbestimmt ist.

Gemäß einem Gesichtspunkt der Erfindung, kann die Steuer/Regeleinrich­ tung weiterhin programmiert sein, einen beliebigen Fehlerzustand des erfassten Bildes auf Grundlage der Anzahl von als ungültig beurteilten Gruppierungen zu erfassen.

Gemäß einem weiteren Gesichtspunkt der Erfindung, kann die Steuer/­ Regeleinrichtung weiterhin programmiert sein, einen beliebigen Fehlerzu­ stand des erfassten Bildes auf Grundlage des Verhältnisses der Anzahl von als ungültig beurteilten Gruppierungen zur Gesamtanzahl von in dem erfass­ ten Bild vorhandenen Gruppierungen zu erfassen.

Der Prozess des Erkennens des Objektes oder die Steuerung/Regelung des das System tragenden Fahrzeugs auf Grundlage des erkannten Objektes kann vorteilhafterweise deaktiviert sein, falls die Steuer/Regeleinrichtung beurteilt, dass sich das erfasste Bild im Fehlerzustand befindet.

Gemäß einem weiteren Gesichtspunkt der Erfindung wird ein Verfahren zur Erkennung eines körperlichen Objektes vor einem Fahrzeug bereitgestellt. Das Verfahren umfasst:

• - Erfassen eines Bildes vor dem Fahrzeug;
• - Messen eines Abstandes von dem Fahrzeug zu einem körper­ lichen Objekt in Bezug auf jeweilige Fenster des erfassten Bildes;
• - Vereinigen benachbarter Fenster, welche ähnliche gemessene Abstände aufweisen, um Gruppierungen zu bilden;
• - Beurteilen einer jeden Gruppierung dahingehend, ob sie gültig oder ungültig ist, auf Grundlage der Attribute der Gruppie­ rung; sowie
• - Erkennen des körperlichen Objektes auf Grundlage der als gültig beurteilten Gruppierungen.

Die Attribute der Gruppierung können eine Fläche der Gruppierung um­ fassen. Der Schritt des Beurteilens kann umfassen:

• - Berechnen der Fläche der Gruppierung auf Grundlage der Anzahl von in der Gruppierung enthaltenen Fenstern sowie des gemessenen Abstands eines jeden Fensters, und
• - Beurteilen, dass die Gruppierung gültig ist, falls die Fläche größer als ein vorbestimmter Schwellenwert ist.

Gemäß einem weiteren Gesichtspunkt der Erfindung können die Attribute der Gruppierung die Anzahl von in der Gruppierung enthaltenen Fenster umfassen, und der Schritt des Beurteilens kann umfassen:

• - Beurteilen, dass die Gruppierung gültig ist, falls die Anzahl von in der Gruppierung enthaltenen Fenstern größer ist als ein Schwellenwert, welcher nach Maßgabe der gemessenen Ab­ stände der in der Gruppierung enthaltenen Fenster vorbe­ stimmt ist.

Gemäß einem weiteren Gesichtspunkt der Erfindung kann das Verfahren zur Erkennung eines physikalischen Objekts weiterhin ein Erfassen eines beliebigen Fehlerzustands des erfassten Bildes auf Grundlage der Anzahl von als ungültig beurteilten Gruppierungen umfassen.

Gemäß einem weiteren Gesichtspunkt der Erfindung kann das Verfahren zur Erkennung eines körperlichen Objekts weiterhin ein Erfassen eines beliebigen Fehlerzustandes des erfassten Bildes auf Grundlage des Verhält­ nisses der Anzahl von als ungültig beurteilten Gruppierungen zu der Ge­ samtanzahl von in dem erfassten Bild enthaltenen Gruppierungen umfas­ sen.

Der Schritt des Erkennens oder die Steuerung/Regelung des Fahrzeugs auf Grundlage des erkannten Objekts kann deaktiviert werden, falls beurteilt wird, dass sich das erfasste Bild in dem Fehlerzustand befindet.

Die Steuer/Regeleinrichtung kann umfassen: eine Mikro-Steuer/Regelein­ richtung, welche typischerweise eine Zentraleinheit (CPU = central proces­ sing unit, zentrale Verarbeitungseinheit) oder einen Mikroprozessor, einen Nur-Lesespeicher (ROM = read only memory), umfassend Steuerprogram­ me, welche dann, wenn sie durch den Prozessor ausgeführt werden, jewei­ lige Funktionen ausführen, die im Folgenden erläutert werden sollen. Die Steuer/Regeleinrichtung umfasst weiterhin einen Random-Access-Speicher (RAM = random access memory), welcher einen Arbeitsbereich für die CPU und einen temporären Speicher für verschiedene Daten und Pro­ gramme bereitstellt.

Die Erfindung wird nun in Bezug auf bevorzugte Ausführungsformen mit Bezugnahme auf die beiliegenden Zeichnungen beschrieben werden. Es stellt dar:

Fig. 1 ist ein Blockdiagramm, welches die Gesamtstruktur sowie funktionale Blöcke der Steuer/Regeleinrichtung einer Ausführungsform der vorliegenden Erfindung veranschaulicht.

Fig. 2 ist ein Diagramm, welches ein Messprinzip durch das Trian­ gulationsverfahren veranschaulicht.

Fig. 3 (a) ist ein Diagramm, welches das erfasste Bild zeigt, und

Fig. 3 (b) zeigt das zum Zwecke einer Beurteilung von Abständen und Fahrbahnbereichen in kleine Bereiche (Fenster) unterteilte Bild gemäß einer Ausführungsform der vorliegenden Erfindung.

Fig. 4 (a) ist ein Diagramm, welches die Unterteilung eines Erfas­ sungsbereichs zeigt, und

Fig. 4 (b) zeigt das Einstellen von Abstandsbereichen und Ab­ standsniveaus in einer Ausführungsform der vorliegenden Erfindung.

Fig. 5 ist eine Tabelle, welche die Unterteilung von Abständen unter Berücksichtigung von Fehlern der gemessenen Abstände in einer Ausführungsform der vorliegenden Erfindung zeigt.

Fig. 6 ist ein Diagramm, welches ein Gruppierungsschema gemäß einer Ausführungsform der vorliegenden Erfindung veranschaulicht.

Fig. 7 ist ein Diagramm, welches eine Schablone und ein Verfahren zur Bestimmung von Gruppierungskennzeichnungen veranschaulicht, welche in einer Ausführungsform der vorliegenden Erfindung verwendet werden.

Fig. 8 (a) und 8 (b) sind Diagramme, welche ein Verfahren der Bestimmung der horizontalen Länge und der vertikalen Länge eines erfass­ ten Objekts in einer Ausführungsform der vorliegenden Erfindung veran­ schaulichen.

Fig. 9 ist ein Diagramm, welches Veränderungen der Anzahl von ungültigen Gruppierungen in Abhängigkeit von Regenniederschlag in einer Ausführungsform der vorliegenden Erfindung zeigt.

Fig. 10 (a) bis 10 (c) sind Diagramme, welche ein Verfahren des Erkennens von Objekten im vorhergehenden Zyklus in einer Ausführungs­ form der vorliegenden Erfindung veranschaulichen, wobei Fig. 10 (a) ein erfasstes Bild zeigt Fig. 10 (b) Gruppierungen auf Grundlage des erfass­ ten Bilds zeigt, und Fig. 10 (c) erkannte körperliche Objekte zeigt.

Fig. 10 (d) bis 10 (f) sind Diagramme, welche ein Verfahren des Erkennens von Objekten im aktuellen Zyklus in einer Ausführungsform der vorliegenden Erfindung veranschaulichen, wobei Fig. 10 (d) ein erfasstes Bild zeigt, Fig. 10 (e) Gruppierungen auf Grundlage des erfassten Bildes zeigt und Fig. 10 (f) erkannte körperliche Objekte zeigt.

Fig. 11 ist eine Tabelle, welche Kombinationen von Gruppierungen in einer Ausführungsform der vorliegenden Erfindung zeigt.

Fig. 1 ist ein Gesamtblockdiagramm eines Objekterkennungssystems gemäß einer Ausführungsform der vorliegenden Erfindung. Im Gegensatz zu den Sensoren 3 und 3' können alle Blöcke in Fig. 1 in einer Steuer/Regel­ einrichtung eingebaut sein, welche eine halbleiter-integrierte Schaltung auf einem einzelnen Chip oder auf mehreren Chips umfasst. Somit zeigt Fig. 1 funktionale Blöcke der Steuer/Regeleinrichtung. Jeweilige Funktionen der Blöcke werden durch Ausführung jeweiliger im ROM der Steuer/Regelein­ richtung gespeicherter Programme durchgeführt.

Ein Verfahren der Erkennung von Objekten gemäß einer Ausführungsform umfasst eine Berechnung gemessener Abstände, eine Umwandlung der gemessenen Abstände in Abstandskennzeichnungen, eine Gruppierung von Fenstern, eine Beurteilung der Gültigkeit einer jeden Gruppierung, eine Erfassung eines Fehlerzustands sowie ein Erkennen von Objekten.

Im Prozess der Berechnung gemessener Abstände schneidet ein Fenster­ ausschnittsteil 13 Fenster aus dem von Bildsensoren 3 und 3' erfassten und in Bildspeichern 5 und 5' gespeicherten Bild aus. Dann berechnet ein Korrelationsberechnungsteil 6 und ein Abstandsberechnungsteil 7 gemes­ sene Abstände für einzelne Fenster. In dem Prozess der Umwandlung der gemessenen Abstände in Abstandskennzeichnungen weist ein Abstands­ wandler 10 den Fenstern Abstandskennzeichnungen nach Maßgabe der für jeweilige Fenster berechneten gemessenen Abstände zu. In dem Prozess der Gruppierung von Fenstern gruppiert ein Gruppierungsteil 11 die Fenster gemäß der zugewiesenen Abstandskennzeichnungen, um Gruppierungen zu bilden.

In dem Prozess der Beurteilung der Gültigkeit einer jeden Gruppierung beurteilt ein Gruppierungsbeurteilungsteil 12, ob jede gebildete Gruppierung gültig oder ungültig ist, nach Maßgabe ihrer Attribute. Im Prozess der Erfassung eines Fehlerzustands erfasst ein Fehlerdetektor 14 einen beliebi­ gen Fehlerzustand des erfassten Bildes auf Grundlage der als ungültig beurteilten Gruppierungen. In dem Prozess der Erkennung von Objekten durchlaufen ein Gruppierungsauswahlteil 21, ein Kandidatenerzeugungsteil 22, ein körperliches-Objekt-Erkennungsteil 23 sowie ein körperliches-Ob­ jekt-Folgerungsteil 31 eine Objekterkennungssequenz unter Verwendung von Information über die in der Vergangenheit erkannten Objekte.

Eine Fahrzeugsteuer/-regeleinrichtung 45 steuert/regelt das Fahrzeug auf Grundlage der Ergebnisse der Objekterkennungssequenz. Falls ein Fehler­ zustand durch den Fehlerdetektor 14 erfasst ist, macht die Fahrzeugsteu­ er/-regeleinrichtung 45 die Ergebnisse der Objekterkennungssequenz ungül­ tig und deaktiviert die Fahrzeugsteuerung/-regelung, welche auf diesen Ergebnissen basiert. Jeder der Prozesse wird im Folgenden mit Bezug­ nahme auf die Zeichnungen ausführlich beschrieben werden:

Berechnung eines gemessenen Abstandes

Fig. 2 ist ein Diagramm, welches das in der vorliegenden Ausführungs­ form verwendete, auf dem Triangulationsverfahren basierende Abstands­ messprinzip darstellt. Als erstes wird ein Abstandsmessverfahren unter Verwendung eines Paars von Bildsensoren mit Bezugnahme auf Fig. 2 erläutert werden. Ein Liniensensor 21 und eine Linse 23, welche einen aus dem oben erwähnten Paar von Bildsensoren bilden, sind bei einem be­ stimmten Abstand, d. h. bei einem Abstand, welcher gleich der Basislinien­ länge B in der horizontalen oder vertikalen Richtung vom Liniensensor 22 und von der Linse 24 eingebaut, welche den anderen Bildsensor des Paars bilden. Die Liniensensoren 21 und 22 sind typischerweise eindimensionale CCDs, können jedoch ebenso linear angeordnete Fotosensorfelder sein. Zieht man eine Verwendung bei Nacht in Betracht, so sind Infrarotlicht verwendende Bildsensoren zu bevorzugen. In diesem Falle ist es bevorzugt, Infrarot-transparente Filter vor den Linsen 23 und 24 einzubauen und das System derart aufzubauen, dass ein Objekt 20 in vorbestimmten Zeitinter­ vallen unter Verwendung einer Infrarotlichtquelle beleuchtet wird. Von dem Objekt 20 reflektiertes Infrarotlicht wird von den Liniensensoren 21 und 22 erfühlt bzw. erfasst.

Die Liniensensoren 21 und 22 sind jeweils bei den Brennweiten "f" der Linsen 23 und 24 angeordnet. Angenommen, ein Bild eines Objekts, wel­ ches bei Abstand "a" von der Ebene der Linsen 23 und 24 gelegen ist, ist im Falle des Liniensensors 21 an einer um einen Abstand X1 von der optischen Achse der Linse 23 verschobenen Position gebildet, und ist im Falle des Liniensensors 22 bei einer um einen Abstand X2 von der opti­ schen Achse der Linse 24 verschobenen Position gebildet, dann ist der Abstand "a" zum Objekt 20 von der Ebene der Linsen 23 und 24 gemäß dem Triangulationsprinzip durch folgende Gleichung bestimmt:

a = B.f/(X1 + X2).

In der vorliegenden Ausführungsform sind die Bilder digitalisiert. Dement­ sprechend wird der Abstand (X1 + X2) digital berechnet. Die Summe der Absolutwerte der Unterschiede zwischen den digitalen Werten, welche die Helligkeit der entsprechenden Pixel sowohl von dem vom Liniensensor 21 erhaltenen Bild als auch von dem vom Liniensensor 22 erhaltenen Bild anzeigen, wird bestimmt, während eines von diesen Bildern oder beide Bilder verschoben werden. Diese Summe wird als ein Korrelationswert genommen. Der Verschiebungsbetrag der Bilder zeigt dann, wenn dieser Korrelationswert bei einem Minimum ist, die Positionsabweichung zwischen den beiden Bildern an, d. h. (X1 + X2). Idealisiert ausgedrückt: Der Ab­ stand, welchen die zwei von den Liniensensoren 21 und 22 erhaltenen Bilder bewegt werden müssen, um zu veranlassen, dass sich diese Bilder wie in Fig. 2 gezeigt überlappen, beträgt (X1 + X2).

Hier wurden der Einfachheit halber die Bildsensoren als eindimensionale Liniensensoren 21 und 22 beschrieben. In einer Ausführungsform der vorliegenden Erfindung jedoch, wie später erläutert werden wird, werden zweidimensionale CCDs oder zweidimensionale Fotosensorfelder als Bild­ sensoren verwendet. In diesem Falle werden die gleichen Korrelations­ berechnungen wie die oben beschriebenen durch relatives Verschieben der von den beiden Bildsensoren erhaltenen zweidimensionalen Bilder durch­ geführt. Der Verschiebungsbetrag an dem Punkt, an welchem der Korrela­ tionswert ein Minimum erreicht, entspricht (X1 + X2).

Der in Fig. 1 gezeigte Bildsensor 3 entspricht einem der Bildsensoren in Fig. 2, bestehend aus der Linse 23 und dem Liniensensor 21, und der Bildsensor 3' entspricht dem anderen Bildsensor in Fig. 2, bestehend aus der Linse 24 und dem Liniensensor 22. In dieser Ausführungsform, wie in Fig. 3 (b) gezeigt ist, ist der abgebildete Bereich in eine Mehrzahl von Fenstern (kleine Abschnitte) W₁₁, W₁₂, . . . unterteilt, und für jedes Fenster wird ein Abstand gemessen. Dementsprechend ist ein zweidimensionales Bild des gesamten Objekts erforderlich. Dementsprechend umfasst jeder der Bildsensoren 3 und 3' ein zweidimensionales CCD-Feld oder ein zweidi­ mensionales Fotosensorfeld.

Fig. 3 (a) zeigt ein Beispiel des Bildes, welches erhalten wird, wenn ein weiteres Fahrzeug, das vor dem das System der vorliegenden Erfindung tragenden Fahrzeug fährt, durch einen der Bildsensoren 3 oder 3' abgebil­ det wird. Fig. 3 (b) zeigt das Bild in Fig. 3 (a) schematisch in eine Mehr­ zahl von als "Fenster" bezeichneten kleinen Abschnitten geteilt. Fig. 3 (b) weist in vertikaler Richtung Reihen und in horizontaler Richtung Spalten auf. Der Einfachheit halber ist das Bild in zehn Reihen mal fünfzehn Spalten von Fenstern geteilt gezeigt. Den jeweiligen Fenstern sind Bezugszeichen zugewiesen. Beispielsweise bezeichnet W₁₂ das Fenster in Reihe 1, Spalte 2.

Bezugnehmend auf Fig. 1 werden die von den Bildsensoren 3 und 3' erfassten Bilder von Objekten durch Analog-Digital-Wandler (A/D-Wandler) 4 und 4' in digitale Daten umgewandelt und in Bildspeicher 5 und 5' ge­ speichert. Die dem Fenster W₁₁ entsprechenden Bildabschnitte werden jeweils durch ein Fensterausschnittsteil 9 aus den Bildspeichern 5 und 5' ausgeschnitten und zu einem Korrelationsberechnungsteil 6 gesendet. Das Korrelationsberechnungsteil 6 verschiebt die zwei ausgeschnittenen Bilder pro Zeiteinheit um eine bestimmte Einheit und führt die vorgenannten Korrelationsberechnungen durch. Der Verschiebungsbetrag an dem Punkt, an welchem der Korrelationswert ein Minimum erreicht, entspricht (X1 + X2). Das Korrelationsberechnungsteil 6 sendet den so bestimmten (X1 + X2)-Wert zu einem Abstandsberechnungsteil 7.

Das Abstandsberechnungsteil 7 bestimmt den Abstand a₁₁ zu dem Objekt im Fenster W₁₁, unter Verwendung der vorgenannten Formel: a = B. f/(X1 + X2). Der so bestimmte Abstand a₁₁ wird in einem Abstandsspei­ cher 8 gespeichert. Ein ähnlicher Berechnungsprozess wird nachfolgend für jeweilige Fenster durchgeführt, und die sich ergebenden Abstände a₁₁, a₁₂, . . . werden im Abstandsspeicher 8 gespeichert. Der für jedes Fenster be­ rechnete Abstand zu einem erfassten Objekt wird als der gemessene Ab­ stand des Fensters bezeichnet.

Bei den in den vorgenannten Korrelationsberechnungen verwendeten Bilddaten bestimmt die Elementteilung im Abbildungselementfeld die Auflö­ sung. Dementsprechend ist es dann, wenn ein Licht empfangendes Ele­ ment, wie z. B. ein Fotosensorfeld verwendet wird, welches eine relativ große Teilung aufweist, bevorzugt, die Dichte der Bilddaten durch Durch­ führung von Berechnungen, umfassend eine Zwischenteilungsinterpolation, zu vergrößern. Korrelationsberechnungen können für Bilddaten durchge­ führt werden, deren Dichte so erhöht wurde.

Darüber hinaus kann ein Temperatursensor in der Nähe des Bildelementfel­ des angeordnet sein, um temperaturgemäße Schwankungen in den Eigen­ schaften des Bildelementfeldes zu korrigieren, und die Abstandsberech­ nungen werden auf Grundlage von Temperaturinformationen korrigiert, welche von dem Temperatursensor erhalten werden.

In einer Ausführungsform der vorliegenden Erfindung können aus den für die Fenster berechneten gemessenen Abständen die als Fahrbahnober­ flächenabstände beurteilten gemessenen Abstände ausgeschlossen sein. Der Fahrbahnoberflächenabstand ist der Abstand von den Bildsensoren zur Fahrbahnoberfläche, wenn das Fahrzeug parallel zur Fahrbahnoberfläche ist. Dieser Abstand kann im Vorhinein auf Grundlage der Anbringungs­ positionen, Einbauwinkel, Basislinienlänge, Brennweiten und Größe der Bildsensoren 3 und 3' (realisiert durch CCD-Felder) sowie der Positionen der Fenster in dem Bild bestimmt und in einem Speicher gespeichert sein. Falls der gemessene Abstand nahe am oder größer als der Fahrbahnober­ flächenabstand ist, wird beurteilt, dass das durch das Fenster repräsen­ tierte Objekt eine Fahrbahnoberfläche und kein Objekt auf der Fahrbahn ist. Dann können diejenigen gemessenen Abstände der Fenster, welche als zur Fahrbahnoberfläche gehörend beurteilt sind, aus dem Abstandsspeicher 8 gelöscht werden.

Umwandlung von gemessenen Abständen in Abstandskennzeichnungen

Bezugnehmend auf Fig. 1 weist der Abstandswandler 10 Fenstern Ab­ standskennzeichnungen zu, welche Abstandsbereichen zugeordnet sind, zu welchen gemessene Abstände der jeweiligen Fenster gehören. Abstands­ bereiche und zugeordnete Abstandskennzeichnungen sind voreingestellt und in einer Abstandsumwandlungstabelle 9 gespeichert.

Ein Verfahren der Einstellung von Abstandsbereichen wird unter Bezug­ nahme auf Fig. 4 beschrieben werden. Ein Beispiel eines Erfassungsbe­ reichs 100 ist in Fig. 4 (a) gezeigt. Der Erfassungsbereich 100 ist ein Bereich, in welchem Abstände durch die Bildsensoren 3 und 3' gemessen werden können. Der Bereich 100 ist auf Grundlage der Spezifikation und der Positionen der Bildsensoren 3 und 3' bestimmt. Beispielsweise kann der Erfassungsbereich 100 mit einem Abstandsbereich von 60 Metern und einem Winkelbereich von 30 Grad eingestellt sein. Der Erfassungsbereich 100 kann im Vorhinhein festgelegt sein.

Alternativ kann der Erfassungsbereich 100 dynamisch nach Maßgabe der Fahrzeuggeschwindigkeit eingestellt werden. In diesem Falle wird der Erfassungsbereich 100 derart eingestellt, dass mit einer Zunahme der Fahrzeuggeschwindigkeit der Abstandsbereich größer wird und der Winkel­ bereich kleiner wird.

Der Erfassungsbereich 100 ist in eine Mehrzahl von Abstandsbereichen derart unterteilt, dass es zu keiner Überlappung kommt. In dieser Aus­ führungsform sinkt die Genauigkeit der gemessenen Abstände mit einer Zunahme des Abstands von dem die Bildsensoren 3 und 3' tragenden Fahrzeug. Dementsprechend ist der Erfassungsbereich 100 derart unterteilt, dass er mit zunehmenden Abstand vom Fahrzeug ausgedehntere Abstands­ bereiche aufweist, wie durch S1 bis S6 in Fig. 4 gezeigt ist.

Die Abstandsbereiche sind nach Maßgabe der Toleranz bei den gemesse­ nen Abständen eingestellt. Dabei hängt der Wert der Abstandstoleranz von den Spezifikationen usw. der Bildsensoren 3 und 3' ab. Bei der vorliegen­ den Ausführungsform sind die Abstandsbereiche mit einer Abstandstole­ ranz von 30% für eine Hochgeschwindigkeitsverarbeitung eingestellt, da eine Genauigkeit von 10% Toleranz nicht für alle Pixel gewährleistet werden kann. Dementsprechend ist der Abstandsbereich für einen be­ stimmten gegebenen Abstand eingestellt als "Abstand ~ (Abstand x (1 + 0,3))".

Ein Verfahren zur Zuweisung von Abstandskennzeichnungen zu Abstands­ bereichen wird unter Bezugnahme auf Fig. 5 erläutert werden. Fig. 5 ist eine Tabelle, welche die Beziehung zwischen Abständen und den Ab­ standskennzeichnungen zeigt, wobei die Toleranz auf 30% eingestellt ist. Die Abstandseinheit beträgt 0,1 Meter. Für unterschiedliche Abstands­ bereiche werden unterschiedliche Abstandskennzeichnungen bereitgestellt. Beispielsweise beträgt im Falle eines Abstands von "1" 30% des Abstan­ des 0 (Werte der Dezimalstellen hinter dem Komma werden weggelassen). Dementsprechend wird die Abstandskennzeichnung "1" dem Abstand "1" zugewiesen. Im Falle eines Abstands von "2" wird diesem Abstand die Kennzeichnung "2" zugewiesen, da 30% des Abstandes 0 beträgt. Hierbei erhöht sich die Abstandskennzeichnung jedesmal um 1, wenn sich der Abstandsbereich ändert. Im Falle eines Abstandes von "20" betragen 30% des Abstandes "6". Dementsprechend wird dem Abstandsbereich von "20" bis "26" eine Abstandskennzeichnung "9" zugewiesen. Auf diese Weise werden die Abstandsbereiche von kurzen Abständen zu langen Abständen progressiv eingestellt, sodass jede Abstandskennzeichnung einem Ab­ standsbereich zugewiesen wird. Andere unterscheidbare Symbole, wie z. B. Buchstaben des Alphabets usw. können ebenso als Abstandskennzeichnun­ gen verwendet werden.

In der vorliegenden Ausführungsform sind der Einfachheit halber einige in Fig. 5 gezeigte Abstandsbereiche kombiniert, um größere Abstandsbe­ reiche zu bilden, sodass die Abstandsbereiche S1 bis S6 wie in Fig. 4 (b) eingestellt sind, und neue Abstandskennzeichnungen 1 bis 6 diesen Ab­ standsbereichen jeweils zugewiesen werden. Fig. 4 (a) zeigt die Ab­ standsbereiche S1 bis S6 von Fig. 4 (b).

Wenn der Erfassungsbereich im Vorhinein festgelegt ist, sind die Abstands­ bereiche, welchen so Abstandskennzeichnungen zugewiesen wurden, als eine Abstandsumwandlungstabelle 9 gespeichert. Wenn der Erfassungs­ bereich andererseits dynamisch aktualisiert wird, kann die gespeicherte Abstandsumwandlungstabelle dynamisch aktualisiert werden.

Der Abstandswandler 10 in Fig. 1 wandelt den gemessenen Abstand eines jeden Fensters in eine entsprechende Abstandskennzeichnung auf Grundlage der Abstandsumwandlungstabelle 9 um. Fenstern, für die beispielsweise aufgrund fehlenden Kontrastes keine gemessenen Abstände erhältlich sind, wird eine in der Abstandsumwandlungstabelle 9 nicht verwendete Kennzeichnung - beispielsweise "0" - zugewiesen.

Bezugnehmend auf Fig. 6 als ein Beispiel zeigt Fig. 6 (a) die gemessenen Abstände der Fenster in einem erfassten Bild, während Fig. 6 (b) die den Fenstern auf Grundlage der in Fig. 4 (b) gezeigten Abstandsumwand­ lungstabelle 9 zugewiesenen Abstandskennzeichnungen zeigt.

Gruppieren von Fenstern

Das Gruppierungsteil 11 weist den jeweiligen Fenstern auf Grundlage der Abstandskennzeichnungen Gruppierungskennzeichnungen zu. Aus Fen­ stern, welche die gleichen Gruppierungskennzeichnungen aufweisen, wird eine integrale Gruppierung gebildet. Das Gruppieren kann unter Verwen­ dung eines bekannten Verfahrens durchgeführt werden. Bei der vorliegen­ den Ausführungsform wird ein Gruppierungsprozess unter Verwendung einer in Fig. 7 gezeigten Schablone verwendet. Der Gruppierungsprozess ist ausführlich in der US-Patentanmeldung mit dem Aktenzeichen 09/572,249 (entspricht der DE 100 29 423 A1)beschrieben, welche hierin durch Bezugnahme enthalten ist.

Das Gruppierungsteil 11 weist den Fenstern unter Verwendung der in Fig. 7 gezeigten Schablone Gruppierungskennzeichnungen zu. T1 bis T5 in Fig. 7 (a) zeigen Positionen in der Schablone an. "a" bis "e" in Fig. 7 (b) zeigen die Abstandskennzeichnungen von Fenstern an, welche jeweils den Positionen T1 bis T5 entsprechen, wenn die Schablone derart positioniert ist, dass T4 die Stelle eines zu verarbeitenden Fensters annimmt. "A" bis "E" in Fig. 7 (c) zeigen die den Fenstern jeweils entsprechend den Positio­ nen T1 bis T5 zugewiesenen Gruppierungskennzeichnungen an.

Die Tabelle in Fig. 7 (d) zeigt den Typ von Gruppierungskennzeichnung D, welcher dem Fenster an Position T4 auf Grundlage der Abstandskennzeich­ nungen für die Fenster an Positionen T1 bis T5 zugewiesen wird, wenn T4 an dem zu verarbeitenden Fenster plaziert ist. Falls beispielsweise die Abstandskennzeichnungen "a" bis "e" an Positionen T1 bis T5 Bedingung 5 in Fig. 7 (d) erfüllen, wird dem Fenster bei T4 eine Gruppierungskenn­ zeichnung B zugewiesen. Die Gruppierungskennzeichnung "L" wird zu­ gewiesen, wenn Bedingungen 2 oder 3 erfüllt sind, was eine neue Gruppie­ rungskennzeichnung erfordert.

Unter Heranziehung von Fig. 6 (b) als Beispiel wird im Folgenden ein Gruppierungsverfahren beschrieben werden, welches die in Fig. 7 ge­ zeigte Schablone verwendet. Das Gruppierungsteil 11 tastet die Fenster in einem Rahmen des Bildes von der oberen linken Ende zur unteren rechten Ecke ab, wobei es T4 der Schablone bei jeweiligen Fenstern an dem Bild­ rahmen anordnet. In diesem Beispiel wird die Gruppierungskennzeichnung durch zwei Ziffern ausgedrückt. Die höhere bzw. höherwertige Ziffer re­ präsentiert die Abstandskennzeichnung und die niedrigere bzw. niedriger­ wertige Ziffer wird jedesmal dann um eins erhöht, wenn Bedingung 2 oder 3 in der Tabelle von Fig. 7 (d) erfüllt ist. Alternativ können auch beliebige Symbole, wie z. B. Nummern oder alphabetische Zeichen als Gruppierungs­ kennzeichnungen verwendet werden. Wenn T4 in der Schablone am Rand des Bildes angeordnet ist, weist eine oder weisen mehrere Positionen T1, T2, T3 und T5 keine entsprechenden Fenster in dem Bildrahmen auf. Von den Abstandskennzeichnungen der Fenster, welche einer oder mehreren derartigen Positionen entsprechen, wird angenommen, dass sie von der Abstandskennzeichnung des Fensters verschieden sind, welches T4 in der Schablone entspricht.

Als erstes wird T4 in der Schablone an dem Fenster W11 positioniert. Die Abstandskennzeichnung des Fensters W11 beträgt "3". Die Positionen T1, T2 und T3 weisen keine entsprechenden Fenster auf. Es wird angenom­ men, dass d ≠ a, dass d ≠ b und dass d ≠ c. Somit ist Bedingung 2 in Fig. 7 (d) erfüllt und dem Fenster W11 wird eine Gruppierungskennzeich­ nung 31 zugewiesen. Als nächstes wird T4 in der Schablone an dem Fenster W12 angeordnet. Da das Fenster W12 Bedingung 4 in Fig. 7 (d) erfüllt, wird ihm die gleiche Gruppierungskennzeichnung "31" wie dem Fenster W11 zugewiesen. Dann wird T4 in der Schablone am Fenster W 13 angeordnet. Da das Fenster W13 Bedingung 2 in Fig. 7 (d) erfüllt, wird ihm eine neue Gruppierungskennzeichnung "41" zugewiesen. Dem Fenster W14, welches ebenso Bedingung 2 in Fig. 7 (d) erfüllt, wird eine neue Gruppierungskennzeichnung "51" zugewiesen. Das Fenster W15 erfüllt ebenso Bedingung 2 in Fig. 7 (d) und ihm wird eine neue Gruppierungs­ kennzeichnung "42" zugewiesen. Wenn W11 bis W18 auf diese Weise Gruppierungskennzeichnungen zugewiesen wurden, wird nacheinander W21 bis W28, W31 bis W38, . . . W81 bis W88 Gruppierungskennzeich­ nungen zugewiesen. Fig. 6 (c) zeigt die Fenster so zugewiesener Grup­ pierungskennzeichnungen.

Wenn Bedingung 8 in Fig. 7 (d) erfüllt ist, verbindet das Gruppierungsteil 11 die Gruppierungskennzeichnungen bei T1 und T3 der Schablone und speichert diese verbundenen Gruppierungskennzeichnungen in einem Gruppierungsspeicher 15. Eine Verbindung wird im Folgenden mit Bezug­ nahme auf Fig. 6 (c) und (d) beschrieben werden.

Da Bedingung 2 in Fig. 7 (d) erfüllt ist, wenn T4 in der Schablone am Fenster W75 in Fig. 6 (c) zugewiesen ist, wird diesem eine neue Gruppie­ rungskennzeichnung (47) zugewiesen. Dann werden den Fenstern W76 bis W78 und W81 bis W84 Gruppierungskennzeichnungen zugewiesen. Da Bedingung 8 in Fig. 7 (d) erfüllt ist, wenn T4 in der Schablone am Fenster W85 angeordnet ist, wird eine Gruppierungskennzeichnung "47" zugewie­ sen, welche die gleiche ist wie die des Fensters W75. Als Folge ist die Gruppierungskennzeichnung des Fensters W84 von der Gruppierungskenn­ zeichnung des Fensters W85 verschieden, obwohl die Fenster einander benachbart sind und die gleiche Abstandskennzeichnung "4" aufweisen.

Wenn Bedingung 8 in Fig. 7 (d) erfüllt ist, werden die Gruppierungskenn­ zeichnungen verbunden, welche A und C der Schablone entsprechen. Die Gruppierungskennzeichnungen "47" und "49" der Fenster W84 und W75 in diesem Beispiel werden verbunden und im Gruppierungsspeicher 15 als eine integrale Gruppierung gespeichert. Nachdem allen Fenstern Gruppie­ rungskennzeichnungen zugewiesen wurden, ersetzt die gleiche Gruppie­ rungskennzeichnung die zwei in verbundener Form gespeicherten Gruppie­ rungskennzeichnungen. Beispielsweise kann die Gruppierungskennzeich­ nung "47", wie in Fig. 6 (d) gezeigt ist, durch "49" ersetzt werden, oder umgekehrt. Alternativ können "47" und "49" durch eine neue Gruppie­ rungskennzeichnung ersetzt werden.

Auf diese Weise wird benachbarten Fenstern mit der gleichen Abstands­ kennzeichnung die gleiche Gruppierungskennzeichnung zugewiesen, wobei sie eine integrale Gruppierung bilden. Die so bestimmten Gruppierungen sind in Fig. 6 (e) gezeigt. Durch Verwendung von Abstandskennzeichnun­ gen anstelle eines Umgangs mit den gemessenen Abstandswerten selbst kann eine Gruppierung von Fenstern mit hoher Geschwindigkeit ausgeführt werden.

Die in Fig. 7 gezeigte Schablone stellt ein Beispiel dar. Andere Schablonen können ebenso verwendet werden, um Fenster abzutasten. Die Abtastrei­ henfolge sollte vorzugsweise gemäß der Schablonenart bestimmt sein.

Beurteilung der Gültigkeit von Gruppierungen

Zurück zu Fig. 1. Das Gruppierungsbeurteilungsteil 12 beurteilt die Gültig­ keit einer jeden Gruppierung, welche durch das Gruppierungsteil 11 erhal­ ten wurde, auf Grundlage ihrer Attribute. Als ein Gruppierungsattribut verwendet diese Ausführungsform eine Fläche einer Gruppierung oder die Anzahl von Fenstern, welche eine Gruppierung bilden. Es ist jedoch ebenso möglich, die Gültigkeit einer jeden Gruppierung durch Verwendung eines anderen bzw. eines weiteren Attributs, wie z. B. den Ort der eine Gruppie­ rung bildenden Fenster, zu beurteilen.

Als erstes wird mit Bezugnahme auf Fig. 8 ein Verfahren der Bestimmung der Fläche A (m²) einer Gruppierung beschrieben werden. Fig. 8 (a) ist ein Diagramm zur Berechnung der horizontalen Länge Xp (d. h. der Breite) eines Objekts 80, welches an einem Fenster Wp abgebildet ist. µ_h (m) bezeichnet die horizontale Länge des Fensters Wp, f(m) bezeichnet die Brennweite einer Linse 81 und Dp (m) bezeichnet den gemessenen Abstand des Fen­ sters Wp, welcher durch das Abstandsberechnungsteil 7 wie oben be­ schrieben bestimmt wurde. Diese Parameter sind in Gleichung (1) ausge­ drückt:

Xp = µ_h.Dp/f (1).

Fig. 8 (b) ist ein Diagramm zur Berechnung der vertikalen Länge Yp (d. h. der Höhe) des Objekts 80, welches an demselben Fenster Wp wie in Fig. 8 (a) abgebildet ist. µ_v (m) bezeichnet die vertikale Länge des Fensters Wp. Diese Parameter sind in Gleichung (2) ausgedrückt:

Yp = µ_v.Dp/f (2).

Da die horizontale Länge µ_h und die vertikale Länge µ_v des Fensters kon­ stant sind, ist die Fläche A (m²) der Gruppierung gegeben durch Gleichung (3):

Wie durch Gleichung (4) im Folgenden ausgedrückt ist, kann der Durch­ schnitt D_ave der gemessenen Abstände von Fenstern andererseits durch Dividieren der Summe der gemessenen Abstände Dp durch die Anzahl N von Fenstern, welche eine Gruppierung bilden, erhalten werden. Durch Verwendung des Durchschnitts D_ave der gemessenen Abstände kann Glei­ chung (3) durch Gleichung (5) angenähert werden.

Die Fläche A der Gruppierung wird auf diese Weise bestimmt. Das Gruppie­ rungsbeurteilungsteil 12 beurteilt, dass die Gruppierung gültig ist, falls seine Fläche A größer als ein vorbestimmter Schwellenwert (beispielsweise 100 cm²) ist, und beurteilt, dass die Gruppierung ungültig ist, falls seine Fläche A kleiner als der vorbestimmte Schwellenwert ist. Somit werden durch Rauschen oder Regentropfen gebildete Gruppierungen als ungültig beurteilt. Dementsprechend ist es möglich, eine durch Rausch- oder Regen­ tropfengruppierungen verursachte irrtümliche Objekterkennung zu vermei den.

Der Schwellenwert ist in Abhängigkeit davon bestimmt, bei welcher Größe Gruppierungen als Rausch-Bestandteile ausgeschlossen werden sollten und bei welcher Größe Gruppierungen als ein Objekt erkannt werden sollten. Wenn jedoch während einer Bilderfassung der Kontrast niedrig ist, kann eine große Anzahl von kleineren Gruppierungen erzeugt werden. Daher wird unter Umständen keine Gruppierung als gültig beurteilt, falls ein zu großer Schwellenwert spezifiziert ist, selbst wenn tatsächlich ein Objekt vorhanden ist. Falls beispielsweise der Schwellenwert auf die Größe eines voraus befindlichen Fahrzeugs (z. B. 2 m²) ausgelegt ist, kann unter Um­ ständen keine Gruppierung den Schwellenwert erreichen, was dazu führt, dass ein voraus befindliches Fahrzeug nicht als ein Objekt erkannt werden kann. Daher ist es zu bevorzugen, den Schwellenwert auf die Größe ein­ zustellen (z. B. 1 m²), welche von Rauschbestandteilen unterschieden werden kann, und welche als ein Objekt erkannt werden sollte.

Gemäß einer alternativen Ausführungsform beurteilt das Gruppierungs­ beurteilungsteil 12 die Gültigkeit einer jeden Gruppierung auf Grundlage der Anzahl N₀ von Fenstern, welche dem Schwellenwert A₀ entsprechen. Auf Grundlage von Gleichung (5) ist die Anzahl N₀ von dem Schwellenwert A₀ entsprechenden Fenstern für jeden gemessenen Abstand D der Gruppierung vorbestimmt (Gleichung (6)).

Das Gruppierungsbeurteilungsteil 12 vergleicht die Anzahl N von die Grup­ pierung bildenden Fenstern mit N₀. Es beurteilt, dass die Gruppierung ungültig ist falls N < N₀, und es beurteilt, dass die Gruppierung gültig ist, falls N ≧ N₀. Der Durchschnitt D_ave der gemessenen Abstände der die Gruppierung bildenden Fenster, wie durch Gleichung (4) bestimmt, kann als der gemessene Abstand D der Gruppierung verwendet werden.

Das Gruppierungsbeurteilungsteil 12 speichert die als gültig beurteilten Gruppierungen und die Anzahl der gültigen Gruppierungen im Gruppie­ rungsspeicher 15. Das Gruppierungsbeurteilungsteil 12 speichert weiterhin die als ungültig beurteilten Gruppierungen und die Anzahl der ungültigen Gruppierungen im Gruppierungsspeicher 15. Darüber hinaus speichert das Gruppierungsbeurteilungsteil 12 die Gruppierungsflächen (d. h. die Größe und Breite des durch die Gruppierungen repräsentierten Objektes), Ab­ stände der Gruppierungen sowie horizontale und vertikale Positionen der Gruppierungen im Gruppierungsspeicher 15. Die horizontalen und vertikalen Positionen der Gruppierungen können aus den Höhen und Breiten der Gruppierungen und der Orte, auf dem Bild, der die Gruppierungen bildenden Fenster bestimmt werden. Sie können beispielsweise in einem Koordina­ tensystem ausgedrückt werden, dessen Ursprung bei dem Fahrzeug liegt, welches das vorliegende Objekterkennungssystem trägt.

Erfassung eines Fehlerzustands

Auf Grundlage der Anzahl oder des Verhältnisses der durch das Gruppie­ rungsbeurteilungsteil 12 als ungültig beurteilten Gruppierungen beurteilt der Fehlerdetektor 14, ob eine Objekterkennung ordnungsgemäß durchgeführt werden kann. Der Zustand, in welchem eine Objekterkennung nicht ord­ nungsgemäß durchgeführt werden kann, wird als Fehlerzustand bezeichnet.

Da eine Gruppierung eine Gruppe von Fenstern mit tatsächlich demselben gemessenen Abstand ist, werden, falls ein erfasstes Bild viele Bereiche mit geringen Abstandsschwankungen enthält, viele Gruppierungen mit kleinen Flächen gebildet. Dies geschieht häufig deshalb, da gemessene Abstände als Folge von Korrelationsberechnungen, welche an Bereichen mit niedri­ gem Kontrast auf einem Bild, das Rauschen enthält, durchgeführt werden, Fehler enthalten. Um eine fehlerhafte Erkennung von Objekten zu vermei­ den, ist es daher notwendig, eine Objekterkennung auf Grundlage von Gruppierungen, welche unter derartigen Bedingungen gebildet wurden, zu deaktivieren. Somit erfasst der Fehlerdetektor 14 einen Fehlerzustand unter Verwendung der Anzahl oder des Verhältnisses der ungültigen Gruppierun­ gen als ein Index des Rauschbetrages.

Fig. 9 ist ein Diagramm, welches eine Schwankung der Anzahl ungültiger Gruppierungen aufgrund von Regenniederschlag zeigt. Die horizontale Achse repräsentiert die abgelaufene Zeit, während die vertikale Achse die Anzahl von durch das Gruppierungsbeurteilungsteil 12 erfassten ungültigen Gruppierungen repräsentiert. In Fig. 9 (a) zeigt Graph 85 Veränderungen in der Anzahl ungültiger Gruppierungen, welche an einem klaren Tag ge­ messen wurden, während Graph 86 Veränderungen in der Anzahl ungülti­ ger Gruppierungen zeigt, welche bei leichtem Regen gemessen wurden. Graph 87 in Fig. 9 (b) zeigt Veränderungen in der Anzahl ungültiger Grup­ pierungen, welche bei starkem Regen gemessen wurden.

Wie in Graph 85 gezeigt ist, bestehen an einem klaren Tag lediglich wenige ungültige Gruppierungen, da kein Regentropfen an der Windabschirmung bzw. Windschutzscheibe vor den Bildsensoren 3 und 3' haftet und geringes Rauschen erzeugt wird. Bei leichtem Regen, wie in Graph 86 gezeigt ist, werden mehrere ungültige Gruppierungen erfasst als einem klaren Tag, da Regentropfen an der Windabschirmung bzw. Windschutzscheibe haften und von den Bildsensoren erfasst werden. Bei starkem Regen, wie in Graph 87 gezeigt ist, werden sehr viel mehr ungültige Gruppierungen erfasst als bei leichtem Regen, da sehr viel mehr Regentropfen an der Windabschir­ mung bzw. Windschutzscheibe haften.

Bei den Graphen 86 und 87, bei leichtem bzw. starkem Regen, werden die periodischen Veränderungen in der Anzahl ungültiger Gruppierungen durch die Bewegung der Scheibenwischer verursacht. Da Regentropfen durch die Scheibenwischer von der Windschutzscheibe gewischt werden, nimmt die Anzahl ungültiger Gruppierungen lokal nach einem Schwenken der Wischer ab.

Der Fehlerdetektor 14 beurteilt einen Fehlerzustand, falls die Anzahl ungül­ tiger Gruppierungen einen vorbestimmten Wert übersteigt (380 in dem Beispiel von Fig. 9). Wie aus Graph 87 in Fig. 9 zu sehen ist, wird bei starkem Regen, anders als an einem klaren Tag oder bei leichtem Regen, periodisch ein Fehlerzustand beurteilt. Alternativ ist es ebenso möglich, einen Fehlerzustand zu beurteilen, wenn das Verhältnis von ungültigen Gruppierungen zur Gesamtanzahl von Gruppierungen in dem Bild einen vorbestimmten Wert übersteigt (z. B. 80%).

Falls der Fehlerdetektor 14 einen Fehlerzustand beurteilt, wird an bzw. auf dem im aktuellen Zyklus erfassten Bild ein Fehlerstatus-Merker gesetzt und das Bild wird mit dem Merker in einem Fehlerspeicher 16 gespeichert.

Objekterkennung

Zurück zu Fig. 1. Ein Gruppierungsauswahlteil 21, ein Kandidatenerzeu­ gungsteil 22, ein körperliches-Objekt-Erkennungsteil 23 und ein körperli­ ches-Objekt-Folgerungsteil 31 führen eine Folge von Operationen durch, um ein Objekt vor dem das vorliegende System tragenden Fahrzeug auf Grundlage der durch das Gruppierungsbeurteilungsteil 12 als gültig beur­ teilten Gruppierungen zu erkennen. Es gibt viele Objekterkennungsver­ fahren, welche Gruppierungen verwenden und jede von diesen kann ver­ wendet werden. In dieser Ausführungsform wird ein Verfahren des Fol­ gerns der Position des Objekts im aktuellen Zyklus eingesetzt, welches Information über die im vorhergehenden Zyklus erkannten Objekte ver­ wendet und welches die Objekte auf Grundlage des gefolgerten Objektes und als gültig beurteilter Gruppierungen erkennt. Dieser Objekterkennungs­ prozess ist ausführlich in der US-Patentanmeldung mit dem Aktenzeichen 09/572,249 (entspricht der DE 100 29 423 A1) beschrieben, welche hierin durch Bezugnahme enthalten ist.

Ein Objektspeicher 25 speichert die Attribute der im vorherigen Zyklus durch das körperliches-Objekt-Erkennungsteil 23 erkannten Objekte (z. B. Information über die Positionen, einschließlich Abstände sowie horizontale und vertikale Positionen, sowie über Größen, einschließlich Breiten und Höhen der Objekte usw.) ebenso wie Relativgeschwindigkeiten bezüglich der Objekte. Auf Grundlage dieser Parameter folgert das körperliches- Objekt-Folgerungsteil 31 die Position der Objekte in dem im aktuellen Zyklus erfassten Bild. Die Verarbeitung durch das körperliches-Objekt- Folgerungsteil 31 sollte vorzugsweise gleichzeitig mit dem oben beschriebe­ nen Gruppierungsprozess ausgeführt werden.

Bezugnehmend auf Fig. 10 wird im Folgenden ein Verfahren des Folgerns von Objekten beschrieben werden, welches durch das Folgerungsteil 31 durchgeführt wird. Die Fig. 10 (a) bis 10 (c) zeigen eine vorherige Verarbeitung. In Fig. 10 (a) sind zwei Fahrzeuge 91 und 92 im vorherigen Zyklus erfasst. Fig. 10 (b) zeigt Gruppierungen C11 bis C17, welche auf Grundlage des in Fig. 10 (a) gezeigten erfassten Bildes durch das Gruppie­ rungsteil 11 bestimmt wurden. Fig. 10 (c) zeigt körperliche Objekte 65 und 66, welche aus den Gruppierungen erkannt wurden, die dem Fahrzeug 91 bzw. dem Fahrzeug 92 entsprechen.

Die Fig. 10 (d) bis 10 (f) zeigen die aktuelle Verarbeitung. In Fig. 10 (d) werden die gleichen Fahrzeuge 91 und 92 wie jene in Fig. 10 (a) erfasst. Zusätzlich wird ein Verkehrsschild 93 erfasst. Fig. 10 (e) zeigt Gruppierungen C21 bis C31, welche durch das Gruppierungsteil 11 auf Grundlage des in Fig. 10 (d) gezeigten erfassten Bildes bestimmt werden. Fig. 10 (f) zeigt körperliche Objekte 77, 78 und 79, welche im aktuellen Zyklus auf Grundlage der in Fig. 10 (e) gezeigten Gruppierungen und der in Fig. 10 (c) gezeigten körperlichen Objekte 65 und 66 erkannt werden.

Das körperliches-Objekt-Folgerungsteil 31 liest die Positionen und Relativ­ geschwindigkeiten der zuvor erkannten körperlichen Objekte 65 und 66 aus dem körperliches-Objekt-Speicher 25 aus und berechnet die aktuellen Positionen der körperlichen Objekte 65 und 66. Diese Berechnung kann unter Verwendung der folgenden Berechnungsformel durchgeführt werden:

(Position von vorherigem körperlichem Objekt + Relativgeschwindigkeit × Erfassungszeitintervall).

In diesem Beispiel wird die Relativgeschwindigkeit bezüglich des körperli­ chen Objekts 65 als null angenommen. Die Relativgeschwindigkeit bezü­ glich des körperlichen Objekts 66 wird als -10 Kilometer pro Stunde an­ genommen (in diesem Beispiel ist dann, wenn die Geschwindigkeit des das System tragenden Fahrzeugs größer als die Geschwindigkeit eines körperli­ chen Objekts ist, die Relativgeschwindigkeit als "minus" ausgedrückt. Das Erfassungszeitintervall wird als 100 Millisekunden angenommen. Der rela­ tive Abstand zu dem körperlichen Objekt 65 wird zwischen dem vorherigen Zyklus und dem aktuellen Zyklus als unverändert geschätzt und der relative Abstand zum körperlichen Objekt 66 wird als um 0,3 Meter verkürzt ge­ schätzt.

Unter der Annahme, dass die relativen horizontalen Positionen der Objekte 65 und 66 bezüglich des das System tragenden Fahrzeugs unverändert sind, da die Größe der Objekte 65 und 66 unverändert ist, kann das Folge­ rungsteil 31 die aktuellen Positionen der Objekte 65 und 66 auf Grundlage der Veränderungen in den relativen Abständen folgern. Fig. 10 (e) zeigt Objekte 75 und 76, die auf diese Weise gefolgert wurden, durch recht­ eckige Bereiche an dem Bild. Das Folgerungsteil 31 speichert die Attribute (d. h. Information betreffend die Objekte wie z. B. Abstände, horizontale Positionen, vertikale Positionen, Breiten und Höhen usw.) der gefolgerten Objekte 75 und 76 in ein gefolgertes-Objekt-Speicher 32).

Im aktuellen Zyklus liest das Gruppierungsauswahlteil 21 die Abstände sowie die horizontalen und vertikalen Positionen der Gruppierungen C21 bis C31, welche wie in Fig. 10 (e) gezeigt gebildet sind, aus dem Gruppie­ rungsspeicher 15 aus. Andererseits liest das Gruppierungsauswahlteil 21 die Abstände sowie horizontale und vertikale Positionen der gefolgerten Objekte 75 aus dem gefolgertes-Objekt-Speicher 32 aus. In dieser Aus­ führungsform werden die gefolgerten Objekte von dem ausgehend abge­ handelt, welches dem das System tragenden Fahrzeug am nächsten liegt. Aus den Gruppierungen C21 bis C31 wählt das Gruppierungsauswahlteil 21 die Gruppierungen aus, deren Unterschied im Abstand von dem gefol­ gerten Objekt 75 kleiner als ein Schwellenwert ist und welche mit dem gefolgerten Objekt 75 zumindest teilweise in den horizontalen und ver­ tikalen Positionen überlappen. Als Folge werden die Gruppierungen C22 bis C26 ausgewählt.

Vorzugsweise ist der Schwellenwert des Abstandsunterschiedes nach Maßgabe der Toleranz des Abstandes von dem das System tragenden Fahrzeug bestimmt. Mit anderen Worten: Der Schwellenwert ist proportio­ nal zum Abstand vom Fahrzeug bestimmt.

Falls eine Gruppierung teilweise mit dem gefolgerten Objekt in der horizon­ talen und der vertikalen Richtung überlappt, wird beurteilt, dass ein Über­ lappen auftritt. Es ist nicht notwendig, dass eine gesamte Gruppierung in dem gefolgerten Objekt enthalten ist.

Falls eine Gruppierung die obige Abstandsbedingung für ein beliebiges der in dem Speicher 32 gespeicherten gefolgerten Objekte nicht erfüllt oder falls eine Gruppierung keine Überlappung mit allen im Speicher 32 gespei­ cherten gefolgerten Objekte aufweist, wird die Gruppierung dahingehend beurteilt, dass sie kein entsprechendes gefolgertes Objekt aufweist.

Das Kandidatenerzeugungsteil 42 studiert alle möglichen Kombinationen der durch das Gruppierungsauswahlteil 21 ausgewählten Gruppierungen und bestimmt kombinierte Gruppierungen als Kandidaten für ein körperli­ ches Objekt. Die Kombination kann eine eine einzelne Gruppierung um­ fassende Kombination enthalten. Fig. 11 ist eine Tabelle, welche alle möglichen Kombinationen der Gruppierungen C22 bis C26 zeigt, welche für das in Fig. 10 (e) gezeigte gefolgerte Objekt 75 ausgewählt sind.

Das körperliches-Objekt-Erkennungsteil 23 vergleicht nacheinander die Attribute von kombinierten Gruppierungen, welche entsprechende gefol­ gerte körperliche Objekte aufweisen, mit den Attributen der gefolgerten körperlichen Objekte. Das Erkennungsteil 23 erkennt die kombinierten Gruppierungen, welche Attribute aufweisen, die den Attributen der gefol­ gerten körperlichen Objekte am nächsten sind, als körperliche Objekte. Dabei sind die verwendeten Attribute Abstand, horizontale Position, ver­ tikale Position, Breite und Höhe. Der Attributevergleich wird unter Ver­ wendung der folgenden Gleichung (7) durchgeführt. Die Bedeutungen der Variablen in Gleichung (7) sind in Tabelle 1 gezeigt.

Gleichung 7

Tabelle 1

Gleichung (7) drückt die Unterschiede zwischen kombinierten Gruppierun­ gen und einem gefolgerten körperlichen Objekt als eine Funktion des Unter­ schieds in der Mittenposition von kombinierten Gruppierungen und einem gefolgerten körperlichen Objekt sowie des Unterschieds in Breite und Höhe von kombinierten Gruppierungen und einem gefolgerten körperlichen Objekt aus. Der Abstand (Z-Wert) weist eine Toleranz gemäß dem Abstandswert auf und wird durch einen zum Abstand Zt des gefolgerten körperlichen Objekts proportionalen Wert korrigiert.

In dem in Fig. 11 gezeigten Beispiel sind Funktionswerte E1 (e01, e02, . . . e31) für alle kombinierten Gruppierungen 1 bis 31 berechnet, die dem gefolgterten körperlichen Objekt 75 entsprechen. Die Verbindungsgruppie­ rung 31 mit dem kleinsten Funktionswert E1 wird als das körperliche Objekt 78 erkannt (Fig. 10 (f)). Dies kommt daher, da die Verbindungs­ gruppierung 31 mit dem kleinsten E1 am besten mit der Position und Größe des gefolgerten körperlichen Objekts 75 übereinstimmt.

Die Gruppierungen C22 bis C26 und das gefolgerte körperliche Objekt 75 werden mit gesetzten "Verarbeitung-beendet"-Merkern in dem Gruppie­ rungsspeicher 15 bzw. im gefolgertes-Objekt-Speicher 32 gespeichert. Der durch das Gruppierungsauswahlteil 21, das Kandidatenerzeugungsteil 22 und das Erkennungsteil 23 ausgeführte Prozess wird wiederholt, bis für alle Gruppierungen "Verarbeitung-beendet"-Merker gesetzt sind.

Nachdem das körperliche Objekt 78 erkannt worden ist, holt das Gruppie­ rungsauswahlteil 21 Gruppierung C21 und Gruppierungen C27 bis C31 aus dem Gruppierungsspeicher 15, für welche keine "Verarbeitung-beendet"- Merker gesetzt wurden. Das Gruppierungsauswahlteil 21 holt das gefol­ gerte körperliche Objekt 76 aus dem gefolgertes-Objekt-Speicher 32, für welches kein "Verarbeitung-beendet"-Merker gesetzt wurde. Das Gruppie­ rungsauswahlteil 21 wählt dann die Gruppierungen aus, deren Unterschied im Abstand von dem gefolgterten Objekt 76 kleiner als der Schwellenwert ist, und welche mit dem gefolgterten Objekt 76 wenigstens teilweise in der horizontalen und der vertikalen Position überlappen. Als Folge werden die Gruppierungen C27 bis C31 ausgewählt.

Das Kandidatenerzeugungsteil 22 bestimmt kombinierte Gruppierungen aus den Kombinationen der Gruppierungen C27 bis C31. Das Erkennungsteil 23 vergleicht die Attribute der jeweiligen kombinierten Gruppierungen mit den Attributen des gefolgerten körperlichen Objekts 76. Als Folge wird be­ stimmt, dass die kombinierten Gruppierungen, bestehend aus den Gruppie­ rungen C27 bis C31, Attribute haben, welche jenen des gefolgerten körper­ lichen Objekts 76 am nächsten liegen, sodass die kombinierten Gruppierun­ gen, bestehend aus den Gruppierungen C27 bis C31, als ein körperliches Objekt 79 erkannt werden (Fig. 10 (f)). Die als ein körperliches Objekt erkannten Gruppierungen C27 bis C31 und das jeweilige gefolgerte körper­ liche Objekt 76 werden mit "Verarbeitung-beendet"-Merkern in dem Grup­ pierungsspeicher 15 bzw. dem gefolgertes-körperliches-Objektspeicher 32 gespeichert.

Als nächstes holt das Gruppierungsauswahlteil 21 aus dem Gruppierungs­ speicher 15 die Gruppierung C21, für welche kein "Verarbeitung-beendet"- Merker gesetzt wurde. Das Kandidatenerzeugungsteil 22 bestimmt die Gruppierung 21 als eine kombinierte Gruppierung und überträgt sie zu dem Erkennungsteil 23. In diesem Beispiel wurden alle gefolgerten körperliche Objekte verarbeitet, sodass die Gruppierung kein entsprechendes gefolger­ tes körperliches Objekt zum Vergleich besitzt. Das Erkennungsteil 23 vergleicht die Attribute der kombinierten Gruppierung mit den Attributen von vorbestimmten körperlichen Objekten, welche zu erfassen sind. Das Erkennungsteil 23 erkennt dasjenige der vorbestimmten körperliche Objek­ te, welches den geringsten Unterschied in den Attributen aufweist, als das der kombinierten Gruppierung entsprechende körperliche Objekt. Alternativ kann ein Schwellenwert verwendet werden, um zu entscheiden, dass das vorbestimmte körperliche Objekt das körperliche Objekt repräsentiert, dessen sich Attribute wenig unterscheiden sind, sodass der Unterschied kleiner als der Schwellenwert ist.

Die Attribute der vorbestimmten körperlichen Objekte sind vorbestimmt und in einem Speicher gespeichert. Falls beispielsweise die zu erfassenden Objekte Fahrzeuge umfassen, sind die Attribute von verschiedenen Fahr­ zeugtypen gespeichert, und falls die zu erfassenden Objekte Verkehrs­ schilder umfassen, sind die Attribute von verschiedenen Typen von Ver­ kehrsschildern gespeichert. In dieser Ausführungsform sind Breite und Höhe als die Attribute verwendet, welche verglichen werden. Die unten gezeigte Gleichung (8) wird für den Vergleich von Attributen verwendet. Die Bedeutungen der Variablen in Gleichung (8) sind in Tabelle 2 gezeigt.

Gleichung (8) drückt den Unterschied in Attributen von kombinierten Grup­ pierungen und einem vorbestimmten Objekt als eine Funktion auf Grund­ lage eines Unterschiedes in Breite und Höhe von kombinierten Gruppierun­ gen und einem vorbestimmten Objekt aus.

Gleichung 8

E2 = |Wc - Wt| + |Hc - Ht|

Tabelle 2

Das Erkennungsteil 23 vergleicht die Attribute der kombinierten Gruppie­ rung, bestehend aus der durch das Kandidatenerzeugungsteil 22 extra­ hierten Gruppierung C21, mit den Attributen verschiedener zu erfassen­ der vorbestimmter körperlicher Objekte und bestimmt das zu erfassende vorbestimmte Objekt, welches den kleinsten Funktionswert E2 aufweist. Somit wird die Gruppierung C21 als ein körperliches Objekt 77 erkannt (Fig. 10 (f)).

Falls es zwei oder mehrere Gruppierungen gibt, welche kein entsprechen­ des gefolgertes Objekt aufweisen, sollte das Gruppierungsauswahl 21 vorzugsweise Gruppierungen, deren Unterschiede in Abständen sowie horizontalen und vertikalen Positionen sich innerhalb vorbestimmter Be­ reiche befinden, in eine Gruppierungsgruppe gruppieren und sie bei einer nachfolgenden Verarbeitung als eine Gruppe behandeln. Dies dient dazu, eine fehlerhafte Objekterkennung zu vermeiden, welche beispielsweise durch Kombinieren von zwei horizontal voneinander entfernt gelegenen Gruppierungen hervorgerufen werden kann.

Falls noch irgendein gefolgertes Objekt übrig ist, wenn alle Gruppierun­ gen verarbeitet wurden, bestimmt das Gruppierungsauswahlteil 21, dass dieses gefolgerte Objekt nicht länger in der Bildfläche erscheint und kann es aus dem gefolgertes-Objekt-Speicher 32 löschen.

Nach einem Erkennen eines Objektes speichert das körperliches-Objekt- Erkennungsteil 23 die Attribute von Objekten, welche in dem aktuellen Zyklus erkannt wurden, in dem Objektspeicher 25. Darüber hinaus ver­ wendet das körperliches-Objekt-Erkennungsteil 23 die Abstände des in dem vorhergehenden Zyklus erkannten Objekts sowie des in dem aktuel­ len Zyklus erkannten Objekts und berechnet die Relativgeschwindigkeit des Fahrzeugs bezüglich des körperlichen Objekts auf Grundlage eines aus der folgenden Berechnungsformel bestimmten Wertes: (aktueller Abstand - vorheriger Abstand)/Erfassungszeitintervall. Das Erkennungsteil 23 speichert die Relativgeschwindigkeit in dem Objektspeicher 25. Wie oben beschrieben wurde, ist das Erfassungszeitintervall der Zeitunter­ schied zwischen der vorherigen Messung und der aktuellen Messung und kann beispielsweise bei 60 bis 100 Millisekunden eingestellt sein.

Fahrzeugsteuerung/Regelung

Die Fahrzeugsteuer/Regeleinrichtung 45 prüft, ob ein Fehlerstatus-Merker in dem Fehlerspeicher 16 gesetzt ist. Falls der Fehlerstatus-Merker ge­ setzt ist, befindet sich das im aktuellen Zyklus erfasste Bild in einem Fehlerzustand und die Fahrzeugssteuer/Regeleinrichtung 45 deaktiviert die Fahrzeugsteuerung/Regelung auf Grundlage der Ergebnisse einer von dem körperliches-Objekt-Erfassungsteil 23 durchgeführten Verarbeitung. In diesem Falle kann die Fahrzeugsteuer/Regeleinrichtung 45 den Fahrer von dem Fehlerzustand unterrichten.

Falls umgekehrt ein Fehlerstatusmerker nicht gesetzt ist, wird das das System tragende Fahrzeug auf Grundlage der Ergebnisse einer von dem körperliches-Objekt-Erkennungsteil 23 durchgeführten Verarbeitung ge­ steuert/geregelt. Die Fahrzeugsteuer/Regeleinrichtung 45 kann das Fahr­ zeug sowohl auf Grundlage der in dem Objektspeicher 25 gespeicherten Information wie z. B. Objektpositionen und Relativgeschwindigkeiten, als auch der von einer Fahrzeuggeschwindigkeitserfassungsvorrichtung 46 und einer Gierratenerfassungsvorrichtung 47 erhaltenen Information derart steuern/regeln, dass es einen ordnungsgemäßen Abstand zu den körperlichen Objekten beibehält.

Beispielsweise kann die Fahrzeugsteuer/Regeleinrichtung 45 eine Warn­ vorrichtung aktivieren, um den Fahrer vor einer zu großen Annäherung an bzw. einem zu dichten Auffahren auf das vorausfahrende Fahrzeug zu warnen, oder kann ein Signal zu einer ECU (elektronic control unit = elektronische Steuer/Regeleinheit) und einer Bremssteuer/Regeleinheit senden, um das Fahrzeug kräftig abzubremsen. Zur gleichen Zeit kann die Fahrzeugssteuer/Regeleinrichtung 45 den Fahrbereich des Fahrzeugs bestimmen und das Fahrzeug auf Grundlage von von der Fahrzeugge­ schwindigkeitserfassungsvorrichtung 46 erhaltenen Geschwindigkeits­ daten des Fahrzeugs und eines von der Gierratenerfassungsvorrichtung 47 empfangenen Gierratensignals derart steuern/regeln, dass es einen ordnungsgemäßen Abstand zu den körperlichen Objekten beibehält.

Um eine Erkennung von Objekten zu gewährleisten, ist es bevorzugt, dass die Fahrzeugsteuer/Regeleinrichtung 45 das Fahrzeug nur dann steuert/regelt, wenn das gleiche Objekt eine vorbestimmte Anzahl von Malen in einer Reihe durch Überprüfen der Identität von zuvor erkannten und aktuell erkannten Objekten erkannt wird. Die Zuverlässigkeit einer Erkennung kann durch Verwenden der aus zwei oder drei Erkennungsver­ arbeitungszyklen erhaltenen Ergebnisse verbessert werden.

Bei der oben beschriebenen Ausführungsform wird die Folge von Objekt­ erkennungsprozessen parallel zu dem durch den Fehlerdetektor 14 durch­ geführten Fehlererfassungsprozess durchgeführt. Alternativ ist es mög­ lich, das Ablaufen der Folge von Objekterkennungsprozessen zu starten, falls der Fehlerdetektor 14 keinen Fehlerzustand findet, und die Objekt­ erkennungsverarbeitung zu stoppen, falls der Fehlerdetektor 14 einen Fehlerzustand findet. In diesem Fall prüft das körperliches-Objekt-Erken­ nungsteil 23 (oder möglicherweise das Gruppierungsauswahlteil 21 oder das Kandidatenerzeugungsteil 22), ob ein Fehlerstatusmerker im Fehler­ speicher 16 gesetzt ist. Falls der Merker gesetzt ist, wird die nachfol­ gende Verarbeitung des gegebenen Bildes im aktuellen Zyklus gehemmt.

Das Korrelationsberechnungsteil 6, das Abstandsmessteil 7, der Ab­ standsspeicher 8, das Fensterausschnittsteil 13, die Abstandsumwand­ lungstabelle 9, das Gruppierungsteil 11, der Gruppierungsspeicher 15, das Gruppierungsbeurteilungsteil 12, der körperliches-Objekt-Speicher 25, das körperliches-Objekt-Folgerungsteil 31, das Gruppierungsauswahl­ teil 21, das Kandidatenerzeugungsteil 22, das körperliches-Objekt-Erken­ nungsteil 23, der gefolgertes-körperliches-Objekt-Speicher 32 und die Fahrzeugsteuer/Regeleinrichtung 45 können durch eine Mikrosteuer/Re­ geleinrichtung realisiert sein, welche typischerweise eine zentrale Ver­ arbeitungseinheit (CPU = central processing unit), einen Nur-Lesespei­ cher (ROM = read only memory) mit Steuerprogrammen und Daten und einen Random-Access-Speicher (RAM), welcher einen Arbeitsbereich für die CPU und einen temporären Speicher für verschiedene Daten bereit­ stellt, umfasst. Mit anderen Worten: Im ROM gespeicherte Computer­ programme realisieren die oben beschriebenen Funktionen der in Fig. 1 gezeigten funktionalen Blöcke.

Der Abstandsspeicher 8, die Abstandsumwandlungstabellen 9, der Grup­ pierungsspeicher 15, der gefolgertes-körperliches-Objekt-Speicher 32 und der körperliches-Objekt-Speicher 25 kann unter Verwendung verschiede­ ner Speicherbereiche eines einzigen RAMs realisiert werden. Temporäre Speicherbereiche für Daten, welche in verschiedenen Operationstypen erforderlich sind, können ebenso durch Abschnitte des gleichen RAMs vorgesehen sein.

Die Objekterkennungsvorrichtung der vorliegenden Erfindung kann LAN­ verbunden mit einer elektronischen Motorsteuer/Regeleinheit (Motor- ECU), einer Bremssteuerungs/Regelungs-ECU und anderen ECUs sein, und die Ausgabe von dieser Objekterkennungsvorrichtung kann für eine Gesamtsteuerung/Regelung des Fahrzeugs verwendet werden.

Ein Objekterkennungssystem umfasst wenigstens zwei Bildsensoren und eine Steuer/Regeleinrichtung, welche geeignet ist, den Abstand von dem System zu einem körperlichen Objekt bezüglich jeweiliger Fenster eines durch die Sensoren erfassten Bildes zu messen. Die Steuer/Regeleinrich­ tung ist weiterhin programmiert, Gruppierungen durch Vereinigen benach­ barter Fenster zu bilden, welche ähnliche gemessene Abstände aufwei­ sen. Die Steuer/Regeleinrichtung ist programmiert, auf Grundlage der Attribute der Gruppierung zu beurteilen, ob jede der Gruppierungen gültig oder ungültig ist, und ein Objekt auf Grundlage der als gültig beurteilten Gruppierungen zu erkennen. In einer Ausführungsform sind die Attribute der Gruppierung eine Fläche der Gruppierung. Die Steuer/Regeleinrich­ tung berechnet die Fläche der Gruppierung auf Grundlage der Anzahl von in der Gruppierung enthaltenen Fenster und des gemessenen Abstandes eines jeden Fensters und beurteilt, dass die Gruppierung gültig ist, falls die Fläche größer als ein vorbestimmter Schwellenwert ist. Die Steuer/­ Regeleinrichtung erfasst einen beliebigen Fehlerzustand des erfassten Bildes auf Grundlage der Anzahl von als ungültig beurteilten Gruppierun­ gen. Bei einer weiteren Ausführungsform sind die Attribute der Gruppie­ rung die Anzahl von in der Gruppierung enthaltenen Fenstern. Die Steu­ er/Regeleinrichtung beurteilt, dass die Gruppierung gültig ist, falls die Anzahl von in der Gruppierung enthaltenen Fenstern größer als ein Schwellenwert ist, welcher gemäß der gemessenen Abstände der in der Gruppierung enthaltenen Fenster vorbestimmt ist. Die Steuer/Regelein­ richtung erfasst einen beliebigen Fehlerzustand des erfassten Bildes auf Grundlage des Verhältnisses der Anzahl von als ungültig beurteilten Grup­ pierungen zur Gesamtanzahl von in dem erfassten Bild erhaltenen Grup­ pierungen.

Die deutsche Patenanmeldung DE 100 29 423, entsprechend der japa­ nischen Patentanmeldung JP 11-169567 (Anmeldenummer), gilt als Teil der Offenbarung der vorliegenden Anmeldung.

Claims (14)

1. Objekterkennungssystem mit wenigstens zwei Bildsensoren (3, 3') und einer Steuer/Regeleinrichtung (4, 4', 5, 5', 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 21, 22, 23, 25, 31, 32, 45, 46, 47), welche ausgebildet ist, einen Abstand (a) von dem System zu einem Objekt (20; 65, 66; 75, 76; 77, 78, 79; 80; 91, 92, 93) in bezug auf jeweilige Fenster (W₁₁, W₁₂, W_1F, W_A1, W_AF) eines durch die Sensoren (3, 3') erfassten Bildes zu messen, wobei die Steuer/Regeleinrichtung programmiert ist,
durch Vereinigung benachbarter Fenster (W₇₅, W₈₄, W₈₅), welche ähnliche gemessene Abstände (a) aufweisen, Grup­ pierungen (C11-C17; C21-C31) zu bilden,
auf Grundlage der Attribute der Gruppierung (C11-C17; C21-C31) jede Gruppierung (C11-C17; C21-C31) dahinge­ hend zu beurteilen, ob sie gültig oder ungültig ist, und
das körperliche Objekt (20; 65, 66; 75, 76; 77, 78, 79; 80; 91, 92, 93) auf Grundlage der als gültig beurteilten Gruppie­ rungen (C11-C17; C21-C31) zu erkennen.

2. Objekterkennungssystem nach Anspruch 1, dadurch gekennzeichnet, dass die Attribute der Gruppierung (C11-C17; C21-C31) eine Fläche (A) der Gruppierung (C11-C17; C21-C31) umfassen, und dass die Steuer/Regeleinrichtung (4, 4', 5, 5', 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 21, 22, 23, 25, 31, 32, 45, 46, 47) program­ miert ist,
eine Fläche (A) der Gruppierung (C11-C17; C21-C31) auf Grundlage der Anzahl von in der Gruppierung (C11-C17; C21-C31) enthaltenen Fenstern und des gemessenen Ab­ standes (a) eines jeden Fensters zu berechnen, sowie
zu beurteilen, dass die Gruppierung (C11-C17; C21-C31) gültig ist, falls die Fläche (A) größer als ein vorbestimmter Schwellenwert ist.

3. Objekterkennungssystem nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Attribute der Gruppierung (C11-C17; C21-C31) die An­ zahl von in der Gruppierung (C11-C17; C21-C31) enthaltenen Fenstern (W₁₁, W₁₂, W_1F, W_A1, W_AF) umfassen, und dass die Steu­ er/Regeleinrichtung (4, 4', 5, 5', 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 21, 22, 23, 25, 31, 32, 45, 46, 47) programmiert ist, zu beurteilen, dass die Gruppierung (C11-C17; C21-C31) gültig ist, falls die Anzahl von in der Gruppierung (C11-C17; C21-C31) ent­ haltenen Fenstern größer als ein Schwellenwert ist, welcher nach Maßgabe der gemessenen Abstände (a) der in der Gruppierung (C11-C17; C21-C31) enthaltenen Fenster vorbestimmt ist.

4. Objekterkennungssystem nach einem der vorhergehenden Ansprü­ che, dadurch gekennzeichnet, dass die Steuer/Regeleinrichtung (4, 4', 5, 5', 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 21, 22, 23, 25, 31, 32, 45, 46, 47) weiterhin programmiert ist, einen beliebigen Fehlerzustand des erfassten Bildes auf Grundlage der Anzahl von als ungültig beurteilten Grup­ pierungen zu erfassen.

5. Objekterkennungssystem nach einem der vorhergehenden Ansprü­ che, dadurch gekennzeichnet, dass die Steuer/Regeleinrichtung (4, 4', 5, 5', 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 21, 22, 23, 25, 31, 32, 45, 46, 47) weiterhin programmiert ist, einen beliebigen Fehlerzustand des erfassten Bildes auf Grundlage des Verhältnisses der Anzahl von als ungültig beurteilten Gruppierungen zur Gesamtanzahl von in dem erfassten Bild enthaltenen Gruppierungen (C11-C17; C21-C31) zu erfassen.

6. Objekterkennungssystem nach Anspruch 4 oder 5, dadurch gekennzeichnet, dass der Prozess des Erkennens des Objektes (20; 65, 66; 75, 76; 77, 78, 79; 80; 91, 92, 93) oder die Steuerung/Regelung des das System tragenden Fahrzeugs auf Grundlage des erkannten Objek­ tes (20; 65, 66; 75, 76; 77, 78, 79; 80; 91, 92, 93) deaktiviert ist, falls die Steuer/Regeleinrichtung (4, 4', 5, 5', 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 21, 22, 23, 25, 31, 32, 45, 46, 47) beur­ teilt, dass sich das erfasste Bild im Fehlerzustand befindet.

7. Objekterkennungssystem nach Anspruch 2, dadurch gekennzeichnet, dass die Fläche (A) der Gruppierung (C11-C17; C21-C31) gemäß der folgenden Gleichung berechnet wird:
wobei µ_h die horizontale Länge eines Fensters (W₁₁, W₁₂, W_1F, W_A1, W_AF) ist, µ_v die vertikale Länge des Fensters (W₁₁, W₁₂, W_1F, W_A1, W_AF) ist, D_ave der Durchschnitt der gemessenen Abstände von die Gruppierung bildenden Fenstern ist und N die Anzahl der die Grup­ pierung bildenden Fenster ist.

8. Objekterkennungssystem nach Anspruch 3, dadurch gekennzeichnet, dass der Schwellenwert N₀ gemäß der folgenden Gleichung be­ rechnet wird:
wobei A₀ ein vorbestimmter Schwellenwert für die Fläche der Gruppierung (C11-C17; C21-C31) ist, µ_h die horizontale Länge eines Fensters (W₁₁, W₁₂, W_1F, W_A1, W_AF) ist, µ_v die vertikale Länge des Fensters (W₁₁, W₁₂, W_1F, W_A1, W_AF) ist, D der gemessene Abstand der Gruppierung (C11-C17; C21-C31) ist und f die Brennweite einer in dem Bildsensor (3, 3') eingebauten Linse (Linse 23, Linse 24; Linse 81) ist.

9. Verfahren zur Erkennung eines körperlichen Objektes (20; 65, 66; 75, 76; 77, 78, 79; 80; 91, 92, 93) vor einem Fahrzeug, gekennzeichnet durch:
Erfassen eines Bildes vor dem Fahrzeug;
Messen eines Abstandes (a) von dem Fahrzeug zum körperli­ chen Objekt (20; 65, 66; 75, 76; 77, 78, 79; 80; 91, 92, 93) in Bezug auf jeweilige Fenster (W₁₁, W₁₂, W_1F, W_A1, W_AF) des erfassten Bildes;
Vereinigen benachbarter Fenster (W₇₅, W₈₄, W₈₅), welche ähnliche gemessene Abstände (a) aufweisen, um Gruppie­ rungen (C11-C17; C21-C31) zu bilden;
Beurteilen einer jeden Gruppierung (C11-C17; C21-C31) dahingehend, ob sie gültig oder ungültig ist, auf Grundlage der Attribute der Gruppierung (C11-C17; C21-C31); sowie
Erkennen des körperlichen Objektes (20; 65, 66; 75, 76; 77, 78, 79; 80; 91, 92, 93) auf Grundlage der als gültig beurteilten Gruppierungen (C11-C17; C21-C31).

10. Verfahren nach Anspruch 9, dadurch gekennzeichnet, dass die Attribute der Gruppierung (C11-C17; C21-C31) die Fläche (A) der Gruppierung (C11-C17; C21-C31) umfassen, und dass der Schritt des Beurteilens umfasst:
Berechnen einer Fläche (A) der Gruppierung (C11-C17; C21-­ C31) auf Grundlage der Anzahl von in der Gruppierung (C11-C17; C21-C31) enthaltenen Fenstern sowie des ge­ messenen Abstands eines jeden Fensters, und
Beurteilen, dass die Gruppierung (C11-C17; C21-C31) gültig ist, falls die Fläche (A) größer als ein vorbestimmter Schwel­ lenwert ist.

11. Verfahren nach Anspruch 9 oder 10, dadurch gekennzeichnet, dass die Attribute der Gruppierung (C11-C17; C21-C31) die An­ zahl von in der Gruppierung (C11-C17; C21-C31) enthaltenen Fenster umfassen, und dass der Schritt des Beurteilens umfasst:
Beurteilen, dass die Gruppierung (C11-C17; C21-C31) gültig ist, falls die Anzahl von in der Gruppierung (C11-C17; C21-­ C31) enthaltenen Fenstern größer ist als ein Schwellenwert, welcher nach Maßgabe der gemessenen Abstände der in der Gruppierung (C11-C17; C21-C31) enthaltenen Fenster vor­ bestimmt ist.

12. Verfahren nach einem der Ansprüche 9 bis 11, weiterhin gekennzeichnet durch ein Erfassen eines beliebigen Fehlerzustands des erfassten Bildes auf Grundlage der Anzahl von als ungültig beurteilten Gruppierungen.

13. Verfahren nach einem der Ansprüche 9 bis 12, weiterhin gekenn­ zeichnet durch ein Erfassen eines beliebigen Fehlerzustandes des erfassten Bildes auf Grundlage des Verhältnisses der Anzahl von als ungültig beurteilten Gruppierungen zu der Gesamtanzahl von in dem erfassten Bild enthaltenen Gruppierungen (C11-C17; C21-­ C31).

14. Verfahren nach Anspruch 12 oder 13, dadurch gekennzeichnet, dass der Schritt des Erkennens oder die Steuerung/Regelung des Fahrzeugs auf Grundlage des erkannten Objekts (65, 66; 75, 76; 77, 78, 79; 80; 91, 92, 93) deaktiviert wird, falls beurteilt wird, dass sich das erfasste Bild in dem Fehler­ zustand befindet.