-
TECHNISCHES GEBIET
-
Die vorliegende Erfindung betrifft Kollisionswarn- und Gegenmaßnahmensysteme für ein Kraftfahrzeug und insbesondere ein System und ein Verfahren zur Ausführung von Objektdetektion und -zuordnung mit Hilfe von mehreren gleichartigen und ungleichartigen Sensoren.
-
HINTERGRUND DER ERFINDUNG
-
Kollisionswarn- und Gegenmaßnahmensysteme werden zunehmend verbreitet eingesetzt. Kollisionswarnsysteme können vorzugsweise ein etwa 50 m–100 m von einem Trägerfahrzeug entferntes Objekt erfassen und beurteilen, ob das erfasste Objekt ein Hindernis ist und eine Bedrohung für das Trägerfahrzeug darstellt. Diese Systeme vermitteln einem Fahrzeugführer auch Wissen und Gewahrsein von Hindernissen oder Fahrzeugen innerhalb großer zeitlicher Nähe, so dass der Fahrer Maßnahmen ergreifen kann, um eine Kollision mit den erfassten Hindernissen zu verhindern. Gegenmaßnahmensysteme gibt es in verschiedenen passiven und aktiven Ausführungen. Manche Gegenmaßnahmensysteme werden dazu genutzt, zum Verhindern einer Kollision beizutragen, andere werden dazu genutzt, zum Verhindern einer Verletzung eines Fahrzeugführers beizutragen.
-
Manche Kollisionswarnsysteme und Gegenmaßnahmensysteme können ein Fahrzeug oder Objekt in großer Nähe zu einem Trägerfahrzeug erfassen und den Fahrer eines Trägerfahrzeugs warnen, so dass der Fahrer vorbeugende Schritte zur Verhinderung einer Kollision oder Verletzung ergreifen kann. Die Kollisionswarnsysteme können nach vorne oder nach hinten erfassen. Diese Systeme zeigen einem Fahrzeugführer an, dass sich ein Objekt, das für den Fahrzeugführer eventuell nicht sichtbar ist, innerhalb eines bestimmten Abstands und einer bestimmten Position zum Trägerfahrzeug befindet. Der Fahrzeugführer kann dann entsprechend reagieren. Andere Kollisionswarnsysteme und Gegenmaßnahmensysteme aktivieren passive Gegenmaßnahmen wie Airbags, kraftbegrenzende Sitzgurte oder aktive Fahrzeugregelung einschließlich Lenkregelung, Beschleunigungsregelung oder Bremsregelung, wodurch das System selbst zur Verhinderung einer Kollision oder Verletzung beiträgt.
-
Getrennt von Kollisionswarnsystemen und Gegenmaßnahmensystemen gibt es andere Systeme für das autonome Regeln eines Fahrzeugs. Diese Systeme können Sensoren wie Kameras, Radarsensoren oder Ultraschallsensen zum Erheben von Informationen und Nutzen dieser Informationen bei Aktivierung der Lenkregelung, Bremsregelung und Beschleunigungsregelung einschließen. Autonome Systeme wurden bisher vorrangig für militärische Anwendungen eingesetzt, wurden aber nicht für das Ausgeben einer Kollisionswarnung oder für das Verhindern einer Verletzung bei Kraftfahrzeugen genutzt.
-
Bei der Bedrohungseinstufung, Detektion und Erkennung eines Objekts auf der Strecke eines Trägerfahrzeugs wurden bisher mehrere Sensoren unterschiedlicher Arten verwendet. Die Sensoren werden zum Erfassen eines Objekts verwendet, gefolgt vom Einsatz parametrischer Zuordnungs-/Schätzverfahren, um zu bestätigen, wann ein Objekt eine mögliche Bedrohung für das Trägerfahrzeug und für die Insassen des Trägerfahrzeugs darstellt. Das betroffene Objekt kann ein reales Objekt oder ein falsches Objekt sein. Falsche Objekte können zum Beispiel erfasst werden, wenn sich ein stehendes Objekt am Fahrbahnrand befindet, das als echtes, möglicherweise eine Kollision verursachendes Objekt prognostiziert wird, oder wenn sich ein kleines Objekt, das keine mögliche Bedrohung darstellt, auf der Strecke des Trägerfahrzeugs befindet und als ein möglicherweise eine Kollision verursachendes Objekt erkannt und falsch klassifiziert wird. Ein weiteres Beispiel für die Erzeugung falscher Objekte ist, wie in dem Gebiet bekannt, das falsche Erzeugen eines fiktiven Objekts, das in Wirklichkeit nicht existiert, durch das Kollisionswarn- und Gegenmaßnahmensystem.
-
Die Kollisionswarn- und Gegenmaßnahmensysteme erheben Daten von mehreren Sensoren und assoziieren, verschmelzen oder kombinieren die Daten, um zu ermitteln, ob es sich bei den erfassten Objekten um reale Objekte und nicht um falsche Objekte handelt. Die Vorteile der Verwendung von Daten von mehreren Sensoren umfassen größere räumliche und zeitliche Erfassung, größere Genauigkeit bei der Ermittlung, ob ein Objekt eine mögliche Bedrohung darstellt, und größere Zuverlässigkeit bei der Detektion von Objekten in großer Nähe zum Trägerfahrzeug, wodurch eine bessere Beurteilung der Umgebung des Fahrzeugs möglich wird.
-
Die Wahl der Architektur für das Verarbeiten der Objektinformationen, welche kostengünstig ist und die relevanten Informationen so schnell liefern kann, dass eine geeignete Maßnahme ergriffen werden kann, ist ausschlaggebend für die Ermittlung, ob eine bestimmte Technologie praktisch geeignet ist. Zur Zeit ist man bestrebt, Kameras bei der Detektion und Klassifizierung von Objekten zu verwenden. Leider ist die derzeitige Kameratechnologie nicht kostengünstig und fordert ein hohes Maß an Verarbeitungsleistung und -zeit für die Berechnung der relevanten Informationen, die zur Verwendung im Fahrzeug benötigt werden. Die Bildverarbeitung einer Kamera mit ladungsgekoppelten Bauelementen (CCD) ist aufgrund einer großen Datenmenge, die pro Bild erhoben wird, etwa 640×480 Pixel pro Einzelbild bei 30 Einzelbildern pro Sekunde, zeitaufwändig. Zeit ist bei der Verhinderung einer Kollision ausschlaggebend. Das präzise Klassifizieren und Verfolgen eines Objekts kann die Aufnahme von einigen zehn bis einigen hundert Einzelbildern mit Daten erfordern, die jeweils eine gewünschte Mindestauflösung aufweisen, wodurch die derzeitige Kameratechnologie für Verwendung im Fahrzeug unbrauchbar wird.
-
Es besteht der Wunsch, ein sichereres Kraftfahrzeug mit größerer Kollisionswarn- und Sicherheitsgegenmaßnahmenintelligenz an die Hand zu geben, um die Wahrscheinlichkeit einer Kollision oder einer Verletzung zu verringern. Daher ist es wünschenswert, ein verbessertes Kollisionswarn- und Sicherheitsgegenmaßnahmensystem für ein Kraftfahrzeug an die Hand zu geben, das die Nutzung von Multisensortechnologien integriert und ein wirksameres Kollisions- und Verletzungsverhinderungssystem für ein Kraftfahrzeug an die Hand gibt.
-
Aus der
WO03/001472 A1 ist ein Verfahren zur Ausführung einer Objektdetektion innerhalb eines Kollisionswarn- und Gegenmaßnahmensystems bekannt. Darin werden Bildbereiche, in denen vom Radarsensor kein Objekt detektiert wurde, ausgeschlossen.
-
ZUSAMMENFASSENDE BESCHREIBUNG DER ERFINDUNG
-
Die vorliegende Erfindung gibt ein System und ein Verfahren für das Detektieren von Objekten in großer Nähe zu einem Kraftfahrzeug mit Hilfe von Objektdetektions- und Bilderzeugungstechnologien wie zum Beispiel elektromagnetische bzw. elektrooptische Technologien an die Hand. Ein Verfahren für das Ausführen einer Objektdetektion in einem Kollisionswarn- und Gegenmaßnahmensystem wird an die Hand gegeben. Das Verfahren umfasst das Erfassen & Erzeugen eines Objektdetektionssignals und das Erzeugen eines Bilddetektionssignals. Als Reaktion auf das Objektdetektionssignal und das Bilddetektionssignal werden Reflexionszentren und Intensitätszentren ermittelt. Die Intensitätszentren werden für mehrere Einzelbilder den Reflexionszentren zugeordnet. Es werden pro Einzelbild Unterschiede zwischen den Reflexionszentren und den Intensitätszentren ermittelt und es wird ein Sensordifferenzsignal erzeugt. Ein Objekt wird als Reaktion auf das Sensordifferenzsignal klassifiziert.
-
Einer von mehreren Vorteilen der vorliegenden Erfindung liegt darin, dass sie ein Kollisionswarn- und Gegenmaßnahmensystem an die Hand gibt, das die Bildverarbeitungszeit, die Prozessoranforderungen, die Speicheranforderungen und die Komplexität minimiert, so dass es eine kostengünstige und praktikable Lösung für den Einsatz bereits existierender Kameratechnologie im Fahrzeug an die Hand gibt.
-
Ein weiterer Vorteil der vorliegenden Erfindung liegt darin, dass sie ein Verfahren für das Zuordnen von Daten, die von elektromagnetischen und elektrooptischen Sensoren wie Radarsensoren und Kameras erhoben werden, an die Hand gibt, um die Objekte besser und effizienter klassifizieren und zu verfolgen.
-
Weiterhin passt die vorliegende Erfindung für jedes Einzelbild kontinuierlich einen relevanten Bereich und ein entsprechendes Intensitätszentrum an, um eine größere Gewissheit bezüglich eines Objekts und eine verbesserte Verfolgungsleistung an die Hand zu geben.
-
Die vorliegende Erfindung selbst lässt sich zusammen mit den damit einhergehenden Vorteilen am Besten durch Lesen der folgenden eingehenden Beschreibung in Verbindung mit den Begleitfiguren verstehen.
-
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
Für ein umfassenderes Verständnis dieser Erfindung soll nun Bezug auf die in den Begleitfiguren detaillierter dargestellten und nachstehend anhand von erfindungsgemäßen Beispielen beschriebenen Ausführungen genommen werden. Hierbei zeigen:
-
1 eine Blockdiagrammdarstellung eines Kollisionswarn- und Gegenmaßnahmensystems für ein Kraftfahrzeug nach einer erfindungsgemäßen Ausführung;
-
2A ein Logikflussdiagramm, welches ein Verfahren zur Ausführung der Objektdetektion innerhalb des Kollisionswarn- und Gegenmaßnahmensystems nach einer erfindungsgemäßen Ausführung zeigt;
-
2B eine Fortsetzung des Logikflussdiagramms von 2A nach einer erfindungsgemäßen Ausführung;
-
3 ein Beispiel einer Darstellung eines elektromagnetischen Sensorerfassungsbereichs, welches die Entfernung und die Azimutwinkel erfasster Objekte gemäß einer erfindungsgemäßen Ausführung veranschaulicht;
-
4 ein beispielhaftes Einzelbild nach einer erfindungsgemäßen Ausführung, das den erfassten Objekten von 3 entspricht;
-
5 ein Beispiel eines Einzelbilds mit Perspektivenumwandlung, welches beispielhafte relevante Bereiche, Reflexionszentren und Intensitätszentren nach einer erfindungsgemäßen Ausführung veranschaulicht;
-
6 ein Einzelbilddiagramm, welches beispielhafte Radarbilder und zugeordnete Einzelbilder nach einer erfindungsgemäßen Ausführung veranschaulicht;
-
7A ein Diagramm eines beispielhaften Einzelbilds nach einer erfindungsgemäßen Ausführung, welches aktualisierte relevante Bereiche für Objekte zeigt, die sich einem Trägerfahrzeug nähern; und
-
7B ein beispielhaftes Einzelbild nach einer erfindungsgemäßen Ausführung, welches prognostizierte relevante Bereiche für Objekte zeigt, die sich vom Trägerfahrzeug entfernen.
-
EINGEHENDE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNG
-
In den folgenden Figuren werden die gleichen Bezugszeichen zur Bezeichnung gleicher Teile verwendet. Zwar wird die vorliegende Erfindung bezüglich eines Systems und Verfahrens zur Detektion und Verfolgung von Objekten in großer Nähe zu einem Kraftfahrzeug mit Hilfe sowohl elektromagnetischer Erfassung als auch elektrooptischer Technologien beschrieben, doch kann die vorliegende Erfindung an verschiedene Systeme angepasst und auf diese übertragen werden, darunter: Kollisionswarnsysteme, Kollisionsvermeidungssysteme, Parkhilfesysteme, Rückfahrhilfesystemen, Gegenmaßnahmensysteme, Fahrzeugsysteme oder andere Systeme, die eine Kollisionsvermeidung oder Kollisionsabschätzung erfordern können.
-
In der folgenden Beschreibung werden verschiedene Betriebsparameter und -komponenten für eine Konstruktionsausführung beschrieben. Diese spezifischen Parameter und Komponenten dienen als Beispiele und sollen nicht einschränkend gelten.
-
In der folgenden Beschreibung kann zudem der Begriff ”Ausführen” das Aktivieren, Einsetzen, Einleiten, Einschalten und andere in dem Gebiet bekannte Begriffe einschließen, die die Art und Weise beschreiben, in welcher eine passive Gegenmaßnahme vorgenommen werden kann.
-
Ferner kann der Begriff ”Gegenmaßnahme” in der folgenden Beschreibung reversible oder irreversible Gegenmaßnahmen bezeichnen. Reversible Gegenmaßnahmen bezeichnen Gegenmaßnahmen, die wieder in ihren ursprünglichen Zustand versetzt werden können oder ohne ein erhebliches Maß funktioneller Einbuße wiederholt verwendet werden können, welche von einem Systemdesigner ermittelt werden können. Irreversible Gegenmaßnahmen bezeichnen Gegenmaßnahmen wie Airbags, die nach einmaliger Verwendung nicht wiederverwendbar sind.
-
Zudem kann ein Gegenmaßnahmensignal Informationen bezüglich der oben genannten reversiblen und irreversiblen Gegenmaßnahmen umfassen oder kann andere Informationen wie z. B. Kollisionswarninformationen umfassen. Das Gegenmaßnahmensignal kann zum Beispiel Objektdetektionsinformationen enthalten, welche dazu genutzt werden können, einem Fahrzeugführer das Vorhandensein oder die große Nähe eines erfassten Objekts anzuzeigen.
-
Unter Bezug nun auf 1 wird eine Blockdiagrammdarstellung eines Kollisionswarn- und Gegenmaßnahmensystems 10 für ein Kraftfahrzeug bzw. ein Trägerfahrzeug 12 nach einer erfindungsgemäßen Ausführung gezeigt. Das System 10 umfasst elektromagnetische Sensoren 14 und mindestens einen elektrooptischen Sensor 16, welche mit einem Hauptsteuergerät 18 elektrisch verbunden. sind. Das Steuergerät 18 kombiniert die von den elektromagnetischen Sensoren 14 und dem elektrooptischen Sensor 16 empfangenen Informationen, um Objekte von mehreren Sensoren für den Zweck der Objektverfolgung und Bedrohungsbeurteilung innerhalb großer Nähe zum Fahrzeug 12 zu erfassen und zuzuordnen. Das System 10 kann auch verschiedene Fahrzeugdynamiksensoren 20, aktive Gegenmaßnahmen 22, passive Gegenmaßnahmen 24 und eine Anzeige 26 umfassen, die allesamt mit dem Steuergerät 18 elektrisch verbunden sind. Das Hauptsteuergerät 18 kann die Gegenmaßnamen 22 und 24 aktivieren oder einem Fahrzeugführer verschiedene Objekt- und Fahrzeuginformationen über die Anzeige 26 anzeigen, um eine Fahrzeugkollision und eine Verletzung der Fahrzeuginsassen zu verhindern.
-
Bei der Ermittlung von Sensoren, die für eine bestimmte Anwendung geeignet sind, werden Faktoren wie Entfernung, Entfernungsunterschied, Form und Größe eines Objekts berücksichtigt. In einer bevorzugten erfindungsgemäßen Ausführung werden aktive Sensoren in Form von Radar als elektromagnetische Sensoren 14 und ein passiver Sensor in Form einer Kamera als elektrooptischer Sensor 16 für den Zugriff auf die Umgebung des Trägerfahrzeugs 12 verwendet. Radar liefert abgeleitete Messungen wie Entfernung, Entfernungsunterschied, Azimutwinkel, Höhe und ungefähre Größe eines Objekts sowie andere in dem Gebiet bekannte Informationen. Eine Kamera kann abgeleitete Messungen wie Ort, Größe und Form eines Objekts liefern.
-
Die elektromagnetischen Sensoren 14 können von unterschiedlicher Sensortechnologie sein, wie Radar, Lidar oder andere in dem Gebiet bekannte Sensortechnologieformen, und können als aktive Sensoren bezeichnet werden. Die elektromagnetischen Sensoren 14 erzeugen bei Erfassen von einem oder mehreren Objekten unterschiedlicher Große und Form mehrere Objektdetektionssignale (RCS, Frequenz & Zeit). Zwar werden vier elektromagnetische Sensoren gezeigt, doch kann eine beliebige Anzahl an elektromagnetischen Sensoren verwendet werden. In der vorliegenden Erfindung werden die Objektdetektionssignale dazu benutzt, abgeleitete Messungen wie die relative Entfernung, den Azimutwinkel, die Geschwindigkeit und Peilwerte eines Objekts sowie andere in dem Gebiet bekannte Objektinformationen zu berechnen.
-
Wenngleich der elektrooptische Sensor 16 bevorzugt eine Kamera mit ladungsgekoppelten Bauelementen (CCD) ist, kann er auch von anderer Art sein, zum Beispiel eine Kamera, welche eine komplementäre Metalloxid-Halbleitertechnologie nutzt (CMOS). Der elektrooptische Sensor 16 kann als passiver Sensor bezeichnet werden. Der elektrooptische Sensor 16 ist ein zweidimensionales Bauteil, das unterschiedliche Auflösung, Genauigkeit, Bildfeld (FOV) und Siliziumwafereignung aufweisen kann.
-
Die elektromagnetischen Sensoren 14 können als primäre Sensoren und die elektrooptischen Sensoren 16 können als sekundäre Sensoren betrachtet werden.
-
Das Hauptsteuergerät 18 beruht vorzugsweise auf einem Mikroprozessor wie z. B. einem Rechner mit einer zentralen Recheneinheit, Speicher (RAM und/oder ROM) und zugehörigen Eingabe- und Ausgabebussen. Das Hauptsteuergerät 18 kann ein Teil einer zentralen Fahrzeug-Hauptsteuervorrichtung, eines interaktiven Fahrzeugdynamikmoduls, eines Rückhaltesteuermoduls, eines Hauptsicherheitssteuergeräts sein oder kann wie gezeigt ein autonomes Steuergerät sein.
-
Die Fahrzeugdynamiksensoren 20 können einen Übertragungsrotationssensor, einen Raddrehzahlfühler, einen Beschleunigungsaufnehmer, einen optischen Sensor oder andere in dem Gebiet bekannte Geschwindigkeits- oder Beschleunigungssensoren umfassen. Die Fahrzeugdynamiksensoren 20 werden zur Ermittlung der Geschwindigkeit und Beschleunigung des Fahrzeugs 20 und zur Erzeugung eines Fahrzeugdynamiksignals verwendet.
-
Die aktiven Gegenmaßnahmen 22 können die Steuerung einer Bremsanlage 22a, eines Antriebsstrangsystems 22b, einer Lenkung 22c, einer Fahrwerksteuerung 22d und andere in dem Gebiet bekannte aktive Gegenmaßnahmen umfassen.
-
Die passiven Gegenmaßnahmen 24 können passive Gegenmaßnahmen wie Airbags 24a, Gurtstraffmechanismen 24b, aufblasbare Sicherheitsgurte 24c, eine kraftbegrenzende Pedal- und Lenksäule 24d und andere in dem Gebiet bekannte passive Gegenmaßnahmen und Steuerungen derselben umfassen. Einige mögliche passive Gegenmaßnahmen, die enthalten sein können, aber nicht gezeigt sind, sind eine Sicherheitsgurtsteuerung, Knieschutzpolstersteuerung, Kopfstützensteuerung, kraftbegrenzende Pedalsteuerung, kraftbegrenzende Lenksteuerung, Gurtstraffmechanismussteuerung, externe Airbagsteuerung und Fußgängerschutzsteuerung. Die Gurtstraffmechanismussteuerung kann die Steuerung von pyrotechnischen und motorisierten Gurtstraffmechanismen umfassen.
-
Die Airbagsteuerung kann die Steuerung von Front-, Seiten, sogenannten Curtain-, Motorhauben-, Armaturenbrett-Airbags oder anderen Arten von Airbags umfassen. Die Fußgängerschutzsteuerung kann das Steuern einer auslösbaren Fahrzeugmotorhaube, eines Stoßfängersystems oder anderer Fußgängerschutzvorrichtungen umfassen.
-
Die Anzeige 26 dient zur Signalerzeugung oder Anzeige eines Kollisionswarnsignals oder eines Objektidentifikationssignals als Reaktion auf die Objektdetektionssignale. Die Anzeige 26 kann ein Videosystem, ein Audiosystem, eine LED, eine Leuchte, ein Navigationssystem, eine in das Sichtfeld eingeblendete Anzeige, einen Scheinwerfer, ein Rücklicht, ein Anzeigesystem, ein telematisches System oder eine andere Anzeige umfassen. Die Anzeige 26 kann Warnsignale, kollisionsbezogene Informationen, externe Warnsignale für Objekte oder Fußgänger außerhalb des Fahrzeugs 12 oder andere Prä- und Postkollisionsinformationen liefern.
-
Bezüglich der 2A–B wird nun ein Logikflussdiagramm gezeigt, welches ein Verfahren für das Ausführen einer Objektdetektion innerhalb des Kollisionswarn- und Gegenmaßnahmensystems 10 veranschaulicht.
-
Das System 10 wird bei Schritt 100 initialisiert. Das Steuergerät 18 ermittelt, ob Radardaten bei einer Frequenz von etwa 2 Hz verfügbar sind. Sind Radardaten verfügbar, geht das Steuergerät 18 zu Schritt 101, andernfalls erkennt das Steuergerät 18, dass ein Fehler vorliegen kann und zeigt einen Fehler an. Ferner wird ein Radarbilddesignator j gleich 1 gesetzt.
-
Bei Schritt 101 können die elektromagnetischen Sensoren 14 ein oder mehrere Objektdetektionssignale erzeugen. Die elektromagnetischen Sensoren 14 führen Anstiegsflankenerfassungen 30 und Abstiegsflankenerfassungen 32 aus. Die Objektdetektionssignale enthalten Objekt-Designatoren 34, die sowohl in den Anstiegsflankenerfassungen 30 als auch in den Abstiegsflankenerfassungen 32 erzeugt werden und den detektierten Objekten 36 entsprechen, welche durch Vergleichen eines empfangenen Echosignals mit einem ursprünglich übermittelten Signal erhalten werden, um Entfernung und Azimutwinkel bei jeder der Erfassungen 30 und 32 zu ermitteln, was in Schritt 104 weiter beschrieben wird. Zielen oder Elementen 34 in jeder der Erfassungen 30 und 32 werden daher Polarkoordinaten (r, θ) und ein gelieferter Intensitätswert zugeordnet.
-
Bei Schritt 102 wird durch Verwendung von Sensordaten wie Entfernung, Azimutwinkel und gelieferte Intensität eine erste Datenfusionsebene erreicht, um Objekte aus den Erfassungen 30 und 32 zu verknüpfen und zu detektieren. Die Elemente 34 werden für jedes detektierte Objekt 36 verknüpft und gepaart. Hierbei können die Elemente 34 mit Hilfe anderer in dem Gebiet bekannter Verfahren gemittelt oder kombiniert werden, so dass ein einziges resultierendes Ziel 38 für jedes Objekt 36 erzeugt wird. In einer erfindungsgemäßen Ausführung werden die Anstiegsflankenobjekte mit den Abstiegsflankenobjekten gepaart, so dass sie bei einem bestimmten Azimutwinkel eine ähnliche gelieferte Intensität und ähnliche Doppler-Frequenzen aufweisen.
-
Bei Schritt 104 werden Entfernung, Entfernungsunterschied und Fortbewegungsrichtung für jedes resultierende Ziel 38 zum Trägerfahrzeug ermittelt. Der Entfernungsunterschied bzw. die relative Geschwindigkeit eines Objekts kann als Reaktion auf die Doppler-Verschiebung ermittelt werden, was in dem Gebiet bekannt ist.
-
3 zeigt ein Beispiel für die Schritte 100–104. Ein erstes Objekt 40 wird mit einem ersten Anstiegsflankenziel 42 und einem ersten Abstiegsflankenziel 44 zusammen mit einem zweiten Objekt 46 mit einem zweiten Anstiegsflankenziel 48 und einem zweiten Abstiegsflankenziel 50 gezeigt. Die Anstiegsflankenziele 42 und 48 sowie die Abstiegsflankenziele 44 und 50 werden für jedes Objekt 36 verknüpft und gepaart, um jeweils resultierende Ziele 38 zu bilden. Die resultierenden Ziele 38 weisen jeweils Entfernungen R1 und R2 sowie Azimutwinkel θ1 und θ2 auf.
-
Unter erneutem Bezug auf 2 erfasst und speichert die bilderzeugende Einheit 16 bei Schritt 106 Bildsignale. Jedes Bildsignal besitzt ein Einzelbild 52, wie am Besten in 4 ersichtlich wird, mit einem Bildfeld 54 und mit Bildern bzw. einem Bild der Ziele 55, welche den bei Schritt 100 detektierten Objekten 36 entsprechen.
-
In den folgenden Figuren einschließlich 4 sind die Objekte, die relevanten Bereiche, Blöcke, etc. zum Zweck der Beschreibung und des Verständnisses vergrößert und nicht maßstabsgetreu und können allesamt in Wirklichkeit jeweils kleiner sein und von der Größe her relativ unterschiedlich sein.
-
Bei Schritt 108 werden Reflexionszentren 56 als Reaktion auf jedes der Objektdetektionssignale ermittelt.
-
Bei Schritt 108A werden die Polarkoordinaten für jedes Ziel 38 in ein Weltkoordinatensystem umgewandelt. Die Koordinaten für jedes Ziel 38 entsprechen dem Reflexionszentrum 56, welches Objektzentren in einem elektromagnetischen Sensorfeld darstellt. Die erste Entfernung R1 und der erste Azimutwinkel θ1 für das erste Objekt 40 zum Beispiel werden in Weltkoordinaten (X1w, Y1w, und Z1w) umgewandelt.
-
Bei Schritt 108B wird zu jeder der Weltkoordinaten jedes Ziels 38 eine perspektivische Umwandlung ausgeführt, was zur Übertragung der Reflexionszentren 56 von dem Weltkoordinatensystem in ein Bildkoordinatensystem führt. Zum Beispiel werden für das erste Objekt 40 die kartesischen Koordinaten X1w, Y1w, und Z1w in entsprechende Bildkoordinaten X1i, Y1i umgewandelt. Die Bildkoordinaten für jedes Ziel 38 werden, wie am Besten in 5 ersichtlich ist, praktisch über das Einzelbild 52 gelegt. Die Bildkoordinaten X1i, Y1i stellen ein Reflexionszentrum 58 für das erste Objekt 40 dar.
-
Bei Schritt 108C wird ein anfänglicher Differenzparameter d0 für jedes der Objekte 36 ermittelt. Der Anfangswert des Differenzparameters d0 ist eine ungefähre Zahl. Der Wert des Parameters d0 ist proportional zu Geschwindigkeit und zur Entfernung eines Objekts gegenüber dem Trägerfahrzeug 12 und ist ebenfalls proportional zu einem Durchschnittsparameter davg und wird für zugeordnete Fehler berichtigt. Der Durchschnittsdifferenzparameter davg, welcher Teil des Sensordifferenzsignals ist, wird als Reaktion auf einen Satz von Differenzparametern di, Reflexionszentren 56 und Intensitätszentren 59 erzeugt. Die Intensitätszentren 59 sind intensitätsgemittelte Zentrumsdesignatoren für Objekte in jedem relevanten Bereich 60, wie nachstehend beschrieben wird. Der Durchschnittsparameter davg ist für einen ersten Zeitraum gleich Null und berücksichtigt für jedes Objekt 36 Fehler zwischen den Reflexionszentren 56 und den zugeordneten Intensitätszentren 59. Der Durchschnittsparameter davg wird mit Hilfe von Differenzvektoren ermittelt, die aus vorherigen Daten erhalten wurden, zum Beispiel unter Verwendung des Radarbilds 1 und des Einzelbilds 1–15. Der Durchschnittsparameter davg wird auch durch die Geschwindigkeit und Größe eines in einem Einzelbild detektierten Objekts modifiziert. Um die Reflexionszentren 56 wird ein ungefährer Kreis oder Bereich mit einem Radius d gebildet.
-
Bei Schritt 110 werden die relevanten Bereiche 60 um jedes der Reflexionszentren 56 für jedes Objekt 36 festgelegt. Die Größe der relevanten Bereiche 60 wird als Reaktion auf frühere Daten ermittelt. Die relevanten Bereiche 60 können von unterschiedlicher Größe und Form sein. Die vorliegende Erfindung verwendet die elektromagnetischen Sensoren 14 zur Lieferung eines Ausgangsbezugspunkts, wie z. B. jedes Reflexionszentrum 56, in einer Bildebene für jedes detektierte Objekt. Die relevanten Bereiche 60 werden um die Reflexionszentren 56 erzeugt. Die Größe jedes ersten relevanten Bereichs 60 wird als Reaktion auf frühere Daten ermittelt. In einer erfindungsgemäßen Ausführung entspricht zum Beispiel die Höhe und Breite des ersten relevanten Bereichs 60 der Höhe und Breite eines großen hergestellten Fahrzeugs. Die früheren Daten können auch Objektgeschwindigkeit und Entfernung zum Trägerfahrzeug 12 umfassen. Die Objektabmessungen können in eine Reihe von Pixeln in X- und Y-Richtungen einer Bildebene umgewandelt werden und in Verbindung mit der Objektentfernung zum Trägerfahrzeug 12 verwendet werden, um die Größe des ersten relevanten Bereichs 60 zu berechnen. Im Allgemeinen ist der relevante Bereich um so kleiner, je größer die relative Entfernung eines Objekts von dem Fahrzeug 12 ist.
-
Für einen nächsten oder folgenden Satz von Einzelbildern wird die entsprechende Größe der relevanten Bereiche 60 als Reaktion auf die Geschwindigkeit und Fortbewegungsrichtung der detektierten Objekte 36 bezüglich des Trägerfahrzeugs 12 angepasst, wie in den 7A und 7B durch vorhergesagte relevante Bereiche 70 für die detektierten Objekte 36 gezeigt wird. 7A ist eine beispielhafte Darstellung der Objekte 36, die sich von dem Fahrzeug 12 wegbewegen, und 78 ist ein Beispiel der Objekte 36, die sich dem Fahrzeug 12 nähern. Die Größe der relevanten Bereiche nimmt zu, wenn das detektierte Objekt 36 sich dem Trägerfahrzeug 12 nähert, und nimmt ab, wenn sich die detektierten Objekte von dem Trägerfahrzeug 12 entfernen. Wenn sich die detektierten Objekte 36 dem Trägerfahrzeug 12 nähern, nimmt ihr entsprechendes Bild an Größe zu, und umgekehrt, wenn sich die detektierten Objekte von dem Trägerfahrzeug 12 entfernen. Die Geschwindigkeit, mit der die relevanten Bereiche 60 zunehmen oder abnehmen, hängt auch von der Geschwindigkeit der detektierten Objekte 36 gegenüber dem Trägerfahrzeug 12 ab.
-
Bei Schritt 112 wird ein Zentroid 62, wie in 5 ersichtlich, für jedes Objekt 40 entsprechend den Intensitätszentren 55 ermittelt. Das Steuergerät 18 kann Bildverarbeitungsverfahren wie z. B. Bildfilterung (Tief-, Hochpass), Flankenerkennung, Segmentierung oder andere in dem Gebiet bekannte Verarbeitungsverfahren bei dem Einzelbild 52 einsetzen, um ein Objekt in den relevanten Bereichen 60 zu detektieren. Die Zentroide 62 werden als Reaktion auf Kontur, Höhe, Breite, Fläche und Pixelintensität jedes in den relevanten Bereichen 60 detektierten Objekts ermittelt oder das Zentroid 62 kann durch Ermitteln eines durchschnittlichen gewichteten Zentrums der Pixelintensität für das in den relevanten Bereichen 60 detektierte Objekt ermittelt werden.
-
Unter Bezug nun auch auf 6 wird bei Schritt 114 ein Satz Vektoren 64, welche durch d1–d15 repräsentiert werden, zwischen den Reflexionszentren 56 und den entsprechenden Zentroiden 62 für die Einzelbilder 65 und die entsprechenden Radarbilder 66 ermittelt. Jeder Vektor 64 weist einen zugehörigen Entfernungswert oder Differenzparameter di auf, wobei i die Vektorzahl ist. Das Steuergerät 18 ermittelt für jedes Einzelbild 65, das einem Radarbild 66 zugeordnet ist, die Differenzen di zwischen den Reflexionszentren 56 und den entsprechenden Zentroiden 62.
-
Bei Schritt 116 vergleicht das Steuergerät 18 die Differenz zwischen jedem der Vektoren 64 mit dem Durchschnittsparameter davg, um zu ermitteln, ob sie kleiner oder gleich dem Durchschnittsparameter davg sind.
-
Bei Schritt 116A ist, wenn die Vektoren 64 kleiner oder gleich dem Durchschnittsparameter davg sind, das Objekt in dem entsprechenden Radarbild gleich einem in einem entsprechenden Einzelbild detektierten Objekt. Hierbei liefert die vorliegende Erfindung eine verbesserte Verknüpfung zugehöriger Objektziele in zwei ungleichartigen Modalitäten oder ungleichartigen Sensoren. Der Durchschnittsparameter davg wird auch bei der Ermittlung eines Anfangswert-Differenzparameters d0 für den nächsten sequentiellen Satz Radarbilder und das entsprechende Einzelbild verwendet.
-
Bei Schritt 116B wird, wenn ein Differenzparameter di größer als der Durchschnittsparameter davg ist, dieser Differenzparameter di verworfen. In einer erfindungsgemäßen Ausführung werden Sensordaten von zwei ungleichartigen Sensoren mit unterschiedlichen Abtastzeiten ausgerichtet und zugeordnet. In einer erfindungsgemäßen Ausführung weisen die elektromagnetischen Sensoren 14 eine Abtastzeit von etwa zwei Einzelbildern pro Sekunde auf und der elektrooptische Sensor 16 weist eine Abtastzeit von etwa 30 Einzelbildern pro Sekunde auf. Um die Daten von den Sensoren 14 und 16 auszurichten und zuzuordnen, werden die Einzelbilder 65 jedem Radarbild 66 zugeordnet. Somit weist der Satz Vektoren 64 für ein erstes Radarbild RFA 15 zugeordnete Einzelbilder IFA1–IFA15 auf.
-
Das Steuergerät 18 ermittelt bei Schritt 118 die Differenzparameter di zwischen den Reflexionszentren und dem Zentroid, welche für die fünfzehn Radarbilder relativ zum ersten Einzelbild erhalten wurden. Nach Ermitteln aller Differenzparameter di wird ein Durchschnittsdifferenzparameterwert davg als Reaktion auf die Differenzparameter di ermittelt und wird als Apriori-Information für die Berechnung der Differenzparameter di für einen folgenden Satz Radarbilder verwendet. Die Schritte 101–118 werden für jedes detektierte Objekt solange wiederholt, bis sich das detektierte Objekt nicht länger in großer Nähe zu dem Trägerfahrzeug 12 befindet, d. h. alle Differenzparameter di größer als die anfängliche Entfernung d0 sind. In einer erfindungsgemäßen Ausführung wird ein Objekt als in großer Nähe befunden, wenn mindestens etwa 60% der Differenzparameter di kleiner oder gleich der anfänglichen Differenz d0 sind. Wenn der Prozentsatz der Differenzparameter di, die kleiner oder gleich der anfänglichen Differenz d0 sind, steigt, steigt die Wahrscheinlichkeit, dass das Objekt bedenklich ist, und umgekehrt. In einer weiteren erfindungsgemäßen Ausführung wird, wenn weniger als 60% der Differenzparameter di kleiner oder gleich der anfänglichen Differenz d0 sind, das detektierte Objekt als ”fiktives Objekt” oder falsches Objekt klassifiziert. Wird ein fiktives Objekt oder ein falsches Objekt detektiert, wird ein Fehlersignal erzeugt und das Steuergerät 18 kehrt zu Schritt 100 zurück.
-
Wenn zum Beispiel der aktuell Satz von Einzelbildern IFA1-15 ist, wobei er das entsprechende Radarbild RFA besitzt, dann ist der nächste oder folgende Satz von Einzelbildern IFB1-15 und weist das entsprechende Radarbild RFB auf. Der folgende Satz von Einzelbildern IFB1-15 wiederholt das gleiche Vorgehen, wie es für den aktuellen Satz von Einzelbildern IFA1-15 ausgeführt wurde. Es werden Polarkoordinaten für das folgende Radarbild RFB des detektierten Objekts ermittelt, gefolgt vom Ausführen einer Koordinatensystemumwandlung und perspektivischen Umwandlung, um neue oder folgende Bildkoordinaten IFB1-15 zu erhalten, wie bei Schritt 108 erwähnt.
-
Bei Schritt 120 wird ein folgender Satz relevanter Bereich für jedes detektierte Objekt gebildet. Die neuen relevanten Bereiche ändern sich zwischen sequentiellen Einzelbildern. Der folgende Satz von relevanten Bereichen kann, statt bei Beendung von Schritt 118 ermittelt zu werden, bei Schritt 110 ermittelt werden. Der folgende Satz von relevanten Bereichen kann, wie in Schritt 110 beschrieben, durch Ermitteln von Intensitätszentren für jedes Einzelbild bezüglich eines folgenden Radarbilds ermittelt werden. Bei Ermittlung des folgenden Satzes von relevanten Bereichen wird der Durchschnittsparameter davg aus einem früheren Satz von relevanten Bereichen ermittelt, um die Genauigkeit bei der Ermittlung, ob ein detektiertes Objekt eine potentielle Bedrohung für das Trägerfahrzeug 12 darstellt, zu steigern. Der Radarbilddesignator j wird gleich dem aktuellen Wert von j plus 1 gesetzt. Wird ein Fehler festgestellt, kann das Steuergerät 18 ein Objekt als falsches Objekt oder fiktives Objekt einstufen und setzt den Radarbilddesignator j gleich 1 oder führt eine andere in dem Gebiet bekannte Aufgabe aus.
-
Bei Schritt 122 können die detektierten realen Objekte 36 als Reaktion auf das Sensordifferenzsignal klassifiziert und verfolgt werden. Das Steuergerät 18 kann als Reaktion auf Objektinformationen einschließlich Objektklassifizierung eine Kollisionswarnung und Gegenmaßnahmenausführung vorsehen. Abhängig von den relativen Positionen, Geschwindigkeiten und Beschleunigungen von Fahrzeug und Objekt kann das Steuergerät 18 entscheiden, ob es einem Fahrzeugführer über die Anzeige 26 eine mögliche Kollision anzeigt, oder es kann entscheiden, eine passive Gegenmaßnahme oder eine aktive Gegenmaßnahme auszuführen. Bei Beendigung von Schritt 124 kehrt das Steuergerät 18 zu Schritt 101 zurück, wenn der Wert des Radarbilddesignators größer als 1 ist, um das Verfolgen der Objekte 36 fortzusetzen, ansonsten kehrt das Steuergerät zu Schritt 100 zurück.
-
Die oben beschriebenen Schritte sind als veranschaulichendes Beispiel gedacht; die Schritte können abhängig von der Anwendung nacheinander, synchron oder in einer anderen Reihenfolge ausgeführt werden.
-
Die vorliegende Erfindung gibt ein Kollisionswarn- und Gegenmaßnahmensystem an die Hand, das Objektdetektionssensoren in Verbindung mit bilderzeugenden Sensoren verwendet, um die Bildverarbeitung zu minimieren und zu vereinfachen und Objekte wirksamer zu klassifizieren und zu verfolgen. Die erfindungsgemäße Multisensor-Datenfusionsarchitektur verringert den Umfang der Bildverarbeitung durch Verarbeiten lediglich von ausgewählten Bereichen eines Einzelbilds, welche als Reaktion auf Informationen von elektromagnetischen Sensoren ermittelt wurden.
-
Zwar wurde die Erfindung in Verbindung mit einer oder mehreren Ausführungen beschrieben, doch versteht sich, dass die spezifischen Mechanismen und Verfahren, die beschrieben wunden, lediglich der Veranschaulichung der Prinzipien der Erfindung dienen und dass zahlreiche Abwandlungen der beschriebenen Verfahren und Vorrichtung vorgenommen werden können, ohne vom Wesen und Umfang der Erfindung, welche durch die beigefügten Ansprüche definiert werden, abzuweichen.