DE102004035842B4 - Duales ungleichartiges erfassendes Objektdetektions- und Zielerfassungssystem - Google Patents

Duales ungleichartiges erfassendes Objektdetektions- und Zielerfassungssystem Download PDF

Info

Publication number
DE102004035842B4
DE102004035842B4 DE102004035842.7A DE102004035842A DE102004035842B4 DE 102004035842 B4 DE102004035842 B4 DE 102004035842B4 DE 102004035842 A DE102004035842 A DE 102004035842A DE 102004035842 B4 DE102004035842 B4 DE 102004035842B4
Authority
DE
Germany
Prior art keywords
response
determining
center
detection signal
object detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
DE102004035842.7A
Other languages
English (en)
Other versions
DE102004035842A1 (de
Inventor
Anita B. Malhotra
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ford Motor Co
Original Assignee
Ford Motor Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ford Motor Co filed Critical Ford Motor Co
Publication of DE102004035842A1 publication Critical patent/DE102004035842A1/de
Application granted granted Critical
Publication of DE102004035842B4 publication Critical patent/DE102004035842B4/de
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • G08G1/163Decentralised systems, e.g. inter-vehicle communication involving continuous checking

Abstract

Verfahren zur Ausführung der Objektdetektion innerhalb eines Kollisionswarn- und Gegenmaßnahmensystems, welches umfasst: – Erzeugen eines Objektdetektionssignals durch Ausführen einer Anstiegsflankenerfassung und einer Abstiegsflankenerfassung; – Erzeugen eines Bilddetektionssignals; – Ermitteln mindestens eines Reflexionszentrums und mindestens eines Intensitätszentrums als Reaktion auf das Objektdetektionssignal und das Bilddetektionssignal; – Zuordnen des mindestens einen Intensitätszentrums zu dem mindestens einen Reflexionszentrum; – Ermitteln der Differenz zwischen dem mindestens einen Reflexionszentrum und dem mindestens einen Intensitätszentrum für mehrere Einzelbilder und Erzeugen eines Sensordifferenzsignals; – Ermitteln mindestens eines Zentroids als Reaktion auf das Intensitätszentrum; – Ermitteln eines Satzes Vektoren zwischen dem mindestens einen Reflexionszentrum und dem mindestens einen Zentroid; – Vergleichen der Differenzen zwischen dem Satz Vektoren und einem Durchschnittsentfernungsparameter, um einen aktualisierten Durchschnittsentfernungsparameter zu ermitteln; – Ermitteln eines folgenden Satzes von relevanten Bereichen als Reaktion auf den aktualisierten Durchschnittsentfernungsparameter; – Ermitteln aktualisierter Zentroide als Reaktion auf den folgenden Satz von relevanten Bereichen; und – Klassifizieren und Verfolgen mindestens eines Objekts als Reaktion auf die aktualisierten Zentroide.

Description

  • TECHNISCHES GEBIET
  • Die vorliegende Erfindung betrifft Kollisionswarn- und Gegenmaßnahmensysteme für ein Kraftfahrzeug und insbesondere ein System und ein Verfahren zur Ausführung von Objektdetektion und -zuordnung mit Hilfe von mehreren gleichartigen und ungleichartigen Sensoren.
  • HINTERGRUND DER ERFINDUNG
  • Kollisionswarn- und Gegenmaßnahmensysteme werden zunehmend verbreitet eingesetzt. Kollisionswarnsysteme können vorzugsweise ein etwa 50 m–100 m von einem Trägerfahrzeug entferntes Objekt erfassen und beurteilen, ob das erfasste Objekt ein Hindernis ist und eine Bedrohung für das Trägerfahrzeug darstellt. Diese Systeme vermitteln einem Fahrzeugführer auch Wissen und Gewahrsein von Hindernissen oder Fahrzeugen innerhalb großer zeitlicher Nähe, so dass der Fahrer Maßnahmen ergreifen kann, um eine Kollision mit den erfassten Hindernissen zu verhindern. Gegenmaßnahmensysteme gibt es in verschiedenen passiven und aktiven Ausführungen. Manche Gegenmaßnahmensysteme werden dazu genutzt, zum Verhindern einer Kollision beizutragen, andere werden dazu genutzt, zum Verhindern einer Verletzung eines Fahrzeugführers beizutragen.
  • Manche Kollisionswarnsysteme und Gegenmaßnahmensysteme können ein Fahrzeug oder Objekt in großer Nähe zu einem Trägerfahrzeug erfassen und den Fahrer eines Trägerfahrzeugs warnen, so dass der Fahrer vorbeugende Schritte zur Verhinderung einer Kollision oder Verletzung ergreifen kann. Die Kollisionswarnsysteme können nach vorne oder nach hinten erfassen. Diese Systeme zeigen einem Fahrzeugführer an, dass sich ein Objekt, das für den Fahrzeugführer eventuell nicht sichtbar ist, innerhalb eines bestimmten Abstands und einer bestimmten Position zum Trägerfahrzeug befindet. Der Fahrzeugführer kann dann entsprechend reagieren. Andere Kollisionswarnsysteme und Gegenmaßnahmensysteme aktivieren passive Gegenmaßnahmen wie Airbags, kraftbegrenzende Sitzgurte oder aktive Fahrzeugregelung einschließlich Lenkregelung, Beschleunigungsregelung oder Bremsregelung, wodurch das System selbst zur Verhinderung einer Kollision oder Verletzung beiträgt.
  • Getrennt von Kollisionswarnsystemen und Gegenmaßnahmensystemen gibt es andere Systeme für das autonome Regeln eines Fahrzeugs. Diese Systeme können Sensoren wie Kameras, Radarsensoren oder Ultraschallsensen zum Erheben von Informationen und Nutzen dieser Informationen bei Aktivierung der Lenkregelung, Bremsregelung und Beschleunigungsregelung einschließen. Autonome Systeme wurden bisher vorrangig für militärische Anwendungen eingesetzt, wurden aber nicht für das Ausgeben einer Kollisionswarnung oder für das Verhindern einer Verletzung bei Kraftfahrzeugen genutzt.
  • Bei der Bedrohungseinstufung, Detektion und Erkennung eines Objekts auf der Strecke eines Trägerfahrzeugs wurden bisher mehrere Sensoren unterschiedlicher Arten verwendet. Die Sensoren werden zum Erfassen eines Objekts verwendet, gefolgt vom Einsatz parametrischer Zuordnungs-/Schätzverfahren, um zu bestätigen, wann ein Objekt eine mögliche Bedrohung für das Trägerfahrzeug und für die Insassen des Trägerfahrzeugs darstellt. Das betroffene Objekt kann ein reales Objekt oder ein falsches Objekt sein. Falsche Objekte können zum Beispiel erfasst werden, wenn sich ein stehendes Objekt am Fahrbahnrand befindet, das als echtes, möglicherweise eine Kollision verursachendes Objekt prognostiziert wird, oder wenn sich ein kleines Objekt, das keine mögliche Bedrohung darstellt, auf der Strecke des Trägerfahrzeugs befindet und als ein möglicherweise eine Kollision verursachendes Objekt erkannt und falsch klassifiziert wird. Ein weiteres Beispiel für die Erzeugung falscher Objekte ist, wie in dem Gebiet bekannt, das falsche Erzeugen eines fiktiven Objekts, das in Wirklichkeit nicht existiert, durch das Kollisionswarn- und Gegenmaßnahmensystem.
  • Die Kollisionswarn- und Gegenmaßnahmensysteme erheben Daten von mehreren Sensoren und assoziieren, verschmelzen oder kombinieren die Daten, um zu ermitteln, ob es sich bei den erfassten Objekten um reale Objekte und nicht um falsche Objekte handelt. Die Vorteile der Verwendung von Daten von mehreren Sensoren umfassen größere räumliche und zeitliche Erfassung, größere Genauigkeit bei der Ermittlung, ob ein Objekt eine mögliche Bedrohung darstellt, und größere Zuverlässigkeit bei der Detektion von Objekten in großer Nähe zum Trägerfahrzeug, wodurch eine bessere Beurteilung der Umgebung des Fahrzeugs möglich wird.
  • Die Wahl der Architektur für das Verarbeiten der Objektinformationen, welche kostengünstig ist und die relevanten Informationen so schnell liefern kann, dass eine geeignete Maßnahme ergriffen werden kann, ist ausschlaggebend für die Ermittlung, ob eine bestimmte Technologie praktisch geeignet ist. Zur Zeit ist man bestrebt, Kameras bei der Detektion und Klassifizierung von Objekten zu verwenden. Leider ist die derzeitige Kameratechnologie nicht kostengünstig und fordert ein hohes Maß an Verarbeitungsleistung und -zeit für die Berechnung der relevanten Informationen, die zur Verwendung im Fahrzeug benötigt werden. Die Bildverarbeitung einer Kamera mit ladungsgekoppelten Bauelementen (CCD) ist aufgrund einer großen Datenmenge, die pro Bild erhoben wird, etwa 640×480 Pixel pro Einzelbild bei 30 Einzelbildern pro Sekunde, zeitaufwändig. Zeit ist bei der Verhinderung einer Kollision ausschlaggebend. Das präzise Klassifizieren und Verfolgen eines Objekts kann die Aufnahme von einigen zehn bis einigen hundert Einzelbildern mit Daten erfordern, die jeweils eine gewünschte Mindestauflösung aufweisen, wodurch die derzeitige Kameratechnologie für Verwendung im Fahrzeug unbrauchbar wird.
  • Es besteht der Wunsch, ein sichereres Kraftfahrzeug mit größerer Kollisionswarn- und Sicherheitsgegenmaßnahmenintelligenz an die Hand zu geben, um die Wahrscheinlichkeit einer Kollision oder einer Verletzung zu verringern. Daher ist es wünschenswert, ein verbessertes Kollisionswarn- und Sicherheitsgegenmaßnahmensystem für ein Kraftfahrzeug an die Hand zu geben, das die Nutzung von Multisensortechnologien integriert und ein wirksameres Kollisions- und Verletzungsverhinderungssystem für ein Kraftfahrzeug an die Hand gibt.
  • Aus der WO03/001472 A1 ist ein Verfahren zur Ausführung einer Objektdetektion innerhalb eines Kollisionswarn- und Gegenmaßnahmensystems bekannt. Darin werden Bildbereiche, in denen vom Radarsensor kein Objekt detektiert wurde, ausgeschlossen.
  • ZUSAMMENFASSENDE BESCHREIBUNG DER ERFINDUNG
  • Die vorliegende Erfindung gibt ein System und ein Verfahren für das Detektieren von Objekten in großer Nähe zu einem Kraftfahrzeug mit Hilfe von Objektdetektions- und Bilderzeugungstechnologien wie zum Beispiel elektromagnetische bzw. elektrooptische Technologien an die Hand. Ein Verfahren für das Ausführen einer Objektdetektion in einem Kollisionswarn- und Gegenmaßnahmensystem wird an die Hand gegeben. Das Verfahren umfasst das Erfassen & Erzeugen eines Objektdetektionssignals und das Erzeugen eines Bilddetektionssignals. Als Reaktion auf das Objektdetektionssignal und das Bilddetektionssignal werden Reflexionszentren und Intensitätszentren ermittelt. Die Intensitätszentren werden für mehrere Einzelbilder den Reflexionszentren zugeordnet. Es werden pro Einzelbild Unterschiede zwischen den Reflexionszentren und den Intensitätszentren ermittelt und es wird ein Sensordifferenzsignal erzeugt. Ein Objekt wird als Reaktion auf das Sensordifferenzsignal klassifiziert.
  • Einer von mehreren Vorteilen der vorliegenden Erfindung liegt darin, dass sie ein Kollisionswarn- und Gegenmaßnahmensystem an die Hand gibt, das die Bildverarbeitungszeit, die Prozessoranforderungen, die Speicheranforderungen und die Komplexität minimiert, so dass es eine kostengünstige und praktikable Lösung für den Einsatz bereits existierender Kameratechnologie im Fahrzeug an die Hand gibt.
  • Ein weiterer Vorteil der vorliegenden Erfindung liegt darin, dass sie ein Verfahren für das Zuordnen von Daten, die von elektromagnetischen und elektrooptischen Sensoren wie Radarsensoren und Kameras erhoben werden, an die Hand gibt, um die Objekte besser und effizienter klassifizieren und zu verfolgen.
  • Weiterhin passt die vorliegende Erfindung für jedes Einzelbild kontinuierlich einen relevanten Bereich und ein entsprechendes Intensitätszentrum an, um eine größere Gewissheit bezüglich eines Objekts und eine verbesserte Verfolgungsleistung an die Hand zu geben.
  • Die vorliegende Erfindung selbst lässt sich zusammen mit den damit einhergehenden Vorteilen am Besten durch Lesen der folgenden eingehenden Beschreibung in Verbindung mit den Begleitfiguren verstehen.
  • KURZBESCHREIBUNG DER ZEICHNUNGEN
  • Für ein umfassenderes Verständnis dieser Erfindung soll nun Bezug auf die in den Begleitfiguren detaillierter dargestellten und nachstehend anhand von erfindungsgemäßen Beispielen beschriebenen Ausführungen genommen werden. Hierbei zeigen:
  • 1 eine Blockdiagrammdarstellung eines Kollisionswarn- und Gegenmaßnahmensystems für ein Kraftfahrzeug nach einer erfindungsgemäßen Ausführung;
  • 2A ein Logikflussdiagramm, welches ein Verfahren zur Ausführung der Objektdetektion innerhalb des Kollisionswarn- und Gegenmaßnahmensystems nach einer erfindungsgemäßen Ausführung zeigt;
  • 2B eine Fortsetzung des Logikflussdiagramms von 2A nach einer erfindungsgemäßen Ausführung;
  • 3 ein Beispiel einer Darstellung eines elektromagnetischen Sensorerfassungsbereichs, welches die Entfernung und die Azimutwinkel erfasster Objekte gemäß einer erfindungsgemäßen Ausführung veranschaulicht;
  • 4 ein beispielhaftes Einzelbild nach einer erfindungsgemäßen Ausführung, das den erfassten Objekten von 3 entspricht;
  • 5 ein Beispiel eines Einzelbilds mit Perspektivenumwandlung, welches beispielhafte relevante Bereiche, Reflexionszentren und Intensitätszentren nach einer erfindungsgemäßen Ausführung veranschaulicht;
  • 6 ein Einzelbilddiagramm, welches beispielhafte Radarbilder und zugeordnete Einzelbilder nach einer erfindungsgemäßen Ausführung veranschaulicht;
  • 7A ein Diagramm eines beispielhaften Einzelbilds nach einer erfindungsgemäßen Ausführung, welches aktualisierte relevante Bereiche für Objekte zeigt, die sich einem Trägerfahrzeug nähern; und
  • 7B ein beispielhaftes Einzelbild nach einer erfindungsgemäßen Ausführung, welches prognostizierte relevante Bereiche für Objekte zeigt, die sich vom Trägerfahrzeug entfernen.
  • EINGEHENDE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNG
  • In den folgenden Figuren werden die gleichen Bezugszeichen zur Bezeichnung gleicher Teile verwendet. Zwar wird die vorliegende Erfindung bezüglich eines Systems und Verfahrens zur Detektion und Verfolgung von Objekten in großer Nähe zu einem Kraftfahrzeug mit Hilfe sowohl elektromagnetischer Erfassung als auch elektrooptischer Technologien beschrieben, doch kann die vorliegende Erfindung an verschiedene Systeme angepasst und auf diese übertragen werden, darunter: Kollisionswarnsysteme, Kollisionsvermeidungssysteme, Parkhilfesysteme, Rückfahrhilfesystemen, Gegenmaßnahmensysteme, Fahrzeugsysteme oder andere Systeme, die eine Kollisionsvermeidung oder Kollisionsabschätzung erfordern können.
  • In der folgenden Beschreibung werden verschiedene Betriebsparameter und -komponenten für eine Konstruktionsausführung beschrieben. Diese spezifischen Parameter und Komponenten dienen als Beispiele und sollen nicht einschränkend gelten.
  • In der folgenden Beschreibung kann zudem der Begriff ”Ausführen” das Aktivieren, Einsetzen, Einleiten, Einschalten und andere in dem Gebiet bekannte Begriffe einschließen, die die Art und Weise beschreiben, in welcher eine passive Gegenmaßnahme vorgenommen werden kann.
  • Ferner kann der Begriff ”Gegenmaßnahme” in der folgenden Beschreibung reversible oder irreversible Gegenmaßnahmen bezeichnen. Reversible Gegenmaßnahmen bezeichnen Gegenmaßnahmen, die wieder in ihren ursprünglichen Zustand versetzt werden können oder ohne ein erhebliches Maß funktioneller Einbuße wiederholt verwendet werden können, welche von einem Systemdesigner ermittelt werden können. Irreversible Gegenmaßnahmen bezeichnen Gegenmaßnahmen wie Airbags, die nach einmaliger Verwendung nicht wiederverwendbar sind.
  • Zudem kann ein Gegenmaßnahmensignal Informationen bezüglich der oben genannten reversiblen und irreversiblen Gegenmaßnahmen umfassen oder kann andere Informationen wie z. B. Kollisionswarninformationen umfassen. Das Gegenmaßnahmensignal kann zum Beispiel Objektdetektionsinformationen enthalten, welche dazu genutzt werden können, einem Fahrzeugführer das Vorhandensein oder die große Nähe eines erfassten Objekts anzuzeigen.
  • Unter Bezug nun auf 1 wird eine Blockdiagrammdarstellung eines Kollisionswarn- und Gegenmaßnahmensystems 10 für ein Kraftfahrzeug bzw. ein Trägerfahrzeug 12 nach einer erfindungsgemäßen Ausführung gezeigt. Das System 10 umfasst elektromagnetische Sensoren 14 und mindestens einen elektrooptischen Sensor 16, welche mit einem Hauptsteuergerät 18 elektrisch verbunden. sind. Das Steuergerät 18 kombiniert die von den elektromagnetischen Sensoren 14 und dem elektrooptischen Sensor 16 empfangenen Informationen, um Objekte von mehreren Sensoren für den Zweck der Objektverfolgung und Bedrohungsbeurteilung innerhalb großer Nähe zum Fahrzeug 12 zu erfassen und zuzuordnen. Das System 10 kann auch verschiedene Fahrzeugdynamiksensoren 20, aktive Gegenmaßnahmen 22, passive Gegenmaßnahmen 24 und eine Anzeige 26 umfassen, die allesamt mit dem Steuergerät 18 elektrisch verbunden sind. Das Hauptsteuergerät 18 kann die Gegenmaßnamen 22 und 24 aktivieren oder einem Fahrzeugführer verschiedene Objekt- und Fahrzeuginformationen über die Anzeige 26 anzeigen, um eine Fahrzeugkollision und eine Verletzung der Fahrzeuginsassen zu verhindern.
  • Bei der Ermittlung von Sensoren, die für eine bestimmte Anwendung geeignet sind, werden Faktoren wie Entfernung, Entfernungsunterschied, Form und Größe eines Objekts berücksichtigt. In einer bevorzugten erfindungsgemäßen Ausführung werden aktive Sensoren in Form von Radar als elektromagnetische Sensoren 14 und ein passiver Sensor in Form einer Kamera als elektrooptischer Sensor 16 für den Zugriff auf die Umgebung des Trägerfahrzeugs 12 verwendet. Radar liefert abgeleitete Messungen wie Entfernung, Entfernungsunterschied, Azimutwinkel, Höhe und ungefähre Größe eines Objekts sowie andere in dem Gebiet bekannte Informationen. Eine Kamera kann abgeleitete Messungen wie Ort, Größe und Form eines Objekts liefern.
  • Die elektromagnetischen Sensoren 14 können von unterschiedlicher Sensortechnologie sein, wie Radar, Lidar oder andere in dem Gebiet bekannte Sensortechnologieformen, und können als aktive Sensoren bezeichnet werden. Die elektromagnetischen Sensoren 14 erzeugen bei Erfassen von einem oder mehreren Objekten unterschiedlicher Große und Form mehrere Objektdetektionssignale (RCS, Frequenz & Zeit). Zwar werden vier elektromagnetische Sensoren gezeigt, doch kann eine beliebige Anzahl an elektromagnetischen Sensoren verwendet werden. In der vorliegenden Erfindung werden die Objektdetektionssignale dazu benutzt, abgeleitete Messungen wie die relative Entfernung, den Azimutwinkel, die Geschwindigkeit und Peilwerte eines Objekts sowie andere in dem Gebiet bekannte Objektinformationen zu berechnen.
  • Wenngleich der elektrooptische Sensor 16 bevorzugt eine Kamera mit ladungsgekoppelten Bauelementen (CCD) ist, kann er auch von anderer Art sein, zum Beispiel eine Kamera, welche eine komplementäre Metalloxid-Halbleitertechnologie nutzt (CMOS). Der elektrooptische Sensor 16 kann als passiver Sensor bezeichnet werden. Der elektrooptische Sensor 16 ist ein zweidimensionales Bauteil, das unterschiedliche Auflösung, Genauigkeit, Bildfeld (FOV) und Siliziumwafereignung aufweisen kann.
  • Die elektromagnetischen Sensoren 14 können als primäre Sensoren und die elektrooptischen Sensoren 16 können als sekundäre Sensoren betrachtet werden.
  • Das Hauptsteuergerät 18 beruht vorzugsweise auf einem Mikroprozessor wie z. B. einem Rechner mit einer zentralen Recheneinheit, Speicher (RAM und/oder ROM) und zugehörigen Eingabe- und Ausgabebussen. Das Hauptsteuergerät 18 kann ein Teil einer zentralen Fahrzeug-Hauptsteuervorrichtung, eines interaktiven Fahrzeugdynamikmoduls, eines Rückhaltesteuermoduls, eines Hauptsicherheitssteuergeräts sein oder kann wie gezeigt ein autonomes Steuergerät sein.
  • Die Fahrzeugdynamiksensoren 20 können einen Übertragungsrotationssensor, einen Raddrehzahlfühler, einen Beschleunigungsaufnehmer, einen optischen Sensor oder andere in dem Gebiet bekannte Geschwindigkeits- oder Beschleunigungssensoren umfassen. Die Fahrzeugdynamiksensoren 20 werden zur Ermittlung der Geschwindigkeit und Beschleunigung des Fahrzeugs 20 und zur Erzeugung eines Fahrzeugdynamiksignals verwendet.
  • Die aktiven Gegenmaßnahmen 22 können die Steuerung einer Bremsanlage 22a, eines Antriebsstrangsystems 22b, einer Lenkung 22c, einer Fahrwerksteuerung 22d und andere in dem Gebiet bekannte aktive Gegenmaßnahmen umfassen.
  • Die passiven Gegenmaßnahmen 24 können passive Gegenmaßnahmen wie Airbags 24a, Gurtstraffmechanismen 24b, aufblasbare Sicherheitsgurte 24c, eine kraftbegrenzende Pedal- und Lenksäule 24d und andere in dem Gebiet bekannte passive Gegenmaßnahmen und Steuerungen derselben umfassen. Einige mögliche passive Gegenmaßnahmen, die enthalten sein können, aber nicht gezeigt sind, sind eine Sicherheitsgurtsteuerung, Knieschutzpolstersteuerung, Kopfstützensteuerung, kraftbegrenzende Pedalsteuerung, kraftbegrenzende Lenksteuerung, Gurtstraffmechanismussteuerung, externe Airbagsteuerung und Fußgängerschutzsteuerung. Die Gurtstraffmechanismussteuerung kann die Steuerung von pyrotechnischen und motorisierten Gurtstraffmechanismen umfassen.
  • Die Airbagsteuerung kann die Steuerung von Front-, Seiten, sogenannten Curtain-, Motorhauben-, Armaturenbrett-Airbags oder anderen Arten von Airbags umfassen. Die Fußgängerschutzsteuerung kann das Steuern einer auslösbaren Fahrzeugmotorhaube, eines Stoßfängersystems oder anderer Fußgängerschutzvorrichtungen umfassen.
  • Die Anzeige 26 dient zur Signalerzeugung oder Anzeige eines Kollisionswarnsignals oder eines Objektidentifikationssignals als Reaktion auf die Objektdetektionssignale. Die Anzeige 26 kann ein Videosystem, ein Audiosystem, eine LED, eine Leuchte, ein Navigationssystem, eine in das Sichtfeld eingeblendete Anzeige, einen Scheinwerfer, ein Rücklicht, ein Anzeigesystem, ein telematisches System oder eine andere Anzeige umfassen. Die Anzeige 26 kann Warnsignale, kollisionsbezogene Informationen, externe Warnsignale für Objekte oder Fußgänger außerhalb des Fahrzeugs 12 oder andere Prä- und Postkollisionsinformationen liefern.
  • Bezüglich der 2A–B wird nun ein Logikflussdiagramm gezeigt, welches ein Verfahren für das Ausführen einer Objektdetektion innerhalb des Kollisionswarn- und Gegenmaßnahmensystems 10 veranschaulicht.
  • Das System 10 wird bei Schritt 100 initialisiert. Das Steuergerät 18 ermittelt, ob Radardaten bei einer Frequenz von etwa 2 Hz verfügbar sind. Sind Radardaten verfügbar, geht das Steuergerät 18 zu Schritt 101, andernfalls erkennt das Steuergerät 18, dass ein Fehler vorliegen kann und zeigt einen Fehler an. Ferner wird ein Radarbilddesignator j gleich 1 gesetzt.
  • Bei Schritt 101 können die elektromagnetischen Sensoren 14 ein oder mehrere Objektdetektionssignale erzeugen. Die elektromagnetischen Sensoren 14 führen Anstiegsflankenerfassungen 30 und Abstiegsflankenerfassungen 32 aus. Die Objektdetektionssignale enthalten Objekt-Designatoren 34, die sowohl in den Anstiegsflankenerfassungen 30 als auch in den Abstiegsflankenerfassungen 32 erzeugt werden und den detektierten Objekten 36 entsprechen, welche durch Vergleichen eines empfangenen Echosignals mit einem ursprünglich übermittelten Signal erhalten werden, um Entfernung und Azimutwinkel bei jeder der Erfassungen 30 und 32 zu ermitteln, was in Schritt 104 weiter beschrieben wird. Zielen oder Elementen 34 in jeder der Erfassungen 30 und 32 werden daher Polarkoordinaten (r, θ) und ein gelieferter Intensitätswert zugeordnet.
  • Bei Schritt 102 wird durch Verwendung von Sensordaten wie Entfernung, Azimutwinkel und gelieferte Intensität eine erste Datenfusionsebene erreicht, um Objekte aus den Erfassungen 30 und 32 zu verknüpfen und zu detektieren. Die Elemente 34 werden für jedes detektierte Objekt 36 verknüpft und gepaart. Hierbei können die Elemente 34 mit Hilfe anderer in dem Gebiet bekannter Verfahren gemittelt oder kombiniert werden, so dass ein einziges resultierendes Ziel 38 für jedes Objekt 36 erzeugt wird. In einer erfindungsgemäßen Ausführung werden die Anstiegsflankenobjekte mit den Abstiegsflankenobjekten gepaart, so dass sie bei einem bestimmten Azimutwinkel eine ähnliche gelieferte Intensität und ähnliche Doppler-Frequenzen aufweisen.
  • Bei Schritt 104 werden Entfernung, Entfernungsunterschied und Fortbewegungsrichtung für jedes resultierende Ziel 38 zum Trägerfahrzeug ermittelt. Der Entfernungsunterschied bzw. die relative Geschwindigkeit eines Objekts kann als Reaktion auf die Doppler-Verschiebung ermittelt werden, was in dem Gebiet bekannt ist.
  • 3 zeigt ein Beispiel für die Schritte 100104. Ein erstes Objekt 40 wird mit einem ersten Anstiegsflankenziel 42 und einem ersten Abstiegsflankenziel 44 zusammen mit einem zweiten Objekt 46 mit einem zweiten Anstiegsflankenziel 48 und einem zweiten Abstiegsflankenziel 50 gezeigt. Die Anstiegsflankenziele 42 und 48 sowie die Abstiegsflankenziele 44 und 50 werden für jedes Objekt 36 verknüpft und gepaart, um jeweils resultierende Ziele 38 zu bilden. Die resultierenden Ziele 38 weisen jeweils Entfernungen R1 und R2 sowie Azimutwinkel θ1 und θ2 auf.
  • Unter erneutem Bezug auf 2 erfasst und speichert die bilderzeugende Einheit 16 bei Schritt 106 Bildsignale. Jedes Bildsignal besitzt ein Einzelbild 52, wie am Besten in 4 ersichtlich wird, mit einem Bildfeld 54 und mit Bildern bzw. einem Bild der Ziele 55, welche den bei Schritt 100 detektierten Objekten 36 entsprechen.
  • In den folgenden Figuren einschließlich 4 sind die Objekte, die relevanten Bereiche, Blöcke, etc. zum Zweck der Beschreibung und des Verständnisses vergrößert und nicht maßstabsgetreu und können allesamt in Wirklichkeit jeweils kleiner sein und von der Größe her relativ unterschiedlich sein.
  • Bei Schritt 108 werden Reflexionszentren 56 als Reaktion auf jedes der Objektdetektionssignale ermittelt.
  • Bei Schritt 108A werden die Polarkoordinaten für jedes Ziel 38 in ein Weltkoordinatensystem umgewandelt. Die Koordinaten für jedes Ziel 38 entsprechen dem Reflexionszentrum 56, welches Objektzentren in einem elektromagnetischen Sensorfeld darstellt. Die erste Entfernung R1 und der erste Azimutwinkel θ1 für das erste Objekt 40 zum Beispiel werden in Weltkoordinaten (X1w, Y1w, und Z1w) umgewandelt.
  • Bei Schritt 108B wird zu jeder der Weltkoordinaten jedes Ziels 38 eine perspektivische Umwandlung ausgeführt, was zur Übertragung der Reflexionszentren 56 von dem Weltkoordinatensystem in ein Bildkoordinatensystem führt. Zum Beispiel werden für das erste Objekt 40 die kartesischen Koordinaten X1w, Y1w, und Z1w in entsprechende Bildkoordinaten X1i, Y1i umgewandelt. Die Bildkoordinaten für jedes Ziel 38 werden, wie am Besten in 5 ersichtlich ist, praktisch über das Einzelbild 52 gelegt. Die Bildkoordinaten X1i, Y1i stellen ein Reflexionszentrum 58 für das erste Objekt 40 dar.
  • Bei Schritt 108C wird ein anfänglicher Differenzparameter d0 für jedes der Objekte 36 ermittelt. Der Anfangswert des Differenzparameters d0 ist eine ungefähre Zahl. Der Wert des Parameters d0 ist proportional zu Geschwindigkeit und zur Entfernung eines Objekts gegenüber dem Trägerfahrzeug 12 und ist ebenfalls proportional zu einem Durchschnittsparameter davg und wird für zugeordnete Fehler berichtigt. Der Durchschnittsdifferenzparameter davg, welcher Teil des Sensordifferenzsignals ist, wird als Reaktion auf einen Satz von Differenzparametern di, Reflexionszentren 56 und Intensitätszentren 59 erzeugt. Die Intensitätszentren 59 sind intensitätsgemittelte Zentrumsdesignatoren für Objekte in jedem relevanten Bereich 60, wie nachstehend beschrieben wird. Der Durchschnittsparameter davg ist für einen ersten Zeitraum gleich Null und berücksichtigt für jedes Objekt 36 Fehler zwischen den Reflexionszentren 56 und den zugeordneten Intensitätszentren 59. Der Durchschnittsparameter davg wird mit Hilfe von Differenzvektoren ermittelt, die aus vorherigen Daten erhalten wurden, zum Beispiel unter Verwendung des Radarbilds 1 und des Einzelbilds 1–15. Der Durchschnittsparameter davg wird auch durch die Geschwindigkeit und Größe eines in einem Einzelbild detektierten Objekts modifiziert. Um die Reflexionszentren 56 wird ein ungefährer Kreis oder Bereich mit einem Radius d gebildet.
  • Bei Schritt 110 werden die relevanten Bereiche 60 um jedes der Reflexionszentren 56 für jedes Objekt 36 festgelegt. Die Größe der relevanten Bereiche 60 wird als Reaktion auf frühere Daten ermittelt. Die relevanten Bereiche 60 können von unterschiedlicher Größe und Form sein. Die vorliegende Erfindung verwendet die elektromagnetischen Sensoren 14 zur Lieferung eines Ausgangsbezugspunkts, wie z. B. jedes Reflexionszentrum 56, in einer Bildebene für jedes detektierte Objekt. Die relevanten Bereiche 60 werden um die Reflexionszentren 56 erzeugt. Die Größe jedes ersten relevanten Bereichs 60 wird als Reaktion auf frühere Daten ermittelt. In einer erfindungsgemäßen Ausführung entspricht zum Beispiel die Höhe und Breite des ersten relevanten Bereichs 60 der Höhe und Breite eines großen hergestellten Fahrzeugs. Die früheren Daten können auch Objektgeschwindigkeit und Entfernung zum Trägerfahrzeug 12 umfassen. Die Objektabmessungen können in eine Reihe von Pixeln in X- und Y-Richtungen einer Bildebene umgewandelt werden und in Verbindung mit der Objektentfernung zum Trägerfahrzeug 12 verwendet werden, um die Größe des ersten relevanten Bereichs 60 zu berechnen. Im Allgemeinen ist der relevante Bereich um so kleiner, je größer die relative Entfernung eines Objekts von dem Fahrzeug 12 ist.
  • Für einen nächsten oder folgenden Satz von Einzelbildern wird die entsprechende Größe der relevanten Bereiche 60 als Reaktion auf die Geschwindigkeit und Fortbewegungsrichtung der detektierten Objekte 36 bezüglich des Trägerfahrzeugs 12 angepasst, wie in den 7A und 7B durch vorhergesagte relevante Bereiche 70 für die detektierten Objekte 36 gezeigt wird. 7A ist eine beispielhafte Darstellung der Objekte 36, die sich von dem Fahrzeug 12 wegbewegen, und 78 ist ein Beispiel der Objekte 36, die sich dem Fahrzeug 12 nähern. Die Größe der relevanten Bereiche nimmt zu, wenn das detektierte Objekt 36 sich dem Trägerfahrzeug 12 nähert, und nimmt ab, wenn sich die detektierten Objekte von dem Trägerfahrzeug 12 entfernen. Wenn sich die detektierten Objekte 36 dem Trägerfahrzeug 12 nähern, nimmt ihr entsprechendes Bild an Größe zu, und umgekehrt, wenn sich die detektierten Objekte von dem Trägerfahrzeug 12 entfernen. Die Geschwindigkeit, mit der die relevanten Bereiche 60 zunehmen oder abnehmen, hängt auch von der Geschwindigkeit der detektierten Objekte 36 gegenüber dem Trägerfahrzeug 12 ab.
  • Bei Schritt 112 wird ein Zentroid 62, wie in 5 ersichtlich, für jedes Objekt 40 entsprechend den Intensitätszentren 55 ermittelt. Das Steuergerät 18 kann Bildverarbeitungsverfahren wie z. B. Bildfilterung (Tief-, Hochpass), Flankenerkennung, Segmentierung oder andere in dem Gebiet bekannte Verarbeitungsverfahren bei dem Einzelbild 52 einsetzen, um ein Objekt in den relevanten Bereichen 60 zu detektieren. Die Zentroide 62 werden als Reaktion auf Kontur, Höhe, Breite, Fläche und Pixelintensität jedes in den relevanten Bereichen 60 detektierten Objekts ermittelt oder das Zentroid 62 kann durch Ermitteln eines durchschnittlichen gewichteten Zentrums der Pixelintensität für das in den relevanten Bereichen 60 detektierte Objekt ermittelt werden.
  • Unter Bezug nun auch auf 6 wird bei Schritt 114 ein Satz Vektoren 64, welche durch d1–d15 repräsentiert werden, zwischen den Reflexionszentren 56 und den entsprechenden Zentroiden 62 für die Einzelbilder 65 und die entsprechenden Radarbilder 66 ermittelt. Jeder Vektor 64 weist einen zugehörigen Entfernungswert oder Differenzparameter di auf, wobei i die Vektorzahl ist. Das Steuergerät 18 ermittelt für jedes Einzelbild 65, das einem Radarbild 66 zugeordnet ist, die Differenzen di zwischen den Reflexionszentren 56 und den entsprechenden Zentroiden 62.
  • Bei Schritt 116 vergleicht das Steuergerät 18 die Differenz zwischen jedem der Vektoren 64 mit dem Durchschnittsparameter davg, um zu ermitteln, ob sie kleiner oder gleich dem Durchschnittsparameter davg sind.
  • Bei Schritt 116A ist, wenn die Vektoren 64 kleiner oder gleich dem Durchschnittsparameter davg sind, das Objekt in dem entsprechenden Radarbild gleich einem in einem entsprechenden Einzelbild detektierten Objekt. Hierbei liefert die vorliegende Erfindung eine verbesserte Verknüpfung zugehöriger Objektziele in zwei ungleichartigen Modalitäten oder ungleichartigen Sensoren. Der Durchschnittsparameter davg wird auch bei der Ermittlung eines Anfangswert-Differenzparameters d0 für den nächsten sequentiellen Satz Radarbilder und das entsprechende Einzelbild verwendet.
  • Bei Schritt 116B wird, wenn ein Differenzparameter di größer als der Durchschnittsparameter davg ist, dieser Differenzparameter di verworfen. In einer erfindungsgemäßen Ausführung werden Sensordaten von zwei ungleichartigen Sensoren mit unterschiedlichen Abtastzeiten ausgerichtet und zugeordnet. In einer erfindungsgemäßen Ausführung weisen die elektromagnetischen Sensoren 14 eine Abtastzeit von etwa zwei Einzelbildern pro Sekunde auf und der elektrooptische Sensor 16 weist eine Abtastzeit von etwa 30 Einzelbildern pro Sekunde auf. Um die Daten von den Sensoren 14 und 16 auszurichten und zuzuordnen, werden die Einzelbilder 65 jedem Radarbild 66 zugeordnet. Somit weist der Satz Vektoren 64 für ein erstes Radarbild RFA 15 zugeordnete Einzelbilder IFA1–IFA15 auf.
  • Das Steuergerät 18 ermittelt bei Schritt 118 die Differenzparameter di zwischen den Reflexionszentren und dem Zentroid, welche für die fünfzehn Radarbilder relativ zum ersten Einzelbild erhalten wurden. Nach Ermitteln aller Differenzparameter di wird ein Durchschnittsdifferenzparameterwert davg als Reaktion auf die Differenzparameter di ermittelt und wird als Apriori-Information für die Berechnung der Differenzparameter di für einen folgenden Satz Radarbilder verwendet. Die Schritte 101118 werden für jedes detektierte Objekt solange wiederholt, bis sich das detektierte Objekt nicht länger in großer Nähe zu dem Trägerfahrzeug 12 befindet, d. h. alle Differenzparameter di größer als die anfängliche Entfernung d0 sind. In einer erfindungsgemäßen Ausführung wird ein Objekt als in großer Nähe befunden, wenn mindestens etwa 60% der Differenzparameter di kleiner oder gleich der anfänglichen Differenz d0 sind. Wenn der Prozentsatz der Differenzparameter di, die kleiner oder gleich der anfänglichen Differenz d0 sind, steigt, steigt die Wahrscheinlichkeit, dass das Objekt bedenklich ist, und umgekehrt. In einer weiteren erfindungsgemäßen Ausführung wird, wenn weniger als 60% der Differenzparameter di kleiner oder gleich der anfänglichen Differenz d0 sind, das detektierte Objekt als ”fiktives Objekt” oder falsches Objekt klassifiziert. Wird ein fiktives Objekt oder ein falsches Objekt detektiert, wird ein Fehlersignal erzeugt und das Steuergerät 18 kehrt zu Schritt 100 zurück.
  • Wenn zum Beispiel der aktuell Satz von Einzelbildern IFA1-15 ist, wobei er das entsprechende Radarbild RFA besitzt, dann ist der nächste oder folgende Satz von Einzelbildern IFB1-15 und weist das entsprechende Radarbild RFB auf. Der folgende Satz von Einzelbildern IFB1-15 wiederholt das gleiche Vorgehen, wie es für den aktuellen Satz von Einzelbildern IFA1-15 ausgeführt wurde. Es werden Polarkoordinaten für das folgende Radarbild RFB des detektierten Objekts ermittelt, gefolgt vom Ausführen einer Koordinatensystemumwandlung und perspektivischen Umwandlung, um neue oder folgende Bildkoordinaten IFB1-15 zu erhalten, wie bei Schritt 108 erwähnt.
  • Bei Schritt 120 wird ein folgender Satz relevanter Bereich für jedes detektierte Objekt gebildet. Die neuen relevanten Bereiche ändern sich zwischen sequentiellen Einzelbildern. Der folgende Satz von relevanten Bereichen kann, statt bei Beendung von Schritt 118 ermittelt zu werden, bei Schritt 110 ermittelt werden. Der folgende Satz von relevanten Bereichen kann, wie in Schritt 110 beschrieben, durch Ermitteln von Intensitätszentren für jedes Einzelbild bezüglich eines folgenden Radarbilds ermittelt werden. Bei Ermittlung des folgenden Satzes von relevanten Bereichen wird der Durchschnittsparameter davg aus einem früheren Satz von relevanten Bereichen ermittelt, um die Genauigkeit bei der Ermittlung, ob ein detektiertes Objekt eine potentielle Bedrohung für das Trägerfahrzeug 12 darstellt, zu steigern. Der Radarbilddesignator j wird gleich dem aktuellen Wert von j plus 1 gesetzt. Wird ein Fehler festgestellt, kann das Steuergerät 18 ein Objekt als falsches Objekt oder fiktives Objekt einstufen und setzt den Radarbilddesignator j gleich 1 oder führt eine andere in dem Gebiet bekannte Aufgabe aus.
  • Bei Schritt 122 können die detektierten realen Objekte 36 als Reaktion auf das Sensordifferenzsignal klassifiziert und verfolgt werden. Das Steuergerät 18 kann als Reaktion auf Objektinformationen einschließlich Objektklassifizierung eine Kollisionswarnung und Gegenmaßnahmenausführung vorsehen. Abhängig von den relativen Positionen, Geschwindigkeiten und Beschleunigungen von Fahrzeug und Objekt kann das Steuergerät 18 entscheiden, ob es einem Fahrzeugführer über die Anzeige 26 eine mögliche Kollision anzeigt, oder es kann entscheiden, eine passive Gegenmaßnahme oder eine aktive Gegenmaßnahme auszuführen. Bei Beendigung von Schritt 124 kehrt das Steuergerät 18 zu Schritt 101 zurück, wenn der Wert des Radarbilddesignators größer als 1 ist, um das Verfolgen der Objekte 36 fortzusetzen, ansonsten kehrt das Steuergerät zu Schritt 100 zurück.
  • Die oben beschriebenen Schritte sind als veranschaulichendes Beispiel gedacht; die Schritte können abhängig von der Anwendung nacheinander, synchron oder in einer anderen Reihenfolge ausgeführt werden.
  • Die vorliegende Erfindung gibt ein Kollisionswarn- und Gegenmaßnahmensystem an die Hand, das Objektdetektionssensoren in Verbindung mit bilderzeugenden Sensoren verwendet, um die Bildverarbeitung zu minimieren und zu vereinfachen und Objekte wirksamer zu klassifizieren und zu verfolgen. Die erfindungsgemäße Multisensor-Datenfusionsarchitektur verringert den Umfang der Bildverarbeitung durch Verarbeiten lediglich von ausgewählten Bereichen eines Einzelbilds, welche als Reaktion auf Informationen von elektromagnetischen Sensoren ermittelt wurden.
  • Zwar wurde die Erfindung in Verbindung mit einer oder mehreren Ausführungen beschrieben, doch versteht sich, dass die spezifischen Mechanismen und Verfahren, die beschrieben wunden, lediglich der Veranschaulichung der Prinzipien der Erfindung dienen und dass zahlreiche Abwandlungen der beschriebenen Verfahren und Vorrichtung vorgenommen werden können, ohne vom Wesen und Umfang der Erfindung, welche durch die beigefügten Ansprüche definiert werden, abzuweichen.

Claims (15)

  1. Verfahren zur Ausführung der Objektdetektion innerhalb eines Kollisionswarn- und Gegenmaßnahmensystems, welches umfasst: – Erzeugen eines Objektdetektionssignals durch Ausführen einer Anstiegsflankenerfassung und einer Abstiegsflankenerfassung; – Erzeugen eines Bilddetektionssignals; – Ermitteln mindestens eines Reflexionszentrums und mindestens eines Intensitätszentrums als Reaktion auf das Objektdetektionssignal und das Bilddetektionssignal; – Zuordnen des mindestens einen Intensitätszentrums zu dem mindestens einen Reflexionszentrum; – Ermitteln der Differenz zwischen dem mindestens einen Reflexionszentrum und dem mindestens einen Intensitätszentrum für mehrere Einzelbilder und Erzeugen eines Sensordifferenzsignals; – Ermitteln mindestens eines Zentroids als Reaktion auf das Intensitätszentrum; – Ermitteln eines Satzes Vektoren zwischen dem mindestens einen Reflexionszentrum und dem mindestens einen Zentroid; – Vergleichen der Differenzen zwischen dem Satz Vektoren und einem Durchschnittsentfernungsparameter, um einen aktualisierten Durchschnittsentfernungsparameter zu ermitteln; – Ermitteln eines folgenden Satzes von relevanten Bereichen als Reaktion auf den aktualisierten Durchschnittsentfernungsparameter; – Ermitteln aktualisierter Zentroide als Reaktion auf den folgenden Satz von relevanten Bereichen; und – Klassifizieren und Verfolgen mindestens eines Objekts als Reaktion auf die aktualisierten Zentroide.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Erzeugen eines Objektdetektionssignals das Ermitteln einer Entfernung und eines Entfernungsunterschieds für mindestens ein Objekt umfasst.
  3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Erzeugen eines Objektdetektionssignals das Verknüpfen und das Paaren von Zielen für mindestens ein Objekt umfasst.
  4. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Erzeugen eines Objektdetektionssignals das Ermitteln der relativen Geschwindigkeit und relativen Fortbewegungsrichtung für mindestens ein gepaartes Ziel umfasst.
  5. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Ermitteln des mindestens einen Reflexionszentrums das Umwandeln der Polarkoordinaten des Objektdetektionssignals in kartesische Koordinaten umfasst.
  6. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Ermitteln des mindestens einen Reflexionszentrums das Ausführen einer perspektivischen Umwandlung der Weltkoordinaten in Bildkoordinaten und das Ermitteln des mindestens einen Reflexionszentrums als Reaktion auf die Bildkoordinaten umfasst.
  7. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Ermitteln des mindestens eines Zentroids das Ermitteln eines relevanten Bereichs des aktuellen Einzelbilds als Reaktion auf den relevanten Bereich eines vorherigen Einzelbilds umfasst.
  8. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Ermitteln des mindestens einen Zentroids das Anpassen der Größe eines relevanten Bereichs eines aktuellen Einzelbilds als Reaktion auf den relevanten Bereich eines vorherigen Einzelbilds und als Reaktion auf das Sensordifferenzsignal umfasst.
  9. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Ermitteln des mindestens einen Zentroids umfasst: – Ermitteln, ob ein Objekt ein falsches Objekt oder ein fiktives Objekt ist, und Erzeugen eines Fehlersignals und – Ermitteln, ob das Sensordifferenzsignal bei der Ermittlung eines folgenden relevanten Bereichs als Reaktion auf das Fehlersignal zu verwenden ist.
  10. Verfahren nach Anspruch 1, welches weiterhin umfasst: – Ermitteln eines zweiten Satzes von Vektoren zwischen dem mindestens einen Reflexionszentrum und dem mindestens einen aktualisierten Zentroid für einen relevanten Bereich eines aktuellen Einzelbilds; und – Erzeugen des Sensordifferenzsignals als Reaktion auf den ersten Satz Vektoren und den zweiten Satz Vektoren.
  11. Verfahren nach Anspruch 10, dadurch gekennzeichnet, dass das Erzeugen des Sensordifferenzsignals das Mitteln der Unterschiede zwischen dem zweiten Satz Vektoren und dem ersten Satz Vektoren umfasst.
  12. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass das Erzeugen des Sensordifferenzsignals das Berücksichtigen von Fehlern zwischen dem mindestens einen Reflexionszentrum und dem mindesten einen Intensitätszentrum umfasst.
  13. Kollisionswarn- und Gegenmaßnahmensystem für ein Kraftfahrzeug, welches umfasst: – mindestens einen Objektdetektionssensor, welcher ein Objektdetektionssignal erzeugt; – mindestens einen bilderzeugenden Sensor, welcher ein Bilddetektionssignal erzeugt; und – ein mit dem mindestens einen Objektdetektionssensor und dem mindestens einen bilderzeugenden Sensor elektrisch verbundenes Steuergerät, welches mindestens ein Reflexionszentrum und mindestens ein Intensitätszentrum in Reaktion auf das Objektdetektionssignal und das Bilddetektionssignal ermittelt, das mindestens eine Intensitätszentrum dem mindestens einen Reflexionszentrum zuordnet, die Differenz zwischen dem mindestens einen Reflexionszentrum und dem mindestens einen Intensitätszentrum für mehrere Einzelbilder ermittelt und ein Sensordifferenzsignal erzeugt und mindestens ein Objekt als Reaktion auf das Sensordifferenzsignal klassifiziert, dadurch gekennzeichnet, dass dass das Steuergerät mindestens ein Zentroid als Reaktion auf das mindestens eine Reflexionszentrum ermittelt und einen Satz Vektoren zwischen dem mindestens einen Reflexionszentrum und dem mindestens einen Zentroid ermittelt und wobei das Steuergerät Differenzen zwischen dem Satz Vektoren und einem Durchschnittsentfernungsparameter vergleicht, um einen aktualisierten Durchschnittsentfernungsparameter zu ermitteln, und einen folgenden Satz von relevanten Bereichen als Reaktion auf den aktualisierten Durchschnittsentfernungsparameter ermittelt.
  14. System nach Anspruch 13, dadurch gekennzeichnet, dass der Objektdetektionssensor bei der Erzeugung eines Objektdetektionssignals eine Anstiegsflankenerfassung und eine Abstiegsflankenerfassung ausführt.
  15. System nach Anspruch 13, dadurch gekennzeichnet, dass das Steuergerät bei der Ermittlung des mindestens einen Reflexionszentrums Ziele verknüpft und paart, die durch das Ausführen einer Anstiegsflankenerfassung und einer Abstiegsflankenerfassung des Radarsensors erzeugt wurden.
DE102004035842.7A 2003-07-30 2004-07-23 Duales ungleichartiges erfassendes Objektdetektions- und Zielerfassungssystem Active DE102004035842B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/604,547 US6834232B1 (en) 2003-07-30 2003-07-30 Dual disimilar sensing object detection and targeting system
US10/604,547 2003-07-30

Publications (2)

Publication Number Publication Date
DE102004035842A1 DE102004035842A1 (de) 2005-03-03
DE102004035842B4 true DE102004035842B4 (de) 2014-09-25

Family

ID=32736626

Family Applications (1)

Application Number Title Priority Date Filing Date
DE102004035842.7A Active DE102004035842B4 (de) 2003-07-30 2004-07-23 Duales ungleichartiges erfassendes Objektdetektions- und Zielerfassungssystem

Country Status (3)

Country Link
US (1) US6834232B1 (de)
DE (1) DE102004035842B4 (de)
GB (1) GB2424527B (de)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7444004B2 (en) * 2004-03-29 2008-10-28 Fujifilm Corporation Image recognition system, image recognition method, and machine readable medium storing thereon an image recognition program
US7561720B2 (en) * 2004-04-30 2009-07-14 Visteon Global Technologies, Inc. Single camera system and method for range and lateral position measurement of a preceding vehicle
JP2006151125A (ja) * 2004-11-26 2006-06-15 Omron Corp 車載用画像処理装置
US20060153459A1 (en) * 2005-01-10 2006-07-13 Yan Zhang Object classification method for a collision warning system
US7561721B2 (en) * 2005-02-02 2009-07-14 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
DE102005013595A1 (de) * 2005-03-24 2006-09-28 Robert Bosch Gmbh Verfahren und Vorrichtung zur Erzeugung eines Auslösesignals für eine Insassenschutzvorrichtung
US20070031008A1 (en) * 2005-08-02 2007-02-08 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
JP4517972B2 (ja) * 2005-08-02 2010-08-04 日産自動車株式会社 障害物判断装置及び方法
US7545956B2 (en) * 2005-08-12 2009-06-09 Visteon Global Technologies, Inc. Single camera system and method for range and lateral position measurement of a preceding vehicle
JP4353162B2 (ja) * 2005-09-26 2009-10-28 トヨタ自動車株式会社 車輌周囲情報表示装置
US7623681B2 (en) * 2005-12-07 2009-11-24 Visteon Global Technologies, Inc. System and method for range measurement of a preceding vehicle
US7512487B1 (en) * 2006-11-02 2009-03-31 Google Inc. Adaptive and personalized navigation system
DE102007010259A1 (de) * 2007-03-02 2008-09-04 Volkswagen Ag Sensor-Auswertevorrichtung und Verfahren zum Auswerten von Sensorsignalen
US20090005948A1 (en) * 2007-06-28 2009-01-01 Faroog Abdel-Kareem Ibrahim Low speed follow operation and control strategy
US20090079837A1 (en) * 2007-09-24 2009-03-26 Honeywell International Inc. Image stabilization for image based navigation system
US8081209B2 (en) * 2008-06-26 2011-12-20 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system of sparse code based object classification with sensor fusion
WO2012059973A1 (ja) * 2010-11-01 2012-05-10 株式会社日立製作所 車載装置および制御方法
KR101240469B1 (ko) * 2010-11-23 2013-03-11 현대모비스 주식회사 객체 인식 시스템, 차량용 장애물 인식 시스템 및 차량용 장애물 인식 방법
DE102012104742A1 (de) * 2012-06-01 2013-12-05 Continental Safety Engineering International Gmbh Verfahren und Vorrichtung zur Objektdetektion
US9123215B2 (en) 2012-06-22 2015-09-01 GM Global Technology Operations LLC Alert systems and methods for a vehicle
US9349263B2 (en) 2012-06-22 2016-05-24 GM Global Technology Operations LLC Alert systems and methods for a vehicle
US9153108B2 (en) 2012-06-22 2015-10-06 GM Global Technology Operations LLC Alert systems and methods for a vehicle
US9493116B2 (en) 2012-06-22 2016-11-15 GM Global Technology Operations LLC Alert systems and methods for a vehicle
US9266451B2 (en) 2012-06-22 2016-02-23 GM Global Technology Operations LLC Alert systems and methods for a vehicle
US9701245B2 (en) * 2012-06-22 2017-07-11 GM Global Technology Operations LLC Alert systems and methods for a vehicle
WO2014047465A2 (en) * 2012-09-21 2014-03-27 The Schepens Eye Research Institute, Inc. Collision prediction
JP5818773B2 (ja) * 2012-11-22 2015-11-18 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
US9335766B1 (en) 2013-12-06 2016-05-10 Google Inc. Static obstacle detection
JP6459659B2 (ja) * 2014-03-18 2019-01-30 株式会社リコー 画像処理装置、画像処理方法、運転支援システム、プログラム
US10018709B2 (en) * 2014-09-19 2018-07-10 GM Global Technology Operations LLC Radar target detection via multi-dimensional cluster of reflectors
US10890648B2 (en) * 2014-10-24 2021-01-12 Texas Instruments Incorporated Method and apparatus for generating alignment matrix for camera-radar system
US9881422B2 (en) * 2014-12-04 2018-01-30 Htc Corporation Virtual reality system and method for controlling operation modes of virtual reality system
JP6343244B2 (ja) * 2015-03-16 2018-06-13 パナソニック株式会社 車載端末装置及び歩車間通信システム及び軌跡表示方法
KR102322854B1 (ko) * 2017-03-13 2021-11-08 현대자동차주식회사 초음파센서를 이용한 이동물체 검출 장치 및 그 방법과 이를 이용한 경보 시스템
US20190120934A1 (en) * 2017-10-19 2019-04-25 GM Global Technology Operations LLC Three-dimensional alignment of radar and camera sensors
US10664974B2 (en) 2018-02-23 2020-05-26 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for object detection using edge characteristics
US11035943B2 (en) * 2018-07-19 2021-06-15 Aptiv Technologies Limited Radar based tracking of slow moving objects
CN111226132A (zh) * 2019-03-18 2020-06-02 深圳市大疆创新科技有限公司 一种目标检测方法、设备、毫米波雷达及可移动平台
US11340624B2 (en) * 2019-08-29 2022-05-24 Ford Global Technologies, Llc Vehicle neural network
DE102021134196B3 (de) 2021-12-22 2022-11-10 Audi Aktiengesellschaft Verfahren zum Erfassen wenigstens eines Teilbereichs eines Umfelds eines Kraftfahrzeugs mit einer Sensoreinrichtung, Sensoreinrichtung und Kraftfahrzeug

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10025678A1 (de) * 2000-05-24 2001-12-20 Daimler Chrysler Ag Kamerabasiertes Precrash-Erkennungssystem
WO2003001472A1 (en) * 2001-06-23 2003-01-03 Lucas Industries Limited An object location system for a road vehicle
DE10148062A1 (de) * 2001-09-28 2003-04-10 Ibeo Automobile Sensor Gmbh Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes
DE10149115A1 (de) * 2001-10-05 2003-04-17 Bosch Gmbh Robert Objekterfassungsvorrichtung
DE10256920A1 (de) * 2001-12-05 2003-07-03 Honda Motor Co Ltd Bewegungssteuer/regelsystem für ein Fahrzeug

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2800531B2 (ja) 1992-02-28 1998-09-21 三菱電機株式会社 車両用障害物検出装置
DE4407757A1 (de) 1993-03-08 1994-09-15 Mazda Motor Vorrichtung zur Erfassung von Hindernissen für ein Fahrzeug
US5587929A (en) * 1994-09-02 1996-12-24 Caterpillar Inc. System and method for tracking objects using a detection system
US5805103A (en) 1995-09-27 1998-09-08 Mazda Motor Corporation Method of and system for monitoring preceding vehicles
JPH09142236A (ja) 1995-11-17 1997-06-03 Mitsubishi Electric Corp 車両の周辺監視方法と周辺監視装置及び周辺監視装置の故障判定方法と周辺監視装置の故障判定装置
JP3619628B2 (ja) 1996-12-19 2005-02-09 株式会社日立製作所 走行環境認識装置
JP3832526B2 (ja) 1997-06-20 2006-10-11 三菱自動車工業株式会社 車両の走行制御装置
DE19749086C1 (de) 1997-11-06 1999-08-12 Daimler Chrysler Ag Vorrichtung zur Ermittlung fahrspurverlaufsindikativer Daten
JP2001134769A (ja) * 1999-11-04 2001-05-18 Honda Motor Co Ltd 対象物認識装置
US20010031068A1 (en) * 2000-04-14 2001-10-18 Akihiro Ohta Target detection system using radar and image processing
AU2001259640A1 (en) 2000-05-08 2001-11-20 Automotive Technologies International, Inc. Vehicular blind spot identification and monitoring system
JP3671825B2 (ja) 2000-09-22 2005-07-13 日産自動車株式会社 車間距離推定装置
JP3750512B2 (ja) 2000-10-12 2006-03-01 日産自動車株式会社 車両用周辺障害物検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10025678A1 (de) * 2000-05-24 2001-12-20 Daimler Chrysler Ag Kamerabasiertes Precrash-Erkennungssystem
WO2003001472A1 (en) * 2001-06-23 2003-01-03 Lucas Industries Limited An object location system for a road vehicle
DE10148062A1 (de) * 2001-09-28 2003-04-10 Ibeo Automobile Sensor Gmbh Verfahren zur Verarbeitung eines tiefenaufgelösten Bildes
DE10149115A1 (de) * 2001-10-05 2003-04-17 Bosch Gmbh Robert Objekterfassungsvorrichtung
DE10256920A1 (de) * 2001-12-05 2003-07-03 Honda Motor Co Ltd Bewegungssteuer/regelsystem für ein Fahrzeug

Also Published As

Publication number Publication date
DE102004035842A1 (de) 2005-03-03
US6834232B1 (en) 2004-12-21
GB0412923D0 (en) 2004-07-14
GB2424527A (en) 2006-09-27
GB2424527B (en) 2007-07-11

Similar Documents

Publication Publication Date Title
DE102004035842B4 (de) Duales ungleichartiges erfassendes Objektdetektions- und Zielerfassungssystem
JP7167177B2 (ja) 移動している1次オブジェクトの軌道と交差し得る2次オブジェクトの高速検出
DE102016106299B4 (de) Raderfassung und ihre Applikation bei Objektverfolgung und Sensorregistrierung
DE102004016025B4 (de) Verfahren zur Klassifizierung eines Objektstandorts eines 3D-Objekts an einer Seite eines Transportfahrzeugs
DE102005002760B4 (de) Vorrichtung und Verfahren zur Unfallvermeidung bei Kraftfahrzeugen
DE112013007129B4 (de) Bewegungstrajektorienvorhersagevorrichtung und Bewegungstrajektorienvorhersageverfahren
DE102008026396B4 (de) Verfahren und Vorrichtung zur Vermeidung einer Kollision mit rückwärtigem Querverkehr
EP1531343B1 (de) Verfahren zur Verfolgung von Objekten
WO2019174682A1 (de) Verfahren und vorrichtung zur erkennung und bewertung von fahrbahnzuständen und witterungsbedingten umwelteinflüssen
EP1418444B1 (de) Verfahren zur Bestimmung einer Eigenbewegung eines Fahrzeugs
DE102017125454B4 (de) Frontalaufprall-Abschwächungssystem für ein Fahrzeug und Verfahren
DE102016106298A9 (de) Fusionsverfahren für eine Querverkehr-Applikation unter Verwenden von Radargeräten und einer Kamera
WO2014029738A1 (de) Verfahren zum ergänzen einer einem objekt zugeordneten objektinformation und verfahren zum selektieren von objekten in einem umfeld eines fahrzeugs
EP1298454A2 (de) Verfahren zur Erkennung und Verfolgung von Objekten
DE102017102506B4 (de) Verfahren zum erfassen anderer fahrzeuge relativ zu einem trägerfahrzeug mittels raderfassung
DE102012216386A1 (de) Verfahren zum Betreiben eines Fahrerassistenzsystems eines Fahrzeugs
DE112016001512T5 (de) Fahrzeugsteuerungsvorrichtung in einem fahrzeugsteuerungsverfahren
DE102018120405A1 (de) Fusion von radar- und bildsensorsystemen
DE102019108610A1 (de) Verbesserung des fahrzeugverhaltens unter verwendung von informationen aus anderen fahrzeugleuchten
DE102017108254B4 (de) Rundumsichtkamerasystem zur Objekterkennung und -verfolgung und Verfahren zum Ausstatten eines Fahrzeugs mit einem Rundumsichtkamerasystem
DE102017122479A1 (de) Automobil-zielerfassungssystem
DE112018006009T5 (de) Bremsunterstützungsvorrichtung, steuerungsvorrichtung und bremsunterstützungsverfahren für ein fahrzeug
EP2707862B1 (de) Abstandsbestimmung mittels eines kamerasensors
DE112021002044T5 (de) Anzeigesteuervorrichtung, Anzeigesteuersystem und Anzeigesteuerverfahren
DE102019103368A1 (de) Erkennung durch fusion mehrerer sensoren

Legal Events

Date Code Title Description
OP8 Request for examination as to paragraph 44 patent law
R016 Response to examination communication
R018 Grant decision by examination section/examining division
R020 Patent grant now final
R084 Declaration of willingness to licence