HINTERGRUND DER ERFINDUNG
Gebiet der Erfindung
-
Die vorliegende Erfindung betrifft eine
Fahrzeuginformation-Bereitstellungsvorrichtung, die zum Beispiel ein in der Nähe eines Fahrzeugs befindliches
physisches Objekt erfasst und anzeigt.
Hintergrund der Erfindung
-
Um den Fahrer eines Fahrzeugs auf ein Hindernis, wie etwa einen
Fußgänger, auf dem Fahrweg aufmerksam zu machen, ist herkömmlich eine
Vorrichtung bekannt, in der ein Bild von einer oder einer Mehrzahl von an der
Vorderseite des Fahrzeugs angebrachten Infrarotkameras an einer Position
angezeigt wird, die vom Fahrersitz aus sichtbar ist, um das vordere
Sichtfeld des Fahrers zu ergänzen. Das Bild, das dem Fahrer angezeigt wird,
wird auf einer Bildanzeigevorrichtung angezeigt, wie etwa einem
NAVIDisplay (das in dem Armaturenbrett des Fahrzeugs angeordnet ist, einem HUD
(Head Up Display), das Information an einer Position an der Frontscheibe
anzeigt, die das vordere Blickfeld des Fahrers nicht behindert, einer
Messanzeige-integriertes Display, das mit einer Messanzeige integriert ist, die
den Fahrzustand des Automobils nummerisch anzeigt, oder dergleichen.
-
Zusätzlich offenbart zum Beispiel die japanische ungeprüfte
Patentanmeldung, Erstveröffentlichung, Hei 11-328364 eine Vorrichtung, die die
Umgebung in der Nähe des Fahrzeugs aufnimmt und das Ergebnis dem Fahrer
auf diese Weise anzeigt. In dieser Vorrichtung ist die Temperatur der
freiliegenden Haut vom Kopf des erfassten Objekts höher als die Temperatur der
anderen Teile, und es wird zuerst die Position des Kopfs des erfassten
Objekts unter Nutzung der Tatsache identifiziert, dass es vergleichsweise
einfach ist, diesen als Bild einer Infrarotkamera aufzuzeichnen. Die dem
Körper des erfassten Objekts entsprechende Zone wird auf der Basis der
Information der identifizierten Position des Kopfs bestimmt. Hierdurch kann
zum Beispiel Aufmerksamkeit hervorgerufen werden, indem dem Fahrer
nicht nur der Kopf des Fußgängers angezeigt wird, sondern auch der
gesamte Körper.
-
Jedoch ist in der oben beschriebenen herkömmlichen Vorrichtung für den
Fall, dass das erfasste Objekt von der Vorderseite her aufgezeichnet wird,
die Menge an Infrarotstrahlung der Haut des Gesichts groß im Vergleich zu
den anderen Teilen, und daher ist die Position des Kopfs des erfassten
Objekts leicht zu erfassen. Obwohl jedoch die Erfassung der Zone des
gesamten Körpers davon einfach ist, werden für den Fall, dass das erfasste
Objekt von der Rückseite her aufgezeichnet wird, andere Teile als das
Gesicht extrahiert, und es ist schwierig, die Position des Kopfs zu
identifizieren.
-
Zusätzlich ändert sich die Temperatur der Körperteile des erfassten Objekts
in Abhängigkeit von den Bedingungen und der Umgebung. Beispiele sind
Teile, deren Temperatur ansteigt, weil sie direkt der Sonne ausgesetzt sind,
und Teile, deren Temperatur absinkt, weil sie durch den Wind angeblasen
werden. Demzufolge ist es, wegen der Temperaturzunahme oder
-abnahme, nicht immer der Fall, dass die Position des Kopfs aus dem
aufgezeichneten Bild identifiziert werden kann. Die Zone, die dem Körper entspricht,
der aus dem als die Position des Kopfs erkannten Teil identifiziert ist, kann
sich von der Zone unterscheiden, in der sich das erfasste Objekt tatsächlich
befindet.
-
Im Hinblick auf die oben beschriebenen Probleme ist es Aufgabe der
vorliegenden Erfindung, eine Fahrzeuginformation-Bereitstellungsvorrichtung
anzugeben, die den Bereich des Vorhandenseins einer Person aus den
Charakteristika von durch eine Infrarotkamera aufgezeichneten Bildern
bestimmt und anzeigt.
ZUSAMMENFASSUNG DER ERFINDUNG
-
Zur Lösung der oben beschriebenen Probleme umfasst ein erster Aspekt
der Fahrzeuginformation-Bereitstellungsvorrichtung der vorliegenden
Erfindung, die ein von einer Infrarotkamera aufgezeichnetes Bild anzeigt, eine
Extrahierte-Zone-Setzeinrichtung (zum Beispiel Schritt S1 bis Schritt S18 in
den Ausführungen), die die gegenwärtige Zone des physischen Objekts,
das durch mehrwertige Verarbeitung des Bilds erfasst ist, als die extrahierte
Zone (z. B. die zuerst extrahierte Zone 51) setzt, eine
Suchbereich-Setzeinrichtung (zum Beispiel Schritt S21 bis Schritt S24 in den Ausführungen),
die den Suchbereich (zum Beispiel Suchbereiche 54 bis 58 in den
Ausführungen) in der Nähe der extrahierten Zone setzt, sowie eine Physisches-
Objekt-Erkennungseinrichtung (zum Beispiel Schritt S25 bis Schritt S37 in
den Ausführungen), die nach Helligkeitsänderungen in dem gesuchten
Bereich sucht und eine aufleuchtende Anzeige des Bereichs dort, wo eine
Helligkeitsänderung vorhanden ist, zusammen mit der extrahierten Zone
desselben Objekts liefert.
-
Die Fahrzeuginformation-Bereitstellungsvorrichtung mit der oben
beschriebenen Struktur setzt den Suchbereich, indem sie die durch die Extrahierte-
Zone-Setzeinrichtung gesetzte extrahierte Zone als die Referenz setzt und
die Zone sucht, die eine Helligkeitsänderung in der Nähe der extrahierten
Zone zeigt. Hierdurch kann die Zone, in der ein physisches Objekt mit dem
in der extrahierten Zone aufgenommenen Objekt identisch ist, mit einer
aufleuchtenden Anzeige zusammen mit der extrahierten Zone versehen werden.
-
Ein zweiter Aspekt der Fahrzeuginformation-Bereitstellungsvorrichtung der
vorliegenden Erfindung umfasst zwei Infrarotkameras und eine Parallaxen-
Berechnungseinrichtung (zum Beispiel Schritt S34 in den Ausführungen),
die die Parallaxe des durch die zwei Kameras aufgezeichneten Bilds findet,
und die Physisches-Objekt-Erkennungseinrichtung liefert eine aufleuchtende
Anzeige der Zone, die eine Helligkeitsänderung und Parallaxe hat, die zu
der extrahierten Zone identisch sind, als einen identischen physischen
Körper.
-
Die Fahrzeuginformation-Bereitstellungsvorrichtung mit der oben
beschriebenen Struktur erkennt eine Zone, die eine Helligkeitsänderung und eine
Parallaxe hat, die zu der des extrahierten Bereichs identisch ist, als den
Bereich, in dem ein physischer Körper, der mit dem physischen Körper
identisch ist, der in dem extrahierten Bereich aufgenommen wurde, und
dies kann zusammen mit dem extrahierten Bereich eine aufleuchtende
Anzeige liefern.
-
In einem dritten Aspekt der Fahrzeuginformation-Bereitstellungsvorrichtung
der vorliegenden Erfindung stoppt die
Physisches-Objekt-Erkennungseinrichtung das Suchen nach Helligkeitsänderungen für den Fall, dass der
benachbarte Suchbereich (zum Beispiel Suchbereiche 52 und 53 in den
Ausführungen), die über oder unter die extrahierte Zone gesetzt sind, den
Bereich des Bilds überschreitet.
-
In einer Fahrzeuginformation-Bereitstellungsvorrichtung der vorliegenden
Erfindung mit der Struktur liefert die
Physisches-Objekt-Erkennungseinrichtung eine aufleuchtende Anzeige nur einer extrahierten Zone ohne
Suche des physischen Objekts, indem sie bestimmt, dass der große Teil
des physischen Objekts in der extrahierten Zone aufgezeichnet wird, für
den Fall, dass die Zone des Bilds überschritten wird, wenn die Suchbereich-
Setzeinrichtung den Suchbereich über oder unter die extrahierte Zone setzt.
KURZBESCHREIBUNG DER ZEICHNUNGEN
-
Fig. 1 ist ein Blockdiagramm, das die Struktur der
Fahrzeuginformation-Bereitstellungsvorrichtung gemäß einer Ausführung der
vorliegenden Erfindung zeigt.
-
Fig. 2 ist eine Zeichnung, die die Installationspositonen der
Infrarotkameras, Sensoren, der Anzeige und dergleichen an dem
Fahrzeug zeigt.
-
Fig. 3 ist ein Flussdiagramm, das den Gesamtbetrieb der
Fahrzeuginformation-Bereitstellungsvorrichtung gemäß derselben
Ausführung zeigt.
-
Fig. 4A und 4B sind Zeichnungen, die das Graustufenbild bezeichnen, das von
der Infrarotkamera aufgenommen ist, sowie das Binärbild
davon.
-
Fig. 5A, 5B und 5C sind Zeichnungen, die den Umwandlungsprozess in
Lauflängendaten und Markierung zeigen.
-
Fig. 6A und 6B sind Zeichnungen, die die zeitliche Verfolgung des Objekts
zeigen.
-
Fig. 7 ist eine Zeichnung, die die Drehwinkelkorrektur des
Objektbilds zeigt.
-
Fig. 8A und 8B sind Zeichnungen, die den Suchbereich in dem rechten Bild
und den in das rechte Bild gesetzten Suchbereich zeigen.
-
Fig. 9 ist eine Zeichnung, die den korrelativen Operationsprozess
zeigt, in dem der Suchbereich als das Objekt gesetzt wird.
-
Fig. 10A und 10B sind Zeichnungen, die das Berechnungsverfahren der Parallaxe
zwischen Objekten in der Abstandsberechnung des Objekts
zeigen.
-
Fig. 11A und 11B sind Zeichnungen, die den Versatz der Position des Objekts in
dem Bild zeigt, der durch die Kurvenfahrt des Wagens erzeugt
wird.
-
Fig. 12 ist eine Zeichnung, die den Fall zeigt, in dem eine Kollision
leicht auftreten könnte.
-
Fig. 13 ist eine Zeichnung, die die Zonenaufteilung vor dem Fahrzeug
zeigt.
-
Fig. 14 ist eine Flussdiagramm, das die
Aufleuchtbild-Ausgabeprozessoperation gemäß der Ausführung desselben Beispiels
zeigt.
-
Fig. 15A und 15B sind Zeichnungen, die ein Beispiel eines
Zonenaufteilungsergebnisses in dem Bild desselben Beispiels zeigen.
-
Fig. 16A und 16B sind eine Zeichnung, die die Zonensuchsequenz in dem Bild
gemäß einer ersten Ausführung desselben Beispiels zeigt.
-
Fig. 17A und 17B sind Zeichnungen, die die Zonensuchsequenz in dem Bild
gemäß einer ersten Ausführung desselben Beispiels zeigen.
-
Fig. 18 ist ein Flussdiagramm, das die
Helligkeitsänderungs-Suchprozessoperation der
Fahrzeuginformation-Bereitstellungsvorrichtung desselben Beispiels zeigt.
-
Fig. 19A und 19B sind Zeichnungen, die die Zonensuchsequenz in einem Bild
gemäß einer zweiten und dritten Ausführung des Beispiels
zeigen.
-
Fig. 20 ist eine Zeichnung, die die Zonensuchsequenz in einem Bild
gemäß einer vierten Ausführung des Beispiels zeigt.
-
Fig. 21A und 21B sind Zeichnungen, die ein Beispiel der
Zonenaufteilungsergebnisse in einem Bild desselben Beispiels zeigen.
-
Fig. 22 ist eine Zeichnung, die ein Beispiel der
Zonenaufteilungsergebnisse in einem Bild desselben Beispiels zeigt.
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGEN
-
Nachfolgend werden die Ausführungen der vorliegenden Erfindung in Bezug
auf die Zeichnungen erläutert.
-
Fig. 1 ist ein Blockdiagramm, das die Struktur der Fahrzeuginformation-
Bereitstellungsvorrichtung gemäß einer Ausführung der vorliegenden
Erfindung zeigt.
-
In Fig. 1 ist die Bezugszahl 1 eine Bildverarbeitungseinheit, die eine CPU
(zentrale Steuereinheit) vorsieht, die die
Fahrzeuginformation-Bereitstellungsvorrichtung gemäß der vorliegenden Ausführung steuert, und worin
zwei Infrarotkameras 2R und 2L, die Infrarotstrahlung erfassen können, ein
Gierratensensor 3, der die Gierrate des Fahrzeugs erfasst, ein
Fahrzeuggeschwindigkeitssensor 4, der die Fahrgeschwindigkeit
(Fahrzeuggeschwindigkeit) des Fahrzeugs erfasst, und Bremssensoren 5, die den Betrieb der
Bremsen erfassen können, miteinander verbunden sind. Hierdurch erfasst
die Bildverarbeitungseinheit 1 ein sich bewegendes physisches Objekt, wie
etwa einen Fußgänger oder ein Tier, vor dem Fahrzeug aus einem
Infrarotbild in der Nähe des Fahrzeugs sowie einem Signal, das den Fahrzustand
des Fahrzeugs angibt, und gibt eine Warnung aus, wenn sie bestimmt,
dass die Möglichkeit einer Kollision hoch ist.
-
Zusätzlich sind in der Bildverarbeitungseinheit 1 angeschlossen ein
Lautsprecher 6 zur Ausgabe einer stimmlichen Warnung sowie eine
Bildanzeigevorrichtung 7, die zum Beispiel ein Messanzeige-integriertes Display
enthält, das eine integrierte Messanzeige hat, um den Fahrzustand des
Fahrzeugs nummerisch zu zeigen, sowie ein NAVIDisplay, das im
Armaturenbrett des Fahrzeugs angebracht ist, oder ein HUD (Head Up Display) 7, das
Information an einer Position an der Frontscheibe an einer Position anzeigt,
die das vordere Blickfeld des Fahrers nicht behindert. Die
Bildanzeigevorrichtung 7 dient zur Anzeige des Bilds, das von den Infrarotkameras 2R und
2L aufgezeichnet wird, und zur Information des Fahrers über Objekte, mit
denen eine hohe Kollisionsgefahr besteht.
-
Zusätzlich umfasst die Bildverarbeitungseinheit 1 eine
A/D-Wandler-Schaltung zum Umwandeln von analogen Eingangssignalen in Digitalsignale,
einen Bildspeicher zum Speichern des digitalisierten Bildsignals, eine CPU
(zentrale Prozessoreinheit), die jeden der Operationsprozesse ausführt, ein
RAM (Speicher mit wahlfreiem Zugriff), das die CPU zum Speichern von
Daten nutzt, die zu verarbeiten sind, ein ROM (Nur-Lesespeicher) zum
Speichern von Programmen, die durch die CPU ausgeführt werden,
Tabellen, Kennfeldern oder dergleichen, ein Treibersignal für den Lautsprecher
6 sowie eine Ausgabeschaltung, die Anzeigesignale oder dergleichen von
dem HUD 7a oder dergleichen ausgibt. Die jeweiligen Ausgabesignale der
Infrarotkameras 2R und 2L, des Gierratensensors 3, des
Fahrzeuggeschwindigkeitssensors 4 und der Bremssensoren 5 sind so ausgebildet,
dass sie in digitale Signale umgewandelt werden und dann in die CPU
eingegeben werden.
-
Zusätzlich sind, wie in Fig. 2 gezeigt, an der Vorderseite des Fahrzeugs 10
die Infrarotkameras 2R und 2L an Positionen angebracht, die in Bezug auf
die Quermittelrichtung des Fahrzeugs 10 im Wesentlichen symmetrisch
sind, wobei die optische Achse der zwei Infrarotkameras 2R und 2L
zueinander parallel sind und ihre Höhen über der Straßenoberfläche so festgelegt
sind, dass sie gleich sind. Darüber hinaus haben die Infrarotkameras 2R
und 2L die Eigenschaft, dass ihr Ausgangssignalpegel höher wird (die
Helligkeit zunimmt), je höher die Temperatur des Objekts ist.
-
Zusätzlich ist das HUD 7a derart angebracht, dass das Anzeigebild an einer
Position auf der Fensterscheibe des Fahrzeugs 10 angezeigt wird, die das
Blickfeld des Fahrers nicht behindert.
-
Als Nächstes wird der Betrieb der vorliegenden Ausführung in Bezug auf
die Figuren erläutert.
-
Fig. 3 ist ein Flussdiagramm, das die Verarbeitungssequenz der
Bildverarbeitungseinheit 1 der Fahrzeuginformation-Bereitstellungsvorrichtung
gemäß dieser Ausführung zeigt.
-
Zuerst zeichnet die Bildverarbeitungseinheit 1 das Infrarotbild auf, das das
Ausgangssignal der Infrarotkameras 2R und 2L ist (Schritt S1), führt daran
eine A/D-Wandlung aus (Schritt S2) und speichert das Graustufenbild in
dem Bildspeicher (Schritt S3). Darüber hinaus wird hier das rechte Bild
durch die Infrarotkamera 2R erhalten und wird das linke Bild durch die
Infrarotkamera 2L erhalten. Weil zusätzlich die horizontale Position eines
identischen Objekts auf dem Anzeigeschirm in dem rechten Bild und in dem
linken Bild versetzt angezeigt wird, kann der Abstand zu dem Objekt unter
Verwendung dieser Fehlausrichtung (Parallaxe) errechnet werden.
-
Als Nächstes wird das von der Infrarotkamera 2R erhaltene rechte Bild zum
Referenzbild gemacht, und an diesem Bildsignal wird eine binäre
Verarbeitung ausgeführt. In dieser binären Verarbeitung wird einer Zone, die heller
ist als ein Helligkeitsschwellenwert ITH, eine 1 (weiß) zugeordnet, und
einer dunklen Zone wird eine 0 (schwarz) zugeordnet.
-
Fig. 4A zeigt ein Graustufenbild, das durch die Infrarotkamera 2R erhalten
ist, und durch Ausführung der binären Verarbeitung der Rahmen wird das
in Fig. 4B gezeigte Bild erhalten. Darüber hinaus wird in Fig. 4B zum
Beispiel das von dem Rahmen von P1 nach P4 umgebene physische Objekt ein
solches Objekt (nachfolgend als "besonders helle Zone" bezeichnet) auf
dem Anzeigeschirm als weiß angezeigt.
-
Wenn die binären Bilddaten von den Infrarotkameras erhalten sind, wird
eine Verarbeitung ausgeführt, worin die binären Bilddaten in
Lauflängendaten umgewandelt werden (Schritt S5).
-
Fig. 5A ist eine Zeichnung zur Erläuterung davon, und in dieser Figur ist die
Zone, die aufgrund der binären Umwandlung weiß geworden ist, als die
Linien L1 bis L8 gezeigt. Die Linien L1 bis L8 haben alle eine Breite von 1
Pixel in der y-Richtung und sind, obwohl sie tatsächlich ohne
Zwischenraum in der y-Richtung angeordnet sind, zugunsten der Erläuterung
getrennt worden. Zusätzlich haben die Linien L1 bis L8 jeweils eine Länge von
2 Pixeln, 2 Pixeln, 3 Pixeln, 8 Pixeln, 7 Pixeln, 8 Pixeln, 8 Pixeln und 8
Pixeln. Die Lauflängendaten sind durch die Koordinaten des Startpunkts
jeder der Linien (der Punkt am linken Ende jeder Linie) und der Länge
(Anzahl der Pixel) von dem Startpunkt zu dem Endpunkt (der Punkt am rechten
Ende jeder Linie) gezeigt. Zum Beispiel umfasst die Linie L3 3 Pixel (x3,
y5), (x4, y5) und (x5, y5), und somit wird (x3, y5, 3) die Lauflängendaten.
-
Als Nächstes wird aus den in Lauflängendaten umgewandelten Bilddaten
durch Markierung des Objekts (Schritt S6) der Prozess ausgeführt, indem
das Objekt extrahiert wird (Schritt S7). Das heißt, wie in Fig. 5B gezeigt,
werden von den Linien L1 bis L8, die in Lauflängendaten umgewandelt
worden sind, die Linien L1 bis L3, die die in der y-Richtung überlappenden
Teile sind, als ein Objekt 1 behandelt, Linien L4 bis L8 werden als ein
Objekt 2 behandelt, und die Objektmarkierungen 1 und 2 werden zu den
Lauflängendaten addiert. Durch diesen Prozess werden zum Beispiel die in
Fig. 4B gezeigten besonders hellen Zonen jeweils als Objekte 1 bis 4
erkannt.
-
Wenn die Extraktion der Objekte abgeschlossen ist, wie in Fig. 5C gezeigt,
werden als Nächstes der Schwerpunkt G, die Oberflächenzone S sowie das
Aspektverhältnis ASPECT des umschriebenen Rechtecks, das durch die
unterbrochenen Linien dargestellt ist, errechnet (Schritt S8).
-
Hier wird die Oberflächenzone S berechnet, indem die Längen der
Lauflängendaten für dasselbe Objekt addiert werden. Zusätzlich wird die
Koordinate des Schwerpunkts G als die x-Koordinate der Linie errechnet, die die
Oberflächenzone S in der x-Richtung schneidet, und die y-Koordinate der
Linie, die sie in der y-Richtung schneidet. Ferner wird das Aspektverhältnis
ASPECT berechnet als das Dy/Dx-Verhältnis von Dy und Dx, wie in Fig. 5C
gezeigt. Darüber hinaus kann die Position des Schwerpunkts G durch die
Position des Schwerpunkts des umschriebenen Rechtecks ersetzt werden.
-
Wenn der Schwerpunkt, die Oberflächenzone und das Aspektverhältnis des
umschriebenen Rechtecks berechnet worden sind, wird als Nächstes die
Erkennung der Zeitspur, d. h. die Abtastung jedes Zyklus, desselben Objekts
ausgeführt (Schritt S9). In einer Zeitspur dient k als die Zeit, während der
eine Zeit t, ein analoger Betrag, an einem Abtastzyklus diskret gemacht
wird, und wie in Fig. 6A gezeigt, werden in dem Fall, dass die Objekte A
und B zur Zeit k extrahiert werden, die zur Zeit (k + 1) extrahierten Objekte
C und D als solche bestimmt, die mit den Objekten A und B identisch sind.
Insbesondere, wenn die folgenden Identitätsbestimmungsbedingungen 1
bis 3 erfüllt sind, werden die Objekte A und B als mit den Objekten C und
D identische Objekte bestimmt und werden die Markierungen der Objekte
C und D jeweils in Objekte A und B geändert.
- 1. Wenn die Positionskoordinaten des Schwerpunkts im Bild des Objekts
i (= A, B) zur Zeit k jeweils auf (xi(k), yi(k)) gesetzt sind und die
Positionskoordinaten des Schwerpunkts in dem Bild des Objekts j (= C, D) zur Zeit
(k + 1) jeweils auf (xj(k + 1), yj(k + 1)) gesetzt sind, dann gilt |xj(k + 1) -
xi(k)| < Δx|yj(k + 1) - yi(k)| < Δy, wobei Δx und Δy Zulässigkeitswerte des
Bewegungsbetrags in dem Bild jeweils in der x-Richtung und der y-Richtung
angeben.
- 2. Wenn die Oberflächenzone des Objekts i (= A, B) in dem Bild zur Zeit
k gleich Si(k) ist und die Oberflächenzone des Objekts j (= C, D) in dem
Bild zur Zeit (k + 1) gleich Sj(k + 1) ist, dann gilt Sj(k + 1)/Si(k) < 1 ± ΔS,
wobei ΔS die zulässigen Werte der Änderung in der Zone angibt.
- 3. Wenn das Aspektverhältnis des umschriebenen Rechtecks des Objekts
i (= A, B) zur Zeit k gleich ASPECT i (k) ist und das Aspektverhältnis des
umschriebenen Rechtecks des Objekts j (= C, D) gleich ASPECTj(k + 1) ist,
dann gilt ASPECTj(k + 1)/ASPECTi(k) < i ± Δ ASPECT, wobei ΔASPECT die
zulässigen Werte des Aspektverhältnisses angibt.
-
Wenn man zum Beispiel die Fig. 6A und 6B vergleicht, genügt, obwohl
die Größe jedes der Objekte in dem Bild größer wird, das Objekt A und das
Objekt C zu den oben beschriebenen Bedingungen zur Identifizierung der
Identität, und das Objekt B und das Objekt D genügen den oben
beschriebenen Bedingungen zur Identifikation der Identität, und somit werden die
Objekte C und D jeweils als die Objekte A und B erkannt. Auf diese Weise
werden die Positionskoordinaten (der Schwerpunkt) jedes der erkannten
Objekte in dem Speicher als zeitserielle Positionsdaten gespeichert, die
beim späteren Berechnungsprozess zu verwenden sind.
-
Darüber hinaus wird der oben erläuterte Prozess in den Schritten S4 bis S9
an einem binären Referenzbild ausgeführt (in dieser Ausführung dem
rechten Bild).
-
Als Nächstes werden die von dem Geschwindigkeitssensor 4 erfasste
Geschwindigkeit VCAR und die von dem Gierratensensor 3 erfasste
Gierrate YR gelesen, und es wird, wie in Fig. 7 gezeigt, der Drehwinkel θr des
Fahrzeugs 10 berechnet, indem die Gierrate YR in Bezug auf die Zeit
integriert wird (Schritt S10).
-
Im Gegensatz hierzu wird der Prozess von Schritt S9 und Schritt S10
parallel ausgeführt, und in den Schritten S11 bis S13 wird ein Prozess
ausgeführt, der den Abstand z zwischen dem Objekt und dem Fahrzeug 10
berechnet. Weil diese Berechnung eine längere Zeit als Schritt S9 und
Schritt S10 benötigt, werden sie mit einem längeren Zyklus als Schritt S9
und S10 ausgeführt (zum Beispiel mit einem Zyklus, der etwa das
Dreifache des Ausführungszyklus der Schritte S1 bis S10 beträgt).
-
Zuerst wird durch Auswahl eines der Objekte, das durch das Binärbild des
Referenzobjekts (des rechten Bilds) verfolgt wird, wie in Fig. 8A gezeigt, in
dem Suchbild R1 (hier wird die Gesamtzone, die von dem umschriebenen
Rechteck umgeben ist, zu dem Suchbild gemacht) aus dem rechten Bild
extrahiert (Schritt S11).
-
Als Nächstes wird der Fahrzeugsuchbereich, in dem das Bild dem
gesuchten Bild (nachfolgend als das "entsprechende Bild") von dem linken Bild
entspricht, gesetzt, und das entsprechende Bild wird durch Ausführung der
Korrelationsberechnung extrahiert (Schritt S12). Insbesondere wird, wie in
Fig. 8B gezeigt, in Abhängigkeit von jeder der Spitzenkoordinaten des
gesuchten Bilds R1, der Suchbereich R2 in dem linken Bild gesetzt und
wird der Helligkeitsdifferenzgesamtwert C (a, b), der den Korrelationsgrad
mit dem gesuchten Bild R1 in dem Suchbereich R2 angibt, durch die unten
gezeigte Gleichung 1 berechnet, und wird die Zone, in der dieser
Gesamtwert C (a, b) minimal wird, als das entsprechende Bild extrahiert. Merke,
dass diese Korrelationsberechnung unter Verwendung des Graustufenbilds
durchgeführt wird, nicht des binären Bilds.
-
Wenn zusätzlich vergangene Positionsdaten für den identischen physischen
Körper vorhanden sind, wird auf der Basis dieser Positionsdaten eine Zone
R2a (in Fig. 8B durch die unterbrochene Linie gezeigt), die näher ist als der
Suchbereich R2, gesetzt, um als der Suchbereich zu dienen.
-
Hier ist IR (m, n) ein Helligkeitswert der Position der Koordinate (m, n) in
dem in Fig. 9 gezeigten Suchbereich R1, und ist IL (a + m - M, b + n - N)
der Helligkeitswert der Position der Koordinate (m, n) in der Suchzone R1
und der lokalen Zone R3 mit der gleichen Form, wobei die Koordinaten (a,
b) in dem Suchbereich die Basispunkte sind. Die Position des
entsprechenden Bilds wird definiert, indem die Position herausgefunden wird, an der
der Gesamtwert C (a, b) der Helligkeitsdifferenz durch Ändern der
Koordinaten (a, b) des Basispunkts minimiert wird.
-
Weil aufgrund des Prozesses in Schritt S12, wie in Fig. 10A und Fig. 10B
gezeigt, das gesuchte Bild R1 und das entsprechende Bild R4, das diesem
Objekt entspricht, extrahiert werden, werden als Nächstes der Abstand dR
(Anzahl der Pixel) zwischen der Schwerpunktsposition des gesuchten Bilds
R1 und der Bildmittellinie LCTR und der Abstand dL (Anzahl der Pixel)
zwischen der Schwerpunktsposition des entsprechenden Bilds R4 und der
Bildmittellinie LCTR herausgefunden, und durch Anwendung der folgenden
Gleichung 2 wird der Abstand z zwischen dem Fahrzeug 10 und dem
Objekt berechnet (Schritt S13).
-
Hier ist B die Basislinienlänge, d. h. der Abstand in der horizontalen
Richtung zwischen der Mittelposition des fotografischen Elements der
Infrarotkamera 2R und der Mittelposition des fotografischen Elements der
Infrarotkamera 2L (die Trennung der Lichtstrahlenachse beider Infrarotkameras); F
ist die Brennweite der Linsen der Infrarotkameras 2R und 2L, p ist die
Pixeltrennung des fotografischen Elements der Infrarotkameras 2R und 2L,
und Δd (= dR + dL) ist der Parallaxenbetrag.
-
Wenn die Berechnung des Drehwinkels θr in Schritt S10 und die
Berechnung des Abstands zum Objekt in Schritt S13 abgeschlossen sind, werden
die Koordinaten (x, y) in dem Bild und der in Gleichung 2 berechnete
Abstand z auf die folgende Gleichung 3 angewendet und in reale
Raumkoordinaten (X, Y, Z) umgewandelt (Schritt S14).
-
Hier haben, wie in Fig. 2 gezeigt, die realen Raumkoordinaten (X, Y, Z) als
ihren Ursprung O die Mittelpunktsposition der Installationsposition der
Infrarotkameras 2R und 2L (die Position, an der sie an dem Fahrzeug 10
befestigt sind), wobei sie wie in der Figur gezeigt befestigt sind, und die
Koordinaten in dem Bild werden durch x in der horizontalen Richtung und
y in der vertikalen Richtung bestimmt, wobei die Bildmitte als der Ursprung
dient.
wobei f = F/p.
-
Hier sind (xc, yc) die Koordinaten (x, y) des rechten Bilds, die in
Koordinaten eines virtuellen Bilds umgewandelt worden sind, in dem der reale
räumliche Ursprung O und die Bildmitte auf der Basis der relativen
Positionsbeziehung zwischen der Installationsposition der Infrarotkamera 2R
und den realen räumlichen Ursprung O in Übereinstimmung gebracht
worden sind. Zusätzlich ist f das Verhältnis der Brennweite F und dem
Pixelabstand p.
-
Wenn darüber hinaus die realen Raumkoordinaten gefunden worden sind,
wird die Drehwinkelkompensation ausgeführt, um die
Positionsverschiebung in dem Bild aufgrund der Drehung des Fahrzeugs 10 zu kompensieren
(Schritt S15).
-
Wenn, wie in Fig. 7 gezeigt, das Fahrzeug dreht, zum Beispiel mit einem
Drehwinkel θr in der linken Richtung, während des Zeitintervalls von der
Zeit k bis (k + 1), tritt eine Verschiebung in der x-Richtung um einen
Betrag äquivalent Δx, wie in Fig. 11 gezeigt, in dem Bild auf, das durch die
Kamera erhalten wird, und die Drehwinkelkompensation ist ein Prozess, um
dies zu kompensieren. Insbesondere wird in der folgenden Gleichung 4 das
reale Raumkoordinatensystem (X, Y, Z) angewendet und werden die
kompensierten Koordinaten (Xr, Yr, Zr) berechnet. Die berechneten realen
Raumpositionsdaten (Xr, Yr, Zr) werden jedem Objekt zugeordnet und in
einem Speicher gespeichert. Darüber hinaus werden in der folgenden
Erläuterung die Koordinaten nach der Drehwinkelkompensation angegeben
(X, Y, Z).
-
Wenn die Drehwinkelkompensation für die realen Koordinaten
abgeschlossen ist, wird als Nächstes die angenähert gerade Linie LMV entsprechend
dem relativen Bewegungsvektor zwischen dem Objekt und dem Fahrzeug
10 aus N realen Raumpositionsdaten (zum Beispiel N = 10) nach der
Drehwinkelkompensation gefunden, die während der Überwachungsperiode
ΔT für ein und dasselbe Objekt erhalten sind, d. h. aus den Zeitseriendaten
(Schritt S16).
-
Genauer gesagt, wenn der Richtungsvektor L, der die Richtung der
angenähert geraden Linie LMV angibt, gleich (lx, ly, lz) ist, wobei (|L| = 1), wird
die durch die folgende Gleichung 5 angegebene gerade Linie
herausgefunden.
-
Hier ist u ein Parameter, der einen beliebigen Wert einnimmt, und Xav, Yav
und Zav sind jeweils die Mittelwerte der X-Koordinate, der Y-Koordinate
und der Z-Koordinate der realen Raumpositionsdaten-Sequenz.
-
Wenn darüber hinaus der Parameter u eliminiert wird, wird Gleichung 5 zu
Gleichung 5a:
(X - Xav)/1x = (Y - Yav)/1y = (Z - Zav)/1z Gl. 5a
-
Falls darüber hinaus zum Beispiel P(0), P(1), P(2), . . ., P(n - 2), P(N - 1) die
Zeitseriendaten nach der Drehwinkelkompensation angibt, geht die
angenähert gerade Linie LMV durch die Mittelpositionskoordinate Pav = (Zav,
Yav, Zav) der Zeitsequenzdaten hindurch und wird als die gerade Linie
herausgefunden, die dadurch gekennzeichnet ist, dass der Mittelwert des
Quadrats des Abstands von jedem der Datenpunkte minimal ist.
-
Hier bezeichnet der P beigefügte nummerische Wert in Klammern, der die
Koordinaten jedes Datenpunktes angibt, dass, je größer der Wert ist, desto
älter die Daten sind. Zum Beispiel gibt P(0) die jüngste Positionskoordinate
an, P(1) gibt die Positionskoordinate von einem Abtastzyklus zurück an und
P(2) gibt die Positionskoordinate von zwei Abtastzyklen zurück an.
-
Wenn als Nächstes die jüngste Positionskoordinate P(0) = (X(0), Y(0),
Z(0)), wird die Positionskoordinate P(N - 1) = (X(N - 1), Y(N - 1), Z(N - 1)) der
(N - 1)-Abtastung zurück (vor der Zeit ΔT) auf eine Position auf der
angenähert geraden Linie LMV kompensiert. Genauer gesagt, durch Anwendung
der Z-Koordinaten Z(0), Z(N - 1) auf die obige Gleichung 5a, d. h. die
folgende Gleichung 6, werden die Positionskoordinaten nach Kompensation
Pv(0) = (Xv(0), Yv(0), Zv(0)) und Pv(N - 1) = (Xv(N - 1), Yv(N - 1), Zv(N - 1))
herausgefunden.
-
Der relative Bewegungsvektor wird als der Vektor von der in Gleichung 8
berechneten Positionskoordinate Pv(N - 1) zu Pv(0) herausgefunden.
-
Durch Herausfinden des relativen Bewegungsvektors, indem auf diese
Weise die angenähert gerade Linie, die die relative Bewegungsortskurve
des Objekts in Bezug auf das Fahrzeug annähert, aus der Mehrzahl von (N)
Daten innerhalb der Überwachungsperiode ΔT berechnet wird, kann der
Einfluss des Positionserfassungsfehlers reduziert werden und kann die
Kollisionsmöglichkeit mit einem Objekt noch korrekter vorhergesagt
werden.
-
Wenn darüber hinaus in Schritt S16 der relative Bewegungsvektor
herausgefunden wurde, wird als Nächstes die Kollisionsmöglichkeit mit dem
erfassten Objekt bestimmt, und es wird ein Warnbestimmungsprozess
ausgeführt, der eine Warnung ausgibt, wenn die Möglichkeit hoch ist
(Schritt S17).
-
Der Warnbestimmungsprozess (Schritt S17) ist ein Prozess, der die
Kollisionsmöglichkeit zwischen dem Fahrzeug 10 und dem erfassten Objekt
bestimmt, unter Verwendung eines des Kollisionserfassungsprozesses, des
Prozesses zur Bestimmung, ob sich das Objekt in einer
Annäherungsbestimmungszone befindet oder nicht, oder eines invasiven
Kollisions-Bestimmungsprozesses, die unten beschrieben werden. Unten wird, wie in Fig. 12
gezeigt, die Erläuterung ein Beispiel behandeln, worin sich ein Tier 20 mit
einer Geschwindigkeit Vp von angenähert 90° in Bezug auf die
Vorwärtsbewegungsrichtung des Fahrzeugs 10 annähert.
Kollisions-Bestimmungsprozess
-
Zuerst berechnet die Bildverarbeitungseinheit 1 die relative Geschwindigkeit
Vs in der Z-Richtung unter Verwendung der folgenden Gleichung 7 von
dem sich annähernden Tier 20, den Abstand Zv(0) von dem Abstand Zv(N -
1) während der Zeit ΔT, und führt einen Kollisions-Bestimmungsprozess
aus. Der Kollisions-Bestimmungsprozess ist ein Prozess, der bestimmt, ob
eine Kollisionsmöglichkeit besteht, wenn die folgenden Gleichungen 8 und
9 erfüllt sind.
Vs = (Zv(N - a) - Zv(0))/ΔT Gl. 7
Zv(0)/Vs ≤ T Gl. 8
|Yv(0)| ≤ H Gl. 9
-
Hier ist Zv(0) der jüngste Abstandserfassungswert (v ist beigefügt, um
anzuzeigen, dass dies Daten nach der Kompensation unter Verwendung der
angenähert geraden Linie LMV sind, wohingegen die Z-Koordinate ein Wert
ist, der mit jenem vor der Kompensation identisch ist), und Zv(N - 1) ist der
erfasste Abstandswert vor der Zeit ΔT. Zusätzlich ist T eine zulässige Zeit
und gibt an, dass die Kollisionsmöglichkeit eine Zeit T vor der
vorhergesagten Kollisionszeit bestimmt ist, und beträgt etwa 2 bis 5 Sekunden.
Zusätzlich ist H eine vorbestimmte Höhe, die den Bereich der Y-Richtung definiert,
d. h. die Höhenrichtung, und ist zum Beispiel auf etwa das Doppelte der
Höhe des Fahrzeugs 10 gesetzt.
-
Prozess zur Bestimmung, ob sich das Objekt in einer
Annäherungsbestimmungszone befindet.
-
Hier wird bestimmt, ob sich ein Objekt in der
Annäherungsbestimmungszone befindet oder nicht. Zum Beispiel ist in Fig. 13 die Zone, die durch die
Infrarotkameras 2R und 2L überwacht werden kann, durch die Zone AR0 in
dem umschriebenen Dreieck angegeben, das durch die dicke durchgehende
Linie angegeben ist, und die Zonen AR1, AR2 und AR3 in der Zone AR0,
die dem Fahrzeug 10 näher sind als Z1 = Vx × T dienen als die
Warnzonen.
-
Hier ist AR1 die Zone, die dem Bereich entspricht, zu dem die Zulässigkeit
β (zum Beispiel etwa 50 bis 100 cm) an beiden Seiten der Breite α des
Fahrzeugs 10 addiert worden ist, oder in anderen Worten die Zone mit
einer Breite (α/2 + β) an beiden Seiten der Achse an dem Mittelteil in der
Breitenrichtung des Fahrzeugs 10, und wenn das Objekt weiterhin so
vorhanden ist, wie es ist, ist die Kollisionsmöglichkeit extrem hoch. Somit
werden diese Zonen Annäherungsbestimmungszonen genannt. Die Zonen
AR2 und AR3 sind Zonen (in der Queraußenrichtung der
Annäherungsbestimmungszone), in denen der Absolutwert der X-Koordinate größer ist
als die Annäherungsbestimmungszone, wobei eine unten beschriebene
invasive Kollisionsbestimmung über das Objekt innerhalb dieser Zone
durchgeführt wird, und dies wird somit die invasive Bestimmungszone
genannt. Darüber hinaus haben diese Zone eine vorbestimmte Höhe in der
Y-Richtung, wie in der obigen Gleichung 9 gezeigt.
Invasiver Kollisions-Bestimmungsprozess
-
Genauer gesagt, unterscheidet der invasive Kollisions-Bestimmungsprozess
in Schritt S23, ob die Differenz zwischen xc(0), die die jüngste
x-Koordinate an dem Bild ist (der Buchstabe c ist, wie unten erläutert, beigefügt,
um anzugeben, dass dies eine Koordinate ist, an der die Kompensation
ausgeführt worden ist, die die Mittelposition des Bilds mit dem realen
räumlichen Ursprungspunkt O in Übereinstimmung bringt), und xc(N - 1), das
die X-Koordinate vor der Zeit ΔT ist, der folgenden Gleichung 10 genügt
oder nicht, und in dem Fall, dass sie erfüllt ist, wird bestimmt, dass die
Möglichkeit einer Kollision hoch ist.
-
Darüber hinaus wird, wie in Fig. 14 gezeigt, in dem Fall, dass sich ein Tier
in einer Richtung fortbewegt, die einen Winkel von angenähert 90° in
Bezug auf die Fortbewegungsrichtung des Fahrzeugs 10 hat, wenn Xv(N -
1)/Zv(N - 1) = Xv(0)/Zr(0), oder in anderen Worten, wenn das Verhältnis der
Geschwindigkeit Vp und der relativen Geschwindigkeit Vs des Tiers gleich
Vp/Vs = Xr(N - 1)/Zr(N - 1) ist, der Sichtwinkel θd des Tiers 20 von dem
Fahrzeug 10 konstant, und die Möglichkeit einer Kollision wird hoch.
Gleichung 10 bestimmt diese Möglichkeit unter Berücksichtigung der Breite α
des Fahrzeugs 10.
-
In dem Warnbestimmungsprozess (Schritt S17), in einem der Kollisions-
Bestimmungsprozesse, des Prozesses zur Bestimmung, ob sich ein Objekt
in der Annäherungsbestimmungszone befindet, oder in dem invasiven
Kollisions-Bestimmungsprozess, falls bestimmt wird, dass keine Möglichkeit
einer Kollision zwischen dem Fahrzeug 10 und dem erfassten Objekt
vorliegt (NEIN in Schritt S17), kehrt der Prozess zu Schritt S1 zurück, und der
oben beschriebene Prozess wird wiederholt.
-
Zusätzlich geht in dem Warnbestimmungsprozess (Schritt S17) in dem Fall,
dass bestimmt wird, dass eine Kollisionsmöglichkeit zwischen dem
Fahrzeug 10 und dem erfassten Objekt vorhanden ist, durch irgendeinen des
Kollisions-Bestimmungsprozesses, des Prozesses zur Bestimmung, ob sich
ein Objekt in der Annäherungsbestimmungszone befindet, oder dem
invasiven Kollisions-Bestimmungsprozess (JA in Schritt S17) der Prozess zum
Warnausgabe-Bestimmungsprozess von Schritt S18 weiter.
-
In Schritt S18 wird der Warnausgabe-Bestimmungsprozess, d. h. die
Bestimmung, ob die Warnung ausgegeben wird oder nicht, ausgeführt (Schritt
S18).
-
Der Warnausgabe-Bestimmungsprozess bestimmt, ob der Fahrer des
Fahrzeugs 10 eine Bremsbetätigung durchführt oder nicht, aus der Ausgabe BR
des Bremssensors 5.
-
In dem Fall, dass der Fahrer des Fahrzeugs 10 eine Bremsbetätigung
durchführt, wird die hierdurch erzeugte Beschleunigung Gs (positiv in der
Verzögerungsrichtung) berechnet, und wenn diese Beschleunigung Gs größer
als ein vorbestimmter Schwellenwert GTH ist, wird bestimmt, dass eine
Kollision durch die Bremsbetätigung vermieden werden kann, und der
Warn-Bestimmungsprozess endet (NEIN in Schritt S18), der Prozess kehrt
zu Schritt S1 zurück und der oben beschriebene Prozess wird wiederholt.
-
Hierdurch wird, wenn eine geeignete Bremsbetätigung ausgeführt wird,
keine Warnung ausgegeben, und der Fahrer wird nicht übermäßig gestört.
-
Wenn darüber hinaus die Beschleunigung Gs gleich oder kleiner als ein
vorbestimmter Schwellenwert GTH ist und wenn zusätzlich der Fahrer des
Fahrzeugs 10 keine Bremsbetätigung ausführt, geht der Fluss unmittelbar
zu dem Prozess in Schritt S19 weiter (JA in Schritt S18). Weil die
Kontaktmöglichkeit mit dem Objekt hoch ist, wird über einen Lautsprecher 3
eine Warnmitteilung ausgegeben (Schritt S19), und gleichzeitig wird ein
Graustufenbild, das zum Beispiel von der Infrarotkamera 2R erhalten ist, an
der Bildanzeigevorrichtung 7 angezeigt, und der aufleuchtende
Anzeigerahmen wird auf das sich annähernde Objekt gesetzt. Hierdurch wird das
Objekt dem Fahrer des Fahrzeugs 10 als aufleuchtendes Bild angezeigt
(Schritt S20).
-
Darüber hinaus wird der vorbestimmte Schwellenwert GTH durch die
folgende Gleichung 11 bestimmt. Dies ist der Wert entsprechend dem
Zustand, in dem das Fahrzeug 10 an einem Fahrabstand gleich oder kleiner
als zum Abstand Zv(0) stoppt, in dem Fall, dass die Beschleunigung Gs
während der Bremsbetätigung so bleibt, wie sie ist.
-
Als Nächstes wird der Aufleuchtende-Anzeige-Ausgabeprozess in Schritt
S20 der im Flussdiagramm in Fig. 3 gezeigt ist, in Bezug auf die
Flussdiagramme erläutert, die in Fig. 14 und Fig. 18 gezeigt sind, und der
Zeichnungen, die in Fig. 15 und Fig. 17 gezeigt sind.
Erste Ausführung
-
Fig. 14 ist ein Flussdiagramm, das den Gesamtbetrieb der Aufleuchtendes-
Bild-Ausgabeprozessoperation gemäß der ersten Ausführung zeigt.
-
In Fig. 14 wird zuerst die Größe der Fläche bzw. des Bereichs (unten als
der "erste erfasste Bereich" bezeichnet) des durch die Binärisierung und
Korrelationsoperation erfassten Objekts als die Referenz gesetzt, und es
werden mehrere Flächen bzw. Bereiche eingerichtet durch Aufteilung der
Zone des ersten erfassten Bereichs in der vertikalen Richtung derart, dass
ihre Größe identisch mit jener des ersten erfassten Bereichs ist, und dieser
dient als der Suchbereich (Schritt S21).
-
Zusätzlich wird beim Einrichtung der Mehrzahl von Suchbereichen durch
vertikale Aufteilung der Zone des ersten erfassten Bereichs bestimmt, ob
der aufgeteilte Suchbereich in der Zone des Referenzbilds (rechten Bilds) ist
oder nicht (Schritt S22), wobei der Prozess zu Schritt S21 zurückkehrt, bis
der Suchbereich aus dem Referenzbild vorsteht, und wiederholt die
Bereichaufteilung der Zone (Einrichten des Suchbereichs) (JA in Schritt S22).
-
Wenn hingegen der Suchbereich von dem Referenzbild (NEIN in Schritt
S22) vorsteht, wird die Anzahl der in dem Referenzbild aufgeteilten
Bereiche berechnet (Schritt S23).
-
Zusätzlich wird bestimmt, ob die Anzahl der Bereiche in der
Referenzbildzone größer als eins ist oder nicht (Schritt S24).
-
In Schritt S24 wird in dem Fall, dass die Anzahl der Bereiche in der
Referenzbildzone eins ist (der Fall, worin die Anzahl der Bereiche in dem ersten
erfassten Bereich der Referenzbildzone eins ist und die Anzahl der Bereiche
in dem Bereich, der vertikal von der Referenzbildzone vorsteht, 2 ist, was
insgesamt drei ergibt) (NEIN in Schritt S24), der erste erfasste Bereich als
der aufleuchtende Anzeigebereich gesetzt (Schritt S25).
-
Fig. 15A und 15B sind Zeichnungen, die ein Beispiel eines Bilds in dem
Fall zeigen, dass das Objekt 30 ein Mensch ist und die Anzahl der Bereiche
in der Referenzbildzone 50 eins ist. Fig. 15A ist ein Fall, in dem der
gesamte Körper des Objekts 30 in dem ersten erfassten Bereich 51
aufgenommen wurde, und ob dies der gesamte Körper ist, kann durch die
Bereichsgröße und den Abstand des Objekts 30 bestimmt werden. Im
Gegensatz hierzu ist Fig. 15B der Fall, worin ein Teil des Körpers des Objekts 30
in dem ersten erfassten Bereich 51 aufgenommen wurde. In jedem Fall sind
der erste erfasste Bereich 51 in der Referenzbildzone 50 und die
Suchbereiche 52 und 53, die vertikal von der Referenzbildzone 50 vorstehen,
eingerichtet, was insgesamt drei Bereiche ergibt.
-
Als Nächstes wird in Schritt S24 in dem Fall, dass die Anzahl der Bereiche
in der Referenzbildzone größer als eins ist (JA in Schritt S24), das Setzen
des Suchbereichs ausgeführt, indem die Reihe, die den ersten erfassten
Bereich 51 enthält, zur Referenz gemacht wird, und das Register j zur
Unterscheidung der Reihen rückgesetzt wird (j = 0) (Schritt S26).
-
Zusätzlich wird bestimmt, ob eine Änderung der Helligkeit des Bilds in dem
Suchbereich erkannt worden ist oder nicht, wird der Suchbereich in der mit
dem Register j bezeichneten Reihe in der Längsrichtung für jeden
Suchbereich bestimmt, und wird der Helligkeitsänderungs-Suchprozess, der das
Flag in dem Suchbereich setzt, in dem die Helligkeitsänderung in dem Bild
erkannt wird, ausgeführt (Schritt S27). Ferner werden unten die Details des
Helligkeitsänderungs-Suchprozesses beschrieben.
-
Fig. 16A zeigt eine Bildreihe in dem Fall, dass das Objekt 30 eine Person ist
und die Anzahl der Bereiche in der Referenzbildzone 50 größer als eins ist.
Zum Beispiel ist in Fig. 16A eine Reihe gebildet, die den ersten erfassten
Bereich 51, die Suchbereiche 54 und 55, die sich in der vertikalen Richtung
hierzu befinden und von der Referenzbildzone 50 vorstehen, und ferner
eine Mehrzahl von Suchbereichen 56, die sich in der Referenzbildzone 50
befinden, für insgesamt M Bereiche. Weil zusätzlich diese Bereiche als die
Referenz dient, wird diese Reihe auf j = 0 gesetzt.
-
Als Nächstes wird bestimmt, ob ein Flag vorhanden ist oder nicht, das
anzeigt, dass eine Helligkeitsänderung in dem Bild in dem Suchbereich der
mit dem Register j bezeichneten Reihe erkannt wurde (Schritt S28).
-
Falls in Schritt S28 ein Flag vorhanden ist, das anzeigt, dass eine
Helligkeitsänderung in dem Bild in dem Suchbereich in der bezeichneten Reihe
erkannt wurde (JA in Schritt S28), wird die der gegenwärtig abgesuchten
Reihe benachbarte Reihe bezeichnet, indem j um 1 erhöht wird (j = j + 1)
(Schritt S29), kehrt der Prozess zu Schritt S27 zurück und wird der
Helligkeitsänderungs-Suchprozess an der neuen Reihe ausgeführt (Schritt S27).
-
Falls zusätzlich in Schritt S28 kein Flag vorhanden ist, das anzeigt, dass
eine Helligkeitsänderung in dem Bild in dem Suchbereich in der
bezeichneten Reihe erkannt worden ist (NEIN in Schritt S28), wird j rückgesetzt
(j = 0) (Schritt S30), wird j um 1 verringert (j = j - 1) und wird hierdurch eine
Reihe an der Seite, die von der einen oben gesuchten entgegengesetzt ist,
bezeichnet (Schritt S31).
-
Zusätzlich wird, wie im oben beschriebenen Schritt S27, ein
Helligkeitsänderungs-Suchprozess ausgeführt (Schritt S32).
-
Als Nächstes wird, wie im oben beschriebenen Schritt S28, bestimmt, ob
ein Flag vorhanden ist oder nicht, das anzeigt, dass eine
Helligkeitsänderung in dem Bild in dem Suchbereich in der mit dem Register j bezeichneten
Reihe erkannt worden ist (Schritt S33).
-
Falls in Schritt S33 ein Flag vorhanden ist, das anzeigt, dass eine
Helligkeitsänderung in dem Bild in dem Suchbereich in der bezeichneten Reihe
erkannt worden ist (JA in Schritt S33), kehrt der Prozess des Schritts S31
zurück, wird j um 1 verringert (j = j - 1) und wird hierdurch die der
gegenwärtig gesuchten benachbarte Reihe bezeichnet, und wird in Schritt S32
ein Helligkeitsänderungs-Suchprozess an der neuen Reihe ausgeführt
(Schritt S32).
-
Fig. 16B ist eine Zeichnung, die den Fall zeigt, in dem der Suchbereich, der
bis zu j = 2 abgesucht wurde, wo eine erkannte Helligkeitsänderung nicht
vorhanden ist, und somit j = -1 an der entgegengesetzten Seite von j = 0
gesucht wird.
-
Falls zusätzlich in Schritt S33 kein Flag vorhanden ist, das anzeigt, dass
eine Helligkeitsänderung in dem Bild in dem Suchbereich in der
bezeichneten Reihe erkannt worden ist (NEIN in Schritt S33), wird bestimmt, dass
die Suche in der Referenzbildzone 50 abgeschlossen ist, und es wird als
Nächstes die Parallaxenberechnung in dem Suchbereich ausgeführt, für den
ein Flag gesetzt worden war (Schritt S34).
-
Zusätzlich wird das Flag des Suchbereichs, der eine Parallaxe hat, die sich
von dem ersten Suchbereich 51 unterscheidet, (ein differierender Abstand
von dem Fahrzeug 10) gelöscht (Schritt S35).
-
Wenn zusätzlich der Suchbereich mit einer differierenden Parallaxe beseitigt
ist, wird eine aufleuchtende Anzeige ausgeführt, so dass der erste
Suchbereich 51 und der Suchbereich mit einem gesetzten Flag eingeschlossen sind
(Schritt S36).
-
Darüber hinaus werden die Aufleuchtende-Anzeige-Ausgabe, die in Schritt
S25 gesetzt ist, und die Aufleuchtende-Anzeige-Ausgabe, die in Schritt
S36 gesetzt ist, an die Bildanzeigevorrichtung 7 ausgegeben (Schritt S37),
und der Aufleuchtende-Anzeige-Ausgabeprozess wird abgeschlossen.
-
Beruhend auf Fig. 16A und Fig. 16b zeigt Fig. 17A den Zustand, in dem
der Aufleuchtende-Anzeige-Rahmen 59, der den ersten erfassten Bereich
51 enthält, und der Suchbereich, der einen Suchbereich enthält, bei dem
eine Helligkeitsänderung erkannt worden ist, gesetzt wird. Zusätzlich wird,
wie in Fig. 17B gezeigt, wenn er zu der Bildanzeigevorrichtung 7
ausgegeben wird, der Aufleuchtende-Anzeige-Rahmen 59, der das gesamte Objekt
enthält, das leicht als ein solches erkannt wird, das eine Objektform hat,
auf das angezeigte Graustufenbild gesetzt.
-
Als Nächstes wird ein Helligkeitsänderungs-Suchprozess unter Verwendung
des in Fig. 18 gezeigten Flussdiagramms erläutert.
-
Der Helligkeitsänderungs-Suchprozess ist ein Prozess, in dem bestimmt
wird, ob eine die Helligkeitsänderung in dem Bild in dem Suchbereich in
jedem Suchbereich in der mit dem Register j bezeichneten Reihe erkannt
werden kann oder nicht, und setzt ein Flag in einem Suchbereich, wo eine
Helligkeitsänderung in dem Bild erkannt wird. Der Suchbereich in der Reihe
wird in Richtung der Reihe (Längsrichtung) in Bezug auf die bezeichnete
Reihe gesucht.
-
Zuerst wird, um eine Suche in Richtung der Spalte auszuführen, das
Register i zur Unterscheidung der Spalten gesetzt (i = 1) (Schritt S41).
-
Als Nächstes wird für den Suchbereich in der mit dem Register i
bezeichneten Reihe eine Suche ausgeführt, um zu bestimmen, ob eine
Helligkeitsänderung in dem Graustufenbild des Suchbereichs erkannt wird oder nicht
(Schritt S42).
-
Zusätzlich wird bestimmt, ob die Helligkeitsänderung in dem Graustufenbild
der bezeichneten Fläche groß ist oder nicht (Schritt S43), und in dem Fall,
dass die Helligkeitsänderung groß ist (JA in Schritt S43), wird das Flag für
den entsprechenden Suchbereich gesetzt (Schritt S44).
-
Wenn ein Flag für einen Suchbereich gesetzt ist, der eine starke
Helligkeitsänderung aufweist, wird i um 1 erhöht (i = i + 1), um eine Suche der
nächsten Spalte durchzuführen, und hierdurch wird die nächste Spalte, die
gegenwärtig abzusuchen ist, bezeichnet.
-
Falls darüber hinaus die Helligkeitsänderung des Graustufenbilds in dem
gezeigten Suchbereich nicht groß ist (NEIN in Schritt S43), kehrt der
Prozess zu Schritt S45 zurück, ohne irgendeine Aktion vorzunehmen.
-
Weil ferner, wie in Fig. 16A und 16B gezeigt, die Gesamtzahl in jeder Reihe
des ersten erfassten Bereichs 51 und des Suchbereichs M Bereich beträgt,
wird der Wert des Registers i bestimmt (Schritt S46), und der
Helligkeitsänderungs-Suchprozess kehrt zu Schritt S42 zurück, bis der Wert von i
größer als M ist, und der oben beschriebene Prozess wird wiederholt (NEIN
in Schritt S46).
-
Falls daher in Schritt S24 im in Fig. 14 gezeigten Flussdiagramm die Anzahl
der Bereiche in der Referenzbildzone 50 größer als 1 ist (JA in Schritt S24),
wird der Helligkeitsänderungs-Suchprozess an dem Suchbereich in jeder der
Reihen ausgeführt (wo die Reihe j = 0, Suchbereiche 54 und 55), die von
der Referenzbildzone 50 vorstehen.
-
Wenn zusätzlich in Schritt S46 der Wert von i groß wird (i > M) (JA in
Schritt S46), endet der Helligkeitsänderungs-Suchprozess.
-
Als Nächstes wird ein Beispiel einer unterschiedlichen Implementierung des
Aufleuchtendes-Bild-Ausgabeprozesses in dem Aufteilungsverfahren des
Bereichs sowie das Suchverfahren in Bezug auf die Zeichnungen in den
Fig. 19A, 19B und 20 erläutert.
Zweite Ausführung
-
Fig. 19A ist eine Zeichnung zur Erläuterung der zweiten Ausführung des
Aufleuchtendes-Bild-Ausgabeprozesses. In dem Fall, dass die erste
Ausführung den Suchbereich in der Reihenrichtung vergrößert, wird in der
Reihenrichtung eine Vergrößerung ausgeführt, indem alle Suchbereiche, die
vertikal in den M Bereichen enthalten sind, als Objekte verwendet werden.
Im Gegensatz hierzu wird in der zweiten Ausführung für Reihen außerhalb
von links und rechts (j = ±1) eine Suche ausgeführt, indem nur der Bereich
einer Reihe vergrößert wird, wo ein Suchbereich vorhanden ist, der ein
gesetztes Flag aufweist. In Fig. 19A, wo j = 1 und j = -1, wird ein
Helligkeitsänderungs-Suchprozess in den Reihen j = 2 und j = -2 nur in dem
Suchbereich 57 bei i = 2, 3, 4 ausgeführt, wo eine Helligkeitsänderung erkannt
worden ist.
-
Insbesondere in dem Fall, dass die Suchbereiche als A(i, j) bezeichnet
werden, das Vorhandensein eine Helligkeitsänderung mit 0 bezeichnet und
das Fehlen einer Helligkeitsänderung mit X bezeichnet wird, wird der
Helligkeitsänderungsprozess wie folgt ausgeführt:
A(1, -1):X, A(1, 0):X, A(1,1 ):X → keine Bereichsvergrößerung
A(2, -1):X, A(2, 0):0, A(2, 1):X → keine Bereichsvergrößerung
A(3, -1):0, A(3, 0):0, A(3,1):0 → Bereichsvergrößerung vorhanden
A(4, -1):0, A(4, 0):0, A(4,1):0 → Bereichsvergrößerung vorhanden
A(5, -1):0, A(5, 0):0, A(5,1):0 → Bereichsvergrößerung vorhanden
A(6, -1):X, A(6, 0):X, A(6,1):X → keine Bereichsvergrößerung
. . .
A(M, -1):X, A(M, 0):X, A(M, 1):X → keine Bereichsvergrößerung
-
Hierdurch ist in der vorherigen Reihe, in einer Spalte, wo keine Erkennung
der Helligkeitsänderung vorhanden ist, die Möglichkeit, dass eine
Helligkeitsänderung an der anderen Seite erkannt wird, ebenfalls klein, und somit
wird durch Weglassen eines unnötigen Helligkeitsänderungs-Suchprozesses
die Verarbeitungslast an der Bildverarbeitungseinheit gesenkt.
Dritte Ausführung
-
Fig. 19B ist eine Zeichnung zur Erläuterung der dritten Ausführung des
Aufleuchtendes-Bild-Ausgabeprozesses. In der dritten Ausführung wird der
Bereich, der durch Erweiterung des Suchbereichs in der horizontalen
Richtung gebildet ist, unter Verwendung der Größe des ersten erfassten
Bereichs 51 als der Referenz gesetzt, und in dem Fall, dass der Suchbereich
in der Reihenrichtung erweitert ist, in der Reihe, die dieselbe wie der erste
erfasste Bereich 51 ist, ist die Spalte, in der eine Helligkeitsänderung
erkannt worden ist, das Objekt. In Fig. 19B wird der Bereich, der durch
Erweiterung in der horizontalen Richtung unter Verwendung der Größe des
ersten erfassten Berreichs 51 als Referenz gebildet ist, als j = 0 dargestellt,
und in der Reihe j = 1 oder j = -1 wird der Suchbereich 58 von i = 1 bis i = 6,
wo eine Helligkeitsänderung in dem Bereich, wo j = 0 erkannt worden ist,
das Objekt des Helligkeitsänderungs-Suchprozesses.
-
Hierdurch wird ein Prozess, der die Spalte des Objekts des
Helligkeitsänderungs-Suchprozesses in Abhängigkeit vom Vorhandensein oder Fehlen einer
Helligkeitsänderung bestimmt, wenn eine Erweiterung in der Reihenrichtung
ausgeführt wird, unnötig, und somit kann die Verarbeitungslast in der
Bildverarbeitungseinheit 1 weiter gesenkt werden.
Vierte Ausführung
-
Fig. 20 ist eine Zeichnung zur Erläuterung der vierten Ausführung des
Aufleuchtendes-Bild-Ausgabeprozesses. In der vierten Ausführung wird,
unabhängig von der Größe des ersten erfassten Bereichs 51, die
Referenzbildzone 50 durch einen Suchbereich aufgeteilt, der eine vorbestimmte
Größe hat, und es wird der Helligkeitsänderungs-Suchprozess ausgeführt.
-
In Fig. 20 wird der Helligkeitsänderungs-Suchprozess unter Verwendung
eines Bereichs ausgeführt, der etwas größer ist als der erste erfasste
Bereich 51.
-
Jedoch wird hierdurch der Helligkeitsänderungs-Suchprozess in der
Referenzbildzone 50 unabhängig von der Größe des ersten erfassten Bereichs
51 ausgeführt, und daher ist, obwohl die Verarbeitungslast an der
Bildverarbeitungseinheit 1 stark reduziert werden kann, in dem Fall, dass die
Differenz in der Größe des Suchbereichs und der Größe des Objekts 30
groß ist, es notwendig, den Fall zu berücksichtigen, dass dies eine
Verringerung der Erfassungspräzision und eine Verringerung der
Erfassungsgeschwindigkeit mit sich bringen könnte.
-
Darüber hinaus kann, zusätzlich zu den oben beschriebenen ersten bis
vierten Ausführungen, in dem Fall, dass der Suchbereich erweitert wird, die
Parallaxenberechnung zwischen den Bildern der zwei Infrarotkameras 2R
und 2L zuerst ausgeführt werden, und dann braucht nur der Anteil des
Suchbereichs mit identischer Parallaxe erweitert werden.
-
Weil zusätzlich Anteile vorhanden sind, in denen keine Helligkeitsänderung
gleich oder größer als ein vorbestimmter Wert auch für dasselbe physische
Objekt vorhanden ist, ist auch eine vertikale Erweiterung möglich, die
diesen Anteil enthält.
-
Zusätzlich können durch Löschen der Flags oder der Bereiche, die eine
Parallaxe haben, die sich von dem ersten erfassten Bereich 51
unterscheiden, auch in dem Fall, dass die Objekte überlappen, die Objekte
unterschieden und extrahiert werden. Wenn zum Beispiel etwas Verstecktes
erfasst wird in dem Fall, dass ein Objekt hinter dem Fahrzeug vorhanden
ist, liegt zum Beispiel eine Helligkeitsänderung in dem Suchbereich vor, und
gleichzeitig hat der Suchbereich einen Parallaxenwert, der sich von dem
ersten erfassten Bereich 51 unterscheidet, und es ist eine Mehrzahl von
Suchbereichen mit solchen Parallaxenwerten vorhanden. Falls sich
herausstellt, dass der Abstand des Bereichs die Parallaxenwerte gefunden wird
und somit angenommen wird, dass sich eine Person hinter der
Fahrzeugkarosserie befindet, kann somit dem Anteil, der den versteckten Bereich
ausschließt, eine aufleuchtende Anzeige gegeben werden.
-
Als Nächstes wird ein Beispiel der Aufteilung des Suchbereichs in Bezug
auf die Zeichnungen der anderen Beispiele von Aufteilungen erläutert.
-
Wie der Kopfabschnitt des Objekts 30, das in den oben beschriebenen
ersten bis vierten Ausführungen erläutert wurde, ist Fig. 21A ein Beispiel
der Unterteilung des Referenzbildes unter Verwendung mittelgroßer
Suchbereiche, die auf der Basis des ersten erfassten Bereichs 51 gesetzt
wurden, der den Rumpf des Objekts 30 erfasst hat.
-
Fig. 21B ist ein Beispiel der Aufteilung eines Referenzbilds unter
Verwendung klein bemessener Suchbereiche, die auf der Basis des ersten
Suchbereichs 51 gesetzt worden sind, der das Ende der Hand des Objekts 30
erfasst hat.
-
Fig. 22 ist ein Beispiel der Aufteilung des Referenzbilds unter Verwendung
eines in Querrichtung groß bemessenen Suchbereichs, der auf der Basis
des ersten erfassten Suchbereichs 51 gesetzt ist, der beide Schultern und
den Brustabschnitt des Objekts 30 erfasst. Wie in Fig. 22 gezeigt, kann in
dem Fall, dass die Größe des ersten erfassten Bereichs 51 in der
Querrichtung groß ist, die Quergröße des Suchbereichs um den Abstand zu dem
Objekt, der aus der Parallaxe des Bilds gefunden wurde, justiert werden.
-
In den oben beschriebenen Ausführungen wurden darüber hinaus Beispiele
der Überwachung der Fahrzeugvorderseite angegeben, wobei aber eine
Überwachung auch in jeder Richtung ausgeführt werden kann, wie etwa
der Rückseite des Fahrzeugs.
-
Zusätzlich wurden in den oben beschriebenen Ausführungen
Infrarotkameras 2R und 2L vorgesehen, und der Abstand von dem Objekt, der unter
Verwendung der Parallaxe gefunden wird, wird auch als
Bestimmungsmaterial zum Extrahieren identischer physischer Objekte verwendet. Jedoch
ist es auch möglich, eine Kamera vorzusehen, und in diesem Fall kann der
Abstand zu dem Objekt aus dem Bestimmungsmaterial eliminiert werden,
das zum Extrahieren eines identischen physischen Objekts verwendet wird.
-
Zusätzlich enthält in der vorliegenden Ausführung die
Bildverarbeitungseinheit 1 die Extrahierte-Zone-Setzeinrichtung, die
Suchzonensetzeinrichtung, die Physisches-Objekt-Erkennungseinrichtung und die Parallaxen-
Berechnungseinrichtung. Genauer gesagt, die Schritte S1 bis S18 in Fig. 3
entsprechen der Extrahierte-Zone-Setzeinrichtung, die Schritte S21 bis S24
in Fig. 14 entsprechen der Suchzonensetzeinrichtung, und die Schritte S25
bis S37 in Fig. 14 entsprechen der
Physischer-Körper-Erkennungseinrichtung. Darüber hinaus entspricht Schritt S34 in Fig. 14 der
Parallaxen-Berechnungseinrichtung.
-
Wie oben erläutert, setzt die
Fahrzeuginformation-Bereitstellungsvorrichtung der vorliegenden Ausführungen den Suchbereich in der Nähe des
Fahrzeugs unter Verwendung eines ersten erfassten Bereichs 51, der der
zu erfassende erste Bereich ist, als die Referenz, und in dem Fall, dass eine
Helligkeitsänderung in dem Suchbereich erkannt wird und zwei
Infrarotkameras verwendet werden, wird der Suchbereich, der eine zu dem ersten
Suchbereich 51 identische Parallaxe hat, als das Bild eines physischen
Objekts bestimmt, das mit jenem in dem ersten Suchbereich 51 identisch
ist. Hierdurch ist es möglich, einen Bildbereich zu extrahieren, der das
gesamte Objekt zuverlässig aufnimmt.
-
Um daher einen herkömmlichen Prozess auszuführen, der den Kopf
extrahiert, unter der Annahme, dass er die höchste Oberflächentemperatur
unter den Körperteilen einer Person hat, war eine fehlerhafte Erfassung
aufgrund von Temperaturänderungen in den Körperteilen des erfassten
Objekts ein Problem. Beispiele von solchen Teilen sind Teile, deren
Temperatur angestiegen ist, weil sie direktem Sonnenlicht ausgesetzt sind, und
Teile, deren Temperatur abgesunken ist, weil sie durch den Wind
angeblasen werden. Auch wenn die Teile des Körpers oder dergleichen zuerst
erfasst werden, kommt es hierdurch zu dem Effekt, dass das gesamte
Objekt (der gesamte Körper des erfassten Objekts) immer aufgenommen
werden kann.
-
Wie oben erläutert, wird gemäß einem ersten Aspekt der
Fahrzeuginformation-Bereitstellungsvorrichtung eine Suchzone unter Verwendung der
extrahierten Zone, die durch die Extraktionszonensetzeinrichtung gesetzt ist,
als Referenz gesetzt, und durch Suchen der Zone, die eine
Helligkeitsänderung in der Nähe der extrahierten Zone hat, kann einer Zone, in der
scheinbar ein physischer Körper aufgezeichnet werden kann, der mit dem in der
extrahierten Zone aufgezeichneten physischen Körper identisch ist, eine
aufleuchtende Anzeige zusammen mit der extrahierten Zone gegeben
werden. Wenn daher die Suchzone auf der Basis der Größe der extrahierten
Zone gesetzt wird, kann die Größe der Suchzone in Bezug auf das Objekt
geeignet gesetzt werden, unter Verwendung der Größe der
Extraktionszone, die proportional zur Größe des Objekts ist. Hierdurch wird der Effekt
erhalten, dass die Erfassungsgeschwindigkeit der Erfassung des gesamten
physischen Objekts durch Absuchen in der Bildzone unter Verwendung der
Suchzone erhöht wird.
-
Gemäß einem zweiten Aspekt der vorliegenden Erfindung wird eine Zone,
die eine Helligkeitsänderung und eine zu der extrahierten Zone identische
Parallaxe hat, als eine solche Zone erkannt, in der angenommen wird, dass
das physische Objekt aufgenommen werden kann, das mit dem der
extrahierten Zone aufgenommenen physischen Objekt identisch ist, und
dieser kann, zusammen mit der extrahierten Zone, eine aufleuchtende
Anzeige gegeben werden.
-
Auch unter der Bedingung, dass eine Mehrzahl physischer Objekte
überlappen, liegt daher der Effekt vor, dass eine Mehrzahl von Objekten
getrennt und angezeigt werden kann, indem eine Zone mit derselben Parallaxe
(Abstand zu dem Objekt) wie das Bild der zwei Kameras ausgewählt wird.
-
Gemäß einem dritten Aspekt der
Fahrzeuginformation-Bereitstellungsvorrichtung bestimmt in dem Fall, dass die Zone des Bilds überschritten wird,
wenn die Suchzonensetzeinrichtung die Suchzone vertikal in Bezug auf die
Extraktionszone setzt, die Physisches-Objekt-Erkennungseinrichtung, dass
ein großer Teil des physischen Objekts in der extrahierten Zone
aufgezeichnet wurde, und führt eine aufleuchtende Anzeige nur der extrahierten Zone
aus, ohne eine Suche des physischen Objekts auszuführen.
-
Daher liegt der Effekt vor, dass eine unnötige Verarbeitung vermieden
werden kann, indem die Suche nach physischen Körpern gestoppt wird,
nachdem bestimmt worden ist, dass ein großer Teil des physischen Körpers
in der extrahierten Zone aufgenommen worden ist.
-
Die Erfindung sieht eine Fahrzeuginformation-Bereitstellungsvorrichtung
vor, die den Bereich des Vorhandenseins einer Person auf der Basis der
Charakteristiken von Bildern, die von Infrarotkameras aufgezeichnet
wurden, bestimmt und anzeigt. Die Bildverarbeitungseinheit führt einen
Helligkeitsänderungs-Suchprozess in der Infrarotkamera-Bildzone, die durch eine
Graustufe repräsentiert ist, unter Verwendung eines Suchbereichs aus,
worin die Größe eines zuerst erfassten Bereichs, der durch Binärisierung
und eine Korrelationsoperation erfasst ist, als die Referenz dient. Zusätzlich
wird die Parallaxe zwischen dem zuerst erfassten Bereich und dem
gesuchten Bereich, der eine Helligkeitsänderung aufweist, verglichen, wird ein
Suchbereich, der eine Parallaxe hat, die sich von jener des zuerst
gesuchten Bereichs unterscheidet, eliminiert, und wird der Suchbereich, der eine
Parallaxe hat, die mit jener des zuerst erfassten Bereichs identisch ist, mit
einer aufleuchtenden Anzeige versehen, als ein Objekt, das mit jenem des
zuerst erfassten Bereichs identisch ist.