-
HINTERGRUND DER ERFINDUNG
-
1. Gebiet der Erfindung
-
Die
vorliegende Erfindung bezieht sich auf ein Verfahren zum Prüfen von
Abstandsdaten, die basierend auf stereoskopischen Bildern berechnet werden,
sowie auf eine Prüfvorrichtung
zum Durchführen
einer solchen Prüfung.
-
2. Beschreibung des verwandten
Stands der Technik
-
In
den letzten Jahren wurde Außensichtüberwachungssystemen
beträchtliche
Aufmerksamkeit geschenkt, die ein Stereokamerasystem als Vorschausensor
verwenden. Diese Art von Überwachungssystem
nimmt Bilder von Ansichten vor dem eigenen Fahrzeug mit einem Paar
von Bordkameras (Stereokamerasystem) auf, die in einer Fahrzeugkarosserie
eingebaut sind, und berechnet unter Verwendung des Triangulationsprinzips
Abstandsdaten basierend auf einem erhaltenen Bilderpaar. Dann erkennt
das Überwachungssystem
basierend auf den berechneten Abstandsdaten die Verkehrsbedingungen
vor dem eigenen Fahrzeug, fordert wenn nötig die Aufmerksamkeit des
Fahrers oder führt
einen Steuervorgang des Fahrzeugverhaltens durch, wie beispielsweise
ein Abbremsen durch Herunterschalten.
-
Wenn
diese Art von Stereokamerasystem in der Fahrzeugkarosserie eingebaut
ist, ist ein hoher Grad an Genauigkeit hinsichtlich seiner Anbringungsposition
erforderlich. Und zwar, weil ein Fehler bei der Anbringungsposition
des Stereokamerasystems zu einer Abweichung der Aufnahmerichtung des
Stereokamerasystems führt,
die sich direkt auf die berechneten Abstandsdaten auswirkt. Außerdem gibt
es Fälle,
bei denen die Zuverlässigkeit
der berechneten Abstandsdaten beispielsweise aufgrund unausgeglichener
oder asymmetrischer Empfindlichkeit des Stereokamerasystems, des
Einflusses der Kameraoptikeigenschaften oder ungenauer Bildkorrekturen
abnimmt.
-
Somit
ist es notwendig, Abstandsdaten aus stereoskopischen Bildern zu
berechnen, die erhalten werden, indem tatsächlich Bilder mit einem Stereokamerasystem
gemacht und dann die Berechnungsergebnisse in einem Testverfahren
geprüft
werden, das nach Abschluss des Einbaus des Kamerasystems durchzuführen ist.
Herkömmlicher
Weise wurde jedoch eine Prüftechnik
dieser Art noch nicht festgelegt, und deshalb besteht ein starker
Bedarf, eine Prüftechnik
festzulegen, die es möglich
machen würde,
eine verbesserte Effizienz und Automatisierung der Prüfung zu
erzielen. Aus der EP-A-0 896 267 ist bekannt, das Histogramm von
Abstandswerten zu untersuchen, die aus einem Paar von Stereofotografien
berechnet werden.
-
ZUSAMMENFASSUNG
DER ERFINDUNG
-
Diese
Erfindung wurde unter Berücksichtigung
der vorgenannten Umstände
gemacht. Dementsprechend ist es eine Aufgabe der Erfindung, ein Prüfverfahren
bereitzustellen, das es möglich
macht, die Zuverlässigkeit
von Abstandsdaten, die basierend auf stereoskopischen Bildern berechnet
wurden, effizient und genau zu untersuchen.
-
Um
die vorstehenden Probleme zu lösen, stellt
ein erster Aspekt der Erfindung ein Verfahren zum Prüfen der
Zuverlässigkeit
von Abstandsdaten bereit, die basierend auf stereoskopischen Bildern berechnet
wurden, wobei das Verfahren zum Prüfen von Abstandsdaten die Schritte
umfasst: Erhalten eines Paars fotografierter Bilder, indem mit einer
Stereokamera Aufnahmen eines Testbilds, das ein Helligkeitsmuster
trägt,
gemacht werden, wobei das Testbild in einer Aufnahmerichtung der
Stereokamera angeordnet wird, Berechnen der Abstandsdaten aus dem
Paar fotografierter Bilder, Herstellen eines Histogramms, das ein
Verhältnis
zwischen Abstandswerten von Bewertungsproben und ihrer Auftrittshäufigkeit
zeigt, indem die Abstandsdaten, die dem in den fotografierten Bildern
gezeigten Testbild entsprechen, als Bewertungsproben übernommen
werden, und Beurteilen der Zuverlässigkeit der berechneten Abstandsdaten,
indem die Eigenschaften des so hergestellten Histogramms basierend
auf dem Abstand zwischen der Stereokamera und dem Testbild ausgewertet
werden.
-
Hier
ist vorzuziehen, dass es sich bei dem vorgenannten Schritt des Beurteilens
um einen Schritt handelt, der die Zuverlässigkeit der berechneten Abstandsdaten
basierend auf dem Verhältnis
der Auftrittshäufigkeit
der Bewertungsproben, die in einem geeigneten, in dem Histogramm
festgesetzten Bereich enthalten sind, zur Gesamtanzahl der Bewertungsproben
beurteilt. Dieser geeignete Bereich ist ein spezifischer Abstandsbereich,
der den Abstand zwischen der Stereokamera und dem Testbild beinhaltet.
-
Der
vorgenannte Beurteilungsschritt kann ein Schritt sein, der die Zuverlässigkeit
der berechneten Abstandsdaten basierend darauf beurteilt, ob ein Spitzenabstandswert,
der die Auftrittshäufigkeit
betrifft, welche eine Spitze im Histogramm bildet, in einem geeigneten
Bereich liegt. Dieser geeignete Bereich ist ein spezifischer Abstandsbereich,
der den Abstand zwischen der Stereokamera und dem Testbild beinhaltet.
-
Dieser
Spitzenabstandswert kann ein Abstandswert mit einer maximalen Auftrittshäufigkeit sein.
Alternativ kann der Spitzenabstandswert basierend auf einem Abstandswert
berechnet werden, dessen Auftrittshäufigkeit maximal ist, oder
einem Abstandswert angrenzend an den Abstandswert, dessen Auftrittshäufigkeit
maximal ist, welcher von beiden auch immer eine höhere Auftrittshäufigkeit
ergibt. Darüber
hinaus ist es vorzuziehen, einen Abstandswert zu verwenden, der
in Teilpixeleinheiten berechnet ist.
-
Der
vorgenannte Schritt des Herstellens des Histogramms kann ein Schritt
sein, der Abstandsdaten übernimmt,
die jeweils aus mehrfachen Bewertungsteilbereichen abgeleitet werden,
die in den fotografierten Bildern als Bewertungsproben festgelegt sind,
und der Histogramme herstellt, die ein Verhältnis zwischen den Abstandswerten
der Bewertungsproben und ihrer Auftrittshäufigkeit zeigen. In diesem Fall
beurteilt der zuvor erwähnte
Schritt, ob Spitzenabstandswerte in Spitzenabschnitten, in denen
die Auftrittshäufigkeit
ihre Spitze erreicht, für
jedes der Histogramme im geeigneten Bereich liegen, und beurteilt
ferner, ob Berechnungsergebnisse der Abstandsdaten richtig sind,
wenn alle Spitzenabstandswerte als innerhalb des geeigneten Bereichs
liegend beurteilt wurden.
-
Eine
Prüfvorrichtung
eines zweiten Aspekts der Erfindung zum Prüfen der Zuverlässigkeit
von Abstandsdaten, die von einem stereoskopischen Außensichtüberwachungssystem
berechnet werden, umfasst eine Stereokamera, die an eine Fahrzeugkarosserie
angebaut ist und ein Paar fotografierter Bilder ausgibt, indem Aufnahmen
von in der Fahrtrichtung vor dem Fahrzeug herrschenden Bedingungen gemacht
werden, eine Stereoverarbeitungseinheit, um aus dem Paar fotografierter
Bilder Abstandsdaten zu berechnen, eine Prüfvorrichtung, welche die Zuverlässigkeit
der Abstandsdaten basierend auf den fotografierten Bildern beurteilt,
die dadurch erhalten wurden, dass mit der Stereokamera Aufnahmen
eines Testbilds, das ein Helligkeitsmuster trägt, gemacht wurden, wobei das
Testbild während
der Prüfung
an einer vorbestimmten Stelle vor dem Fahrzeug platziert wird. Diese
Prüfvorrichtung übernimmt Abstandsdaten,
die aus einem Bewertungsbereich abgeleitet werden, der an einem
mittleren Teil jedes der fotografierten Bilder als Bewertungsproben
vorgesehen ist, stellt ein Histogramm her, das ein Verhältnis zwischen
Abstandswerten der Bewertungsproben und ihrer Auftrittshäufigkeit
zeigt, und beurteilt die Zuverlässigkeit
der berechneten Abstandsdaten, indem Eigenschaften des so hergestellten
Histogramms basierend auf dem Abstand zwischen der Stereokamera
und dem Testbild ausgewertet werden.
-
Hier
kann die Prüfvorrichtung
die Zuverlässigkeit
der berechneten Abstandsdaten basierend auf dem Verhältnis der
Auftrittshäufigkeit
der Bewertungsproben, die in einem geeigneten, im Histogramm festgelegten
Bereich liegen, und der Gesamtanzahl der Bewertungsproben beurteilen.
Dieser geeignete Bereich ist ein spezifischer Abstandsbereich, der
den Abstand zwischen der Stereokamera und dem Testbild beinhaltet.
-
Die
Prüfvorrichtung
kann die Zuverlässigkeit der
berechneten Abstandsdaten basierend darauf beurteilen, ob ein Spitzenabstandswert,
der die Auftrittshäufigkeit betrifft,
die eine Spitze im Histogramm bildet, in einem geeigneten Bereich
liegt. Dieser geeignete Bereich ist ein spezifischer Abstandsbereich, der
den Abstand zwischen der Stereokamera und dem Testbild beinhaltet.
-
Darüber hinaus
kann die Prüfvorrichtung
Abstandsdaten übernehmen,
die jeweils von den mehrfachen Bewertungsteilbereichen abgeleitet
sind, die in den fotografierten Bildern als Bewertungsproben festgelegt
sind, und Histogramme herstellen, die ein Verhältnis zwischen den Abstandswerten
der Bewertungsproben und ihrer Auftrittshäufigkeit zeigen. In diesem
Fall beurteilt der zuvor erwähnte
Schritt, ob Spitzenabstandswerte in Spitzenabschnitten, in denen
die Auftrittshäufigkeit
ihre Spitze erreicht, für
jedes der Histogramme im geeigneten Bereich liegen, und beurteilt
ferner, ob die Berechnungsergebnisse der Abstandsdaten richtig sind,
wenn alle Spitzenabstandswerte als innerhalb des geeigneten Bereichs liegend
beurteilt wurden.
-
Im
ersten und zweiten Aspekt der Erfindung wird vorzugsweise ein Helligkeitsmuster
verwendet, das einen Aufbau mit Blöcken derselben Form hat, während variierende
Helligkeitsabstufungen zufällig angeordnet
sind.
-
KURZE BESCHREIBUNG
DER ZEICHNUNGEN
-
1 ist
ein Blockschema eines stereoskopischen Außensichtüberwachungssystems nach einer
ersten und einer zweiten Ausführungsform;
-
2 ist
ein Ablaufdiagramm, das einen Vorgang des Prüfens berechneter Abstände nach
einer ersten Ausführungsform
zeigt;
-
3 ist
ein Ablaufdiagramm, das einen Vorgang des Prüfens berechneter Abstände nach
einer zweiten Ausführungsform
zeigt;
-
4 ist
ein Schema, das ein Verhältnis
zwischen einer Stelle, an der ein Testbild angebracht ist, und einem
Fahrzeug zeigt;
-
5 ist
ein Schema, das ein Beispiel für das
Testbild zeigt;
-
6 ist
ein Schema, das einen Bewertungsbereich R1 zeigt, der in einem Abstandsbild festgelegt
wurde;
-
7 ist
ein Schema, das einen Bewertungsbereich R2 zeigt, der in einem Abstandsbild festgelegt
wurde;
-
8 ist
ein Schema, das ein Abstandsdatenhistogramm zeigt; und
-
9 ist
ein Schema, das mehrere Bewertungsteilbereiche im Abstandsbild zeigt.
-
AUSFÜHRLICHE
BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSFORM
-
(Erste Ausführungsform)
-
1 ist
ein Blockschema eines stereoskopischen Außensichtüberwachungssystems. Ein Stereokamerasystem,
das Aufnahmen von Außensichten
eines Fahrzeugs macht, ist in der Nähe seines Rückspiegels angebracht und besteht
aus einem Paar Kameras 1, 2, wobei jede einen
Bildsensor wie einen Ladungskopplungsspeicher (CCD – charge-coupled
device) eingebaut hat. Diese Kameras 1, 2 sind
mit einem spezifischen Abstand voneinander in der Richtung der Fahrzeugbreite
installiert. Die Hauptkamera 1 zum Erhalten von Referenzbilddaten ist
auf der rechten Seite in Fahrtrichtung des Fahrzeugs installiert.
Andererseits ist die Unterkamera 2 zum Erhalten eines Vergleichsbilds
auf der linken Seite in Fahrtrichtung installiert.
-
Bei
einem Zustand, in dem das Paar der Kameras 1, 2 synchronisiert
ist, werden Analogbilder, die von den einzelnen Kameras 1, 2 ausgegeben werden,
in Analogschnittstellen 3 derart eingestellt, dass die
Bilder zu Eingangsbereichen aufeinanderfolgender Stufen passen.
Auch wird die Helligkeitsbalance der Bilder von einem Verstärkungsregelverstärker (GCA – gain control
amplifier) in jeder Analogschnittstelle 3 eingestellt.
Die von den Analogschnittstellen 3 ausgegebenen Analogbilder
werden von A/D-Wandlern 4 in Digitalbilder mit spezifischen Helligkeitsabstufungen
umgewandelt (z.B. 256 Schattenstufen auf einer Grauskala). Die auf
diese Weise digitalisierten Bilder werden dann, um die Umwandlung
zu verfeinern, einer Korrektur durch eine Korrekturschaltung 5 unterzogen.
-
Die
Referenzbilddaten (Helligkeitsdaten) von 512 Pixel in der horizontalen
Richtung auf 200 Pixel in der vertikalen Richtung werden durch die
vorgenannte Bildverarbeitung aus einem Ausgangssignal der Hauptkamera 1 hergestellt.
Auch werden aus einem Ausgangssignal der Unterkamera 2 Vergleichsbilddaten
mit derselben vertikalen Länge
wie das Referenzbild und mit einer größeren horizontalen Länge als
das Referenzbild gewonnen (beispielsweise 640 Pixel in der horizontalen
Richtung auf 200 Pixel in der vertikalen Richtung). Die Referenzbilddaten
und die Vergleichsbilddaten werden in einem Bilddatenspeicher 7 gespeichert.
-
Eine
Stereoverarbeitungsschaltung 6 berechnet Parallaxen basierend
auf den Referenz- und Vergleichsbilddaten. Da die Parallaxe für jeden
einzelnen Pixelblock mit 4 × 4
Pixel berechnet wird, kann ein Maximum von 128 × 50 Parallaxen aus einem kompletten
Rahmen des Referenzbilds gewonnen werden. Zieht man einen Pixelblock
im Referenzbild in Betracht, wird ein Bereich (korrelierter Zielpunkt), der
eine Korrelation mit Helligkeitseigenschaften des betreffenden Pixelblocks
(korrelierter Ausgangspunkt) aufweist, indem nach dem Vergleichsbild
gesucht wird (Stereoabgleich), identifiziert. Wie gemeinhin bekannt
ist, wird der Abstand zu einem in stereoskopischen Bildern fotografierten
Objekt als Parallaxe in den stereoskopischen Bildern abgelesen,
d.h. als Abweichungsbetrag in einer horizontalen Richtung zwischen
dem Referenzbild und dem Vergleichsbild. Deshalb muss bei der Suche
nach dem Vergleichsbild die Suche auf derselben horizontalen Linie
(Epipolarlinie) wie die j-Koordinate des betreffenden Pixelblocks
erfolgen. Während
ein Suchpunkt Pixel für
Pixel entlang der Epipolarlinie verschoben wird, wertet die Stereoverarbeitungsschaltung 6 die
Korrelation zwischen den einzelnen Pixelblöcken und dem betreffenden Pixelblock
aus.
-
Die
Korrelation zwischen zwei Pixelblöcken kann dadurch ausgewertet
werden, dass beispielsweise ein in Gleichung 1 gezeigter Stadtblockabstand
CB berechnet wird. In dieser Gleichung stellt p1ij einen Pixelhelligkeitswert
(i, j) eines Pixelblocks dar, während
p2ij einen Pixelhelligkeitswert (i, j) des anderen Pixelblocks darstellt.
Der Stadtblockabstand ist die Summe von Unterschieden (Absolutwert)
zwischen den beiden geografisch übereinstimmenden Helligkeitswerten
p1ij, p2ij für
einen kompletten Pixelblock, wobei die Korrelation zwischen den
beiden Pixelblöcken
umso größer ist,
je kleiner die Unterschiede sind. CB = Σ|p1ij – p2ij| (Gleichung 1)
-
Grundsätzlich wird
ein Pixelblock, der einen Mindestwert des Stadtblockabstands CB
unter Stadtblockabständen
CB ergibt, die für
die einzelnen Pixelblöcke
berechnet werden, die auf der Epipolarlinie liegen, als der korrelierte
Zielpunkt des betreffenden Pixelblocks beurteilt. Der Abweichungsbetrag
zwischen dem so identifizierten korrelierten Zielpunkt und dem betreffenden
Pixelblock ist die Parallaxe.
-
Die
Stereoverarbeitungsschaltung 6 wertet auch das Vorhanden-
oder Nichtvorhandensein einer Helligkeitsflanke (des Helligkeitsänderungsbetrags) in
der horizontalen Richtung des Pixelblocks aus, wie auch sein Verhältnis zu
Höchst-
und Mindestwerten des Stadtblockabstands CB, der auf derselben Epipolarlinie
berechnet wird. Um darüber
hinaus die Zuverlässigkeit
als Abstandsdaten sicherzustellen, führt die Stereoverarbeitungsschaltung 6 eine
Filteroperation an der berechneten Parallaxe basierend auf diesen
Bewertungsergebnissen durch und gibt nur eine solche Parallaxe d
aus, die als zulässig
beurteilt wurde (im Folgenden als zulässige Parallaxe bezeichnet).
Falls nötig
sollte auf die japanische Patentveröffentlichung Nr. Hei. 5-114099
(JP-A-5-114099)
für Einzelheiten
der Hardwarekonfiguration und Filteroperation zur Berechnung des
Stadtblockabstands zurückgegriffen
werden, da diese darin offenbart sind. Die zulässige Parallaxe d, die durch
die vorgenannte Operation berechnet wird, wird in einem Abstandsdatenspeicher 8 gespeichert.
-
Der
Ausdruck „Abstandsdaten", der in der folgenden
Erläuterung
verwendet wird, bedeutet die zulässige
Parallaxe d, die im Abstandsdatenspeicher 8 hinterlegt
ist. Auch der Ausdruck „Abstandsbild" bezieht sich auf
einen Ausgabestatus der Abstandsdaten für die ganzen Bildbereiche.
Mit anderen Worten bedeutet er ein begriffliches Bild, das sich
auf Stellen in Bildbereichen bezieht, für welche die einzelnen Abstandsdaten
d berechnet werden.
-
Ein
Mikrocomputer 9 (bzw. ein Erkennungsabschnitt 10,
der ein Funktionsblock des Mikrocomputers 9 ist, wenn man
ihn von einem funktionalen Standpunkt aus betrachtet) erkennt beispielsweise Straßenformen
(weiße
Linien) und jedes dreidimensionale Objekt (fahrendes Fahrzeug) in
Fahrtrichtung vor dem eigenen Fahrzeug. Ihre Erkennung erfolgt auf
Grundlage der Bilddaten, die im Bilddatenspeicher 7 gespeichert
sind, und der Abstandsdaten d (zulässige Parallaxe), die im Abstandsdatenspeicher 8 gespeichert
sind. Es wird nötigenfalls
auch auf Sensorinformation, die von einem Fahrzeuggeschwindigkeitssensor
und einem Lenkwinkelsensor, die nicht dargestellt sind, geliefert
wird, sowie auf Navigationsinformation zurückgegriffen. Falls es als notwendig beurteilt
wird, vor einer Kurve oder einem dreidimensionalen Gegenstand vor
dem Fahrzeug aufgrund der Ergebnisse einer solchen Erkennung zu
warnen, aktiviert der Mikrocomputer 9 eine Warneinheit 11 wie
einen Monitor oder einen Lautsprecher, um damit die Aufmerksamkeit
des Fahrers zu wecken. Auch der Mikrocomputer 9 führt einen
Fahrzeugsteuervorgang wie ein Herunterschalten eines automatischen Getriebes
AT (AT – automatic
transmission), eine Senkung der Motorleistung oder eine Bremsbetätigung durch,
indem er eine Steuereinheit 12 ansteuert, wenn der Bedarf
auftritt.
-
Eine
Prüfvorrichtung 14 ist
eine Zusatzeinheit, die nur in einem Produkttestprozess angeschlossen
wird. Wird von der Prüfvorrichtung 14,
wobei diese an den Mikrocomputer 9 angeschlossen ist, ein
Befehl erteilt, den Testprozess anlaufen zu lassen, lässt der
Mikrocomputer 9 (oder ein Testabschnitt 13, welcher
von einem funktionalen Gesichtspunkt aus gesehen ein Funktionsblock
des Mikrocomputers 9 ist) ein vorprogrammiertes Prüfprogramm
ablaufen. Der Testabschnitt 13 prüft automatisch den Abstandsausgabestatus
aus den Testproben entsprechend eines in 2 gezeigten
Ablaufdiagramms.
-
2 ist
das Ablaufdiagramm, das eine Vorgehensweise zum Prüfen berechneter
Abstände nach
einer ersten Ausführungsform
zeigt. Als erstes platziert ein Prüfer ein Testbild, das ein spezielles Muster
trägt,
an einer festgelegten Position vor dem Fahrzeug, bevor er einen
Befehl eingibt, das Prüfprogramm
zu starten. 4 ist ein Schema, das ein Verhältnis zwischen
der Position, an der das Testbild 21 platziert ist, und
dem zu prüfenden
Fahrzeug zeigt, und 5 ist ein Schema, das ein Beispiel
des Testbilds 21 zeigt, das bei dieser Prüfung verwendet
wird. Das Testbild 21 trägt ein Zufallsmuster, bei dem
Helligkeitsblöcke
mit spezifischen Helligkeitsabstufungen (z.B. 16 Schattenstufen
auf einer Grauskala) zufällig
angeordnet sind (d.h. ohne irgendeine Regelmäßigkeit bei den Helligkeitsveränderungen).
Um die Genauigkeit des Stereoabgleichs aufrechtzuerhalten, ist der
Bereich jedes Helligkeitsblocks so eingestellt, dass der in einem
fotografierten Bild gezeigte Helligkeitsblock bis zu 3 × 3 Pixel
betragen würde.
Mit Bezug auf 4 ist das Testbild 21 in
einem Abstand Z1 von einer Position angeordnet, an der das Stereokamerasystem
in der Fahrzeuglängsrichtung (Z-Achse)
angebracht ist, so dass sich eine sich schneidende Kreuzungslinie
C in der Höhenrichtung des
Fahrzeugs (Y-Achse) auf einer Höhe
Y1 vom Boden befindet und die flache Oberfläche des Testbilds 21 parallel
zur Seitenrichtung des Fahrzeugs wird (X-Achse). Wird das Testbild
unter solchen Bedingungen von den Kameras 1, 2 fotografiert,
wird das Testbild 21 in eingefangenen Bildern wiedergegeben.
-
Wenn
der Prüfer
einen Befehl eingibt, die Prüfung
durch Betätigung
der Prüfvorrichtung 14 zu starten,
führt der
Mikrocomputer 9 (d.h. der Testabschnitt 13) zuerst
im Schritt 1 eine Systeminitialisierung durch und tastet
dann ein Abstandsbild für
einen kompletten Rahmen ab (Schritt 2).
-
Beim Übergang
zu Schritt 2 wird ein Bewertungsbereich R1, für den ein
Histogramm erstellt werden soll, im Abstandsbild festgelegt (Schritt 3),
und es werden die Abstandsdaten d im Bewertungsbereich R1 gesammelt
(Schritt 4). In diesem Bewertungsbereich R1 wird ein Helligkeitsmuster
des Testbilds 21 dargestellt. Hier sind die zu prüfenden Bewertungsdaten
Abstandsdaten d, die für
Pixelblöcke berechnet
werden, die in diesem Bereich R1 liegen, d.h. die Abstandsdaten
d, welche das Helligkeitsmuster betreffen, die das Testbild 21 aufweist. 6 ist
ein Schema, das den im Abstandsbild festgelegten Bewertungsbereich
R1 zeigt. Wie in dieser Figur gezeigt ist, ist der Bewertungsbereich
R1 in einem Gebiet festgelegt, das die peripheren Teile des Abstandsbilds
ausschließt.
Der Grund dafür,
dass die peripheren Teile des Bildes ausgeschlossen sind, liegt
darin, dass es wahrscheinlich ist, dass Abstandsdaten d berechnet
werden, die beispielsweise aufgrund der Auswirkungen von Linsenverzerrung des
Stereokamerasystems in den peripheren Teilen Fehler enthalten. Theoretisch
werden die Werte aller Abstandsdaten d, welche die Bewertungsproben sind,
gleich dem Abstand (Parallaxe) vom Stereokamerasystem zum Testbild 21.
-
Im
Schritt 5, der auf Schritt 4 folgt, zählt der Testabschnitt 13 die
Anzahl der Abstandsdaten d oder der Bewertungsproben, die im Bewertungsbereich
R1 liegen, und berechnet eine Gesamtanzahl N. Obwohl die so berechnete
Gesamtanzahl N gleich der Anzahl der Pixelblöcke des Bewertungsbereichs R1
auf einem Maximum sein könnte,
wird die Anzahl (die der Anzahl zulässiger Parallaxen entspricht)
aufgrund der Filteroperation für
gewöhnlich
kleiner, die von der Stereoverarbeitungsschaltung 6 durchgeführt wird.
-
Dann
wird basierend auf den im Schritt 5 identifizierten Bewertungsproben
ein Histogramm erstellt, das ein Verhältnis zwischen den Werten der Abstandsdaten
innerhalb des Bewertungsbereichs R1 und ihrer Auftrittshäufigkeit
zeigt (Schritt 6). 8 ist ein
Schema, das ein Histogramm der Parallaxen im Abstandsbild für einen
kompletten Rahmen zeigt. Nach kennzeichnenden Merkmalen des Histogramms
unter normalen Bedingungen erscheint eine steile und hohe Spitze
in einem Abstand, der nicht größer ist
als der Abstand Z1 zum Testbild 21.
-
Im
Schritt 7, der auf Schritt 6 folgt, wird die Anzahl
der Abstandsdaten d gezählt,
die in einem spezifischen geeigneten oder zweckdienlichen Bereich
RNG1 enthalten sind, und es wird eine Gesamtanzahl M berechnet.
Der geeignete Bereich RNG1 wird basierend auf dem Abstand Z1 zum
Testbild 21 festgelegt. Dieser Bereich dient als Referenzbereich
bei der Beurteilung der Übereinstimmung oder
Nichtübereinstimmung
jedes berechneten Abstands und wird je nach dem erforderlichen Grad
an Prüfgenauigkeit
festgelegt. In der vorliegenden Ausführungsform ist der geeignete
Bereich RNG1 so festgelegt, dass er gerade ±10 Pixel enthält, die
sich an einem Punkt des Abstands Z1 zentrieren.
-
Dann
wird auf Grundlage der Gesamtanzahl N der Bewertungsproben und der
Anzahl M der Bewertungsproben im geeigneten Bereich RNG1 ein Zweckdienlichkeitsverhältnis r
(r = M/N) berechnet. Dieses Zweckdienlichkeitsverhältnis r
gibt ein Verhältnis
der Zahl der Bewertungsproben im geeigneten Bereich RNG1 zur Gesamtanzahl
der Bewertungsproben an. Je näher
die Abstandswerte der Bewertungsproben auf dem Abstand Z1 konvergieren, umso
größer ist
deshalb das Zweckdienlichkeitsverhältnis r, und umgekehrt, je
zerstreuter die Abstandswerte sind, umso geringer ist das Zweckdienlichkeitsverhältnis r.
Indem somit das berechnete Zweckdienlichkeitsverhältnis r
mit einem im Schritt 8 ordnungsgemäß eingestellten Schwellenwert
r th verglichen wird, ist es möglich,
die Zuverlässigkeit
der berechneten Abstandsdaten d zu bewerten (Schritt 9).
-
Ist
im Speziellen das Zweckdienlichkeitsverhältnis größer oder gleich dem Schwellenwert
r th, entscheidet der Testabschnitt 13, dass zuverlässige Abstandsdaten
d berechnet wurden und erteilt den Testergebnissen ein „OK" (Schritt 10).
In diesem Fall teilt die Prüfvorrichtung 14 nach
dem Erhalt der Testergebnisse aus dem Testabschnitt 13 dem
Prüfer
mit, dass die Testergebnisse „gut" bzw. richtig sind.
Liegt hingegen das Zweckdienlichkeitsverhältnis r unter dem Schwellenwert
r th, entscheidet der Testabschnitt 13, dass die berechneten
Abstandsdaten nicht normal sind und erteilt den Testergebnissen
ein „NG" (Schritt 11).
In diesem Fall teilt die Prüfvorrichtung 14 nach
dem Erhalt der Testergebnisse aus dem Testabschnitt 13 dem
Prüfer
mit, dass die Testergebnisse „nicht
gut" sind.
-
Wie
aus der vorstehenden Erläuterung
hervorgeht, wird das Testbild, das sich an einer vorbestimmten Position
vor dem Fahrzeug befindet, von der rechten und linken Kamera 1, 2 zuerst
in einem Prüfverfahren
dieser Ausführungsform
fotografiert. Dann wird, indem die Abstandsdaten d, die dem in den
fotografierten Bildern gezeigten Helligkeitsmuster entsprechen,
als Bewertungsproben übernommen
werden, das Vorhanden- oder Nichtvorhandensein irgendeiner Unregelmäßigkeit
in der Berechnung der Abstandsdaten d untersucht. Wurden die Abstandsdaten
d richtig berechnet, werden die Abstandswerte der Bewertungsproben
um den Punkt das Abstands Z1 zum Testbild 21 herum zusammengeführt. Wenn
es jedoch irgendeine Unregelmäßigkeit
gäbe, würden Schwankungen
bei den Abstandswerten auftreten oder die Abstandswerte würden vom
Punkt des Abstands Z1, um den sie normalerweise zusammenlaufen würden, abweichen.
Eine möglicher
Ursachen, die zum Entstehen einer solchen Situation führen kann,
ist ein Fehler bei den Anbringungspositionen der rechten und linken
Kamera 1, 2 (vor allem ihr Lagefehler in einer
vertikalen Richtung (Neigungsrichtung) oder in einer Drehrichtung (Rollrichtung)).
Andere wahrscheinliche Ursachen wären eine unausgeglichene oder
asymmetrische Empfindlichkeit der linken und rechten Kamera 1, 2 und
der Einfluss der Eigenschaften der Kameraoptik. Darüber hinaus
könnte
eine Unregelmäßigkeit
bei der Berechnung der Abstandsdaten d auftreten, wenn durch die
Korrekturschaltung 5 keine richtige Korrektur durchgeführt wird.
Wenn die Testergebnisse der Testproben „NG" sind, muss eine Abhilfe schaffende
Aktion wie eine Neueinstellung der Anbringungspositionen der linken
oder rechten Kamera 1, 2 oder eine Einstellung
des Empfindlichkeitsausgleichs erfolgen.
-
Wie
vorstehend aufgezeigt wurde, wird die vorgenannte Prüfung vom
Mikrocomputer 9 automatisch ausgeführt. Dementsprechend ist diese
Ausführungsform
dadurch vorteilhaft, dass sie es möglich macht, einen verbesserten
Wirkungsgrad des Testprozesses zu erzielen und dennoch eine Objektivität der Testergebnisse
sicherstellt.
-
Auch
wird das in 5 gezeigte Zufallsmuster in
dieser Ausführungsform
als Helligkeitsmuster verwendet. Da es in diesem Zufallsmuster keine
Regelmäßigkeit
in den Helligkeitsveränderungen
gibt, nimmt die Tendenz der Abstandswerte der Bewertungsmuster,
sich am Punkt (in der Nähe)
des Abstands Z1 zu zentrieren, nur dann zu, wenn der Stereoabgleichvorgang
ordnungsgemäß ausgeführt wurde
(d.h., nur wenn die richtigen Parallaxen berechnet wurden). Deshalb
wird es möglich,
die Genauigkeit der Beurteilung noch mehr zu erhöhen, wenn das Zweckdienlichkeitsverhältnis r
unter Verwendung eines solchen Zufallsmusters berechnet wird.
-
(Zweite Ausführungsform)
-
3 ist
ein Ablaufschema, das einen Vorgang zum Prüfen berechneter Abstandswerte
nach einer zweiten Ausführungsform
zeigt. Der Prüfvorgang
dieser Ausführungsform
kann, wie es bei der ersten Ausführungsform
der Fall ist, unter Verwendung der in 1 gezeigten
Systemkonfiguration erfolgen. Wenn das in 5 dargestellte
Testbild 21 an der festgelegten Position vor dem Fahrzeug
(siehe 4) platziert ist, gibt der Prüfer von der Prüfvorrichtung 14 aus
zum Testabschnitt 13 einen Befehl ein, ein Prüfprogramm
ablaufen zu lassen. Wenn das Prüfprogramm
gestartet ist, führt
der Testabschnitt 13 zuerst eine Systeminitialisierung
durch (Schritt 21) und tastet dann ein Abstandsbild für einen
kompletten Rahmen ab (Schritt 22).
-
Anschließend an
Schritt 22 wird ein Bewertungsbereich R2, für den ein
Histogramm hergestellt werden soll, im Abstandsbild festgelegt (Schritt 23), und
es werden Abstandsdaten d im Bewertungsbereich R2 als Bewertungsproben
gesammelt (Schritt 24). Ein Helligkeitsmuster des Testbilds 21 wird
in diesem Bewertungsbereich R2 dargestellt. 7 ist ein
Schema, das den im Abstandsbild festgelegten Bewertungsbereich R2
zeigt. Der Bewertungsbereich R2 ist in einem Gebiet festgelegt,
das die peripheren Teile des Abstandsbilds ausschließt und eine
kleinere Flächenerstreckung
hat als der in 6 gezeigte Bewertungsbereich
R1. Und zwar ist das so, weil es sich beim Bewertungsgegenstand
im Prüfvorgang dieser
Ausführungsform
um Abstandswerte handelt, die selbst entsprechend eines später noch
zu beschreibenden Prozesses berechnet werden (der Bewertungsgegenstand
in der ersten Ausführungsform ist
die Anzahl der Abstandsdaten d). Es besteht die Möglichkeit,
dass Fehler, die in den berechneten Abständen enthalten sind, zunehmen,
wenn eine Verzerrung der Kameraoptik groß ist. Deshalb wird der Bewertungsbereich
R2 in einem Bereich, in dem die Verzerrung der Kameraoptik weniger
Auswirkungen hat, oder in einem engeren Bereich als dem Bewertungsbereich
R1 eingestellt.
-
Im
Schritt 25 wird ein Histogramm hergestellt, das ein Verhältnis zwischen
den Werten der Abstandsdaten im Bewertungsbereich R2 und ihrer Auftrittshäufigkeit
zeigt (siehe 8). Dann wird ein Wert dm der
Abstandsdaten, deren Auftrittshäufigkeit maximal
ist, im Histogramm erfasst (Schritt 26). Dieser Abstandswert
dm ist der Abstandswert einer Spitze, die im Histogramm erscheint.
-
Im
Schritt 27, welcher auf Schritt 26 folgt, wird
beurteilt, ob der Abstandswert dm der höchsten Auftrittshäufigkeit
(bzw. des Spitzenabstandswerts) in einem geeigneten Bereich RNG2
liegt: dmmin≤dm≤dmmax. Dieser
geeignete Bereich RNG2 wird basierend auf dem Abstand Z1 zum Testbild 21 eingestellt
und dient als Bezug bei der Beurteilung von Übereinstimmung oder Nichtübereinstimmung
des Abstandswerts dm. In der vorliegenden Ausführungsform ist der geeignete
Bereich RNG2 so eingestellt, dass er gerade ± 5 Pixel enthält, die
sich an einem Punkt des Abstands Z1 zentrieren.
-
Ist
das Beurteilungsergebnis im Schritt 27 positiv, entscheidet
der Testabschnitt 13, dass zuverlässige Abstandsdaten d berechnet
wurden und erteilt den Testergebnissen ein „OK" (Schritt 28). In diesem Fall
teilt die Prüfvorrichtung 14 nach
dem Erhalt der Testergebisse aus dem Testabschnitt 13 dem Prüfer mit,
dass die Testergebnisse „gut" sind. Ist das Beurteilungsergebnis
im Schritt 27 hingegen negativ, entscheidet der Testabschnitt 13,
dass die berechneten Abstandsdaten d nicht normal sind und erteilt
den Testergebnissen ein „NG" (Schritt 29).
In diesem Fall teilt die Prüfvorrichtung 14 nach
Erhalt der Testergebnisse aus dem Testabschnitt 13 dem
Prüfer
mit, dass die Ergebnisse „nicht
gut" sind.
-
Wie
aus der vorerwähnten
Erläuterung
hervorgeht, laufen die Abstandswerte der Bewertungsproben um den
Punkt (die Nähe)
des Abstands Z1 zum Testbild 21 zusammen, wenn die Abstandswerte d
richtig berechnet wurden. Somit liegt der Abstandswert dm der Höchstauftrittshäufigkeit
im geeigneten Bereich RNG2. Bestünde
jedoch irgendeine Unregelmäßigkeit,
würde der
Abstandswert dm vom Punkt des Abstands Z1 abweichen, an dem er sich
normalerweise befinden würde.
Obwohl wahrscheinliche Ursachen, die eine solche Situation entstehen
lassen können,
diejenigen sind, die mit Bezug auf die erste Ausführungsform
beschrieben wurden, ist die speziell zu berücksichtigende Ursache die Anbringungsposition
der rechten und linken Kamera 1, 2 in Gierrichtungen.
-
Wie
bislang beschrieben, ist diese Ausführungsform dadurch vorteilhaft,
dass sie es möglich macht,
wie im Falle der ersten Ausführungsform
einen verbesserten Wirkungsgrad des Testprozesses zu erzielen und
dennoch eine Objektivität
der Testergebnisse sicherstellt.
-
(Dritte Ausführungsform)
-
Die
vorstehend beschriebene erste und zweite Ausführungsform stellen das Histogramm
aller Abstandsdaten d für
den im Abstandsbild festgelegten Bewertungsbereich R1 (bzw. R2)
her und prüfen
die Berechnungsergebnisse der Abstandsdaten d. Im Gegensatz dazu
wird der Bewertungsbereich R1 (bzw. R2) in einer dritten Ausführungsform
der vorliegenden Erfindung weiter in mehrere Bewertungsteilbereiche
unterteilt, und die Berechnungsergebnisse der Abstandsdaten d werden
für jeden
der so abgeteilten Bewertungsteilbereiche ausgewertet.
-
9 ist
ein Schema, das die mehreren Bewertungsteilbereiche zeigt, die im
Abstandsbild festgelegt wurden. Wie in dieser Figur gezeigt ist,
ist der Bewertungsbereich R1 (R2) in einem Gebiet festgelegt, das
die peripheren Teile ausschließt,
die einer Verzerrung der Kameraoptik unterliegen könnten. Nur
als Beispiel ist der Bewertungsbereich R1 (R2) in dieser Figur in
sechs Bewertungsteilbereiche unterteilt. Dann wird unter Verwendung
des in der ersten und zweiten Ausführungsform beschriebenen Prüfverfahrens
die Zuverlässigkeit
der Abstandsdaten d für
jeden einzelnen Bewertungsteilbereich geprüft. Wurden die Testergebnisse
aller sechs Bewertungsteilbereiche als „OK" beurteilt, teilt die Prüfvorrichtung 14 dem
Prüfer
mit, dass die Testergebnisse „gut" sind. Falls hingegen
irgendeiner der sechs Bewertungsteilbereiche als „NG" beurteilt wird,
wird dem Prüfer
mitgeteilt, dass die einschlägigen
Testproben „nicht
gut" sind.
-
Diese
Ausführungsform
ist insofern vorteilhaft, als sie eine Unregelmäßigkeit in der Berechnung der
Abstandsdaten d mit hoher Genauigkeit erfassen kann, sollte eine
solche Unregelmäßigkeit
lokal vorhanden sein. Lokale Unregelmäßigkeiten bei der Berechnung
neigen dazu, aufzutreten, wenn beispielsweise ein fotografiertes
Bild um sein Mittelteil gedreht wird. Da mit Bezug auf das Beispiel
von 9 der Betrag der Drehabweichung im zweiten und
fünften
Bewertungsteilbereich, die nahe an der Mitte des Bilds liegen, relativ
gering ist, könnte
ein geeigneter Abstand Z1 berechnet werden. Im ersten, dritten,
vierten und sechsten Bewertungsteilbereich, in denen der Betrag
der Drehabweichung aufgrund deren größeren Abstands von der Mitte
des Bildes größer ist,
besteht jedoch im Vergleich zum ersten und fünften Bewertungsteilbereich
die Tendenz, dass Unregelmäßigkeiten
bei der Berechnung der Abstandsdaten d auftreten. Indem das Abstandsbild
für jeden
der so abgeteilten Bewertungsteilbereiche geprüft wird, wird es möglich, lokale
Unregelmäßigkeiten
bei der Berechnung im Vergleich zu einem Fall mit hoher Genauigkeit
zu berechnen, bei dem der Bewertungsbereich R1 (bzw. R2) als Ganzes
geprüft wird.
-
(Vierte Ausführungsform)
-
Eine
vierte Ausführungsform
könnte
als Variante der zweiten Ausführungsform
bezeichnet werden. Bei der zweiten Ausführungsform erfolgt eine Beurteilung
der Prüfung
auf Grundlage des Abstandswerts dm, dessen Auftrittshäufigkeit
eine Spitze markiert, oder des Abstandswerts dm mit der Höchstauftrittshäufigkeit.
Jedoch kommt es oft vor, dass Abstandswerte angrenzend an eine solche
Spitze wichtige Information liefern (wenn die Auftrittshäufigkeit
eines Abstandswerts angrenzend an diejenige des Spitzenpunkts etwas
geringer ist als die Höchstauftrittshäufigkeit).
Unter solchen Umständen
wird ein Spitzenabstandswert basierend auf Abstandswerten eines
Spitzenabschnitts berechnet (welcher die Spitze und ihre Nachbarschaft
beinhaltet), und die Beurteilung hinsichtlich Unregelmäßigkeiten
der Abstandsdaten d erfolgt basierend auf dem Spitzenabstandswert.
Da dies eine Verbesserung der Genauigkeit des Spitzenabstandswerts
ermöglicht, kann
eine Unregelmäßigkeit
bei der Berechnung des Abstandswerts d mit höherer Genauigkeit erfasst werden.
-
Solch
ein Spitzenabstandswert kann beispielsweise durch folgendes Verfahren
berechnet werden. Zuerst wird ein Abstandswert dm mit der Höchstauftrittshäufigkeit
ermittelt. Als Nächstes
wird vom rechten und linken Abstandswert d, die an diesen Abstandswert
dm angrenzen, der Wert einer größeren Auftrittshäufigkeit
herausgefunden. Dann wird ein gewichtetes Mittel des Abstandswerts
dm und des so herausgefundenen angrenzenden Abstandswerts d ermittelt
und der Wert des gewichteten Mittels als Spitzenabstandswert festgelegt.
Es erfolgt eine Beurteilung über
die Übereinstimmung
oder Nichtübereinstimmung
einer Testprobe in Abhängigkeit
davon, ob der so berechnete Spitzenabstandswert in einem geeigneten
Bereich liegt.
-
(Fünfte Ausführungsform)
-
Eine
fünfte
Ausführungsform
könnte
als Variante der zweiten Ausführungsform
bezeichnet werden, bei der ein Spitzenabstandswert mit einer Auflösung von Teilpixeleinheiten
oder mit einer Auflösung, die
kleiner ist als ein Pixel, berechnet wird. Da dies eine Verbesserung
der Genauigkeit des Spitzenabstandswerts zulässt, wird es möglich, eine
Unregelmäßigkeit
bei der Berechnung der Abstandsdaten d mit höherer Genauigkeit zu erfassen.
Der Spitzenabstandswert in Teilpixeleinheiten kann beispielsweise durch
das folgende Verfahren berechnet werden.
-
Zuerst
werden Abstandsdaten d im Bewertungsbereich R2 in Teilpixeleinheiten
berechnet. Es sollte auf die japanische Patentveröffentlichung
Nr. Hei. 10-307352 (JP-A-10-307352)
Bezug genommen werden, da darin ein Verfahren für diese Berechnung offenbart
ist. Als Nächstes
wird, wie in der zweiten Ausführungsform
beschrieben, ein Abstandswert dm mit der Höchstauftrittshäufigkeit
als Spitzenabstandswert ermittelt. Dann wird ein durchschnittlicher Teilpixelwert
S am Abstandswert dm berechnet. Vorausgesetzt, die Auftrittshäufigkeit
des Abstandswerts dm ist n und Teilpixelwerte einzelner Bewertungsproben,
welche denselben Abstandswert dm ergeben, wenn sie in Teilpixeleinheiten
angesehen werden, liegen zwischen sp1 und spn, drückt sich
beispielsweise ihr durchschnittlicher Teilpixelwert S durch die
folgende Gleichung aus: S
= (sp1 + sp2 + ..... spn)/n (Gleichung
1)
-
Dann
wird ein Wert, der durch Addition des Teilpixelwerts S zum Abstandswert
dm erhalten wird, als Spitzenabstandswert gewählt, und es erfolgt eine Beurteilung über die Übereinstimmung
oder die Nichtübereinstimmung
einer Testprobe in Abhängigkeit
davon, ob dieser Spitzenabstandswert in einem geeigneten Bereich
liegt.
-
Da
die Zuverlässigkeit
von Abstandsdaten, die basierend auf stereoskopischen Bildern wie
vorstehend in der vorliegenden Erfindung zu sehen, automatisch beurteilt
werden kann, ist es möglich,
einen verbesserteren Wirkungsgrad eines Testprozesses zu erzielen.
-
Während die
gegenwärtig
bevorzugte Ausführungsform
der vorliegenden Erfindung aufgezeigt und beschrieben wurde, sollte
klar sein, dass diese Offenbarung nur zum Zwecke der Veranschaulichung erfolgte
und verschiedene Änderungen
und Modifizierungen vorgenommen werden können, ohne dass dabei vom Rahmen
der Erfindung, wie sie in den beigefügten Ansprüchen definiert ist, abgewichen
würde.