-
HINTERGRUND
DER ERFINDUNG
-
Die
vorliegende Erfindung betrifft eine Vorrichtung zur Stereo-Bildmessung,
und insbesondere eine Vorrichtung zur Messung eines dreidimensionalen
Bildes ausgehend von einem Stereobild. In der Beschreibung bedeutet „Offline-Messung" die Durchführung einer
Bild-Fotoaufnahme, beispielsweise an einem Mess-Einsatzort, und
das Durchführen
anderer Arbeitsschritte als die Fotoaufnahme an einem anderen Berechnungs-
und Analyseort. „Online-Messung" bedeutet hingegen
die Durchführung
von Bildmessungen und ferner die Anzeige eines dreidimensionalen
Bildes, beispielsweise an einem Mess-Einsatzort.
-
Bei
der digitalen Fotogrammetrie nach dem Stand der Technik wurden die
dreidimensionale Messung und Analyse ausgehend von einem vorliegenden
digitalen Bild in der folgenden Weise ausgeführt. Zunächst wird ein Orientierungsschritt
durchgeführt,
der auf einigen aufgeprägten
Kontrollpunkten basiert, um eine stereoskopische Ansicht vorzusehen.
Daraufhin wird ausgehend von einer Vielzahl vorliegender Bilder
ein Stereo-Abgleich
ausgeführt,
um eine dreidimensionale Koordinate zu berechnen, und somit ein
dreidimensionales Bild zu analysieren. Während des Stereo-Abgleichs
wird insbesondere ein von grob zu fein verlaufendes Bild korrelations-Bearbeitungsverfahren
oder ähnliches
verwendet, um die dreidimensionalen Daten mit Sicherheit zu erlangen.
Hierbei wird gemäß dem von
grob zu fein verlaufenden Bild korrelations-Bearbeitungsverfahren die
Korrelationsverarbeitung in Stufen graduell beginnend bei einem
Bild mit geringer Auflösung
bis zu einem Bild mit hoher Auflösung
ausgeführt,
anstatt die Korrelationsverarbeitung von Anfang an unter Bildern
mit hoher Auflösung
auszuführen.
Dieses Verfahren verringert die Anzahl lokaler Fehler, wodurch die
Verlässlichkeit erhöht wird
(vergleiche Image Analysis Handbook, S. 709, welches unter der Aufsicht
von M. Takagi und Y. Shimoda erstellt wurde). Die dreidimensionale
Messung wurde ferner ausgeführt,
indem ein Überwachungsinstrument
verwendet wurde, beispielsweise eine Totalstation, ein GPS oder ähnliches.
-
Um
ferner ein relativ großes
Objekt in Form eines dreidimensionalen Bildes auf die übliche Weise
zu messen, wurden die Messpunkte mittels eines Überwachungsinstruments, beispielsweise
einer Totalstation, gescannt, oder die Messpunkte wurden vermehrt,
indem das GPS bewegt wurde, wodurch das dreidimensionale Bild mittels
einer Menge einer Anzahl kleiner Oberflächen angezeigt wurde, die von
den Messpunkten umgeben sind. Ferner stand ein weiteres Verfahren
zur Verfügung,
nach dem eine dreidimensionale Messung ausgeführt wurde, indem eine Bild-Korrelationsverarbeitung
(Stereo-Abgleich) oder ähnliches
ausgehend von einem fotografierten Stereobild ausgeführt wurde,
woraufhin ein dreidimensionales Bild als eine Zusammenstellung einer
Anzahl von Oberflächenformen
angezeigt wurde.
-
ZUSAMMENFASSUNG
DER ERFINDUNG
-
Jedoch
muss bei einer solchen üblichen
Methode die Bild-Korrelationsverarbeitung für jedes Bild mit verschiedenen
Auflösungen
gleichermaßen
durchgeführt
werden, wodurch ein großer
Zeitbedarf für
die arithmetische Verarbeitung des Verfahrens erforderlich ist.
In dem üblichen
Fall muss der Schritt des Wiederholens der Bild-Korrelationsverarbeitung
ausgeführt
werden, wenn ein Messfehler auftritt, indem der Ort des Messfehlers
wiederholt von einem Bediener spezifiziert wird, wodurch viel Arbeitsaufwand
und Zeit zur Messung und Korrektur erforderlich sind. Ferner kann
bei üblichen
Systemen der Fall eintreten, dass nicht genug Zeit zur Messung durch
die Totalstation bzw. Zusammenführungseinrichtung
oder ähnliches
an dem tatsächlichen
Ort verbleibt, die Messung unmöglich
ist, nur Fotografien des Ortes gemacht werden können, und ähnliches, wenn die dreidimensionale
Messung und Analyse an einem Unglücksort einer Naturkatastrophe,
an einem Ort, an dem Notfallversorgung notwendig ist, oder ähnliches,
erforderlich sind.
-
Insbesondere
hinsichtlich des Falls der Verwendung der Totalstation bzw. Zusammenführungseinrichtung
(TS) wird im Stand der Technik ein Verfahren vorgeschlagen, um dreidimensionale
Daten durch automatisches Scannen der Messpunkte unter Verwendung
einer automatisch verfolgenden Totalstation bzw. Zusammenführungseinrichtung
(reflektorlose TS) zu erhalten. Diese reflektorlose TS ist eine
Totalstation, die keine Reflektoren wie Prismen oder ähnliches
benötigt.
Jedoch erfordert dieses Verfahren einen großen zeitlichen Aufwand für die Messung,
da die Messung ausgeführt
wird, während
die TS von einem Motor angetrieben wird. Beispielsweise unter der
Annahme, dass die Messung eines Punkts eine Sekunde dauert, sind
für die
Messung von lediglich 200 × 200
Punkten 11 Stunden notwendig. Weitere Probleme umfassen die Undurchführbarkeit
der Messung durch das Ausbleiben der Rückkehr eines Entfernungslichts,
eine stärkere
Verringerung mit zunehmendem Abstand eines Entfernungsstrahls, und
so weiter.
-
Um
das GPS wie im Falle des Stands der Technik zu bewegen, ist ein
hohes Maß an
Arbeitsaufwand und Zeit aufgrund der Messung einer Messpunktkoordinate
erforderlich, während
eine Plattform zum Laden des GPS bewegt wird. Die Notwendigkeit,
das GPS auf einen zu messenden Punkt zu bewegen, führt ferner dazu,
dass es unmöglich
ist, Messungen an einem gefährlichen
Ort durchzuführen.
-
Im
Fall des GPS umfassten die Probleme hinsichtlich der Messung, die
durch Fotografieren ausgehend von einem Stereobild ausgeführt werden,
die Notwendigkeit, einen Kontrollpunkt (Orientierungspunkt) auf
dem zu messenden Objekt vorzusehen, die Unmöglichkeit, ohne Orientierung
zu ermitteln, ob das fotografierte Stereobild gemessen wird oder
nicht, eine längere
Berechnungszeit für
den Stereo-Abgleich (Bild-Korrelationsverarbeitung),
die Unmöglichkeit,
konturlose Orte zu messen, und so weiter. Insbesondere wurde zur Gewährleistung
der Ausführung
der Bild-Korrelationsverarbeitung ein Verfahren verwendet, das Grob-zu-fein-Bildkorrelation
genannt wird. Gemäß diesem
Verfahren wird die Korrelationsverarbeitung in Stufen beginnend
bei Bildern mit geringer Auflösung
hin zu einem Bild mit hoher Auflösung
graduell ausgeführt, anstatt
die Korrelationsverarbeitung von Anfang an unter Bilder mit hoher
Auflösung
durchzuführen.
Somit wird die Anzahl lokaler Fehler verringert und die Zuverlässigkeit
verbessert (vergleiche Image Analysis Handbook, S. 709, erstellt
unter der Aufsicht von M. Takagi und Y. Shimoda). Im Falle dieses
Verfahrens muss jedoch eine Bildkorrelationsverarbeitung gleichermaßen für jedes
Bild mit einer anderen Auflösung
ausgeführt
werden, wodurch in hohem Maße
Zeit für
eine arithmetische Berechnung beansprucht wird.
-
Ferner
ist der Fall einer Messung, die mit einer Stereokamera ausgeführt wird,
welche eine feste Grundlinie aufweist, dadurch vorteilhaft, dass
kein Kontrollpunkt notwendig ist. Jedoch ergaben sich durch die Erweiterung
des Messbereichs inhärente
Probleme, die die Beschränkung
des Blickwinkels (Messbereich) und die Notwendigkeit eines Verbindungspunkts
(Kontrollpunkt) zur Bildkorrektur umfassen.
-
Weitere
Beispiele für
den Stand der Technik sind in den europäischen Patentanmeldungen
EP 0880010 und
EP 0964223 sowie in dem Patent
US 6,041,140 offenbart.
Die Druckschrift
EP 0880010 beschreibt,
wie ein Suchbereich zur Stereobild-Korrelation basierend auf vier
Kontrollpunkten eingestellt wird.
-
Die
vorliegende Erfindung wurde vor dem Hintergrund der oben genannten
Probleme ausgeführt,
und es ist eine Aufgabe der Erfindung, eine Messvorrichtung vorzusehen,
die eine hochgradig verlässliche
dreidimensionale Messung für
ein Stereobild mit hoher Geschwindigkeit ausführen kann, und jegliche nicht
durchgeführte
Messung, Messfehler oder ähnliches
leicht korrigiert. Es ist ein weiteres Ziel der Erfindung, eine
Messvorrichtung vorzusehen, die eine hochgradig verlässliche
dreidimensionale Messung und Analyse mit Hochgeschwindigkeit ausführen kann,
indem nur einige Kontrollpunkte gemessen werden, und ein Stereobild
fotografiert wird, auch an einem Einsatzort, an dem eine Notfallhilfe
aufgrund einer Naturkatastrophe oder ähnliches erforderlich ist,
oder wenn schnelle Vor-Ort-Messung notwendig ist oder wenn die Messung
schwierig ist.
-
Es
ist ein weiteres Ziel der Erfindung, eine hohe Zuverlässigkeit
und Geschwindigkeit der Analyseverarbeitung durch das Erreichen
einer effizienten Ausführung
der Bildkorrelationsverarbeitung zu erreichen. Es ist ein weiteres
Ziel der Erfindung, eine kontaktlose dreidimensionale Hochgeschwindigkeitsmessung
gleichermaßen
an einem Ort auszuführen,
an dem üblicherweise
nicht gemessen werden kann, beispielsweise ein Ort, dessen Zugang
zu gefährlich
ist, oder ähnliches.
-
Es
ist ein weiteres Ziel der Erfindung, insbesondere im Fall der Online-Messung
eine deutlich höhere Geschwindigkeit,
Effizienz und hohe Verlässlichkeit
der gesamten Messungen im Vergleich zu dem Fall zu erreichen, gemäß dem durch
jedes einzelne Verfahren eine einzelne Messung ausgeführt wird.
-
Um
die oben genannten Ziele zu erreichen, insbesondere in dem Fall
der Offline-Messung, wird erfindungsgemäß eine Vorrichtung zur Stereo-Bildmessung
vorgesehen, welche umfasst: eine Einstelleinheit zum Einstellen,
in einem Stereobild mit mindestens drei oder mehr Messpunkten, deren
Funktionsdaten vorliegen, zumindest eines Teils der Messpunkte als
Unterteilungspunkte, eine arithmetische Verarbeitungseinheit zum Ausführen von
Korrelationsverarbeitung für
Bilder der Suchbereiche, die in dem Stereobild einander entsprechen,
basierend auf dem Suchbereich, der von der Einstelleinheit eingestellt
wurde; und eine Messeinheit zum Messen einer Koordinate eines Punkts
auf einer vorgegebenen Position, ausgehend von einem Ergebnis der Korrelation,
die von der arithmetischen Verarbeitungseinheit ausgeführt wurde,
dadurch gekennzeichnet, dass die Einstelleinheit annimmt, dass die
aus den vorliegenden Unterteilungspunkten ausgewählten drei Unterteilungspunkte
ein Unterteilungsdreieck bilden, und einen Suchbereich basierend
auf zumindest einem der Unterteilungsdreiecke einstellt.
-
Um
die oben genannte Aufgabe erfindungsgemäß zu lösen, wird insbesondere im Fall
der Online-Messung eine Vorrichtung zur Stereo-Bildmessung vorgesehen,
welche umfasst: eine Einstelleinheit zum Einstellen, in einem Stereobild
mit mindestens drei oder mehr Messpunkten, deren Positionsdaten
vorliegen, zumindest eines Teils der Messpunkte als Unterteilungspunkten,
und zum darauf folgenden Einstellen eines Suchbereichs, der auf
zumindest drei Unterteilungspunkte basiert, die aus einer Vielzahl
der eingestellten Unterteilungspunkte ausgewählt sind; eine arithmetische
Verarbeitungseinheit zum Ausführen
von Korrelationsverarbeitung für
Bilder von Suchbereichen, die einander auf dem Stereobild entsprechen,
basierend auf dem Suchbereich, der von der Einstelleinheit eingestellt
ist; und eine Messeinheit zum Messen einer Koordinate eines Punkts
bei einer vorbestimmten Position basierend auf einem Ergebnis der
Korrelation, welche von der arithmetischen Verarbeitungseinheit
ausgeführt
wurde, wobei die arithmetische Verarbeitungseinheit Information über einen
Messbereich vorbereitet, der gemäß dem Ergebnis
der Korrelationsverarbeitung einen neuen Messpunkt erfordert.
-
Hauptsächlich im
Fall der Online-Messung weist die Erfindung zur Lösung der
oben genannten Aufgabe die folgenden beispielhaften Merkmale auf.
Durch Ausführen
des unten beschriebenen Verfahrens ist es möglich, Messungen mit höherer Geschwindigkeit
und mit höherer
Verlässlichkeit
auszuführen,
als im Stand der Technik.
- 1. Fotografieren
eines Stereobilds in einem zu messenden Bereich.
- 2. Messen von sechs oder mehr Kontroll-(Orientierungs-)-Punkten
in einem Bereich, der von beiden Stereobildern umfasst wird, mittels
einer reflektorlosen TS.
- 3. Messen (orientieren) von Kontroll-(Orientierungs-)-Punkten,
die von der TS in dem Stereobild gemessen wurden.
- 4. Festlegen eines Bereichs, der basierend auf den Messpunkten
einer Bildkorrelationsverarbeitung unterworfen wird.
- 5. Ausführen
einer Bildkorrelationsverarbeitung für einen Bereich.
- 6. Anzeigen eines Bildes auf einer Anzeige, die basierend auf
dreidimensionalen Koordinaten ausgebildet ist, die sich aus einem
Korrelationskoeffizienten oder aus dem Ergebnis der Korrelationsverarbeitung
von Schritt 5 ergeben.
Ferner, hauptsächlich im Fall der Online-Messung,
weist die Erfindung die folgenden Merkmale auf. Das Hinzufügen dieser
Verarbeitungsschritte ermöglicht
das Ausführen
einer Messung bei deutlich höherer
Geschwindigkeit und mit deutlich höherer Verlässlichkeit. Wenn die Verlässlichkeit
der Messungen als nicht ausreichend erachtet wird, können die
folgenden Verfahrensschritte 7 bis 10 wiederholt werden, bis eine zufriedenstellende
Verlässlichkeit
erreicht wird.
- 7. Ausführen
zusätzlicher
Messungen für
einen Bereich mit einem kleinen Korrelationskoeffizienten, oder einer
Stelle, an der ein Bild basierend auf Messdaten geformt wird, das
nicht zufriedenstellend ist.
- 8. Neufestlegen eines Bereichs, der basierend auf einem Messpunkt
der Bildkorrelationsverarbeitung unterworfen wird.
- 9. Ausführen
der Bildkorrelationsverarbeitung für einen Bereich.
- 10. Anzeigen eines Bildes, das aus dem Ergebnis der Korrelation
gebildet ist, auf einer Anzeige.
-
Weiterhin
kann gemäß der Erfindung
hauptsächlich
im Fall der Online-Messung für
einen Bereich, der nicht mit einer reflektorlosen TS gemessen werden
kann, und gleichermaßen
nicht durch Bildkorrelationsverarbeitungen gemessen werden kann,
eine Berechnung ausgeführt
werden, indem ein Erhebungswert aus der Information in den Messbereich
der reflektorlosen TS interpoliert wird. Die Vorteile einer solchen
Verarbeitung sind die folgenden:
- – Da der
dreidimensionale Messwert der reflektorlosen TS als ein Anfangswert
zum Stereo-Abgleich eingestellt werden kann, kann auf die Grob-zu-fein-Bildkorrelationsverarbeitung
verzichtet werden, wodurch es möglich
ist, die Berechnungszeit zu verringern.
- – Die
Kombinationsmessung unter Verwendung eines Stereobilds und der reflektorlosen
TS ermöglicht
eine deutliche Beschleunigung der Gesamtzeit der Messung gegenüber einzelnen
Messungen unter Verwendung einer TS und eines Stereobilds.
- – Ein
Ort, an dem eine Bildmessung schwierig ist (beispielsweise ein konturloser),
kann von der reflektorlosen TS gemessen werden, oder, umgekehrt,
ein Ort, an dem kein Licht für
die reflektorlose TS zurückkehrt,
kann mittels eines Bildes gemessen werden. Somit können beide
schwierig zu messenden Orte interpoliert werden.
- – Für einen
Bereich mit schlechter Bildkorrelation wird durch die Messung der
reflektorlosen TS eine Interpolation ausgeführt, und ferner kann durch
Einstellen seines Messwerts als Anfangswert der Messbereich feiner
und genauer vorgesehen werden, wodurch die Verlässlichkeit erhöht wird.
- – Da
eine Vor-Ort-Messung möglich
ist, und Messung ausgeführt
werden kann, während
ein Fehlerbereich verifiziert wird, kann die Verlässlichkeit
der Messung verbessert werden, wodurch Fehler eliminiert werden.
-
KURZE BESCHREIBUNG
DER ZEICHNUNGEN
-
Die 1 ist
ein Blockdiagramm einer gesamten Messvorrichtung gemäß der vorliegenden
Erfindung.
-
Die 2 ist
ein Flussdiagramm eines Vor-Ort-Einsatzes.
-
Die 3 ist
eine Ansicht, die ein Stereobild darstellt.
-
Die 4 ist
ein Flussdiagramm der Vorverarbeitung.
-
Die 5 ist
ein Flussdiagramm einer Offline-Messung.
-
Die 6 ist
eine Ansicht, die die Ausbildung eines Dreiecks basierend auf einem
Messpunkt darstellt.
-
Die 7 ist
eine Ansicht, die ein Eingangsbild und ein Schablonenbild darstellt.
-
Die 8 ist
eine Darstellung, die ein Beispiel von 3×3 Pixel zeigt.
-
Die 9 ist
eine Ansicht, die ein Stereoverfahren darstellt.
-
Die 10(a) und 10(b) zeigen
Ansichten, die jeweils das Ergebnis einer Korrelation anzeigen.
-
Die 11 ist
eine Ansicht, die einen weiteren Messpunkt darstellt.
-
Die 12(a) und 12(b) sind
Ansichten, die jeweils eine Dreieck-Rekombination darstellen.
-
Die 13 ist
ein Flussdiagramm einer automatischen Messung von dreidimensionalen
Koordinaten für
einen repräsentativen
Punkt.
-
Die 14 ist
eine Ansicht, die repräsentative
Punkte darstellt, die automatisch gemessen werden.
-
Die 15 ist
ein Flussdiagramm einer automatischen Online-Messung.
-
Die 16 ist
ein Flussdiagramm der grafischen Anzeige.
-
Die 17(a) und 17(b) sind
Ansichten, die jeweils grafische Anzeigen wiedergeben.
-
Die 18 ist
eine Ansicht (1), die das Einstellen eines Suchbereichs darstellt.
-
Die 19 ist
eine Ansicht, die einen Suchbereich darstellt.
-
Die 20 ist
eine Ansicht (2), die das Einstellen eines Suchbereichs darstellt.
-
Die 21(a) und 21(b) sind
Ansichten, die jeweils spezifische Größen eines Suchbereichs darstellen.
-
Die 22(a) und 22(b) sind
Ansichten (3), die jeweils das Einstellen eines Suchbereichs darstellen.
-
Die 23(a) und 23(b) sind
Ansichten, die jeweils einen Schwerpunkt eines Dreiecks und einen
Datenblock darstellen.
-
Die 24(a) und 24(b) sind
Ansichten, die jeweils eine Größe eines
Datenblocks darstellen.
-
Die 25 ist
ein Flussdiagramm einer Online-Messung.
-
Die 26 ist
ein Flussdiagramm einer halbautomatischen Messung.
-
DETAILLIERTE BESCHREIBUNG
DER BEVORZUGTEN AUSFÜHRUNGEN
-
Im
Folgenden werden die bevorzugten Ausführungen der vorliegenden Erfindung
Bezug nehmend auf die beigefügten
Zeichnungen beschrieben.
-
A: Hardware
-
Die 1 ist
ein Blockdiagramm, welches eine gesamte Messvorrichtung gemäß der Erfindung
dargestellt.
-
Dieses
System umfasst ein Überwachungsinstrument 1,
eine Messvorrichtung 2 und eine Kamera 3. Die
Messvorrichtung 2 umfasst eine Kontrollpunkt-Sucheinheit 10,
eine Suchbereich-Einstelleinheit 20, eine arithmetische
Verarbeitungseinheit 30, eine Anzeigeeinheit 40,
eine Messeinheit 50 und einen Bus 60. Diese Komponenten,
beispielsweise die Kontrollpunkt-Sucheinheit 10, die Suchbereich-Einstelleinheit 20,
die arithmetische Verarbeitungseinheit 30, die Anzeigeeinheit 40 und
die Messeinheit 50 werden beispielsweise in einen Personalcomputer
geladen, und sind über
den Bus 60 verbunden.
-
Das Überwachungsinstrument 1 wird
verwendet, um verschiedene Kontrollpunkte am Einsatzort zu messen.
Dieses Instrument ist nicht notwendig, wenn die Messung ausgeführt wird,
indem ein Stereobild erhalten wird, welches bereits zahlreiche Kontrollpunkte
umfasst. Die Kamera 3 wird verwendet, um ein Bild zu erlangen,
und es kann eine hinsichtlich der Verwendung ausgewählt werden,
beispielsweise eine Digitalkamera, eine Filmkamera, und so weiter.
Es ist nicht immer notwendig, die Kamera 3 vorzubereiten.
Stattdessen kann ein Bild, welches zahlreiche Kontrollpunkte umfasst,
vorher erhalten und analysiert werden.
-
Die
Kontrollpunkt-Sucheinheit 10 korreliert einen Kontrollpunkt,
der vorab von dem Überwachungsinstrument 1 gemessen
wurde, mit einem Bild. Die Suchbereich-Einstelleinheit 20 stellt basierend
auf dem Kontrollpunkt, der von der Kontrollpunkt-Sucheinheit 10 korreliert wurde,
einen Suchbereich zur Bildkorrelationsverarbeitung, sowie Referenzdaten
und Suchdatenblocks ein. Die arithmetische Verarbeitungseinheit 30 führt für den Suchbereich,
der von der Suchbereichs-Einstelleinheit 20 eingestellt
wurde, eine Orientierungsberechnung sowie Bildkorrelationsverarbeitung
(Stereo-Abgleich) durch. Die Anzeigeeinheit 40 ist ein
Stereomonitor zum Vorsehen einer stereoskopischen Ansicht, ein Personalcomputer-Monitor
oder ähnliches.
Die Verwendung eines solchen Stereomonitors ermöglicht es, spezifischere und
genauere dreidimensionale Messungen auszuführen, sowie die Verifikation
des Messergebnisses. Die Anzeigeeinheit 40 zeigt in einer
grafischen Weise ein fotografiertes Stereobild, einen Korrelationskoeffizientenwert,
der sich aus der Korrelationsverarbeitung ergibt, einen Punkt und
eine Konturlinie, die basierend auf dreidimensionalen Koordinaten
ausgebildet wurde, die sich aus dem Ergebnis der Korrelationsverarbeitung
ergibt, eine Vogelperspektive (bird's-eye view), ein digitales Ortho-Bild
usw. dar. Das Verfahren zur Verwendung der Anzeigeeinheit 40 um
eine grafische Anzeige, Verifikation oder eine weitere Messung auszuführen, kann
beispielsweise zur korrekten visuellen Ermittlung des Messergebnisses,
eines Objekts mit einer geringeren Korrelationskoeffizienten-Verlässlichkeit
und ähnliches
verwendet werden. Die grafische Anzeige kann in Echtzeit ausgeführt werden.
-
Die
Messeinheit 50 führt
weitere Messungen aus, wenn das Ergebnis der Korrelationsverarbeitung nicht
den Wünschen
entspricht. Für
weitere Messungen durch die Messeinheit 50 kann ein Verfahren
verwendet werden, in dem Korrelationskoeffizienten angezeigt werden,
woraufhin weitere Messungen für
Abschnitte ausgewählt
werden, die eine geringe Korrelation aufweisen. Ein weiteres Verfahren
kann verwendet werden, welches einen Punkt und eine Konturlinie
basierend auf dreidimensionalen Koordinaten für jeden Punkt, ein Datenrahmenmodell,
ein Oberflächenmodell
mit einer festen Oberfläche,
eine Vogelperspektive, oder ein digitales Ortho-Bild, welches zum
Vorsehen eines feststehenden Bilds eingerichtet ist, oder ähnliches
auf graphische Weise anzeigt, und daraufhin eine weitere Messung
für den
fehlerhaften Punkt des angezeigten Bilds ausführt. Hinsichtlich des Verfahrens
zum Anzeigen des Korrelationseffizienten auf einem Bildschirm, um
eine Bildverifikation oder Korrektur auszuführen, kann eines der folgenden
Verfahren zur Verwendungausgewählt werden:
Anzeigen des Bereichs eines geringen Korrelationskoeffizienten und
Ausführen
einer manuellen oder halbautomatischen Messkorrektur basierend auf
dem Bildschirm; Verwenden von Korrelationskoeffizienten und Ausführen von
automatischen Messungen für
einen Bereich, in dem ein spezifischer Schwellwert eingehalten oder
unterschritten wird, und so weiter.
-
B: Offline-Messung
-
Als
nächstes
wird die „Offline-Messung" betrachtet, die
mit dem Betrieb der Vorrichtung zur Stereo-Bildmessung der Erfindung
einhergeht.
-
Daraufhin
werden manuelle oder halbautomatische Messungen sowie automatische
Messungen detailliert beschrieben.
-
B-1. Tätigkeiten vor Ort
-
Zunächst werden
Tätigkeiten
vor Ort bzw. am Einsatzort betrachtet. Die 2 zeigt
ein Flussdiagramm der Tätigkeiten
vor Ort. Wenn Messungen an einem Einsatzort begonnen werden, werden
die Schritte dieses Flussdiagramms als Vor-Ort-Tätigkeiten ausgeführt.
-
Wenn
das Stereobild mit einem darin enthaltenen Kontrollpunkt bereits
vorliegt, sind diese Schritte nicht notwendig.
-
In
dem Schritt S10 wird zunächst
das Stereobild eines zu messenden Bereichs an dem Einsatzort fotografiert.
Die 3 zeigt ein Stereobild. Wie dargestellt ist, werden
zwei überlappende
Stereobilder (linkes Bild L und rechtes Bild R) fotografiert. Daraufhin
werden in Schritt S20 an dem Überwachungsinstrument 1 drei oder
mehr Kontroll-(Orientierungs-)-Punkte
in einem Bereich fotografiert, der sowohl in dem stereo-fotografierten linken
als auch rechten Bild liegt. Die Anzahl an Kontrollpunkten kann
3 oder mehr sein. Wenn jedoch die Anzahl an Kontrollpunkten 6 oder
mehr ist, ist die Orientierungsverarbeitung (vergleiche unten Schritt
S40) stabiler, wodurch die Verlässlichkeit
der später
ausgeführten
Analyse verbessert wird. Daher werden hier als Beispiel 6 Punkte
verwendet. Insbesondere in dem Bereich, in dem das linke und das
rechte Bild in der 3 überlappt sind, werden 6 Punkte,
d.h. C1 bis C6 eingestellt, um als Kontroll-(Orientierungs-)-Punkte
zu dienen, und mit dem Überwachungsinstrument 1 gemessen
zu werden. Daraufhin werden Stereobilddaten und ein Kontrollpunkt-Koordinatenwert,
der von dem Überwachungsinstrument
gemessen wird, an einen Ort übertragen,
beispielsweise an ein Büro,
in dem die Vorrichtung zur Stereo-Bildmessung installiert ist. Diese
Daten können
mittels eines Speichermediums zum Speichern eines Bilds oder über eine
Telefonleitung oder ähnliches übertragen
werden.
-
B-2. Vorverarbeitung
-
4 ist
ein Flussdiagramm der Vorverarbeitung. Nach dem Eingeben der Bilddaten
und des Kontrollpunkt-Koordinatenwerts in die Vorrichtung zur Stereo-Bildmessung
wird die Vorverarbeitung wie in der Figur dargestellt ausgeführt.
-
Zunächst wird
in dem Schritt S30 das übertragene
Stereobild auf der Anzeige der Anzeigeeinheit 40 angezeigt,
woraufhin dieses Bild von einem Bediener verifiziert wird. In dem
Schritt S40 werden auf den linken und rechten Bildern, welche an
der Anzeigeeinheit 40 angezeigt werden, die von dem Überwachungsinstrument 1 gemessenen
Kontroll-(Orientierungs-)-Punkte einer Messung (Korrelation) unterworfen.
Mit anderen Worten werden in diesem Beispiel die Punkte C1 bis C6,
die von dem Überwachungsinstrument 1 gemessen wurden,
daraufhin einer Orientierung hinsichtlich der jeweiligen linken
und rechten Bilder L und R unterworfen. In dem Schritt S50 wird
die Orientierungsverarbeitung basierend auf den in Schritt S40 gemessenen
Kontrollpunkten ausgeführt,
und ein gerichtetes Bild wird ausgebildet. Mit anderen Worten wird
ein stereoskopisch zu betrachtendes (gemessenes) Bild mit eliminierter
vertikaler Parallaxe ausgebildet. In dem Schritt S60 wird das stereoskopisch
zu betrachtende (gemessene) Stereobild, welches in Schritt S50 ausgebildet
wurde, daraufhin auf der Anzeige der Anzeigeeinheit 40 angezeigt.
-
In
dem Schritt S70 führt
der Benutzer eine Messung (Ausbildung einer grafischen Darstellung)
für einen
Ort aus, der speziell gemessen werden soll (in einer grafischen
Darstellung ausgebildet sein soll), für eine Randlinie, für einen
Ort mit einem Ebenenunterschied oder ähnliches, indem eine Zeigeeinrichtung,
beispielsweise eine Maus, verwendet wird, während die Anzeige betrachtet
wird. Diese Messtätigkeit
(Ausbildung der grafischen Darstellung) wird basierend auf einer
stereoskopischen Ansicht ausgeführt,
wenn ein Stereomonitor zur Verfügung
steht. Alternativ kann das linke und rechte Bild jeweils auf dem
Monitor des Personalcomputers angezeigt werden, woraufhin auf die
Entsprechungspunkte in sowohl den linken als auch den rechten Bildern gezeigt
werden kann (und diese gemessen werden). Andernfalls kann mittels
einer halbautomatischen Korrelationsverarbeitung oder ähnlichem
ein Ort, der auf dem linken Bild gekennzeichnet ist, einer halbautomatischen
Korrelationsverarbeitung in dem rechten Bild unterworfen werden,
wodurch ein entsprechender Punkt gesucht und gekennzeichnet werden
kann. Die Verwendung einer solchen Verarbeitung kann die Messtätigkeit (Ausbildung
einer grafischen Darstellung) deutlich vereinfachen. Diese Messtätigkeiten
(Ausbilden einer grafischen Darstellung) muss in dem oben genannten
Schritt nicht immer ausgeführt
werden. Jedoch ermöglicht eine
derartige Ausführung,
dass Messungen mit einer höheren
Zuverlässigkeit
ausgeführt
werden und Korrekturtätigkeiten
dementsprechend reduziert sind.
-
B-3. Grundlegender Verlauf
des Messverfahrens
-
Die 5 ist
ein Flussdiagramm einer Offline-Messung. Der Prozess wird ausgehend
von Schritt S80 bis Schritt S110 automatisch mittels Computerverarbeitung
durchgeführt,
unabhängig
von manuellen oder halbautomatischen Messungen.
-
In
Schritt S80 werden die in dem Schritt S40 oder S70 gemessenen Messpunkte
miteinander verbunden, um ein Dreieck auszubilden. Die 6 zeigt
die Ausbildung eines solchen Dreiecks basierend auf den Messpunkten.
Dieses Beispiel zeigt einen Fall, in dem die Punkte, die aus den
Messpunkten C1 bis C6 ausgewählt
wurden, miteinander verbunden sind, um ein Dreieck auszubilden.
In diesem Fall können
die Punkte auch miteinander verbunden sein, um statt eines Dreiecks
ein Quadrat auszubilden. Da es jedoch eine dreieckige Form ermöglicht,
das Innere einer Fläche
deutlich feiner zu unterteilen, als bei einem Quadrat (mittels vier
Punkten können
im Fall des Dreiecks zwei Ebenen gebildet werden, während im
Fall des Quadrats nur eine Ebene ausgebildet wird), kann die Genauigkeit
und Verlässlichkeit
verbessert werden. Als Verfahren zum Interpolieren einer dreidimensionalen
Koordinate mittels solcher Zufallspunkte kann ein dreieckiges ungleichmäßiges Netzwerk
(triangulated irregular network, TIN) verwendet werden. Das TIN
wird ausgebildet, um ein Gitter zu formen, welches aus einem Dreieck
aufgebaut ist. Hinsichtlich Details über TIN vergleiche „Computational
Geometry and Geographical Information Processing", Seite 127, von M. Iri und T. Koshizuka; „Voronoi View,
Introduction to one basic geometrical data structure", ACM Computing Surveys,
Band 23, Seiten 345 bis 405 von Franz Aurenhammer, übersetzt
von A. Sugihara, oder ähnliches.
-
In
Schritt S91 detektiert die Kontrollpunkt-Sucheinheit 10 Daten
hinsichtlich eines Referenzdatenblocks (Schablone) aus einem der
Bilder, beispielsweise aus dem linken Bild. Beispielsweise werden
diese Daten als Dreieck betrachtet, das aus 3 Unterteilungspunkten
ausgebildet ist, und ein Quadrat, welches das Dreieck umfasst, oder ähnliches.
In Schritt S92 wird über
die Position oder die Größe der Schablone
basierend auf einer Entfernung von jedem der Unterteilungspunkte
der Schablone oder ähnliches
entschieden. In dem Schritt S93 wird ausgehend von der Schablone
des linken Bilds, die auf dem Bild gemessen wurde, über einen
Suchbereich zum Ausführen
der Bildkorrelationsverarbeitung mittels der Suchbereich-Einstelleinheit 20 entschieden.
In dem Schritt S94 wird der Suchbereich, der für das andere Bild, beispielsweise
das rechte Bild, entschieden wurde, einem Scanschritt unter Verwendung
der Schablone des linken Bildes unterworfen. Das Einstellen der
Schablone und das Scannen des Suchbereichs sind im Weiteren beschrieben.
-
Daraufhin
wird in dem Schritt S100 für
jeden unterteilten Bereich eine Bildkorrelationsverarbeitung zwischen
der Schablone und dem Suchbereich in der arithmetischen Verarbeitungseinheit 30 ausgeführt. Insbesondere
wird der entsprechende Punkt des rechten Bilds, der dem linken Bild
entspricht, erhalten (oder der entsprechende Punkt des linken Bilds,
der dem rechten Bild entspricht), indem ein Punkt mit einer starken
Korrelation erhalten wird, und wodurch eine dreidimensionale Koordinate
hiervon berechnet wird. Hinsichtlich der Bildkorrelationsverarbeitung
(Stereo-Abgleich) kann ein sequenzielles Rest-Testverfahren (SSDA-Verfahren), ein
Verfahren mit gegenseitigen Korrelationskoeffizienten oder ähnliches
verwendet werden.
-
Im
Weiteren wird das an die automatische Messung angepasste Verfahren
mit gegenseitigem Korrelationskoeffizienten erklärt.
-
(Verfahren
basierend auf gegenseitigem Korrelationskoeffizienten, mutual correlation
coefficient).
-
Die 7 zeigt
ein Eingangsbild und ein Schablonenbild. Wie dargestellt ist, wird
angenommen, dass für
das Schablonenbild eine Durchsuchung ausgeführt wurde, indem das Schablonenbild
von N1 × N1 Pixel innerhalb eines Suchbereichs (M1 – N1 + 1)2 in dem Eingangsbild
von M1 × M1 Pixel bewegt wird, welches größer als
das Schablonenbild ist, und indem die links oben liegende Position
des Schablonenbilds derart erhalten wird, dass diese einen größten Korrelationseffizienten
r hat, der von einem unten angegebenen Ausdruck wiedergegeben wird.
-
Die
8 zeigt
ein Beispiel von 3×3
Pixel. In diesem Beispiel wird ein Vergleichsbild 1 mit einem Korrelationswert
gleich oder größer als
der des Schablonenbilds T des linken Bilds auf der gleichen Linie
(epipolare Linie) des rechten Bildes durchsucht. Mit anderen Worten
wird der oben genannte Ausdruck in einem entsprechenden Verhältnis zu
jedem Bild berechnet. Daraufhin ergibt sich ein Bild mit einem hohen
Korrelationswert, indem derartige Bilder um eins oder um eine bestimmte
Zahl verschoben werden.
- Ii:
- Dichtegrad des Vergleichsbilds
- Ti:
- Dichtegrad des Schablonenbilds
- T,I:
- Mittelwerte
-
Gemäß der Erfindung
wird beispielsweise der Referenzdatenblock als ein Schablonenbild
ausgehend von dem linken Bild eingestellt, die Suche wird ausgeführt unter
Verwendung eines Suchdatenblocks in dem Suchbereich des rechten
Bilds als eine Einheit, und daraufhin wird ein Suchdatenblock als
ein Abschnitt des rechten Bilds durchsucht, welches zu dem Referenzdatenblock
(Schablone) des linken Bilds passt. Der passende Abschnitt ist ein
Punkt mit einem größten Korrelationskoeffizienten
(nahezu 1).
-
Nachdem
die jeweiligen Punkte der linken und rechten Bilder durch die vorangehende
Korrelationsverarbeitung erhalten wurden, wird basierend auf dem
Prinzip eines Stereoverfahrens ein dreidimensionaler Koordinatenwert
für jeden
Messpunkt berechnet. Die 9 zeigt ein solches Stereoverfahren.
-
(Stereoverfahren)
-
Der
Einfachheit halber wird angenommen, dass zwei Kameras verwendet
werden, wobei deren optische Achsen parallel zueinander sind, die
Entfernungen „a" von den Hauptpunkten
der Kameralinsen zu den CCD-Oberflächen gleich sind, und jede
CCD senkrecht zu der optischen Achse angeordnet ist.
-
Als
L wird eine Entfernung (Länge
der Grundlinie) zwischen den zwei optischen Achsen festgelegt.
-
Die
folgende Beziehung wird zwischen den Koordinaten der Punkte P
1 (x
1y
1)
und P
2 (x
2, y
2) auf einem Objekt hergestellt:
-
Hier
wird der Ursprung des gesamten Koordinatensystems (x, y, z) als
der Hauptpunkt der Linse der Kamera 1 festgelegt. Wenn ein von der
Kamera 1 fotografiertes Bild als linkes Bild festgelegt wird, und
ein von der Kamera 2 fotografiertes Bild als rechtes Bild festgelegt
wird, wird die Position x2 (Punkt mit der
höchsten Ähnlichkeit)
bezüglich
der Position des linken Bildes x1 durch
Bildkorrelationsverarbeitung ermittelt. Dementsprechend ergibt sich
z aus dem Ausdruck III. und unter Verwendung dieses Werts ergeben
sich x und y aus den Ausdrücken
I. und II.
-
Die
Messung wird Bezug nehmend auf das Flussdiagramm erklärt. In dem
Schritt S110 wird das sich aus der Korrelation zwischen dem linken
und dem rechten Bild ergebende Ergebnis auf der Anzeigeeinheit 40 dargestellt.
In diesem Fall wird ein größter Korrelationswert
(Punkt der höchsten Ähnlichkeit),
der sich als Ergebnis des Durchsuchens des Suchdatenblocks ergab,
als Übereinstimmung
in dem Datenblock festgelegt, und das Ergebnis der Korrelation wird
auf dem Bild angezeigt.
-
Die 10(a) und 10(b) sind
Ansichten, die jeweils das Anzeigen des Korrelationsergebnisses
darstellen. Wie beispielsweise in den E1-Bereich der 10(a) und in der 10(b) dargestellt
ist, wird ein Bereich oder Punkt hervorgehoben, wenn ein solcher
Bereich oder Punkt besteht, der einen geringen Korrelationskoeffizienten
aufweist. Für
das Anzeigeverfahren können
tatsächliche
Korrelationskoeffizientenwerte unter Verwendung von verschiedenen
Farben oder ähnliches
angezeigt werden, oder angezeigt werden, indem mehrere Stufen an
Schwellwerten vorgesehen werden. In dem Schritt S120 wird der Prozess
beendet, wenn das Ergebnis der Anzeige ausreichend ist.
-
Als
nächstes
wird ein zusätzlicher
Messablauf beschrieben. In dem Schritt S130 geht der Prozess zu dem
Schritt S150 über,
wenn das Ergebnis der Anzeige nicht zufrieden stellend ist. In dem
Schritt S150 wird für
den Bereich des unzureichenden Korrelationsergebnisses der unzureichende
Abschnitt zusätzlich
in manueller oder halbautomatischer Weise gemessen, oder es werden
Messpunkte aus dem Korrelationsergebnis ausgewählt. Da der Zustand hier offline
ist, werden bei der zusätzlichen
Messung die Daten verwendet, die bereits von dem Überwachungsinstrument 1 gemessen
wurden. Beispielsweise wird für
ein Punkt in dem Bereich E1 mit einem kleinen Korrelationskoeffizienten,
wie in 10(a) dargestellt, eine manuelle
oder halbautomatische Spezifikation durchgeführt, unter Verwendung der Zeige-Vorrichtung,
beispielsweise einer Maus oder ähnliches,
während
der Stereomonitor oder der Monitor des Personalcomputers betrachtet
wird, und für den
spezifizierten Bereich wird eine weitere Messung ausgeführt. In
der zusätzlichen
Messung kann an Punkten oder an Linien, beispielsweise Randlinien,
abhängig
von einem Objekt, eine grafische Darstellung ausgebildet werden
(Messungen durchgeführt
werden). Gemäß einem
weiteren Verfahren kann hinsichtlich der Punkte in dem Bereich E1
mit einem geringen Korrelationskoeffizienten, wie in 10(a) dargestellt, wenn ein relativ korrekter
Messpunkt mit einem hohen Korrelationskoeffizienten vorliegt, dieser
Punkt auf der Anzeige ausgewählt
und als zusätzlicher
Messpunkt eingestellt werden. Wenn ferner unter diesen von dem Überwachungsinstrument
gemessenen Punkten ein Punkt vorliegt, der nicht als Kontrollpunkt
verwendet wird, kann ein solcher Punkt als Messpunkt verwendet werden.
Beispielsweise zeigt die 11 einen
solchen zusätzlichen
Messpunkt. In der Zeichnung bezeichnet C7 einen hinzugefügten Messpunkt.
Als Ergebnis werden die Flächen
E10, E11 und E12 hinzugefügt.
Alternativ können
beide oben beschriebenen Verfahren verwendet werden. Ferner können die
oben genannten Arbeitsschritte für
einen Bereich ausgeführt
werden, auch wenn für
diesen Bereich ein akzeptabler Korrelationskoeffizient vorliegt,
wenn das von der Anzeigeeinheit 40 verifizierte Korrelationsergebnis
nicht korrekt ist. Eine derartige Vorgehensweise gewährleistet
eine genauere Messung.
-
Daraufhin
schreitet das Verfahren mit Schritt S80 fort. In dem Schritt S80
werden die Messpunkte, die zusätzlich
gemessen wurden, hinzugefügt,
um ein Dreieck auszubilden. 11 zeigt
die Hinzufügung
eines solchen Messpunkts. Insbesondere wird die Neuverbindung der
Messpunkte ausgeführt,
indem der in 11 dargestellte zusätzliche
Punkt C7 verwendet wird. In diesem Fall kann ein detaillierteres
Dreieck für
den zusätzlichen
Punkt ausgebildet werden, wie dargestellt ist, oder es können Dreiecke
unabhängig
von den vorangehenden Verbindungspunkten vollkommen neu ausgebildet
werden.
-
In
dem Schritt S150 werden die Dreiecke neu kombiniert, wenn keine
zusätzliche
Messung ausgeführt wird,
oder keine auszuwählenden
Punkte vorliegen. Die 12(a) und 12(b) sind Ansichten, die jeweils die Neukombination
von Dreiecken darstellen. Wenn beispielsweise die Dreiecke ausgebildet
sind, wie die in 12(a) dargestellten
Dreiecke, dann können
die Dreiecke wie im Fall von 12(b) neu
kombiniert werden. Wenn ferner die in dem Schritt S150 linear gemessenen
Punkte zusätzlich
ausgewählt
sind, dann kann eine feinere Dreiecksform mit diesen Punkten ausgebildet
werden, wodurch sowohl die Verlässlichkeit
als auch die Dichte verbessert wird.
-
Daraufhin
wird wie im oben genannten Fall die einzelne Verarbeitung jedes
Schritts nach dem Schritt S91 ausgeführt, und daraufhin wird in
dem Schritt S100 eine Bildkorrelationsverarbeitung für einen
neuen Bereich ausgeführt.
Wenn in diesem Fall ein detailliertes Dreieck ausgebildet ist, werden
nur neu hinzugefügte Dreiecksflächen der
Bildkorrelationsverarbeitung unterworfen. In dem Schritt S110 wird
das Ergebnis der Korrelation auf der Anzeigeeinheit dargestellt.
In dem Schritt S120 wird der Prozess beendet, wenn das Ergebnis zufrieden
stellend ist. In dem Schritt S130 führt der Prozess erneut zusätzliche
Messungen durch, wenn das angezeigte Ergebnis nicht zufrieden stellend
ist. In dem Schritt S150 wird eine zusätzliche Messung für eine weitere
Fläche
ausgeführt,
die zusätzlich
gemessen werden soll, während
der Monitor betrachtet wird. Der darauf folgende Prozess gleicht
dem oben genannten Schritt S80 und wird danach wiederholt, bis sich
ein zufrieden stellendes Ergebnis ergibt.
-
Unter
der Annahme, dass keine Verbesserung eintritt, auch durch jegliche
zusätzliche
Messungen, oder wenn keine zusätzliche
Messung ausgeführt
werden, dann wird das Verfahren mit dem Schritt S140 fortgeführt. In
dem Schritt S140 wird beispielsweise, wenn Ergebnisse nie zufrieden
stellend sind, die von einem beliebigen Mittel für den Bereich E10 der 11 ausgeführt werden,
ein Erhebungswert basierend auf der Ebenengleichung des Bereichs
E10 interpoliert, der sich aus den Messpunkten C1, C2 und C7 zusammensetzt.
Um beispielsweise in dem Bereich E10 C8 zu erhalten, wenn die Koordinaten
C8 (x8, y8, z8) sind, dann wird der Erhebungswert z8 von C8 in der folgenden Weise berechnet: z8 = –(ax8 + by8 + d)/c (6) (Die Koeffizienten
a, b, c und d werden aus den dreidimensionalen Koordinaten von C1,
C2 und C7 berechnet.)
-
B-4. Automatische Messung
-
Als
nächstes
wird die automatische Messung beschrieben. Die 13 ist
ein Flussdiagramm einer automatischen Messung, die für einen
repräsentativen
Punkt auf einer dreidimensionalen Koordinate ausgeführt wird.
Die 14 stellt einen repräsentativen Punkt dar, der automatisch
gemessen werden soll. Um eine Vor-Ort-Messung auszuführen, wird
das Verfahren ausgeführt,
das dem von 2 gleicht, wobei dessen Vorverarbeitung
demjenigen ähnelt,
das in dem Flussdiagramm von 4 dargestellt
ist. In 4 kann der Schritt S70 ausgeführt werden
oder nicht. Nach der Vorverarbeitung von Schritt S150 oder, alternativ,
während
der Verarbeitung des Schritts S150 wird die Messung begonnen.
-
In
dem Schritt S200 ist der überschneidende
Abschnitt der fotografierten linken und rechten Bilder ein Suchbereich,
wobei der überschneidende
Abschnitt in 14 dargestellt ist, und dieser
Bereich in mehrere unterteilt wird. Daraufhin wird ein Punkt (Suchdatenblock)
nahe dem Zentrum jedes geteilten Bereichs ausgewählt, und die Bildkorrelationsverarbeitung
wird ausgeführt,
um den entsprechenden Punkt der linken und rechten Bilder zu erhalten,
der dem gewählten
Punkt entspricht. Diese Bildkorrelationsverarbeitung wird unter Verwendung
eines Grob-zu-fein-Bildkorrelationsverfahrens
mit höherer
Genauigkeit ausgeführt.
Da das Durchsuchen nur um den unterteilten Datenblock des Bilds
herum notwendig ist, kann eine Hochgeschwindigkeitsverarbeitung
umgesetzt werden. Ein Teil mit einem kleinen Korrelationskoeffizienten,
der sich als Ergebnis des Korrelationsverarbeitens ergibt, wird
eliminiert, und ein entsprechender Punkt mit einem hohen Korrelationskoeffizienten
wird erhalten (beispielsweise kann ein Korrelationskoeffizient von
0,8 oder höher
eingestellt werden). Unter Annahme, dass kein entsprechender Punkt
unter den anfänglich
durchsuchten Punkten (Datenblöcken)
vorliegt, wird daraufhin die Position des Punkts (Suchdatenblocks)
auf dessen Umgebung geändert,
und die Durchsuchung wird ausgeführt.
Auf diese Weise ergeben sich die dreidimensionalen Koordinaten eines
repräsentativen
Punkts für
jeden Bereich. In der Zeichnung wird eine Unterteilung in 4 × 4 Bereiche
vorgenommen. Jedoch kann der Punkt geeignet sein, soweit er in dem
Bereich vorliegt, auch wenn auf eine andere Art und Weise unterteilt
wird, oder der Punkt der Korrelationsverarbeitung nicht als Mitte
festgelegt ist.
-
In
dem Schritt S210 wird das Messergebnis des Schritts S200 auf der
Anzeigeeinheit 40 angezeigt. Wenn keine Probleme bestehen,
schreitet der Prozess mit einem darauf folgenden Arbeitsablauf fort.
Wenn Fehler, Unzulänglichkeiten
und ähnliches
bestehen, können
in diesem Schritt eine Korrektur ausgeführt werden. Die Korrektur wird
ausgeführt,
indem die Position des Datenblocks in dem Korrekturbereich geändert wird. Diese
Tätigkeit
kann automatisch, manuell oder halbautomatisch ausgeführt werden.
Alternativ kann der Prozess mit dem nächsten Schritt ohne Verifikation
fortfahren. Wenn jedoch die Verifikation ausgeführt wird, vereinfacht sich
die spätere
Korrekturtätigkeit.
-
Im
Folgenden wird die 15 betrachtet, die ein Flussdiagramm
der automatischen Messung als Fortsetzung des oben beschriebenen
ist. Die hier vorgesehenen Schritte werden ebenfalls automatisch
von einem Computer ausgeführt.
Nach dem in 13 dargestellten Schritt S210
werden diese Schritte ausgeführt.
In dem Schritt S220 wurden die Punkte, die automatisch für jeden
Bereich gemessen wurden, miteinander verbunden, um ein Dreieck auszubilden.
Die Verbindung kann ferner vorgesehen werden, indem die in dem Schritt S40
oder in dem Schritt S70 gemessenen Punkte, die zu einer grafischen
Darstellung zusammengestellt wurden, hinzugefügt werden. Das Verarbeiten
der Schritte S90 bis S260 und S280 ähnelt der Verarbeitung der Schritte
S90 bis S110 und S140. Wenn das Ergebnis der Anzeige zufrieden stellend
ist, ist der Prozess abgeschlossen.
-
In
dem Schritt S270 wird basierend auf dem Ergebnis der Korrelation,
die in dem oben genannten Schritt angezeigt wird, ermittelt, ob
die zusätzliche
automatische Messung ausgeführt
wird, oder nicht. Wenn eine automatische Korrekturmessung ausgeführt wird,
schreitet das Verfahren mit dem Schritt S300 fort. In dem Schritt
S300 wird nach der Ausführung
des Bildkorrelationsverfahrens von Schritt S240 ein Schwellwert unter
den numerischen Korrelationswerten eingestellt, und ein Punkt, der
einen Korrelationskoeffizienten aufweist, der gleich oder kleiner
dem Schwellwert ist, wird aus dem Ziel der zusätzlichen Auswahl eliminiert.
Der Schwellwert kann beispielsweise von Anfang an auf 0,5 oder kleiner
festgelegt werden, oder kann abhängig von
einem Objekt festgelegt werden. Daher wird ein Punkt mit einem relativ
hohen Korrelationskoeffizienten zur automatischen Messung ausgewählt oder
zu dieser hinzugefügt.
Der zur zusätzlichen Messung
ausgewählte
Punkt kann in der Schwerpunktsmitte des Dreiecks des Dreiecksbereichs
mit einem geringen Korrelationskoeffizienten vorgesehen werden,
oder in der Mitte (Schwerpunktsmitte) des Bereichs, der einen kleinen Korrelationskoeffizienten
aufweist. Daraufhin wird eine Grob-zu-fein-Bildkorrelationsverarbeitung
für einen Punkt
eines hohen Korrelationskoeffizienten nahe dem oben genannten Punkt
oder für
dessen Umrandung ausgeführt.
Zur weiteren Sicherheit kann die Verarbeitung für beide ausgeführt werden,
und falls für
beide festgestellt wird, dass diese identische korrespondierende
Punkte sind, dann wird ein solcher Punkt als zusätzlicher Messpunkt ausgewählt. Wenn
die Messung mittels des Überwachungsinstruments
oder ähnlichem
ausgeführt
wird, und falls ein beliebiger nicht verwendeter Punkt in dem Bereich
vorliegt, dann kann dieser Punkt automatisch ausgewählt werden.
-
Im
Weiteren wird ein Verfahren zur Ermittlung der Schwerpunktsmittenposition
eines Dreiecks und die Schwerpunktsmitte eines Bereichs beschrieben,
der einen kleinen Korrelationskoeffizienten aufweist.
-
Zunächst wird
hinsichtlich der Schwerpunktsmitte eines Dreiecks, wenn beispielsweise
ein Korrelationskoeffizient in dem Dreieck E1 (C1, C2 und C5) der 10(a) klein ist, die Schwerpunktsmitte
C7 (vergleiche 11) des Dreiecks als nächster Messpunkt
in der folgenden Weise erzielt. Das heißt, dass sich unter der Annahme,
dass die Koordinatenwerte von C1, C2 und C5 jeweils C1 (X1, Y1, Z1),
C2 (X2, Y2, Z2) und C5 (X5, Y5, Z5) sind, sich
die X- und Y-Koordinaten für
einen nächsten
ausgewählten
Messpunkt C7 durch die folgenden Ausdrücke ergeben: X = (X1 +
X2 + X5)/3 (7) Y = (Y1 +
Y2 + Y5)/3 (8)
-
Alternativ
kann ein Schwerpunkt aus der Verteilung der Bereiche erhalten werden,
die in 10(b) mit kleinen Korrelationskoeffizienten
dargestellt sind (beispielsweise durch das Momentenverfahren). In
dem Momentenverfahren werden die durch die folgenden Ausdrücke erhaltenen
xg und yg als X-
und Y-Koordinate zur Auswahl von Punkten zur zusätzlichen Messung verwendet.
Die Anzahl an Auswahlpunkten der zusätzlichen Messung kann ein Punkt
oder eine Vielzahl von Punkten sein. xg = {Σx·{1 – cor(x,y)}}/Σ{1 – cor(x,y)} (9) yg =
{Σy·{1 – cor(x,y)}}/Σ{1 – cor(x,y)} (10), wobei gilt:
(xg, yg): Koordinaten
der Schwerpunktsposition, cor(x,y): Korrelationswert bezüglich der
(x,y)-Koordinaten.
-
Daraufhin
wird das Verfahren mit dem Schritt S220 fortgeführt. Nach dem Schritt S220
gleicht der Prozess dem oben genannten Arbeitsverlauf der zusätzlichen
Messung, und der gleiche Prozess wird nach dem Schritt S220 wiederholt,
bis sich ein zufriedenstellendes Ergebnis ergibt. Wenn sich unabhängig von
der Anzahl der durchgeführten
ausgewählten
Messungen keine Verbesserung ergibt, dann wird das Verfahren mit dem
Schritt S280 fortgesetzt. In dem Schritt S280, beispielsweise wenn
sich kein zufriedenstellendes Ergebnis für den in 11 dargestellten
Bereich E10 unter Verwendung beliebiger Mittel ergibt, wird ein
Erhebungswert basierend auf der Ebenengleichung der Ebene E10 aus
den Messpunkten C1, C2 und C7 interpoliert.
-
C: Online-Messung
-
Als
nächstes
wird eine „Online-Messung" beschrieben, die
von der erfindungsgemäßen Vorrichtung zur
Stereo-Bildmessung umfasst wird.
-
Die
Erfindung ist dahingehend vorteilhaft, dass die Online-Messung die
einfache Ausführung
der Anzeige, Verifikation und Korrektur am Ort der Messung in Echtzeit
ermöglicht,
auch ohne Verwendung des Stereomonitors oder ähnlichem. Es ist daher möglich, die
Gesamt-Messzeit zu verkürzen
und sichere sowie hochgradig verlässlich dreidimensionale Messungen
auszuführen.
-
Im
Folgenden wird der Fall der Ausführung
einer manuellen oder halbautomatischen Messung und der Fall der
Ausführung
einer automatischen Messung basierend auf dem Korrelationsergebnis
dargestellt.
-
C-1. Grundlegender Verlauf
des Messverfahrens
-
Die 25 ist
ein Flussdiagramm der Online-Messung. Online-Messung bedeutet, dass
beispielsweise ein Bild an dem Ort der Messung gemessen wird, und
ein dreidimensionales Bild hiervon angezeigt wird. Unter anderen
Schritten werden Schritte, die denen der oben genannten Offline-Messung
gleichen, in einem Umfang weg gelassen, der gewährleistet, dass keine redundante
Beschreibung vorgesehen wird.
-
Zunächst sind
die Schritte S10 und S20 gleich denen der Offline-Messung (vergleiche 2 und
die zugehörige
Beschreibung). Insbesondere wird in Schritt S10 zunächst ein erstes
Stereobild eines zu messenden Bereichs vor Ort bzw. am Einsatzort
fotografiert. Daraufhin werden in dem Schritt S20 mittels des Überwachungsinstruments 1 drei
oder mehr Kontroll-(Orientierungs-)-Punkte in einem Bereich gemessen,
der sowohl von den linken als auch in den rechten stereo-fotografierten
Bildern umfasst wird.
-
Daraufhin
werden in dem Schritt S40 in den linken und rechten Bildern, die
auf der Anzeigeeinheit 40 angezeigt werden, die Kontroll-(Orientierungs-)-Punkte,
die von dem Überwachungsinstrument 1 gemessen wurden,
gemessen (korreliert). Mit anderen Worten werden in diesem Beispiel
die Punkte C1 bis C6, welche von dem Überwachungsinstrument 1 gemessen
wurden, jeweils der Orientierung bezüglich der linken und rechten
Bilder L und R unterworfen.
-
In
dem Schritt S80 werden die in Schritt S40 gemessenen Messpunkte
miteinander verbunden, um ein Dreieck auszubilden. Die spezifische
Vorgehensweise gleicht derjenigen der oben genannten Offline-Messung (vergleiche 2 und
die zugehörige
Beschreibung).
-
Die
Ausführung
der Schritte S91 bis S94, S100, S110, S120 und S140 gleichen ebenfalls
denen der oben genannten Offline-Messung (vergleiche 5 und
die zugehörige
Beschreibung). In dem Schritt S120 wird der Prozess beendet, wenn
das angezeigte Ergebnis zufrieden stellend ist.
-
Im
Weiteren wird der Verlauf der zusätzlichen Messung beschrieben.
In dem Schritt S130 wird das Verfahren mit dem Schritt S150 fortgesetzt,
wenn das angezeigte Ergebnis nicht zufrieden stellend ist. In dem Schritt
S150 wird eine zusätzliche
Messung mittels des Überwachungsinstruments 1 für einen
Bereich ausgeführt,
der für
die Messung benötigt
wird, beispielsweise ein Bereich mit einem geringen Korrelationskoeffizienten.
Wenn daher Messungen manuell durchzuführen sind, wird das Verfahren
mit Schritt S80 fortgeführt.
-
C-2. Halbautomatische
Messung
-
Die
halbautomatische Messung wird ausgeführt, indem eine automatisch
verfolgende Zusammenführungseinrichtung
bzw. Totalstation verwendet wird. Die 26 ist
ein Flussdiagramm der halbautomatischen Messung.
-
In
dem Schritt S510 wird, wie es beispielsweise in 10(a) dargestellt
ist, der E1-Bereich,
der einen kleinen Korrelationskoeffizienten aufweist, mittels der
Zeigevorrichtung gekennzeichnet (im Fall eines Notebook-Computers
mittels eines Cursors oder im Fall eines Stift-gesteuerten Computers
mittels eines Stifts). In dem Schritt S520 wird Positionsinformation
hinsichtlich der x- und y-Koordinaten des angegebenen Punkts an das Überwachungsinstrument 1 ausgehend
von dem Personalcomputer übertragen
und eine Messung wird ausgeführt,
indem das Überwachungsinstrument 1 von
einem Motor angesteuert wird, um die Position zu messen. Von dem
Personalcomputer wird ein Messbefehl automatisch an das Überwachungsinstrument 1 gesendet.
Alternativ kann ein menschlicher Bediener die Position des Überwachungsinstruments
verifizieren und daraufhin einen Messbefehl ausgeben. Wenn ein zu
messender Ort ein nicht messbarer Punkt ist, wird ein anderer messbarer
Ort in dem Bereich gesucht und gemessen. Der Prozess des Messens,
der während
des Verfolgens mittels des Überwachungsinstruments
ausgeführt
wird, kann bei dem halbautomatischen Messprozess unter Verwendung
solcher Bilder im Vergleich zu dem manuellen Messprozess weggelassen
werden. Daher kann eine beachtlich hohe Arbeitseffizienz erreicht
werden. Mit anderen Worten ist es sehr schwierig und zeitintensiv,
eine zusätzlich
zu messende Stelle zu verfolgen, da ein von dem Überwachungsinstrument verfolgtes Bild
nur den lokalen Bereich eines Objekts widerspiegelt. Andererseits
ist der erfindungsgemäße Betrieb
einfach und kann von jedermann leicht ausgeübt werden, da nur auf das Bild
geklickt werden muss.
-
Danach
wird das Verfahren mit dem Schritt S80 der 25 fortgeführt. Die
Vorgehensweise des Schritts S80 und der folgenden Schritte gleicht
dem oben genannten (vergleiche 5 der Offline-Messung und
die zugehörige
Beschreibung, oder 25 der Online-Messung und die
zugehörige
Beschreibung).
-
C-3. Automatische Messung
-
Die
automatische Messung kann ausgeführt
werden, indem eine automatisch verfolgende Zusammenführungseinrichtung
bzw. Totalstation für
das Überwachungsinstrument
verwendet wird.
-
Im
Folgenden wird die automatische Messung beschrieben.
-
In
dem Schritt S150 kann die Messung automatisiert werden, indem die
zusätzliche
Messung in der folgenden Weise ausgeführt wird. Nach der Ausführung der
Bildkorrelationsverarbeitung in Schritt S100 wird unter den Korrelationskoeffizienten
ein Schwellwert eingestellt, und eine weitere Messung wird für einen
Bereich ausgeführt,
der einen Korrelationskoeffizienten umfasst, der kleiner als oder
gleich dem Schwellwert ist. Der Schwellwert kann von Anfang an festgelegt
sein, beispielsweise auf 0,5, oder kann abhängig von einem Objekt ausgewählt werden.
Der Messbereich ist ein Dreiecksbereich, der einen Korrelationskoeffizienten
umfasst, welcher gleich oder kleiner als der Schwellwert ist. Beispielsweise
ist in der 10(a) der Messbereich der
Bereich E1. Der zusätzlich
von dem Überwachungsinstrument
zu messende Punkt kann in dem Schwerpunkt eines Dreiecks in dem
Dreiecksbereich mit einem kleinen Korrelationskoeffizienten festgelegt
werden. Alternativ kann dies ein Punkt sein, der den kleinsten Korrelationskoeffizienten
in dem Bereich hat. Ansonsten kann dieser in der Mitte (Schwerpunkt)
des Bereichs festgelegt werden, der einen kleinen Korrelationskoeffizienten
aufweist. Das verwendete Verfahren zum Ermitteln der Schwerpunktsposition
des Dreiecks und des Schwerpunkts des Bereichs eines kleinen Korrelationskoeffizienten
gleicht dem Verfahren der oben genannten Offline-Messung, weshalb
von einer entsprechenden Beschreibung abgesehen wird.
-
Nachdem
nun über
den Punkt der zusätzlichen
Messung entschieden wurde, wird das Überwachungsinstrument bezüglich seinem
Koordinatenwert gesteuert und angesteuert, um die Messung auszuführen. Wenn
ein solcher Punkt der zusätzlichen
Messung nachweislich nicht messbar ist oder schwierig zu messen ist,
dann wird seine Umgebung durchsucht und die Messung wird ausgeführt. Weitere
Schritte werden von einem Computer ausgeführt, wodurch eine Folge von
Tätigkeiten
der Schritte S80 bis S150 automatisiert ist.
-
D. Korrektur mittels grafischer
Anzeige
-
Die 16 ist
ein Flussdiagramm der grafischen Anzeige.
-
Im
Folgenden ist ein Verfahren zur Verifikation und Korrektur basierend
auf dem Ergebnis der Korrelationsverarbeitung beschrieben, die während der
Ausführung
der grafischen Anzeige durchgeführt
wird. Mit anderen Worten kann die Verifikation und Korrektur umgesetzt
werden, indem der Schritt S110 der 5 (oder Schritt
S250 der 15) in der folgenden Weise ausgeführt wird.
-
Zunächst werden
in dem Schritt S102 die dreidimensionalen Koordinaten der erhaltenen
Punkte miteinander verbunden, um ein Dreieck auszubilden. Im Schritt
S106 wird ein grafisches Anzeigebild basierend auf allen dreidimensionalen
Koordinaten ausgebildet. Falls notwendig, wird ein Bild mit den
jeweiligen Punkten der dreidimensionalen Koordinaten und Linien,
die diese Punkte verbinden, Konturlinien und eine Vogelperspektive
mit einer Oberfläche
oder ein auf dem Dreieck aufgeprägtes
Bild ausgeformt. Eine Ansicht des auf dem Dreieck aufgeprägten Bildes
kann ein orthogonal projiziertes Bild sein. Wenn eine solche Verarbeitung
nicht notwendig (visuell ermittelbar) ist, dann kann diese weggelassen
werden (beispielsweise kann lediglich eine Verarbeitung verwendet
werden, die durch Verbinden von Dreiecken ausgebildet wird). Es
kann tatsächlich jede
Art von Verarbeitung verwendet werden, soweit gewährleistet
ist, dass die dreidimensionalen Koordinaten visuell dargestellt
werden können.
Ein solches Bild wird grafisch dargestellt, um korrekt auf dem Stereomonitor, dem
PC-Monitor oder ähnlichem
ermittelt zu werden. In dem Schritt S106 wird das ausgebildete Bild
auf der Anzeigeeinheit 40 dargestellt. Zur Anzeige kann
jedes Verfahren verwendet werden, welches die Ermittlung von Bildern
abhängig
von einer Situation vereinfacht, beispielsweise Dreiecke, die sich überschneiden, überschneidende
Korrelationskoeffizienten, oder ähnliches.
-
Für das Vogelperspektive-Darstellungsbild
oder für ähnliches,
das in den Schritten S102 bis S106 ausgebildet dargestellt wird,
kann ein zusätzliche
Messung für
einen Fehler oder für
ein unnatürlicher
Bereich ausgeführt
werden. Jede der 17(a) und 17(b) zeigt eine grafische Darstellung.
Beispielsweise kann ein Problem-Ort aufgrund der Anzeige ermittelt
werden, auch wenn nur die Anzeige dargestellt wird, die durch verbundene
Dreiecke ausgebildet wird, wenn sich das Bild von einer tatsächlichen
Situation unterscheidet. Wenn beispielsweise erhaltene dreidimensionale
Koordinaten fälschlicherweise
auf F1' der 17(b) verschoben werden, während der
ursprüngliche
Punkt F1 der 17(a) ist, kann ein derartiger
Fehler klar verifiziert werden. Ferner kann durch Anzeigen einer
Oberfläche
oder eines auf 17(b) aufgeprägten Bildes
ein Unterschied zu einer aktuellen Situation klarer betont werden.
Ferner kann durch überlappende
Anzeige mit Korrelationskoeffizientenwerten der zu korrigierende
Bereich deutlich klarer dargestellt werden, wenn der Bereich eines
kleinen Korrelationskoeffizienten mit einem Problembereich übereinstimmt.
In diesem Fall ist es lediglich notwendig, eine manuelle oder halbautomatische,
zusätzliche
Messung für
einen Bereich um F1 der 17(b) herum
auszuführen.
-
Im
Fall der manuellen Online-Messung wird das Verfahren mit dem Schritt
S80 fortgesetzt. Wenn auf der anderen Seite eine automatisch verfolgende
Zusammenführungseinrichtung
verwendet wird, wird die halbautomatische Messung ermöglicht,
und das Verfahren wird mit Schritt S110 fortgeführt. Bei der halbautomatischen
Messung wird, wie oben beispielsweise in den 17(a) und 17(b) dargestellt ist, das darauf folgende Verfahren
ausgeführt,
indem der Fehler oder der unnatürliche
Bereich F1 mit dem Cursor im Fall des Notebook-Computers oder mit
dem Stift im Fall des Stift-basierten Computers angezeigt wird.
-
E. Verfahren zum Einstellen
eines Suchbereichs
-
Als
nächstes
wird das Einstellen und. Scannen eines Suchbereichs, eines Referenzdatenblocks
und eines Suchdatenblocks mittels der Suchbereich-Einstellungseinheit 20 beschrieben.
Das Einstellverfahren eines Suchbereichs wird in der folgenden Weise
beispielhaft dargestellt, und der Reihe nach erklärt.
- 1. Suchbereich: Umschließungsquadrat
- 2. Stelle jeden Datenblock basierend auf der Größe des Suchbereichs
ein.
- 3. Stelle die Position jedes Datenblocks sowie den Bewegungsschritt
gemäß einer
Entfernung von dem Kontrollpunkt ein.
- 4. Stelle die Größe jedes
Datenblocks gemäß einer
Entfernung von dem Kontrollpunkt ein.
- 5. Stelle die Größe jedes
Datenblocks basierend auf einem Korrelationswert des Kontrollpunkts
ein.
-
1. Einstellen des Suchbereichs:
Umschließungsquadrat
-
Die 18 ist
eine Ansicht (1), die das Einstellen eines Suchbereichs darstellt.
Im Wesentlichen wurde hinsichtlich der Suchbereiche der linken und
rechten Bilder eine gegenseitige Orientierung in dem Schritt S30 durchgeführt. Daher
wurde die vertikale Parallaxe im Wesentlichen eliminiert. In der
Figur liegen die jeweiligen Punkte CL1 und CR1 der linken und rechten
Bilder auf der Epipolarlinie 1; CL2 und CR2 auf P2; sowie CL3 und
CR3 auf P3. Wie dargestellt ist, sind die Suchbereiche Quadratbereiche
einschließlich
der jeweiligen Dreiecke, wenn die von dem Überwachungsinstrument gemessenen
Punkte Dreiecke aus CL1, CL2 und CL3 in dem linken Bild und aus
CR1, CR2 und CR3 in dem rechten Bild ausformen. Im Weiteren wird
ein beispielhafter Fall dargestellt, in dem das linke Bild T in
dem Bereich als Referenzdatenblock (Schablone) eingestellt wird, und
eine Position, die diesem Bild entspricht, wird in dem rechten Bild
gesucht. Wenn in diesem Fall das rechte Bild mit dem Suchdatenblock
als Suchbereich S eingestellt wird, und die vertikale Parallaxe
eliminiert wurde, wird das Durchsuchen auf der Epipolarlinie P3
ausgeführt.
Wenn die Eliminierung der vertikalen Parallaxe nicht vollständig ist,
dann wird das Durchsuchen auch um die jeweilige Epipolarlinie herum
ausgeführt.
Eine solche Verarbeitung wird auf jeder Linie in dem Umschließungs-Quadratbereich ausgeführt, der
jeden Kontrollpunkt umfasst. Wenn die Einstellungen wie dargestellt
ausgeführt
sind, wird ein Bereich ausgebildet, der sich mit einem benachbarten
Dreieck überschneidet.
Jedoch kann auch ein Dreiecksbereich eines Punkts, der nicht der Kontrollpunkt
ist, ohne Fehler sicher durchsucht werden.
-
Im
Folgenden stellt die 19 einen Suchbereich dar. Der
Bereich innerhalb des Dreiecks des 18 kann
als Suchbereich eingestellt werden. Es ist jedoch unsicher, ob sich
ein entsprechender Punkt, der sich von dem Kontrollpunkt unterscheidet,
in dem Dreiecksbereich befindet, oder nicht. Dementsprechend ist
es effizient, einen Bereich einzustellen, wie es in 19 dargestellt
ist, der den Dreiecksbereich als Suchbereich umfasst.
-
Die 20 ist
eine Ansicht (2), die das Einstellen eines Suchbereichs darstellt.
-
Wie
in der 20 dargestellt ist, können Suchbereiche
S1 und S2 hinsichtlich jeder der sich überlappenden Schablonen in
dem Suchbereich auf der Linie P3 vorgesehen werden, wenn das Suchen
hinsichtlich der Positionen von Suchdatenblöcken ausgeführt wird, die jeweiligen korrespondierenden
Referenzdatenblöcken
(Schablonen) T1 und T2 entsprechen. In diesem Fall werden beispielsweise
Bereiche innerhalb einer spezifizierten Entfernung von den Mitten
der Referenzdatenblöcke
T1 und T2 als Suchbereiche S1 und S2 eingestellt. Daher kann offensichtlich
derjenige Bereich effizienter durchsucht werden, der näher an jedem
Kontrollpunkt liegt, und die Verlässlichkeit kann durch Überschneidungen
verbessert werden. Für
jede Schablone kann eine Vielzahl an Suchbereichen eingestellt werden.
Ferner können
Suchbereiche nahe CR1, CR2 und CR3, welche die korrespondierenden
Punkte der Kontrollpunkte in dem rechten Bild sind, klein eingestellt
werden, und graduell mit deren zunehmender Entfernung vergrößert werden
(ein niedrigster oder höchster
Wert kann wie erforderlich eingestellt werden). Ferner kann die
Größe des Suchbereichs
hinsichtlich des Datenblocks in dem Suchbereich genau ermittelt
werden, abhängig
von der Position, dem Verschiebungsschritt oder der Größe jedes
Datenblocks, wie im Weiteren beschrieben ist. Auf diese Weise kann
der Bereich, der das Dreieck umfasst, effizient durchsucht werden.
-
2. Einstellen jedes Datenblocks
basierend auf der Größe des Suchbereichs
-
Die 21(a) und 21(b) sind
Ansichten, die jeweils die Einstellung der Größe eines Suchbereichs darstellen.
-
Wie
in der
21(a) dargestellt ist, wird
die Größe eines
Datenblocks eingestellt, um zu jeden Dreiecksbereich zu passen,
da die Größe eines
Dreiecks als Suchbereich variiert, abhängig von den Messpunkten. Beispielsweise
wird jeder Datenblock auf der Basis eines Umschließungsquadrats
(vergleiche
18) als Suchbereich wie oben
beschrieben eingestellt. Hinsichtlich eines solchen umschließenden Quadrats
wird die Größe 1/k als
ein Datenblock eingestellt. Vorab kann ein Koeffizient k festgelegt
werden, oder kann gemäß der erforderlichen
Genauigkeit und der Größe eines
Bereichs in korrekter Weise festgelegt werden. Ein weiteres Beispiel
ist in der
21(b) dargestellt. In einem
weiteren Beispiel ergibt sich ein Radius r des einbeschriebenen
Kreises eines Dreiecks, und r oder 1/2, 1/3 oder ein ähnlicher
Bruchteil von r kann als Datenblockgröße eingestellt werden. Der
Radius r ergibt sich durch den folgenden Ausdruck:
Hier ist s = ½(o + p + q) (12) -
Die
Variablen o, p und q beschreiben die jeweiligen Längen der
drei Seiten des Dreiecks, wobei diese aufgrund von Messkoordinaten
der drei Punkte berechnet werden.
-
Das
Verfahren zum Erhalten der Datenblockgröße ist nicht auf diese Verfahren
beschränkt,
wobei jedes Verfahren verwendet werden kann, soweit es zur Berechnung
der Größe jedes
Dreiecks geeignet ist.
-
3. Einstellen
der Position und des Verschiebungsschritts jedes Datenblocks gemäß der Entfernung
von einem Kontrollpunkt
-
Die 22(a) und 22(b) sind
Ansichten (3), die jeweils das Einstellen eines Suchbereichs darstellen.
-
3.1 Position des Suchdatenblocks
hinsichtlich des Referenzdatenblocks
-
Wie
in der 22(a) dargestellt ist, wird,
wenn beispielsweise T1 auf dem linken Bild als Schablone (Referenzdatenblock)
eingestellt wird, und das gleiche Bild ausgehend von dem rechten
Bild durchsucht werden soll, die Position von T1 innerhalb eines
vorbestimmten Bereichs auf der Epipolarlinie P3 durch Einstellen eines
Punkts S1 als Mitte eines Suchbereichs durchsucht, wobei der Punkt
S1 als ein Abstand von a und b von CR1 und CR3 auf der Epipolarlinie
P3 verteilt ist, gemäß der Entfernungen
a und b von den Kontrollpunkten CL1 und CL3. Dementsprechend kann
die Verarbeitung effizient und innerhalb einer kurzen Zeit ausgeführt werden,
da das Durchsuchen in der Nähe
des S1-Bereichs
als der korrespondierende Punkt von T1 abgeschätzt wird.
-
3.2 Position und Verschiebungsschritt
in dem Suchbereich
-
Wie
beispielsweise in der 22(b) dargestellt
ist, wird das Durchsuchen effizienter ausgeführt, indem der Verschiebungsschritt
mit zunehmender Entfernung in Richtung beider Seiten von der Mitte
des Suchbereichs aus, der in Kapitel 3.1 eingestellt wurde, gröber vorgesehen
wird. Mit anderen Wort ist der Verschiebungsschritt in einem Abschnitt
nahe der Mitte des geschätzten
Bereichs fein, während
der Verschiebungsschritt in einem weiter entfernten Abschnitt gröber ist,
wodurch eine effiziente Durchsuchung ausgeführt werden kann. Hinsichtlich
des Vergröberungsverhältnisses
können
Koeffizienten einfach eingestellt werden, oder das Verhältnis kann
proportional zu einer Entfernung von der Schwerpunktposition des
Dreiecks (vergleiche Kapitel 3.2.1) oder zu einem Verhältnis des
nächstliegenden
von zwei Kontrollpunkten (vergleiche 3.2.2) eingestellt werden.
-
3.2.1 Dreiecksmittelpunkt
des Schwerpunktverfahrens
-
Im
Folgenden wird ein Verfahren zum Ermitteln der Position und des
Verschiebungsschritts für
jeden Datenblock basierend auf der Schwerpunktsposition eines Dreiecks
beschrieben. Die 23(a) und 23(b) sind Ansichten, die jeweils den Schwerpunkt
eines Dreiecks und eines Datenblocks darstellen.
-
Wie
in der
23(a) dargestellt ist, gleichen
sich die Entfernungen der jeweiligen Kontrollpunkte zu der Schwerpunktsmittenposition
G des Dreiecks. Jedoch kann eine Entfernung von einem Punkt T, der
sich von der Schwerpunktsmitte unterscheidet, zu einem bestimmten
Kontrollpunkt kleiner als die zwischen Schwerpunkt und Kontrollpunkt
sein. Daher wird die Position des Schwerpunkts als Maximalgröße des Datenblocks
eingestellt, und ein Schritt wird mit zunehmender Nähe zu jedem
Kontrollpunkt verringert. Mit C1 (x1, y1), C2 (x2, y2), C3 (x3,
y3) und T (x, y) ergeben sich die Entfernungen der jeweiligen Punkte
zu T wie folgt:
-
Die
Entfernungen der jeweiligen Punkte von der Position G des Schwerpunkts
sind wie folgt:
-
Es
ergibt sich ein Minimum der Entfernungen L1 bis L3, die mittels
der oben genannten Ausdrücke
(13) bis (15) berechnet werden, sowie ein Verhältnis zwischen diesen Entfernungen
und einer Entfernung zu dem Schwerpunkt, woraufhin ein Verschiebungsschritt
festgelegt wird. Wenn beispielsweise die maximale und minimale Schrittgröße der Schwerpunktsmittenposition
G als SGT bzw. SMIN eingestellt werden, dann ergibt sich eine Schrittgröße an dem
Punkt der kürzesten
Entfernung L (L2 in 23(a)) aus der
Schablonenposition wie folgt: Schrittgröße = L/Lg·(SGT – SMIN)
+ SMIN (17).
-
3.2.2 Entfernungsverfahren
ausgehend von dem Verhältnis
zweier naheliegender Kontrollpunkte
-
Gemäß den Abständen (zweier
beieinander liegender Punkte) zwischen den jeweiligen Kontrollpunkten
und T wird eine proportionale Verteilung ausgeführt, und eine Schrittgröße wird
gemäß einer
zu durchsuchenden Entfernung variiert. Beispielsweise wird eine
Schrittgröße basierend
auf dem Verhältnis
zwischen zwei kurzen Entfernungen unter den Entfernungen der Ausdrücke (13)
bis (15) festgelegt. Wie in 23(a) dargestellt
ist, wird mit L2 < L3 < L1 der Punkt von
L2 = L3 als SMAX, das heißt
ein maximaler Schritt, eingestellt, und das Folgende wird eingestellt: Schritt = L2/L3·SMAX (18)
-
Das
Verfahren zum Entscheiden über
die Position und des Verschiebungsschritts in dem Suchbereich ist
nicht auf das oben Genannte beschränkt.
-
4. Einstellen
der Größe jedes
Datenblocks und Suchbereichs gemäß der Entfernung
von einem Kontrollpunkt
-
4.1
Es ergeben sich Entfernungen von jeweiligen Kontrollpunkten zu einer
Bildposition, die als Datenblock eingestellt werden soll, und eine
Datenblockgröße wird
abhängig
von dem Verhältnis
dieser Abstände variiert.
Wie in der 23(b) dargestellt ist,
sind die Abstände
der jeweiligen Kontrollpunkte zu der Schwerpunktsmittelposition
G des Dreiecks gleich. Jedoch kann eine Entfernung von dem Punkt
T, die sich von der Entfernung zwischen Schwerpunkt und einem bestimmten
Kontrollpunkt unterscheidet, kürzer
als die sein, die sich zwischen Schwerpunktsmitte und dem Kontrollpunkt
ergibt. Daher wird der Datenblock der Schwerpunktsmittenposition
als eine maximale Größe eingestellt,
und ein Bereich wird bei der Annäherung
zu dem Kontrollpunkt verringert. Mit C1 (x1, y1), C2 (x2, y2), C3
(x3, y3) und T (x, y) werden die Entfernungen der jeweiligen Punkte
von T durch die oben genannten Ausdrücke (13) bis (15) berechnet.
Ferner werden mit dem oben genannten Ausdruck (16) Entfernungen
der jeweiligen Punkte von der jeweiligen Position G des Schwerpunkts berechnet.
Daraufhin wird aus den Entfernungen L1 bis L3 eine minimale herausgesucht,
das Verhältnis
zwischen dieser Entfernung und eine Entfernung zu dem Schwerpunkt
wird ermittelt, woraufhin eine Datenblockgröße festgelegt wird.
-
Wenn
beispielsweise die Datenblockgröße an der
Schwerpunkts-Mittenposition G durch GT gegeben ist und die Datenblockgröße an dem
Punkt einer minimalen Entfernung L (L2 in 23(b))
von der Datenblockposition CT (Datenblock von C2 in 23(b))
ist, dann ergibt sich die folgende Gleichung: Datenblockgröße = L/Lg·(GT – CT) +
CT (19)
-
Hinsichtlich
der vertikalen und horizontalen Breiten des Datenblocks ist die
Breite in der vertikalen Richtung invariabel und festgelegt, wenn
die vertikale Parallaxe bereits im Wesentlichen durch die Orientierungsverarbeitung
eliminiert wurde, während
nur die Breite in der horizontalen Richtung variiert werden kann. Dementsprechend
wird in der Nähe
des Kontrollpunkts ein Datenblock klein eingestellt, unter der Annahme, dass
ein entsprechender Punkt nahe gelegen vorliegt und das Vorliegen
eines jeweiligen Punkts unwahrscheinlicher wird, je mehr sich die
Position von dem Kontrollpunkt entfernt, wodurch ein Datenblock
bei einer derartigen Position vergrößert werden kann, um einen
korrespondierender Punkt effizient und sicher zu erhalten.
-
Das
Verfahren zum Ermitteln der Größe des Datenblocks
ist nicht auf das oben genannte Verfahren beschränkt. Jedoch gewährleistet
das oben genannte Verfahren ein effizientes und schnelle Ausführung der Suche.
-
5. Einstellen
der Datenblockgröße basierend
auf Korrelationswert eines Kontrollpunkts
-
Die 24(a) und 24(b) sind
Ansichten, die jeweils die Größe jedes
Datenblocks darstellen.
-
Die
Eckpunkte jedes Dreiecks (Kontrollpunkte) sind Punkte, die gemessen
wurden, wobei bereits Korrespondenzen aufgebaut wurden. Dementsprechend
ergeben sich Korrelationskoeffizienten für verschiedene Schablonen-(Referenzdatenblock)-Größen an den
jeweiligen Punkten (wie in 24(a) dargestellt
ist), und eine Schablone mit einem höchsten Korrelationskoeffizienten
wird als Schablonenbild eingestellt. Basierend auf dem Bild der
sich ergebenden Schablonengröße wird
das Durchsuchen innerhalb eines Bereichs nahe jedem Kontrollpunkt
ausgeführt.
Die Schablonengröße, die
sich an jedem Kontrollpunkt ergibt, variiert gemäß ihrer zu durchsuchenden Position.
-
Als
Beispiel wird eine proportionale Verteilung gemäß den an den jeweiligen Kontrollpunkten
erhaltenen Größen und
den Entfernungen (zwei nahe gelegenen Punkte) von den jeweiligen
Kontrollpunkten vorgesehen, und jede Größe wird entsprechend eines
zu durchsuchenden Abstands variiert (vergleiche 24(b)). Wenn
C1 (x1, y1), C2 (x2, y2), C3 (x3, y3) und eine Schablone T (x, y)
eingestellt sind, ergeben sich die Schablonengrößen durch die oben genannten
Ausdrücke
(13) bis (15). Dementsprechend wird jede Schablonengröße basierend
auf dem Verhältnis
zweier kleinerer Entfernungen festgelegt, die sich ergaben. Beispielsweise werden,
wie in 24(b) dargestellt, die Schablonengrößen von
CL2 und CL3 durch das Verhältnis
von L2 : L3 dividiert und als T-Größen eingestellt,
wobei gilt: L2 < L3 < L 1.
-
Hinsichtlich
der vertikalen und horizontalen Breiten des Datenblocks kann die
Breite in der vertikalen Richtung invariabel und festgelegt sein,
während
nur die Breite in der horizontalen Richtung variiert werden kann,
wenn die vertikale Parallaxe im Wesentlichen durch die Orientierungsverarbeitung
eliminiert wurde.
-
Gemäß der Erfindung
beseitigt die Ausführung
der Bildkorrelationsverarbeitung basierend auf einem Dreieck, das
aus Kontrollpunkten besteht, die Notwendigkeit der Aufbereitung
einer Anzahl von Bildern, die sich hinsichtlich ihrer Auflösung unterscheiden.
Daher ist es möglich,
eine hochgradig verlässliche
Bildkorrelationsverarbeitung mit hoher Geschwindigkeit auszuführen. Da
ferner die Messung ebenfalls ausgeführt werden kann, indem das Überwachungsinstrument
verwendet wird, kann die Messung verlässlicher und sicherer vorgesehen
werden. Daher kann eine schnelle und einfache Messung auch an einem
Ort ausgeführt
werden, an dem dies üblicherweise
nicht möglich
ist, da sie eine lange Zeit beanspruchen.
