DE10065120C2

DE10065120C2 - Verfahren zur Bestimmung der Abweichung des Pixelortes der Pixel mindestens einer Bildaufnahmematrix von der Sollposition

Info

Publication number: DE10065120C2
Application number: DE10065120A
Authority: DE
Inventors: Tilo Lilienblum
Original assignee: INB Vision AG
Current assignee: INB Vision AG
Priority date: 2000-12-28
Filing date: 2000-12-28
Publication date: 2003-03-20
Anticipated expiration: 2020-12-29
Also published as: US7072505B2; EP1219921A3; EP1219921A2; ATE486264T1; US20020146165A1; DE10065120A1; DE50115674D1; EP1219921B1

Description

Die Erfindung betrifft ein Verfahren zur Bestimmung der Abweichung der Position der Pixel mindestens einer Bildaufnahmematrix von der Sollposition. Das Verfahren ist vorzugsweise verwendbar zur Bestimmung solcher Abweichungen der Position von Pixeln, die bei einer Kalibrierung eines 3D-Messsystems nicht berücksichtigt werden. Aus der Abweichung der Position der Pixel von der Sollposition ist bei bekannter Sollposition die absolute Position der Pixel bestimmbar.

Unter "Bildaufnahmematrix" soll eine Anordnung verstanden werden, die eine flächenhaft verteilte Lichtintensität aufnehmen und als Matrix ausgeben kann. Beispiele sind der CCD- Sensor und der ebenfalls in Kameras eingesetzte CMOS-Sensor. Die einzelnen Elemente der Matrix werden als Pixel bezeichnet.

Für die "Position eines Pixels" wird abkürzend die Bezeichnung "Pixelort" verwendet, wobei die "Position eines Pixels" durch die Position des Mittelpunkts des Pixels repräsentiert wird. Bei einer idealen Bildaufnahmematrix sind die Pixelorte in einem idealen Raster mit konstanter Rasterweite angeordnet. Die Pixelorte einer solchen idealen Bildaufnahmematrix sind ideale Pixelorte; ihre Position wird als "Sollposition" bezeichnet.

Zur Berücksichtigung von Abweichungen des realen Pixelrasters vom idealen Pixelraster ist es bekannt, ein Referenzmaß zu vermessen. Beispielsweise kann der Abstand zweier Punkte dadurch vermessen werden, dass die Mittelpunkte beider Punkte bestimmt werden. Zur Bestimmung jedes Mittelpunktes fließen mehrere Pixel mit ein. So mittelt sich ein eventueller Fehler heraus. Den durchschnittlichen Abstand der Pixel kann man so mit großer Genauigkeit bestimmen, da der Gesamtfehler bei der Bestimmung der Mittelpunkte gleich bleibt und der relative Fehler bei entsprechender Pixelanzahl kleiner wird.

Solche Fehler werden normalerweise bei einer Kalibrierung eines 3D-Messsystems [Luhmann, T.: Nahbereichsphotogrammetrie. Wichmann Verlag, Heidelberg] mit berücksichtigt. Abweichungen einzelner Pixelorte vom idealen Pixelraster werden so aber nicht erfasst.

Das von einem bestimmten Pixel erzeugte Signal lässt sich folgendermaßen bestimmen:

Dabei bezeichnet u das ausgegebene Signal für dieses Pixel. MTF ist die Modulationstransferfunktion in Abhängigkeit von der Lage (x, y) und Φ ist der Lichtstrom/Fläche an der Stelle x, y. Die Integrationsfläche A ist normalerweise größer als die Fläche des Pixels, da von benachbarten Pixeln Elektronen über die Pixelgrenzen diffundieren können.

Bei der mathematischen Weiterverarbeitung der Signale der Pixel wird normalerweise angenommen, dass die Intensitätsverteilung einem Dirac-Impuls im Mittelpunkt des Pixels entspricht.

Eine Abweichung der Position der Pixel einer Bildaufnahmematrix von der Sollposition, d. h. ein Fehler im Pixelort, kann durch mehrere Ursachen bedingt sein, von denen nachfolgend zwei genannt sind.

1. Durch eine Abweichung der Geometrie der lichtempfindlichen Fläche von der Sollposition verschiebt sich auch der Mittelpunkt des Pixels
2. Durch Ungleichmäßigkeiten in der Lichtempfindlichkeit kann es dazu kommen, dass die MTF unsymmetrisch und/oder nicht orts-invariant ist. Der Schwerpunkt der Lichtempfindlichkeit würde dadurch ebenfalls verschoben werden. Diese Schwerpunktabweichung hat einen ähnlichen Effekt wie eine Abweichung der Geometrie. Die Ungleichmäßigkeit der Lichtempfindlichkeit kann z. B. durch eine Abweichung der Quanteneffizienz hervorgerufen werden.

Die Fertigung von Bildaufnahmematrizen (z. B. CCD-Sensor) ist offensichtlich so genau, dass ein Fehler im Pixelort bei den meisten derzeitigen Anwendungen keine wesentliche Rolle spielt. Auf Lageungenauigkeiten der Pixel wird in der Literatur nur selten eingegangen.

So findet man in [Theuwissen, A. J. P.: Solid State Imaging with Charge-Coupled Devices. Kluwer Academic Publishers] den Hinweis, dass Ungleichmäßigkeiten in der Geometrie, Dicke der Layer, Dotierungsgrad oder Dotierungsprofil existieren und zu Ungleichmäßigkeiten der Pixel führen.

Diese Ungleichmäßigkeiten werden normalerweise mit den Größen PSFU (photo response Non Uniformity, Photoempfindlichkeitsungleichförmigkeit) und DSNU (Dark Signal Non Uniformity, Dunkelsignalungleichförmigkeit) erfasst (Siehe z. B. [Ratledge, D.: The art and science of CCD astronomy. Springer Verlag 1997]). Die Korrektur von PSFU und DSNU kann als Stand der Technik bezeichnet werden. In einigen Kameras ist solch eine Korrektur auch standardmäßig integriert.

Es sind auch Verfahren bekannt, bei denen eine Information über die reale Position der Pixel einer Bildaufnahmematrix wichtig ist. Dies betrifft z. B. Verfahren zur optischen 3D- Vermessung mit Kameras. Hier können auch kleine Abweichungen des Pixelortes zu relevanten Fehlern in den berechneten 3D-Daten führen. Ein spezielles Verfahren, bei dem durch Fehler in den Pixelorten Fehler in den berechneten 3D-Daten hervorgerufen werden, ist das Verfahren nach DE 196 23 172 C1.

Eine Möglichkeit, die realen Pixelorte zu bestimmen, ist das Scannen der Bildaufnahmematrix mit einem Laser. Für jeden Punkt der vom Laser angefahren wird, kann bestimmt werden, wie an dieser Stelle die Lichtempfindlichkeit ist und zu welchem Pixel dieser Punkt gehört. Auf diese Weise kann für jedes Pixel die MTF bestimmt werden.

Für viele Anwender der optischen 3D-Vermessung mit Kameras ist jedoch der Aufwand für eine Anlage zum Scannen der Bildaufnahmematrix mit einem Laser indiskutabel groß.

Der Erfindung liegt daher die Aufgabe zugrunde, ein mit vertretbarem Aufwand einsetzbares Verfahren anzugeben, mit dem die realen Pixelorte einer Bildaufnahmematrix bzw. die Abweichungen zwischen den realen Pixelorte und den idealen Pixelorten bestimmt werden kann, ohne dass der Einsatz eines Laserscanners erforderlich ist.

Diese Aufgabe wird durch ein Verfahren mit den Merkmalen nach Anspruch 1 gelöst.

So wurde ein Verfahren zur Bestimmung der Abweichungen des Pixelortes der Pixel mindestens einer Bildaufnahmematrix von ihrer Sollposition entwickelt, wobei die Bildaufnahmematrix mindestens während des Verfahrensablaufs Bestandteil eines optischen 3D-Messsystems ist, bei dem

a) durch das optische 3D-Messsystem ein geeignetes Objekt vermessen wird und dabei zu jedem 3D-Messpunkt am Objekt 3D-Daten gemessen werden,
b) die gemessenen 3D-Daten geglättet werden, so dass zu jedem 3D-Messpunkt geglättete 3D-Daten vorliegen,
c) für die 3D-Messpunkte die Bildpunktpositionen auf der Bildaufnahmematrix berechnet werden, indem man den Messpunkten einmal ihre gemessenen 3D-Daten und einmal ihre geglätteten 3D-Daten zuschreibt,
d) die jeweilige Differenz der zu den gemessenen 3D-Daten und der zu den geglätteten 3D-Daten gehörigen Bildpunktpositionen eines 3D-Messpunktes ermittelt wird,
e) die Genauigkeit in der Bestimmung der Abweichungen des Pixelortes der Pixel von ihrer Sollposition nach Wunsch gesteigert wird, indem die Schritte a) bis d) unter Beibehaltung oder Verschiebung der Objektlage zum optischen 3D-Messsystem wiederholt werden,
f) aus den Differenzwerten nach Schritt d) für jedes Pixel oder für ausgewählte Pixel die Abweichung des Pixelortes von seiner Sollposition bestimmt wird.

Vorteilhafte Weiterbildungen sowie Hinweise zur zweckmäßigen Ausführung der Erfindung ergeben sich aus den Unteransprüchen und dem Ausführungsbeispiel.

In den Ansprüchen und dem folgenden Text werden Messpunkte auf der Oberfläche des im erfindungsgemäßen Verfahren eingesetzten Objektes als "3D-Messpunkte" und deren Koordinaten als "3D-Daten" bezeichnet.

Durch die Kenntnis des Fehlers des Pixelortes kann

- der reale Pixelort bestimmt werden. Dadurch können bei Verfahren, die z. B. zur vollen Ausschöpfung ihrer Genauigkeit auf den realen Pixelort angewiesen sind, die korrekten Werte verwendet werden.
- bei Verfahren, die von einem idealen Pixelort ausgehen, eine solche Erweiterung erfolgen, dass Fehler der Pixelorte mit berücksichtigt werden, wodurch z. B. der Einsatzbereich und/oder die Genauigkeit derartiger Verfahren vergrößert werden kann.

An das Objekt, das im erfindungsgemäßen Verfahren verwendet wird, ist grundsätzlich die Anforderung zu stellen, dass es zur Vermessung mittels eines optischen 3D-Messsystems geeignet ist. Weiterhin ist es erforderlich, dass ein ebenes Objekt oder ein Objekt mit einer solchen Krümmung verwendet wird, dass durch die Glättung der ermittelten 3D-Daten des Objekts nur die lokalen Fehler der 3D-Daten ausgemittelt und nicht die Konturen des Objektes verändert werden. Unter dem lokalen Fehler sollen Fehler wie z. B. die statistische Messunsicherheit verstanden werden. Dieser Fehler grenzt sich insbesondere vom globalen Fehler, also dem Absolutfehler der gemessenen 3D-Koordinaten zum Weltkoordinatensystem ab. Der Fachmann kann aufgrund dieser Angaben geeignete konkrete Objekte festlegen. Insbesondere ist dem Fachmann bekannt, dass die Oberfläche des verwendeten Objektes keine für das Ergebnis relevante Rauhigkeit besitzen darf.

In einer bevorzugten Ausführungsform der Erfindung erfolgt die Verschiebung zwischen Objekt und 3D-Messsystem vorteilhaft in Richtung der Flächennormale des Objekts, die üblicherweise in Richtung der z-Achse des Messsystems weist. Die Ausrichtung der Flächennormale des Objekts in Richtung der z-Achse des 3D-Messsystems ist jedoch keine notwendige Bedingung für die Anwendung des erfindungsgemäßen Verfahrens.

Im folgenden ist die Erfindung anhand eines Ausführungsbeispiels unter Bezugnahme auf die beigefügten Zeichnungen mit weiteren Einzelheiten näher erläutert. Als optisches 3D- Messverfahren, das im Rahmen des Ausführungsbeispiels stellvertretend für verschiedene bekannte 3D-Messverfahren verwendet wird, wurde das auf die Anmelderin zurückgehende Verfahren nach DE 196 23 172 C1 ausgewählt.

In den Zeichnungen zeigen.

Fig. 1 Auswirkungen eines Fehlers des Pixelortes auf die berechneten 3D-Daten,

Fig. 2 Auswirkungen eines Fehlers des Pixelortes in zwei Kameras auf die berechneten 3D-Daten,

Fig. 3 Verschiebung des ebenen Objektes in Richtung seiner Flächennormale (z-Achse),

Fig. 4 schematischer Ablaufplan des Verfahrens.

Wenn 3D-Daten von Messpunkten auf einer Objektoberfläche mittels des 3D-Messverfahrens nach DE 196 23 172 C1 bestimmt werden, sind diese fehlerbehaftet. Eine Fehlerquelle sind die Fehler der Pixelorte.

Fig. 1 illustriert den Einfluss des Fehlers eines Pixelortes einer Bildaufnahmematrix auf das Messergebnis. Die Ansicht erfolgt aus Richtung der y-Achse auf die xz-Ebene. Das bedeutet, dass nur ein Fehler des Pixelortes in x- bzw. z-Richtung des Weltkoordinatensystems in dieser Abbildung illustriert wird. Analoge Zusammenhänge ergeben sich auch für eine Sicht aus der x- Richtung auf die yz-Ebene.

Bestimmung des Fehlers der 3D-Daten des 3D-Messpunktes

Die Berechnung des Fehlers der 3D-Daten eines vorgebenen Messpunktes erfolgt durch Differenzbildung zwischen den gemessenen, fehlerhaften 3D-Daten und den korrekten 3D-Daten des Messpunktes.

Die korrekten 3D-Daten können auf die im folgenden beschriebene Art bestimmt werden, wenn eine ebene bzw. eine leicht gekrümmte Fläche mit folgenden Eigenschaften vermessen wird:

- Die Fläche sollte keine für das Ergebnis relevante Rauhigkeit besitzen. Eine zu große Rauhigkeit bewirkt ein fehlerhaftes Ergebnis bei der Berechnung des genauen Pixelortes.
- Die Fläche muss keine ideale Ebene sein. Die Krümmung darf aber nicht zu groß sein.

Die aus der Messung resultierenden 3D-Daten werden nun geglättet. Unter Glättung soll verstanden werden:

- Eine Filterung mit einem linearen oder nichtlinearen lokalen Glättungs-Operator. Dazu sollten sich die x- und y-Koordinaten der einzelnen Messpunkte in einem äquidistanten Raster befinden. Die z-Koordinaten können so in einer Matrix angeordnet werden und diese Matrix kann als Bild aufgefasst werden. Die Glättung eines solchen Bildes ist Stand der Technik.
- Eine Approximation der 3D-Daten. Die Approximationsfunktion (z. B. eine Splines- Fläche) muss so beschaffen sein, dass ein ausreichender Glättungseffekt erfolgt.

Da das Messobjekt nicht stark gekrümmt ist (In diesem Fall würde die Glättung die Krümmung verändern.), erhält man durch diese Vorgehensweise korrekte 3D-Daten eines Messpunktes. Durch Differenzbildung kann man nun, wie oben erwähnt, den Fehler ermitteln.

Statt von Fig. 1 kann auch von den in Fig. 2 dargestellten geometrischen Relationen ausgegangen werden, um die korrekten 3D-Daten eines Messpunktes zu berechnen.

Berechnung des Fehlers des Pixelortes aus dem Messfehler

Der Fehler des Pixelortes kann entsprechend Fig. 1 aus dem Fehler der 3D-Daten cles 3D- Messpunktes zurückgerechnet werden.

Die Projektion eines Punktes vom Weltkoordinatensystem in das Bild erfolgt folgendermaßen:

dabei gilt:

= Messpunkt (in mm)
_t = Lage des Kamerakoordinatensystems (in mm)
R = Rotationsmatrix (Lage des Kamerakoordinatensystems
x_sensor = x-Position auf dem Sensor (in Pixel)
y_sensor = y-Position auf dem Sensor (in Pixel)
C_x, C_y = Brennweite in x- bzw. y-Richtung (in Pixel)

Die x- und die y-Position auf dem Sensor kann nun für die korrekten 3D-Daten und die fehlerhaften 3D-Daten des jeweiligen Messpunktes berechnet werden. Die Differenz zwischen den auf diese Weise ermittelten Sensorpositionen entspricht dem Fehler des Pixelortes an der betreffenden Stelle des Sensors.

Problem der Uneindeutigkeit

Es gibt unterschiedliche Möglichkeiten, aus dem Fehler der 3D-Daten eines Messpunktes den Fehler des Pixelortes zu berechnen. In Fig. 1 wird davon ausgegangen, dass der Fehler nur in einem Sensor auftritt. In Fig. 2 wird angenommen, dass sich die Fehler der beiden Sensoren ergänzen. Für beide Möglichkeiten gilt, dass die Eindeutigkeit der Berechnung nicht gegeben ist, da nicht bekannt ist, welche Kamera welchen Messfehler hervorruft.

Lösung des Problems der Uneindeutigkeit der berechneten Fehler

Diese Messung wird mehrmals durchgeführt. Nach möglichst jeder Messung wird das Messobjekt in Richtung seiner Flächennormale verschoben, die hier mit der z-Richtung zusammenfällt.

Fig. 3 illustriert diese Verfahrensweise. Dadurch werden bei der Rückprojektion des Messpunktes immer andere Pixel der Bildaufnahmematrix miteinander kombiniert.

Ein Fehler des Pixelortes kann nun für jede Einzelmessung auf unterschiedliche Art bestimmt werden, z. B. kann angenommen werden, dass

- nur eine Bildaufnahmematrix den Fehler verursacht. Der Fehler des Pixelortes muss dann zunächst für alle Bildaufnahmematrizen separat berechnet werden.
- beide (bzw. alle) Bildaufnahmematrizen den Fehler verursachen.

Danach wird aus den Ergebnissen aller Messungen ein gemitteltes Ergebnis berechnet. Der berechnete Fehler eines bestimmten Pixelortes einer bestimmten Bildaufnahmematrix resultiert dann aus folgenden Fehlerquellen:

- wirklicher Fehler des betreffenden Pixelortes. Dieser Fehler tritt in allen Messungen gleichermaßen auf und wird durch die Mittelung nicht verringert.
- Fehler des korrespondierenden Pixels auf der anderen Bildaufnahmematrix. Da das korrespondierende Pixel bei jeder Einzelmessung wechselt, würde sich dieser Fehler durch die Mittelung verringern.
- Sonstige Fehlerquellen, z. B. Rauschen. Diese Fehlerquellen würden ebenfalls durch die Mittelung verringert werden.

Bei einer Mittelung ausreichend vieler Messungen kann somit für jede Bildaufnahmematrix und für jedes Pixel der Fehler des Pixelortes berechnet werden. Fig. 4 illustriert die Vorgehensweise bei einer Berechnung des Fehlers nach Fig. 2.

Der Fehler eines bestimmten Pixels einer Kamera tritt immer an der gleichen Stelle auf. Der Einfluss des Fehlers der jeweils anderen Pixel tritt immer an einer anderen Stelle auf (wird immer mit einem anderen Pixel kombiniert) und verschwindet durch die Mittelung. Die Mittelwertbildung für jedes Pixel kann z. B. erfolgen, indem der Mittelwert aller berechneten Fehler, die einem bestimmten Pixel zugeordnet werden können gebildet wird. Es ist sinnvoll, wenn die Bestimmung der Messpunkte mit einer höheren Dichte als der Dichte der zugehörigen Pixel erfolgt. Als Ausgangsbasis für die Mittelwertbildung liegt dann eine relativ dichte Punktewolke vor. Dadurch wird das Ergebnis nach der Mittelwertbildung exakter. Es besteht auch die Möglichkeit, die Punktewolke mit einer Funktion zu approximieren (z. B. durch eine Splineapproximation).

Endergebnis ist eine Matrix, die für jedes Pixel zwei Werte enthält: einen Fehler des Pixelortes in x-Richtung und in y-Richtung.

Claims

1. Verfahren zur Bestimmung der Abweichungen des Pixelortes der Pixel mindestens einer Bildaufnahmematrix von ihrer Sollposition, wobei die Bildaufnahmematrix mindestens während des Verfahrensablaufs Bestandteil eines optischen 3D-Messsystems ist, bei dem

2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass bei einem eben oder gekrümmt ausgebildeten Objekt bei der Glättung nur die lokalen Fehler der gemessenen 3D-Daten geglättet werden, wobei die Konturen des Objektes jedoch unverändert bleiben.

3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Abweichung des Pixelortes der Pixel von der Sollposition ermittelt wird, indem jeweils für das betreffende Pixel der Fehler des Pixelortes durch Mittelwertbildung aller ermittelten und für das betreffende Pixel relevanten Werte bestimmt wird.

4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass die Abweichung des Pixelortes der Pixel von der Sollposition ermittelt wird, indem jeweils für das betreffende Pixel der Fehler des Pixelortes mittels Approximation aller ermittelten Werte durch eine Funktion bestimmt wird.

5. Verfahren nach einem der Ansprüche 1 bis 4, dadurch gekennzeichnet, dass die Bildaufnahmematrix ein CCD-Sensor oder ein CMOS-Sensor ist.

6. Verfahren nach einem der Ansprüche 1 bis 5, dadurch gekennzeichnet, dass die Sollpositionen der Pixel durch eine Kalibrierung des Messsystems bestimmt werden.