EP1537521A2 - Verfahren zur minimierung des einflusses von störsignalen bei der formelementeberechnung aus koordinatenpunkten - Google Patents

Verfahren zur minimierung des einflusses von störsignalen bei der formelementeberechnung aus koordinatenpunkten

Info

Publication number
EP1537521A2
EP1537521A2 EP03747991A EP03747991A EP1537521A2 EP 1537521 A2 EP1537521 A2 EP 1537521A2 EP 03747991 A EP03747991 A EP 03747991A EP 03747991 A EP03747991 A EP 03747991A EP 1537521 A2 EP1537521 A2 EP 1537521A2
Authority
EP
European Patent Office
Prior art keywords
coordinate points
shape
shape element
determined
recognition
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
EP03747991A
Other languages
English (en)
French (fr)
Other versions
EP1537521B1 (de
Inventor
Christian Usbeck
Peter Brueckner
Olaf Kuehn
Gerhard Linss
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Trimble Jena GmbH
Original Assignee
Trimble Jena GmbH
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Trimble Jena GmbH filed Critical Trimble Jena GmbH
Publication of EP1537521A2 publication Critical patent/EP1537521A2/de
Application granted granted Critical
Publication of EP1537521B1 publication Critical patent/EP1537521B1/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B21/00—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant
    • G01B21/02—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness
    • G01B21/04—Measuring arrangements or details thereof, where the measuring technique is not covered by the other groups of this subclass, unspecified or not relevant for measuring length, width, or thickness by measuring coordinates of points
    • G01B21/045—Correction of measurements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/48—Extraction of image or video features by mapping characteristic values of the pattern into a parameter space, e.g. Hough transformation

Definitions

  • the invention relates to a method for filtering coordinate points in the calculation of shape elements with the aim of excluding coordinates from the shape element calculation which cannot be assigned locally to the expected ideal geometric shape.
  • a known problem of coordinate measuring technology is the calculation of the shape of the measurement object from a set of coordinate points on the measurement object surface, which are obtained by probing.
  • the description of the shape is made using ideal geometric replacement elements (short: shaped element), such as straight lines, circles, ellipses, spheres, cylinders.
  • the coordinate points are sometimes disordered and, due to interference, deviate from the real geometry of the test object. In particular when optically obtaining the coordinate points with the aid of image sensors, considerable deviations from the real shape can occur. The reasons for this are, for example, unstable lighting conditions, contamination from dust deposits on the edges of the object, or textured surfaces and picture backgrounds. If the coordinate points are passed unfiltered to a compensation calculation for the determination of a form element, this can lead to considerable measurement deviations.
  • the compensation calculation is a procedure for fitting a geometric primitive (form element) into an unordered set of input coordinate points Pi (Xi, Vi) with the aim that the sum of the deviations of the points Pi (x _., Yi) relative to the form element is minimal.
  • the amount of the distances, the square of the distances and the amount of the distance from the maximum positive deviation to the maximum negative deviation in relation to the shaped element are known.
  • DE 695 23 965 T2 describes a recognition device and a corresponding method for a two-dimensional code.
  • a compensation calculation is carried out with all the pixels determined.
  • a Hough transformation is carried out for the detection of straight lines, the number of points to be taken into account before the transformation is carried out in order to reduce the computational effort.
  • the recognition of shape elements is understood to determine whether a shape element is being searched for in the specified flat or spatial examination area (identification).
  • the identification is based on the best possible Correspondence between form element and arrangement of input coordinate points Pi (i, yi) (measuring point cloud) checked.
  • the found shape element is also characterized in more detail on the basis of characteristic parameters (position, size, orientation). The location, size and orientation can only be roughly determined in the case of recognition methods due to the high computational complexity.
  • the Hough transformation is a tool for recognizing geometric primitives such as straight lines, circles in an unordered set of input coordinate points Pi (xi, yi). In contrast to the fitting of geometric primitives with the methods of the compensation calculation, the Hough transformation does not use deviation measures but a frequency measure.
  • the criterion for recognizing the geometric primitive is: The maximum number of input coordinates lies on the geometric primitive. The Hough transformation is therefore very robust against disturbances with a low probability of occurrence, such as outliers, contour breaks or overlaps of the structure to be searched.
  • the Hough transformation mentioned above represents such a recognition process and was developed to find straight-line structures in a Cartesian coordinate space.
  • a basic explanation can be found, for example, in US 3,069,654.
  • the possibilities of using the Hough transformation are also described in Haberburger, P.: "Practice of digital image processing and pattern recognition", Kunststoff: Hanser, 1995.
  • the invention is therefore based on the object of specifying a method of the type mentioned at the outset in which the position and orientation of the desired form element type can be determined in strongly scattering input coordinate points and the advantages of the low measurement uncertainty of the form element compensation calculation are retained.
  • the method according to the invention is based on a novel combination of detection methods which are robust against measurement errors and the more precise shape element compensation calculation for the same desired shape element type. It is decisive here that all relevant measurement results are fed to a recognition process for a shaped element that is generally specified. After recognizing the form element, the measured values lying outside a predetermined value range can be excluded as outliers. The compensation calculation subsequently applied to the remaining measured values leads to a much more precise determination of the form element, since the outliers no longer falsify the result of the form element determination in this method step.
  • measurement data recorded in any way are generally suitable for the application of the method.
  • Optical measurement data acquisition is in the foreground because the deviations caused by contamination and lighting can be particularly serious compared to the actual structure.
  • the Hough transformation is preferably used as the upstream recognition method.
  • other recognition methods can also be used, which do not all have to be shown in detail here, since they are known as such to the person skilled in the art.
  • a significant improvement in interference suppression that can be achieved compared to the prior art is achieved in that the type of the desired shaped element is already taken into account in the evaluation of the input coordinate points for outliers, and not only in the otherwise customary subsequent measurement value processing (in the next processing step).
  • An advantage of the method according to the invention is that the outlier identification relates to the shape of the desired molded element. In this way, even from a strongly scattering point cloud, the position and orientation of a shaped element to be determined can be recognized. This is necessary in particular in the case of image-evaluating measurement methods if the structures to be recognized are disturbed by unknown systematic structures in the foreground or background. Examples are the detection of geodetic features in landscape images or the determination of geometry on body edges in the image contaminated by dust.
  • An advantageous embodiment is characterized by the fact that a shape element compensation calculation precedes the Hough transformation, which works as a recognition method.
  • a quality parameter (E) from the result of the shape element compensation calculation and checking whether this parameter (E) is within a predeterminable tolerance range (T), it can be decided whether the computation-intensive Hough transformation is needed at all.
  • Fig. 1 - a diagram with numerous probing points Pj. (X, y), which were recorded on a straight object contour disturbed by contamination and noise;
  • Fig. 2 - a diagram with a drawn straight line through all probing points P _. (X, y) with contamination according to Fig. 1;
  • FIG. 3 shows a flowchart of the method steps for realizing the invention without an upstream form element compensation calculation
  • 4 shows a representation in the Hough parameter space using the example of the shape element “straight line”
  • 5 shows a diagram in which the probing points Pi to Ps, a shaped element FE and a validity parameter E are shown using the example of the shaped element “straight line”;
  • Fig. 6 - a diagram with a shifted straight line through the remaining probing points Pr ⁇ (x, y), which are to be taken into account after filtering the contamination;
  • FIG. 1 shows in a diagram numerous probing points Pi (XY) t which were obtained during the measurement of an object (subject) along a straight edge.
  • XY probing points
  • the invention uses a combination of recognition and compensation calculation for form elements to solve this problem.
  • a parameter E is derived and this is compared with a permissible predeterminable tolerance range T.
  • the parameter E identifies, for example, an area around the shaped element found in the form of the Euclidean distance (cf. also below with reference to FIG. 5).
  • the parameter ⁇ can be determined, for example, by the shape deviation f or the standard deviation s of the calculated shape element. Further educational regulations for E using the equalization calculation can of course be derived.
  • a suitable educational instruction can be assigned to the specified measurement task according to the following conditions:
  • step 3 shows in a flow chart the most important method steps that have to be carried out to implement the invention.
  • the method starts in step 1.
  • shape element recognition is carried out first.
  • the best position of the form element in the sense of the "most frequent occurrence" is determined in step 2, for example by means of a Hough transformation as the recognition method.
  • all coordinate points or probing points Pi are used insofar as they lie within a valid range that is independent of the position of the shaped element.
  • the probing points Pi are determined by their coordinates (x, y, z), which can be two- or three-dimensional values depending on the measurement task.
  • a region E is derived around the found “Hough” shaped element FE in analogy to the above-mentioned procedure for the “compensating” shaped elements, in which relevant contact points Pri must lie.
  • Fig. 5 shows this selection in graphic form as a diagram, in which the probing points Pi to P 8 are shown using the example of the “straight line” form element. Points outside the area E are then eliminated from the point field, as is shown for P 5 as an example.
  • step 3 the relevant points remaining in the point field are selected in step 3.
  • step 4 the remaining point field Pri is fed to a compensation calculation.
  • the equalization calculation is thus carried out excluding the outliers that are located outside of area E after the detection has been carried out, and thus leads to more precise results than if the equalization calculation had been carried out with these outliers.
  • step 5 ends in step 5.
  • FIG. 6 shows in a diagram the point cloud known from FIG. 1 and the result calculated according to the described method as an improved straight line. Further iteration steps of the method are possible.
  • step 7 shows a flowchart of a modified embodiment of the method.
  • the main difference is that the recognition (Hough transformation) in step 2 is preceded by an additional shape element compensation calculation.
  • the upstream shape element compensation calculation is carried out in step 6 taking into account the input coordinate points Pi.
  • the determination of the desired shape element in the first processing step by means of shape element compensation calculation has a speed-increasing effect if there are no faults in the input points.
  • the subsequent time-intensive Hough transformation is only called up if the performed validation parameter E of the compensation calculation exceeds a predefinable tolerance range T. If the value E falls below the permissible predefinable tolerance range T, the shaped element is immediately declared valid in step 8 and output as the measurement result.
  • the Hough transformation is to be carried out as the first processing step, as shown in FIG. 3.
  • An advantage of this variant over the variant in FIG. 7 is that the recognition method can determine not only the position but also the type of the most frequently occurring form element.
  • the recognition method described above can be used to find a plurality of shaped elements of the same type that occur with a predeterminable minimum frequency. This makes it possible to segment the input coordinates and then carry out a compensation calculation in the different coordinate segments.
  • 2D and 3D standard form elements, spatial curves and also combined form elements can generally be determined as form element types.

Description

Verfahren zur Minimierung des Einflusses von Störsignalen bei der Formelementeberechnung aus Koordinatenpunkten
Die Erfindung betrifft ein Verfahren zur Filterung von Koordinatenpunkten bei der Berechnung von Formelementen mit dem Ziel, Koordinaten von der Formelementeberechnung auszuschließen, die lokal nicht zur erwarteten idealen geometrischen Form zuzuordnen sind.
Ein bekanntes Problem der Koordinatenmesstechnik ist die Berechnung der Gestalt des Messobjektes aus einer Menge von Koordinatenpunkten der Messobjektoberfläche, die durch Antastung gewonnen werden. Die Beschreibung' der Gestalt erfolgt durch idealgeometrische Ersatzelemente (kurz: Formelement), wie beispielsweise Gerade, Kreis, Ellipse, Kugel, Zylinder. Die Koordinatenpunkte liegen zum Teil ungeordnet vor und weichen, bedingt durch Störeinflüsse, von der realen Geometrie des Prüflings ab. Insbesondere bei der optischen Gewin- nung der Koordinatenpunkte mit Hilfe von Bildsensoren können erhebliche Abweichungen von der realen Gestalt auftreten. Ursache dafür sind beispielsweise instabile Lichtverhältnisse, Verschmutzung durch Staubablagerungen an den Objektkanten oder auch texturierte Oberflächen und Bildhinter- gründe. Werden die Koordinatenpunkte ungefiltert einer Ausgleichsrechnung für die Bestimmung eines Formelements zugeführt, so kann dies zu erheblichen Messabweichungen führen.
Im Stand der Technik sind Verfahren zum Ausfiltern von Störungen in den Messsignalen bekannt, die auf der Glättung der Messwerte beruhen. Beispiele sind die Glättung durch gleitende Mittelwertbildung, die Glättung durch Tiefpassfil- terung, optimale Filterung (Wiener-Filter) . Nachteilig ist, dass bei all diesen Verfahren der Einfluss der so genannten Ausreißer, also der weit von den tatsächlichen Werten entfernten Messwerte, durch Mittelung zwar minimiert wird, aber dennoch das Messergebnis beeinträchtigt.
Eine Verbesserung der Genauigkeit der Messergebnisse wird erzielt, wenn die Eingangsmesswerte (vornehmlich Antastpunktkoordinaten) vor der weiteren messtechnischen Auswertung von potenziellen Ausreißern getrennt werden und lediglich die ausreißerbereinigten Messwerte weiter verarbeitet werden. In der DE 199 00 737 AI wird dazu vorgeschlagen, nach einer ersten Ausgleichsrechnung, mittels folgender Hochpassfilterung, die als Störung anzusehenden Antastpunktkoordinaten zu eliminieren. Nachteilig bei dieser Verfahrensweise ist, dass sich die Störungsfilterung auf ein zuvor berechnetes Formelement bezieht, welches bereits durch die Störungen in den Eingangsmesswerten beeinflusst ist. Dabei können zum Teil erhebliche Abweichungen in der Lage und Orientierung des Formelementes auftreten, so dass der nachfolgende Filtervorgang nicht die tatsächlichen Störungen ausfiltern kann.
Prinzipiell handelt es sich bei der Ausgleichsrechnung um Verfahren zur Einpassung eines geometrischen Primitives (Formelement) in eine ungeordnete Menge von Eingangskoordina- tenpunkten Pi(Xi,Vi) mit dem Ziel, dass das die Summe der Abweichungen der Punkte Pi(x_.,yi) bezogen auf das Formelement minimal wird. Als Abweichungsmaß sind bekannt, der Betrag der Abstände, das Quadrat der Abstände und der Betrag des Abstan- des von maximaler positiver Abweichung zu maximaler negativer Abweichung bezogen auf das Formelement. Bei Ausgleichrechnungen wird nicht geprüft, ob das Ergebnisformelement die Messpunktwolke bestmöglich repräsentiert. Wenn die Menge der Eingangskoordinatenpunkte Pi,(X,yi) für das Formelement repräsentativ ist, so erfolgt die Charakterisierung des Formelementes mit einer höheren Präzision als bei den nachfolgend noch beschriebenen Erkennungsverfahren.
Außer bei der koordinaten esstechnischen Auswertung spielt die Eliminierung von Störstrukturen auch bei Problemen der technischen Erkennung eine wesentliche Rolle. Um die Aussagesicherheit bei der Hinderniserkennung tief fliegender Flugge- rate zu erhöhen, wird in der DE 100 55 572 Cl vorgeschlagen, Überlandleitungen in Entfernungsbildern mit Hilfe eines Erkennungsverfahrens für horizontale Geraden, nämlich der dem Fachmann bekannten Hough-Transformation, zu erkennen. Allerdings ist mit dieser Verfahrensweise die Ableitung von genauen Angaben zur Lage und Orientierung des Formelementes nur mit erheblichem rechentechnischem Aufwand erzielbar. Für Aufgabenstellungen der Präzisionsmesstechnik sind Verfahren der Ausgleichsrechnung von Formelementen wesentlich wirtschaftlicher einsetzbar.
In der DE 695 23 965 T2 werden eine Erkennungsvorrichtung und ein entsprechendes Verfahren für einen zweidimensionalen Code beschrieben. Dabei wird eine Ausgleichsrechnung mit allen ermittelten Bildpunkten ausgeführt. Weiterhin wird eine Hough-Transformation zur Erkennung von Geraden ausgeführt, wobei die Anzahl der zu berücksichtigenden Punkte vor Ausführung der Transformation reduziert wird, um den Rechenaufwand zu verringern.
Generell versteht man unter der Erkennung von Formelementen das Feststellen, ob ein gesuchtes Formelement im vorgegebenen ebenen oder räumlichen Untersuchungsbereich vorkommt (Identifizierung) . Bei der Identi izierung wird auf bestmögliche Übereinstimmung zwischen Formelement und Anordnung von Eingangskoordinatenpunkten Pi( i,yi) (Messpunktwolke) geprüft. Mit der Identifizierung erfolgt auch die nähere Charakterisierung des gefundenen Formelementes anhand von charakteris- tischen Parametern (Lage, Größe, Orientierung) . Die Bestimmung von Lage, Größe und Orientierung kann bei Erkennungsverfahren auf Grund des hohen Rechenaufwandes nur in grober Weise erfolgen.
Die Hough-Transformation ist ein Werkzeug zur Erkennung von geometrischen Primitiven wie bespielsweise Geraden, Kreise in einer ungeordneten Menge von Eingangskoordinatenpunkten Pi(xi,yi). Im Gegensatz zur Einpassung von geometrischen Primitiven mit den Methoden der Ausgleichsrechnung werden bei der Hough-Transformation keine Abweichungsmaße sondern ein Häufigkeitsmaß verwendet. Das Kriterium zur Erkennung des geometrischen Primitivs lautet: Die maximale Anzahl von Eingangskoordinaten liegen auf dem geometrischen Primitiv. Deshalb ist die Hough-Transformation sehr robust gegen Störungen mit geringer Auftrittswahrscheinlichkeit, wie beispielsweise Ausreißer, Konturunterbrechungen oder Überdeckungen der zu suchenden Struktur.
Die oben bereits erwähnte Hough-Transformation stellt ein solches Erkennungsverfahren dar und wurde zum Auffinden von geradlinigen Strukturen in einem karthesischen Koordinatenraum entwickelt. Eine grundlegende Erläuterung findet sich beispielsweise in der US 3,069,654. Die Möglichkeiten des Einsatzes der Hough-Transformation sind auch in Haberäcker, P. : „Praxis der digitalen Bildverarbeitung und Mustererkennung", München: Hanser, 1995 beschrieben. Der Erfindung liegt somit die Aufgabe zu Grunde, ein Verfahren der eingangs genannten Art anzugeben, bei dem die Lage und Orientierung der gewünschten Formelementeart in stark streuenden Eingangskoordinatenpunkten bestimmt werden kann und die Vorteile der geringen Messunsicherheit der Formelemente-Ausgleichsrechnung erhalten bleiben.
Erfindungsgemäß gelingt die Lösung der Aufgabe durch die im angefügten Patentanspruch 1 angegebenen Merkmale.
Das erfindungsgemäße Verfahren beruht auf einer neuartigen Kombination von gegen Messfehler robusten Erkennungsverfahren und der genaueren Formelementeausgleichsrechnung für die jeweils gleiche gewünschte Formelementeart. Entscheidend ist dabei, dass alle relevanten Messergebnisse einem Erkennungsverfahren für ein in der Regel vorgegebenes Formelement zugeführt werden. Nach Erkennung des Formelements können die außerhalb eines vorgegebenen Wertebereichs liegenden Messwerte als Ausreißer ausgeschlossen werden. Die nachfolgend auf die verbleibenden Messwerte angewendet Ausgleichsrechnung führt zu einer wesentlich exakteren Bestimmung des Formelements, da die Ausreißer das Ergebnis der Formelementebestimmung in diesem Verfahrensschritt nicht mehr verfälschen.
Obwohl in der nachfolgenden Beschreibung des Verfahrens weitgehend auf das Beispiel von optisch erfassten Messwerten Bezug genommen wird, ist festzuhalten, dass generell auf beliebige Weise erfasste Messdaten für die Anwendung des Verfahrens geeignet sind. Die optische Messdatenerfassung steht im Vordergrund, weil die dort auftretenden verunreini- gungs- und beleuchtungsbedingten Abweichungen gegenüber der tatsächlichen Struktur besonders gravierend sein können. Vorzugsweise wird als vorgeschaltetes Erkennungsverfahren die Hough-Transformation eingesetzt. Es können aber auch andere Erkennungsverfahren verwendet werden, die hier nicht alle detailliert dargestellt werden müssen, da sie dem Fachmann als solche bekannt sind.
Eine gegenüber dem Stand der Technik erzielbare wesentliche Verbesserung der Störunterdrückung wird erzielt, indem die Art des gewünschten Formelementes bereits bei der Bewertung der Eingangskoordinatenpunkte auf Ausreißer Berücksichtigung findet, und nicht erst bei der sonst üblichen nachfolgenden Messwertverarbeitung (im nächsten Verarbeitungsschritt) .
Ein Vorteil des erfindungsgemäßen Verfahrens besteht darin, dass sich die Ausreißeridentifikation auf die Gestalt des gewünschten Formelements bezieht. So kann selbst aus einer stark streuenden Punktewolke eine Erkennung der Lage und Orienteriung eines zu bestimmenden Formelementes erreicht werden. Dies ist insbesondere bei bildauswertenden Messver- fahren notwending, wenn die zu erkennenden Strukturen durch unbekannte systematische Strukturen im Vordergrund oder Bildhintergrund gestört sind. Beispiele sind die Erkennung von geodätischen Merkmalen in Landschaftsbildern oder die Geometriebestimmung an durch Staub verunreinigten Körperkanten im Bild.
Der Einsatz von robusten Erkennungsverfahren für die Bestimmung der Lage und Orientierung des Formelementes gestattet eine sichere Filterung von Störstrukturen und liefert gleich- zeitig eine störsignalunabhängige Startlösung für die nachfolgende Formelementeausgleichsrechnung. Eine vorteilhafte Ausgestaltung zeichnet sich durch die Vorschaltung einer Formelementeausgleichsrechnung vor die als Erkennungsverfahren arbeitende Hough-Transformation aus. Durch Bildung eines Güteparameters (E) aus dem Ergebnis der Formelementeausgleichsrechnung und Prüfung, ob dieser Parameter (E) in einem vorgebbaren Toleranzbereich (T) liegt, kann entschieden werden, ob die rechenintensive Hough-Transformation überhaupt benötigt wird.
Weitere vorteilhafte Ausgestaltungen des Verfahrens sind in den Unteransprüchen angegeben.
Die Erfindung wird nachstehend an einem Beispiel näher erläutert. Die zugehörigen Zeichnungen zeigen:
Fig. 1 - ein Diagramm mit zahlreichen Antastpunkten Pj.(x,y), die an einer durch Verunreinigung und Rauschen gestörten geradlinigen Objektkontur aufgenommen wurden;
Fig. 2 - ein Diagramm mit einer eingezeichneten Ausgleichsgerade durch alle Antastpunkte P_.(x,y) mit Verunreinigung gemäß Fig. 1;
Fig. 3 - einen Ablaufplan der Verfahrensschritte zur Realisierung der Erfindung ohne vorgeschaltete Formelementeausgleichsrechnung;
Fig. 4 - eine Darstellung im Hough-Parameterraum am Beispiel der Formelementeart „Gerade"; Fig. 5 - ein Diagramm, in welchem am Beispiel des Formelements „Gerade" die Antastpunkte Pi bis Ps, ein Formelement FE und ein Gültigkeitsparameter E eingezeichnet sind;
Fig. 6 - ein Diagramm mit einer verlagerten Ausgleichsgerade durch die verbleibenden Antastpunkte Prι(x,y), die nach der Filterung der Verunreinigung zu berücksichtigen sind;
Fig. 7 - einen Ablaufplan einer abgewandelten Ausführungsform des Verfahrens gemäß Fig. 6, mit zusätzlich vorgeschalteter Formelementeausgleichsrechnung .
Fig. 1 zeigt in einem Diagramm zahlreiche Antastpunkte Pi(X Y) t die bei der Vermessung eines Objektes (Proband) entlang einer geraden Kante gewonnen wurden. So wie eingangs gezeigt wurde, besteht insbesondere bei der optischen Präzi- sionsmessung oft ein Problem, wenn während der Messung eine Verschmutzung der Probanden vorliegt. Hierbei können schon kleinste Ablagerungen aus dem Produktionsprozess dazu führen, dass ein Proband aufgrund von Verschmutzung als Schlechtteil ausgesondert wird. In Fig. 1 ist der Einfluss einer solchen Verunreinigung deutlich durch Ausreißer unter den Antastpunkten zu erkennen, die im Bereich x = 0 bis 0,5 auftreten.
Für die Lösung dieses Problems wird durch die Erfindung eine Kombination von Erkennung und Ausgleichsrechnung für Formele- mente angewendet.
In dem in Fig. 2 gezeigten Diagramm ist eine Ausgleichsgerade eingezeichnet, die sich bei Ausführung einer Ausgleichsrech- nung nach Gauss für das gewünschte Formelement ergibt, wenn die Punkte (Messdaten) der Ausgleichsrechnung ungefiltert zugeführt werden. Es ist aus Fig. 2 ersichtlich, dass die Ausreißer-Messwerte einen erheblichen Einfluss auf den Verlauf der Ausgleichgeraden haben, der vom erkennbaren positiven Anstieg in x-Richtung der eingezeichneten Punktewolke' abweicht und einen negativen Anstieg zeigt.
Zur Bewertung ob das berechnete Formelement gültig ist, wird ein Parameter E abgeleitet und dieser mit einem zulässigen vorgebbaren Toleranzbereich T verglichen. Der Parameter E kennzeichnet dabei beispielsweise einen Bereich um das gefundene Formelement in Form des euklidischen Abstandes (vgl. auch unten in Bezug auf Fig. 5) . Der Parameter Ξ kann beispielsweise durch die Formabweichung f oder die Standardabweichung s des berechneten Formelementes bestimmt werden. Weitere Bildungsvorschriften für E mit Hilfe der Ausgleichsrechnung sind natürlich ableitbar. Die Zuordnung einer geeigneten Bildungsvorschrift zur vorgegebenen Messaufgabe kann nach folgenden Bedingungen erfolgen:
- wenn alle Messpunkte innerhalb des Toleranzbereiches T liegen sollen, gilt: E = f
- wenn (unter der Annahme, dass die Eingangspunkte normalverteilt von dem berechneten Formelement abweichen) mindestens 99,73 % der Eingangspunkte innerhalb des Toleranzbereiches T liegen sollen, gilt: E = 3 s
- wenn (unter der Annahme, dass die Eingangspunkte normalverteilt von dem berechneten Formelement abweichen) mindestens 95 % der Eingangspunkte innerhalb des Tole- ranzbereiches T liegen sollen, gilt: E = 2 s
Sofern der Parameter E einen zulässigen vorgebbaren Toleranzbereich T überschreitet, kann das mit der Ausgleichsrechnung bestimmte Formelement nicht als gültig angesehen werden. An dieser Stelle setzt die Erfindung an, indem eine Filterung der gemessenen Koordinatenpunkte durchgeführt wird.
Fig. 3 zeigt in einem Ablaufplan die wichtigsten Verfahrensschritte, die zur Realisierung der Erfindung ausgeführt werden müssen. Das Verfahren startet im Schritt 1. Um das Ergebnis der Formelementebestimmung zu verbessern, wird zunächst eine Formelementeerkennung ausgeführt. Dazu wird im Schritt 2 beispielsweise mittels Hough-Transformation als Erkennungsmethode die beste Lage des Formelements im Sinne des "häufigsten Auftretens" bestimmt. Zur Ausführung der Hough-Transformation werden sämtliche Koordinatenpunkte bzw. Antastpunkte Pi herangezogen, soweit sie innerhalb eines vorbestimmbaren von der Lage des Formelements unabhängigen Gültigkeitsbereichs liegen. Natürlich ist es denkbar, einzelne Messwerte vor der Verarbeitung auszuschließen, wenn sie offensichtlich außerhalb des Gültigkeitsbereichs liegen. Die Antastpunkte Pi sind durch ihre Koordinaten (x, y, z) bestimmt, wobei es sich je nach Messaufgabe um zwei- oder dreidimensionale Werte handeln kann.
Außerdem kann in den meisten Fällen die gesuchte Formelementeart durch die spezifische Messaufgabe vorgegeben werden. Dem Fachmann sind verschiedene Erkennungsverfahren bekannt, so dass deren Funktionsweise hier nicht näher beschrieben werden muss. Fig. 4 zeigt zur Erläuterung eine Darstellung im Hough-Parameterraum am Beispiel der Formelementeart „Gerade".
Um das gefundene "Hough"-Formelement FE wird in Analogie zur oben genannten Verfahrensweise bei den "Ausgleichs"-Formele- menten ein Bereich E abgeleitet, in welchem relevante Antastpunkte Pri liegen müssen. Fig. 5 zeigt diese Auswahl in graphischer Form als Diagramm, in welchem am Beispiel des Formelements „Gerade" die Antastpunkte Pi bis P8 eingezeichnet sind. Punkte außerhalb des Bereiches E werden dann aus dem Punktefeld eliminiert, wie dies beispielhaft für P5 gezeichnet ist.
Zurückkommend auf Fig. 3 erfolgt die Auswahl der im Punktefeld verbleibenden relevanten Punkte im Schritt 3. In dem sich anschließenden Schritt 4 wird das verbleibende Punkte- feld Pri einer Ausgleichsrechnung zugeführt. Die Ausgleichsrechnung erfolgt somit unter Ausschluss der Ausreißer, die nach Ausführung der Erkennung außerhalb des Bereichs E angesiedelt sind, und führt damit zu präziseren Ergebnissen, als wenn die Ausgleichsrechung mit diesen Ausreißern durchgeführt worden wäre. Das Verfahren endet im Schritt 5.
Fig. 6 zeigt in einem Diagramm die aus Fig. 1 bekannte Punktewolke und das gemäß dem beschriebenen Verfahren berechnete Ergebnis als verbessert Ausgleichsgerade. Weitere Iterations- schritte des Verfahrens sind möglich.
Fig. 7 zeigt einen Ablaufplan einer abgewandelten Ausführungsform des Verfahrens. Der wesentliche Unterschied besteht darin, dass der Erkennung (Hough-Transformation) im Schritt 2 eine zusätzliche Formelementeausgleichsrechnung vorgeschaltet ist. Die vorgeschaltete Formelementeausgleichsrechnung erfolgt im Schritt 6 unter Berücksichtigung der Eingangskoordinatenpunkte Pi. Die Bestimmung des gewünschten Formelementes im ersten Verarbeitungsschritt mittels Formele- mente-Ausgleichsrechnung wirkt sich geschwindigkeitssteigernd aus, wenn keine Störungen in den Eingangspunkten vorhanden sind. Die nachfolgende zeitintensive Hough-Transformation wird nur dann aufgerufen, wenn bei der im Schritt 7 ausge- führten Prüfung der Gültigkeitsparameter E der Ausgleichsrechnung einen vordefinierbaren Toleranzbereich T überschreitet. Unterschreitet der Wert E den zulässigen vorgebbaren Toleranzbereich T, wird das Formelement im Schritt 8 sofort als gültig erklärt und als Messergebnis ausgegeben.
Für den Anwendun sfall, dass das gewünschte Formelement in den Eingangsdaten nicht lokalisierbar ist oder mehrere Form- elemente gleicher Art vorhanden sind, ist die Hough-Transformation als erster Verarbeitungsschritt durchzuführen, wie es in Fig. 3 dargestellt ist. Ein Vorteil dieser Variante gegenüber der Variante in Fig. 7 besteht darin, dass die Erkennungsmethode nicht nur die Lage sondern auch die Art des am häufigsten vorkommenden Formelementes bestimmen kann. Außerdem können mit dem vorangestellten Erkennungsverfahren in einem Verarbeitungsschritt mehrere gleichartige Formelemente gefunden werden, die mit einer vorgebbaren Mindesthäufigkeit auftreten. Dadurch ist eine Segmentierung der Eingangskoordi- naten und anschließende Ausgleichsrechnung in den verschiedenen Koordinatensegmenten durchführbar.
Bei der Ausführung des erfindungsgemäßen Verfahrens können als Formelementearten generell 2D- und 3D-Standardformele- mente, räumliche Kurven als auch kombinierte Formelemente bestimmt werden.

Claims

Patentansprüche
1. Verfahren zur Minimierung des Einflusses von Störsignalen bei der Formelementeberechnung aus Eingangs- koordinatenpunkten Pi die folgenden Schritte umfassend:
- Ausführung eines Erkennungsverfahrens (2) mit allen Eingangskoordinatenpunkten P zur Berechnung eines erkannten Formelementes FE;
- Ausfiltern (3) relevanter Koordinatenpunkte Pri aus den Eingangskoordinatenpunkten Pi, die innerhalb eines vorgebbaren Parameters E um das im Erkennungsverfahren ermittelte Formelement FE liegen;
- Ausführung eines Ausgleichsverfahrens (4) für die gleiche Formelementeart mit den ausgefilterten relevanten Koordinatenpunkten Pri zur Berechnung eines endgültigen Formelements .
2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, dass vor der Ausführung des Erkennungsverfahrens (2) eine vorgeschaltete Ausgleichsrechnung (6) des gewünschten Formelementes mit allen Eingangskoordinaten (P) durchgeführt wird, um die Schritte der Ausführung des Erkennungsverfahrens (2) mit allen Eingangskoordinaten Pi, des Ausfilterns (3) relevanter Koordinatenpunkte Pri und der Ausführung des Ausgleichsverfahrens (4) mit den ausgefil- terten Koordinatenpunkten Pri nur dann durchzuführen, wenn ein Gültigkeitsparameter des in der vorgeschalteten Ausgleichsrechnung ermittelten Formelements außerhalb eines vorgebbaren Toleranzbereichs T liegt.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Erkennung der Lage und Orientierung der gewünschten Formelementeart in den gestörten Eingangskoordinatenpunkten mit Hilfe der Hough-Transformation und der Bestim- mung von singulären Punkten im Hough-Parameterraum erfolgt.
4. Verfahren nach einem der Ansprüche 1 bis 3, dadurch gekennzeichnet, dass zur Entscheidung ob das in der vorgeschalteten Ausgleichsrechnung (6) berechnete Formelement gültig ist und/oder zur Ausfilterung (3) der relevanten Koordinatenpunkte nach dem Erkennungsverfahren (2) ein mehrdimensionaler Bereich um das gefundene Formelement bestimmt wird, der durch den euklidischen Abstand E zum Formelement charakterisiert ist.
5. Verfahren nach Anspruch 4, dadurch gekennzeichnet, dass der euklidische Abstand E anhand eines vorgegebenen Toleranzbereichs T der Formabweichung f des Formelements bestimmt wird.
6. Verfahren nach Anspruch 4, dadurch gekennzeichnet,- dass der euklidische Abstand E anhand der statistischen Verteilung der Restabweichung von der gewünschten Formelementeart bestimmt wird.
7. Verfahren nach Anspruch 6, dadurch gekennzeichnet, dass aus der statistischen Verteilung der Restabweichung von der gewünschten Formelementeart die Standardabweichung s ermittelt wird, die bei der Bestimmung des Abstands E berücksichtigt wird.
8. Verfahren nach einem der Ansprüche 1 bis 7, dadurch gekennzeichnet, dass das Erkennungsverfahren (2) die Formelementeart identifiziert.
9. Verfahren nach Anspruch 8 , dadurch gekennzeichnet, dass das Erkennungsverfahren (2) mehrere gleichartige Formelemente in einem Verarbeitungsschritt bestimmt und das anschließende Ausfiltern (3) der relevanten Koordinatenpunkte sowie die Formelemente-Ausgleichsrechnung (4) auf alle im Erkennungsverfahren (2) gefundenen Formelemente angewendet werden.
EP03747991A 2002-09-14 2003-09-09 Verfahren zur minimierung des einflusses von störsignalen bei der formelementeberechnung aus koordinatenpunkten Expired - Lifetime EP1537521B1 (de)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
DE10242852 2002-09-14
DE10242852A DE10242852A1 (de) 2002-09-14 2002-09-14 Verfahren zur Minimierung des Einflusses von Störsignalen bei der Formelementeberechnung aus Koordinatenpunkten
PCT/EP2003/009996 WO2004027697A2 (de) 2002-09-14 2003-09-09 Verfahren zur minimierung des einflusses von störsignalen bei der formelementeberechnung aus koordinatenpunkten

Publications (2)

Publication Number Publication Date
EP1537521A2 true EP1537521A2 (de) 2005-06-08
EP1537521B1 EP1537521B1 (de) 2006-06-07

Family

ID=31896023

Family Applications (1)

Application Number Title Priority Date Filing Date
EP03747991A Expired - Lifetime EP1537521B1 (de) 2002-09-14 2003-09-09 Verfahren zur minimierung des einflusses von störsignalen bei der formelementeberechnung aus koordinatenpunkten

Country Status (7)

Country Link
US (2) US7246034B2 (de)
EP (1) EP1537521B1 (de)
JP (1) JP2005538473A (de)
AT (1) ATE329323T1 (de)
AU (1) AU2003267068A1 (de)
DE (2) DE10242852A1 (de)
WO (1) WO2004027697A2 (de)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102004032822A1 (de) * 2004-07-06 2006-03-23 Micro-Epsilon Messtechnik Gmbh & Co Kg Verfahren zur Verarbeitung von Messwerten
DE102004056015A1 (de) * 2004-11-12 2006-05-18 Valeo Schalter Und Sensoren Gmbh Verfahren und System zur Auswertung von Messdaten eines Entfernungsmesssystems
GB0503629D0 (en) * 2005-02-22 2005-03-30 Durand Technology Ltd Method and apparatus for automated analysis of biological specimen
DE102007045277A1 (de) * 2007-09-18 2009-04-02 Technische Universität Ilmenau Verfahren zur Bestimmung des Kantenortes bei Antastung im Auflicht in der optischen Längenmesstechnik
US20110068164A1 (en) * 2009-09-24 2011-03-24 Trimble Navigation Limited Method and Apparatus for Barcode and Position Detection
US8500005B2 (en) * 2008-05-20 2013-08-06 Trimble Navigation Limited Method and system for surveying using RFID devices
US8800859B2 (en) 2008-05-20 2014-08-12 Trimble Navigation Limited Method and system for surveying using RFID devices
DE102008025896A1 (de) * 2008-05-23 2009-11-26 Landesamt für Mess- und Eichwesen Thüringen Verfahren zur Ermittlung der Messunsicherheit bei der Geometriemessung
DE102010011841B4 (de) * 2010-03-11 2015-06-18 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zur Validierung eines Messergebnisses eines Koordinatenmessgeräts
EP2569596B1 (de) * 2010-05-10 2014-07-30 Leica Geosystems AG Vermessungsverfahren
DE102012022487A1 (de) 2012-11-19 2014-05-22 Prüftechnik Dieter Busch AG Vorrichtung und Verfahren zum Ermitteln der Lage zweier gekuppelter Wellen zueinander
US9230339B2 (en) 2013-01-07 2016-01-05 Wexenergy Innovations Llc System and method of measuring distances related to an object
US10196850B2 (en) 2013-01-07 2019-02-05 WexEnergy LLC Frameless supplemental window for fenestration
US8923650B2 (en) * 2013-01-07 2014-12-30 Wexenergy Innovations Llc System and method of measuring distances related to an object
US9845636B2 (en) 2013-01-07 2017-12-19 WexEnergy LLC Frameless supplemental window for fenestration
US9691163B2 (en) 2013-01-07 2017-06-27 Wexenergy Innovations Llc System and method of measuring distances related to an object utilizing ancillary objects
JP6032163B2 (ja) * 2013-09-11 2016-11-24 トヨタ自動車株式会社 三次元物体認識装置、三次元物体認識方法、及び移動体
DE102014112396B4 (de) 2014-08-28 2022-01-13 Carl Zeiss Industrielle Messtechnik Gmbh Verfahren zur Einzelpunktantastung eines Werkstücks und Koordinatenmessgerät
DE102016002186A1 (de) * 2016-02-24 2017-08-24 Testo SE & Co. KGaA Verfahren und Bildverarbeitungsvorrichtung zur Bestimmung einer geometrischen Messgröße eines Objektes
JP6752610B2 (ja) * 2016-04-27 2020-09-09 株式会社キーエンス 三次元座標測定器
US10152213B2 (en) * 2016-09-01 2018-12-11 Adobe Systems Incorporated Techniques for selecting objects in images
CA3071106A1 (en) 2017-05-30 2018-12-06 WexEnergy LLC Frameless supplemental window for fenestration

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3069654A (en) 1960-03-25 1962-12-18 Paul V C Hough Method and means for recognizing complex patterns
JP2835274B2 (ja) * 1994-02-24 1998-12-14 株式会社テック 画像認識装置
DE19600002C2 (de) * 1995-01-05 2002-01-17 Blaz Santic Integrales Verfahren für on-line Geometrieprüfung von Werkstücken aus mehreren Formflächen
US5991437A (en) * 1996-07-12 1999-11-23 Real-Time Geometry Corporation Modular digital audio system having individualized functional modules
DE19735975C2 (de) * 1997-08-19 2000-07-20 Leitz Brown & Sharpe Mestechni Verfahren zur rechnerischen Vibrationsunterdrückung bei Koordinatenmeßgeräten sowie Koordinatenmeßgerät zur Durchführung des Verfahrens
DE19900737C2 (de) * 1999-01-12 2001-05-23 Zeiss Carl Verfahren zur Korrektur der Meßergebnisse eines Koordinatenmeßgerätes und Koordinatenmeßgerät
US6757571B1 (en) * 2000-06-13 2004-06-29 Microsoft Corporation System and process for bootstrap initialization of vision-based tracking systems
DE10055572C1 (de) * 2000-11-09 2002-01-24 Astrium Gmbh Verfahren zur Leitungserkennung für tieffliegende Fluggeräte
US8712144B2 (en) * 2003-04-30 2014-04-29 Deere & Company System and method for detecting crop rows in an agricultural field

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See references of WO2004027697A2 *

Also Published As

Publication number Publication date
ATE329323T1 (de) 2006-06-15
DE10242852A1 (de) 2004-03-25
US20050228614A1 (en) 2005-10-13
US7246034B2 (en) 2007-07-17
US20070258647A1 (en) 2007-11-08
US7496471B2 (en) 2009-02-24
EP1537521B1 (de) 2006-06-07
AU2003267068A1 (en) 2004-04-08
WO2004027697A2 (de) 2004-04-01
WO2004027697A3 (de) 2004-06-03
DE50303726D1 (de) 2006-07-20
JP2005538473A (ja) 2005-12-15

Similar Documents

Publication Publication Date Title
EP1537521B1 (de) Verfahren zur minimierung des einflusses von störsignalen bei der formelementeberechnung aus koordinatenpunkten
DE102014209137B4 (de) Verfahren und Vorrichtung zur Kalibrierung eines Kamerasystems eines Kraftfahrzeugs
DE60307967T2 (de) Bildverarbeitungsverfahren für die untersuchung des erscheinungsbildes
EP2583057B1 (de) Vorrichtung und verfahren zur vermessung von oberflächen
EP2284795A2 (de) Quantitative Analyse, Visualisierung und Bewegungskorrektur in dynamischen Prozessen
WO2002048670A2 (de) Vorrichtung und verfahren zur qualitätsüberprüfung eines körpers
DE102012009577A1 (de) Verfahren zur Kalibrierung und Verfahren zur Justierung von Einzelbildkameras einer Kameraanordnung
DE112009003648T5 (de) Verfahren und Vorrichtung zur Barrierentrennung
DE60220118T2 (de) Vorrichtung, Verfahren und Programm zum Vergleichen von Mustern
DE102008023915A1 (de) Verfahren zur Einstellung von wenigstens einer Stellgröße eines Entrauschungsfilters in medizinischen Bildern
DE102015104065A1 (de) Verfahren zum Bestimmen einer Position eines Objekts in einem dreidimensionalen Weltkoordinatensystem, Computerprogrammprodukt, Kamerasystem und Kraftfahrzeug
DE102013018924A1 (de) Verfahren zum Kontrollieren eines Aktors
EP2031348A1 (de) Vorrichtung für ein spiegelndes Metallband mit einer Inspektionseinheit zum Detektieren von Oberflächendefekten und/oder Vermessen der Oberflächentopographie
EP1486918A2 (de) Verfahren zur adaptiven Fehlererkennung auf einer inhomogenen Oberfläche
DE102013018561A1 (de) Verfahren zur Datenerfassung und Datenverarbeitung für eine Fahrspurkennung eines Fahrzeugs
DE19900737A1 (de) Verfahren zur Korrektur der Meßergebnisse eines Koordinatenmeßgerätes und Koordinatenmeßgerät
DE102017127401A1 (de) Berührungslose Deformationsmessung
DE102007027958A1 (de) Verfahren zur Optimierung eines stereoskopischen Bildes
WO2020160861A1 (de) Kalibrierung eines sensors für ein fahrzeug basierend auf objektseitigen und bildseitigen identifikationsindizes eines referenzobjektes
DE102006048030A1 (de) Vorrichtung und Verfahren zur Ermittlung von Spaltmaß und Bündigkeit angrenzender Bauteile
DE102019206977A1 (de) Vorrichtung und Verfahren zur Vermessung mindestens eines schräg im Raum stehenden Messobjekts
DE102022116720B3 (de) Verfahren zur Raumplanerstellung
DE102019131440B3 (de) Computerimplementiertes Verfahren zur Segmentierung von Messdaten aus einer Messung eines Objekts
DE102018207411A1 (de) Verfahren zur Ermittlung von Messinformationen in einem optischen Koordinatenmessgerät
DE102009006125A1 (de) Verfahren zur Bestimmung von Korrespondenzen von Bildpunkten in stereoskopisch aufgenommenen Bildern

Legal Events

Date Code Title Description
PUAI Public reference made under article 153(3) epc to a published international application that has entered the european phase

Free format text: ORIGINAL CODE: 0009012

17P Request for examination filed

Effective date: 20050321

AK Designated contracting states

Kind code of ref document: A2

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

AX Request for extension of the european patent

Extension state: AL LT LV MK

GRAP Despatch of communication of intention to grant a patent

Free format text: ORIGINAL CODE: EPIDOSNIGR1

DAX Request for extension of the european patent (deleted)
GRAS Grant fee paid

Free format text: ORIGINAL CODE: EPIDOSNIGR3

GRAA (expected) grant

Free format text: ORIGINAL CODE: 0009210

AK Designated contracting states

Kind code of ref document: B1

Designated state(s): AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LI LU MC NL PT RO SE SI SK TR

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060607

Ref country code: IT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT;WARNING: LAPSES OF ITALIAN PATENTS WITH EFFECTIVE DATE BEFORE 2007 MAY HAVE OCCURRED AT ANY TIME BEFORE 2007. THE CORRECT EFFECTIVE DATE MAY BE DIFFERENT FROM THE ONE RECORDED.

Effective date: 20060607

Ref country code: IE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060607

Ref country code: SI

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060607

Ref country code: NL

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060607

Ref country code: RO

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060607

Ref country code: CZ

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060607

Ref country code: SK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060607

REG Reference to a national code

Ref country code: GB

Ref legal event code: FG4D

Free format text: NOT ENGLISH

REG Reference to a national code

Ref country code: CH

Ref legal event code: EP

REG Reference to a national code

Ref country code: IE

Ref legal event code: FG4D

Free format text: LANGUAGE OF EP DOCUMENT: GERMAN

REF Corresponds to:

Ref document number: 50303726

Country of ref document: DE

Date of ref document: 20060720

Kind code of ref document: P

REG Reference to a national code

Ref country code: CH

Ref legal event code: NV

Representative=s name: DIEHL & PARTNER AG

GBT Gb: translation of ep patent filed (gb section 77(6)(a)/1977)

Effective date: 20060711

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: DK

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060907

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: ES

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060918

REG Reference to a national code

Ref country code: SE

Ref legal event code: TRGR

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: MC

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20060930

Ref country code: BE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20060930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: PT

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061107

NLV1 Nl: lapsed or annulled due to failure to fulfill the requirements of art. 29p and 29m of the patents act
ET Fr: translation filed
REG Reference to a national code

Ref country code: IE

Ref legal event code: FD4D

PLBE No opposition filed within time limit

Free format text: ORIGINAL CODE: 0009261

STAA Information on the status of an ep patent application or granted ep patent

Free format text: STATUS: NO OPPOSITION FILED WITHIN TIME LIMIT

26N No opposition filed

Effective date: 20070308

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: AT

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20060909

BERE Be: lapsed

Owner name: TRIMBLE JENA G.M.B.H.

Effective date: 20060930

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060908

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: EE

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060607

Ref country code: BG

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060907

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: LU

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20060909

Ref country code: HU

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20061208

Ref country code: TR

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060607

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: CY

Free format text: LAPSE BECAUSE OF FAILURE TO SUBMIT A TRANSLATION OF THE DESCRIPTION OR TO PAY THE FEE WITHIN THE PRESCRIBED TIME-LIMIT

Effective date: 20060607

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 13

REG Reference to a national code

Ref country code: FR

Ref legal event code: PLFP

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: GB

Payment date: 20160907

Year of fee payment: 14

Ref country code: DE

Payment date: 20160907

Year of fee payment: 14

Ref country code: CH

Payment date: 20160914

Year of fee payment: 14

PGFP Annual fee paid to national office [announced via postgrant information from national office to epo]

Ref country code: FR

Payment date: 20160816

Year of fee payment: 14

Ref country code: SE

Payment date: 20160914

Year of fee payment: 14

REG Reference to a national code

Ref country code: DE

Ref legal event code: R119

Ref document number: 50303726

Country of ref document: DE

REG Reference to a national code

Ref country code: CH

Ref legal event code: PL

REG Reference to a national code

Ref country code: SE

Ref legal event code: EUG

GBPC Gb: european patent ceased through non-payment of renewal fee

Effective date: 20170909

REG Reference to a national code

Ref country code: FR

Ref legal event code: ST

Effective date: 20180531

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: GB

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170909

Ref country code: CH

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170930

Ref country code: LI

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170930

Ref country code: DE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20180404

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: FR

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20171002

PG25 Lapsed in a contracting state [announced via postgrant information from national office to epo]

Ref country code: SE

Free format text: LAPSE BECAUSE OF NON-PAYMENT OF DUE FEES

Effective date: 20170910