[0001] [0001]
Die vorliegende Erfindung betrifft ein Verfahren zur Bestimmung einer gegenständlichen Lage gemäß Oberbegriff von Anspruch 1 und ein Verfahren zur Bestimmung einer geänderten gegenständlichen Lage gemäß Oberbegriff von Anspruch 8, mit denen insbesondere eine Position eines Gegenstands oder Körpers im Raum erfasst werden kann. The present invention relates to a method for the determination of an objective position in accordance with the preamble of claim 1 and a method for determining a change in subject position in accordance with the preamble of claim 8, with which in particular a position of an object or body can be detected in the room. Die vorliegende Erfindung betrifft weiterhin ein System zur Darbietung einer Blickfelddarstellung gemäß Oberbegriff von Anspruch 18, wobei mit dem System eine bestimmbare, gegenständliche Lage als ein räumlich veränderbares Blickfeld in eine computergenerierte Ansicht eines Raumabbilds, z. B. eines virtuellen Raums, einbeziehbar ist. The present invention further relates to a system for presenting a head-up display according to the preamble of claim 18, wherein the system is an identifiable, objective situation as a spatially variable field of view in a computer-generated view of a room image, z. B. a virtual space, incorporable.
Stand der Technik State of the art
[0002] [0002]
Aus dem Gebiet der Visualisierungstechnik, insbesondere im Bereich der sogenannten virtuellen Realität, sind bereits verschiedene Vorgehensweisen bekannt, mit denen z. B. eine Körperposition erfasst werden kann, um die daraus gewonnenen Daten z. B. für eine Computersimulation heranzuziehen. From the field of visualization technology, particularly in the area of so-called virtual reality, different approaches are already known with which z. B. a body position can be detected in order to use the data gained from z. B. for a computer simulation. In dem Dokument The document GB 2 451 461 A GB 2451461 A (Anmelder: Naven Shavla; Anmeldetag: 28.07.2007) ist ein System beschrieben, bei dem eine Person, die einen Marker auf dem Kopf trägt und jeweils einen Stab in einer Hand hält, gleichzeitig von zwei oder mehr Kameras erfasst wird. (Applicant: Naven Shavla; filing: 28.07.2007) describes a system in which a person who carries a marker on his head and holding each a stick in one hand, is detected simultaneously by two or more cameras. Damit soll eine dreidimensionale Mensch-Computer-Interaktion ermöglicht werden. The aim is a three-dimensional human-computer interaction are possible. An den Stäben ist jeweils eine Schalteinheit angebracht, um dem System Schaltsignale zuzuführen. On the rods a switching unit is attached to supply the system switching signals respectively. Aufgrund der erforderlichen zwei Kameras ist die bei der Bildauswertung zu bewältigende Datenmenge in der Regel sehr hoch und die Auswertung der Daten entsprechend zeitintensiv. Because of the required two cameras to be handled in the image evaluation data set is usually very high, and the evaluation of the data is in accordance with time-consuming. [0003] [0003]
Eine andersartiges Verfahren mit Apparat, bei dem nur eine Kamera zum Einsatz kommt, wird in Dokument A different kind of method with apparatus in which only one camera is used, is in document US 4 884 219 US 4,884,219 (Inhaber: W. Industries Ltd.; Prioritätstag: 21.01.1987) beschrieben. (Owner: W. Industries Ltd .; priority date: 21.01.1987) described. Auch dabei soll die Erscheinung von computergenerierten Bildern durch einen Benutzer beeinflusst werden. Here, too, the appearance will be affected by computer-generated images by a user. Die Bewegung der Augen des Benutzers wird erfasst und zu einem Computer übertragen. The movement of the eyes of the user is detected and transmitted to a computer. Weiterhin sollen auch Änderungen der Orientierung des Kopfes zur Auswertung kommen, wobei die Kopfposition mittels elektrischer Felder von einer Anordnung von Spulen an einem Helm bestimmt wird. Furthermore, should also change the orientation of the head come to the evaluation, the head position is determined by means of electric fields from an array of coils to a helmet. [0004] [0004]
Für die Erfassung einer Körperform z. B. eines menschlichen Körpers, wird in dem Dokument For the detection of a body shape z. B. a human body is in the document US 2012/0 095 589 A1 US 2012/0 095 589 A1 (Erfinder: Arcadiy Vapnik; Anmeldetag: 17.10.2011) die Verwendung eines Ganzkörperkostüms, über das Marker verteilt sind, vorgeschlagen. (Inventors: Arcadiy Vapnik; filing: 17.10.2011) the use of a full body costume, are distributed throughout the markers proposed. Hierbei kommen weiße Marker zum Einsatz, die auf das Kostüm aufgedruckt sind. This white markers are used, which are printed on the costume. Der Kostümträger wird von einer Kamera bei seinen Bewegungen gefilmt und anhand der Kamerabilder werden 3D-Koordinaten des Körpers bestimmt und mit einem Maßband skaliert. The costume carrier is filmed by a camera in his movements and on the basis of camera images 3D coordinates of the body are determined and scaled with a tape measure. [0005] [0005]
Eine Methode zur Bestimmung einer Position eines Körpers nach kartesischen Koordinaten (x, y, z) mit Hilfe von wenigstens einem Markerobjekt von bekannten Abmessungen ist aus Dokument A method for determining a position of a body according to Cartesian coordinates (x, y, z) with the aid of at least one marker object of known dimensions is known from document WO 98/30977 WO 98/30977 (Anmelderin: Qualisys AB; Prioritätstag: 13.01.1997) bekannt. (Applicant: Qualisys AB; priority date: 13.01.1997) known. Die Bewegungen des Markers sollen aus dem Videosignal eines aufgelösten Bilds einer CCD-Kamera, z. B. Infrarotkamera, berechnet werden. The movements of the marker to be calculated from the video signal of a resolution image of a CCD camera, z. B. infrared camera. Es wird die zeitliche Struktur des Videosignals ausgewertet. It is evaluated the temporal structure of the video signal. Ein Segment, das in einer Bildzeile einem Marker entspricht wird mittels eines Komparators bestimmt. A segment corresponding to an image line a marker is determined by means of a comparator. In dem Verfahren werden zunächst Koordinaten eines Bilds eines Objekts bestimmt. In the method, coordinates of an image of an object can be determined. Danach wird ein Dimensionsparameter des Objekts ermittelt und anschließend werden daraus Proportionen berechnet. Then a dimensional parameters of the object is determined and then it proportions are calculated. Aufgrund der sehr speziellen Bildauswertung sind technische Informationen des Kameratyps zu berücksichtigen. Due to the very special image analysis technical information about the camera type to be considered. [0006] [0006]
Die Rotation eines Körpers wird in der Patentanmeldung The rotation of a body is described in patent application US 2002/0 001 397 A1 US 2002/0 001 397 A1 (Erfinder: Takatoshi Ishikawa et al.; Prioritätstag: 30.10.1997) betrachtet. (Inventors: Takatoshi Ishikawa et al .; priority date: 30.10.1997) considered. Eine Kontrolleinheit soll bei schnellen Rotationen eine Bildfolge eines dargebotenen Raums erhöhen, sodass kein Eindruck des Ruckelns entsteht. A control unit is intended for quick rotations increase an image sequence of a presented space, so that no impression bucking arises. Bei der Auswertung der Rotation soll auf eine Berechnung einer Winkelgeschwindigkeit einer Kopfbewegung zurückgegriffen werden. When evaluating the rotation should be resorted to calculating an angular velocity of head movement. Es bleibt dabei offen, wie aus Bilddaten konkret auf die Winkelgeschwindigkeit geschlossen werden soll. The question remains as to be concluded from image data specifically on the angular velocity. [0007] [0007]
Die Verfolgung der Bewegung von Objekten die mit aktiv- oder passiv-strahlenden Markerelementen versehen sind, wird in Dokument The persecution of the movement of objects which are provided with active or passive markers radiating elements, is contained in document WO 2011/141 531 A1 WO 2011/141 531 A1 (Anmelderin: Movolution GmbH; Prioritätstag: 11.05.2010) beschrieben. (Applicant: Movolution GmbH; priority date: 11.05.2010) described. Digitale Farbbilder werden fortlaufend mit einer Kamera aufgezeichnet und gespeichert. Digital color images are continuously recorded and stored with a camera. Die Farbbilder werden anschließend in Graubilder umgewandelt, um die Lokalisierung der Markerelemente als helle Flecken zu erleichtern. The color images are then converted into gray images to facilitate the localization of the marker elements as bright spots. Hierzu wird jeder Grauwert mit einem definierten Schwellenwert verglichen und oberhalb eines Schwellenwerts wird ein Pixel als potentielles Markerelement registriert. For this purpose, each gray scale value is compared with a defined threshold value and above a threshold value, a pixel is recorded as a potential marker element. Nach dieser Graubildauswertung wird zur Identifizierung der Markerelemente wieder auf die digital gespeicherten Farbbilder zurückgegriffen, um die Bewegungsanalyse durchzuführen. After this gray image evaluation is used to identify the marker elements fall back again on the color images digitally stored to perform the motion analysis. Passiv retro-reflektiv-strahlende Marker sollen eine hohe Richtwirkung aufweisen. Passive retro-reflective-radiant markers should have a high directivity. Alternativ kommen auch Farb-LEDs als Marker in Betracht. Alternatively, color LEDs come as a marker into consideration. Aufgrund der Verwendung von Schwellenwerten bei der Identifikation von passiven Markern besteht allerdings die Gefahr, dass einzelne Marker bei der Bildauswertung verloren gehen. Due to the use of thresholds in the identification of passive markers, however there is a danger that individual markers are lost in the image evaluation. [0008] [0008]
Zur Verbesserung der Identifizierbarkeit von einzelnen Markern, wird in der Patentanmeldung To improve the identifiability of the individual markers, is described in patent application US 2012/0 121 124 A1 US 2012/0 121 124 A1 (Anmelderin: The Board of Trusties of the Leeland Stanford Junior University; Anmeldetag: 15.06.2011) vorgeschlagen, Marker so auszugestalten, dass sie jeweils ein aufgedrucktes schachbrettartiges Muster aufweisen, aus dem die Position des Markers hervorgeht. (Applicant: The Board of Trusties of the Leeland Stanford Junior University; filing: 15.06.2011) suggested markers such a way that they each have a printed checkered pattern, which indicates the position of the marker. Damit sollen bei Positionsbestimmungen in tomographischen Messeinrichtungen der Medizintechnik Fehler vermieden werden. This should be avoided at position provisions in tomographic measuring devices of medical errors. Ein Nachteil bei der Verwendung solcher Marker könnte allerdings darin zu sehen sein, dass bei einer freien Bewegung im Raum die Marker aus dem Kamerafokus gelangen können, sodass die positionsbestimmenden Markierungen nicht mehr aufgelöst werden können. A disadvantage in the use of such markers, however, could be seen in the fact that, for a free movement in the room can reach the markers from the camera focus, so that the position-determining marks can no longer be resolved. [0009] [0009]
Die in dem Dokument The in the document WO 02 063 456 A1 WO 02063456 A1 (Anmelderin: Anderson Technology PTY Ltd.; Prioritätstag: 08.02.2001) beschriebene Markeranordnung zur Verfolgung einer Bewegung, weist Streifen, die farblich gekennzeichnet sind, innerhalb eines Kreises auf einem Helm auf. (Applicant: Anderson Technology PTY Ltd .; priority date: 08.02.2001) marker array described for tracking a movement that has stripes that are color-coded, to within a circle on a helmet. In einer Farbanalyse von Bilddaten werden zunächst die den Markern entsprechenden Bereiche herausgefiltert, die zugeordneten Pixel gezählt und mittlere Werte für x- und y-Koordinaten bestimmt. In a color analysis of the image data corresponding to the first markers regions are filtered out, the associated counted pixels and determines average values for x and y coordinates. Wird der Pixelbereich für vernünftig befunden, so erfolgt eine Auswertung verschiedener Radien auf dem Bild mit einer Bestimmung von Geradenparametern für die Beziehung zwischen verschiedenen Stellen. If the pixel area deemed reasonable, so an evaluation of different radii in the picture with a provision of Straight parameters for the relationship between various points. Ein Problem besteht darin, dass bei schnellen Bewegungen in der Bildfolge Sequenzen auftreten können, bei denen eine Positionsbestimmung des Helms nicht möglich ist. One problem is that with fast movements in the image sequence sequences can occur in which a positioning of the helmet is not possible. Bei Übertragung einer Bewegung aus dem realen Raum auf den virtuellen Raum können daher Ungleichmäßigkeiten auftreten, die das Erlebnis der Wahrnehmung des virtuellen Raums beeinträchtigen können. When transferring a motion from the real space to the virtual space can therefore irregularities may occur which may affect the experience of the perception of the virtual space. [0010] [0010]
Ein Verfahren und eine Vorrichtung zur Videoverfolgung eines Objekts mittels einer am Kopf montierten Bildanzeigevorrichtung, sind in Dokument A method and device for video tracking of an object by means of a head-mounted image display device, are in document DE 603 01 987 T2 DE 603 01 987 T2 (Inhaberin: Samsung Electronics Co., Ltd.; Unionsprioritätstag: 07.03.2002) beschrieben. (Proprietor: Samsung Electronics Co., Ltd .; Unionsprioritätstag: 07.03.2002) described. Die Bewegung des Objekts, dh Position, Orientierung und Bewegungsrichtung, soll durch eine Kamera erfasst werden. The movement of the object, that is, position, orientation and direction of motion is to be detected by a camera. In Wechselwirkung mit den Bewegungen des Benutzers soll die Umgebung einer virtuellen Realität gestaltet werden. In interaction with the movements of the user's environment of a virtual reality is to be made. Es werden Hauptmarker und Zusatzmarker verwendet, die in unterschiedlichen Farben markiert sind. There are main markers and additional markers used, which are marked in different colors. Mindestens ein Hauptmarker muss aufgenommen werden. At least one main marker must be included. In ermittelten Videodaten werden Linsenverzerrungen kompensiert. In video data determined lens distortions are compensated. Den Markern entsprechende Bildbereiche werden unter Verwendung einer Rauschdämpfungseinheit bestimmt. The markers corresponding image areas are determined using a noise damping unit. Aus den Videodaten wird eine Bewegungsrichtung der Punkte abgeschätzt. From the video data a direction of movement of the points is estimated. Für eine Orientierungs- und Positionsabschätzung sind intrinsische Parameter der Kamera zu berücksichtigen. For orientation and position estimation intrinsic parameters of the camera have to be considered. In der Rauschdämpfungseinheit, die auf markierte Videodaten angewendet wird, soll ein morphologisches Bildbearbeitungsverfahren zum Einsatz kommen. In the noise reduction unit which is applied to selected video data is to be used a morphological image processing method. Aus Zentrumskoordinaten von Hauptmarkerbereichen wird von einer Bewegungsabschätzeinheit unter Hinzunahme von zeitlich folgenden Bildern anhand eines Farbhistogramms und eines Farbobjektverfolgungsverfahrens eine Bewegung abgeschätzt, wobei ein Kalmanfilter verwendet wird. From the center coordinates of principal marker regions is estimated by a motion estimation under addition of temporally following images, using a color histogram and a color object tracking method, a movement, wherein a Kalman filter is used. Die Unterscheidung von Hauptmarkern und Nebenmarkern und unterschiedliche Farben lässt eine Bildauswertung zeitaufwendig erscheinen und erfordert unter Umständen eine Berücksichtigung des Farbspektrums der verwendeten Lichtquellen. The distinction between main and side markers and markers of different colors allows an image evaluation seem time consuming and may require a consideration of the color spectrum of the light sources used. [0011] [0011]
Weitere Aspekte zur Bestimmung einer Pose mit einer Kamera sind z. B. in den Dokumenten Other aspects to determine a pose with a camera are z. B. in the documents US 2010/0 232 727 A1 US 2010/0 232 727 A1 (Anmelderin: Metaio GmbH; Anmeldetag: 22.05.2008) und Dokument (Applicant: Metaio GmbH; filing: 22.05.2008) and document US 2012/0 169 887 A1 US 2012/0 169 887 A1 (Anmelderin: AiLive Inc.; Anmeldetag: 05.01.2011) sowie (Applicant: AiLive Inc .; filing: 05.01.2011) and DE 69 132 952 T2 DE 132 952 T2 69 (Inhaberin: Sun Microsystems, Inc.; Prioritätstag: 30.11.1990), (Proprietor: Sun Microsystems, Inc .; priority date: 30.11.1990) US 7 529 387 B2 US 7,529,387 B2 (Inhaberin: Canon Kabushiki Kaisha; Anmeldetag: 11.05.2005), (Proprietor: Canon Kabushiki Kaisha; filing: 11/05/2005) US 8 081 815 B2 US 8,081,815 B2 (Inhaberin: Canon Kabushiki Kaisha; Anmeldetag: 08.08.2007), (Proprietor: Canon Kabushiki Kaisha; filing: 08/08/2007) US 8 217 995 B2 US 8,217,995 B2 (Inhaberin: Lockhead Martin Corporation; Anmeldetag: 17.01.2009) und (Proprietor: Lockheed Martin Corporation; filing: 17.01.2009) and WO 2008/055 262 A2 WO 2008/055 262 A2 (Annmelderin: Sensics, Inc.; Prioritätstag: 02.11.2006 und 19.06.2007) erläutert. (Annmelderin: Sensics, Inc .; priority date: 02.11.2006 and 19.06.2007) explained. [0012] [0012]
Einzelne Aspekte, die bei der mathematischen Ausgestaltung von Algorithmen hilfreich sein können, sowie Erläuterungen zu Begrifflichkeiten sind in den folgenden Veröffentlichungen enthalten: Zu Struktur aus Bewegung (Structure-from-Motion) siehe Linda G. Shapiro, George C. Stockman in „Computer Vision", Prentice Hall, (2001) ; zu Kontrollalgorithmus zum Ausschluss von Fehlerbereichen (RANSAC-Algorithmus) siehe MA Fischler, und RC Bolles in „Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography", Commun. Individual aspects that may be helpful in the design of mathematical algorithms, and explanations of terms are included in the following publications: to structure from motion (Structure-from-Motion) see Linda G. Shapiro, George C. Stockman in "Computer Vision "Prentice Hall, (2001); to control algorithm to the exclusion of error ranges (ransac) see MA Fischler and RC Bolles in" Random Sample Consensus: a paradigm for model fitting with applications to image analysis and automated cartography ", Commun. ACM, 24(6): S.381 bis S. 395 (1981) ; ACM, 24 (6): S.381 to S. 395 (1981); zu Ensemble-Anpassung-Algorithmus (Bundle Adjustment Algorithm) siehe B. to Ensemble matching algorithm (Bundle Adjustment Algorithm) see example Triggs, P. Mclauchlan, R. Hartley und A. Fitzgibbon, Kapitel „Bundle adjustment – a modern synthesis" in „Vision Algorithms: Theory and Practice ", LNCS, Seite 298 bis Seite 375, Springer Verlag, (2000) ; Triggs, P. Mclauchlan, R. Hartley and A. Fitzgibbon, Chapter "bundle adjustment - a modern synthesis" in "Vision Algorithms: Theory and Practice", LNCS, page 298 to page 375, Springer Verlag, (2000); zu Hough- Transformation siehe Hough transform to see US 3 069 654 US 3,069,654 (Erfinder: Paul VC Hough; Anmeldetag: 25.03.1960); (Inventor: Paul VC Hough; filing: 03/25/1960); zu 4-Parametrische Darstellung siehe JB Kuipers " Quaternions and Rotation Sequences: A Primer with Applications to Orbits, Aerospace, and Virtual Reality ", Mathematical Sciences Series, Princeton University Press (1999), ISBN 9780691058726 ; to 4-parametric representation see JB Kuipers "Quaternions and Rotation Sequences: A Primer with Applications to Orbits, Aerospace, and Virtual Reality", Mathematical Sciences Series, Princeton University Press (1999), ISBN 9780691058726; zu Kalmanfilter siehe Y. Kalman Filter to see Y. Bar-Shalom und Xiao Rong Li, "Estimation with ; zu Linearisierter Kalmanfilter siehe Y. Bar-Shalom und Xiao Rong Li, " Estimation with Applications to Tracking and Navigation ", John Wiley & Sons, Inc., New York, NY, USA (2001) ; zu Partikelfilter (Condensation algorithm, Sequential Monte Carlo) siehe B. Ristic, S. Arulampalam, N. Gordon, " Beyond the Kalman Filter: Particle Filters for Tracking Applications ", Artech House (2004) , siehe auch AJ Haug, " A Tutorial on Bayesian Estimation and Tracking Techniques Applicable to Nonlinear and Non-Gaussian Processes ", The MITRE Corporation, USA, Tech. Rep., Feb. Retrieved 2008-05-06 (2005) ; zu Quaternionenbasiertes Trackingfilter siehe FL Markley, " Attitude Error Representations for Kalman Filtering " in Journal of Guidance, Control, and Dynamics, 26 (2), Seite 311 bis Seite 317, (März 2003) , siehe auch IY Bar-Itzhack, und Y. Oshman " Attitude Determination from Vector Observations: Quaternion Estimation " in IEEE Transactions on Aerospace and Electronic Systems, 21 (1), Seite 128 bis Seite 136, (Jan. Bar-Shalom and Xiao Rong Li, "Estimation with; Linearized Kalman filters to see Y. Bar-Shalom and Xiao Rong Li," Estimation with Applications to Tracking and Navigation ", John Wiley & Sons, Inc., New York, NY, USA (2001); (Condensation algorithm, Sequential Monte Carlo) to particulate see B. Ristic, S. Arulampalam, N. Gordon, "Beyond the Kalman filter: Particle Filters for Tracking Applications", Artech House (2004), see also AJ Haug , "A Tutorial on Bayesian Estimation and Tracking Techniques Applicable to Nonlinear and Non-Gaussian Processes", The MITRE Corporation, USA, Tech Rep, Febuary Retrieved 2008-05-06 (2005);.. to Quaternionenbasiertes tracking filter FL see Markley, "Attitude Error Representations for Kalman Filtering" in the Journal of Guidance, Control, and Dynamics, 26 (2), page 311 to page 317, (March 2003), see also IY Bar Itzhack, and Y. Oshman "Attitude Determination from Vector Observations: quaternion Estimation "in IEEE Transactions on Aerospace and Electronic Systems, 21 (1), page 128 to page 136, (Jan. 1985) , sowie I. 1985), as well as I. Y Bar-Itzhack,.J. Y Bar Itzhack, .J. Deutschmann und FL Markley, " Quaternion Normalization in Additive EKF For Spacecraft Attitude Determination " in NASA Technical Documents, Seite 403 bis Seite 421, (Feb. 1993) . German man and FL Markley, "quaternion Normalization in additives EKF For Spacecraft Attitude Determination" in NASA Technical Documents, page 403 to page 421, (Feb. 1993). [0013] [0013]
Ein Verfahren zur monokularen omnidirektionalen Erfassung von Kopfbewegungen im sichtbaren Lichtspektrum ist in dem Artikel von Giroen Lichtenauer und Maya Pantic, 2011 IEEE International Conference on Computervision Workshop, Seite 430 bis Seite 436, (2011) beschrieben. A method of monocular omnidirectional detection of head movements in the visible light spectrum is in the article by Giron Lichtenauer and Maya Pantic, 2011 IEEE International Conference on Computer Vision Workshop, page 430 to page 436, (2011) described. Die verwendeten Markerstrukturen sind an einem Metallrahmen befestigt, der auf dem Kopf getragen werden kann. The marker structures used are attached to a metal frame, which can be worn on the head. Die Markeranordnung kann mit Winkeln von bis zu 90° in Frontalansicht verwendet werden. The arrangement of markers can be used at angles of up to 90 ° in frontal view. Die Marker sind zur Vermeidung von möglichen Abdeckungen an Stäben befestigt, die vom Kopf abstehen. The markers are attached to avoid possible covers of rods, which protrude from the head. In einem ersten Schritt ist es erforderlich, ein Ausgangsmodell der Markerstruktur zu bestimmen. In a first step it is necessary to determine an initial model of the marker structure. Hierbei müssen Punkt-zu-Punkt Messungen von Markern vorgenommen werden. In this case, point-to-point measurements of markers have to be made. Der Metallrahmen passt sich flexibel dem Kopf an, weshalb die Markerpositionen veränderlich sind. The metal frame adapts flexibly to the head, which is why the marker positions are changeable. Für die Positionsbestimmung werden Marker ausgewählt, die eine nahezu gleichseitige Dreiecksanordnung bilden. For the positioning markers are selected which form a nearly equilateral triangle arrangement. Damit werden tendenziell weit beabstandete Marker zu Auswertung vorausgewählt. This tends to widely spaced markers are pre-selected for evaluation. Die Verwendung einer flexiblen Markerstruktur erhöht die Gefahr, dass sich während des Tragens die Struktur ändert und dadurch die Verfolgung der Marker größere Fehler aufweist oder unterbrochen wird. The use of a flexible marker structure increases the risk that during wear changes the structure and thus the tracking of the marker has larger error or is interrupted.
[0014] [0014]
Von dem Unternehmen ImmerSight GmbH wurde bereits eine Ausführungsform eines Markerträgers mit einem fünfeckigen Querschnitts präsentiert, auf dem mehrere Marker auf Flächenelementen angeordnet sind. From the company always Sight GmbH an embodiment of a marker carrier has already been presented with a pentagonal cross section, are arranged on the plurality of markers on surface elements. Der Markerträger kann um den Kopf einer Person ungefähr auf Augenhöhe mittels einer Videobrille getragen werden. The marker carriers can be worn around a person's head about at eye level by means of a video glasses. Die Kopfstellung und die Bewegung der Person im Raum werden in einem System über eine Kamera ermittelt. The head position and movement of the person in the room are determined in a system using a camera. Die Kopfposition lässt sich in eine Präsentation einer virtuellen Umgebung, z. B. aus einem rechnergestützten Entwicklungsprogramm (CAD), zur Darstellung auf einer Videobrille umrechnen. The head position can be divided into a presentation of a virtual environment, for. Example, from a computer-aided development program (CAD), convert for display on a video glasses. Damit können bereits beeindruckende visuelle Darstellungen erzeugt werden. This stunning visual representations can already be generated.
Aufgabenstellung Task
[0015] [0015]
Die Aufgabe der vorliegenden Erfindung besteht darin die Bestimmung einer Position weiter zu verbessern und möglichst exakte Positionsdaten in Echtzeit, oder zumindest in einer Zeitfolge die unterhalb der menschlichen Wahrnehmungsschwelle liegt, bereitzustellen. The object of the present invention is to further improve the determination of a position and exact as possible position data in real time, or at least in a time sequence which is below the human perception threshold provide. Nach einem weiteren Aspekt besteht eine Aufgabe darin, gewonnene Positionsdaten zur weiteren Verbesserung eines visuellen Eindrucks einer virtuellen Umgebung innerhalb eines Systems zu verwerten. According to another aspect, an object is to use position data obtained to further improve a visual impression of a virtual environment within a system. Damit sollen z. B. Bewegungen in einer virtuellen Welt noch beeindruckender erscheinen, weil die Darstellung der Bewegung einem natürlichen bzw. einem tatsächlichen Bewegungsablauf noch besser entspricht. This is intended for. B. movements in a virtual world appear more impressive, because the representation of the movement of a natural or an actual movement sequence corresponds even better.
Erfindungsbeschreibung Description invention
[0016] [0016]
Die erfindungsgemäße Aufgabe wird durch den kennzeichnenden Teil eines Verfahrens nach Anspruch 1 und den kennzeichnenden Teil eines Verfahrens nach Anspruch 8 gelöst, sowie durch ein System, das die Merkmale des kennzeichnenden Teils von Anspruch 18 aufweist. The inventive object is solved by the characterizing part of claim 1 and a method according to the characterizing part of a method according to claim 8, and by a system having the features of the characterizing portion of claim 18.
[0017] [0017]
Die Pose eines Objekts, die auch als Lage eines Objekts bzw. Lage eines Gegenstands bezeichnet werden kann, wird aus Kamerabildern ermittelt. The pose of an object, which may also be referred to as a position of an object or location of an object is determined from the camera images. Positionsdaten können auch bei schnellen Bewegungen oder Drehungen in guter Qualität, dh insbesondere ununterbrochen, bereitgestellt werden. Position data can be continuously ie in particular, also provided with fast movements or rotations in good quality. Bereits ein einziges Kamerabild kann ausreichen, um eine präzise Abschätzung für die Lage eines Objekts zu erhalten. Already a single camera may be sufficient to obtain a precise estimate of the position of an object. Besonders zuverlässig sind erfindungsgemäße Verfahren, die es ermöglichen die Lage eines Objekts in jeder theoretisch einnehmbaren Pose zu bestimmen. Especially reliable are inventive method, which allow the position of an object in any ingestible theoretically pose to determine. Nach einem zeitlichen Aspekt kann eine einnehmbare Pose auch als eine geänderte gegenständliche Lage bezeichnet werden. After a temporal aspect may pose an ingestible be referred to as a modified objective situation. Eine geänderte gegenständliche Lage lässt sich z. B. durch eine erste Bilddatenpixelanordnung und eine zweite Bilddatenpixelanordnung festhalten. A revised objective situation can be said for. Example by a first image data pixel array and a second image data pixel array. Die geänderte gegenständliche Lage ist ausgehend von einer Ausgangslage einnehmbar. The amended objective situation is starting from a starting position ingestible. Die Ausgangslage kann daher auch als eine erste gegenständliche Lage bezeichnet werden. The situation can therefore be referred to as a first objective situation. Vorzugweise werden die Bilder mit einer einzigen Kamera, wie eine schwarz/weiß-Kamera, aufgenommen. Preferably, the images with a single camera, like a black / white camera, recorded. Handelsübliche Digitalkameras können verwendet werden. Commercially available digital cameras can be used. Die Aufnahmen erfolgen mit einer Bildwiederholrate. The recordings are made at a frame rate. Die Bildwiederholrate hat eine Größe, mit der ein Bewegungsablauf insbesondere schrittweise, mit anderen Worten ohne Auslassung einzelner Bewegungsphasen, abbildbar ist. The frame rate has a size with which a motion sequence, in other words, in particular gradually without omission of individual movement phases, mapped. Die Bestimmung der Lage eines Objekts lässt sich besonders schnell ausführen, wenn eine Vorinformation über die geometrische Struktur des Objekts vorliegt. The determination of the position of an object can be carried out very quickly, if a prior information notice on the geometric structure of the object is present. Eine anfängliche Bestimmung einer gegenständlichen Lage wird auch als Initialisierung bezeichnet. An initial determination of an objective position is also referred to as initialization.
[0018] [0018]
Eine Objektstruktur lässt sich anhand einzelner Markerpunkte festlegen. An object structure can be defined on the basis of individual marker points. Ein Markerpunkt kann eine Stelle des Objekts sein, die sich von einem Umgebungsbereich des Objekts unterscheidet. A marker point may be a location of the object, which is different from a surrounding region of the object. Es ist auch möglich, an einem Objekt Markerelemente vorzusehen. It is also possible to provide on an object marker elements. Ein Markerpunkt kann z. B. ein Mittelpunkt eines Markerelements sein. A marker point can be a focal point of a marker element z. B.. Anders gesagt kann durch ein Markerelement ein Punkt an einer Struktur eines Objekts messbar festgelegt sein. In other words, may be fixed to a structure of a measurable object by means of a marker element, a point. Die Festlegung ist nach einem Aspekt eindeutig. The setting is unique in one aspect. Eine Position eines Objektpunkts entspricht einer Position eines Markerpunkts. A position of an object point corresponding to a position of a marker point. Auch die erhobene Position eines Markerpunkts legt die Position eines Objekts in drei Freiheitsgraden fest. The raised position of a marker point determines the position of an object fixed in three degrees of freedom. Bei Objekten, die z. B. in Form oder Farbe veränderlich sind, ist es vorteilhaft für die Bestimmung einer gegenständlichen Lage, wenn dem veränderlichen Objekt ein Markerträger zugeordnet ist. For objects that z. B. are variable in shape or color, it is advantageous for the determination of an objective situation, if the variable object is assigned a marker carrier. Auf dem Markerträger sind Markerpunkte in Gestalt von Markerelementen angeordnet. On the marker carriers Marker dots are arranged in the form of marker elements. Die Anordnung der Markerelemente zueinander ist festgelegt. The arrangement of marker elements to each other is fixed. Der Markerträger ist vorzugsweise forminvariant. The marker carrier is preferably invariant. Der Markerträger kann von dem Objekt oder von einer Person getragen werden. The marker carriers can be supported by the object or by one person. Nach einem Aspekt kann der Markerträger auch selbst als Objekt bezeichnet werden, dem eine gegenständliche Lage zukommt. According to one aspect of the marker carrier itself can also be called an object, which plays a representational situation. Eine gegenständliche Lage wird eindeutig durch drei räumliche Dimensionen und eine Orientierung beschrieben. A representational position is uniquely described by three spatial dimensions and orientation. Durch ein Markerelement, insbesondere einen Mittelpunkt eines Markerelements, wird eine Position eines Objektpunkts angezeigt. By a marker element, in particular a center of a marker element, a position of an object point is displayed.
[0019] [0019]
Die Markerelemente bilden in einer jeweiligen Position auf dem Markerträger eine Markerkonfiguration. The marker elements form a marker configuration in a respective position on the marker carriers. Eine Mehrzahl von Markerelementen liegt in einer Konfiguration vor. A plurality of marker elements is present in a configuration. Die Markerkonfiguration kann auch als eine Konfiguration von Markerpunkten bezeichnet werden. The marker configuration may be referred to as a configuration of marker points. Die Markerkonfiguration ist z. B. aus der Herstellung des Markerträgers vorbekannt. The marker configuration is previously known eg. B. Preparation of the marker from the carrier. Nach einem Aspekt liegt die bekannte Markerkonfiguration als Datensatz vor, die auch als Markerkonfigurationsdaten bezeichnet werden. In one aspect, the known marker configuration is present as a data set, which are also referred to as a marker configuration data. Es ist auch möglich die Markerkonfiguration an einem veränderbaren Markerträger durch einen Algorithmus, insbesondere aus einer Folge von zweidimensionalen Bildern, zu ermitteln. It is also possible that marker configuration of a variable marker carrier by an algorithm, in particular of a sequence of two-dimensional images to identify. Der Markerträger oder auch die Markerkonfiguration ist zumindest einem Koordinatentupel eines Objekts zuordnenbar, wobei das Koordinatentupel zumindest drei räumliche Dimensionen und eine Orientierung beschreibt. The marker carrier or the marker configuration is at least one coordinate tuple of objects assignable, the coordinate tuples at least three spatial dimensions and orientation describes. Eine in einem Raum eingenommene Lage einer Markerkonfiguration, insbesondere bezogen auf einen Fixpunkt des Raums, wird auch als Markerpositionskonfiguration bezeichnet. An occupied space in a location of a marker configuration, particularly with respect to a fixed point of the space is also referred to as a marker position configuration. Eine Markermodellkonfiguration umfasst eine Konfiguration von Markerpunktkoordinaten, die eine rechnerisch bereitgestellte Markerpositionskonfigurationshypothese darstellt. A marker model configuration includes a configuration of marker coordinate point that represents a calculated position marker provided configuration hypothesis.
[0020] [0020]
Die Bestimmung der Pose bzw. der Lage erfolgt mit einer Digitalkamera. The determination of the pose or the position is carried out with a digital camera. Die Digitalkamera kann einen Markerträger filmen oder fotografieren. The digital camera can film or photograph a marker carrier. Die optischen Kamerabilder werden in der Digitalkamera in elektronische Daten, die auch als Bilddaten bezeichnet werden, gewandelt. The optical camera images are in the digital camera into electronic data, which are also referred to as image data converted. Die Bilddaten werden einer Recheneinheit zugeführt, welche insbesondere eine Speichereinheit aufweist. The image data is supplied to an arithmetic unit, which in particular has a memory unit. Zwischen der Recheneinheit und der Digitalkamera liegt eine Bilddatenerfassungsverbindung vor, die z. B. über eine Leitungsverbindung oder als eine Funkverbindung, wie eine Infrarotverbindung, ausgebildet sein kann. Between the processing unit and the digital camera there is an image data acquisition compound z. B. can be via a line connection or a radio connection such as an infrared link, is formed. In der Recheneinheit wird die gegenständliche Lage bestimmt. In the computing unit, the subject position is determined. Die Recheneinheit wertet Bilddaten aus. The processing unit evaluates image data. Die Bilddaten dienen der Bestimmung der Lage eines Objekts, die zu dem Zeitpunkt der Bilderfassung eingenommen ist. The image data are used to determine the position of an object, which is taken at the time of image capture. In Versuchen hat sich herausgestellt, dass Verfahren zur Bestimmung einer gegenständlichen Lage besonders genau arbeiten, wenn ein Markerträger verwendet wird, der mindestens sechs Markerelemente in einer vorbekannten Markerkonfiguration aufweist. In tests it has been found that methods for determining an objective situation developing very accurate when a marker carrier is used which has at least six marker elements in a known marker configuration. Die Markerelemente sind zueinander beabstandet angeordnet. The marker elements are arranged spaced from one another. Die Markerkonfiguration nimmt auf dem Markerträger eine Position ein. The markers on the marker carrier configuration takes up a position. Durch die Markerkonfiguration auf dem Markerträger lässt sich eine Richtung bezogen auf den Markerträger festlegen. By marker configuration on the marker carrier, you can choose a direction based on the marker carriers. Eine Richtung kann z. B. mit einer Orientierung angegeben werden. A direction may be, for. Example, are marked with an orientation. Die dem Markerträger zugeordnete Richtung kann eine Richtung eines Objekts, wie eine Drehrichtung, eine Bewegungsrichtung, eine Laufrichtung oder eine Flugrichtung, die auch als Translationsrichtung oder Rotationsrichtung bezeichnet werden können, sein. The markers support the assigned direction may be a direction of an object, such as a rotational direction, a moving direction, a direction or a direction of flight, which can be referred to as translational direction or rotation direction. Der Markerträger ist an einem Objekt befestigbar. The marker beam can be fastened to an object. Die Richtung kann allerdings auch eine Kopfstellung oder eine Blickrichtung einer Person sein, die den Markerträger z. B. auf dem Kopf trägt. The direction can however also be a head position or a line of sight of a person who carries the marker carrier z. B. on the head. Position, Richtung oder auch Orientierung können z. B. mittels Koordinaten oder Vektoren abstrakt, insbesondere zusammengefasst als Datentupel, dargestellt werden. Position, direction or orientation can eg. As abstract means of coordinates or vectors, in particular collectively data tuples are represented.
[0021] [0021]
Ein Markerelement nimmt im Raum eine Markerposition ein. A marker element takes in the room one a marker position. Die Markerposition ist von der Digitalkamera erfassbar. The marker position can be detected from the digital camera. Die Digitalkamera zeichnet Licht, das von einem Markerelement ausgeht, auf. The digital camera records light emanating from a marker element on. Licht, das von dem Markerelement aktiv oder passiv ausgesendet werden kann, wird durch einen Kamerachip auf eine elektronische Bilddatenpixelanordnung abgebildet. Light which can be emitted by the active or passive marker element is imaged by a camera chip on an electronic image data pixel array. Der Raumbereich in drei Dimensionen, in dem sich ein Markerelement befindet, wird auf eine zweidimensionale Pixelanordnung abgebildet, aus der die zu erfassenden Bilddaten hervorgehen. The region of space in three dimensions, in which a marker element is located is displayed on a two-dimensional array of pixels, from the emerge the image to be captured data. In der Recheneinheit werden die Bilddaten bzw. die Bilddatenpixelanordnung ausgewertet. In the computing unit, the image data or the image data pixel array are evaluated. Vorzugsweise nimmt ein Markerelement in der Bilddatenpixelanordnung mindestens ein Pixel ein, womit ein von der Digitalkamera zu leistendes Auflösungsvermögen festgelegt werden kann. Preferably, a marker element in the image data pixel array occupies at least one pixel, whereby an end to be made from the digital camera resolution can be set. Nach einem anderen Aspekt bestimmt eine Pixelgröße im Verhältnis zu einer Markergröße bei einem gegebenen, festliegenden Abbildungsverhältnis durch eine Digitalkamera einen, vorzugsweise maximalen, Abstand zwischen der Digitalkamera und dem Markerelement. In another aspect, a pixel size is determined in relation to a marker size at a given, fixed magnification ratio a by a digital camera, preferably maximum, distance between the digital camera and the marker element. Aufgrund der innerhalb eines Pixels erfolgten Helligkeitsintegration und der möglichen Aufteilung der Helligkeit eines Markerelements, z. B. über vier in einem Quadrat angeordnete Pixel, sollte das Auflösungsvermögen, zumindest bei passiven, lichtstreuenden Markerelementen, nicht unterschritten werden. Due to the successful within a pixel brightness integration and the possible division of the brightness of a marker element, z. B. four arranged in a square pixels, the resolution should, at least for passive, light scattering marker elements, not be undershot. Damit ist ein Markerelement in einer Bilddatenpixelanordnung als ein Markerbildbereich auffindbar. In order for a marker element in an image data pixel array as a marker image area is found.
[0022] [0022]
In der Recheneinheit kann ein Verfahren, wie das Verfahren zur Bestimmung einer gegenständlichen Lage, durch einen Softwarecode programmiert sein. In the arithmetic unit, a method, as the method for determining a subject able to be programmed by a software code. Die Recheneinheit führt Algorithmen aus. The arithmetic unit performs algorithms. Ein Algorithmus kann nach einem Systemaspekt auch als eine Einheit bezeichnet werden, die in der Recheneinheit vorliegen. An algorithm can also be referred to as a unit after a system aspect, present in the computing unit. Anders gesagt sind Algorithmen Untereinheiten einer Recheneinheit, die neben den internen Betriebseinheiten der Recheneinheit zur Ausführung vorgehalten werden. In other words, algorithms are sub-units of a computing unit, which are held in addition to the internal operating units of processing unit for execution.
[0023] [0023]
Die Recheneinheit ist mit einem Markererkennungsalgorithmus ausgestattet. The computing unit is equipped with a marker detection algorithm. Der Markererkennungsalgorithmus dient der Auffindung eines Markerbildbereichs in der zweidimensionalen Bilddatenpixelanordnung. The marker detection algorithm is used for the discovery of a marker image area in the two-dimensional image data pixel array. Vorzugsweise wird jeder der abgebildeten Markerelemente als Markerbildbereich von dem Markererkennungsalgorithmus aufgefunden. Preferably, each of the marker elements mapped is found as a marker image area of the marker detection algorithm. Als Markererkennungsalgorithmus eignet sich z. B. die sogenannte Hough-Transformation. As a marker detection algorithm, z. B. is called the Hough transform. Die Hough-Transformation ist ein robustes globales Verfahren zur Erkennung von Geraden, Kreisen oder beliebigen anderen parametrisierbaren geometrischen Figuren in einem binären Gradientenbild, also einem Schwarz-Weiß-Bild, anhand des Auffindens von Kanten. The Hough transform is a robust global method for detecting straight lines, circles or any other parameterized geometric figures in a binary gradient image, so a black and white image, based on the finding of edges. Die Hough-Transformation eignet sich, um kugelförmige Marker oder Markerelemente in einer Bilddatenpixelanordnung zu erkennen. The Hough transform is to detect spherical markers or marker elements in an image data pixel array.
[0024] [0024]
Die zweidimensionale Bilddatenpixelanordnung wird verwendet, um eine dreidimensionale Markerpositionskonfiguration zu berechnen. The two-dimensional image data pixel array is used to calculate a three-dimensional marker position configuration. Die dreidimensionale Markerpositionskonfiguration kann als die räumliche Anordnung, in der die Markerelemente im Aufnahmebereich der Digitalkamera vorliegen, bezeichnet werden. The three-dimensional marker position configuration can be used as the spatial arrangement, in which the marker elements are present in the receiving area of the digital camera are referred to. Nach einem Aspekt ist in der Markerpositionskonfiguration auch der Abstand zwischen Markerträger und Digitalkamera enthalten. According to one aspect is included in the marker position configuration, the distance between marker carrier and digital camera. Abstandsänderungen zwischen einer Markerkonfiguration und einer Digitalkamera sind schnell auswertbar. Changes in distance between a marker configuration and a digital camera are quickly evaluated. Marker können auch als Markerelemente bezeichnet werden. Markers can also be referred to as marker elements. Nach einem Aspekt können Marker Markerelemente umfassen. According to one aspect markers marker elements may comprise.
[0025] [0025]
Der Markerträger weist mindestens zwei fest miteinander verbundene Trägerflächenelemente auf, die als ein erstes und als ein zweites Trägerflächenelement bezeichnet werden können. The label carrier has at least two firmly interconnected support surface elements, which can be referred to as a first and as a second supporting surface element. Ein Trägerflächenelement ist ein Flächenelement, das vorzugsweise ein Verhältnis von einer Längsseite zu einer Schmalseite aufweist, das z. B. ein Verhältnis von 10:1 nicht überschreitet. A carrier surface member is a ratio of a surface element 10, which preferably has a ratio of a long side to a short side, which for example: does not exceed the first. Das kann Trägerflächenelement zur Längsseite und Schmalseite noch eine Dicke aufweist, die insbesondere weniger als 10 mm (Millimeter), vorzugsweise weniger als 2 mm beträgt. The can carrier surface element to the long side and short side still has a thickness which is in particular less than 10 mm (millimeters), preferably less than 2 mm. Ein Trägerflächenelement ist vorzugsweise ebenflächig. A support surface member is preferably planar. Auf dem Trägerflächenelement angeordnete Markerelemente verschwinden bei einer Winkelstellung des Trägerflächenelements bezogen auf die Digitalkamera nicht hinter dem Horizont einer Wölbung. Arranged on the carrier element surface marker elements will not disappear at an angular position of the supporting surface element based on the digital camera behind the horizon of a buckle. Das erste und das zweite Trägerflächenelement weisen eine Winkelstellung zueinander auf. The first and the second supporting surface element have an angular position to each other. Ein Winkel zwischen zwei Trägerflächenelementen beträgt vorzugsweise mindestens 90°. An angle between two supporting surface elements is preferably at least 90 °. Dem ersten Trägerflächenelement sind mindestens drei der mindestens sechs Markerelemente zugeordnet. The first support surface element associated with at least three of at least six marker elements. Die Markerelemente besitzen eine zwei- oder drei-dimensionale Form, die sie von dem Trägerflächenelement unterscheidet. The marker elements have a two- or three-dimensional shape, which distinguishes them from the carrier element surface. Markerelemente sind z. B. kugelförmige Objekte, die auf dem Trägerflächenelement angeordnet sind. Marker elements are, for. Example, spherical objects, which are arranged on the carrier element surface. Weitere Markerelemente sind dem zweiten Trägerflächenelement oder auch weiteren, vorliegenden Trägerflächenelementen zugeordnet. More marker elements are associated with the second carrier element surface or even further, the present support surface elements. Das erste Trägerflächenelement mit den zugeordneten Markerelementen unterscheidet sich von dem zweiten Trägerflächenelements durch die zugeordneten Markerelementen und insbesondere von allen weiterer Trägerflächenelemente mit zugeordneten Markerelementen. The first carrier surface element with the associated marker elements is different from the second carrier surface element by the associated marker elements and in particular of all other elements support surface with associated marker elements. Die Unterscheidbarkeit ergibt sich aus der abweichenden Konfigurierung der Markerelemente auf einem jeweiligen Trägerflächenelement. Distinctness results from the different configuration of the marker elements on a respective carrier element surface. Bei gleichartigen Markerelementen unterscheiden sich vorzugsweise die Abstände, die die Markerelemente auf einem Trägerflächenelement zueinander aufweisen. In similar marker elements preferably differ, the distances which have the marker elements on a support surface element to each other. Liegen die Markerelemente auf einem Trägerflächenelement in einer Dreieckskonfiguration vor, so ist vorzugsweise zumindest einer der Dreieckswinkel nur einmalig in der vorbekannten Markerkonfiguration vorhanden. If the marker elements on a support surface element in a triangular configuration before, it is preferably at least one of the triangle angle available only once in the known marker configuration. Vorteilhaft ist es auch, wenn alle Dreieckswinkel, die in der Markerkonfiguration, insbesondere auf einem Trägerflächenelement, vorliegen, voneinander abweichen. It is also advantageous if all the triangle angle, which are present in the marker configuration, in particular a support surface element differ. Die Markerelemente der Markerkonfiguration sind bereichsweise unterscheidbar konfiguriert. The marker elements of the marker configuration are regionally differentiated configured.
[0026] [0026]
Die Berechnung der Markerpositionskonfiguration erfolgt aus drei gemeinsam für die Digitalkamera sichtbaren Markerelementen, die in der Markerkonfiguration vorliegen. The calculation of the marker position configuration is made of three common visible for the digital camera marker elements which are present in the marker configuration. Bei der Berechnung kommt ein Vergleichsalgorithmus zum Einsatz. In the calculation, a comparison algorithm is used. Der Vergleichsalgorithmus wird auf drei gemeinsam von der Digitalkamera in einer Bilddatenpixelanordnung erfasste Markerelemente, die der Markerkonfiguration angehören, und eine Markermodellkonfiguration angewendet. The comparison algorithm is applied to three jointly acquired by the digital camera in an image data pixel array marker elements which belong to the marker configuration, and a marker model configuration. Anders gesagt wird der Vergleichsalgorithmus auf die Bildbereiche der Markerelemente, insbesondere auf einen Koordinatensatz des jeweiligen Bildbereichs angewendet. In other words, the comparison algorithm is applied to the image areas of the marker elements, in particular to a set of coordinates of the respective image area. Die Markermodellkonfiguration geht aus der bekannten Markerkonfiguration hervor. The marker model configuration is shown in the known marker configuration. Die Markermodellkonfiguration ist eine perspektivische Darstellung der Markerkonfiguration, die z. B. als ein Datensatz in der Recheneinheit vorliegt. The marker configuration is a model perspective view of the marker configuration, z. B. present as a record in the computing unit. Die Markermodellkonfiguration wird, insbesondere bereichsweise, vorzugsweise mit einem Projektionsalgorithmus, auf die Ebene der Markerbildbereiche projiziert. The marker model configuration, in particular regions, preferably projected with a projection algorithm, to the level of marker image areas. Mathematisch wird die Projektion mit einer sogenannten Projektionsgleichung durchgeführt, deren Lösung in der Recheneinheit erfolgt. Mathematically, the projection carried out with a so-called projection equation, the solution of which takes place in the computing unit. Die Projektion wird auf drei Markerbildbereiche gerichtet. The projection will be directed to three marker image areas. Die drei Markerbildbereiche sind eine Untergruppe aus allen aufgefundenen Markerbildbereichen einer Bilddatenpixelanordnung. The three marker image areas are a subset of all discovered marker image areas of an image data pixel array. Die Untergruppe kann z. B. auch fünf Markerbildbereiche umfassen aus denen verschiedene Kombinationen von drei Markerbildbereichen gebildet werden. The subgroup can make up different combinations of three markers image areas are formed z. B. also include five marker image areas.
[0027] [0027]
Verschiedene Markermodellkonfigurationen werden sequenziell mit drei Markerbildbereichen verglichen. Various markers model configurations are sequentially compared with three marker image areas. Der Vergleich kann auch auf parallelen Prozessoren einer Recheneinheit ausgeführt werden. The comparison can also be performed on parallel processors of a computational unit. Der Vergleichsalgorithmus bestimmt mindestens einen Genauigkeitswert des Vergleichs. The comparison algorithm determines at least a level of accuracy of the comparison. Der Genauigkeitswert kann z. B. ein Koordinatendifferenzwert, ein Schrittweitewert oder ein Schrittzahlwert sein. The accuracy value may be, for. Example, a coordinate difference value, an increment value or a number of steps value. Der mindestens eine Genauigkeitswert ist einer Markermodellkonfiguration zugeordnet. The at least one precision value is assigned to a marker model configuration. Ein Vergleich von Genauigkeitswerten verschiedener Markermodellkonfigurationen zeigt an, welche Markermodellkonfiguration der Markerpositionskonfiguration entspricht. A comparison of accuracy levels of various markers model configurations displays, which corresponds marker model configuration the marker position configuration. Es wird rechnerisch festgelegt, welche räumliche Position und welche Orientierung die Markerpositionskonfiguration aufweist. It is determined by calculation, which spatial position and orientation which has the marker position configuration. Position und Orientierung werden anhand der zuordnenbaren Markermodellkonfiguration ausgewählt, nämlich der Markermodellkonfiguration, die am Besten zu den Markerbildbereichen passt. Position and orientation are selected on the basis of assignable markers model configuration, namely the marker model configuration that best fits the marker image areas. Damit ist die gegenständliche Lage erkannt. Thus, the objective position is detected. Insbesondere liegen die drei räumlichen Dimensionen und eine Orientierung in einer Koordinatendarstellung vor. In particular, the three spatial dimensions and orientation in a coordinate representation are. Die eindeutig ermittelten Koordinaten, welche die Lage beschreiben, können von der Recheneinheit in zusätzlichen Algorithmen weiterverwendet werden. The uniquely determined coordinates, which describe the situation can still be used by the computing unit in additional algorithms. Die gegenständliche Lage, die z. B. von einem Objekt oder einer Person, welcher der Markerträger zugeordnet ist, zumindest nach einem Aspekt eingenommen ist, ist somit bestimmt. The subject location, z. B. from an object or a person, which is associated with the marker carrier, is occupied at least in one aspect, is thus determined. Demnach ist die Lage erkannt oder anders gesagt ausgemacht. Accordingly, the situation is recognized or otherwise identified said.
[0028] [0028]
Es ist auch möglich mit einem erfindungsgemäßen Verfahren schnell eine geänderte gegenständliche Lage zu bestimmen. It is also possible by a method according to the invention quickly to determine a changed objective situation. Eine geänderte gegenständliche Lage liegt insbesondere dann vor, wenn ein Markerträger ausgehend von einer ersten Position eine zweite Position einnimmt. A revised objective situation exists in particular if a marker carrier starting from a first position a second position. Beispielsweise kann eine Person oder ein Objekt, das dem Markerträger zugeordnet ist, eine Pose einnehmen. For example, a person or an object that is associated with the marker carrier, taking a pose. Eine Pose ist z. B. eine Neigung eines Markerträgers, die einer Kopfneigung entspricht. A pose is z. B. an inclination of a marker carrier, which corresponds to a head tilt. Eine Pose ist auch eine Drehstellung eines Markerträgers, die einer Kopfdrehung entspricht. A pose is also a rotational position of a marker carrier, which corresponds to a head rotation. Nach einem Aspekt umfasst die Pose eine Position eines Markerträgers im Raum und eine Orientierung des Markerträgers. In one aspect, the pose comprises a position of a marker carrier in space, and an orientation of the marker beam. Es kann auch von einem Ort und von einer Neigung des Markerträgers gesprochen werden. It can also speak of a place and of a tilt of the marker carrier. Die Orientierung ist nach einem weiteren Aspekt eine dem Markerträger zugeordnete Richtung. The orientation of the marker is a carrier associated direction according to another aspect. In jedem Fall liegt eine geänderte gegenständliche Lage im Ablauf einer Bewegung vor. In any case, there is a changed objective situation in the course of a movement. Die geänderte gegenständliche Lage ist mit einer Digitalkamera aufzeichenbar. The amended objective situation is recordable with a digital camera. Eine geänderte gegenständliche Lage ist eine gegenständliche Lage, die ausgehend von einer Ausgangslage eingenommen worden ist. A revised objective situation is an objective situation, which has been taken from a starting position. Eine Änderung der gegenständlichen Lage ist als eine zeitliche Folge von Änderungsschritten, die auch als Bewegungsschritte bezeichnet werden können, beschreibbar. A change in position of the subject is provided as a time sequence of modification steps which may also be referred to as a movement steps writable. Die gegenständliche Lage nach einem Änderungsschritt ist in einer Bilddatenpixelanordnung erfassbar. The objective situation after a modification step can be detected in an image data pixel array. Nach einem Aspekt kann eine Ausgangslage eine bekannte Markerkonfiguration sein, die als Koordinatensatz, der alle Markerelemente einzeln umfasst, in der Recheneinheit vorliegt. In one aspect, an initial position to be a well-known marker configuration that is present as a set of coordinates that includes all marker elements individually in the computing unit. Die Ausgangslage kann z. B. durch eine Erfassung von Markerbildbereichen mit einer Digitalkamera in einer ersten Bilddatenpixelanordnung in einer Recheneinheit bestimmt worden sein. The situation may have been determined by a detection of marker image areas with a digital camera in a first image data pixel array in an arithmetic unit such. As. Die Ausgangslage kann allerdings auch iterativ aus einer zeitlich zurückliegenden Auswertung von Markerbildbereichen bestimmt worden sein. The situation may, however, also have been determined iteratively from a temporally previous evaluation of marker image areas. Hierzu eignet sich z. B. eine Folge von zweidimensionalen Bilddatenpixelanordnungen, die in einem Ablauf einer Bewegung mit dem Markerträger aufgezeichnet wurde, wobei vorzugsweise alle Seiten des Markerträgers der Digitalkamera gezeigt werden. For this purpose, eg. As is a sequence of two-dimensional image data pixel arrays, which was recorded in a sequence of motion with the marker carrier, preferably all sides of the marker carrier of the digital camera are shown.
[0029] [0029]
Bei der Aufzeichnung der Bewegung durch die Digitalkamera wird eine zeitliche Abfolge von Bilddatenpixelanordnungen aufgenommen. In the recording of the movement by the digital camera a temporal sequence of image data of pixel arrays is recorded. Ausgehend von einer ersten Bilddatenpixelanordnung, aus der heraus eine Ausgangslage festgelegt ist, wird mindestens eine weitere Bilddatenpixelanordnung aufgenommen und als Datensatz der Recheneinheit zugeführt. Starting from a first image data pixel array, from a starting position is set out, another image data pixel array is at least recorded and supplied as a record of the computing unit. Diese weitere, zweidimensionale Bilddatenpixelanordnung weist in Folge einer Bewegung geänderte Markerbildbereiche auf. These additional, two-dimensional image data pixel arrangement has resulted in a movement to changes in marker image areas. Geänderte Markerbildbereiche zeigen eine geänderte gegenständliche Lage an. Amended marker image areas indicate a changed objective situation. Hierbei ist es einerseits möglich, dass eine Bewegung des Markerträgers erfolgt ist. Here, it is firstly possible that a movement of said marker carrier has taken place. Andererseits können geänderte Markerbildbereiche auch durch eine Bewegung der Digitalkamera vorliegen, wobei vorzugsweise der Markerträger sich an einer ortsfesten Position befindet. On the other hand may be amended marker image areas and by a movement of the digital camera, preferably the marker carrier is located at a fixed position. Es ist auch möglich, dass geänderte Bildbereiche aufgrund einer Relativbewegung zwischen Markerträger und Digitalkamera vorliegen. It is also possible that changes in image areas exist due to relative movement between marker carrier and digital camera. Mittels des erfindungsgemäßen Verfahrens kann insbesondere eine geänderte relative gegenständliche Lage bestimmt werden. Using the method according to the invention can be determined in particular a revised relative objective situation.
[0030] [0030]
Eine geänderte gegenständliche Lage ist durch eine Position und/oder eine Orientierung beschreibbar. A revised objective situation is described by a position and / or orientation. Die geänderte Position und/oder die geänderte Orientierung können einem Objekt zugeordnet sein. The changed position and / or the modified orientation can be assigned to an object. Die Position bzw. die Orientierung lassen sich z. B. durch Koordinaten eines Koordinatensystems benennen. The position and orientation can be rename z. B. by coordinates of a coordinate system. Es können Datentupel für einen Punkt im Koordinatensystem oder für eine Richtung im Koordinatensystem angegeben werden. You can specify data tuple for a point in the coordinate system or for a direction in the coordinate system. Der Ursprung des Koordinatensystems kann theoretisch in die Digitalkamera gesetzt sein. The origin of the coordinate system can be theoretically set in the digital camera. Der Ursprung des Koordinatensystems kann aber auch in einen Punkt, wie den Mittelpunkt eines Markerträgers gesetzt sein. The origin of the coordinate system can also be placed in a point as the center of a marker carrier. Es ist auch möglich dass der Ursprung des Koordinatensystems als ein Fixpunkt raumfest vorliegt. It is also possible that the origin of the coordinate system is present as a fixed point fixed in space. Der Zeitpunkt in dem die geänderte gegenständliche Lage vorliegt, bestimmt auch das Vorliegen einer zugeordneten Markerpositionskonfiguration. The time in which there is the changed objective situation, also determines the existence of an associated marker position configuration. Andererseits kann aus Kenntnis der Markerpositionskonfiguration auch eine, insbesondere geänderte, gegenständliche Lage vorgegeben werden. On the other hand can be defined from knowledge of the marker position configuration and a particular modified, objective location. Eine Markerpositionskonfiguration ist aus den Markerbildbereichen, die in einer weiteren Bilddatenpixelanordnung enthalten sind, festlegbar. A marker position configuration of the marker image areas that are included in another image data pixel arrangement, fixable. Bei der Bestimmung der Markerpositionskonfiguration wird auch eine Markermodellkonfiguration herangezogen, die der Ausgangslage entspricht. In determining the marker position configuration and a marker configuration model is used, which corresponds to the starting position. Ein Vergleichsalgorithmus wird auf eine Anordnung von ausgewählten Markerbildbereichen und eine Markermodellkonfiguration angewendet. A comparison algorithm is applied to an array of selected marker image areas and a marker model configuration. Bei dem Vergleich kann ein Markerbildbereich in der weiteren Bilddatenpixelanordnung aufgesucht werden, der zu einem Markerbildbereich in der Ausgangslage, insbesondere einem dem Markerbildbereich in der Ausgangslage zugeordneten Koordinatenpunkt, einen im Vergleich zu anderen Markerbildbereichen der weiteren Bilddatenpixelanordnung, insbesondere zu deren jeweiligen Koordinatenmittelpunkt, kleinsten Abstand aufweist. In comparing a marker image area can be visited in the other image data pixel arrangement of a marker image area in the starting position, especially one the marker image area allocated in the initial position coordinate point, one has compared to other marker image areas of the further image data pixel arrangement, in particular for their respective coordinate midpoint, the minimum distance , Ein solcher Bildbereich wird auch als nächster Nachbar bezeichnet. Such an image area is also known as nearest neighbor. Nächste Nachbarn können auch für mindestens drei Markerbildbereiche, z. B. für jeweils zugeordnete Koordinatenpunkte, insbesondere der weiteren Bilddatenpixelanordnung, bestimmt werden. Neighbours can also be determined for at least three marker image areas, eg. As for each associated coordinate points, in particular the further image data pixel array.
[0031] [0031]
Wenn ein Markerbildbereich in der Bilddatenpixelanordnung nicht erscheint, weil ein entsprechendes Markerelement z. B. durch ein zweites Markerelement verdeckt ist, so kann aufgrund bekannter Markerkonfiguration auf einen solchen verdeckten, weiteren Markerbildbereich rückgeschlossen werden. If a marker image area will not appear in the image data pixel array, because a corresponding marker element z. B. is obscured by a second marker element, so conclusions can be drawn on such a covert, another marker image area due to known marker configuration. Das Verfahren wird insbesondere dadurch robust, dass nicht alle Markerelemente des Markerträgers von der Digitalkamera aufgezeichnet werden müssen. The method is particularly characterized robust that not all elements of the markers Marker carrier must be recorded by the digital camera. Aufgrund der Vorkenntnis über eine Geometrie des Markerträgers und der Vorkenntnis über eine Markerkonfiguration ist bekannt, in welcher Modellansicht Markerträger und zugeordnete Markerelemente für die Digitalkamera sichtbar sind. Based on the prior knowledge of the geometry of the marker carrier and the prior knowledge of a marker configuration is known in which model view Marker carriers and markers associated elements for the digital camera are visible. Solche „sichtbaren“ Markerelemente sind bei der Auswertung einer Markermodellkonfiguration besonders zu berücksichtigen. Such "visible" marker elements to be considered in the evaluation of a marker model configuration particularly. Damit liegt ein Ergebnis des Vergleichsalgorithmus, der auf Markermodellkonfigurationen und auf Markerbildbereiche angewendet wird, schneller vor. This is a result of the comparison algorithm that is applied to model configurations markers and markers to image areas, faster before. Weiterhin wird auch die Leistungsfähigkeit eines numerischen Optimierungsverfahrens, das auf die im Vergleichsalgorithmus vorausgewählte Markermodellkonfiguration angewendet wird, noch mehr verbessert. Further, also the performance of a numerical optimization method, which is applied to the pre-selected markers in comparison algorithm model configuration, even more improved.
[0032] [0032]
Das Verfahren gewinnt eine besondere Genauigkeit insbesondere dadurch, dass eine Markerpositionskonfiguration eine Markerkonfiguration von einer Mehrzahl von Markern an einer Position im Raum aufweist. The process assumes particular accuracy in particular in that a marker position configuration having a marker configuration of a plurality of markers at a position in space. Die Markerkonfiguration liegt auf einem Markerträger vor. The marker configuration is present on a marker carrier. Der Markerträger weist mindestens zwei Flächenelemente auf. The label carrier has at least two surface elements. Die Marker auf den Flächenelementen stellen in der Gestalt des Markerträgers an einem Ort im Raum und in einer Orientierung im Raum eine Markerpositionskonfiguration dar. Die Marker, liegen in einer flächenelementweisen Anordnung vor. The markers on the surface elements set in the shape of the marker carrier at a location in space and in an orientation in space a marker position configuration. The marker, located in a surface element-wise arrangement before. Die Anordnung auf einem ersten Flächenelement und die Anordnung auf einem zweiten Flächenelement unterscheiden sich. The arrangement on a first surface element and the arrangement on a second surface element differ. Allerdings können die Marker auch in ein Flächenelement räumlich integriert sein, z. B. als weiße oder farbige Flächenbereiche. However, the markers can be integrated spatially in a surface element, eg. As a white or colored surface areas. Auf das jeweilige Flächenelement bezogen, weisen die Marker auf dem ersten Flächenelement eine andere Position auf als die Marker auf dem zweiten Flächenelement. Based on the respective surface element, the marker on the first surface element to a different position than the marker on the second surface element. Die Marker auf einem ersten und einem zweiten Flächenelement können nicht deckungsgleich übereinander gebracht werden. The marker on a first and a second surface element can not be congruent placed one above the other. Vorzugsweise sind die Markerpositionen auf dem ersten Flächenelement und die Markerpositionen auf dem zweiten Flächenelement weder durch Drehung, noch durch Verschiebung, noch durch gleichmäßige Streckung der Konfiguration, noch durch eine Kombination dieser Operationen ineinander überführbar. Preferably, the marker positions on the first surface element and the marker positions on the second surface element either by rotation or by translation, nor by uniform stretching of the configuration, even by a combination of these operations are interconvertible. Anders gesagt weicht die Anordnung von Markern, die ein erstes Flächenelement aufweist, von einer Anordnung von Markern, die ein zweites Flächenelement aufweist, ab. In other words deviates the arrangement of markers, which has a first surface element of an array of markers having a second surface element decreases. Zwar können drei nichtlinear angeordnete Marker durch eine räumliche Drehung immer in eine räumliche Anordnung verbracht werden. Although three non-linearly arranged markers can always be spent by a spatial rotation in a spatial arrangement. Deren Projektion auf eine ebene Fläche, wie dem Sensor einer Digitalkamera, könnte einer zweiten, ebenen Dreiecksanordnung von Markerelementen gleichen. Their projection on a flat surface, like the sensor of a digital camera could, same a second, flat triangular arrangement of marker elements. Diese grundsätzlich bekannte Möglichkeit ist allerdings durch die Markerkonfiguration, die auf Flächenelemente bezogen ist, ausgeschlossen. This principle, known possibility, however, is precluded by the marker configuration, which is related to the surface elements. Markerelemente, die auf Flächenelementen konfiguriert sind, sind nicht gruppenweise frei zueinander räumlich veränderbar. Marker elements that are configured on surface elements are not in groups freely to each other spatially variable. Folglich sind die Markerelemente auch in der Projektion auf eine Bilddatenpixelanordnung flächenelementeweise unterscheidbar. Consequently, the marker elements are planar elements as distinguishable also in the projection onto an image data pixel array. Insbesondere ist die Anordnung von Markerelementen auf zueinander benachbarten Flächenelementen so konfiguriert, dass in der Projektion auf eine Fläche in einer Digitalkamera Markerelemente eines ersten Flächenelements nicht z. B. dreiecksgleich zu Markerelementen eines zweiten Flächenelements vorliegen. In particular, the array of marker elements on mutually adjacent surface elements is configured to be in the same triangular projection on a face in a digital camera marker elements of a first surface element not z. B. marker elements to a second surface element. Ein zweites Flächenelement ist zu einem ersten Flächenelement benachbart, wenn zwischen dem ersten und dem zweiten Flächenelement kein weiteres Flächenelement vorliegt. A second surface member is adjacent to a first surface element, when there is no further surface element between the first and the second surface element. Ein Vergleichsalgorithmus, angewendet auf die Marker des ersten Flächenelements und die Marker weiterer Flächenelemente, wird keine Übereinstimmung zwischen der jeweiligen Markerkonfiguration feststellen. A comparison algorithm, applied to the marker of the first surface element and the other marker elements surface, will find no match between the respective marker configuration. Zwei beliebig auswählbare Flächenelemente von allen vorgesehenen Trägerflächenelementen differieren in der Konfiguration der jeweiligen Marker eines Flächenelements. Two user selectable surface elements of all provided support surface elements differ in the configuration of the respective markers of a surface element.
[0033] [0033]
Ein numerisches Optimierungsverfahren wird verwendet, um die Parameter eines Systems, die eine Zielfunktion minimieren oder maximieren, zu bestimmen. A numerical optimization method is used to determine the parameters of a system which minimize or maximize a target function. Die Bestimmung erfolgt derart, dass entweder ein vorgegebenes Ergebnis ε der Zielfunktion unterschritten bzw. überschritten wird oder keine anderen Parameter gefunden werden, die ein kleineres bzw. größeres Ergebnis einer Zielfunktion liefern. The determination is made such that either is a predetermined result ε the objective function below or exceeded, or no other parameters are found that provide a smaller or larger result of an objective function. Das Ergebnis ε kann auch als Genauigkeitswert bezeichnet werden. Ε The result can also be called a precision value. Diese Parameter bezeichnet man als optimal bezüglich der Zielfunktion. These parameters are referred to as optimal with respect to the objective function. In einem Messsystem zur Bestimmung einer gegenständlichen Lage im Raum aus einer zwei-dimensionalen Bilddatenpixelanordnung sind die „optimalen“ Koordinaten im Idealfall die tatsächlichen Koordinaten der Markerkonfiguration. In a measuring system for determining an objective position in space from a two-dimensional image data pixel array, the "optimal" coordinate ideally are the actual coordinates of the marker configuration.
[0034] [0034]
Die Ausgleichsrechnung ist ein Beispiel für eine verwendbare Optimierungsmethode, wobei für eine Reihe von Messdaten (z. B. Markierungen in einem zweidimensionalen Bild) die unbekannten Parameter ihres geometrisch-physikalischen Modells (Projektion von Objektpunkten in eine Bildebene) bestimmt bzw. geschätzt werden. The compensation calculation is an example of a suitable optimization method, wherein a series of measurement data (eg. As markers in a two-dimensional image), the unknown parameters of their geometric-physical model (projection of object points in an image plane) determined or estimated.
[0035] [0035]
Eine Methode zur Lösung von solchen sogenannten Ausgleichs-Problemen ist die Methode der kleinsten Fehlerquadrate, bei der der quadratische Abstand der Messpunkte zu einer Schätzfunktion als Zielfunktion minimiert wird, derart, dass entweder mit den gefundenen Parametern ein vorgegebener Abstand ε unterschritten wird, oder es keine anderen Parameter gibt, die einen kleineren quadratischen Abstand von Messpunkten zu einer Schätzfunktion liefert. A method for solution of such a so-called balancing problems is the method of least squares in which the square distance of the measurement points is minimized to an estimation function as the target function, in such a way that either with the parameters found a predetermined distance falls below ε, or there is no are other parameters that provides a smaller square of distance measuring points to estimator.
[0036] [0036]
Iterative Verfahren zur Lösung nichtlinearer Ausgleichsprobleme nähern die zu schätzenden Parameter, insbesondere Koordinaten, ausgehend von Startwerten schrittweise den optimalen Parametern, wie Koordinaten, an. Iterative method for solving nonlinear least squares problems approaching the parameters to be estimated, in particular coordinates, starting from initial values of progressively establishing the optimal parameters, such as coordinates, to. Iterative Verfahren werden so lange fortgeführt bis ein Abbruchkriterium eintrifft, wie beispielsweise: Iterative methods are so long continued until a termination criterion arrives, such as:
- • Eine Zielfunktion unterschreitet mit den iterativ gefunden Parametern einen vorgegebenen Grenzwert ε. • An objective function below using the parameters found iteratively ε a predetermined limit.
- • Das Ergebnis der Zielfunktion ändert sich um weniger als beispielsweise 1% des Vorergebnisses. • The result of the objective function changes by less than 1%, for example, the Vorergebnisses.
- • Es wurden die maximale Anzahl an Iterationsschritten, zum Beispiel 20, durchgeführt. • There are the maximum number of iterations, for example 20, carried out.
- • Es können keine Parameter mehr gefunden werden die das Ergebnis der Zielfunktion weiter verkleinern. • It can no longer be found the parameters further reduce the result of the objective function.
[0037] [0037]
Beispiele für numerische Optimierungsverfahren sind der Levenberg-Marquardt-Algorithmus oder das Gauß-Newton-Verfahren. Examples of numerical optimization methods are the Levenberg-Marquardt algorithm or the Gauss-Newton algorithm.
[0038] [0038]
Eine gegenständliche Lage bzw. eine geänderte gegenständliche Lage kann besonders vorteilhaft mit einem System zur Darbietung einer Blickfelddarstellung erhoben werden. An objective situation or a changed objective situation may be charged particularly advantageous with a system for presenting a head-up display. In dem System wird eine Lage bestimmt und ausgewertet. In the system, a location is determined and evaluated. Eine als Datensatz durch das System bereitgestellte Lage kann innerhalb des Systems weiter verwendet werden. A record as provided by the location system can be used within the system on. Hierbei wird eine Lage vorzugsweise zur Berechnung einer Blickfelddarstellung benutzt. Here, a layer is preferably used for calculating a head-up display. Die Blickfelddarstellung kann z. B. eine Ansicht eines virtuellen Raums umfassen. The head-up display may z. B. include a view of a virtual space. Ein virtueller Raum ist eine zumindest nach einem Aspekt rechnerisch generierte, in Visualisierungsdaten darstellbare, räumliche Geometrie. A virtual space is at least one aspect mathematically generated, displayable in visualizing data, spatial geometry. Eine Ansicht wird insbesondere durch einen Raumwinkelbereich, der nach einem Aspekt auch als Blickfeld bezeichnet werden kann, festgelegt. A view is especially determined by a solid angle range, which can be designated in one aspect as a field of view. Der Raumwinkelbereich ist durch eine Bewegung veränderbar. The solid angle range can be changed by a movement. Die Bewegung wird im realen Raum ausgeführt. The movement is performed in real space. Die reale Bewegung ist in eine Darstellung des virtuellen Raums übertragbar. The real movement is transferable into a representation of the virtual space. Ein sich durch die Bewegung veränderndes Blickfeld kann einem Betrachter angezeigt werden. A changing by the moving field of view can be displayed to a viewer.
[0039] [0039]
Das System umfasst einen portablen Markerträger, der z. B. einen Bereich eines Gesichtsfelds einer Person, wie einen Schläfenbereich, überdeckt. The system comprises a portable marker carrier z. B. covers an area of a visual field of a person, such as a temporal region. Vorzugsweise umschließt der Markerträger den Kopf allseitig auf einer Ebene. Preferably, the label carrier encloses the head on all sides on a plane. In der Ebene können die Augen liegen. In the plane of the eyes may be. Die Ebene kann auch die Ohren oder die Gehörgänge überschneiden. The plane can also ears or ear canals intersect. Die Ebene erstreckt sich vorzugsweise von den Augen zum Hinterkopf. The level preferably extends from the eyes to the occiput. Die Ebene kann auch parallel zu einer Ebene liegen, die den Augen zugeordnet ist, wie eine Ebene einer Hutkrempe. The level may also lie parallel to a plane that is associated with the eyes, such a level of a hat brim. Der Markerträger kann sich z. B. entlang eines Stirnbands erstrecken. The marker carriers can be, for. Example, along a headband extend. Der Markerträger kann mit Hilfe eines Bandes, das den Hinterkopf umschließt, getragen werden. The marker carriers can be by means of a belt which surrounds the back of the head, worn. Der portable Markerträger kann allerdings auch an einer Vorrichtung nach Art eines Brillengestells getragen werden. However, the portable marker carrier can also be worn on a device in the manner of a spectacle frame. Der Markerträger weist ein sehr geringes Gewicht von weniger als 1 Kilogramm auf. The label carrier has a very low weight of less than 1 kg. Der Markerträger schränkt Bewegungsmöglichkeiten einer Person nicht oder zumindest nur unwesentlich ein. The marker carrier restricts movement possibilities of a person, or at least only slightly, a.
-
[0040] [0040]
Auf einem Oberflächenbereich, der bezogen auf einen zur Aufnahme eines Kopfes oder eines Objektes vorgesehenen Innenbereich des Markerträgers, nach außen gerichtet ist, ist eine Mehrzahl von Markerelementen vorgesehen. On a surface region, which is directed relative to an intended for receiving a head of an object or interior region of the marker carrier, to the outside, is provided a plurality of marker elements. Ein Markerelement kann ein Ellipsoid sein. A marker element may be an ellipsoid. Ein Markerelement kann auch aus Zylinder, Quader, Kugel, Kegelelementen oder Kombinationen davon darstellbar sein. A marker element which can be represented also in cylinders, cubes, spheres, cones elements or combinations. Es ist auch möglich Markerelemente zu verwenden, die eine Polyederform aufweisen. It is also possible to use marker elements which have a polyhedron shape. Die Form eines Markerelements kann eine Körperform sein, die sich von dem Markerträger abhebt. The shape of a marker element may be a body shape that stands out from the label carrier. Zwischen einem Markerelement und dem Markerträger befindet sich kein Abstandshalter. Between a marker element and the marker carrier is no spacer is. Vielmehr kann ein Markerelement auch in einem ebenen Bereich des Markerträgers integriert sein, wobei sich das Markerelement allerdings in zumindest einer optischen Eigenschaft, wie Absorption, Reflektivität oder eine spektrale Eigenschaft, von dem Flächenbereich des portablen Markerträgers unterscheiden muss. Rather, a marker element may also be integrated in a flat portion of the marker carrier, wherein the marker element, however, must differ in at least one optical property, such as absorbance, reflectance or a spectral characteristic of the surface area of the portable marker carrier. Als Materialien für Markerelemente eignen sich z. B. Papier oder leichtgewichtige Keramik, wie Zeolith, insbesondere von nahezu weißer Farbe. As materials for the marker elements are suitable, for. Example, paper or light weight ceramics such as zeolite, in particular of almost white color. Als Materialien für Markerträger eignen sich z. B. Kohlefaserplatten, schwarz eloxierte Leichtmetallplatten oder Kunststoffplatten, insbesondere von schwarzer Farbe. As materials for marker carriers are z. B. carbon fiber plates, black anodized light alloy plates or plastic sheets, in particular of black color. Auch andere Materialien können verwendet werden, die insbesondere ein Leichtgewicht aufweisen, das den Tragekomfort nicht beeinträchtigt. Also other materials may be used, having in particular a light-weight, does not adversely affect wearing comfort.
[0041] [0041]
Das System weist mindestens eine Digitalkamera auf. The system comprises at least one digital camera. Die Digitalkamera kann z. B an einem Stativ oder an einer Zimmerdecke befestigt sein. The digital camera can be mounted on a tripod or on a ceiling z. B. Es ist auch möglich mehrere Digitalkameras zu verwenden, um einen durch eine Digitalkamera aufnehmbaren Raumbereich zu erweitern. It is also possible to use several digital cameras to enhance a recordable by a digital camera space area. Die Digitalkamera weist insbesondere ein Objektiv auf, mit dem ein Raumbereich scharf abgebildet werden kann. The digital camera has, in particular a lens, with a space area can be sharply imaged. Es kann z. B. ein monokulares Objektiv zum Einsatz kommen. It may be a monocular lens to be used for. Instance. Vorteilhaft sind Objektive, die mit nur unwesentlicher Verzerrung einen Raumbereich abbilden. Advantageously, lenses that depict with only an insignificant distortion a spatial area. Die Abbildung erfolgt auf ein zweidimensionales Feld eines Sensors. The mapping is done on a two-dimensional field of a sensor. Der Sensor wandelt das eintreffende Licht pixelweise in elektronische Daten um, die ein zweidimensionales Pixeldatenfeld bilden. The sensor converts the incoming light into electronic data pixel by pixel to form a two-dimensional pixel array. Eine fotographische Aufnahme oder ein Bild einer Filmsequenz der Digitalkamera kann als ein erstes Pixeldatenfeld an eine Recheneinheit übertragen werden. A photograph or a picture of a film sequence of the digital camera can be transferred as a first pixel array to a computing unit. Die Recheneinheit ist z. B. eine mobile Recheneinheit, wie ein sogenanntes Smartphone, ein Laptop oder ein Tablet. The computing unit is z. B. a mobile computer unit, such as a so-called smart phone, a laptop or a tablet. Auf der Recheneinheit sind Algorithmen, wie Bilddatenverarbeitungsalgorithmen, ausführbar. On the computing unit are algorithms such as image data processing algorithms, executable. Weiterhin umfasst das System eine elektronische Bildanzeige. Furthermore, the system comprises an electronic image display. Auf der elektronischen Bildanzeige kann z. B. ein Pixeldatenfeld optisch sichtbar gemacht werden. In the electronic image display may z. B., a pixel array can be made optically visible. Auf der elektronischen Bildanzeige kann allerdings auch eine berechnete Blickfelddarstellung visualisiert werden. In the electronic image display but also a calculated head-up display can be visualized.
[0042] [0042]
In dem System ist eine Datenübertragungseinheit vorgesehen. In the system, a data transmission unit is provided. Die Datenübertragungseinheit besorgt die Datenübertragungsverbindung zwischen der Digitalkamera und der Recheneinheit. The data transmission unit handles the data transmission connection between the digital camera and the computer unit. Die Datenübertragungsverbindung kann auch die Bereitstellung von elektronischen Daten für die Erstellung einer Blickfelddarstellung auf der elektronischen Bildanzeige bereitstellen. The communications link may also provide the provision of electronic data for creating a head-up display on the electronic image display. Anders gesagt, kann die elektronische Bildanzeige in Verbindung mit der Recheneinheit vorliegen. In other words, the electronic image display in conjunction with the computing unit can be present. Die elektronische Bildanzeige kann aber auch ein eigenständiges Gerät unabhängig von der Recheneinheit sein und über die Datenübertragungsverbindung mit elektronischen Daten, insbesondere auch mit elektrischer Energie zum Betrieb, versorgt werden. The electronic image display can also be a stand-alone device independent of the computing unit and via the data transmission connection with electronic data, especially with electric power to operate, supplies. Vorzugsweise wird eine kabellose Datenübertragungsverbindung verwendet. Preferably, a wireless data transmission connection is used. Es ist günstig für Anwendungen des Systems, wenn die Bildanzeige frei bewegbar ist. It is advantageous for applications of the system, if the image display is freely movable. Eine Datenübertragungsverbindung zwischen Bildanzeige und Recheneinheit wird durch Bewegungen eines Markerträgers nicht unterbrochen. A data transmission connection between the image display and processing unit is not interrupted by movements of a marker carrier.
[0043] [0043]
Das System umfasst mindestens eine Lichtquelle. The system includes at least one light source. Die Lichtquelle dient zur Aussendung von vorzugsweise sichtbarem Licht. The light source is used to emit preferably visible light. Das von der Lichtquelle bereitgestellte Licht muss mit der Digitalkamera registrierbar sein. The signal provided by the light source must be registered by the digital camera. Es ist auch möglich, dass eine Umwandlung des Lichts, z. B. durch Fluoreszenz oder Phosphoreszenz, an einem Markerelement erfolgt. It is also possible that a conversion of the light, z., By fluorescence or phosphorescence, carried out on a marker element. Hierbei kann insbesondere eine ultraviolette Lichtquelle nützlich sein. This may be particularly useful an ultraviolet light source. Markerelemente können eine fluoreszierende oder phosphorzierende Beschichtung aufweisen. Marker elements may comprise a fluorescent or phosphor ornamental coating. Vorzugsweise wird allerdings sichtbares Licht verwendet. Preferably, however, visible light is used. Markerelemente können als Lichtquelle nach Art eines leuchtenden Mondes dienen. Marker elements can serve as a light source like a bright moon. Es kann auch gesagt werden, dass das Tageslicht, das die Sonne liefert, direkt oder durch Reflexion bzw. Streuung indirekt als Lichtquelle Verwendung finden kann. It can also be said that the daylight that comes from the sun, either directly or by reflection or scattering indirectly can be used as a light source. Das Licht ist von der Digitalkamera registrierbar. The light can be registered by the digital camera. Das Licht der Lichtquelle durchtritt zumindest bereichsweise den von der Digitalkamera überblickten Raumbereich. The light from the light source passes through at least locally the surveyed from the digital camera space area. Es ist auch möglich durch Fluoreszenzeigenschaften von Markerelementen einen nichtsichtbaren Spektralbereich einer Lichtquelle in einen sichtbaren Spektralbereich an Markerelementen umzuwandeln und für die Digitalkamera registrierbar zu machen. It is also possible by fluorescence properties of marker elements to transform a non-visible spectral range of a light source in a visible spectral range of marker elements and to make and can be registered for the digital camera. Damit kann eine Kontrastverstärkung zwischen dem Markerelement und der unmittelbaren Umgebung des Markerelements, insbesondere in einem Bildbereich des Pixeldatenfelds, das auch als Pixeldatenanordnung bezeichnet werden kann, erreicht werden. Thus, a contrast enhancement between the marker member and the immediate vicinity of the marker element, in particular in an image region of the pixel data field, which can also be referred to as a pixel data array can be achieved. Eine häufig eingesetzte Lichtquelle ist z. B. eine Leuchtstoffröhre oder eine Leuchtdiode (LED). A light source often used is z. B. a fluorescent tube or a light emitting diode (LED).
[0044] [0044]
Die Recheneinheit errechnet eine Blickfelddarstellung. The arithmetic unit calculates a head-up display. Die Blickfelddarstellung wird für die Bildanzeige bereitgestellt. The head-up display is provided for image display. In die Blickfelddarstellung wird eine Betrachterposition, die nahezu zeitgleich eingenommen ist, eingerechnet. In the head-up display, a viewer position, which is taken almost instantly, into account. Der Markerträger ist in dem von der Digitalkamera abgebildeten Raumbereich frei bewegbar. The marker carrier is freely movable in the space area imaged by the digital camera. Zwischen Markerträger und Digitalkamera sind keine optischen Barrieren angeordnet. Between Marker carriers and digital camera no optical barriers are arranged. Es ist allerdings möglich, dass Teile des Markerträgers vorübergehend durch z. B. Haare oder einen Schal überdeckt werden. However, it is possible that parts of the marker carrier be temporarily masked by z. B. hair or a scarf. Der Raum zwischen Markerträger und Digitalkamera ist obstruktionsfrei. The space between marker carrier and digital camera is obstruction free. Es ist z. B. durch eine Raumbegrenzung vorgesehen, dass durch eine Abstandsänderung zwischen Markerträger und Digitalkamera eine Mindestauflösung von einem Markerelement in dem Pixeldatenfeld nicht unterschritten wird. It is such. As provided by a space limitation that a minimum resolution of a marker element in the pixel data field is not undershot by a change in distance between marker carrier and digital camera. Die Mindestauflösung umfasst vorzugsweise ein Pixel für ein Markerelement. The minimum resolution preferably includes a pixel for a marker element. Anders gesagt sollte ein Markerelement mindestens ein Pixel einnehmen. In other words, a marker element should cover at least one pixel. Die Mindestauflösung kann aber auch auf eine vorbestimmbare Anzahl von, z. B. vier, Pixel für ein Markerelement festgelegt werden, um eine Zuverlässigkeit einer fehlerfreien Markererkennung, z. B. durch Ausschluss elektronischer Einzelpixelfehler, zu verbessern. The minimum resolution but can also be set to a predeterminable number of such. As four pixels for a marker element to improve a reliability of an error-free marker recognition, z. B. by excluding electronic single pixel errors.
[0045] [0045]
Der Markerträger umfasst mindestens fünf Flächenelemente. The marker carrier comprises at least five surface elements. Ein Flächenelement kann auch als Trägerflächenelement bezeichnet werden. A surface element can also be referred to as a carrier surface member. Ein Flächenelement ist zumindest bereichsweise ebenflächig. A surface element is at least partially planar. Ein Flächenelement kann eine Kante, wie eine Faltungskante aufweisen. A surface element may have an edge, such as a folding edge. Nach einem Aspekt können Flächenelemente mit einer Faltungskante auch als zwei Flächenelemente bezeichnet werden. In one aspect, the surface elements can be denoted by a folding edge as two surface elements. Als besonders günstig hat sich in Versuchen ein Markerträger herausgestellt, der mindestens fünf Flächenelemente umfasst, die jeweils an einem Randbereich einander zugeordnet sind. As a particularly favorable one marker carrier has been found in tests, including at least five surface elements, which are each at an edge region associated with each other. Es können allerdings auch zehn Flächenelemente vorteilhaft zusammengestellt werden. It may be advantageous, however, also put together ten surface elements. Werden Flächenelement trapezartig ausgebildet, lassen sie sich besonders günstig aneinanderstellen. Become surface element formed trapezoidally, let each make a particularly favorable. Entlang von drei Randbereichen der trapezartigen Form erstrecken sich vorzugsweise wiederum Randbereiche weiterer Flächenelemente. Along three marginal regions of the trapezoidal shape extend preferably in turn border areas further surface elements. Ein vierter Randbereich des Flächenelements kann freistehend sein. A fourth edge region of the planar element can be detached. Die Flächenelemente sind ringartig angeordnet. The surface elements are arranged like a ring. Mindestens fünf Flächenelemente können zu einem Ring zusammengeschlossen sein. At least five surface elements can be combined to form a ring. Nach einem Aspekt kann der Ring mit einer fünfeckigen Querschnittsfläche vorliegen. In one aspect, the ring can be present with a pentagonal cross-sectional area. Der Markerträger kann ähnlich wie ein Kranz um einen Kopf liegen. The marker carriers can be similar to a wreath lying to a head. Auf einem Flächenelement des Markerträgers liegen die Markerelemente in einer Konfiguration vor. In a surface element of the marker carrier, the marker elements are present in a configuration. Die Konfiguration der Markerelemente auf einem Flächenelement ist einzigartig. The configuration of the marker elements on a surface element is unique. Anders gesagt, weicht die Anordnung der Markerelemente auf einem Flächenelement von der Anordnung der Markerelemente auf einem zweiten Flächenelement ab. In other words, the arrangement of the marker elements on a planar element deviates from the arrangement of the marker elements onto a second surface element. Die Konfiguration der Markerelemente ist flächenelementeweise voneinander abweichend. The configuration of the marker elements surface elements as different from each other.
[0046] [0046]
Der portable Markerträger kann in dem Raumbereich, den die Digitalkamera ermisst, eine Winkelstellung einnehmen. The portable marker carrier may take in the space field, the Appraises the digital camera, an angular position. Die Winkelstellung liegt bezüglich einer Kamerabildebene vor. The angular position is with respect to a camera image plane before. Nach einem Aspekt liegt die Winkelstellung bezüglich einer Sensorebene der Digitalkamera vor. In one aspect, the angular position is located with respect to a sensor plane of the digital camera before. Die Winkelstellung ist durch eine Bewegung des Markerträgers veränderbar. The angular position is changeable by a movement of the marker beam. Es kann z. B. eine Kippbewegung oder eine Rotationsbewegung des Markerträgers zu einer Winkelstellung führen. It can, for. Example, perform a tilting movement or a rotational movement of the marker carrier to an angular position. Der Markerträger ist von der Digitalkamera in jeder Winkelstellung in Gestalt von mindestens zwei markerelementeaufweisenden Flächenelementen, ein erstes Flächenelement und ein zweites Flächenelement, die auch als Trägerflächenelemente bezeichenbar sind, einsehbar. The marker beam is visible from the digital camera in each angular position in the form of at least two marker elements comprising surface elements, a first surface element and a second surface element, which are also be called carrier surface elements. Die zwei Flächenelemente können zueinander benachbart sein, wobei insbesondere das erste Flächenelement mit einem Randbereich an das zweite Flächenelement anschließt. The two surface elements can be adjacent to each other, in particular adjoins the first surface element with an edge area of the second surface element. Mindestens zwei Flächenelemente, die Markerelemente aufweisen, sind von der Digitalkamera gemeinsam filmbar bzw. fotografierbar, oder anders gesagt abbildbar. At least two surface elements having marker elements are said together Filmbar or photographed, or otherwise from the digital camera imaged. Die zwei Flächenelemente sind vorzugsweise jeweils trapezartig und ebenflächig gestaltet. The two surface elements are preferably each designed trapezoidal and planar. Von den zwei Flächenelementen wird ein Winkel eingeschlossen, der kleiner als 180 ° ist. Of the two panel elements, an angle is included which is less than 180 °. Anders gesagt ist das zweite Flächenelement nicht als eine geradlinige, insbesondere nicht als parallelartige Fortsetzung des ersten Flächenelements angeordnet. In other words, the second surface element is not arranged as a linear, in particular as a parallel-like continuation of the first surface element. Die zwei Flächenelemente können einteilig vorliegen, gelten aber, insbesondere hinsichtlich einer Abbildung auf eine Bilddatenpixelanordnung, dennoch als unterschiedliche Flächenelemente. The two surface elements can be present in one piece, but shall, in particular as regards an image on an image data pixel array, but as different surface elements.
[0047] [0047]
Die Digitalkamera empfängt Licht von Markerelementen. The digital camera receives light of marker elements. Es liegen mindestens vier Markerelemente vor, die algorithmisch von der Recheneinheit in dem Pixeldatenfeld erkennbar sind. There are at least four marker elements which are algorithmically recognizable by the computing unit in the pixel data array. Mittels der erfassbaren Markerelemente wird in der Recheneinheit durch mindestens eine Vergleichseinheit, wie ein Vergleichsalgorithmus, eine räumliche Lage des Blickfelds festgelegt. By means of the detectable marker elements is set in the computing unit by at least one comparison unit, as a comparison algorithm, a spatial position of the visual field. Der Vergleichsalgorithmus überprüft, ob bzw. inwieweit eine Abweichung zwischen den vier Markerelementen in zweidimensionaler Abbildung und einer Markermodellkonfiguration vorliegt. The comparison algorithm checks whether or to what extent a deviation between the four marker elements present in two-dimensional image and a marker model configuration. Der Vergleichsalgorithmus erkennt die Markermodellkonfiguration, die die bestmögliche Übereinstimmung mit vier Markerelementen aufweist. The comparison algorithm detects the marker model configuration having the best match with four marker elements. Die ausgewählte Markermodellkonfiguration, die auch als Markerpositionskonfiguration bezeichnet werden kann, umfasst Koordinaten, die eine räumliche Lage des Blickfelds festlegen. The selected marker model configuration which may also be referred to as a marker position configuration, includes coordinates defining a spatial position of the field of view. Das Blickfeld ist an der Markerpositionskonfiguration ausgerichtet. The field of view is aligned with the marker position configuration. Mit dem System kann die räumliche Lage des Blickfelds zeiteffizient berechnet und der Bildanzeige zugeführt werden, sodass der Eindruck einer fließenden Veränderung des Blickfelds in dem Verlauf einer Bewegung entsteht. With this system, the spatial position of the field of view may be calculated time-efficient and the image display is supplied, so that the impression of a smooth change of the visual field is formed in the course of a movement.
[0048] [0048]
Nachfolgend werden vorteilhafte Ausgestaltungen und Weiterbildungen dargelegt, die für sich gesehen, sowohl einzeln aus auch in Kombination, ebenfalls erfinderische Aspekte offenbaren können. Below, advantageous configurations and further developments are set forth in the saw for themselves, both individually and also in combination, can also reveal inventive aspects.
[0049] [0049]
Die Markermodellkonfiguration kann ausgehend von einer Vorauswahl von Markerelementen bestimmt werden. The marker model configuration can be determined from a pre-selection of marker elements. Vorzugsweise umfasst eine Vorauswahl drei Markerelementen. Preferably, a pre-selection includes three marker elements. Die Markerelemente können auf einem einzigen Flächenelement angeordnet sein. The marker elements can be arranged on a single surface element. Die Markerkonfiguration, aus der die Markerelemente ausgewählt werden, ist vorbekannt. The marker configuration from which the marker elements are selected, is previously known. Für den Vergleich mit Markerbildbereichen werden vorzugsweise Konfigurationshypothesen der drei Markerelemente erstellt, die auch als Markermodellkonfigurationen der drei Markerelemente bezeichnet werden können. Preferably configuration hypotheses of the three marker elements are created for comparison with marker image areas, which may also be referred to as a marker model configurations of the three marker elements. Insbesondere bis zu fünf Konfigurationshypothesen kommen zum Einsatz. In particular, come up to five configuration hypotheses used. Auf Grundlage der fünf Konfigurationshypothesen gelangt der Vergleichsalgorithmus zu einer Entscheidung, ob die drei Markerelemente als Markermodellkonfiguration für weitere Berechnungen geeignet sind. Based on the five hypotheses of the configuration comparison algorithm arrives at a decision as to whether the three marker elements are suitable as a marker configuration model for further calculations. Ein solches Vorgehen erlaubt ein schnelles Überprüfen verschiedener Markermodellkonfigurationen. Such an approach allows a quick check of various markers model configurations.
[0050] [0050]
Die Qualität einer Vorauswahl einer Markermodellkonfiguration kann überprüft werden. The quality of a pre-selection of a model configuration marker can be checked. Mindestens ein weiterer Markerbildbereich, insbesondere aus der gleichen zweidimensionalen Bilddatenpixelanordnung, wird ausgewählt. At least one other marker image area, especially from the same two-dimensional image data pixel array is selected. Die Zuordenbarkeit des mindestens einen weiteren Bildbereichs zur Markermodellkonfiguration kann die Auswahlentscheidung zu der Markermodellkonfiguration bestärken. The assignability of at least one further image region to Marker Model configuration may encourage the selection decision to the marker model configuration. Es hat sich als vorteilhaft herausgestellt, wenn bei der Überprüfung eine perspektivische Sichtbarkeit von Markerelementen berücksichtigt wird. It has proven to be advantageous if in reviewing a perspective is taken into account visibility of marker elements. Es ist möglich, dass mindestens ein Markerelement von dem Markerträger, insbesondere von einem Flächenelement des Markerträgers in einer Position des Markerträgers oder einer Orientierung des Markerträgers vor der Digitalkamera verdeckt ist. It is possible that at least one marker element is concealed by the marker carrier, in particular by a surface element of the marker carrier in a position of the marker carrier or an orientation of the marker carrier before the digital camera. Ein verdecktes Markerelement der Markermodellkonfiguration kann von der Überprüfung eines weiteren Markerbildbereichs ausgeschlossen werden. A covert marker element of the marker model configuration can be excluded from scanning another marker image area. Eine perspektivische Sichtbarkeit ist insbesondere aufgrund der Zuordnung von Markerelementen, insbesondere von konfigurierten Markerelementen, zu einem Trägerflächenelement vorbestimmt. A perspective visibility is particularly due to the assignment of marker elements, in particular configured marker elements, intended to be a carrier surface member. Eine Markermodellkonfiguration ist nach einem Aspekt ein hypothetisches Abbild einer vorbestimmten Anordnung von Markerelementen auf einem Markerträger, die als Datensatz in einer Recheneinheit vorliegt. A marker according to one aspect of model configuration is a hypothetical image of a predetermined array of marker elements on a support marker, which is present as a data record in a computing unit. Die Markermodellkonfiguration kann alle Markerelemente, die auf einem Markerträger angeordnet sind, umfassen. The marker model configuration may comprise any marker elements which are arranged on a carrier marker.
[0051] [0051]
Als besonders zuverlässiger Markererkennungsalgorithmus hat sich ein Hellfleckfilter herausgestellt. Particularly reliable marker detection algorithm is a bright spot filter has been found. Mit dem Hellfleckfilter werden insbesondere helle Bildbereiche in einer Bilddatenpixelanordnung vor einem Hintergrund, der weniger hell ist, als ein Markerbildbereich erkannt. By Bright Despeckle particularly bright image areas in an image data pixel array in front of a background that is less bright, recognized as a marker of the screen. Es können z. B. weiße Markerelemente verwendet werden, die helle, zumindest stellenweise weißliche, Bildbereiche verursachen. It can be used for white marker elements. B. causing bright, at least in places whitish image portions. Der Hellfleckfilter kann eine Fleckgeometrie herausfiltern, die einem Markerelement zuordnenbar ist. The bright spot filter can filter out a spot geometry, which is a marker element assignable. Helle Flecken in einer Bilddatenpixelanordnung, die nicht von einem Markerelement stammen, können zumindest teilweise ausgeschlossen werden. Bright spots in an image data pixel array that do not originate from a marker element may be at least partially eliminated.
[0052] [0052]
Die Zuverlässigkeit des Verfahrens lässt sich weiter verbessern, wenn berücksichtigt wird, dass ein Markerelement vorrübergehend, z. B. durch Haare oder durch Schattenwurf verdeckt sein kann. The reliability of the method can be further improved if it is considered that a marker element temporarily, z. B. may be covered by hair or by shadows. Es ist möglich zu berechnen, an welcher Stelle ein verdecktes Markerelement vorliegen könnte. It is possible to calculate at which position a concealed marker element may be present. Dadurch lässt sich z. B. eine Erkennung von Markerbildbereichen unter Verwendung einer vorbekannten Markermodellkonfiguration verfeinern. This z. B. can be a detection of marker image areas using a known marker model configuration refine.
[0053] [0053]
Das Verfahren lässt sich weiterhin günstig ausgestalten, indem eine vorteilhafte Darstellungsweise einer Position und einer Richtung zur Bestimmung der Lage verwendet wird. The method can further embellish low by an advantageous presentation of a position and a direction for determining the position is used. Eine Position und eine Richtung können z. B. mit einem Translationsvektor und einer Rotationsdarstellung mathematisch dargestellt werden, die zu einer Markermodellkonfiguration führen. A position and direction can be represented mathematically z. B. with a translation vector and a rotation representation, leading to a marker model configuration. Beispiele für eine Rotationsdarstellung sind eine Rotationsmatrix, Euler-Winkel, ein Quaternion, eine Rodriguez-Darstellung oder eine Winkel-Vektor-Darstellung. Examples of a rotational representation are a rotation matrix, the Euler angle, a Quaternion, a representation or a Rodriguez-angle vector representation.
[0054] [0054]
Orientierungsdarstellungen werden verwendet um eine Winkellage von Objekten zueinander mathematisch beschreiben zu können. Orientation representations are used to an angular position of objects to each other to be able to describe mathematically. Außerdem werden sie benutzt um eine Winkellageänderung, also eine Drehbewegung, von Objekten mathematisch zu beschreiben. In addition, they are used to change an angular position, that is, a rotary motion can be mathematically described objects.
[0055] [0055]
Euler-Winkel und Rodriguez-Darstellung sind 3-Parametrische Darstellungen. Euler angles and Rodriguez-representation are 3 Parametric representations. Bei einer 3-Parametrischen Darstellung der Orientierung sind alle Parameter von einander unabhängig. In a 3-parametric representation of the orientation of all parameters of each are independent. Das bedeutet, dass jeder Parameter für sich allein geändert werden kann und die Parameter immer noch eine Orientierung darstellen. This means that each parameter can be changed by itself and constitute the parameters still an orientation. Vor allem bei numerischen Optimierungsverfahren ist das ein großer Vorteil. Especially for numerical optimization method that is a big advantage. Ein Problem kann sich ergeben, wenn eine Orientierungsdarstellung in einer Winkellage durch mehrere Varianten derselben Darstellungsform ausgedrückt werden kann. A problem may arise if an orientation presentation can be expressed in an angular position by several variants of the same form of presentation. Es gibt beispielsweise 12 Arten eine einzige Orientierung mit Eulerwinkeln darzustellen. There are, for example, 12 species represent a single orientation with Euler angles. Ein weiteres mögliches Problem einer Darstellungsform ist das Auftreten einer kardanischen Blockade (Gimbal-Lock), bei der zwei Parameter dieselbe Änderung der Winkellage, also eine Drehung um dieselbe Achse, beschreiben. Another potential problem is the occurrence of a display form of a cardanic blockade (Gimbal-Lock), which describe the two parameters at the same change of the angular position, that is, a rotation about the same axis. Eine Folge ist ein Springen der beschreibenden Parameter obwohl sich die Winkellage nicht ändert. One consequence is a jump of descriptive parameters although the angular position does not change. Möchte man üblicherweise aus zwei Messungen der Winkellage auf eine Winkelgeschwindigkeit schließen, indem man die Differenz der gemessenen Lageparameter durch die verstrichene Zeit teilt, würde man in diesem Fall ein falsches Ergebnis erhalten. If you want usually consists of two measurements of the angular position close to an angular velocity by dividing the difference between the measured position parameters by the elapsed time, you'd get a wrong result in this case. 3-Parametrische Darstellungsformen sind deshalb für Anwendungen bei denen der Parameter über die Zeit fortgeschrieben wird (Beispielsweise Rauschfilter) ungünstig. 3 Parametric representations are therefore for applications in which the parameter over time is updated (for example noise filter) unfavorable. Die Rodriguez-Darstellung bietet Vorteile für numerische Optimierungsverfahren, weil sie sich besonders einfach aus einer Quaternion Darstellung berechnet. The Rodriguez-representation offers advantages for numerical optimization method, because they particularly easily calculated from a quaternion representation.
[0056] [0056]
Quaternion oder Winkel-Vektor-Darstellung sind Beispiele für 4(vier)-parametrisch Darstellungen. Quaternion or angle-vector representation are examples of 4 (four) -parametrisch representations. Eine 4-parametrische Darstellungsform hat keinen undefinierten Zustand wie den Gimbal-Lock und ist daher für sogenannte „Tracking“-Anwendungen bei der Verfolgung von Bewegung sowie für Rauschfilter geeignet. A 4-parametric representation form has no undefined state as the gimbal lock and is therefore suitable for so-called "tracking" applications in pursuit of movement as well as for noise filter. Die vier Parameter sind allerdings aufgrund der Überbestimmung nicht unabhängig von einander. The four parameters are, however, due to the over-determination not independent of each other. Eine Änderung eines einzelnen Parameters hat immer eine Änderung mindestens eines weiteren Parameters zur Folge. A change of a single parameter has always been a change in at least one further parameter result. Werden Zwangsbedingungen der Parameter zueinander nicht beachtet kann es sein, dass die Parameter eine Drehung und Verformung beschreiben. Failure to follow the constraints of the parameters to each other, it may be that the parameters describe a rotation and deformation. Für Methoden, die einzelne Parameter verändern, wie numerische Optimierungsverfahren, ist diese Darstellung daher weniger geeignet und erfordert oft eine zusätzliche Korrektur der Verformung, wenn z. B. bei einer Optimierung einer Orientierung das Objekt nicht nur gedreht sondern auch verformt wird. For methods, change the individual parameters as numerical optimization method, this representation is therefore less suitable and often requires an additional correction of the deformation when z. B. the object is not only rotated at optimizing an orientation but also deformed.
[0057] [0057]
Es ist allerdings vorteilhaft, wenn das erfindungsgemäße Verfahren mit einem numerischen Optimierungsverfahren ausgestattet ist. However, it is advantageous if the method according to the invention is equipped with a numerical optimization method. Durch ein numerisches Optimierungsverfahren kann die Genauigkeit bei der Bestimmung der Lage verbessert werden. Through a numerical optimization method, the accuracy can be improved in determining the position. In einem numerischen Optimierungsverfahren kann z. B. ein Levenberg-Marquart-Algorithmus zum Einsatz kommen. In a numerical optimization method, a Levenberg-Marquart algorithm to be used for. Instance. Der Levenberg-Marquardt-Algorithmus ist ein numerisch, iteratives Verfahren zur Lösung nichtlinearer Ausgleichs-Probleme mit Hilfe der Methode der kleinsten Fehlerquadrate, das sehr robust gegen schlechte Startwerte der zu bestimmenden Parameter ist. The Levenberg-Marquardt algorithm is a numerical, iterative method for solution of nonlinear compensation problem using the method of least squares, which is very robust against bad starting values of the parameters to be determined. Das Gauß-Newton-Verfahren ist ein anderes Beispiel für ein verwendbares numerisches Optimierungsverfahren. The Gauss-Newton algorithm is another example of a useful numerical optimization method.
[0058] [0058]
Das numerische Optimierungsverfahren wird auf eine Vorauswahl von Markerbildbereichen angewendet. The numerical optimization method is applied to a pre-selection of marker image areas. Die Vorauswahl umfasst die drei Markerbildbereiche, die als Markerbildbereiche mit einer geringsten Abweichung zu einer Markermodellkonfiguration erkannt wurden. The preselection includes the three marker image areas that have been identified as a marker image areas having a smallest deviation to a marker model configuration. Es wird mindestens ein weiterer Markerbildbereich hinzugenommen. It will be added taken at least one additional marker image area. Anders gesagt wird das numerische Optimierungsverfahren auf mindestens vier Markerbildbereiche angewendet. In other words, the numerical optimization process is applied to at least four marker image areas. Damit kann die Bestimmung der Lage präzisiert werden. Thus, the determination of the position be clarified. Insbesondere lässt sich eine Orientierung genauer bestimmen. In particular, can be an orientation accurately determine. Vorzugsweise wird das numerische Optimierungsverfahren auf eine dreiparametrische Darstellung der Orientierung der Markermodellkonfiguration angewendet. Preferably, the numerical optimization method is applied to a three parametric representation of the orientation of the marker model configuration. Es werden auch alle weiteren Punkte der Markermodellkonfiguration, die nicht zu den Markerbildbereichen passen, durch die vorbekannten Markerkonfiguration mitgeführt. There are also all the other points of the marker model configuration that does not match the marker image areas, carried by the previously known marker configuration.
[0059] [0059]
Bei der Bestimmung einer Änderung einer gegenständlichen Lage werden von der Digitalkamera Bilddatenpixelanordnungen, z. B. mit einer Folge von sechzig Bilddatenpixelanordnungen, die auch als Bilder bezeichnet werden können, in einer Sekunde bereitgestellt. In determining a change in an objective position z. B. to be from the digital camera image data pixel arrays, provided with a series of sixty image data pixel arrays, which can be referred to as images in one second. Von einem ersten Bild zu einem zweiten Bild kann eine Änderung einer Markerpositionskonfiguration erfolgt sein. From a first image to a second image may have been a change of a marker position configuration. Der Veränderung der Markerpositionskonfiguration kann auch eine Verschiebung von Markern, die auch als Markerelemente bezeichnet werden können, auf dem Markerträger zugrunde liegen. The change in the marker position can also be a displacement configuration of markers, which can also be referred to as marker elements, are based on the marker carrier. Dabei kann es erforderlich sein, die Markermodellkonfiguration, welche die Ausgangslage festlegt, neu zu berechnen. It may be necessary to recalculate the marker configuration model, which determines the starting position. Das Verfahren lässt sich besonders schnell ausführen, wenn die auf dem Markerträger angeordneten Marker gleich gestaltet sind. The process can be carried out very quickly, if the markers arranged on the carrier markers are designed equal. Vorzugsweise sind die Markerelemente, die dem Markerträger zugeordnet sind, gleichförmig, gleichfarbig, insbesondere weiß oder schwarz, und gleichgroß. Preferably, the marker elements which are assigned to the marker carrier, uniformly, the same color, in particular white or black, and the same size. Der Markerträger ist dazu kontrastierend ausgebildet, vorzugsweise schwarz oder weiß. The marker carrier is designed to contrasting, preferably black or white. Eine Markerkonfiguration kann aus den erfassten Markerbildbereichen rechnerisch bestimmt werden. A marker configuration can be determined from the detected marker image areas calculated. Hierbei werden Markerbildbereiche aus mehreren Bilddatenpixelanordnungen berücksichtigt. This marker image areas are considered from several image data pixel arrays. Vorzugsweise werden in den mehreren Bilddatenpixelanordnungen alle Markerelemente gezeigt. Preferably, in the plurality of image data pixel arrays all marker elements are shown. Anders gesagt, sollte jedes Trägerflächenelement des Markerträgers in zumindest einer Bilddatenpixelanordnung zumindest mit den auf dem Trägerflächenelement angeordneten Markern erfasst werden. In other words, each element of the support surface marker carrier should be included in at least one image data pixel arrangement at least with the arranged on the support element surface markers. Die geänderte Markerkonfiguration wird algorithmisch festgelegt. The amended marker configuration is determined algorithmically. Insbesondere werden gute Ergebnisse durch Verwendung eines Struktur-aus-Bewegung-Algorithmus (structure-from-motion) erlangt. Particularly good results are obtained by using a structure-from-motion algorithm (structure-from-motion). Diesem Algorithmus liegt eine Methode der Photogrammetrie, bei der eine dreidimensionale Struktur, die aus zwei Blickwinkeln in zweidimensionalen-Bildern betrachtet wird, dreidimensional vermessen wird, zugrunde. This algorithm is a method of photogrammetry, in which a three-dimensional structure, which is considered from two angles in two-dimensional images, is measured in three dimensions, is based. Zusätzlich kann auch noch ein Ensemble-Anpassung-Algorithmus (bundle-adjustment) verwendet werden, um die Genauigkeit der bestimmten Markerkombination weiter zu verbessern. In addition, even an ensemble-matching algorithm (bundle adjustment) are used to improve the accuracy of certain marker combination further. Hierbei erfolgt eine gleichzeitige numerische Verfeinerung der Kameraparameter (Position, Ausrichtung, Fokuslänge, Pixelabmessungen, optische Verzerrung) und einer dreidimensionalen Struktur, die aus mehreren Perspektiven aufgenommen wurde. Here, a simultaneous numerical refinement of camera parameters (position, orientation, focal length, pixel dimensions, optical distortion) and a three-dimensional structure that contains multiple perspectives. Aus einem näherungsweise bestimmten Punktemodell, das von verschiedenen Blickwinkeln mit unsicheren Kameraparametern erfasst wurde, kann eine präzise Schätzung der Punktkoordinaten ermittelt werden. From an approximate certain point model, which has been detected from various angles with uncertain camera parameters, a precise estimate of the point coordinates can be determined. Der Fehler zwischen projizierter dreidimensionaler Markermodellkonfiguration und korrespondierenden Bildpunkten wird minimiert. The error between projected three-dimensional marker model configuration and corresponding image points is minimized. Es wird rekursiv eine Markerkonfiguration als Markermodellkonfiguration errechnet. It is calculated recursively a marker configuration as markers model configuration. Die berechnete Markerkonfiguration legt die Markermodellkonfiguration der Ausgangslage fest. The calculated tag configuration sets the marker model configuration of the starting position.
[0060] [0060]
Die Markerpositionskonfiguration der geänderten Lage lässt sich aus z. B. einer ersten und einer zweiten Bilddatenpixelanordnung berechnen. The marker position configuration of the amended position can be calculated from z. B. a first and a second image data pixel array. In die Berechnung kann auch eine weitere Bilddatenpixelanordnung, wie die zweite Bilddatenpixelanordnung, einbezogen werden. The calculation can also be another image data pixel array as the second image data pixel array, are included. Nach einem Aspekt erfolgt eine Zuordnung eines Markerbildbereichs, der in einer ersten Bilddatenpixelanordnung vorliegt, zu einem nächster-Nachbar-Bildbereich, der ein Markerbildbereich einer weiteren Bilddatenpixelanordnung ist. In one aspect, an assignment of a marker image area, which is in a first image data pixel array to a nearest neighbor image area, which is a marker of the screen to another image data pixel array. Es ist möglich, dass bei der Zuordnung eine zweite Bilddatenpixelanordnung übersprungen wird, weil z. B. zu wenige Markerbildbereiche in der zweiten Bilddatenpixelanordnung auffindbar waren, sodass eine weitere Bilddatenpixelanordnung verwendet wird. It is possible that when assigning a second image data pixel array is skipped, because z. B. too few markers image areas were discoverable in the second image data pixel array so that another image data pixel array is used. Ein Nächster-Nachbar-Bildbereich ist ein Bildbereich, der ausgehend von einer Position eines erfassten Markerbildbereichs einer ersten Bilddatenpixelanordnung in einer weiteren Bilddatenpixelanordnung den kleinsten linearen Abstand im Vergleich zu allen anderen Markerbildbereichen der weiteren Bilddatenpixelanordnung aufweist. A nearest neighbor picture area is an image area in a further image data pixel array comprises starting from a position of a detected marker image area of a first image data pixel array the smallest linear distance in comparison to all other marker image areas of the further image data pixel array. Vorzugsweise ist zu mindestens drei Markerbildbereichen einer ersten Bilddatenpixelanordnung jeweils ein Nächster-Nachbar-Bildbereich der weiteren Bilddatenpixelanordnung auffindbar. Preferably, at least three marker image areas of the first image data pixel array each a nearest neighbor image portion of the further image data pixel array discoverable. Die erste Bilddatenpixelanordnung ist dabei die Ausgangslage. The first image data pixel array is the starting position. Durch die Änderung der drei Markerbildbereiche der Ausgangslage zu den drei Nächster-Nachbar-Bildbereichen ist die Markerpositionskonfiguration, die die geänderte Lage festlegt, z. B. mittels einer Projektion oder einer Verschiebung einer Ausgangslage, insbesondere anhand einer Markermodellkonfiguration bestimmbar. By changing the three marker image areas the starting position to the three nearest neighbor image areas the marker position configuration that specifies the changed situation, z. B. by means of a projection or a shift in a starting position, in particular with reference to a marker model configuration is determined. Damit lässt sich die Auswertungsgeschwindigkeit noch mehr steigern. This allows the evaluation of speed increase even more.
[0061] [0061]
Die Genauigkeit der Bestimmung von Position und/oder die Orientierung kann noch weiter optimiert werden. The accuracy of determining the position and / or orientation can be optimized even further. Eine Optimierung ist mittels einer additiven Änderung möglich. An optimization is possible by means of an additive change. Das Optimierungsverfahren wird numerisch ausgeführt. The optimization method is performed numerically. In der Recheneinheit kann z. B. ein Levenberg-Marquardt-Algorithmus zur Optimierung einer Markermodellkonfiguration verwendet werden. In the computing unit can z. B. be a Levenberg-Marquardt algorithm is used to optimize a marker model configuration. Hierbei wird eine Jacoby-Matrix durch numerische Differentiation approximiert. Here, a Jacoby matrix is approximated by numerical differentiation. Vorzugsweise erfolgt die Optimierung der Orientierung in einer dreiparametrischen Darstellung der Orientierung in der Markermodellkonfiguration. Preferably, the optimization of the orientation takes place in a three parametric representation of the orientation of the markers in the model configuration. Die Optimierung erfolgt z. B. mittels eines Programmcodes, der in der Recheneinheit ausführbar ist. The optimization is done for. Example by means of program code that is executable in the computer unit.
[0062] [0062]
Das Verfahren zur Bestimmung einer gegenständlichen Lage, insbesondere nach einer Lageänderung, kann noch bessere Ergebnisse liefern, wenn bei dem numerischen Optimierungsverfahren ein Kontrollalgorithmus (RANSAC, Random Sample Consensus) vorgesehen ist. The method for determining an objective position, in particular after a change in position, yet may provide better results if, in the numerical optimization method, a control algorithm (RANSAC, Random Sample Consensus) is provided. Mindestens ein Ergebnis des numerischen Optimierungsverfahrens wird überprüft. At least one result of the numerical optimization process is checked. Nach einem ersten Aspekt können Fehlerbildbereiche, die z. B. durch stark reflektierende Gegenstände in dem Raumbereich von der Digitalkamera in die Bilddatenpixelanordnung abgebildet werden, die allerdings keine Markerelemente bzw. Marker sind, von dem Kontrollalgorithmus ausgeschlossen werden. According to a first aspect of error image areas, the z. B. can be displayed in the space portion of the digital camera in the image data pixel array by highly reflective subjects that no marker elements or markers are, however, be excluded from the control algorithm. Nach einem zweiten Aspekt können Markerbildbereiche, die in einer ersten Bilddatenpixelanordnung nicht sichtbar oder nicht auffindbar waren, die allerdings gemäß der Markerkonfiguration hätten auffindbar sein sollen, als Fehler erkannt und insbesondere nach Auffindung in einer zweiten Bilddatenpixelanordnung, z. B. rekursiv, mit einbezogen werden. According to a second aspect, marker image areas that were not visible in a first image data pixel array or can not be found, in accordance with the marker configuration would, however, should be found, recognized as an error, and especially after the discovery in a second image data pixel array, z. B. recursively, be involved , Das Ergebnis des numerischen Optimierungsverfahrens wird anhand einer Zufallsauswahl von mindestens einer Markerbildbereichskonfiguration überprüft. The result of the numerical optimization method is verified on a random sample of at least one marker of the screen configuration. Anders gesagt dient der RANSAC-Algorithmus dazu um eine Reihe von Messwerten, wie Markerbildbereichen bzw. Markerbildbereichen zugeordnete Koordinaten, von sogenannten Ausreißern, also Messwerten mit groben Fehlern, zu bereinigen. In other words, the ransac serves a series of measurements, such as marker image areas or marker image areas assigned coordinates, of so-called outliers, ie measured values with gross errors to clean up. Aus einer vorliegenden Menge von Messungen m wird eine zufällig gewählte Untermenge m i genommen, die genau die zur Generierung einer Schätzhypothese notwendige Mindestanzahl an Messungen enthält. A randomly selected subset of m i is taken from an existing set of measurements m, which contains exactly the necessary for generating a hypothesis estimated minimum number of measurements. Damit wird die Wahrscheinlichkeit, dass sich Ausreißer in der Untermenge m i befinden, minimiert. This is the probability that there are outliers in the subset m i is minimized. Werte, die abhängig von einem Grenzwert k, der auch als Genauigkeitswert bezeichnet werden kann, die aus m i generierte Hypothese stärken, werden als Treffer, sogenannte „Inlier“, betrachtet. Values, which depend on a threshold k, which can also be called a precision value, strengthen generated from m i hypothesis be considered as a hit, so-called "inlier". Die Untermenge, deren Hypothese die meisten Treffer produziert, wird als beste Schätzung betrachtet. The subset, whose hypothesis produces the most hits is considered a best estimate. Die Untermenge ist z. B. eine Auswahl von drei Markerbildbereichen, mit denen eine eindeutige Bestimmung möglich ist. The subset is z. B. a choice of three marker image areas with which an unambiguous determination is possible. Das so erhaltene Ergebnis wird mit dem Ergebnis des numerischen Optimierungsverfahrens, das insbesondere mehr als drei Markerbildbereiche einbezogen hat, verglichen. The result thus obtained is compared with the result of the numerical optimization method that has particularly involved more than three markers image areas. Durch Wiederholung ist es auch möglich verschiedene Markerbildbereichskonfigurationen zu überprüfen, ob daraus konsistent ein gleichartiges Ergebnis erhalten wird. By repeating it is also possible to check various markers of the screen configurations, whether is consistently obtained therefrom a similar result. Eine Hypothese kann auch als Posenhypothese oder Lagehypothese bezeichnet werden. A hypothesis can also be referred to as poses hypothesis or location hypothesis. Der Kontrollalgorithmus wird insbesondere zur Überprüfung der Zuordnung nächster Nachbarn von Markerbildbereichen zwischen einer ersten und einer zweiten Bilddatenpixelanordnung verwendet. The control algorithm is used in particular to review the allocation of nearest neighbors of marker image areas between a first and a second image data pixel array. Es erfolgt, anders gesagt, eine Überprüfung einer Übereinstimmung einer Projektion einer Markermodellkonfiguration mit einer Konfiguration von Markerbildbereichen aus einer nachfolgend aufgenommenen Bilddatenpixelanordnung. There is, in other words, a review of a match a projection of a marker model configuration with a configuration of marker image areas of a subsequently recorded image data pixel array. Damit kann eine grundsätzliche Möglichkeit, dass mit einer fehlerhaften Zuordnung eines nächsten Nachbarn in der Zeitfolge das Verfahren die Bestimmung einer geänderten gegenständlichen Lage verfehlt, nahezu ausgeschlossen werden. Thus, a fundamental way that the process fails with an erroneous assignment of a nearest neighbor in the time sequence, the determination of a revised objective situation, are almost impossible.
[0063] [0063]
Eine weitere Verbesserung der Genauigkeit bei der Bestimmung einer gegenständlichen Lage ist durch die Verwendung eines Rauschenunterdrückungsalgorithmus möglich. A further improvement of the accuracy in the determination of an objective situation is possible through the use of a noise reduction algorithm. Es ist günstig, wenn der Rauschenunterdrückungsalgorithmus mittels einer Bewegungsverlaufsprognose die Position und/oder die Orientierung rechnerisch filtert. It is advantageous if the noise reduction algorithm by means of a motion prognosis the position and / or orientation filtered by calculation. Position und/oder Orientierung werden beispielsweise bei einer geänderten gegenständlichen Lage aus Bilddatenpixelanordnungen erhalten und mit einem numerischen Optimierungsverfahren verfeinert. Position and / or orientation are obtained from image data pixel arrays, for example, at a revised objective situation and refined with a numerical optimization method. Ein Bewegungsverlauf ist stetig. A movement pattern is continuous. Daher ist eine Prognose über den Bewegungsverlauf möglich. Therefore, a prediction of the course of movement is possible. Vorzugsweise kommt eine Zustandsraumdarstellung von Markermodellkonfigurationen zum Einsatz. Preferably, a state-space representation of markers model configurations is used. Die Zustandsraumdarstellung, die auch als Zustandsraummodell bezeichnet werden kann, ist eine Form der Beschreibung eines dynamischen Übertragungssystems. The state space representation, which can also be called state space model is a form of description of a dynamic transmission system. Das Zustandsraummodell ermöglicht eine Analyse und Synthese dynamischer, veränderlicher Systeme im Zeitbereich und kann auch effizient z. B. bei der regelungstechnischen Behandlung von Mehrgrößensystemen, sowie bei nichtlinearen und zeitvariablen Übertragungssystemen eingesetzt werden. The state space model allows for analysis and synthesis of dynamic, changeable systems in the time domain and can also be used efficiently for. Example, in the control engineering treatment of multivariable systems, as well as non-linear and time-variable transmission systems. Es werden sämtliche Beziehungen der Zustandsgrößen, der Eingangsgrößen und Ausgangsgrößen in Form von Matrizen und Vektoren dargestellt. There are shown in the form of matrices and vectors all relations of the state variables, the input variables and output variables. Das Zustandsraummodell wird durch zwei Gleichungen – die Zustandsdifferenzialgleichung erster Ordnung und die Ausgangsgleichung – beschrieben. The state space model is defined by two equations - described - the state first order differential equation and the output equation.
[0064] [0064]
Ein Beispiel für einen Rauschenunterdrückungsalgorithmus ist ein Kalmanfilter. An example of a noise reduction algorithm is a Kalman filter. Der Kalmanfilter ist ein Filter, der im Zustandsraum anwendbar ist. The Kalman filter is a filter which is applicable in the state space. Damit können Messungen unter Zuhilfenahme eines Prozess- und Mess-Modells, wie einer Markermodellkonfiguration, verbessert werden. Thus measurements can aid of a process and measurement model, as a marker model configuration can be improved. Der Kalmanfilter arbeitet in den zwei Schritten Prädikation und Innovation: The Kalman filter works in two steps predication and innovation: - – Prädiktion: Unter Zuhilfenahme eines Prozessmodells (z. B. Differentialgleichung eines bewegenden Objekts) wird der letzte geschätzte Zustand (z. B. Position und Geschwindigkeit) für die nächste Messung vorausgesagt. - Prediction: With the aid of a process model (., For example, differential equation of a moving object) is predicted (position and velocity, for example.) For the next measurement of the last estimated state.
- – Innovation: Die prädizierte Messung wird mit der neuen Messung zu einem neuen Schätzergebnis kombiniert. - Innovation: the predicted measurement is combined with the new measurement to a new estimation result. Dabei wird Messung und Messwertprädiktion je nach Unsicherheit der Messung (Messrauschen) und Unsicherheit der Prädiktion (Modellrauschen, Kovarianz der Messwertprädiktion, Kovarianz der Schätzung) unterschiedlich gewichtet. This measurement and Messwertprädiktion depending uncertainty of measurement (measurement noise) and uncertainty of the prediction (model noise covariance of Messwertprädiktion, covariance of the estimate) is weighted differently.
[0065] [0065]
Der Kalmanfilter selbst basiert auf einem Satz linearer mathematischer Gleichungen und setzt gauss-verteiltes Rauschen voraus. The Kalman filter itself is based on a set of linear equations and mathematical assumes Gaussian distributed noise. Vereinfacht gesprochen dient der Kalmanfilter nach einem Aspekt zum Entfernen der von den Messgeräten, wie der Digitalkamera, verursachten Störungen. Put simply, the Kalman filter is used in one aspect, to remove from the measuring instruments, such as the digital camera, causing disturbances. Dabei müssen sowohl die mathematische Struktur des zugrundeliegenden dynamischen Systems, wie die Bewegung von Markerelementen, als auch die der Messverfälschungen, wie z. B. das Pixelrauschen, bekannt sein. In this case, both the mathematical structure of the underlying dynamic system, such as the movement of marker elements, as well as the distortions of the measurement, such. As the noise pixel, to be known. Im Rahmen der mathematischen Schätztheorie spricht man hinsichtlich Kalmanfilter auch von einem Bayes'schen Minimum-Varianz-Schätzer für lineare stochastische Systeme in Zustandsraumdarstellung. As part of the mathematical estimation theory one speaks in terms of a Kalman Filter also Bayesian minimum-variance estimators for linear stochastic systems in state space representation.
[0066] [0066]
Es können auch Weiterentwicklungen von Kalmanfiltern verwendet werden, wie z. B. ein Extended Kalman-Filter (EKF) bzw. ein linearisiertes Kalman-Filter. It is also possible further developments of Kalman filters are used, such as, for. Example, an Extended Kalman filter (EKF), a linearized and the Kalman filter.
[0067] [0067]
Eine andere, vorzugsweise in einem Verfahren verwendete Weiterentwicklung eines Rauschenunterdrückungsalgorithmus ist der quaternionenbasierte Bewegungsfolgefilter, der auch als quaternionenbasierter Kalmanfilter bezeichnet werden kann. Another method which is preferably used in a further development of a noise reduction algorithm is the quaternionenbasierte motion sequence filter which may also be referred to as a Kalman filter quaternionenbasierter. Hierbei handelt es sich um einen nichtlinearen Filter zum Glätten von Winkellagemessungen. This is a nonlinear filter for smoothing of angular position measurements. Insbesondere wird bei diesem Filter das bekannte Problem des „Gimbal-Lock“ vermieden. Specifically, in this filter, the well-known problem of "gimbal lock" is avoided. Quaternionen eignen sich ganz besonders zur Darstellung von Rotationen und bei der Lösung von Problemen der Bewegungsverfolgung. Quaternions are particularly well suited for the display of rotations and in solving problems of the motion tracking. Quaternionen sind gegenüber anderen Darstellungsformen auch besonders kompakt. Quaternions are compared with other forms of representation also particularly compact. Es handelt sich um Vier-Parameter-Darstellungen. These are four-parameter representations. Die Bewegungsdynamik kann als Modell linear beschrieben werden und die Übergangsmatrix, die auch als Transitionsmatrix bezeichnet werden kann, ist einfach zu berechnen. The motion dynamics can be described as linear model and the transition matrix, which can also be called a transition matrix is easy to calculate.
[0068] [0068]
Bei drei räumlichen Koordinatenachsen zur Bezeichnung einer räumlichen Lage kann die Transitionsmatrix mit drei um die jeweiligen Koordinatenachsen auftretenden Winkelgeschwindigkeiten berechnet werden. In the case of three spatial coordinate axes to indicate a spatial position of the transition matrix can be calculated with three occurring around the respective coordinate axes angular velocities. Nach einem weiteren Aspekt lassen sich in der Umkehrung mit der Transitionsmatrix aus zwei Winkellagen, die zu unterschiedlichen Zeitpunkten bestimmt wurden, Drehgeschwindigkeiten um die jeweiligen Koordinatenachsen berechnen. In another aspect, can be in the reversal with the transition matrix of two angular positions, which were determined at different times, to calculate speeds of rotation about the respective coordinate axes. Die Drehgeschwindigkeiten sind einer Drehung zugeordnet, die ein Objekt von der ersten Winkellage in die zweite Winkellage zum jeweiligen Zeitpunkt der Winkellage überführen. The rotational speeds are associated with a rotation which convert an object from the first angular position into the second angular position at the time of the angular position.
[0069] [0069]
Der quaternionenbasierte Bewegungsfolgefilter berücksichtigt im Speziellen zwei Eigenschaften der Orientierungsdarstellung mit Quaternionen. The quaternionenbasierte motion sequence filter considered in particular two properties of the orientation presentation with quaternions. Zum einen berücksichtigt der Bewegungsfolgefilter die Eigenschaft, dass der die Drehung, anders gesagt die Rotation, darstellende Operator, nämlich der Rotationsoperator, und damit ein möglicher Fehler, der der Orientierung zukommt, durch eine Multiplikation beschrieben wird, und damit nichtlinear ist. Firstly, the sequence of movements filter takes into consideration the characteristic that the, in other words the rotation, performing operator, namely, the rotation operator, and so that a possible error that belongs to the orientation, is described by a multiplication, and thus non-linear is the rotation. Zum anderen wird berücksichtigt, dass das Quaternion, das die Winkellage eines Objekts beschreibt, immer ein Einheitsquaternion mit der Länge 1 (betrachtet als Betrag eines Vektors) ergeben muss. On the other hand it is considered that the quaternion that describes the angular position of an object, getting a unit quaternion with the length 1 must result (seen as a magnitude of a vector).
[0070] [0070]
In einer Ausführungsform eines quaternionenbasierten Filters mit additivem Fehler kann die multiplikative Rotationsoperation linearisiert werden, sodass sie durch eine Addition beschrieben wird. In one embodiment, a quaternionenbasierten filter with additive error, the multiplicative rotation operation are linearized, so that they can be described by an addition. Die Eigenschaft des Einheitsquaternions kann in diesem Falle zwar dadurch bewahrt werden, dass das Ergebnis der Filterung normiert wird. The property of Einheitsquaternions can be preserved by in this case indeed that the result of the filtering is normalized. In der mathematischen Struktur des zugrundeliegenden dynamischen Systems als auch bei der Beschreibung der Messverfälschung, muss allerdings das Verfahren zur Bestimmung der Winkellage als ein Pseudomessgerät für die vier Parameter eines Quaternion betrachtet werden, wobei jedem Parameter eine von den anderen Parametern unabhängige Messverfälschung zugeordnet wird, was daher vorzugsweise noch weiter zu verbessern ist. In the mathematical structure of the underlying dynamic system as well as in the description of the measured distortion, but the process for determining the angular position has to be regarded as a pseudo-measurement device for the four parameters of a quaternion, where each parameter is associated with an independent of the other parameters measured distortion, which is therefore preferably to improve even further.
[0071] [0071]
Eine andere Weiterentwicklung eines quaternionenbasierten Bewegungsfolgefilters verfolgt nicht die Winkellage eines Objekts selbst, sondern die Änderung der Winkellage des Objekts. Another further development of a sequence of movements quaternionenbasierten filter does not track the angular position of an object itself, but the change in the angular position of the object. Es kann auch gesagt werden, dass die multiplikative Operation der 4-parametrischen Ausgangswinkellage mit der ebenfalls 4-parametrischen Änderung der Winkellage die aktualisierte Winkellage ergibt, die zum Zeitpunkt der Erfassung einer neuen Bilddatenpixelanordnung vorliegt. It can also be said that the multiplicative operation of the 4-parametric initial angular position with the also 4-parametric change in angular position gives the updated angular position, which is present at the time of acquisition of a new image data pixel array. Nach einem Aspekt kann die Messung der neuen Winkellage aus der neuen Bilddatenpixelanordnung als eine Messung der Winkellage mit einer Messverfälschung bezeichnet werden. In one aspect, the measurement of the new angular position of the new image data of the pixel array may be termed a measurement of the angular location with a measuring distortion. Die Berechnung der neuen, um die Messverfälschung bereinigten Winkellage wird um den Bewegungsfolgefilter gekapselt. The calculation of the new to the measured distortion adjusted angular position is encapsulated by the motion sequence filter. Der Bewegungsfolgefilter berücksichtigt eine Beschränkung der Winkellage hinsichtlich eines Erwartungswerts einer Bewegungsgröße. The motion sequence filter considered a restriction on the angular position with regard to an expected value of a movement amount. Im Bewegungsfolgefilter selbst wird die Änderung der Winkellage in einer 3(drei)-parametrischen Darstellungsform verfolgt und kann deshalb mit einem linearen, additiven Fehler beschrieben werden ohne die Drehoperation zu verzerren. In motion sequence filter even the change in the angular position in a 3 (three) -parametrischen form of representation is tracked and can therefore be described with a linear, additive error without distorting the turning operation. Das gefilterte Ergebnis wird vor der multiplikativen Rotationsoperation mit der Ausgangswinkellage in eine 4-parametrische Darstellung umgerechnet. The filtered result will be converted before the multiplicative rotation operation with the initial angular position in a 4-parametric representation. Die Änderung der Winkellage kann beispielsweise mit Winkelgeschwindigkeitssensoren, wie etwa einem Gyroskop, direkt gemessen werden. The change in the angular position, for example, with angular velocity sensors such as a gyroscope, to measure directly. Es ist auch möglich, die Änderung der Winkellage unter Annahme gleichmäßiger Rotationsbewegung im Bewegungsprozess-Modell, mittels der Transitionsmatrix aus der Ausgangswinkellage und der neuen Messung der Winkellage zu berechnen. It is also possible to calculate the change in the angular position, assuming a uniform rotational movement in the movement process model, by means of the transition matrix from the initial angular position and a new measurement of angular position. Bei der Verwendung von sensorisch erhobenen Winkelgeschwindigkeiten müssen unterschiedliche Datenraten zwischen Sensordaten und Bilddatenpixelanordnungen kompensiert werden. When using sensory raised angular velocities different data rates between the sensor data and image data pixel arrays need to be compensated. Eine Anpassung von Messungen, die mit unterschiedlichen Datenraten erfasst werden, kann durch Zuhilfenahme eines dynamischen Bewegungsmodells geschehen, mit dem insbesondere Messwerte interpoliert werden können. An adaptation of measurements that are captured at different data rates can be done by the aid of a dynamic motion model, with the particular measured values can be interpolated.
[0072] [0072]
Durch ein dynamisches Bewegungsmodell können Bewegungsänderungen in der Position mit Änderungen der Winkellage gekoppelt werden, was eine verbesserte Bestimmung der Objektpose, anders gesagt, der gegenständlichen Lage eines Objekts, ergibt. Through a dynamic motion model motion changes can be coupled with changes in the position of the angular position, which improved provision of Objektpose, in other words, the objective position of an object yields.
[0073] [0073]
Als Alternative zu einem Kalman-Filter kann auch ein Partikelfilter, wie ein Kondensationsalgorithmus oder ein sequenzieller Monte-Carlo-Algorithmus eingesetzt werden. As an alternative to a Kalman filter and a particle filter, such as a condensation algorithm or a sequential Monte Carlo algorithm can be used. Hierbei handelt es sich um nichtlineare Filter, die keine Gauß-verteilten Rauschprozesse voraussetzen. This is non-linear filters that require no Gaussian distributed noise processes.
[0074] [0074]
Mit dem Verfahren kann besonders zügig und schnell eine Lagebestimmung erfolgen, wenn als Ausgangspunkt eine Vorauswahl einer Markeruntergruppe der Markerkonfiguration zur Anwendung des Vergleichsalgorithmus getroffen wird. The process can be particularly rapidly and quickly carried out an orientation when a preselection of a marker subset of marker configuration for use of the comparison algorithm is taken as a starting point. In der Vorauswahl kann anders gesagt eine Anfangskonfiguration des Vergleichsalgorithmus festgelegt werden. In the pre-selection can in other words an initial configuration of the comparison algorithm are determined. Die Markeruntergruppe wird aus der Markerkonfiguration bestimmt. The marker subgroup is determined from the marker configuration. Die Markeruntergruppe kann auch aus einer Markermodellkonfiguration bestimmt werden. The marker subset can also be determined from a marker model configuration. Vorzugsweise erfolgt die Vorauswahl der Markeruntergruppe algorithmisch in der Recheneinheit, wobei auf vorbekannte Markerkonfigurationsdaten zurückgegriffen wird. Preferably, the pre-selection of the marker subset done algorithmically in the computing unit, which will make use of previously known marker configuration data. Als Markeruntergruppe können z. B. Markerelemente gewählt werden, die einen kleinsten, insbesondere mittleren, Abstand aufweisen. As a marker subset z. B. marker elements can be selected which have a minimum, especially middle distance. Nach einem Aspekt handelt es sich hierbei um die nächsten Nachbarn innerhalb der Markerkonfiguration. In one aspect, these are the nearest neighbors within the marker configuration. Die Markeruntergruppe umfasst vorzugsweise drei Markerelemente. The marker subset preferably comprises three marker elements. Die Markeruntergruppe kann auch vier Markerelemente umfassen. The marker subgroup can also include four marker elements. Der kleinste mittlere Abstand ist insbesondere dann erkannt, wenn durch einen hypothetischen Austausch eines Markerelements der Markeruntergruppe ein mittlerer Abstand vergrößert wird. The smallest mean distance is particularly recognized when a medium distance is increased by a hypothetical exchange of a marker element of the marker subgroup. Der mittlere Abstand kann z. B. danach berechnet werden, dass jeweils alle vorliegenden paarweisen Abstände von zwei Markerelementen der Markeruntergruppe addiert und durch die Anzahl der Abstände dividiert werden. The average distance z can. B. are calculated thereafter, be that each adds all present pairwise distances from two marker elements of the marker sub-group and divided by the number of intervals.
[0075] [0075]
Nach einem anderen Aspekt hat es sich in Versuchen als förderlich für die Schnelligkeit bei der Bestimmung einer Lage bzw. einer geänderten Lage herausgestellt, wenn eine Untergruppe von Markerbildbereichen vorausgewählt wird, auf die der Vergleichsalgorithmus angewendet wird. According to another aspect, it has been proven in tests to be conducive to the speed in determining a location or a change in location, if a subset of marker image areas is pre-selected, to which the comparison algorithm is applied. Eine erste Untergruppe umfasst vorzugsweise fünf Markerbildbereiche. A first subset preferably comprises five marker image areas. Die erste Untergruppe kann allerdings auch drei Markerbildbereiche umfassen, insbesondere wenn eine Überprüfung eines numerischen Optimierungsverfahrens durchzuführen ist. The first sub-group, however, can also comprise three markers image areas, particularly where a review of a numerical optimization procedure is carried out. Die Untergruppe wird vorzugsweise als Nächste-Nachbar-Markerbildbereichskonfiguration ausgewählt. The sub-group is preferably selected as the nearest neighbor markers image area configuration. Hierbei werden aus allen aufgefundenen Markerbildbereichen die Markerbildbereiche ausgewählt, die zueinander als nächste Nachbarn algorithmisch ausgewertet werden. Here, the marker image areas are selected from all discovered marker image areas that are evaluated each other as nearest neighbors algorithmically. Die nächsten Nachbarn lassen sich z. B. dadurch identifizieren, dass der mittlere Abstand von jeweils drei Markerbildbereichen aus allen aufgefundenen Markerbildbereichen berechnet wird. The nearest neighbors z. B. can be identified by the fact that the average distance of three marker image areas from all discovered marker image areas is calculated. Die Markerbildbereiche mit dem kleinsten mittleren Abstand bilden die ausgewählte erste Untergruppe. The marker image areas with the smallest average distance form the selected first subset. Weitere Markerbildbereiche, die einen größeren mittleren Abstand als eine erste Untergruppe aufweisen, lassen sich sequenziell mit jeweils größerem mittleren Abstand in den Vergleichsalgorithmus einbringen. Other markers image regions which have a larger average distance as a first subgroup, can be sequentially bring each with a larger mean distance in the matching algorithm. Das erfolgt vorzugsweise wenn die erste Untergruppe oder eine weitere Untergruppe von dem Vergleichsalgorithmus, z. B. aufgrund unzureichender Übereinstimmung mit einer Markermodellkonfiguration, aussortiert wurde. This is preferably carried out when the first sub-group or another subset of the matching algorithm, z. B. due to inadequate compliance was a marker model configuration sorted out.
[0076] [0076]
Nach einem weiteren Aspekt kann eine Nächste-Nachbar-Markerbildbereichskonfiguration auch eine erste Markerbildbereichskonfiguration aus einer ersten Bilddatenpixelanordnung und eine zweite Markerbildbereichskonfiguration aus einer zweiten Bilddatenpixelanordnung sein, die z. B. von allen Markerbildbereichskonfigurationen, insbesondere innerhalb der Markerbildbereichskonfiguration, den kleinsten mittleren Abstand zueinander aufweisen. According to another aspect, a nearest neighbor markers image area configuration also be a first marker of the screen configuration of a first image data pixel array and a second marker of the screen configuration of a second image data pixel array, the z. B. by all markers of the screen configurations, in particular within the marker image area configuration, have the smallest average distance to each other.
[0077] [0077]
Eine algorithmisch mittels Markerbildbereichen aufgefundene Markerpositionskonfiguration, die die gegenständliche Lage ausmacht, kann noch weiter verfeinert werden, indem der Markerpositionskonfiguration eine Position und eine Richtung eines Raumwinkelbereichs zugeordnet wird. An algorithmically discovered by marker image areas marker position configuration which constitutes the objective situation can be further refined by the marker position configuration is associated with a position and a direction of a solid angle range. Insbesondere ist es möglich, bei einer Bewegung eine Zuordnung eines geänderten Raumwinkelbereichs zu einer Markerpositionskonfiguration durchzuführen. In particular, it is possible to carry out during a movement of an assignment of a modified solid angle range to a position marker configuration. Ein geänderter Raumwinkelbereich ist ein Raumwinkelbereich, der in einer zweiten gegenständlichen Lage vorliegt. A modified solid angle range is a solid angle range, which is in a second representational situation. Eine Größe des Raumwinkelbereichs kann z. B. durch zwei Winkel angegeben werden. A size of the solid angle range can z. B. are specified by two angles. Die Größe des Raumwinkelbereichs entspricht z. B. einem Blickfeld eines menschlichen Auges oder einem Blickfeld eines menschlichen Augenpaares. The size of the solid angle range corresponds to z. B. a field of view of a human eye or a field of view of a human eye pair. Die Position kann z. B. die Position des Kopfes im Raum sein. The position may be the position of the head in space z. B.. Die Richtung kann z. B. die Drehstellung des Kopfes oder die Drehstellung der Augen oder auch eine Kombination aus Drehstellung des Kopfes und Drehstellung der Augen sein. The direction may be the rotational position of the head or the rotational position of the eyes, or even a combination of rotational position of the head and rotational position of the eyes, for. Instance. Der Raumwinkelbereich ist in Bereichsbilddaten eines virtuellen Raums umrechenbar. The solid angle range is umrechenbar in the area image data of a virtual space. Es können allerdings auch aus Bilddaten eines realen Raums, wie eine Photographie oder ein Film, die digitalisiert auf der Recheneinheit vorliegen, zur Berechnung von Bereichsbilddaten, die einem Raumwinkelbereich zugeordnet sind, herangezogen werden. There may be, however, even from image data of a real space, such as a photograph or a movie, the digitized on the computer unit, are used to calculate the area image data are associated with a solid angle area used. Insbesondere werden für eine Umrechnung Bilddaten eines dreidimensionalen Raums verwendet. In particular, image data of a three-dimensional space can be used for a conversion. Bereichsbilddaten, die einem Raumwinkelbereich zuordnenbar sind, können von einem rechnergestützten Konstruktionsprogramm bereitgestellt worden sein. Range image data, which are a solid angle range assignable may have been provided by a computer-aided design program. Es ist auch möglich eine Position und eine Richtung in einem rechnergestützten Konstruktionsprogramm zu verwenden, um einen Raumwinkelbereich eines virtuellen Raums zu errechnen. It is also possible to use a position and a direction in a computer-aided design program to calculate a solid angle of a virtual space.
[0078] [0078]
Ein System, mit dem eine Blickfelddarstellung dargeboten werden kann, arbeitet vorzugsweise mit Markerelementen, die in einer Konfiguration vorliegen. A system by which a field of view display can be performed, preferably carried out with marker elements which are present in a configuration. Die Konfiguration der Markerelemente kann durch einen Markerträger, insbesondere durch Flächenelemente des Markerträgers strukturiert sein. The configuration of the marker elements may be structured by a marker carrier, in particular through the surface elements of the marker carrier. Die Konfiguration der Markerelemente wird vorzugsweise durch eine Pseudozufallsverteilung der Markerelemente festgelegt. The configuration of the marker elements is preferably defined by a pseudo-random distribution of the marker elements. Bei einer Pseudozufallsverteilung wird eine Position eines Markerelements mit Hilfe mindestens einer Zufallszahl vorbestimmt. In a pseudo-random distribution of a position of a marker element by means of at least one random number is predetermined. Zufallszahlen werden z. B. von einem Zufallszahlenalgorithmus rechnerisch vorgegeben. Random numbers are given mathematically by a random number algorithm z. B.. Eine Zufallszahl kann z. B. eine Koordinate oder ein Pixel auf einem Flächenelement eindeutig festlegen. A random number can specify a coordinate or a pixel on a surface element clearly z. B.. Der Begriff Pseudozufallsverteilung besagt, dass die zufällige Verteilung der Markerelemente weiteren Randbedingungen unterliegt. The term pseudo-random distribution says that the random distribution of the marker elements further constraints subject. Es ist beispielsweise möglich vorab festzulegen, dass auf einem Flächenelement des Markerträgers eine bestimmte Anzahl, wie z. B. drei, Markerelemente vorliegen müssen. It is for example possible to determine in advance that on a surface element of the marker support a certain number of such. B. must be three, marker elements. Es kann auch festgelegt werden, dass die Markerelemente nichtlinear angeordnet sind. It can also be specified that the marker elements are arranged non-linearly. Bei einer Pseudozufallsverteilung kann auch eine Randbedingung festgelegt werden, wonach in der Konfiguration ein Mindestabstand jedes Markerelements von einem nächstliegenden Rand eingehalten ist. In a pseudo-random distribution, a boundary condition can be set, according to the configuration, a minimum distance of each marker element is respected by a nearest edge. Nach einem anderen Aspekt kann auch ein Mindestabstand von einer nächstliegenden Kante des Markerträgers vorausgesetzt sein. According to another aspect, a minimum distance of a nearest edge of the marker carrier may be provided. Nach noch einem anderen Aspekt lässt sich vorab ein Mindestabstand von jeweils zwei Markerelementen der Konfiguration festlegen. According to yet another aspect can be pre-set a minimum distance of two marker elements of the configuration. Mit solchen Vorgaben lässt sich z. B. die Unterscheidbarkeit von zwei Markerelementen verbessern. Such specifications can be z. B. improve the distinctness of two marker elements. Weiterhin werden in einem Pixeldatenfeld, das von einer Kamera aufgenommen wurde, Markerelemente zumindest bereichsweise mit dem Hintergrund des Markerträgers gezeigt, wodurch ein Auffinden von Markerelementen in dem Pixeldatenfeld erleichtert werden kann. Further, in a pixel data array that has been recorded by a camera, the marker elements at least partially shown with the background of the marker carrier, whereby a detection of marker elements in the pixel array can be facilitated. Ein Markerträger bietet einen homogenen und gleichmäßigen, insbesondere dunklen, Hintergrund, der sich z. B. von einem in dem Raumbereich erfassbaren Hintergrund unterscheidet. A marker carrier provides a homogeneous and uniform, especially dark background, the z. B. differs from a detectable in the space area background. Der Mindestabstand beträgt vorzugsweise mindestens ein Drittel eines Markerelementdurchmessers. The minimum distance is preferably at least one-third of a marker element diameter. Es ist auch möglich, einen Mindestabstand von einem halben Markerelementdurchmesser oder einem ganzen Markerelementdurchmesser als Mindestabstand vorzusehen, um so die Markererkennung in dem Pixeldatenfeld weiter zu verbessern. It is also possible to provide a distance of at least half a diameter marker element or an integral marker element diameter than the minimum distance, so as to improve the detection of markers in the pixel array on. Vorzugsweise sind alle Markerelemente in der Konfiguration nicht linear zueinander angeordnet, sodass von einer Nichtlinearität der Konfiguration gesprochen werden kann. Preferably, all marker elements are not arranged linearly in the configuration to one another, so that one can speak of a non-linearity of the configuration. Eine nichtlineare Konfiguration von drei Markerelementen ist eine Dreieckskonfiguration. A non-linear configuration of three marker elements is a triangular configuration. Durch jede dieser Randbedingungen kann die Bestimmung einer Lage in verschiedenen Winkelstellungen des Markerträgers weiter verbessert, und eine Erkennbarkeit eines Markerelements durch eine Digitalkamera gesteigert werden. Each of these boundary conditions the determination of a location in different angular positions of the marker carrier further improved, and a recognition of a marker element can be increased by a digital camera.
[0079] [0079]
Markerelemente lassen sich besonders gut in einem Pixeldatenfeld auffinden, wenn die Konfiguration mindestens einen, vorzugsweise mindestens vier Markerbildbereiche bereitstellt. Marker elements can be particularly good find in a pixel array, if the configuration provides at least one, preferably at least four marker image areas. Konfiguration besagt auch, dass eine Kombination einer vorausgewählten Ausgestaltung eines Markerträgers mit Markerelementen vorliegt. Configuration also states that a combination of a pre-selected configuration of a marker carrier with marker elements is present. Die Markerbildbereiche werden in einer Aufnahme einer Digitalkamera bereitgestellt. The marker image areas are provided in a recording of a digital camera. Die Aufnahme der Digitalkamera erfasst auch Markerträgerbildbereiche. The inclusion of digital camera also captures marker carrier image areas. Mindestens einer der Markerbildbereiche sollte zumindest bereichsweise an einen Markerträgerbildbereich angrenzen. At least one of the marker image areas should be at least partially adjacent to a marker carrier image area. Vorzugsweise grenzen mindestens vier Markerbildbereiche an einen Markerträgerbildbereich an. Preferably limits at least four marker image areas on to a label carrier image area. Sind weitere Markerbildbereiche in dem Pixeldatenfeld enthalten, so sind insbesondere auch die weiteren Markerbildbereiche in zweidimensionaler Ansicht des Pixeldatenfelds zumindest an einem Kantenbereich mit einem Helligkeitsunterschied zu einem Flächenelement des Markerträgers ausgewiesen. Are more marker image areas included in the pixel data field, as well as the other marker image areas are in particular reported in two-dimensional view of the pixel data field at least at an edge portion with a brightness difference to a surface element of the marker carrier. Vorzugsweise ist ein Markerbildbereich von einem Markerträgerbildbereichsrand umschlossen. Preferably, a marker image area is enclosed by a marker carrier image area edge.
[0080] [0080]
Markerbildbereiche sind besonders gut mit einem Markererkennungsalgorithmus zu erfassen, wenn sie mit einem hohen Kontrast im Verhältnis zu einem Bildbereichshintergrund vorliegen. Marker image areas are particularly easy to detect with a marker detection algorithm, when they are present with a high contrast relative to an image area background. Dafür ist es günstig, wenn Flächenelemente eines Markerträgers eine absorptionsfördernde Oberfläche aufweisen. Therefore it is advantageous if the surface elements of a marker support have an absorption-promoting surface. Als ein förderlicher Aspekt einer Oberfläche wird eine Materialeigenschaft verstanden, die eine Erleichterung oder eine Begünstigung eines optischen Effekts bewirkt. As a more conducive aspect of a surface is understood a material property that causes a relief or favoring an optical effect. Der Markerträger kann z. B. zur Verbesserung, dh Erhöhung, der Absorption von sichtbarem Licht ausgebildet sein. The marker carrier can be, for. Example, to improve, ie increase, the absorption of visible light may be formed. Die Absorption eines Flächenelements kann auch für einen vorgegebenen Spektralbereich optimiert sein. The absorption of a surface element can be optimized for a given spectral range. Vorzugsweise wird mehr als 50% des Lichts, das auf ein Flächenelement einfällt, absorbiert. Preferably, more than 50% of the light incident on an area element, absorbed. Eine absorptionsfördernde Oberfläche ist nach einem Aspekt zu unterscheiden von einer reflexionsfördernden Oberfläche. An absorption-promoting surface is to be distinguished by one aspect of a reflection-promoting surface. Eine reflexionsfördernde Oberfläche erleichtert Photonen das Verlassen der Oberfläche, wohingegen eine absorptionsfördernde Oberfläche eine Aussendung von Photonen erschwert. A reflection-enhancing surface facilitates the photons leaving the surface, whereas an absorption-promoting surface hinders emission of photons. Der Bereich sichtbaren Lichts kann z. B. zwischen 350 und 800 Nanometer bemessen sein. The visible light region may be sized such. B. 350-800 nanometers. Markerelemente weisen vorzugsweise eine reflexionsfördernde Oberfläche auf. Marker elements preferably have a reflection-enhancing surface. Eine reflexionsfördernde Oberfläche ist z. B. eine weiße Oberfläche. A reflection-promoting surface is z. B. a white surface. Eine weiße Oberfläche wirft eintreffendes Licht des sichtbaren Spektralbereichs zurück. A white surface will reflect back incoming light of the visible spectral. Es ist auch möglich, dass die Reflexion mit einer Streuung von Licht erfolgt. It is also possible that the reflection takes place with a scattering of light. Anders gesagt bietet eine reflexionsfördernde Oberfläche vorzugsweise keinen Winkelerhalt für einfallendes Licht, insbesondere möglichst geringe Rückreflexion, sodass eine Positionierung einer Lichtquelle frei wählbar ist. In other words, a reflection-promoting surface preferably has no angle receipt of incident light, in particular the least possible back reflection, so that positioning a light source can be freely selected. Eine reflexionsfördernde Oberfläche kann nach einem Aspekt auch als eine abstrahlungsfördernde Oberfläche bezeichnet werden. A reflection-promoting surface can also be referred to as a radiation promoting surface according to one aspect. Die Abstrahlung kann eine Rückstrahlung von empfangenem Licht umfassen. The radiation may comprise a reflection of received light. Die Abstrahlung kann aber auch die Aussendung von generiertem Licht umfassen. The radiation may also comprise the transmission of generated light. Vorzugsweise werden mehr als 50 % des auf ein Markerelement einfallenden Lichts reflektiert. Preferably more than 50% of light incident on a marker element light are reflected. Insbesondere sind Markerelementoberflächen vorteilhaft, die Licht breitbandig zurückwerfen. In particular marker element surfaces are advantageous throw back the light broadband. Es können allerdings auch Markerelementoberflächen oder Markerelementoberflächenbeschichtungen verwendet werden, die eine Abstrahlung von sichtbarem Licht, insbesondere in einem spektral-eingeschränkten Wellenlängenbereich, fördern. It can be used however marker element surfaces or marker element surface coatings that promote emission of visible light, in particular in a spectrally-limited wavelength range. Damit ist es möglich, z. B. durch das Vorsetzen eines geeigneten Spektralfilters vor eine Digitalkamera, die Auffindbarkeit von Bildbereichen von Markerelementen in einer Bilddatenpixelanordnung zu verbessern. It is thus possible, for. Example, by prefixing a suitable spectral filter in front of a digital camera, for improving the retrieval of image regions of marker elements in an image data pixel array. Nach einem weiteren Aspekt kann die Auffindbarkeit von Markerelementen in Bildbereichen auch durch eine Beschichtung mit einem optischen Aufheller verbessert werden. In another aspect of the findability of marker elements in image areas can be improved by a coating with an optical brightener. Ein optischer Aufheller ist eine Substanz, die z. B. energiereiches Licht, wie UV-Licht, in energieärmeres Licht, wie sichtbares Licht, umwandelt. An optical brightener is a substance that z. B. high-energy light, such as UV light, in lower energy light, such as visible light, converts. Der optische Aufheller wird vorzugsweise auf den Markerelementen aufgebracht. The optical brightener is preferably applied to the marker elements. Der optische Aufheller kann auch als Beimischung des formgebenden Materials eines Markerelements vorliegen. The optical brightener may also be present as an admixture of the forming material of a marker element. Optische Aufheller sind z. B. dann besonders nützlich, wenn an dem Aufstellungsort des Markerträgers Tageslicht herrscht oder zumindest zum Licht der Lichtquelle beiträgt. Optical brighteners are z. B. then particularly useful if there is to the site of the marker carrier daylight or at least contributes to the light from the light source. Es kann allerdings auch eine zusätzliche, sogenannte Schwarzlichtquelle, wie eine Schwarzlichtleuchtstofflampe, verwendet werden, um die Auffindbarkeit von Markerelementen durch einen Markererkennungsalgorithmus noch weiter zu verbessern. However, it may also be an additional, so-called black light source, such as a black light fluorescent lamp used to improve the findability of marker elements by a marker detection algorithm further. Als Alternative zu passiv kontrastbildenden Markerelementen können auch aktiv leuchtende Markerelemente, wie z. B. Markerelemente, in die jeweils eine Leuchtdiode integriert ist, verwendet werden. As an alternative to passive contrast markers forming elements can also actively luminous marker elements, such. As marker elements, in each of which a light-emitting diode is integrated, are used. Eine größere Unabhängigkeit von verfügbaren Lichtquellen lässt sich z. B. durch Integration einer Leuchtdiode oder eines Lichtleitfaserendes von einer Lichtquelle in mindestens ein nach außen durchscheinbares Markerelement erreichen. A greater independence of the available light sources can be achieved z. B. by integrating a light-emitting diode or one optical fiber from a light source in at least one durchscheinbares outward marker element.
[0081] [0081]
Die Recheneinheit des Systems ist vorzugsweise so klein und leicht, dass sie tragbar ist. The processing unit of the system is preferably so small and light that it is portable. Die Recheneinheit kann z. B. in einer Hand getragen werden. The computing unit can z. B. are carried in one hand. Es ist auch möglich, die Recheneinheit an einem Riemen oder einem Gürtel zu befestigen. It is also possible to attach the computing unit to a belt or a belt. Der Anwendungsmöglichkeiten der Recheneinheit werden noch mehr erweitert, wenn die Recheneinheit eine Speichereinheit aufweist. The possible applications of the computing unit are even more enhanced if the computing unit comprises a storage unit. Die Speichereinheit kann unter Anderem zur Bereitstellung von Daten eines virtuellen Raums eingesetzt werden. The storage unit can be used inter alia for the provision of data of a virtual space. Es ist aber auch möglich, die Daten eines virtuellen Raums per Funk zur Recheneinheit zu übertragen, um die tragbare Recheneinheit möglichst klein zu gestalten, sodass sie in einem Innenbereich eines Markerträgers untergebracht sein kann. But it is also possible to transmit the data by radio to a virtual space computing unit to make the portable computing unit as small as possible so that it can be accommodated in an inner region of a marker carrier. Die Daten des virtuellen Raums können zur Bereitstellung von Lageänderungen oder Blickfelddarstellungen in zeitlicher Folge verwendet werden. The virtual space data can be used to provide positional changes or visual field representations in temporal sequence. Es ist auch vorteilhaft, wenn ein Steuerelement in dem System vorgesehen ist. It is also advantageous if a control is provided in the system. Das Steuerelement kann eine Vorauswahl einer Raumbereichspositionierung einfach und schnell ermöglichen. The control can enable a preselection of a region of space positioning easy and fast. Ein Steuerelement kann so ausgebildet sein, dass es mit einer Recheneinheit verbindbar ist. A control can be so formed that it is connectable to a computing unit. Beispielsweise kann ein Steuerelement als ein Spracherkennungsmodul vorliegen, das über ein Mikrofon eine Spracheingabe auswertet. For example, a control element present as a speech recognition module that evaluates a voice input through a microphone. Es ist auch möglich, dass das Steuerelement als eine Gestenerkennungseinheit ausgebildet ist, in der ein oder mehrere Pixeldatenfelder algorithmisch analysierbar sind. It is also possible that the control element is designed as a gesture recognition unit, in which one or more pixel data fields are analyzed algorithmically. Die Pixeldatenfelder werden z. B. mit der Digitalkamera optisch erfasst und in algorithmisch auswertbare elektronische Daten umgewandelt. The pixel data fields are z. B. with the digital camera optically detected and converted into electronic data algorithmically evaluated. Damit lässt sich eine Blickfelddarstellung schnell ändern, ohne einen Systemneustart vornehmen zu müssen. This allows a head-up display change quickly, without having to perform a system reboot. Die Blickfelddarstellung kann durch Lageänderungen in dem System weiter verfolgt werden. The head-up display can be monitored by changes in position in the System on.
[0082] [0082]
Neben einer ersten elektronischen Bildanzeige kann das System auch weitere elektronische Bildanzeigen, insbesondere eine zweite elektronische Bildanzeige, umfassen. In addition to a first electronic image display, the system may also include other electronic image displays, in particular a second electronic image display. Es ist möglich, dass die erste elektronische Bildanzeige und die zweite elektronische Bildanzeige gemeinsam ein Blickfeld bilden. It is possible that the first electronic image display and the second electronic image display together form a field of view. Eine günstige Anordnung liegt vor, wenn die weitere elektronische Bildanzeige von einer ersten elektronischen Bildanzeige in einer Querrichtung fest beabstandet ist. A favorable arrangement exists when the other electronic image display of a first electronic image display in a transverse direction is fixed spaced. Vorzugsweise sind die elektronischen Bildanzeigen nebeneinander angeordnet, womit eine erweiterte Blickfelddarstellung möglich ist. Preferably, the electronic image displays arranged side by side, making an advanced head-up display is possible. Nach einem weiteren Aspekt kann auch das gleiche Blickfeld dupliziert dargeboten werden. In another aspect, also have the same field of view can be presented duplicated. Damit können auch unterschiedliche Betrachter sich auf das gleiche Blickfeld konzentrieren. Thus, different viewers to focus on the same field of vision. In einer weiteren Ausführungsform können ein erstes und ein zweites Blickfeld als ein Stereoraumwinkelbereich dargeboten werden. In another embodiment, a first and a second field of view may be presented as a stereo spatial angle range. Ein Stereoraumwinkelbereich bietet einen noch beeindruckenderen räumlichen Eindruck einer virtuellen Umgebung bzw. eines virtuellen Raums für einen Betrachter. A stereo solid angle range offers an even more impressive spatial impression of a virtual environment or a virtual space for a viewer.
[0083] [0083]
Ein Ausführungsbeispiel einer elektronischen Bildanzeige ist eine Videobrille. An embodiment of an electronic image display is a video glasses. Eine Videobrille weist in einer Ausführungsform eine erste und eine zweite Bildanzeige auf. A video glasses, in one embodiment a first and a second image display. Eine Bildanzeige ist einem Auge zugeordnet. An image display is assigned to an eye. Weiterhin kann eine Videobrille mindestens eine Messeinrichtung umfassen. Further, a video glasses comprise at least one measuring device. Es können auch weitere Messeinrichtungen, wie eine zweite Messeinrichtung, an einer Videobrille vorgesehen sein. It can also include other measuring devices, such as a second measuring device, be provided on a video glasses. Eine Messeinrichtung ist eine Einheit zur Ausführung mindestens einer Messung einer Messgröße, vorzugsweise in zeitlicher Folge. A measuring device is a unit for carrying out at least one measurement of a measured variable, preferably in chronological order. Eine Messeinrichtung umfasst z. B. mindestens einen Inertialsensor zur Messung von Beschleunigung und Drehraten (inertial measurement unit, kurz IMU), mindestens einen Augenstellungssensor oder ein Sehschärfesensor. A measuring device comprises z. B. at least one inertial sensor to measure acceleration and rotation rate (Inertial Measurement Unit, IMU short), at least one eye position sensor or a vision sensor. Es ist in einer vorteilhaften Weiterbildung möglich mittels einer Videobrille, die insbesondere für jedes Auge eine Augenstellungsmesseinrichtung umfasst, eine Blickrichtung einer Person, bzw. eine Blickrichtungsänderung einer Person, durch Verdrehen der Augen festzustellen. It is in an advantageous development of possible means of video glasses for each eye has a particular eye position measuring device, a viewing direction of a person, or a change in viewing direction of a person, determine by turning the eyes. Eine Blickrichtung kann in eine Darstellung insbesondere eines Blickfelds bzw. eines Winkelbereichs in einem virtuellen Raum eingerechnet werden. A viewing direction may be included in a representation in particular a field of view or an angular range in a virtual space. Es ist auch möglich eine Lagesensorik, die z. B. mechanisch arbeitet, oder einen Beschleunigungssensor in dem System vorzusehen, um eine Genauigkeit einer Lagebestimmung noch weiter zu verbessern oder nach einem anderen Aspekt eine Geschwindigkeit einer Lagebestimmung noch weiter zu erhöhen. It is also possible to position sensor, the z. B. works mechanically, or to provide an acceleration sensor in the system, to further improve accuracy of position determination or in another aspect, to increase a speed of a location determination even further.
[0084] [0084]
Die zuvor dargestellten Kombinationen und Ausführungsbeispiele lassen sich auch in zahlreichen weiteren Verbindungen und Kombinationen betrachten. The combinations and embodiments presented above can be viewed also in numerous other compounds and combinations. Einzelne benannte Aspekte sind frei miteinander kombinierbar oder auch mit Merkmalskombinationen als weitere Ausführungsform zusammenfassbar. Individual named aspects can be combined freely or with combinations of features as a further embodiment possible to accumulate.
Figurenkurzbeschreibung Brief Description
[0085] [0085]
Die vorliegende Erfindung kann noch besser verstanden werden, wenn Bezug auf die beiliegenden Figuren genommen wird, die beispielhaft besonders vorteilhafte Ausgestaltungsmöglichkeiten darlegen, ohne die vorliegende Erfindung auf diese einzuschränken, wobei The present invention may be more fully understood when reference is made to the accompanying figures, explain the example particularly advantageous configuration options, without the present invention being limited to them being
[0086] [0086]
1 1 ein System zur Darbietung einer Blickrichtung zeigt, wobei eine Trägerperson sich in einem Raumbereich frei bewegen kann, a system for presentation of a line of sight shows where a wearer can move freely in a space,
[0087] [0087]
2 2 einen Markerträger zeigt, in den aktivleuchtende Markerelemente integrierbar sind, und zwar in Draufsicht in a marker carrier shows can be integrated into the active luminous marker elements, in plan view in 2a 2a , in einem Durchschnitt entlang der Achse BB in , In an average along the axis BB in 2b 2b , in Seitenansicht in Richtung B, in , In side view in the direction B, in 2c 2c sowie in einer dazu senkrechten Seitenansicht in and in a perpendicular side view in 2d 2d und in einer perspektivischen Ansicht in and in a perspective view in 2e 2e , .
[0088] [0088]
3 3 einen Markerträger mit passiv lichtstreuenden Markerelementen zeigt, und zwar in einer Draufsicht in a marker carrier with passive light diffusing elements Marker shows, in a plan view in 3a 3a , in einer ersten Seitenansicht, in , In a first side view, in 3b 3b sowie in einer zweiten Seitenansicht in and in a second side view in 3c 3c und in einer perspektivischen Ansicht in and in a perspective view in 3d 3d , .
[0089] [0089]
4 4 einen Markerträger aus a marker carrier from 3 3 mit eingebauter Videobrille in Draufsicht in with built-in video glasses in plan view in 4a 4a , in erster Seitenansicht in , In the first side view in 4b 4b , in zweiter Seitenansicht in , In the second side view in 4c 4c und in perspektivischer Ansicht in and in a perspective view in 4d 4d zeigt, shows
[0090] [0090]
5 5 eine erste Ausführungsform eines Verfahrens zeigt und shows a first embodiment of a method and
[0091] [0091]
6 6 eine zweite Ausführungsform eines Verfahrens zeigt. shows a second embodiment of a method.
Figurenbeschreibung DESCRIPTION OF THE FIGURES
[0092] [0092]
In In 1 1 ist ein System is a system 1 1 gezeigt, mit dem eine Blickfelddarstellung für eine Trägerperson P darbietbar ist. demonstrated by a head-up display for a wearer P is darbietbar. Die Trägerperson P trägt auf dem Kopf auf Augenhöhe einen Markerträger The wearer P carries on the head at eye level a marker carrier 3 3 , welcher kugelartige Markerelemente, wie das Markerelement Which spherical marker elements, such as the marker element 5 5 aufweist, die alle gleichartig ausgeformt sind. which are all formed identically. Ein Trägerflächenelement, wie die Trägerflächenelemente A support surface element, such as the support surface elements 27 27 , . 27 27 V , trägt mindestens drei Markerelemente, wie das Markerelement V, carrying at least three marker elements, such as the marker element 5 5 . , Der Markerträger The marker carriers 3 3 , umfasst insgesamt dreißig, verteilt angeordnete Markerelemente , Comprises a total of thirty, arranged distributed marker elements 5 5 . , Die Trägerperson P kann sich mit dem Markerträger The wearer P can with the marker carrier 3 3 in eine gegenständlichen Lage in an objective situation 2 2 , bezeichenbar durch eine erste räumliche Dimension x, eine zweite räumliche Dimension y, eine dritte räumliche Dimension z und eine Orientierung Θ, bringen. , Designatable by a first spatial dimension x, a second spatial dimension y, a third spatial dimension z and an orientation Θ, bring. Die erste räumliche Dimension x, die zweite räumliche Dimension y, die dritte räumliche Dimension z und die Orientierung Θ sind durch eine Bewegung der Trägerperson P einzeln oder in Kombination veränderbar. The first spatial dimension x, y the second spatial dimension, the third spatial dimension z and orientation Θ are individually by a movement of the wearer P or changed in combination. Hierbei liegt jeweils eine Winkelstellung Here, each is an angular position 61 61 des Markerträgers the marker carrier 3 3 bezüglich der Kamerabildebene with respect to the camera image plane 9 9 der monookularen Digitalkamera the monocular digital camera 7 7 vor. before. Die monookulare Digitalkamera The monocular digital camera 7 7 bildet einen kegelartigen Raumbereich forms a cone-like region of space 11 11 mit dem Raumwinkelbereich α ab. α from the solid angle range. Die Trägerperson P kann sich in dem Raumbereich F frei bewegen, insbesondere bei der Lagebestimmung tanzen, hüpfen oder auch Pirouetten drehen. The wearer P can move in the space area for leisure, especially dancing in the orientation, bounce or pirouettes. Auch wenn die Person P sich bückt oder z. B. sich aus einer Horizontalen mit dem Oberkörper aufrichtet bzw. aufsteht, kann die Bewegung präzise verfolgt werden. Even if the person P bends down or z. B. straightens from a horizontal to the upper body or gets up, the movement can be accurately tracked. Die Trägerperson hält sich aber innerhalb des Raumbereichs The wearer but kept within the space region 11 11 auf. on. Bei Erreichen einer Grenze des Raumbereichs When reaching a boundary of the space area 11 11 wird automatisch ein wahrnehmbares Warnsignal von der Recheneinheit is automatically a perceptible warning signal from the computer unit 13 13 ausgegeben. output. Es liegt jeweils zu einem Zeitpunkt eine Markerpositionskonfiguration There is one at a time, a marker position configuration 46 46 vor. before. Ein erstes Trägerflächenelement A first support surface element 27 27 des Markerträgers the marker carrier 3 3 ist zu einem zweiten Trägerflächenelement is a second support surface element 27 27 V abgewinkelt. V angled. In der gezeigten Stellung der Trägerperson P wird das erste Trägerflächenelement In the illustrated position of the wearer P is the first support surface element 27 27 von der Digitalkamera from the digital camera 7 7 abgebildet, wohingegen das Trägerflächenelement ready, whereas the carrier surface member 27 27 V vor der Digitalkamera V before the digital camera 7 7 verborgen ist. is hidden. Das Markerelement The marker element 5 5 auf dem ersten Trägerflächenelement wird von der Digitalkamera abgebildet und elektronisch in ein Bilddatenfeld on the first support surface element imaged by the digital camera and electronically in an image data field 21 21 , das auch als Bilddatenpixelanordnung bezeichnet werden kann, umgewandelt. Which may also be referred to as image data pixel array, converted. Das Bilddatenfeld The image data field 21 21 ist z. B. auf einer elektronischen Bildanzeige z. B. on an electronic image display 19 19 einer Recheneinheit a computing unit 13 13 anzeigbar. displayed. Über die Datenübertragungsverbindung About the Data Transfer Connection 17 17 , die von der monookularen Digitalkamera , The digital camera of the monocular 7 7 zur Recheneinheit the computing unit 13 13 als Leitungsverbindung ausgebildet ist, können Daten gesendet und empfangen werden. is formed as a line connection, data can be transmitted and received. An die Recheneinheit On the computing unit 13 13 ist weiterhin die Datenübertragungseinheit continues to be the data transfer unit 15 15 angeschlossen, die Datenübertragungsverbindung connected, the data transmission connection 17' 17 ' eine bidirektionale Funkverbindung zu einer Empfangseinheit an einer Videobrille a bi-directional radio link to a receiving unit at a video glasses 23 23 , die in einem Innenbereich des Markerträgers Which in an inner region of the marker carrier 3 3 sitzt, unterhält. sitting, maintains.
[0093] [0093]
Eine Ausführungsform eines Markerträgers One embodiment of a marker carrier 3' 3 ' ist in is in 2 2 gezeigt, mit einer absorptionsbegünstigenden Oberfläche shown with an absorption-promoting surface 29 29 . , Der Markerträger The marker carriers 3' 3 ' ist zum Einbau von selbstleuchtenden Markerelementen vorgesehen, wobei strombetriebene Leuchtdioden (LEDs) als Lichtquelle (nicht gezeigt) dienen. is intended for installation of self-luminescent marker elements, which are electrically powered light emitting diodes (LEDs) as the light source (not shown). Die The 2a 2a , . 2b 2b , . 2c 2c , . 2d 2d und and 2e 2e sind verschiedene Ansichten von Markerträger Various views of marker carrier 3' 3 ' . , Der Markerträger The marker carriers 3' 3 ' weist in der Ansicht has in view 2a 2a die Trägerflächenelemente the support surface elements 27 27 , . 27' 27 ' , . 27'' 27 '' , . 27''' 27 '' ' und and 27 27 IV auf, die ringartig angeordnet sind. IV, which are arranged like a ring. Die Trägerflächenelemente The support surface elements 27 27 , . 27' 27 ' haben eine Winkelstellung have an angular position 63 63 von 72°. of 72 °. In Draufsicht sind die fünf Flächenelemente In plan view, the five surface elements 27 27 , . 27' 27 ' , . 27'' 27 '' , . 27''' 27 '' ' , . 27 27 IV einer Digitalkamera (nicht dargestellt) zugewandt. IV a digital camera (not shown) facing. 2b 2b zeigt einen Schnitt entlang der Achse BB aus shows a section along the axis BB of 2a 2a , woran der freie Innenbereich What the Free indoors 46 46 ersichtlich ist, in den ein Gegenstand oder ein Kopf eingebracht werden kann. It can be seen in an object or a head can be introduced. In der Seitenansicht von In the side view of 2c 2c , die in Richtung B aus Which in the direction of B 2a 2a liegt, ist gezeigt, dass das erste Trägerflächenelement is, it is shown that the first supporting surface element 27 27 zu dem zweiten Trägerflächenelement to the second supporting surface element 27 27 V eine Winkelstellung V an angular position 63' 63 ' aufweist, die 80° beträgt. which the temperature is 80 °. Auch in der Ansicht entlang der Achse BB aus Also in the view along the axis BB 2a 2a , die in , in the 2d 2d vorliegt, lassen sich zwei Trägerflächenelemente present, can be two support surface elements 27' 27 ' , . 27'' 27 '' erkennen. recognize. Wie anhand der As shown by the 2c 2c , . 2d 2d und insbesondere and especially 2e 2e in perspektivischer Ansicht anhand von Einzelstellungen des Markerträgers in perspective based on individual positions of the marker carrier 3' 3 ' veranschaulicht ist, sind auch in einer beliebigen perspektivischen Winkelstellung des Markerträgers is illustrated, also in any of the perspective angle position marker carrier 3' 3 ' immer zumindest zwei Trägerflächenelemente, wie die Trägerflächenelemente always at least two support surface elements such as the support surface elements 27' 27 ' , . 27'' 27 '' , . 27''' 27 '' ' , abbildbar, obgleich einzelne Trägerflächenelemente, wie das Trägerflächenelement , Imaged, although individual support surface elements such as the element support surface 27 27 V aus V out 2c 2c , in , in 2e 2e aufgrund der gezeigten Blickrichtung in den Innenbereich due to the direction shown in the interior view 46 46 verdeckt sind. are obscured.
[0094] [0094]
In In 3 3 ist ein Markerträger is a marker carrier 3'' 3 '' gezeigt, wobei shown, wherein 3a 3a eine Draufsicht und die a plan view and the 3b 3b und and 3c 3c jeweils eine Seitenansicht und respectively a side view and 3d 3d eine perspektivische Ansicht sind. a perspective view is. Der Markerträger The marker carriers 3'' 3 '' trägt Markerelemente wie das Markerelement carries marker elements such as the marker element 5 5 . , Die Draufsicht von The top view of 3a 3a zeigt, dass die Konfigurationen von Markerelementen shows that the configurations of marker elements 41 41 , . 41' 41 ' , . 41'' 41 '' , . 41''' 41 '' ' , . 41 41 IV , die auf den Trägerflächenelementen IV, the surface on the support elements 27 27 , . 27' 27 ' , . 27'' 27 '' , . 27''' 27 '' ' , . 27 27 IV vorgesehen sind, sich jeweils voneinander unterscheiden. IV are provided, differ from each other. Die Markerelemente, wie das Markerelement The marker elements, such as the marker element 5 5 , weisen eine reflexionsfördernde Oberfläche , Have a reflection conveying surface 31 31 auf, die eine Abstrahlung von Licht begünstigt. on which favors a radiation of light. Die Flächenelemente, wie das Flächenelement The surface elements, such as the surface element 27'' 27 '' , weisen jeweils eine absorptionsfördernde Oberfläche, wie die absorptionsfördernde Oberfläche , Each have an absorption-promoting surface, such as the absorption-promoting surface 29 29 auf, die die Absorption von sichtbarem Licht begünstigt. , which favors the absorption of visible light. Wie z. B. Such as. 3b 3b belegt, unterscheiden sich die Konfigurationen auf den Trägerflächenelementen, wie die Konfiguration shows the different configurations on the support surface elements, such as the configuration 41 41 , . 41' 41 ' auf dem Trägerflächenelement on the support surface element 27 27 , . 27' 27 ' , und die Konfigurationen von Markerelementen auf den anderen Trägerflächenelementen, wie die Konfiguration And the configurations of marker elements on the other carrier surface elements, such as the configuration 41 41 V auf dem zweiten Trägerflächenelement V on the second support surface element 27 27 V . Es liegt demnach keine gleichartige Konfiguration von Markerelementen V. It is therefore not a like configuration of marker elements 41 41 , . 41' 41 ' , . 41'' 41 '' , . 41''' 41 '' ' , . 41 41 IV , IV, 41 41 V auf dem Markerträger V on the marker carrier 3'' 3 '' vor. before. Die Unterscheidbarkeit der Konfigurationen, wie die Konfiguration The distinctness of the configurations such as the configuration 41'' 41 '' , voneinander ist auch in , Is another, also in 3c 3c ersichtlich. visible. Die Markerelemente, wie Markerelement The marker elements such as marker element 5 5 , . 5' 5 ' , . 5'' 5 '' , . 5''' 5 '' ' , . 5 5 IV , IV, 5a 5a , liegen in einer Pseudozufallsverteilung , Lie in a pseudo-random distribution 42 42 vor und sind gleichartig mit einem Markerelementdurchmesser before and are similar to a marker element diameter 39 39 ausgebildet. formed. Zwischen Markerelement Between marker element 5' 5 ' und Markerelement and marker element 5'' 5 '' liegt ein Abstand is a distance 37 37 , der zufällig ungefähr das Zweifache eines Markerelementdurchmesser Who happens approximately two times a marker element diameter 39 39 beträgt. is. Der Abstand The distance 37' 37 ' zwischen Markerelement between marker element 5 5 und Markerelement and marker element 5' 5 ' beträgt zufällig ca. vier Markerelementdurchmesser is randomly about four marker element diameter 39 39 , wobei ein Markerelementen Wherein a marker elements 39 39 auch als ein Mindestabstand zwischen Markerelementen as a minimum distance between marker elements 5 5 , . 5' 5 ' , . 5'' 5 '' bezeichnet werden kann. may be referred to. Die Konfiguration The configuration 41'' 41 '' mit den Markerelementen with the marker elements 5 5 , . 5' 5 ' und and 5'' 5 '' liegt daher als ungleichseitiges Dreieck vor. therefore, there is a scalene triangle. Der Mindestabstand The minimum distance 38 38 zum Rand to the edge 33 33 , der von Markerelement , The marker element 5 5 eingehalten wird, beträgt einen halben Markerelementdurchmesser is respected, is half a marker element diameter 39 39 . , Hinter dem Rand Behind the edge 33 33 sind Markerelemente, wie das Markerelement are marker elements, such as the marker element 5a 5a , verborgen. , hidden. In der perspektivischen Ansicht von In the perspective view of 3d 3d sind die Flächenelemente are the surface elements 27 27 , . 27' 27 ' , . 27'' 27 '' als trapezförmige Flächenelemente zu erkennen. to recognize as a trapezoidal surface elements. Das Flächenelemente The surface elements 27 27 und and 27' 27 ' schließen an der Kante close to the edge 35 35 aneinander an. another on. Die Flächenelemente The surface elements 27 27 und das verdeckte Flächenelement and the concealed surface element 27 27 V schließen an der Kante V close to the edge 35' 35 ' aneinander an. another on. Kante Edge 35 35 kann auch als schmalseitige Kante und Kante can be used as narrow-side edge and edge 35' 35 ' kann als langseitige Kante bezeichnet werden. may be referred to as a long-side edge. Konfiguration configuration 41 41 mit Trägerflächenelement with supporting surface element 27 27 verdecken Konfiguration configuration item 41 41 V auf Trägerflächenelement V on supporting surface element 27 27 V . Obgleich Trägerflächenelement V. Although support surface element 27 27 IV in Seitenansicht nur linienartig einsehbar ist, hebt sich Konfiguration IV line is just like visible in side view, are configuration raises 41 41 IV in dem von der perspektivischen Ansicht von IV in the perspective of the view of 3d 3d dargebotenen Bildbereich hervor und kann daher von einer Digitalkamera (nicht dargestellt) abgebildet und ausgewertet werden. presented image area out and therefore from a digital camera (not shown) are mapped and evaluated.
[0095] [0095]
Eine weitere Ausführungsform eines Markerträgers Another embodiment of a marker carrier 103 103 liegt in located in 4 4 vor. before. In der Draufsicht von In the plan view of 4a 4a sind die ersten Flächenelemente are the first surface elements 127 127 , . 127' 127 ' , . 127'' 127 '' , . 127''' 127 '' ' , . 127 127 IV in ringartig geschlossener, fünfeckartiger Anordnung gezeigt. IV shown in ring-like closed, fünfeckartiger arrangement. In einem Innenbereich In an inner area 146 146 ist eine Videobrille is a video glasses 123 123 an dem Markerträger at the marker carrier 103 103 befestigt. attached. Die Videobrille The video glasses 123 123 umfasst die elektronische Bildanzeige includes the electronic image display 119 119 für das rechte Auge und die elektronische Bildanzeige for the right eye and the electronic image display 119' 119 ' für das linke Auge einer Trägerperson (nicht dargestellt). for the left eye of a wearer (not shown). Weiterhin liegt eine zusätzliche Messeinrichtung Furthermore, is an additional measurement device 125 125 vor. before. Mit Hilfe der Markerelemente, wie Markerelement Using the marker elements such as marker element 105 105 , sind die Position und die Orientierung des Markerträgers , The position and orientation of the marker carrier 103 103 eindeutig festlegbar. clearly fixable. Die Seitenansichten The side views 4b 4b und and 4c 4c des Markerträgers the marker carrier 103 103 zeigen, dass die Videobrille show that the video glasses 123 123 vollständig in den Innenbereich fully into the inner region 146 146 integriert an dem Markerträger integrated at the marker carrier 103 103 befestigt ist. is attached. In der perspektivischen Ansicht in In the perspective view in 4d 4d ist die Datenübertragungseinheit is the data transfer unit 150 150 gezeigt, mit der Messdaten von Messeinrichtungen, wie der Messeinrichtung shown with the measured data from measuring equipment, as the measuring device 125 125 aus out 4a 4a an der Videobrille on the video glasses 123 123 , an eine Recheneinheit geschickt werden können oder Daten, die ein Blickfeld einer virtuellen Umgebung darstellen, empfangen und in der Videobrille , Can be sent to a processing unit or data representing a field of view of a virtual environment received, and in the video glasses 123 123 dargeboten werden können. may be presented.
[0096] [0096]
Ein Flussdiagramm für ein erfindungsgemäßes Verfahren A flow chart for an inventive method 200 200 , . 201 201 ausgehend von dem Verfahrensstart starting from the process start 202 202 in einem System (nicht dargestellt) ist in in a system (not shown) in 5 5 dargestellt. shown. Das Verfahrensschema The process scheme 200 200 , . 201 201 umfasst verschiedene Möglichkeiten des Verfahrensablaufs. provides different opportunities the procedure. In einem Verfahrensablauf In a procedure 200 200 ist die Bestimmung einer gegenständlichen Lage is the determination of an objective situation 230 230 vorgesehen. provided. In einem weiteren Verfahrensablauf In a further procedure 201 201 ist die Bestimmung einer gegenständlichen Lage is the determination of an objective situation 230 230 nach einer Lageänderung vorgesehen. provided for a change in position. Die Bestimmung der, insbesondere geänderten, gegenständlichen Lage The determination of, in particular amended, subject layer 230 230 kann auch als Schätzung einer Pose bezeichnet werden. may also be referred to as an estimate a pose. Das Verfahren The method 200 200 , . 201 201 von from 5 5 umfasst Schritte zur Bestimmung einer gegenständlichen Lage includes steps of determining an objective situation 230 230 , die zur sogenannten Initialisierung des Systems That the so-called initializing the system 288 288 verwendet werden. be used. Das Verfahren von The procedure of 5 5 umfasst auch Verfahrensschritte zur Bestimmung einer geänderten gegenständlichen Lage, die auch als Messung einer neuen Pose also includes method steps for determining a change subject position, also known as measurement of a new pose 222 222 bezeichnet wird. is called. Die neue Pose The new pose 222 222 wurde im Ablauf einer Bewegung eingenommen und kann daher auch als Erfassung eines Bewegungszustands bezeichnet werden. was taken in the course of a movement and can therefore be referred to as detection of a moving state. Bewegungszustände können z. B. als Schnappschüsse oder stroposkopisch erfasst werden. Motion states can z. B. are recorded as snapshots or stroposkopisch.
[0097] [0097]
Mit einer monookularen Digitalkamera With a monocular digital camera 207 207 wird ein Bild aufgenommen, aus dessen Bilddatenpixelanordnung is a picture taken from the image data pixel array 221 221 der Markererkennungsalgorithmus the marker detection algorithm 204 204 Markerbildbereiche Marker image areas 206 206 auswertet, aus denen 2D(zweidimensionale)-Koordinaten evaluates, from which 2D (two-dimensional) coordinates 208 208 im aufgenommenen Bild in the captured image 221 221 aller möglichen Marker bestimmt werden. all possible markers are determined. Ist das System noch nicht initialisiert Is not yet initialized the system 212 212 , so werden zunächst Initialisierungsschritte durchgeführt, wobei eine bekannte Geometrie des Markerträgers So initialization initially be performed with a known geometry of the marker carrier 236 236 und eine bekannte Markerkonfiguration and a known marker configuration 234 234 in die Bestimmung der Markermodellkonfiguration in the determination of the marker model configuration 242 242 eingehen. enter. Aus der Markermodellkonfiguration From marker model configuration 242 242 werden drei Markermodellpunkte Three markers model points 264 264 oder ggf. bei einer Wiederholung andere Markermodellpunkte or possibly at a repetition other markers model points 238 238 ausgewählt und mit drei Markerbildbereichen selected and three marker image areas 262 262 verglichen, wobei bis zu fünf Posenhypothesen compared with up to five hypotheses Posen 266 266 , die auch als Hypothesen für die Lage der drei Markermodellpunkte bezeichnet werden können, iterativ in die zweidimensionale Anordnung der ausgewählten Markerbildbereiche Which can be referred to as hypotheses for the location of the three markers model points, iteratively in the two-dimensional array of the selected marker image areas 262 262 projiziert werden are projected 268 268 . , Anschließend erfolgt ein Vergleich Subsequently, a comparison is made 270 270 zwecks Auffindung weiterer Übereinstimmungen zwischen Markerbildbereichen und projizierten theoretisch sichtbaren Modellpunkten. Another purpose of finding matches between marker image areas and projected theoretically visible model points. In der Iteration In the iteration 272 272 wird dann die jeweils nächste Posenypothese is then the next respective Posenypothese 274 274 verglichen und wenn alle Posenhypothesen für drei Markerbildbereiche compared and if all poses hypotheses for three marker image areas 276 276 durchgeprüft sind, erfolgt in einem nächsten Iterationsschritt are through checks carried out in a next iteration 278 278 eine geordnete, insbesondere sequenzielle Prüfung von Stichproben bzw. Variationen dreier Markerbildbereiche a parent, especially sequential testing of samples or variations of three marker image areas 260 260 , unter Hinzuziehung anderer Punkte , With the assistance of other points 238 238 , die als drei Markerbildbereiche , The three marker image areas 262 262 in den Vergleich mit drei Markermodellpunkten in comparison with three markers model points 264 264 eingehen. enter. Sind alle Iterationen über alle Variationen When all iterations of all variations 280 280 von Markerbildbereichen und Modellpunkten durchgeprüft, so erfolgt, wenn unterdessen keine plausible Hypothese gefunden wurde by checked by marker image areas and model points, as is done when meanwhile no plausible hypothesis was found 282 282 , die Auswertung eines nächsten Bildes , The analysis of a next image 221'' 221 '' . , Wurde anhand eines Genauigkeitswerts (nicht dargestellt) eine passende Hypothese für eine passende Markermodellkonfiguration in einem der Iterationsschritte gefunden Was (not shown) on the basis of an accuracy value found a suitable hypothesis for a suitable marker in a model configuration of iteration 284 284 , so erfolgt eine Projektion des gesamten Markermodells mit Posenhypothese in das zweidimensionale Bild mit den Markerbildbereichen So a projection of the entire marker model poses with hypothesis takes place in the two-dimensional image with the marker image areas 268' 268 ' um eine Zuordnung zwischen Markerbildbereichen und korrespondierenden Modellpunkten to an association between marker image areas and corresponding model points 286 286 zu erhalten. to obtain. Anschließend wird eine numerische Optimierung der Hypothese für die Lage anhand der Markermodellkonfiguration bzw. die Hypothese für die Pose bezüglich den Pixelabständen zwischen projizierten Markermodellpunkten und korrespondierenden Markerbildbereichen mit einem Algorithmus, wie dem Levenberg-Marquardt-Algorithmus, durchgeführt Subsequently, a numerical optimization of the hypothesis for the situation on the basis of markers model configuration or the hypothesis for the pose with respect to the pixel pitches between projected Marker model points and corresponding marker image areas with an algorithm such as the Levenberg-Marquardt algorithm, performed 220' 220 ' . , Nach Abschluss der numerischen Optimierung ist das System initialisiert After completion of the numerical optimization the system is initialized 288 288 und die gegenständliche Lage ist mit Hilfe der bekannten Markerkonfiguration and the objective position is by means of the known marker configuration 234 234 und der bekannten Geometrie des Markerträgers and the known geometry of the marker carrier 236 236 bestimmt. certainly.
[0098] [0098]
Mit erfolgter Verfahrensinitialisierung With completion Verfahrensinitialisierung 288 288 ist durch die Bestimmung einer gegenständlichen Lage eine Ausgangslage bekannt, die zur Initialisierung des quaternionenbasierten Bewegungsfolgefilters mit Position und Orientierung is through the provision of an objective situation a starting position known to initialize the quaternionenbasierten motion sequence filter with position and orientation 290 290 weiter verwendet werden kann. can be used. Es wird ein nächstes Bild It is a next image 221' 221 ' durch die monookulare Digitalkamera through the monocular digital camera 207 207 aufgenommen und die zweidimensionalen Koordinaten was added and the two-dimensional coordinates 208 208 aller möglichen Marker im aufgenommenen Bild werden mittels Markererkennungsalgorithmus all possible markers in the captured image by means of marker detection algorithm 204 204 ausgewertet. evaluated. Wenn in dem Verfahren die Initialisierung bereits vorliegt If you already have the initialization in the process 210 210 , so werden von einem vorhergehend ausgewerteten Bild, wie dem Bild So be of a previously evaluated image as the image 221 221 , die 2D-Koordinaten von Markerbildbereichen , The 2D coordinates of marker image areas 208a 208a der Bilddatenpixelanordnung herangezogen und zur Bestimmung von nächsten Nachbarn used the image data pixel array and for the determination of nearest neighbors 214 214 mit den 2D-Koordinaten aus dem nächsten Bild with the 2D coordinates of the next image 221' 221 ' in einem Vergleichsalgorithmus verglichen. compared in a comparison algorithm. Daraus werden Hypothesen, sogenannte Markermodellkonfigurationhypothesen, über eine mögliche Korrespondenz für einen Vergleich zwischen Markerbildbereichen und Punkten der Markermodellkonfiguration aufgestellt This hypothesis, called markers model configuration hypotheses about a possible correspondence for a comparison between marker image areas and points of the marker model configuration are erected 216 216 . , Anders gesagt wird eine Projektion der Markermodellkonfiguration, die der vorhergehenden Bilddatenpixelanordnung zugeordnet ist, auf die Markerbildbereiche des nächsten Bildes In other words, a projection of the marker model configuration that is associated with the preceding image data pixel array, on the marker image areas of the next image 221 221 , das auch als nächste Bilddatenpixelanordnung bezeichnet werden kann, durchgeführt. Which can be also referred to as next image data pixel array is performed. Mit einem numerischen Optimierungsverfahren wird bezüglich der projizierten Punkte der Markermodellkonfiguration und den korrespondierenden Markerbildbereichen ein Vergleich durchgeführt, um die passende Projektion, insbesondere die richtigen Projektionsparameter, zu finden Using a numerical optimization method, a comparison is with respect to the projected points of the marker model configuration and the corresponding marker image areas carried out to find the right projection, in particular the right projection parameters, 220 220 . , Hierbei kommt ein Projektionsalgorithmus zum Einsatz. Here, a projection algorithm is used. Zur Verbesserung der Hypothesen über die Korrespondenz To improve the hypotheses about the correspondence 216 216 erfolgt eine Überprüfung von Zufallsauswahlen von Modellpunkten mit dem Algorithmus zum Auffinden von Ausreißern a check of random selections of model points with the algorithm for finding outliers 218 218 , der auch als Kontrollalgorithmus zum Ausschließen von Fehlerbildbereichen (RANSAC) bezeichnet werden kann. Which can also be called a control algorithm to exclude error image areas (RANSAC). Die Bestimmung der gegenständlichen Lage The determination of the objective situation 222 222 nach einer Lageänderung wird weiter verbessert durch Anwendung eines quaternionenbasierten Bewegungsfolgefilters according to a change in position is further improved by using a sequence of movements filter quaternionenbasierten 224 224 , in dem der Bewegungsablauf, z. B. eines Kopfes, In which the motion sequence, z. B. a head, 226 226 mit einer Prognose with a forecast 228 228 über eine stetige Entwicklung berücksichtigt wird. is considered a steady development. Die auf diese Weise mit guter Genauigkeit erhaltene Pose bzw. geänderte gegenständliche Lage wird dann in eine Darstellung bzw. Projektion einer dreidimensionalen (3D) Computergrafik The pose thus obtained with good accuracy or amended representational position is then in a display or projection of a three-dimensional (3D) computer graphics 232 232 eingerechnet. included.
[0099] [0099]
In In 6 6 ist eine Ausführungsform des Verfahrens is an embodiment of the method 300 300 , . 301 301 gezeigt, bei der, ähnlich wie in dem Verfahren shown in which, similarly as in the method 200 200 , . 201 201 gemäß according to 5 5 , ein Verfahren , a procces 300 300 zur Bestimmung einer gegenständlichen Lage zur Verfahrensinitialisierung for determining an objective position to Verfahrensinitialisierung 388 388 mit einem Verfahren with a method 301 301 zur Bestimmung einer gegenständlichen Lage for determining an objective situation 322 322 nach einer Lageänderung, insbesondere zur Messung einer neuen Pose, miteinander kombiniert sind. are combined with each other according to a change in position, in particular for measuring a new pose. Ausgehend von dem Start Starting from the starting 302 302 bis zur Erstellung bzw. Darstellung einer dreidimensionalen (3D) Computergrafik to the creation and presentation of a three-dimensional (3D) computer graphics 332 332 liegen zahlreiche Übereinstimmungen mit dem Verfahren von There are many similarities with the process of 2 2 vor, weshalb hinsichtlich des detaillierten Verfahrensablaufs für die Aspekte unter dem Bezugszeichen before, and therefore with respect to the detailed process flow for the aspects under the reference numeral 307 307 , . 321 321 , . 304 304 , . 306 306 , . 308 308 , . 321' 321 ' , . 312 312 , . 321'' 321 '' , . 334 334 , . 336 336 , . 342 342 , . 338 338 , . 364 364 , . 366 366 , . 372 372 , . 374 374 , . 368 368 , . 370 370 , . 359 359 , . 382 382 , . 384 384 , . 368' 368 ' , . 386 386 , . 320' 320 ' , . 388 388 , . 390 390 , . 310 310 , . 308a 308a , . 314 314 , . 316 316 , . 318 318 , . 320 320 , . 324 324 , . 328 328 , . 326 326 , . 330 330 auf die entsprechenden Bezugszeichen von to the corresponding reference numerals of 5 5 mit um die Zahl with the number 100 100 verkleinerten Bezugszeichen und den Beschreibungstext zu reduced reference numerals and the description Text 5 5 verwiesen wird. referenced. Bei der Feststellung, dass das System noch nicht initialisiert ist In order to determine that the system is not yet initialized 312 312 , wird allerdings eine andersartige Iteration vorgenommen. , However, a different type of iteration is performed. Hierbei wird aus den aufgefundenen Markerbildbereichen Here, from the found marker image areas 306 306 iterativ ein i-ter Markerbildbereich (M i ) ausgewählt iteratively selected an ith marker image area (M i) 350 350 und es werden die fünf nächstbenachbarten Markerbildbereiche um den i-ten Markerbildbereich (M i ) herum identifiziert und als Gruppe and there are the five nearest neighboring marker image areas to the ith marker image area (M i) around identified and as a group 351 351 zusammengefasst. summarized. Anschließend erfolgt eine Iteration über alle zehn ungeordneten Stichproben, die sich aus einer möglichen Auswahl von drei aus fünf Markerbildbereichen erstellbar sind Subsequently an iteration via all ten random samples, which are themselves made up of five buildable marker image areas from a possible selection of three 352 352 . , Wurde eine Kombination bereits geprüft A combination already tested 353 353 , so wird in der Iteration von drei aus fünf Kombinationen ein nächster Iterationsschritt So in the iteration of three of five combinations a next iteration 378' 378 ' ausgeführt und eine weitere Kombination betrachtet. executed and considered another combination. Wurde die Kombination noch nicht geprüft If the combination is not checked 354 354 , so werden die drei zu betrachtenden Markerbildbereiche So are the three under consideration marker image areas 362 362 iterativ über alle Permutationen iteratively over all permutations 355 355 in bis zu fünf Posenhypothesen in up to five poses hypotheses 366 366 , die mit der Projektion der Markermodellkonfiguration zu vergleichen sind Which are to be compared with the projection of the marker model configuration 370 370 , zusammengeführt. Merged. Sind alle der fünf Posenhypothesen aus drei Markerbildbereichen durchgeprüft Are all of the five poses hypotheses tested by three marker image areas 376 376 , so wird eine nächste Permutation , Then a next permutation 356 356 in der Iteration über alle Permutationen in the iteration over all permutations 355 355 abgearbeitet. processed. Sind alle Permutationen aus drei Markerbildbereichen durchgeprüft Are all permutations of three marker image areas by tested 357 357 , so wird eine weitere Kombination von drei aus fünf Markerbildbereichen der Prüfung unterzogen. So is another combination subjected to three of five marker image areas of the test. Sind alle Kombinationen aus fünf Markerbildbereichen durchgeprüft When all combinations of five marker image areas by tested 358 358 , so wird in einem weiteren Iterationsschritt , Thus, in a further iteration step 378'' 378 '' ein i + 1-ter Markerbildbereich (M i+1 ) ausgewählt, um für diesen i + 1-ten Markerbildbereich (M i+1 ) die nächste Gruppe von fünf benachbarten Markerbildbereichen für weitere iterative Prüfungen heranzuziehen. an i + 1-th marker image area (M i + 1) selected for this i + 1-th marker image area (M i + 1) shall be used the next group of five adjacent marker image areas for further iterative tests. Hierbei ist „i“ eine natürliche Zahl, die zur Nummerierung von unterschiedlichen Markerbildbereichen verwendet wird. Here, "i" is a natural number that is used for numbering of different marker image areas. In Versuchen wurde festgestellt, dass mit einer derartigen iterativen Schachtelung ein beachtlicher Zeitgewinn bei der Bestimmung einer gegenständlichen Lage In experiments it was found that with such an iterative nesting a considerable gain in time in determining an objective situation 388 388 erreicht wird. is achieved.
[0100] [0100]
Es ist allerdings auch möglich in einer weiteren Ausführungsform das Verfahren zur Bestimmung einer gegenständlichen Lage ( However, it is also possible in a further embodiment, the method for the determination of an objective position ( 200 200 , . 300 300 ) iterativ, dh in Wiederholung auf anderer Datenbasis, dazu einzusetzen, eine gegenständliche Lage nach einer Lageänderung zu bestimmen und so einen Bewegungsablauf zu verfolgen. ) Iteratively, ie. In repetition on the other database to use to determine an objective situation by a change in position and so to adopt a motion sequence Es kann eine Ausgangslage bereitgestellt werden. It can be a starting point are provided. Eine Markermodellkonfiguration aus Markerbildbereichen weiterer Bilddatenpixelanordnungen kann mit einem quaternionenbasierten Bewegungsfolgefilter mittels einer Bewegungsverlaufsprognose verbessert werden. A marker model configuration of marker image areas further image data pixel arrays can be improved by means of a motion prognosis with a quaternionenbasierten motion sequence filter. Der Bewegungsablauf kann somit in eine Blickfelddarstellung einer 3D-Computergrafik eingerechnet werden. The sequence of movements can thus be included in a head-up display of 3D computer graphics.
[0101] [0101]
Die in den einzelnen Figuren gezeigten Ausgestaltungsmöglichkeiten lassen sich auch untereinander in beliebiger Form verbinden. The configuration options shown in the individual figures can also connect with one another in any form. Insbesondere lassen sich einzelne Aspekte eines Ausführungsbeispiels mit einem zweiten Ausführungsbeispiel kombinieren. In particular, some aspects of an embodiment of a second embodiment can be combined.
Bezugszeichenliste LIST OF REFERENCE NUMBERS
- 1 1
- System, insbesondere System zur Darbietung einer Blickfelddarstellung System, in particular the system for presenting a head-up display
- 2 2
- gegenständliche Lage representational Location
- 3, 3', 3'', 103 3, 3 ', 3' ', 103
- Markerträger, insbesondere Markerträgerbildbereich Marker carrier, in particular carrier marker image area
- 5, 5', 5'', 5''', 5 IV , 105 5, 5 ', 5' ', 5' '', 5 IV, 105
- Markerelement, insbesondere Markerbildbereich Marker element, in particular marker image area
- 5a 5a
- Markerelement, insbesondere verdecktes Markerelement Marker element, in particular covert marker element
- 7, 207, 307 7, 207, 307
- Digitalkamera, insbesondere monookulare Digitalkamera Digital camera, especially monocular digital camera
- 9 9
- Kamerabildebene Camera image plane
- 11 11
- Raumbereich Space area
- 13 13
- Recheneinheit Arithmetic unit
- 15 15
- Datenübertragungseinheit Data transfer unit
- 17, 17' 17, 17 '
- Datenübertragungsverbindung, insbesondere Bilddatenerfassungsverbindung Data transmission link, in particular image data acquisition connection
- 19, 119, 119'‚ 19, 119, 119 ',
- elektronische Bildanzeige, insbesondere Blickfelddarstellung electronic image display, especially head-up display
- 21 21
- Pixeldatenfeld, insbesondere Bild Pixel data field, in particular image
- 23, 123 23, 123
- Videobrille Video Glasses
- 125 125
- Messeinrichtung, insbesondere Beschleunigungssensor Measuring device, in particular acceleration sensor
- 27, 27'',127 27, 27 '', 127
- erstes Flächenelement, insbesondere Trägerflächenelement first surface element, particularly support surface element
- 27', 27 V , 127' 27 ', 27 V, 127'
- zweites Flächenelement, insbesondere Trägerflächenelement second surface element, particularly support surface element
- 27''', 27 IV , 127'', 127''', 127 IV 27 '' ', 27 IV, 127' ', 127' '', 127 IV
- weiteres Flächenelement, insbesondere Trägerflächenelement Another surface element, particularly support surface element
- 29 29
- absorptionsfördernde Oberfläche absorption-promoting surface
- 31 31
- reflexionsfördernde Oberfläche promotional reflection surface
- 33 33
- Rand edge
- 35, 35' 35, 35 '
- Kante Edge
- 37, 37' 37, 37 '
- Abstand, insbesondere zwischen zwei Markerelementen Distance, especially between two marker elements
- 38 38
- Mindestabstand, insbesondere zu einem Rand Minimum distance, in particular to an edge
- 39 39
- Markerelementdurchmesser, insbesondere Mindestabstandgröße Marker element diameter, in particular minimum distance Size
- 41, 41', 41'', 41''', 41 IV , 41 V 41, 41 ', 41' ', 41' '', 41 IV, 41 V
- Konfiguration, insbesondere Anordnung von Markerelementen auf mindestens einem Trägerflächenelement Configuration, in particular arrangement of marker elements on at least one support surface element
- 42 42
- Pseudozufallsverteilung, insbesondere der Konfiguration der Markerelemente Pseudorandom distribution, in particular the configuration of the marker elements
- 43 43
- Markerpositionskonfiguration, insbesondere dreidimensionale Anordnung Marker position configuration, in particular three-dimensional arrangement
- 46, 146 46, 146
- Innenbereich Interior
- 150 150
- Datenübertragungseinheit, insbesondere Sender und Empfänger Data transfer unit, especially transmitters and receivers
- 61 61
- Winkelstellung, insbesondere des Markerträgers Angular position, particularly of the marker carrier
- 63, 63' 63, 63 '
- Winkelstellung, insbesondere der Flächenelemente Angular position, particularly of the surface elements
- 200, 300 200, 300
- Verfahren, insbesondere zur Bestimmung einer gegenständlichen Lage Procedures, in particular for determining an objective situation
- 201, 301 201, 301
- Verfahren, insbesondere zur Bestimmung einer gegenständlichen Lage nach einer Lageänderung, vorzugsweise aus einer zweiten Bilddatenpixelanordnung A method, in particular for the determination of an objective position in accordance with a change in position, preferably of a second image data pixel array
- 202, 302 202, 302
- Start, insbesondere der Verfahren in dem System Start, in particular the process in the system
- 204, 304 204, 304
- Markererkennungsalgorithmus, insbesondere Hellfleckfilter Marker detection algorithm, in particular bright spot filter
- 206, 306 206, 306
- Markerbildbereiche Marker image areas
- 208, 308 208, 308
- 2D-Koordinaten aller möglichen Marker im Bild 2D coordinate all possible markers in the image
- 208a, 308a 208a, 308a
- 2D-Koordinaten aus der vorherigen Bilddatenpixelanordnung, insbesondere Ausgangslage 2D coordinates from the previous image data pixel array, in particular starting position
- 210, 310 210, 310
- Verfahren initialisiert, insbesondere System wurde bereits initialisiert Method initialized particular system has already been initialized
- 212, 312 212, 312
- Verfahren nicht initialisiert, insbesondere System ist noch nicht initialisiert The method is not initialized, in particular system is not yet initialized
- 214, 314 214, 314
- Vergleichsalgorithmus, insbesondere Nächster-Nachbar-Markerbildbereich Comparison algorithm, especially nearest neighbor markers image area
- 216, 316 216, 316
- Markermodellkonfigurationhypothesen zur Bestimmung von Korrespondenzen zu Markerbildbereichen durch Vergleiche Marker Model configuration hypotheses for determining correspondences to marker image areas by comparisons
- 218, 318 218, 318
- Kontrollalgorithmus zum finden und ausschließen von Ausreißern, wie Fehlerbildbereichen, insbesondere RANSAC To find control algorithm and exclude outliers, such as error-image areas, particularly RANSAC
- 220, 320 220, 320
- numerisches Optimierungsverfahren bezüglich projizierter Markermodellkonfiguration und korrespondierenden Markerbildbereichen, um Projektionsparameter zu finden, insbesondere Levenberg-Marquardt-Algorithmus numerical optimization methods regarding projected marker model configuration and corresponding marker image areas to find projection parameters, especially Levenberg-Marquardt algorithm
- 220', 320' 220 ', 320'
- numerisches Optimierungsverfahren bezüglich projizierter Markermodellkonfiguration und korrespondierenden Markerbildbereichen, insbesondere Levenberg-Marquardt-Algorithmus numerical optimization methods regarding projected marker model configuration and corresponding marker image areas, particularly Levenberg-Marquardt algorithm
- 221, 321 221, 321
- Bilddatenpixelanordnung, insbesondere Bild Image data pixel array, in particular image
- 221', 221'', 321', 321'' 221 ', 221' ', 321', 321 ''
- Weitere, insbesondere nächste, Bilddatenpixelanordnung Further, in particular next image data pixel array
- 222, 322 222, 322
- Bestimmung einer geänderten gegenständlichen Lage, insbesondere neue Messung einer Pose Determining a revised objective situation, especially new measurement a pose
- 224, 324 224, 324
- Filteralgorithmus, insbesondere quaternionenbasierter Bewegungsfolgefilter Filter algorithm, especially quaternionenbasierter motion sequence filter
- 226, 326 226, 326
- Bewegungsmodell eines Markerträgers Motion model of a marker carrier
- 228, 328 228, 328
- Prognose eines Bewegungsverlaufs Forecast of a movement profile
- 230, 330 230, 330
- Bestimmung einer, insbesondere geänderten, gegenständlichen Lage, vorzugsweise Schätzung einer Pose Determining a particular amended, subject layer, preferably estimate a pose
- 232, 332 232, 332
- 3D-Computergrafik, insbesondere Darstellung der räumlichen Lage eines Blickfelds in einen Raumwinkelbereich 3D computer graphics, in particular representation of the spatial position of a field of view in a solid angle range
- 234, 334 234, 334
- bekannte Markerkonfiguration, insbesondere Anordnung der Marker known marker configuration, in particular arrangement of the markers
- 236, 336 236, 336
- bekannte Geometrie des Markerträgers, insbesondere Trägerflächenelemente known geometry of the marker carrier, in particular carrier surface elements
- 238, 338 238, 338
- andere Punkte wählen choose other points
- 242, 342 242, 342
- Markermodellkonfiguration Marker Model Configuration
- 350 350
- Iteration über alle Markerbildbereiche (M i ) Iteration over all marker image areas (M i)
- 351 351
- Gruppe der 5 nächst benachbarten Markerbildbereiche um einen ausgewählten Markerbildbereich (M i ) Group of 5 next adjacent marker image areas to a selected image area markers (M i)
- 352 352
- Iteration über alle 10 ungeordneten Stichproben (Kombinationen) von 3 aus 5 Markerbildbereichen Iteration over all 10 disordered samples (combinations) of 3 out of 5 marker image areas
- 353 353
- Kombination wurde schon einmal geprüft. Combination has already been tested.
- 354 354
- Kombination wurde noch nicht geprüft Combination has not been tested
- 355 355
- Iteration über alle Permutationen von drei Markerbildbereichen Iteration over all permutations of three markers image areas
- 356 356
- nächste Permutation, insbesondere nächste Iteration next permutation, especially next iteration
- 357 357
- alle Permutationen aus drei Markerbildbereichen sind geprüft all permutations of three marker image areas are examined
- 358 358
- alle Kombinationen aus fünf Markerbildbereichen sind geprüft any combination of five markers image areas are examined
- 359 359
- alle Markerbildbereiche (M i ) sind geprüft all marker image areas (M i) are checked
- 260 260
- Iteration über alle geordneten Stichproben (Variationen) dreier Markerbildbereiche Iteration of three all ordered samples (variations) marker image areas
- 262, 362 262, 362
- drei Markerbildbereiche Three markers image areas
- 264, 364 264, 364
- drei Punkte der Markermodellkonfiguration three points of the marker model configuration
- 266, 366 266, 366
- Bis zu fünf Posenhypothesen, insbesondere Konfigurationshypothesen Up to five poses hypotheses particular configuration hypotheses
- 268, 268', 368, 368' 268, 268 ', 368, 368'
- Projektion der Markermodellkonfiguration mit Posenhypothese in das 2D-Bild, insbesondere Projektionsalgorithmus Projection of markers model configuration poses hypothesis in the 2D image, in particular projection algorithm
- 270, 370 270, 370
- Vergleich zur Zuordnenbarkeit von vorzugsweise weiteren Übereinstimmungen zwischen Markerbildbereichen und projizierten, theoretisch sichtbaren Punkten der Markermodellkonfiguration, insbesondere Vergleichsalgorithmus Compared to Zuordnenbarkeit preferably further matches between marker image areas and projected, theoretically visible points of the marker configuration model, in particular matching algorithm
- 272, 372 272, 372
- Iteration über alle fünf Posenhypothesen, insbesondere Konfigurationshypothesen Iteration over all five poses hypotheses particular configuration hypotheses
- 274, 374 274, 374
- nächste Posenhypothese Next Posen hypothesis
- 276, 376 276, 376
- alle Posenhypothesen aus 3 Markerbildbereichen sind geprüft All poses hypotheses from 3 marker image areas are examined
- 278, 378', 378'' 278, 378 ', 378' '
- nächster Iterationsschritt Next iteration
- 280 280
- Ende der Iteration über alle Variationen End of the iteration of all variations
- 282, 382 282, 382
- keine Posenhypothese plausibel no plausible hypothesis poses
- 284, 384 284, 384
- passende Posenhypothese, insbesondere anhand eines Genauigkeitswerts, gefunden Poznan appropriate hypothesis, in particular with reference to an accuracy value found
- 286, 386 286, 386
- Zuordnung zwischen Markerbildbereich und korrespondierendem Punkt der Markermodellkonfiguration, vorzugsweise mittels Genauigkeitswert, insbesondere Vergleichsalgorithmus Association between markers of the screen and Corresponding point the marker model configuration, preferably by means of precision value, especially compared algorithm
- 288, 388 288, 388
- Verfahren ist initialisiert, insbesondere eine Ausgangslage im System ist bestimmt Process is initialized, in particular a starting position in the system is determined
- 290, 390 290, 390
- Initialisierung des quaternionenbasierten Bewegungsfolgefilters mit Position und Orientierung Initialization of quaternionenbasierten motion sequence filter with position and orientation
- x x
- erste räumliche Dimension first spatial dimension
- y y
- zweite räumliche Dimension second spatial dimension
- z z
- dritte räumliche Dimension third spatial dimension
- α α
- Raumwinkelbereich Solid angle range
- Θ Θ
- Orientierung orientation
- BB BB
- Achse axis
- B B
- Richtung, insbesondere Orientierung Direction, in particular orientation
- F F
- Raumbereich, insbesondere Bewegungsbereich Space field, in particular range of motion
- P P
- Trägerperson Wearer
ZITATE ENTHALTEN IN DER BESCHREIBUNG QUOTES contained in the description
[0102] [0102]
Diese Liste der vom Anmelder aufgeführten Dokumente wurde automatisiert erzeugt und ist ausschließlich zur besseren Information des Lesers aufgenommen. This list of references cited by the applicant has been generated automatically and is recorded exclusively to inform the reader. Die Liste ist nicht Bestandteil der deutschen Patent- bzw. Gebrauchsmusteranmeldung. The list is not part of the German patent or utility model application. Das DPMA übernimmt keinerlei Haftung für etwaige Fehler oder Auslassungen. The DPMA shall not be liable for any errors or omissions.
Zitierte Patentliteratur Cited patent literature
[0103] [0103]
- GB 2451461 A [0002] GB 2451461 A [0002]
- US 4884219 [0003] US 4884219 [0003]
- US 2012/0095589 A1 [0004] US 2012/0095589 A1 [0004]
- WO 98/30977 [0005] WO 98/30977 [0005]
- US 2002/0001397 A1 [0006] US 2002/0001397 A1 [0006]
- WO 2011/141531 A1 [0007] WO 2011/141531 A1 [0007]
- US 2012/0121124 A1 [0008] US 2012/0121124 A1 [0008]
- WO 02063456 A1 [0009] WO 02063456 A1 [0009]
- DE 60301987 T2 [0010] DE 60301987 T2 [0010]
- US 2010/0232727 A1 [0011] US 2010/0232727 A1 [0011]
- US 2012/0169887 A1 [0011] US 2012/0169887 A1 [0011]
- DE 69132952 T2 [0011] DE 69132952 T2 [0011]
- US 7529387 B2 [0011] US 7529387 B2 [0011]
- US 8081815 B2 [0011] US 8081815 B2 [0011]
- US 8217995 B2 [0011] US 8217995 B2 [0011]
- WO 2008/055262 A2 [0011] WO 2008/055262 A2 [0011]
- US 3069654 [0012] US 3069654 [0012]
Zitierte Nicht-Patentliteratur Cited non-patent literature
[0104] [0104]
- Linda G. Shapiro, George C. Stockman in „Computer Vision“, Prentice Hall, (2001) [0012] Linda G. Shapiro, George C. Stockman in "Computer Vision", Prentice Hall, (2001) [0012]
- MA Fischler, und RC Bolles in „Random sample consensus: a paradigm for model fitting with applications to image analysis and automated cartography“, Commun. MA Fischler and RC Bolles in "Random Sample Consensus: a paradigm for model fitting with applications to image analysis and cartography Automated", Commun. ACM, 24(6): S.381 bis S. 395 (1981) [0012] ACM, 24 (6): S.381 to S. 395 (1981) [0012]
- B. Triggs, P. Mclauchlan, R. Hartley und A. Fitzgibbon, Kapitel „Bundle adjustment – a modern synthesis“ in „Vision Algorithms: Theory and Practice“, LNCS, Seite 298 bis Seite 375, Springer Verlag, (2000) [0012] B. Triggs, P. Mclauchlan, R. Hartley and A. Fitzgibbon, Chapter "bundle adjustment - a modern synthesis" in "Vision Algorithms: Theory and Practice", LNCS, page 298 to page 375, Springer Verlag, (2000) [ 0012]
- JB Kuipers “Quaternions and Rotation Sequences: A Primer with Applications to Orbits, Aerospace, and Virtual Reality”, Mathematical Sciences Series, Princeton University Press (1999), ISBN 9780691058726 [0012] JB Kuipers "Quaternions and Rotation Sequences: A Primer with Applications to Orbits, Aerospace, and Virtual Reality", Mathematical Sciences Series, Princeton University Press (1999), ISBN 9780691058726 [0012]
- Y. Bar-Shalom und Xiao Rong Li, “Estimation with Applications to Tracking and Navigation”, John Wiley & Sons, Inc., New York, NY, USA (2001), ISBN 047141655X [0012] Y. Bar-Shalom and Xiao Rong Li, "Estimation with Applications to Tracking and Navigation", John Wiley & Sons, Inc., New York, NY, USA (2001), ISBN 047141655X [0012]
- Y. Bar-Shalom und Xiao Rong Li, “Estimation with Applications to Tracking and Navigation”, John Wiley & Sons, Inc., New York, NY, USA (2001) [0012] Y. Bar-Shalom and Xiao Rong Li, "Estimation with Applications to Tracking and Navigation", John Wiley & Sons, Inc., New York, NY, USA (2001) [0012]
- B. Ristic, S. Arulampalam, N. Gordon, “Beyond the Kalman Filter: Particle Filters for Tracking Applications”, Artech House (2004) [0012] B. Ristic, S. Arulampalam, N. Gordon, "Beyond the Kalman filter: Particle Filters for Tracking Applications", Artech House (2004) [0012]
- AJ Haug, "A Tutorial on Bayesian Estimation and Tracking Techniques Applicable to Nonlinear and Non-Gaussian Processes", The MITRE Corporation, USA, Tech. AJ Haug, "A Tutorial on Bayesian Estimation and Tracking Techniques Applicable to Nonlinear and Non-Gaussian Processes", The MITRE Corporation, USA, tech. Rep., Feb. Retrieved 2008-05-06 (2005) [0012] Rep., Febuary Retrieved 2008-05-06 (2005) [0012]
- FL Markley, “Attitude Error Representations for Kalman Filtering” in Journal of Guidance, Control, and Dynamics, 26 (2), Seite 311 bis Seite 317, (März 2003) [0012] FL Markley, "Attitude Error Representations for Kalman Filtering" in the Journal of Guidance, Control, and Dynamics, 26 (2), page 311 to page 317, (March 2003) [0012]
- IY Bar-Itzhack, und Y. Oshman “Attitude Determination from Vector Observations: Quaternion Estimation” in IEEE Transactions on Aerospace and Electronic Systems, 21 (1), Seite 128 bis Seite 136, (Jan. 1985) [0012] IY Bar Itzhack, and Y. Oshman "Attitude Determination from Vector Observations: quaternion Estimation" in IEEE Transactions on Aerospace and Electronic Systems, 21 (1), page 128 to page 136, (Jan. 1985) [0012]
- I. Y Bar-Itzhack,.J. I. Y Bar Itzhack, .J. Deutschmann und FL Markley, “Quaternion Normalization in Additive EKF For Spacecraft Attitude Determination” in NASA Technical Documents, Seite 403 bis Seite 421, (Feb. 1993) [0012] German man and FL Markley, "quaternion Normalization in additives EKF For Spacecraft Attitude Determination" in NASA Technical Documents, page 403 to page 421, (Feb. 1993) [0012]
- Giroen Lichtenauer und Maya Pantic, 2011 IEEE International Conference on Computervision Workshop, Seite 430 bis Seite 436, (2011) [0013] Giron Lichtenauer and Maya Pantic, 2011 IEEE International Conference on Computer Vision Workshop, page 430 to page 436, (2011) [0013]
