DE102009023875A1

DE102009023875A1 - Gestenerkennungsschittstellensystem mit vertikaler Anzeigefläche

Info

Publication number: DE102009023875A1
Application number: DE102009023875A
Authority: DE
Inventors: Keith H. Los Altos Nishihara; Shi-Ping Pasadena Hsu
Original assignee: Northrop Grumman Corp
Current assignee: Northrop Grumman Corp
Priority date: 2008-06-05
Filing date: 2009-06-04
Publication date: 2010-02-04
Also published as: GB2460542A; US20080244468A1; GB0909597D0; US8180114B2; GB2460542B

Abstract

Eine Ausführungsform der Erfindung umfasst ein Gestenerkennungs-Schnittstellensystem. Das System kann eine im Wesentlichen vertikale Oberfläche enthalten, die dazu ausgelegt ist, um eine Gestenerkennungsumgebung, basierend auf einem physischen Raum im Vordergrund der im Wesentlichen vertikalen Oberfläche, zu definieren. Das System kann auch mindestens eine Lichtquelle zum Bereitstellen von Beleuchtung in der Gestenerkennungsumgebung umfassen. Das System kann auch mindestens zwei Kameras umfassen, die dafür ausgelegt sind, eine Vielzahl von Bildersätzen, basierend auf der von einem Eingabeobjekt reflektierten Beleuchtung in der Gestenerkennungsumgebung, zu erzeugen. Das System kann zusätzlich einen Controller umfassen, der dafür ausgelegt ist, eine bestimmte Eingabegeste, basierend auf Änderungen in den relativen Positionen des Eingabeobjekts in jeder der Vielzahl der Bildersätze, zu bestimmen. Der Controller kann zusätzlich dafür ausgelegt sein, eine mit einer bestimmten Eingabegeste assoziierte Geräteeingabe auszulösen.

Description

TECHNISCHES GEBIET
Die vorliegende Erfindung bezieht sich allgemein auf ein Schnittstellensystem und insbesondere auf ein Gestenerkennungsschnittstellensystem mit vertikaler Anzeigefläche.
HINTERGRUND DER ERFINDUNG
Da das Angebot an Tätigkeiten zunimmt, die mit einem Computer ausgeführt werden können, werden neue und innovative Wege zur Schaffung einer Computerschnittstelle häufig entwickelt, um die Veränderungen der Computerfunktionen und Aufmachungen (engl. packaging) zu ergänzen. So können es berührungsempfindliche Bildschirme dem Benutzer zum Beispiel ermöglichen, Computereingaben ohne Maus und/oder ohne Tastatur vorzunehmen, so dass der Computer ohne eine eigene Arbeitsfläche bedient werden kann. Beispiele von berührungsempfindlichen Bildschirmen umfassen druckempfindliche Membrane, Strahlunterbrechungstechniken mit am Umfang angeordneten Lichtquellen und Sensoren sowie akustische Erfassungstechniken. Diese Arten von Computerschnittstellen können jedoch Informationen an den Computer nur bezüglich eines Berührungsereignisses selbst liefern und sind daher in ihrer Anwendbarkeit beschränkt. Hinzu kommt, dass solche Arten von Schnittstellen hinsichtlich der Anzahl der Berührungsereignisse, die über einen bestimmten Zeitraum verarbeitet werden können, begrenzt sein können, und dass sie dazu neigen, unbeabsichtigten Kontakt – wie den von einer Hemdmanschette oder Handfläche – als Berührungsereignis auszuwerten. Ferner können solche berührungsempfindliche Bildschirme prohibitiv teuer sein und eignen sich nicht für sehr große Bildschirmgrößen, wie sie beispielsweise bei Präsentationen eingesetzt werden.
KURZDARSTELLUNG DER ERFINDUNG
Eine Ausführungsform der Erfindung umfasst ein Gestenerkennungs-Schnittstellensystem. Das System kann eine im Wesentlichen vertikale Oberfläche umfassen, die ausgelegt ist, basierend auf einem physischen Raum im Vordergrund der im Wesentlichen vertikalen Oberfläche eine Gestenerkennungsumgebung zu definieren. Das System kann außerdem mindestens eine Lichtquelle umfassen, die angeordnet ist, um eine Beleuchtung der Gestenerkennungsumgebung bereitzustellen. Das System kann auch mindestens zwei Kameras umfassen, die dafür ausgelegt sind, basierend auf der in der Gestenerkennungsumgebung von einem Eingabeobjekt reflektierten Beleuchtung eine Vielzahl von Bildsätzen zu erzeugen. Das System kann weiter einen Controller umfassen, der dafür ausgelegt ist, basierend auf den Veränderungen der relativen Positionen des Eingabeobjekts in jedem der Vielzahl der Bildersätze eine bestimmte Eingabegeste zu bestimmen. Der Controller kann zusätzlich dafür ausgelegt sein, eine mit einer bestimmten Eingabegeste assoziierte Geräteeingabe zu initiieren.
Eine andere Ausführungsform der Erfindung umfasst ein Verfahren zum Erzeugen von Geräteeingaben. Das Verfahren umfasst das Darstellen von visuellem Inhalt auf einer im Wesentlichen vertikalen Anzeigefläche, Beleuchten einer Gestenerkennungsumgebung, die durch einen physischen Raum im Vordergrund der im Wesentlichen vertikalen Anzeigefläche definiert ist, und das Erzeugen simulierter Eingaben in der Gestenerkennungsumgebung durch mit einem Eingabeobjekt assoziierte Gesten. Das Verfahren umfasst auch das im Wesentlichen gleichzeitige Erzeugen von einer mit dem Eingabeobjekt assoziierten ersten Vielzahl von Bildern und einer zweiten Vielzahl von Bildern, die auf dem vom Eingabeobjekt reflektierten Licht basieren. Das Verfahren umfasst auch das Erkennen von Merkmalen, die mit dem Eingabeobjekt verbunden sind, in jedem der zusammengehörigen Paare der ersten und zweiten Vielzahl von Bildern. Das Verfahren umfasst auch das Bestimmen einer Vielzahl von dreidimensionalen physischen Positionen des Eingabeobjekts, basierend auf einem relativen Abstand der korrelierenden Punkte in der Folge von Punkten in jedem der zusammengehörigen Paare der ersten und zweiten Vielzahl von Bildern und das Bestimmen, ob Veränderungen der Vielzahl der dreidimensionalen physischen Positionen des Eingabeobjekts irgendeiner einer Vielzahl von vordefinierten Gesten entsprechen. Zusätzlich umfasst das Verfahren das Erzeugen mindestens einer Geräteeingabe, die auf einer bestimmten Geste aus der Vielzahl der vordefinierten Gesten basiert, nachdem bestimmt worden ist, dass die Veränderungen der Vielzahl der dreidimensionalen Positionen des Eingabeobjekts einer bestimmten Geste aus der Vielzahl der vordefinierten Gesten entsprechen.
Eine weitere Ausführungsform der Erfindung umfasst ein Gestenerkennungssystem. Das System umfasst Mittel zum Erzeugen eines Helligkeitskontrasts zwischen reflektiertem und nicht reflektiertem Licht in einer Gestenerkennungsumgebung, die durch einen physischen Raum vor einer im Wesentlichen vertikalen Anzeigefläche definiert ist. Das reflektierte Licht kann von einem Eingabeobjekt reflektiert werden. Das System umfasst auch Mittel zum Erzeugen einer auf dem Helligkeitskontrast basierenden ersten Vielzahl von Bildern des Eingabeobjekts und Mittel zum Erzeugen einer auf dem Helligkeitskontrast basierenden zweiten Vielzahl von Bildern des Eingabeobjekts. Die erste Vielzahl von Bildern und die zweite Vielzahl von Bildern können eine Vielzahl von zusammengebrachten Bilderpaaren des Eingabeobjekts bilden. Das System umfasst auch Mittel zum Erzeugen einer Folge mit lang gestreckten Teilen des Eingabeobjekts assoziierten Punkten in jeder Vielzahl der ersten und zweiten Bilder und Mittel zum Korrelieren mindestens eines Paars zusammengehöriger Punkte in jedem der Vielzahl der zusammengebrachten Bilderpaare des Eingabeobjekts. Das System umfasst auch Mittel zum Bestimmen von dreidimensionalen physischen Positionsinformationen, die mit Merkmalen des Eingabeobjekts verbunden sind, basierend auf einem relativen Abstand des mindestens einen korrelierten Paars zusammengehöriger Punkte in der Vielzahl der zusammengebrachten Bilder des Eingabeobjekts. Ferner umfasst das System Mittel zum Übersetzen von Änderungen in den dreidimensionalen Positionsinformationen, die mit den Merkmalen des Eingabeobjekts assoziiert sind, in eine bestimmte Eingabegeste und Mittel zum Erzeugen von Geräteeingaben, basierend auf dem Übereinstimmen einer bestimmten Eingabegeste mit einer Geste der Vielzahl der vordefinierten Gesten.
KURZE BESCHREIBUNG DER ZEICHNUNGEN
1 zeigt ein Beispiel eines Gestenerkennungs-Schnittstellensystems gemäß einem Aspekt der Erfindung.
2 zeigt ein Beispiel eines Kamerasystems für ein Gestenerkennungs-Schnittstellensystem gemäß einem Aspekt der Erfindung.
3 zeigt ein Beispiel eines Beleuchtungssystems für ein Gestenerkennungs-Schnittstellensystem gemäß einem Aspekt der Erfindung.
4 zeigt ein anderes Beispiel eines Gestenerkennungs-Schnittstellensystems gemäß einem Aspekt der Erfindung.
5 zeigt ein Beispiel einer Grafik eines konvertierten Handbilds, basierend auf einem Algorithmus, zur Verwendung in einem Gestenerkennungs-Schnittstellensystem gemäß einem Aspekt der Erfindung.
6 stellt ein Beispiel einer Parallaxenabstandsgrafik der konvertierten Handbilder zur Verwendung in einem Gestenerkennungs-Schnittstellensystem gemäß einem Aspekt der Erfindung dar.
7 zeigt ein Beispiel einer Gestenanwendung gemäß einem Aspekt der Erfindung.
8 zeigt ein Beispiel eines Verfahrens zum Erzeugen von Eingaben in einen Computer gemäß einem Aspekt der Erfindung.
DETAILLIERTE BESCHREIBUNG
Die vorliegende Erfindung bezieht sich generell auf Schnittstellensysteme und insbesondere auf Gestenerkennungs-Schnittstellensysteme mit einer vertikalen Anzeigefläche. Ein Benutzer verwendet ein Eingabeobjekt, um simulierte Eingaben in einen Computer oder ein anderes elektronisches Gerät zu erzeugen. Es ist ersichtlich, dass die simulierten Eingaben durch Gesten unter Verwendung des Eingabeobjekts erzeugt werden. Zum Beispiel kann der Benutzer unter Verwendung des Eingabeobjekts Gesten erzeugen, die eine Bewegung und/oder einen Kontakt mit einer vertikalen Anzeigefläche umfassen. Das Eingabeobjekt kann zum Beispiel die Hand des Benutzers sein, ein Stab, ein Eingabestift, ein Zeigestock oder eines aus einer Vielzahl anderer Geräte, mit denen der Benutzer gestikulieren kann. Die simulierten Eingaben können zum Beispiel simulierte Maus-Eingaben sein. Eine oder mehrere Infrarot (IR)-Lichtquellen beleuchten eine Gestenerkennungsumgebung die durch einen Bereich eines physischen Raums vor der vertikalen Anzeigefläche definiert ist. Ein Satz Stereokameras kann jeweils eine Vielzahl von Bildern des Eingabeobjekts erzeugen. Diese Vielzahl von Bilder kann zum Beispiel auf einem reflektierten Lichtkontrast des vom Eingabeobjekt zurück reflektierten IR-Lichts im Vergleich zu im Wesentlichen nicht reflektierten Licht basieren. Die von jeder Kamera aufgenommene Vielzahl von Bilder des Eingabeobjekts kann zum Beispiel eine Vielzahl von zusammengebrachten Bildersätzen des Eingabeobjekts sein, so dass jedes Bild in den zusammengebrachten Bildersätzen unterschiedlichen Perspektiven des Eingabeobjekts zur im Wesentlichen gleichen Zeit entspricht. Ein bestimmter zusammengebrachter Bildersatz kann verwendet werden, die Position des Eingabeobjekts zu bestimmen, und die Vielzahl der zusammengebrachten Bildersätze kann dazu verwendet werden, eine physische Bewegung des Eingabeobjekts zu bestimmen.
Ein Controller kann dafür ausgelegt sein, eine Vielzahl von Bildern zu empfangen, um mit dem Eingabeobjekt assoziierte dreidimensionale Positionsinformationen zu ermitteln. Zum Beispiel kann der Controller einen Algorithmus anwenden, um Merkmale des Eingabeobjekts, wie Endpunkte, Länge und Neigung langgestreckter Teile des Eingabeobjekts im dreidimensionalen Raum zu ermitteln. Der Controller kann dann, basierend auf den dreidimensionalen Positionsinformationen, die simulierten Eingaben in Geräteeingaben übersetzen. Zum Beispiel kann der Controller auf mit dem Eingabeobjekt assoziierten Bewegungen basierende Gesteneingaben interpretieren und diese Gesteneingaben in Eingaben in einen Computer oder andere Geräte übersetzen. Der Controller kann auch die mit einem Endpunkt oder mit mehreren Endpunkten des Eingabeobjekts assoziierten Bewegungen mit einer Vielzahl von vordefinierten, in einem Speicher gespeicherten Gesten vergleichen, so dass eine Übereinstimmung mit einer bestimmten vordefinierten Geste einer bestimmten Geräteeingabe entspricht.
1 stellt ein Beispiel eines Gestenerkennungs-Schnittstellensystems 10 in Übereinstimmung mit einem Aspekt der Erfindung dar. Das Gestenerkennungs-Schnittstellensystem umfasst eine erste Kamera 12, eine zweite Kamera 14, eine erste IR-Lichtquelle 16 und eine zweite IR-Lichtquelle 18, die über einer vertikalen Anzeigefläche 20 montiert sind. Die vertikale Anzeigefläche 20 kann zum Beispiel eine Projektionsleinwand sein. Die erste Kamera 12 und die zweite Kamera 14 können einen IR-Filter beinhalten, so dass die jeweilige Kamera nur jeweils IR-Licht empfangen kann. Jede der ersten IR-Lichtquelle 16 und zweiten IR-Lichtquelle 18 kann die Gestenerkennungsumgebung 22 beleuchten, die als dreidimensionaler physischer Raum im Vordergrund der vertikalen Anzeigefläche 20 definiert ist, und die für die erste und zweite Kamera 12 und 14 einsehbar ist.
Ein Eingabeobjekt 24 kann simulierte Eingaben über der vertikalen Anzeigefläche 20 erzeugen. In dem Beispiel nach 1 wird das Eingabeobjekt 24 als die Hand des Benutzers dargestellt, so dass die simulierten Eingaben durch Handgesten erzeugt werden. Es ist ersichtlich, dass die Verwendung einer Hand zur Erzeugung simulierter Eingaben über Handgesten, nur eine beispielhafte Ausführungsform eines Gestenerkennungs-Schnittstellensystems 10 ist. Beispiele anderer Arten eines Eingabeobjekts können einen Eingabestift, einen Stab, einen Zeigestock oder eine Vielzahl anderer Objekte umfassen, die Gesten erzeugen können, um Eingaben zu simulieren. Ferner ist ersichtlich, dass das Eingabeobjekt 24 für den Gebrauch in dem Gestenerkennungs-Schnittstellensystem 10 nicht speziell gestaltet oder geeignet sein muss. Zum Beispiel kann die bloße Hand eines Benutzers als Eingabeobjekt verwendet werden. Daher ist es nicht notwendig, dass der Benutzer zum Erzeugen von Gesteneingaben in dem Gestenerkennungs-Schnittstellensystem 10, in Übereinstimmung mit einem Aspekt der Erfindung, einen Handschuh trägt der retro-reflektives Material oder einen oder mehrere Positionssensoren umfasst.
Bei dem Ausführungsbeispiel nach 1 empfängt jede der ersten Kamera 12 und der zweiten Kamera 14 separate Bilder des Eingabeobjekts 24, wobei jedes von der ersten Kamera 12 beziehungsweise der zweiten Kamera 14 empfangenen separaten Bilder einen zusammengebrachten Satz bilden (d. h. zusammengebrachtes Paar). Zum Beispiel kann jede der ersten und zweiten Kamera 12 und 14 in schneller Abfolge fotografische Standbilder, zum Beispiel mit einer Rate von sechzig Bildern pro Sekunde aufnehmen, so dass jedes fotografische Standbild, das von der ersten Kamera 12 aufgenommen wird, mit einem fotografische Standbild, das von der zweiten Kamera 14 zur im Wesentlichen selben Zeit aufgenommen wird, zusammengebracht wird. Wegen der Parallaxe, verursacht durch die unterschiedlichen Befestigungspositionen der ersten Kamera 12 und der zweiten Kamera 14, kann das Eingabeobjekt 24 in jedem Bild des von der ersten Kamera 12 und der zweiten Kamera 14 entsprechend aufgenommenen zusammengebrachten Bildersatzes an unterschiedlichen Positionen erscheinen. In dem Beispiel der 1 können die erste und zweite Kamera 12 und 14 jeweils so positioniert sein, dass sie zur Mitte der vertikalen Anzeigefläche 20 geneigt sind, um eine genauere Positionsbestimmung des Eingabeobjekts 24 bereitzustellen.
Die von jeder der ersten und zweiten Kamera 12 und 14 empfangenen Bilder können auf IR-Licht basieren, das von dem Eingabeobjekt reflektiert wird, relativ zu im Wesentlichen nicht reflektiertem Licht in der Gestenerkennungsumgebung 22. Im Speziellen wird ein Objekt mit einer relativen Beleuchtungsintensität beleuchtet, die 1/D² beträgt, wobei D die Entfernung zur Lichtquelle ist. Daher erscheint ein Objekt das doppelt so weit von der Lichtquelle entfernt ist viermal dunkler. Obwohl ein gewisser Teil des von der ersten und zweiten IR-Lichtquelle 16 und 18 emittierten IR-Lichts durch den Fußboden 28 unter der vertikalen Anzeigefläche 20 reflektiert wird, ist die Intensität des reflektierten Lichts signifikant geringer als die Intensität des vom Eingabeobjekt 24 reflektierten Lichts.
Die erste Kamera 12 und die zweite Kamera 14 können jeweils ihre jeweiligen getrennten Bilder des Eingabeobjekts 24 einem Controller 26 bereitstellen. Der Controller 26 kann sich zum Beispiel in einem nicht dargestellten Computer befinden, für den das Gestenerkennungs-Schnittstellensystem 10 vorgesehen ist, um eine Gestenerkennungs-Schnittstelle bereitzustellen. Allerdings ist ersichtlich, dass nicht nur ein allein stehender Computer den Controller aufnehmen kann, sondern der Controller auch in einem eingebetteten Prozessor enthalten sein kann. Der Controller 26 kann die jeweiligen, mit dem Eingabeobjekt 24 assoziierten Bilder verarbeiten, um mit dem Eingabeobjekt 24 assoziierte dreidimensionale Positionsdaten zu erzeugen.
Zum Beispiel kann jede der ersten Kamera 12 und der zweiten Kamera 14 mit einem vorbestimmten Winkel im Bezug zum Fußboden unter der vertikalen Anzeigefläche 20 befestigt sein. Für ein bestimmtes zusammengebrachtes Bilderpaar des Eingabeobjekts 24 ist, wenn der vorbestimmte Winkel beider Kameras 12 und 14 gleich ist, jeder Punkt des Eingabeobjekts 24 in einem zweidimensionalen Raum in einem bestimmten Bild der Kamera 12 im gleichen Abstand von dem entsprechenden Punkt des Eingabeobjekts 24 in dem entspre chenden zusammengebrachten Bild der Kamera 14 vorhanden. Daher kann der Controller 26 die dreidimensionale physische Position des Eingabeobjekts 24, basierend auf einem relativen Parallaxenabstand in dem zusammengebrachten Bildersatz des Eingabeobjekts 24, für einen bestimmten Zeitpunkt bestimmen. Zusätzlich kann der Controller 26 unter Verwendung eines Computeralgorithmus auch die dreidimensionale physische Position von mit Teilen des Eingabeobjekts 24 assoziierten Merkmalen bestimmen, wie zum Beispiel Finger und Fingerspitzen.
Das Gestenerkennungs-Schnittstellensystem 10 kann auch einen Projektor 30 umfassen. Der Projektor 30 kann visuellen Inhalt bereitstellen, mit dem der Benutzer interagieren und Eingaben erzeugen kann. In dem Beispiel der 1 projiziert der Projektor 30 den visuellen Inhalt auf die vertikale Anzeigefläche 20. Da die IR-Lichtquellen 16 und 18 nicht sichtbares Licht ausstrahlen, behindert die IR-Beleuchtung nicht die vom Projektor 30 projizierten visuellen Inhalte. Daher kann der Benutzer in der Gestenerkennungsumgebung 22 das Eingabeobjekt 24 verwenden, um mit dem visuellen Inhalt interagierende Eingaben zu simulieren. Es ist ersichtlich, dass die Interaktion mit dem visuellen Inhalt über Gesten, so wie es hier beschrieben wird, als das Erzeugen simulierten Eingaben durch Gesten in Reaktion auf den visuellen Inhalt, oder das Erzeugen des visuellen Inhalts definiert ist, so wie es detailliert im Ausführungsbeispiel der 7 beschrieben wird.
Die simulierten Eingaben können zum Beispiel Maus-Eingaben sein, so dass der Controller 26 die zweidimensionale Bewegung eines Endpunkts des Eingabeobjekts 24 über die vertikale Anzeigefläche 20 als einen Maus-Cursor interpretiert und die Berührung der vertikalen Anzeigefläche 20 durch den Endpunkt des Eingabeobjekts 24 als linken Maus-Klick interpretiert. Dementsprechend kann ein Benutzer des Gestenerkennungs-Schnittstellensystems 10 durch eine Vielzahl von mit dem Computer assoziierten Computermenüs navigieren, nur indem er seine oder ihre Fingerspitze durch die Luft vor der vertikalen Anzeigefläche 20 bewegt und die auf die vertikale Anzeigefläche 20 projizierten Symbole berührt. In einem anderen Beispiel kann die vertikale Anzeigefläche 20 als virtuelle Leinwand verwendet werden, so dass der visuelle Inhalt als virtuelle Tinte projiziert wird, die auf der virtuellen Leinwand in Reaktion auf das Berühren der vertikalen Anzeigefläche 20 mit dem Eingabeobjekt 24 bereitgestellt wird. Zusätzlich können weitere Gesten implementiert werden, um die virtuelle Tinte zu löschen oder ihre Eigenschaften zu verändern, wie zum Beispiel Farbe und Stiftbreite. Dementsprechend kann das Gestenerkennungs-Schnittstellensystem 10 als virtuelle Weißwandtafel fungieren, auf der der Benutzer zeichnen oder schreiben kann.
Der Controller 26 umfasst eine Kalibrierungseinheit 32 zum Kalibrieren des Gestenerkennungs-Schnittstellensystems 10. Die Kalibrierungseinheit 32 kann ein separates System sein, das in Verbindung mit dem Controller 26 arbeitet oder lediglich eine Software-Routine des Controllers 26 sein. Zum Beispiel kann die Kalibrierungseinheit 23 als Kalibrierungsroutine implementiert sein, die zum Beispiel beim Einschalten oder Set-Up des Gestenerkennungs-Schnittstellensystems 10, oder in periodischen Intervallen mit der Software des Controllers 26 interagiert. Eine Kalibrierungsroutine kann lediglich darin bestehen, den Benutzer aufzufordern, einen spezifischen Punkt auf der vertikalen Anzeigefläche 20 mit einem Endpunkt des Eingabeobjekts 24 zu berühren. Dieser spezifische Punkt kann aus einem oder mehreren Punkten mit vorbestimmten Koordinaten bestehen, die vom Controller 26 und/oder der Kalibrierungseinheit 23 auf der vertikalen Anzeigefläche 20 gekennzeichnet werden. Zum Beispiel kann der spezifische Punkt eine permanente visuelle Markierung auf der vertikalen Anzeigefläche 20 sein, oder der spezifische Punkt kann von dem Projektor 30 auf die vertikale Anzeigefläche 20 projiziert werden. Daraufhin kann die Kalibrierungseinheit 32 die Bilder des den spezifischen Punkt berührenden Eingabeobjekts mit den vorgegebenen Koordinaten des spezifischen Punkts verbinden. Somit kann die Kalibrierungseinheit 32 die Bilder kalibrieren, um eine genaue Gestenerkennung zu ermöglichen.
Es ist ersichtlich, dass das Gestenerkennungs-Schnittstellensystem 10 in dem Beispiel der 1 nur ein Beispiel eines Gestenerkennungs-Schnittstellensystems darstellen soll. Zum Beispiel kann das Gestenerkennungs-Schnittstellensystem 10 mehr als zwei Kameras umfassen, die sich an unterschiedlichen Positionen über und/oder unter der vertikalen Anzeigefläche 20 befinden, von denen jede entsprechende Bilder des Eingabeobjekts 24 zu dem Controller 26 liefert. Zum Beispiel kann ein Dreiwege-Stereo-Kamerasystem verwendet werden, oder es können auch mehrere Kameras eingesetzt werden, um den visuellen Erfassungsbereich für eine breite vertikale Anzeigefläche 20 zu erhöhen oder in Situationen in denen der Raum über der vertikalen Anzeigefläche 20 nicht ausreicht. Zusätzlich kann als weiteres Beispiel der Projektor 30 den visuellen Inhalt von hinten auf die vertikale Anzeigefläche 20 projizieren oder die vertikale Anzeigefläche 20 kann ein Flüssigkristall-Display (LCD) oder ein Plasmamonitor anstelle der Projektionsleinwand sein. Als weiteres Beispiel können die IR-Lichtquellen 16 und 18 nicht im IR-Spektrum strahlen, sondern können stattdessen in einem anderen Spektralbereich strahlen, zum Beispiel in einem engen Frequenzband des sichtbaren Lichts, wobei jede der entsprechenden Kameras 12 und 14 einen entsprechenden Spektralfilter aufweist. Demzufolge kann das Gestenerkennungs-Schnittstellensystem 10 in einer von vielen Weisen ausgestaltet sein.
2 stellt ein Beispiel eines Kamerasystems 50 für ein Gestenerkennungs-Schnittstellensystem 10 in Übereinstimmung mit einem Aspekt der Erfindung dar. Das Kamerasystem 50 kann ein Teil des Gestenerkennungs-Schnittstellensystems 10 gemäß dem Ausführungsbeispiel nach 1 sein. Insoweit ist in der nachfolgenden Beschreibung des Ausführungsbeispiels nach 2 auch auf das Ausführungsbeispiel von 1 Bezug zu nehmen.
In dem Beispiel der 2 wird das Kamerasystem 50 in einer Seitenansicht im Bezug zur vertikalen Anzeigefläche 20 gezeigt. Daher zeigt das Kamerasystem 50 die Positionierung einer Kamera 52, stellvertretend für eine der Kameras 12 und 14 im Beispiel der 1. So wie im Beispiel der 2 gezeigt, ist die Kamera 52 derart über der vertikalen Anzeigefläche 20 angeordnet, dass die zentrale Linsenachse 54 der Kamera 52 einen Blickwinkel (engl. glancing angle) von θ im Bezug zur der von der vertikalen Anzeigefläche 20 definierten Ebene aufweist. Wie hierin beschrieben, ist die zentrale Linsenachse 54 als eine durch den Mittelpunkt der Linse der Kamera 52 verlaufende Achse definiert. Der Blickwinkel θ kann zum Beispiel ein im Wesentlichen kleiner Winkel ungleich Null sein. In einem anderen Beispiel kann der Blickwinkel θ Null sein, so dass die Kamera 52 näher an die vertikale Anzeigefläche 20 positioniert werden kann.
Aufgrund der Positionierung der Kameras 12 und 14 relativ zu der vertikalen Anzeigefläche 20, wie durch die Kamera 52 in dem Beispiel der 2 dargestellt, können die vertikale Anzeigefläche 20 und die Gestenerkennungsumgebung 22 vor der vertikalen Anzeigefläche 20 durch die Kameras 12 und 14 abgebildet werden. Insbesondere die Position der Kamera 52 in dem Beispiel der 2 zeigt, dass die Kameras 12 und 14 dafür ausgelegt sind, die vertikale Anzeigefläche 20 und einen Bereich des physischen Raums im Vordergrund der virtuellen Anzeigefläche 20 abzubilden, der ausreichend groß ist (zum Beispiel ungefähr 25 bis 50 cm vor der Anzeigefläche), um die Eingabegesten des Eingabeobjekts 24 zu erfassen, ohne dass es zwingend erforderlich ist, die vertikale Anzeigefläche 20 zu berühren. Daher kann der Controller 26, basierend auf der Positionierung der Kamera 52, die dreidimensionale Position des Eingabeobjekts 24 aus einer Analyse der Positionen in den Bildern und der Parallaxe zwischen den Kameras 12 und 14 berechnen. Die Anordnung der Kameras 12 und 14 kann außerdem eine genauere Messung der Entfernung zwischen der vertikalen Anzeigefläche 20 und dem Eingabeobjekt 24 ermöglichen, als wenn die zentrale Linsenachse 54 im Wesentlichen senkrecht zu der vertikalen Anzeigefläche 20 wäre.
3 stellt ein Beispiel eines Beleuchtungssystems 100 für ein Gestenerkennungs-Schnittstellensystem 10 in Übereinstimmung mit einem Aspekt der Erfindung dar. Das Be leuchtungssystem 100 kann ein Teil des Gestenerkennungs-Schnittstellensystems 10 gemäß dem Ausführungsbeispiel nach 1 sein. Insoweit ist in der nachfolgenden Beschreibung des Ausführungsbeispiels nach 3 auch auf das Ausführungsbeispiel von 1 Bezug zu nehmen.
Das Beleuchtungssystem 100 umfasst eine Vielzahl von Beleuchtungsgeräten 102, die über der vertikalen Anzeigefläche 20 angeordnet sind. Die Beleuchtungsgeräte 102 können zum Beispiel IR-Beleuchtungsgeräte sein. Die Beleuchtungsgeräte 102 teilen sich in einen ersten Teil 104 und in einen zweiten Teil 106 auf. Der erste und zweite Teil 104 und 106 können jeweils eines oder mehrere der Beleuchtungsgeräte 102 umfassen. Daher können die Beleuchtungsgeräte 102 quer über die Oberseite der vertikalen Anzeigefläche 20 verteilt sein, um die Gestenerkennungsumgebung 22 in einer im Wesentlichen gleichmäßigen Art und Weise zu beleuchten. Zusätzlich können die Beleuchtungsgeräte 102 so angeordnet sein, dass sie relativ zu einer Ebene, die durch die vertikale Anzeigefläche 20 definiert wird, einen großen Einfallswinkel (z. B. ungefähr 90°) aufweisen.
Die Beleuchtungsgeräte 102 des ersten und zweiten Teils 104 und 106 sind jeweils mit einer zentralen Beleuchtungsachse 108 angeordnet. Im vorliegenden Zusammenhang ist die zentrale Beleuchtungsachse 108 als eine Achse definiert die von dem Mittelpunkt der IR-Lichtquelle des Beleuchtungsgeräts 102 ausgeht. Insbesondere die Beleuchtungsgeräte 102 in dem ersten Teil 104 sind in Bezug zu einer Normalen 110 des Fußbodens 28 (in dem Beispiel der 2 nicht dargestellt) mit einem Winkel φ zur Mitte der vertikalen Anzeigefläche 20 hin angeordnet. Ebenso sind die Beleuchtungsgeräte 102 in dem zweiten Teil 106 in Bezug zu einer Normalen 110 des Fußbodens 28 mit einem Winkel φ zur Mitte der vertikalen Anzeigefläche 20 hin angeordnet, so dass der erste Teil 104 und der zweite Teil 106 der Beleuchtungsgeräte 102 spiegelbildlich angeordnet sind.
Aufgrund der angewinkelten Positionierung der Beleuchtungsgeräte 102 relativ zur Normalen 110 wird die direkte Beleuchtung des Fußbodens 102 unter der vertikalen Anzeigefläche 20 abgeschwächt. Im Besonderen beleuchten die Beleuchtungsgeräte 102 den Fußboden 28 unter einem Einfallswinkel φ. Daher wird deutlich weniger Beleuchtung von dem Fußboden 28 in die Gestenerkennungsumgebung 22 reflektiert. Daher ist der Helligkeitskontrast zwischen dem vom Eingabeobjekt 24 reflektiertem Licht und dem nicht reflektierten Licht in dem physischen Raum der Gestenerkennungsumgebung stärker. Dementsprechend können in den Bildern, die von der ersten und der zweiten Kamera bereitgestellt werden, die Kanten des Eingabeobjekts 24 genauer ermittelt werden, so dass die mit dem Eingabeobjekt 24 assoziierten Merkmale mit einer größeren Genauigkeit durch den von dem Controller 26 ausgeführten Algorithmus erkannt werden.
Zusätzlich kann, da die Beleuchtungsgeräte 102 mit einem großen Einfallswinkel im Bezug zur Ebene der vertikalen Anzeigefläche 20 positioniert sind, die vertikale Anzeigefläche 20 für die Kameras 12 und 14, im Bezug auf das reflektierte IR-Licht, wesentlich dunkler erscheinen als das Eingabeobjekt 24. Außerdem kann die vertikale Anzeigefläche 20 in dem Beleuchtungssystem 100 und damit das Gestenerkennungs-Schnittstellensystem 10 retroreflektiv ausgestaltet sein. Daher kann das auf die vertikale Anzeigefläche 20 einfallende Licht im Wesentlichen zurück zu der Beleuchtungsquelle reflektiert werden. Allerdings kann sich die Retro-Reflektivität bei größeren Einfallswinkeln deutlich vermindern. Aufgrund der Retro-Reflektivität der vertikalen Anzeigefläche 20 wird das IR-Licht, das von den Beleuchtungsgeräten 102 emittiert wird, oder das von dem Eingabeobjekt auf die vertikale Anzeigefläche 20 reflektiert wird, nicht zu den Kameras 12 und 14 reflektiert. Dementsprechend bleibt, obwohl die vertikale Anzeigefläche 20 durch die Kameras 12 und 14 abgebildet wird, so wie es vorher in Beispiel der 2 beschrieben worden ist, die vertikale Anzeigefläche 20 für die Kameras 12 und 14 im Vergleich zu dem Eingabeobjekt 24 in Bezug auf das reflektierte IR-Licht im Wesentlichen dunkler.
4 stellt ein anderes Beispiel eines Gestenerkennungs-Schnittstellensystems 150 in Übereinstimmung mit einem Aspekt der Erfindung dar. Das Gestenerkennungs-Schnittstellensystem 150 kann ein Teil des Gestenerkennungs-Schnittstellensystems 10 gemäß dem Ausführungsbeispiel nach 1 sein. Insoweit ist in der nachfolgenden Beschreibung des Ausführungsbeispiels nach 4 auch auf das Ausführungsbeispiel von 1 Bezug zu nehmen.
Das Gestenerkennungs-Schnittstellensystem 150 umfasst den Controller 26, die erste Kamera 12 und die zweite Kamera 14. Die erste und zweite Kamera 12 und 14 empfangen jeweils eine Vielzahl von Bildern des Eingabeobjekts 24, wie zum Beispiel der Hand eines Benutzers. Die entsprechenden Bilder des Eingabeobjekts 24 können Bilder sein, die auf den Helligkeitskontrast zwischen dem vom Eingabeobjekt 24 reflektiertem Licht und dem nicht reflektiertem Licht in der Gestenerkennungsumgebung 22 basieren.
Die erste und zweite Kamera 12 und 14 geben jeweils ihre entsprechenden Bilder eines zusammengehörigen Bilderpaars in einen Digitalisierer 152 ein. Der Digitalisierer 152 erzeugt digitale Versionen der Bilder des Eingabeobjekts. Die digitalisierten Bilder des Eingabeobjekts 24 werden in einen Bildvergleicher 154 eingegeben. Der Bildvergleicher 154 ver gleicht jedes der digitalisierten Bilder des Eingabeobjekts mit einem zuvor gespeicherten digitalisierten Bild des Eingabeobjekts, um ein binär codiertes Bild des Eingabeobjekts 24 zu erzeugen. Solch ein Vergleich ermöglicht eine verbesserte Qualität der digitalisierten Bilder, wenn die IR-Beleuchtung der Gestenerkennungsumgebung 22 nicht über die gesamte vertikale Anzeigefläche 20 gleichmäßig ist. Das zuvor gespeicherte digitalisierte Bild kann während eines Kalibrierungsvorgangs und/oder aus den wiederholten Speichern der digitalisierten Bilder in einem Pufferspeicher erhalten werden.
Zum Beispiel kann ein Hintergrundmodell ohne das Eingabeobjekt 24 für jede der Kameras 12 und 14 beibehalten werden. Die Hintergrundmodellbilder können verwendet werden, um für jeden Bildpunkt zu entscheiden, ob das Bild des Eingabeobjekts 24 einer binären 1 oder 0 entspricht. Zum Beispiel wird für jeden Bildpunktort, wenn das Bild des Eingabeobjekts 24 einen Wert aufweist, der etwas größer ist als der Wert des Hintergrundmodellbilds multipliziert mit einem Schwellen-Skalierungswert zwischen 0 und 1, der Ausgabewert eine binäre 1 sein, wodurch die Anwesenheit des Eingabeobjekts 24 angezeigt wird. Auf diese Weise kann der Skalierungswert so ausgewählt werden, dass ein optimales Gleichgewicht zwischen dem wünschenswerten Erkennen des Eingabeobjekts 24 und einer Unempfindlichkeit der ersten und zweiten Kamera 12 und 14 gegenüber dem Vorhandensein von zurück reflektierten Licht eingestellt werden kann. Daher können mit dem Eingabeobjekt assoziierte Kanten in allen Bildern erkannt werden.
Die im Kontrast verstärkten binär codierten Bilder des Eingabeobjekts 24 werden dann in ein Skelettdarstellungs-Objekterkennungs-Algorithmusgerät 156 eingegeben. Das Objekterkennungs-Algorithmusgerät 156 kann ein integrierter Schaltkreis (IC), ein Satz von ICs innerhalb des Controllers 26 oder eine Software-Routine des Controllers 26 sein. Das Objekterkennungs-Algorithmusgerät 156 kann dafür ausgelegt sein, mit dem Eingabeobjekt 24 assoziierte Merkmale in jedem der binär codierten Bilder zu erkennen. Zum Beispiel kann das Objekterkennungs-Algorithmusgerät 156 die Länge, die Neigung und/oder die mit den langgestreckten Teilen des Eingabeobjekts 24 assoziierten Endpunkte erkennen.
Zum Beispiel kann das Objekterkennungs-Algorithmusgerät 156 dafür ausgelegt sein, die Position einer Folge von mit Kanten der langgestreckten Teile des Eingabeobjekts 24 assoziierten Mittelpunkte zu bestimmen. Die Mittelpunkte können in den Bildern, auf denen keine andere Kantenpunkte in dem zweidimensionalen Koordinatensystem vorhanden sind, symmetrische Punkte sein, die sich ungefähr auf halben Weg zwischen zwei Grenzpunkten an Kanten des Eingabeobjekts befinden. Ein Verbindungsalgorithmus kann dann die symmetrischen Punkte zu Ketten verbinden, aus denen gerade den langgestreckten Teilen entspre chende Segmente gebildet werden. Die symmetrischen Punkte können mit radialen Entfernungsparametern versehen werden, die einen Ball beschreiben, der an den Punkt zentriert wird, der in die Grenzen des Bildes passt. Die Ketten und Segmentstrukturen können dann die radialen Entfernungsparameter übernehmen, um eine Skelettdarstellung des Eingabeobjekts 24 zu bilden, von der dann die Merkmale der langgestreckten Teile abgeleitet werden können.
5 stellt ein Beispiel einer Grafik 200 des konvertierten Handbilds, basierend auf den Skelettdarstellungs-Objekterkennungsalgorithmus in Übereinstimmung mit einem Aspekt der Erfindung dar. Ein erstes Handbild 202 wird gezeigt, das einen von einer im Wesentlichen geschlossenen Faust ausgestreckten Zeigefinger zeigt. Das Objekterkennungs-Algorithmusgerät 156 kann dann das erste Handbild 202 in eine Skelettdarstellung 203 konvertieren. Insbesondere kann das Objekterkennungs-Algorithmusgerät 156 eine Folge von Mittelpunkten entlang der langgestreckten Teile (d. h. Arm und Zeigefinger) erkennen, die in dem Beispiel der 5 als gepunktete Linien 204 und 206 dargestellt sind, die entsprechend mit symmetrischen Achsen des Zeigefingers und des Arms korrespondieren. Die gepunkteten Linien 204 und 206 werden durch den Ball 208 getrennt, der der Faust entspricht. Daher kann das Objekterkennungs-Algorithmusgerät 156 Endpunkte der symmetrischen Achsen des Arms und des Zeigefingers, die entsprechend durch das ”X” 210 und das ”X” 212 dargestellt sind, in dem zweidimensionalen Raum jedes Bilds bestimmen.
Ein zweites Handbild 214 ist so dargestellt, dass alle Finger und der Daumen ausgestreckt sind. Das Objekterkennungs-Algorithmusgerät 156 kann daher das zweite Handbild 214 in eine Skelettdarstellung 215 konvertieren. Das Objekterkennungs-Algorithmusgerät 156 kann eine Folge von Mittelpunkten entlang der langgestreckten Teile (d. h. Arm, Daumen und alle Finger) bestimmen, die in dem Beispiel der 5 als gepunktete Linien 260 entsprechend den symmetrischen Achsen von Arm, Daumen und Finger dargestellt sind. Die gepunkteten Linien 216 führen von sich überlappenden Bällen 218, die die Handfläche darstellen, weg. Daher kann das Objekterkennungs-Algorithmusgerät 156 die Endpunkte der symmetrischen Achsen des Arms, des Daumens und der Finger, dargestellt durch das ”X” 220 am Ende jeder Achse, in dem zweidimensionalen Raum jedes Bilds bestimmen.
Zurückverweisend auf das Beispiel der 4 kann das Skelettdarstellungsbild des Eingabeobjekts 24 einem Kalibrierungsdaten- und Positionskoordinatenwandler 158 bereitgestellt werden. Der Kalibrierungsdaten- und Positionskoordinatenwandler 158 bestimmt für einen bestimmten Zeitpunkt die dreidimensionale Position des Eingabeobjekts 24 und aller damit assoziierten Merkmale. Zum Beispiel kann der Kalibrierungsdaten- und Positionskoor dinatenwandler 158 dafür ausgelegt sein, die relativen zweidimensionalen Positionen der korrespondierenden Punkte in jedem der Skelettdarstellungsbilder des Eingabeobjekts 24 zu vergleichen und die dreidimensionale Position der Punkte, basierend auf einem Parallaxenabstand der korrespondierenden Punkte, zu interpolieren.
6 stellt ein Beispiel einer Parallaxenabstandsgrafik 250 der konvertierten Handbilder in Übereinstimmung mit einem Aspekt der Erfindung dar. Die Grafik 250 umfasst ein erstes konvertiertes Bild 252 und ein zweites konvertiertes Bild 254 des Eingabeobjekts 24. In dem Beispiel der 6 als Benutzerhand dargestellt. Die konvertierten Bilder 252 und 254 sind als Skelettdarstellungen des Eingabeobjekts 24 dargestellt, so wie oben für das Beispiel der 5 beschrieben. Das erste konvertierte Bild 252 kann von der ersten Kamera 12 empfangen worden sein, und das zweite konvertierte Bild 254 kann von der zweiten Kamera 14 empfangen worden sein. Der Kalibrierungsdaten- und Positionskoordinatenwandler 158 kann daher die beiden konvertierten Bilder 252 und 254 gleichzeitig als übereinander liegendes, zusammengesetztes Bild empfangen. Aufgrund der Parallaxe, die durch die unterschiedlichen Positionen der Kameras 12 und 14 verursacht wird, ist ein Endpunkt 256 des ersten konvertierten Bilds 252 und ein Endpunkt 258 des zweiten konvertierten Bilds 254 in dem Beispiel der 6 als voneinander durch die Entfernung X beabstandet dargestellt. Die Entfernung X ist daher die Darstellung der Stereodisparität des Eingabeobjekts 24, so dass die Entfernung X einen Unterschied in den Positionen des Endpunkts 256 und 258 in den entsprechenden konvertierten Bildern 252 und 254 repräsentiert.
Veränderungen der Werte der Stereodisparität X können eine Veränderung einer, durch die Endpunkte 256 und 258 repräsentierte, mit der Fingerspitze des Benutzers assoziierten Höhe anzeigen. Wenn zum Beispiel X größer wird, wird die Fingerspitze des Benutzers vertikal nach oben bewegt (zum Beispiel zu den Kameras 12 und 14), und wenn X kleiner wird, wird die Fingerspitze des Benutzers vertikal nach unten bewegt (zum Beispiel weg von den Kameras 12 und 14). Somit interpoliert, basierend auf dem Parallaxenabstand, der Kalibrierungsdaten- und Positionskoordinatenwandler 158 die dreidimensionale Position der Endpunkte des Eingabeobjekts. Der Controller 26 kann kalibriert werden, um einen Wert X, im Verhältnis zu einem Punkt mit einer vorbestimmten Position auf der vertikalen Anzeigefläche 20, einer Höhe der Fingerspitze des Benutzers zuzuordnen.
Beispielsweise können die korrespondierenden Punkte, die vom Kalibrierungsdaten- und Positionskoordinatenwandler 158 gemessen werden, ein oder mehrere der Endpunkte sein, so wie die Endpunkte 210, 212 und 220 in dem Beispiel der 5. In einem anderen Beispiel können die korrespondierenden Punkte, die durch den Kalibrierungsdaten- und Positionskoordinatenwandler 158 gemessen wurden, beliebige der Mittelpunkte entlang der langgestreckten Teile sein, so wie die Mittelpunkte 204, 206 und 216 aus dem Beispiel der 5. Das Gestenerkennungs-Schnittstellensystem 150 kann kalibriert werden, um den Betrag eines physischen Abstands in den zweidimensionalen Bildern zu ermitteln, der einer Höhe, einer seitlichen und proximalen Position der Merkmale des Eingabeobjekts 24 im Bezug zu der vertikalen Anzeigefläche 20 entspricht. Demzufolge kann der Kalibrierungsdaten- und Positionskoordinatenwandler 158 eine zweidimensionale Position des Eingabeobjekts relativ zu der vertikalen Anzeigefläche 20 sowie eine Berührung der vertikalen Anzeigenfläche 20 mit einem Endpunkt des Eingabeobjekts 24 (zum Beispiel die Fingerspitze des Benutzers) erkennen.
Die von dem Kalibrierungsdaten- und Positionskoordinatenwandler 158 ausgegebenen Daten werden in ein Gestenerkennungsgerät 160 eingegeben. Das Gestenerkennungsgerät 160 interpretiert die mit dem einen Endpunkt oder den mehreren Endpunkten des Eingabeobjekts assoziierten dreidimensionalen Positionsdaten und übersetzt Änderungen in den Positionsdaten in eine Eingabegeste. Da das Gestenerkennungsgerät 160 die mit dem Eingabeobjekt 24 assoziierten Positionsdaten implementiert, kann es programmiert sein, eine beliebige von einer Vielzahl von Gesten zu erkennen, die mit einer Fingerspitze oder mit mehreren Fingerspitzen der Benutzerhand ausgeführt werden. Auf diese Weise bietet das Gestenerkennungs-Schnittstellensystem 150 eine viel vielseitigere Eingabemöglichkeit als berührungsempfindliche Bildschirme.
Zum Beispiel können Gesten die mit mehrere Fingerspitzen oder sogar mit Fingerspitzen von beiden Händen ausgeführt werden als Eingabegesten interpretiert werden, die Zoom-Befehle, Rotations- oder ”Dreh”-Befehle oder sogar Arbeitsumgebungseinstellungen wie zum Beispiel Lautstärke und Helligkeitseinstellungen simulieren, die alle für eine Interpretation durch das Gestenerkennungsgerät 160 programmiert sein können. Das Gestenerkennungsgerät 160 kann auch programmiert sein, die Gesten verschiedener Benutzer gleichzeitig zu erkennen. Zum Beispiel kann das Gestenerkennungsgerät 160 eine Vielpunktsteuermöglichkeit bereitstellen, so dass koordinierte Aktionen zwischen zwei Händen und/oder mehreren Benutzern implementiert werden können. Außerdem kann das Gestenerkennungsgerät 160 in Verbindung mit anderen Computer-Eingabegeräten verwendet werden, wie zum Beispiel einer konventionellen Maus oder Tastatur, um zusätzliche Arten von Gesteneingaben zu erzeugen. Hinzu kommt, dass die simulierten Befehle noch nicht einmal das Berühren der vertikalen Anzeigefläche 20 erfordern. Zum Beispiel kann das Gestenerkennungsgerät 160 nicht nur Veränderungen in der dreidimensionalen Position des Eingabeobjekts 24 auswerten, sondern auch mit dieser Bewegung assoziierte Zeitschwellen. Überdies kann jegliche von einer Vielzahl von Eingabegesten aus einer Bewegung mit sechs Freiheitsgraden gebildet werden, die auf Änderung der dreidimensionalen Position und Orientierung des Eingabeobjekts 24 und aller damit assoziierten Endpunkte basiert.
Der Controller 26 kann auch einen Speicher vordefinierter Gesten 162 umfassen, der mit dem Gestenerkennungsgerät 160 gekoppelt ist. Der Speicher vordefinierter Gesten 162 kann eine Vielzahl vordefinierter Gesten umfassen, wobei jede der vordefinierten Gesten einer bestimmten Geräteeingabe entspricht. Zum Beispiel kann der Speicher vordefinierter Gesten 162 eine Datenbank mit spezifischen Anordnungen und Kombinationen von Fingerspitzenpositionen und Bewegungen umfassen, von denen jede mit einer anderen Computer-Eingabe korrespondiert. Das Gestenerkennungsgerät 160 kann, nachdem es die mit einem Endpunkt oder mehreren Endpunkten des Eingabeobjekts assoziierten dreidimensionalen Positionsdaten über einen bestimmten Zeitbereich empfangen hat, den Speicher vordefinierter Gesten 162 abfragen, um zu ermitteln, ob die Gesteneingabe mit einer vordefinierten Geste übereinstimmt. Nachdem eine Übereinstimmung festgestellt worden ist, kann das Gestenerkennungsgerät 160 die Gesteneingabe in eine Geräteeingabe übersetzen die mit der entsprechenden vordefinierten Geste korrespondiert. Der Speicher vordefinierter Gesten 162 kann mit geeigneten vordefinierten Gesteneingaben vorprogrammiert sein oder er kann dynamisch programmierbar sein, so dass neue Gesten gemeinsam mit den korrespondierenden Geräteeingaben hinzugefügt werden können. Zum Beispiel kann der Benutzer einen Vorgang ”Beginne ein Gestenbeispiel” aktivieren; die neue Geste ausführen, wobei die erste Kamera 12 und die zweite Kamera 14 verwendet werden, um geeignete Bilder der neuen Geste aufzunehmen; und die dazugehörige Geräteeingabe eingeben, die mit der neuen Geste korrespondiert.
Es ist ersichtlich, dass es nicht beabsichtigt ist, ein bestimmtes Gestenerkennungs-Schnittstellensystem auf die Beispiele der 2 bis 6 zu limitieren. In Übereinstimmung mit einem Aspekt der Erfindung sind andere Implementierungen zum Erzeugen von Eingaben möglich. Zum Beispiel können ein oder mehrere Elemente des Controllers 26 in anderen Geräten integriert sein oder können von dem Controller 26 getrennt sein. Zum Beispiel kann jede der Kameras 12 und 14 die jeweiligen Bilder in einen üblichen Digitalisierer 152 eingeben. In einem anderen Beispiel, ähnlich zu dem mit Bezug zum Ausführungsbeispiel der 1 beschriebenen, ist ein bestimmtes Gestenerkennungs-Schnittstellensystem nicht auf zwei Kameras limitiert, sondern kann eine Vielzahl von Kameras über und/oder unter der vertikalen Anzeigefläche 20 umfassen. Außerdem kann in dem Controller 26 nicht nur der Skelettdarstellungs-Objektalgorithmus zum Erkennen von mit dem Eingabeobjekt assoziierten Merkmalen implementiert sein. Es können andere Algorithmen verwendet werden, wie zum Beispiel ein zweidimensionaler Laplace-Filter eines Gaussschen-Faltungsfilters, um mit dem Eingabeobjekt 24 assoziierte Endpunkte wie zum Beispiel Fingerspitzen zu bestimmen. Dementsprechend kann das Gestenerkennungs-Schnittstellensystem 150 in einer beliebigen von einer Vielzahl von Möglichkeiten ausgestaltet sein.
7 stellt ein Beispiel der Gestenanwendung 300 in Übereinstimmung mit einem Aspekt der Erfindung dar. Die Gestenanwendung 300 kann ein Teil des Gestenerkennungs-Schnittstellensystems 10 gemäß dem Ausführungsbeispiel nach 1 sein. Insoweit ist in der nachfolgenden Beschreibung des Ausführungsbeispiels nach 7 auch auf das Ausführungsbeispiel von 1 Bezug zu nehmen.
Die Gestenanwendung 300 wird auf einer virtuellen Weißwandtafel auf der vertikalen Anzeigefläche 20, ähnlich der im Ausführungsbeispiel der 1 beschriebenen, dargestellt. Die Gestenanwendung 300 zeigt eine erste Geste 302 die durch das Berühren der vertikalen Anzeigefläche 20 mit dem ausgestreckten Zeigefinger einer sonst geschlossenen Faust, so wie durch die Hand 304 dargestellt, gebildet wird. Der Controller 26 kann dafür eingerichtet sein (zum Beispiel über das Gestenerkennungsgerät 160), die erste Geste 302 zu erkennen und durch das Bereitstellen von visuellen Daten zu reagieren, zum Beispiel durch die von dem Projektor 30 auf der vertikalen Anzeigefläche 20 dargestellten virtuellen Tinte 306. Daher kann der Benutzer mit der virtuellen Tinte 306 auf der vertikalen Anzeigefläche 20 zeichnen und/oder schreiben, nur indem er die vertikale Anzeigefläche 20 berührt und seinen Finger darüber bewegt, so wie es durch die erste Geste 302 dargestellt ist.
Die Gestenanwendung 300 zeigt auch eine zweite, zusammengesetzte Geste 308, die eine Variation der ersten Geste 302 ist. Im Speziellen wird die zweite Geste durch das Berühren der vertikalen Anzeigefläche 20 mit einem ausgestreckten Zeigefinger und einem ausgestreckten Daumen von einer sonst geschlossenen Hand ausgeführt, so wie durch die Hand 310 dargestellt. Daher ist die zweite Geste 308 eine zusammengesetzte Geste, da die erste Geste 302 mit einer weiteren Geste kombiniert wird (zum Beispiel dem Ausstrecken des Daumens). Der Controller 26 kann daher dafür ausgelegt sein, die zweite Geste 308 als eine Kombination der ersten Geste 302 und einer Geste die das Ausstrecken des Daumens umfasst zu erkennen, so dass der ausgestreckte Daumen eine Modifikation für die erste Geste 302 bildet. In dem Beispiel der 7 reagiert der Controller 26 auf die zweite Geste 308 durch das Bereitstellen der visuellen Daten als virtuelle Tinte 312, die eine Variation der virtuellen Tinte 306 ist. Im Speziellen ist die virtuelle Tinte 312 so dargestellt, dass sie eine dickere Stiftbreite und eine andere Farbe im Vergleich zur virtuellen Tinte 306 aufweist.
Somit verdeutlicht die zweite Geste 308, dass jegliche von einer Vielzahl von Variationen der ersten Geste 302 erzeugt werden kann, und dass diese nicht nur auf das reine Hinzufügen des ausgestreckten Daumens beschränkt sind. Zum Beispiel können, basierend auf unterschiedlichen Kombinationen von ausgestreckten Fingern und/oder des Daumens der Hand 310, unterschiedliche Stiftbreiten und/oder Farben implementiert werden. In einem anderen Beispiel können die visuellen Daten, die auf der vertikalen Anzeigefläche 20 bereitgestellt werden, eine virtuelle Farbpalette und/oder eine Stiftbreitenauswahl umfassen, die in einer Ecke der vertikalen Anzeigefläche 20 angeordnet sind. Zum Beispiel kann der visuelle Inhalt eine aktuell ausgewählte Farbe und/oder Stiftbreite darstellen oder kann alle verfügbaren Farben und/oder Stiftbreiten darstellen, wobei ein Pfeil oder eine Unterstreichung die aktuell ausgewählte Farbe und/oder Stiftbreite kennzeichnet. Daher kann der Benutzer eine zusätzliche Geste verwenden, um zwischen den verfügbaren Farben und/oder Stiftbreiten zu wechseln oder auszuwählen. Zum Beispiel kann der Benutzer eine Auslösegeste mit dem Daumen ausführen, um zwischen den Auswahloptionen zu wechseln, oder er kann eine Geste mit der anderen Hand implementieren die ein Berühren der Leinwand beinhalten kann, während die Hand 310 weiterhin Schreib- und/oder Zeichengesten ausführt. Daher kann jegliche von einer Vielzahl von zusammengesetzten Gesten in dem Beispiel der 7 implementiert werden.
Die Gestenanwendung 300 zeigt auch eine dritte Geste 314, die durch ein Berühren der vertikalen Anzeigefläche 20 mit der geöffneten Handfläche, so wie durch die Hand 316 dargestellt, ausgeführt wird. Der Controller 26 kann dafür ausgelegt sein, die dritte Geste 314 zu erkennen und mit dem Löschen der virtuellen Tinte zu reagieren. In dem Beispiel der 7 wird die dritte Geste 314 als die Hand 316 dargestellt die durch die virtuelle Tinte 318 bewegt wird und einen von der Hand erfassten Teil der virtuellen Tinte löscht, so wie durch die gepunkteten Linien 320 dargestellt. Zusätzlich kann die dritte Geste 314 ebenso gut eine zusammengesetzte Geste zum Löschen der virtuellen Tinte umfassen. Zum Beispiel kann der Controller 26 dafür ausgelegt sein, auf eine Geste die das Platzieren der beiden geöffneten Handflächen des Benutzers auf der vertikalen Anzeigefläche 20 umfasst, mit einem ”alles löschen”-Befehl zu reagieren, so dass die gesamte virtuelle Tinte auf der vertikalen Anzeigefläche 20 gelöscht wird. In einem anderen Beispiel können auf einen Befehl hin Teile der virtuellen Tinte ausgewählt werden, so dass ein einfaches Berühren mit einem Finger oder mit der geöffneten Handfläche mit dem Löschen der ausgewählten virtuellen Tinte korrespondiert.
Es ist ersichtlich, dass die Gestenanwendung 300 nicht auf die im Beispiel der 7 beschriebene virtuelle Weißwandtafelanwendung beschränkt ist. Zum Beispiel kann der Controller 26 dafür ausgelegt sein, eine große Vielzahl von vordefinierten Gesten zu erkennen, so dass gezeichnete und/oder geschriebene virtuelle Tinte durch unterschiedliche Gesten in einer Vielzahl von unterschiedlichen Möglichkeiten manipuliert werden kann. Zum Beispiel kann die Gestenanwendung 300 im Wesentlichen ähnlich zu einer beliebigen von einer Vielzahl von kommerziell verfügbaren Computer-Zeichenprogrammen ausgelegt sein.
Es ist ersichtlich, dass die virtuelle Weißwandtafelfunktion mit einem beliebigen von einer Vielzahl von Computer-Bildschirmpräsentations-Software-Programmen verwendet werden kann. Zum Beispiel unterstützten einige Bildschirmpräsentations-Software-Programme das Zeichnen von Notizen mit der Maus auf Folien. Folglich kann, so wie hierin beschrieben, ein Bildschirmpräsentationsprogramm durch die Verwendung von Gesten zum Vorwärts- oder Rückwärtsschalten der Folien gesteuert werden. Zum Zeichnen auf die Folien können natürliche Fingerzeichengesten verwendet werden, so wie im Beispiel der 7 beschrieben. Zum Beispiel kann eine oder mehrere zusätzliche Handgesten eingesetzt werden, um zu einer leeren Folie zu schalten, auf der mit virtueller Tinte gezeichnet und/oder geschrieben werden kann, um eine ausführlichere Präsentation vor, nach oder während einer vorgefertigte Folien umfassenden Präsentation zu ermöglichen. Dementsprechend kann eine beliebige von einer Vielzahl von Gestenanwendungen implementiert werden.
Aufgrund der zuvor beschriebenen strukturellen und funktionellen Merkmale wird die Methodologie gemäß der unterschiedlichen Aspekten der vorliegenden Erfindung durch Bezugnahme auf 8 noch besser verdeutlicht. Während zum Zwecke der Erläuterung die Methodologien als aufeinander folgend und nacheinander auszuführen beschrieben werden, ist ersichtlich und verständlich, dass die vorliegende Erfindung nicht auf die dargestellte Reihenfolge beschränkt ist, da einige Aspekte gemäß der vorliegenden Erfindung in einer anderen Reihenfolge und/oder gleichzeitig mit anderen als den dargestellten und beschriebenen Aspekten auftreten. Außerdem müssen nicht alle dargestellten Merkmale zur Ausführung einer Methodologie gemäß einem Aspekt der vorliegenden Erfindung erforderlich sein.
8 stellt ein Beispiel eines Verfahrens 350 zum Erzeugen von Eingaben in Übereinstimmung mit einem Aspekt der Erfindung dar. In Schritt 352 wird visueller Inhalt auf einer vertikalen Anzeigefläche angezeigt. Die vertikale Anzeigefläche kann eine Anzeigeleinwand sein, auf die visueller Inhalt projiziert werden kann. In Schritt 354 wird eine Gestenerkennungsumgebung beleuchtet, die durch einen physischen Raum im Vordergrund der im Wesentlichen vertikalen Anzeigefläche definiert ist. Die Beleuchtung kann durch IR-Lichtquellen bereitgestellt werden. In Schritt 356 erzeugt ein Benutzer simulierte Eingaben, die mit dem visuellen Inhalt in der Gestenerkennungsumgebung über mit einem Eingabeob jekt assoziierten Gesten interagieren können. Das Eingabeobjekt kann die Hand des Benutzers sein, so dass der Benutzer die Eingaben über Handgesten simulieren kann. Zusätzlich können die simulierten Eingaben simulierte Maus-Eingaben, Zoom-Befehle oder Rotationsbefehle sein. Die simulierten Eingaben können auch das Berühren der vertikalen Anzeigefläche umfassen, so dass die simulierten Eingaben virtuelle Tinte bereitstellen, mit der auf der vertikalen Anzeigefläche gezeichnet und/oder geschrieben werden kann. Daher kann das Gestenerkennungssystem im Wesentlichen als virtuelle Weißwandtafel ausgelegt sein.
In Schritt 358 wird gleichzeitig eine erste Vielzahl und zweite Vielzahl von Bildern des Eingabeobjekts erzeugt, die auf dem vom Eingabeobjekt reflektiertem Licht basieren. Die Vielzahl der Bilder kann eine Vielzahl von zusammengebrachten Bildersätzen sein, so dass jedes Bild des zusammengebrachten Satzes mit dem aus unterschiedlichen Perspektiven zur im Wesentlichen gleichen Zeit aufgenommenem Eingabeobjekt korrespondiert. Die Bilder können, basierend auf dem vom Eingabeobjekt reflektiertem Licht im Verhältnis zum nicht reflektiertem Licht, in der Gestenerkennungsumgebung erzeugt werden. Daher können die Vielzahl der Bilder Bilder des vom Benutzer kontrollierten Eingabeobjekts sein.
In Schritt 360 werden mit dem Eingabeobjekt assoziierte Merkmale in jedem der korrespondierenden Sätze der Vielzahl der ersten und zweiten Bilder erkannt. Die Merkmale können durch das Erzeugen einer Folge von Punkten längs der langgestreckten Teile des Eingabeobjekts in der ersten und zweiten Vielzahl von Bildern erkannt werden. Zum Beispiel kann es sich bei der Folge von Punkten um Mittelpunkte handeln, die symmetrisch zwischen Grenzpunkten, die Kanten des Eingabeobjekts in den ersten und zweiten Bildern definieren, angeordnet sind. Jeder Punkt in der Folge von Punkten in der ersten Vielzahl von Bildern kann mit einem entsprechenden Punkt in der Folge von Bildern in der zweiten Vielzahl von Bildern korrelieren. Die Korrelation der Punkte in jedem der ersten und zweiten Bilder kann auf beidseitigen Endpunkten oder einem beliebigen Punkt längs der langgestreckten Teile des Eingabeobjekts basieren. In Schritt 362 wird eine Vielzahl von dreidimensionalen physischen Positionen des Eingabeobjekts bestimmt, die auf dem relativen Abstand der korrelierenden Punkte in der Folge von Punkten in jedem der Sätze der ersten und zweiten Vielzahl von Bildern basieren. Der relative Abstand kann auf einem Parallaxenabstand zwischen den ersten und zweiten Bildern basieren. Die dreidimensionale Position kann relativ zur vertikalen Anzeigefläche bestimmt werden. Positionsänderungen der dreidimensionalen Position des zumindest einen Endpunkts des Eingabeobjekts können für eine physische Bewegung des Eingabeobjekts entscheidend sein. In Schritt 364 wird bestimmt, ob die mit dem Eingabeobjekt assoziierte physische Bewegung mit einer der Vielzahl der vordefinierten Gesten korrespondiert. Die vordefinierten Gesten können in einem Speicher gespeichert sein. Jede der vordefinierten Gesten kann mit einer anderen Geräteeingabe assoziiert sein. In Schritt 366 wird zumindest eine Geräteeingabe erzeugt, die darauf basiert, dass eine mit dem Eingabeobjekt assoziierte Bewegung als eine einer bestimmten der vordefinierten Gesten entsprechende Geste erkannt wird. Geräteeingaben können Maus-Eingaben sein, so dass zweidimensionale Bewegungen über die vertikale Anzeigefläche die Bewegungen eines Maus-Cursors nachbilden können und das Berühren der vertikalen Anzeigefläche kann einen Linken-Maus-Klick simulieren. Zusätzlich können mit unterschiedlichen Endpunkten assoziierte Bewegungen verschiedene Arten von Eingaben erzeugen, wie zum Beispiel Rotations- und Zoom-Befehle.
Was beschrieben wurde sind Ausführungsbeispiele der vorliegenden Erfindung. Es ist jedoch nicht möglich, alle denkbaren Kombinationen der Komponenten oder Methodologien für die Zwecke der Beschreibung der vorliegenden Erfindung darzustellen. Jedoch wird jemand mit üblichen Fähigkeiten auf dem vorliegenden Gebiet erkennen, dass viele weitere Kombinationen und Permutationen der vorliegenden Erfindung möglich sind. Folglich ist beabsichtigt, dass die vorliegende Erfindung auch solche Veränderungen, Modifikationen und Abwandlungen umfasst, die unter den Gedanken und in den Bereich der beigefügten Patentansprüche fallen.

Claims

Ein Gestenerkennungs-Schnittstellensystem mit: einer im Wesentlichen vertikalen Oberfläche, die dafür ausgelegt ist, eine Gestenerkennungsumgebung zu definieren, die auf einem physischen Raum in einem Vordergrund der im Wesentlichen vertikalen Oberfläche basiert; mindestens einer Lichtquelle, die angeordnet ist, um die Gestenerkennungsumgebung zu beleuchten; mindestens zwei Kameras, die dafür ausgelegt sind, eine Vielzahl von Bildersätzen zu erzeugen, die auf der von einem Eingabeobjekt reflektierten Beleuchtung in der Gestenerkennungsumgebung basieren; und einem Controller, der dafür ausgelegt ist, bestimmte Eingabegesten zu erkennen, die auf Veränderungen der relativen Positionen des Eingabeobjekts in jedem der Vielzahl von Bildersätzen basieren, und der ferner dafür ausgelegt ist, um eine mit der bestimmten Eingabegeste assoziierte Geräteeingabe auszulösen.
Das Schnittstellensystem nach Anspruch 1, wobei die mindestens zwei Kameras so positioniert sind, dass eine zentrale Linsenachse von jeder der mindestens zwei Kameras im Wesentlichen parallel zu einer Ebene verläuft, die durch die im Wesentlichen vertikale Oberfläche definiert wird, um die im Wesentlichen vertikale Oberfläche und die Gestenerkennungsumgebung in einer Vielzahl von Bildersätzen zu erfassen.
Das Schnittstellensystem nach Anspruch 1, wobei die mindestens eine Lichtquelle so positioniert ist, dass eine zentrale Beleuchtungsachse der mindestens einen Lichtquelle bezüglich einer mit einem Fußboden, unter der im Wesentlichen vertikalen Oberfläche, assoziierten Normalen einen Einfallswinkel bildet, der ungleich Null ist.
Das Schnittstellensystem nach Anspruch 1, wobei der Controller dafür ausgelegt ist, einen Algorithmus zu implementieren, der in der Vielzahl der Bildersätze mit dem Eingabeobjekt assoziierte Merkmale erkennt.
Das Schnittstellensystem nach Anspruch 4, wobei der Algorithmus dafür ausgelegt ist, um in einem vorgegebenen Koordinatensystem in jedem der Vielzahl von Bildersätzen eine Folge von Mittelpunkten zwischen gegenüberliegenden Kanten der langgestreckten Teile des Eingabeobjekts zu bestimmen, und um die Mittelpunkte in jedem eines ersten Bilds eines Bildersatzes mit den dazugehörigen Mittelpunkten eines zweiten Bildes des Bildsatzes aufeinander zu beziehen, und um Endpunkte, Länge und Neigung der langgestreckten Teile des Eingabeobjekts zu berechnen.
Das Schnittstellensystem nach Anspruch 1, wobei die im Wesentlichen vertikale Oberfläche dafür ausgelegt ist, mit dem Eingabeobjekt interagierende visuelle Inhalte anzuzeigen.
Das Schnittstellensystem nach Anspruch 6, wobei der Controller dafür ausgelegt ist, den visuellen Inhalt als virtuelle Tinte auf den Teilen der im Wesentlichen vertikalen Oberfläche bereitzustellen, die vom Eingabeobjekt berührt werden.
Das Schnittstellensystem nach Anspruch 7, wobei zumindest ein Farbwechsel, ein Stiftbreitenwechsel oder ein Löschen der virtuellen Tinte durch eine entsprechende, mindestens eine zusätzliche vorbestimmte Geste gesteuert wird.
Das Schnittstellensystem nach Anspruch 1, wobei die zumindest eine Lichtquelle mindestens eine Infrarot (IR)-Lichtquelle umfasst, und wobei jede der zumindest zwei Kameras einen IR-Filter umfasst.
Das Schnittstellensystem nach Anspruch 9, wobei der Controller eine automatisierte Kalibrierungseinheit umfasst, die dafür ausgelegt ist, basierend auf einer Anzahl von Parallaxenabständen in zusammengebrachten Sätzen von Bildern des Eingabeobjekts, das mindestens eine vorbestimmte zweidimensionale Position auf der im Wesentlichen vertikalen Oberfläche berührt, das Gestenerkennungs-Schnittstellensystem zu kalibrieren.
Das Schnittstellensystem nach Anspruch 1, wobei die im Wesentlichen vertikale Oberfläche als eine im Wesentlichen vertikale retro-reflektive Oberfläche ausgelegt ist, um den Empfang von den am Eingabeobjekt zu der im Wesentlichen vertikalen Oberfläche reflektierten Beleuchtung durch zumindest eine der mindestens zwei Kameras abzuschwächen.
Ein Verfahren zum Erzeugen von Geräteeingaben, wobei das Verfahren umfasst: Anzeigen von visuellem Inhalt auf einer im Wesentlichen vertikalen Anzeigefläche; Beleuchten einer Gestenerkennungsumgebung, die durch einen physischen Raum im Vordergrund der im Wesentlichen vertikalen Anzeigefläche definiert ist; Erzeugen simulierter Eingaben, die mit dem visuellen Inhalt in der Gestenerkennungsumgebung über mit einem Eingabeobjekt assoziierten Gesten interagieren können; ein im Wesentlichen gleichzeitiges Erzeugen einer ersten Vielzahl von Bildern und einer zweiten Vielzahl von Bildern, die mit dem Eingabeobjekt verbunden sind und auf dem vom Eingabeobjekt reflektierten Licht basieren; Erkennen der mit dem Eingabeobjekt assoziierten Merkmale in jedem der zusammengehörigen Paare der ersten und zweiten Vielzahl von Bildern; Bestimmen einer Vielzahl von dreidimensionalen physischen Positionen des Eingabeobjekts, basierend auf einem relativen Abstand der mit dem Eingabeobjekt assoziierten Merkmale in jedem der zusammengehörigen Paare der ersten und zweiten Vielzahl von Bildern; Bestimmen ob Veränderungen in der Vielzahl der dreidimensionalen physischen Positionen des Eingabeobjekts irgendeiner einer Vielzahl der vorgegebenen Gesten entspricht; und Erzeugen von zumindest einer Geräteeingabe, die auf einer bestimmten Geste der Vielzahl der vorbestimmten Gesten basiert, nachdem bestimmt wurde, dass die Veränderungen in der Vielzahl der dreidimensionalen physischen Positionen des Eingabeobjekts einer bestimmten Geste der Vielzahl von vorbestimmten Gesten entspricht.
Das Verfahren nach Anspruch 12, weiter umfassend: Berühren von mindestens einem vorbestimmten Punkt in dem zweidimensionalen Raum auf der im Wesentlichen vertikalen Anzeigefläche mit einem Endpunkt des Eingabeobjekts; Erzeugen eines ersten und zweiten Kalibrierungsbilds des sich in Kontakt mit dem zumindest einen vorbestimmten Punkt befindenden Eingabeobjekts; und Kalibrierung der dreidimensionalen physischen Positionen des Eingabeobjekts, basierend auf einer Anzahl von Parallaxenabständen zwischen dem Endpunkt des Eingabeobjekts in jedem der ersten und zweiten Kalibrierungsbilder.
Das Verfahren nach Anspruch 12, wobei das Erkennen von mit dem Eingabeobjekt assoziierten Merkmalen umfasst: Erzeugen einer Folge von mit langgestreckten Teilen des Eingabeobjekts assoziierten Punkten in jedem der Vielzahl der ersten und zweiten Bilder.
Das Verfahren nach Anspruch 14, wobei das Bestimmen der Vielzahl der dreidimensionalen physischen Positionen umfasst: zumindest einen Punkt in der Folge der Punkte der ersten Vielzahl von Bildern auf zumindest einen dazugehörigen Punkt in der Folge von Punkten in der dazugehörigen zweiten Vielzahl von Bildern zu beziehen.
Das Verfahren nach Anspruch 14, wobei das Erzeugen einer Folge von Punkten umfasst: Bestimmen der Kanten des Eingabeobjekts in jedem der auf dem von Eingabeobjekt reflektieren Licht basierenden Vielzahl der ersten und zweiten Bilder; Erzeugen einer Folge von Mittelpunkten zwischen den gegenüberliegenden Kanten längs der langgestreckten Teile der Eingabeobjekte, in einem vorbestimmten Koordinatensystem in jedem der Vielzahl der ersten und zweiten Bilder.
Ein Gestenerkennungs-Schnittstellensystem mit: Mittel zum Erzeugen eines Helligkeitskontrasts zwischen reflektiertem Licht und nicht reflektiertem Licht in einer Gestenerkennungsumgebung, die als physischer Raum vor einer im Wesentlichen vertikalen Anzeigefläche definiert ist, wobei das reflektierte Licht von einem Eingabeobjekt reflektiert wird; Mittel zum Erzeugen einer ersten Vielzahl von auf dem Helligkeitskontrast basierenden Bildern des Eingabeobjekts; Mittel zum Erzeugen einer zweiten Vielzahl von auf dem Helligkeitskontrast basierenden Bildern des Eingabeobjekts, wobei die erste Vielzahl von Bildern und die zweite Vielzahl von Bildern eine Vielzahl von zusammengebrachten Bilderpaaren des Eingabeobjekts bilden; Mittel zum Erzeugen einer Folge von mit langgestreckten Teilen des Eingabeobjekts assoziierten Punkten in jedem der Vielzahl der ersten und zweiten Bilder und um zumindest ein Paar von korrespondierenden Punkten in jedem der Vielzahl der zusammengebrachten Bilderpaare des Eingabeobjekts aufeinander zu beziehen; Mittel zum Bestimmen der mit Merkmalen des Eingabeobjekts assoziierten dreidimensionalen physischen Positionsinformation, basierend auf einem relativen Abstand des zumindest einen Paars aufeinander bezogener, zusammengehöriger Punkte in der Vielzahl der zusammengebrachten Bilderpaare des Eingabeobjekts; Mittel zum Übersetzen von mit Merkmalen des Eingabeobjekts assoziierten Änderung in der dreidimensionalen Positionsinformation in eine bestimmte Eingabegeste; und Mittel zum Erzeugen von Geräteeingaben, basierend auf dem Abgleich der bestimmten Eingabegeste mit einer von einer Vielzahl von vorbestimmten Gesten.
Das Schnittstellensystem nach Anspruch 17, wobei das Mittel zum Erzeugen einer Folge von Punkten dafür ausgelegt ist, die Kanten des Eingabeobjekts in jedem der auf dem Helligkeitskontrast basierenden Vielzahl der ersten und zweiten Bilder zu bestimmen, und um eine Folge von Mittelpunkten zwischen gegenüberliegenden Kanten der langgestreckten Teile des Eingabeobjekts in einem vorbestimmten Koordinatensystem in jedem der Vielzahl der ersten und zweiten Bilder zu erzeugen.
Das Schnittstellensystem nach Anspruch 17, wobei die Mittel zum Erzeugen der ersten Vielzahl von Bildern und die Mittel zum Erzeugen der zweiten Vielzahl von Bildern dafür ausgelegt sind, um die erste und zweite Vielzahl von Bildern mit einem Blickwinkel zu erhalten, der im Wesentlichen parallel zu einer durch die im Wesentlichen vertikale Anzeigefläche definierte Ebene ist, um die im Wesentlichen vertikale Anzeigefläche und die Gestenerkennungsumgebung in jedem der ersten und zweiten Vielzahl von Bildern zu erfassen.
Das Schnittstellensystem nach Anspruch 17, weiter umfassend: Mittel zum Kalibrieren der Mittel zum Bestimmen der mit dem Eingabeobjekt assoziierten dreidimensionalen Positionsinformation, basierend auf einer Anzahl von Parallaxenabständen in den zusammengebrachten Bilderpaaren eines mit zumindest einer vorbestimmten zweidimensionalen Position auf der im Wesentlichen vertikalen Anzeigefläche in Verbindung stehenden Endpunkts des Eingabeobjekts.