DE69828912T2 - Hinweisvorrichtung, die das Bild einer Hand verwendet - Google Patents

Hinweisvorrichtung, die das Bild einer Hand verwendet Download PDF

Info

Publication number
DE69828912T2
DE69828912T2 DE69828912T DE69828912T DE69828912T2 DE 69828912 T2 DE69828912 T2 DE 69828912T2 DE 69828912 T DE69828912 T DE 69828912T DE 69828912 T DE69828912 T DE 69828912T DE 69828912 T2 DE69828912 T2 DE 69828912T2
Authority
DE
Germany
Prior art keywords
person
image
processing
information
video camera
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE69828912T
Other languages
English (en)
Other versions
DE69828912D1 (de
Inventor
Kenichi C/O Tech. Labor.Of Takenaka Harakawa
Kenichi C/O Takenaka Corporation Unno
Norio C/O Tech. Lab. Of Takenaka Cor Igawa
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Takenaka Corp
Original Assignee
Takenaka Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Takenaka Corp filed Critical Takenaka Corp
Application granted granted Critical
Publication of DE69828912D1 publication Critical patent/DE69828912D1/de
Publication of DE69828912T2 publication Critical patent/DE69828912T2/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Input (AREA)
  • Image Processing (AREA)

Description

  • HINTERGRUND DER ERFINDUNG
  • Gebiet der Erfindung
  • Die vorliegende Erfindung betrifft eine Hand-Zeigevorrichtung nach dem Oberbegriff des Anspruchs 1. Eine Vorrichtung dieser Art ist aus der JP 08 328 735 bekannt.
  • Beschreibung des Standes der Technik
  • Bekannt ist eine Handzeig-Eingabevorrichtung mit einer Anzeige zum Anzeigen vorbestimmter Information, einer Beleuchtungseinrichtung zum Beleuchten einer Information eingebenden Person, die zur Anzeige gelangt, und mehreren Bildaufnahmeeinrichtungen zum Aufnehmen des Bilds der sich nähernden, Information eingebenden Person aus unterschiedlichen Richtungen, wobei mehrere Bildaufnahmeeinrichtungen Bilder von Situationen aufnehmen, in denen die sich nähernde, Information eingebende Person mit einem Finger oder dergleichen auf eine optionale Stelle der Anzeige zeigt und die die Information eingebende Person gemäß mehreren von der Bildaufnahmeeinrichtung erhaltenen Bildern erkannt wird, die Stelle auf der Anzeige, auf die die Information eingebende Person zeigt, ermittelt wird, auf der bezeichneten Stelle auf der Anzeige ein Cursor oder dergleichen angezeigt wird, und die bezeichnete Stelle auf der Anzeige erkannt wird, wobei sie zu dem Zeitpunkt angeklickt wird, zu dem der Umstand festgestellt wird, daß die die Information eingebende Person eine „Klickaktion" ausgeführt hat durch Anheben eines Daumens, so daß eine vorbestimmte Verarbeitung durchgeführt wird. (Vergleiche zum Beispiel die japanischen Patentanmeldungs-Offenlegungsschriften (JP-A) Nr. 4-271423; 5-19957; 5-324181 oder dergleichen).
  • Da bei der oben beschriebenen Handzeig-Eingabevorrichtung die die Information eingebende Person unterschiedliche Befehle an eine Informationsverarbeitungsvorrichtung und verschiedene Informationen an die Informationsverarbeitungsvorrichtung geben kann, ohne dabei eine Eingabeeinrichtung zu berühren, zum Beispiel eine Tastatur oder eine Maus, besteht die Möglichkeit, den Vorgang unter Einsatz der Informationsverarbeitungsvorrichtung zu vereinfachen.
  • Allerdings befindet sich in der Umgebung, in der die Handzeig-Eingabevorrichtung tatsächlich eingesetzt wird, möglicherweise ein sich von dem zu erkennenden Gegenstand unterscheidender Gegenstand, beispielsweise das Gepäck der die Information eingebenden Person oder Abfall, in der Umgebung der die Information eingebenden Person, die erkannt werden soll. Die Umgebung der die Information eingebenden Person wird von einem von der Beleuchtungseinrichtung abgegebenen Beleuchtungslicht beleuchtet. Wenn sich daher ein fremder Gegenstand außer dem zu erkennenden Gegenstand in der Umgebung der die Information eingebenden Person befindet, so taucht dieser fremde Gegenstand als stark beleuchtetes Objekt in den von der Bildaufnahmevorrichtung aufgenommenen Bildern auf. Damit besteht eine hohe Wahrscheinlichkeit dafür, daß der fremde Gegenstand, also der von dem zu erkennenden Gegenstand verschiedene Gegenstand, fehlerhaft als die die Information eingebende Person erkannt wird.
  • Um diese Falscherkennung der die Information eingebenden Person (im folgenden: Informationseingabeperson) zu vermeiden, muß man die Genauigkeit bei der Erkennung der Informationseingabeperson verbessern. Beispielsweise ist es notwendig, eine komplizierte Bildverarbeitung durchzuführen, beispielsweise für eine Gesamterkennung der Informationseingabeperson durch Einsatz mehrerer Bildmerkmale, zusätzlich zu der Leuchtstärke (beispielsweise eine Musteranpassung oder dergleichen), basierend auf der Umrißlinie der Person, bei der es sich um eines der Bildmerkmale handelt). Hierdurch wird also der Bildprozessor mit der Durchführung der Bildverarbeitung, beispielsweise dem Erkennungsvorgang anhand der aufgenommenen Bilder, stark belastet, so daß erhebliche Zeit bis zur Feststellung des von der Informationseingabeperson gegebenen Befehls vergeht. Um die für die Feststellung des von der Informationseingabeperson gegebenen Befehls erforderliche Zeit zu verringern, ist es notwendig, einen Bildprozessor mit höherer Verarbeitungsgeschwindigkeit einzusetzen. Dies verursacht ein Kostenproblem, da die Gerätekosten ansteigen.
  • Außerdem wurden bisher dreidimensionale Koordinaten eines Merkmalspunkts durch Berechnung anhand der Position des Merkmalspunkts der Informationseingabeperson auf dem aufgenommenen Bild (beispielsweise der Spitze des Zeigefingers der Person oder dergleichen) ermittelt, um hierdurch die Stelle auf der Anzeige festzustellen, auf die die Informationseingabeperson zeigt. Allerdings ist die Berechnungsverarbeitung zum Ermitteln der dreidimensionalen Koordinaten des Merkmalspunkts kompliziert. Aufgrund dieses Umstands wird beträchtliche Zeit benötigt; um den Befehl der Informationseingabeperson in der gleichen Weise zu bestimmen, wie es für den oben erläuterten Fall erforderlich ist.
  • Außerdem wurde bislang der Bewegungsvorgang beim Anheben des Daumens vorab als „Klicken" definiert, wobei die Bewegung des hochgehobenen Daumens allein für sich als Klickvorgang interpretiert wurde. Allerdings ist der Freiheitsgrad dieser Bewegung gering, was den Vorteil hat, daß der Bewegungsvorgang weniger einfach umzusetzen ist. Wenn hingegen andere Bewegungen als die Bewegung des aufgestellten Daumens als „Klicken" nachgewiesen wird, so erweist sich die Verarbeitung zum Nachweisen dieses Klickens als kompliziert und mithin nachteilig, weil relativ lange Zeit vergeht, bis das Klicken festgestellt wird.
  • OFFENBARUNG DER ERFINDUNG
  • Die vorliegende Erfindung wurde im Hinblick auf die obigen Umstände gemacht. Erstes Ziel der Erfindung ist die Schaffung einer Hand-Zeigevorrichtung mit einfachem Aufbau, die in der Lage ist, die Zeit zu verringern, die erforderlich ist für das Ermitteln eines Befehls seitens einer zu erkennenden Person, wobei die Vorrichtung außerdem in der Lage sein soll, den Freiheitsgrad der Bewegung zu steigern, welche die zu erkennende Person zur Abgabe eines Befehls ausführt, ohne lange Zeit für das Ermitteln des Befehls seitens der zu erkennenden Person aufzuwenden.
  • Eine Hand-Zeigevorrichtung gemäß der Erfindung enthält die Merkmale des Anspruchs 1, nämlich eine Beleuchtungseinrichtung zum Beleuchten einer zu erkennenden Person; mehrere Bildaufnahmeeinrichtungen zum Aufnehmen des Bilds der zu erkennenden Person, die von der Beleuchtungseinrichtung beleuchtet wird, aus unterschiedlichen Richtungen; eine Ermittlungseinrichtung, die einen der zu erkennenden Person entsprechenden Bildteil aus mehreren Bildern anhand mehrerer Bilder von Situationen extrahiert, die von den mehreren Bildaufnahmeeinrichtungen aufgenommen wurden, wobei die Situationen kennzeichnend dafür sind, daß die zu erkennende Person entweder auf eine spezielle Stelle oder eine spezielle Richtung zeigt, und zum Ermitteln entweder der Stelle oder der Richtung, in die die zu erkennende Person zeigt; eine erste Detektoreinrichtung zum Extrahieren des Bildteils, der einem vorbestimmten Teil des Körpers der zu erkennenden Person entspricht, aus den mehreren Bildern, und zum Detektieren einer Änderung der Fläche des extrahierten Bildteils, einer Kontur des extrahierten Bildteils und/oder einer Länge des Umrisses des extrahierten Bildteils; und eine Verarbeitungseinrichtung zum Ausführen einer vorbestimmten Verarbeitung, wenn die Änderung von der ersten Detektoreinrichtung erkannt wird.
  • Die vorliegende Erfindung ist ausgestattet mit der ersten Detektoreinrichtung zum Extrahieren des Bildteils, der einem vorbestimmten Teil (zum Beispiel der Hand, dem Arm oder dergleichen) des Körpers der zu erkennenden Person in den mehreren Bildern entspricht, und zum Erkennen einer Änderung entweder in der Fläche des extrahierten Bildteils, der Änderung der Kontur des extrahierten Bildteils oder der Änderung in der Länge der Umrißlinie des extrahierten Bildteils. Die Verarbeitungseinrichtung führt eine vorbestimmte Verarbeitung durch, wenn von der ersten Detektoreinrichtung eine Änderung nachgewiesen wird. Die Fläche, die Kontur und die Länge der Umrißlinie des Bildteils läßt sich relativ einfach ermitteln. Wenn außerdem die zu erkennende Person einen vorbestimmten Körperteil bewegt, ändern sich in nahezu sämtlichen Fällen die Fläche, die Kontur und die Länge des Umrisses und die Länge der Umrißlinie des einem vorbestimmten Teil entsprechenden Bildteils, auch wenn die Bewegung der Person keine vorab definierte Bewegung ist.
  • Da folglich erfindungsgemäß eine Änderung der Fläche, der Kontur oder der Länge der Konturlinie des Bildteils herangezogen wird, ist es möglich, den Freiheitsgrad der Bewegung zu verbessern, die der zu erkennenden Person zur Verfügung steht, um die Verarbeitungseinrichtung anzuweisen, eine vorbestimmte Verarbeitung auszuführen. Diese Bewegung läßt sich auch innerhalb kurzer Zeit erkennen. Damit wird der Effekt erreicht, daß der Befehl seitens der zu erkennenden Person in kurzer Zeit festgestellt werden kann.
  • Außerdem umfaßt ein spezieller Aspekt der Erfindung eine zweite Detektoreinrichtung zum Extrahieren des dem Arm der zu erkennenden Person entsprechenden Bildteils aus den mehreren Bildern, und zum Ermitteln, ob der Arm der zu erkennenden Person gesenkt wird oder nicht, wobei die Verarbeitungseinrichtung den laufenden Zustand fortsetzt, wenn die zweite Detektoreinrichtung ermittelt, daß der Arm der zu erkennenden Person gesenkt wird. Es wird ein Ausführungszustand fortgesetzt, wenn die Verarbeitung durchgefihrt wird, während ein Haltezustand beibehalten wird, wenn die Verarbeitung angehalten wird. Da die zu erkennende Person dabei zwecks kontinuierlicher Ausführung einer gewissen Verarbeitung den Arm nicht angehoben halten muß, kann die Arbeitsbelastung für die zu erkennende Person reduziert werden.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • 1 ist eine perspektivische Ansicht, welche die Umgebung eines Informationseingaberaums veranschaulicht.
  • 2 ist ein Blockdiagramm eines schematischen Aufbaus einer Handzeig-Eingabevorrichtung gemäß der vorliegenden Ausführungsform.
  • 3 zeigt schematisch ein Beispiel der Beziehung zwischen einem Beleuchtungsbereich eines Beleuchters und eines Bildaufnahmebereichs einer Videokamera.
  • 4 ist eine perspektivische Ansicht eines Informationseingaberaums, wobei ein Beispiel einer Markierungsplatte gezeigt ist.
  • 5 ist ein Flußdiagramm einer Initialisierungsverarbeitung für die Information bezüglich einer Gitterpunktstelle.
  • 6 ist ein Flußdiagramm einer Beleuchtungssteuerverarbeitung.
  • 7 ist ein Impulsdiagramm, welches den zeitlichen Ablauf beim Einschalten/Ausschalten der Beleuchter A, B durch die in 6 gezeigte Beleuchtungssteuerung und eines Ausgangssignals (Aufnahme) eines von der Videokamera aufgenommenen Bilds zeigt.
  • 8A und 8B sind Flußdiagramm einer Befehlsbestimmungsverarbeitung.
  • 9 ist eine Seitenansicht des Informationseingaberaums zum Beschreiben der Berechnung der Höhe einer Informationseingabeperson sowie der Position dieser Person auf einer Bodenfläche.
  • 10A ist eine Bildbeleuchtung, die das Bild einer Hand der Informationseingabeperson zeigt, wie es von der Videokamera aufgenommen wird.
  • 10B ist eine Konzeptansicht eines Suchbereichs für den Gitterpunkt zum Bestimmen einer Koordinate eines Merkmalspunkts und der dreidimensionalen Koordinaten des Merkmalspunkts.
  • 11A ist eine Draufsicht auf den Informationseingaberaum zum Erläutern des Feststellens der Position auf der Anzeige, auf die die Informationseingabeperson zeigt.
  • 11B ist eine Seitenansicht des Informationseingaberaums nach 11A.
  • 12A bis 12C sind Bilddarstellungen eines Beispiels für die Bewegung der Informationseingabeperson.
  • 13 zeigt schematisch ein weiteres Beispiel der Beziehung zwischen dem Beleuchtungsbereich des Beleuchters und des Bildaufnahmebereichs der Videokamera.
  • 14 ist ein Flußdiagramm der Beleuchtungssteuerverarbeitung in einer in 13 gezeigten Anordnung.
  • 15 ist ein Impulsdiagramm, welches den zeitlichen Ablauf beim Einschalten/Ausschalten der Beleuchter A, B durch die in 14 gezeigte Beleuchtungssteuerung veranschaulicht.
  • 16 ist eine perspektivische Ansicht eines Aspekts einer Rampenplattform, die auf der Bodenfläche des Informationseingaberaums eingerichtet ist.
  • 17 ist eine perspektivische Ansicht des Informationseingaberaums eines weiteren Beispiels der Markierungsplatte.
  • 18 ist eine perspektivische Ansicht des Informationseingaberaums, die ein Beispiel für die Bewegung einer Markierungsposition durch eine Roboterarmeinheit veranschaulicht.
  • 19 ist ein Flußdiagramm eines weiteren Beispiels der Befehlsbestimmungsverarbeitung.
  • 20 ist ein Flußdiagramm eines weiteren Beispiels der Befehlsbestimmungsverarbeitung.
  • 21 ist ein Flußdiagramm der Verarbeitung zum Einrichten der Klickbewegungsgeschwindigkeit.
  • 22A ist eine bildliche Darstellung zum Beschreiben einer Vorwärts-Klickbewegung.
  • 22B ist eine bildliche Darstellung zum Beschreiben einer Rückwärts-Klickbewegung.
  • 23 ist eine bildliche Darstellung zum Beschreiben einer Datenumwandlung in ein Dummymodell.
  • DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGS-FORMEN
  • Im folgenden werden anhand der begleitenden Zeichnungen Ausführungsformen der Erfindung im einzelnen beschrieben. Wie in 1 gezeigt ist, ist in einer Wandfläche an der Stelle, der eine Informationseingabeperson 10 als zu erkennende Person gemäß der Erfindung zugewandt ist, eine Großbildschirmanzeige 12 eingebaut. Die Anzeige 12 kann aus einer bekannten Anzeigevorrichtung bestehen, zum Beispiel einer Flüssigkristallanzeigevorrichtung (LCD), einer Plasmaanzeige, einer Kathodenstrahlröhre (CRT) und einer Optikfaseranzeige.
  • Die Anzeige 12 ist mit einem Informationsprozessor 14 verbunden, der als Personal-Computer oder dergleichen ausgebildet ist (siehe 2). Der Informationsprozessor 14 ermöglicht die Anzeige unterschiedlicher Arten von Information auf der Anzeigefläche in unterschiedlichen Anzeigeformen, so zum Beispiel in Form einer Zahl, einer Tabelle, eines Zeichens, eines Bildes oder dergleichen. Bei dieser Ausführungsform steht die Informationseingabeperson 10 an der Stelle (im Informationseingaberaum) gemäß 1 vor der Anzeige 12. Die (im folgenden als „Person" abgekürzt bezeichnete) Informationseingabeperson 10 zeigt auf eine Stelle auf der Anzeigefläche der Anzeige 12, auf der unterschiedliche Informationen angezeigt sind, während die eine Klickbewegung ausführt (was im folgenden noch näher erläutert wird), so daß die Person hierdurch unterschiedliche Befehle an den Informationsprozessor 14 geben kann und dementsprechend unterschiedliche Arten einer Verarbeitung ausgeführt werden.
  • Wie in 2 gezeigt ist, ist eine Steuerung 22 einer erfindungsgemäßen Handzeig-Eingabevonichtung 20 an den Informationsprozessor 14 angeschlossen. Die Steuerung 22 enthält eine CPU 22A, einen ROM 22B, einen RAM 22C und eine E/A-Schnittstelle 22D. Diese Elemente sind untereinander über einen Bus verbunden. Der Informationsprozessor 14, ein zur Aktualisierung gespeicherter Inhalte befähigter nicht-flüchtiger Speicher 24, eine Anzeige 26 zum Anzeigen unterschiedlicher Arten von Information und eine Tastatur 28 zum Eingeben unterschiedlicher Befehle und Daten durch eine Bedienungsperson sind mit der E/A-Schnittstelle 22D verbunden.
  • Das Beleuchtungssteuergerät 30 ist außerdem mit der E/A-Schnittstelle 22D der Steuerung 22 verbunden. Mehrere Nahe-Infrarotlicht-Beleuchter 32A und 32B zum Emittieren von Licht mit einer Wellenlänge im nahen Infrarotbereich in Form von Strahlen sind an das Beleuchtungssteuergerät 1 angeschlossen. Wie in 1 gezeigt ist, sind die Nahe-Infrarot-Beleuchter 32A und 32B an unterschiedlichen Stellen über dem Informationseingaberaum angeordnet. Ihre Bestrahlungsbereiche sind derart eingerichtet, daß die Beleuchter 32A und 32B die sich in dem Informationseingaberaum befindliche (vergleiche auch 3) Person 10 aus unterschiedlichen Richtungen beleuchten können. Das Beleuchtungssteuergerät 30 steuert das Einschalten/Ausschalten der Beleuchter 32A und 32B abhängig von den Befehlen seitens der Steuerung 22.
  • An die E/A-Schnittstelle 22D der Steuerung 22 ist ein Aufnahmesteuergerät 34 angeschlossen, und an dieses wiederum sind mehrere Videokameras 36A und 36B angeschlossen, die sich an verschiedenen Stellen über dem Informationseingaberaum befinden (vergleiche 1).
  • Obschon eine Darstellung der Videokamera 36A und 36B weggelassen wurde, enthalten diese einen Flächensensor aus für Licht im nahen Infrarotbereich empfindlichen CCD-Elementen oder dergleichen. Ein Filter, welches ausschließlich Licht mit Wellenlängen im nahen Infrarotbereich durchläßt, ist außerdem auf der Lichteinfallseite eines Abbildungsobjektivs angeordnet, um einfallendes Licht zu einem Bild auf einer Empfangsfläche des flächigen Sensors zu bilden.
  • Wie in 3 gezeigt ist, ist die Videokamera 36A derart orientiert, daß die Person 10, die sich in dem Informationseingaberaum befindet, eine Stelle innerhalb des Bildaufnahmebereichs einnehmen kann. Außerdem ist sie so orientiert, daß das von dem Beleuchter 32A entsprechend der Videokamera 36A emittierte Licht nicht direkt auf das Abbildungsobjektiv trifft, so daß das Zentrum des Bildaufnahmebereichs sich mit dem Zentrum des Bereichs kreuzen kann, der von dem Beleuchter 32A in einer vorbestimmten Höhe gegenüber dem Boden innerhalb des Informationseingabebereichs kreuzen kann. Deshalb wird der Bildaufnahmebereich der Videokamera 36A so eingerichtet, daß der von dem Beleuchter 32A entsprechend der Videokamera 36A ausgeleuchtete Bodenbereich sich außerhalb des Bildaufnahmebereichs befindet. In gleicher Weise ist die Videokamera 36B so orientiert, daß die sich in dem Informationseingaberaum befindliche Person 10 sich innerhalb des Bildaufnahmebereichs befindet, während das von dem der Videokamera 36B entsprechenden Beleuchter 32B abgestrahlte Licht nicht direkt auf das Aufnahmeobjektiv auftrifft und das Zentrum des Bildaufnahmebereichs sich mit der Mitte des Bereichs kreuzen kann, der von dem Beleuchter 32B in einer vorbestimmten Höhe gegenüber dem Boden des Informationseingaberaums beleuchtet wird. Daher ist der Bildaufnahmebereich der Videokamera 36B derart justiert, daß der von dem der Videokamera 36B entsprechenden Beleuchter 32B ausgeleuchtete Bodenbereich sich außerhalb des Bildaufnahmebereichs befinden kann.
  • Auf diese Weise sind die Bildaufnahmebereiche der Videokameras 36A und 36B so eingestellt, daß die von den verschiedenen Beleuchtern entsprechenden Videokameras beleuchteten Bodenbereiche sich außerhalb der Bildaufnahmebereiche befinden können.
  • Außerdem ist an die E/A-Schnittstelle 22D der Steuerung 22 eine Markierungsplatten-Treibereinheit 38 angeschlossen. Wie in 4 gezeigt ist, enthält die Handzeig-Eingabevonichtung 20 eine in der Nähe des Informationseingaberaums angeordnete Markierungsplatte 40, bestehend aus einer Mehrzahl von Markierungen 40A, die derart aufgezeichnet sind, daß sie in Form einer Matrix auf einer transparenten Flachplatte gleichmäßig beabstandet sind. Die Markierungsplatte 40 kann derart bewegen, daß sie quer zu dem Informationseingaberaum in einer Richtung rechtwinklig zur Hauptfläche der Markierungsplatte 40 verschoben ist (Pfeilrichtung A in 4). Die Markierungen 40A sind mit einer Farbe eingefärbt, die auf dem Bild leicht zu erkennen ist (zum Beispiel Rot). Die Markierungsplatten-Treibereinheit 38 ermöglicht ein Bewegen der Markierungsplatte 40 in Pfeilrichtung A in 4 abhängig von einem von der Steuerung 22 kommenden Befehl.
  • Im folgenden wird die Arbeitsweise dieser Ausführungsform beschrieben. Als erstes wird anhand des in 5 gezeigten Flußdiagramms die Initialisierung von Gitterpunktlageninformation während der Installierung der Handzeig-Eingabevorrichtung 20 beschrieben.
  • Im Schritt 100 ermöglicht die Markierungsplatten-Treibereinheit 38 eine Bewegung der Markierungsplatte 40 zu einer vorbestimmten Stelle (einer Stelle, die einem Ende des Bewegungsbereichs der Markierungsplatte 40 entspricht), das heißt zu einer Referenzposition. Beim nächsten Schritt 102 werden die dreidimensionalen Koordinaten (x, y, z) der mehreren Markierungen 40A auf der Markierungsplatte 40 in dem Informationseingaberaum in der derzeitigen Lage der Markierungsplatte 40 berechnet. Im Schritt 104 wird ein Bild des Informationseingaberaums von den Videokameras 36A und 36B mit Hilfe der Bildaufnahmesteuerung 34 aufgenommen. Im Schritt 106 wird das Bild des Informationseingaberaums, welches von der Videokamera 36A aufgenommen wird, von dem Bildaufnahmesteuergerät 34 erfaßt (als Bild A bezeichnet).
  • Im Schritt 108 werden die im Schritt 106 aufgenommenen Markierungen 40A des Bilds A erkannt (extrahiert). Im nächsten Schritte 110 werden die Positionen (XA, YB) sämtlicher erkannter Markierungen 40A des Bilds A berechnet. Im Schritt 112 werden die dreidimensionalen Koordinaten (x, y, z) im Informationseingaberaum für sämtliche Markierungen 40A des Bilds A dazu gebracht, den Positionen (XA, YA) sämtlicher Markierungen 40A im Bild A zu entsprechen, und diese Entsprechung wird innerhalb des Speichers 24 als Gitterpunktlageinformation für die Videokamera 36A abgespeichert.
  • Bei den nachfolgenden Schritten 114 bis 120 erfolgt die Verarbeitung bezüglich der Videokamera 36A in der gleichen Weise, wie es oben für die Schritte 106 bis 112 erläutert wurde. Nämlich: im nächsten Schritt 114 wird das Bild das Informationseingaberaums, welches von der Videokamera 36B aufgenommen wird (als Bild B bezeichnet) über das Bildaufnahmesteuergerät 34 erfaßt. Im Schritt 116 werden die Markierungen 40A in dem Bild B, welches im Schritt 114 aufgenommen wurde, erkannt (extrahiert). In nächsten Schritt 118 werden die Positionen (XB, YB) sämtlicher erkannter Markierungen 40A im Bild B berechnet. Im Schritt 120 werden die dreidimensionalen Koordinaten (x, y, z) im Informationseingaberaum für sämtliche Markierungen 40A im Bild B dazu gebracht, den Positionen (XB, YB) sämtlicher Markierungen 40A im Bild B zu entsprechen, und diese Entsprechung wird in dem Speicher 24 als Gitterpunktlageinformation der Videokamera 36B gespeichert.
  • Im nächsten Schritt 122 wird ermittelt, ob die Markierungsplatte 40 zur Endposition bewegt wurde oder nicht (zu einer Position entsprechend dem entgegengesetzten Ende bezüglich der vorbestimmten Position im Schritt 100 innerhalb des Bewegungshubs der Markierungsplatte 40). Ist die Feststellung im Schritt 122 negativ, geht die Verarbeitung zum Schritt 124 weiter, wo die Markierungsplatten-Treibereinheit 38 der Markierungsplatte 40 ermöglicht, um ein festes Stück (insbesondere um eine Entfernung entsprechend dem Raum zwischen den Markierungen 40A der Markierungsplatte 40) in eine vorbestimmte Richtung bewegt zu werden. Dann kehrt die Verarbeitung zum Schritt 102 zurück.
  • Wie oben beschrieben wurde, werden die Schritte 102 bis 124 solange wiederholt, bis die Markierungsplatte 40 die Endstellung erreicht. Damit werden die mehreren Markierungen 40A auf der Platte 40 zu Positionen oder Stellen entsprechend den mehreren Gitterpunkten (die ihrerseits virtuellen Punkten entsprechen) bewegt, die innerhalb des Informationseingaberaums in einer Gitteranordnung gleichmäßig beabstandet sind. Die Entsprechung zwischen den dreidimensionalen Koordinaten der Gitterpunkte im Informationseingaberaum und deren Positionen auf dem Bild B wird ebenfalls in dem Speicher 24 als Gitterpunktlageinformation für die Videokamera 36B gespeichert.
  • Die durch die oben erläuterte Gitterpunktlageinformations-Initialisierung initialisierte Gitterpunktlageinformation entspricht den Stellen der virtuellen Punkte auf dem Bild. Der Speicher 24 entspricht der Speichereinrichtung gemäß der Erfindung. Da die Markierungsplatte 40 und die Markierungsplatten-Treibereinzeit 38 nur für die oben erläuterte Initialisierung der Gitterpunktlageinformation verwendet wird und nicht für die nachfolgende Verarbeitung, kann man die Markierungsplatte 40 und die Markierungsplatten-Treibereinheit 38 nach dem Initialisieren entfernen.
  • Bezugnehmend auf das in 6 dargestellte Flußdiagramm erfolgt nun die Beschreibung der Beleuchtungssteuerung, die von der Steuerung 22 regelmäßig durchgeführt wird, nachdem die oben erläuterte Initialisierung der Gitterpunktlageinformation stattgefunden hat. Im Schritt 130 schaltet das Beleuchtungssteuergerät 30 den Beleuchter 32A ein und den Beleuchter 32B aus. Im Schritt 132 wird ein Bild des Informationseingaberaums von der Videokamera 36A aufgenommen und anschließend wird das Bild von der Videokamera 36A ausgegeben. Im Schritt 134 wird ermittelt, ob nach Einschalten des Beleuchters 32A eine vorbestimmte Zeitspanne vergangen ist oder nicht. Die Verarbeitung beginnt nicht eher, als bis eine positive Feststellung erfolgt ist.
  • Ist im Schritt 134 eine Bestätigung erfolgt, geht die Verarbeitung weiter zum Schritt 136, wo das Beleuchtungssteuergerät 30 den Beleuchter 32A ausschaltet und den Beleuchter 32B einschaltet. Im Schritt 138 wird ein Bild des Informationseingaberaums von der Videokamera 36B aufgenommen, und das Bild wird dann von der Videokamera 36B ausgegeben. Im Schritt 140 wird festgestellt, ob eine vorbestimmte Zeitspanne nach dem Einschalten des Beleuchters 32A verstrichen ist oder nicht. Die Verarbeitung geht nicht eher, als bis eine Bestätigung erfolgt ist. Anschließend wird nach einer Bestätigung im Schritt 140 die Verarbeitung zum Schritt 130 zurückgeführt.
  • Wie auch in 7 gezeigt ist, ermöglicht die oben beschriebene Beleuchtungssteuerung, daß die Beleuchter 32A und 32B in einem vorbestimmten Zeitintervall abwechselnd einund ausgeschaltet werden. Wenn der Beleuchter 32A eingeschaltet ist, wird das Bild von der Videokamera 36A aufgenommen, und Bilddaten bezüglich des Bilds A, aufgenom men von der Videokamera 36A werden anschließend über die Bildaufnahmesteuerung 34 an die Steuerung 32 geleitet. Wenn der Beleuchter 32B eingeschaltet ist, wird das Bild von der Videokamera 36B aufgenommen, und Bilddaten für das Bild B der Videokamera 36B werden dann über die Bildaufnahmesteuerung 34 an die Steuerung 22 geliefert.
  • Da bei der vorliegenden Ausführungsform die Bildaufnahme mit Hilfe von Licht im nahen Infrarotbereich erfolgt, wird die Beleuchtung des Bildteils entsprechend der Person 10 innerhalb des aufgenommenen Bilds nicht beeinflußt und folglich auch nicht verändert durch eine Änderung der Leuchtdichte auf der Anzeige 12, wenn von dieser sichtbares Licht emittiert wird, und wird auch nicht beeinflußt durch die Farbe der Haut oder der Bekleidung der Person 10. Bei der oben beschriebenen Befehlsbestimmungsverarbeitung kann folglich der der Person 10 entsprechende Bildteil mit einem hohen Maß an Genauigkeit extrahiert werden. Selbst bei einer Leuchtstoffröhre in der Nähe des Informationsaufnahmeraums wird, wenn die Verarbeitung so geschieht, daß Licht mit der Wellenlänge im nahen Infrarotbereich nicht von der Leuchtstoffröhre abgegeben wird, die Verarbeitung von diesem Umstand nicht beeinflußt.
  • Da außerdem die Abgabe von Licht im nahen Infrarotbereich durch die Person 10 nicht wahrgenommen wird, ergibt sich durch das abwechselnde Einschalten und Ausschalten der Beleuchter 32A und 32B kein unangenehmes Gefühl für die Person 10.
  • Nunmehr auf das Flußdiagramm in den 8A und 8B bezugnehmend, wird im folgenden die Befehlsbestimmungsverarbeitung zum Bestimmen des Befehls seitens der Person 10 beschrieben, die von der Steuerung 22 in vorbestimmten Zeitintervallen wiederholt wird, zusammen mit der oben erläuterten Beleuchtungssteuerung.
  • Im Schritt 150 werden mit dem in 7 dargestellten zeitlichen Ablauf die Bilddaten für das Bild A aus der Videokamera 36A und die Bilddaten für das Bild B aus der Videokamera 36B erfaßt. Im nächsten Schritt 152 wird anhand der Bilddaten für die Bilder A und B, die im Schritt 150 aufgenommen wurden, festgestellt, ob die Person 10 sich innerhalb des Informationseingaberaums befindet oder nicht.
  • Wie oben ausgeführt wurde, wird das Bild des Informationseingaberaums von der Videokamera 36A aufgenommen, wenn ausschließlich der Beleuchter 32A eingeschaltet und der Aufnahmebereich der Videokamera 36A so eingestellt ist, daß er außerhalb des Bodenbereichs liegt, der von dem Beleuchter 32A ausgeleuchtet wird. Selbst wenn ein Objekt 50A, was verschieden ist von dem zu erkennenden Subjekt (siehe 3), beispielsweise ein Gepäckstück der Person 10 oder Abfall, innerhalb des von dem Beleuchter 32A ausgeleuchteten Bodenbereichs liegt, wird dieses Objekt 50A, bei dem es sich um einen Fremdgegenstand handelt, welcher nicht erkannt werden soll, nicht im Bildaufnahmebereich der Videokamera 36A liegen. Wenn außerdem ein ebenfalls ein Fremdobjekt darstellendes Objekt 50B in dem von der Videokamera 36A aufgenommenen Bodenbereich liegt (siehe 3) so wird von der Videokamera 36A ein Bild des Objekts 50B als Fremdgegenstand aufgenommen. Da aber das Objekt 50B als Fremdobjekt außerhalb des von dem Beleuchter 32A ausgeleuchteten Bereichs liegt, ist die Leuchtdichte des dem Objekt 50B entsprechenden Bildteils als Fremdobjekt in dem Bild A nur sehr gering.
  • Außerdem wird das Bild im Informationseingaberaum von der Videokamera 36B aufgenommen, wenn ausschließlich der Beleuchter 32B eingeschaltet ist, und der Bildaufnahmebereich für die Kamera 36B wird so eingestellt, daß er außerhalb des Bodenbereichs liegt, der von dem Beleuchter 32B ausgeleuchtet wird. Hierdurch wird selbst dann, wenn das Fremdobjekt 50B auf der Bodenfläche von dem Beleuchter 32B beleuchtet wird, dieses Fremdobjekt 50B nicht in den Bildaufnahmebereich für die Videokamera 36B aufgenommen. Selbst wenn das Objekt 50A als Fremdobjekt im Bereich der Bodenfläche liegt, die von der Videokamera 36B aufgenommen wird, wird das Bild des Objekts 50A als Fremdobjekt von der Videokamera 36B aufgenommen, und damit läßt sich innerhalb des Bildes B derjenige Bildteil erkennen, der dem Fremdobjekt 50A entspricht. Allerdings ist wie im oben erläuterten Fall die Leuchtdichte des dem Fremdobjekt 50A entsprechenden Bildteils sehr gering.
  • Folglich läßt sich in dem vorhergehenden Schritt 152 in einfacher Weise ermitteln, ob die Person 10 sich in dem Informationseingaberaum befindet, beispielweise dadurch, daß festgestellt wird, ob der Bildteil hoher Leuchtdichte vorhanden ist oder nicht, indem fest gestellt wird, daß ein Bereich mit einem vorbestimmten Wert oder einem noch darüber liegenden Wert hoher Leuchtdichte in den Bildern A und B vorhanden ist. Wird im Schritt 152 eine negative Feststellung getroffen, so wird keine Verarbeitung durchgeführt, und der Vorgang der Befehlserkennung wird abgeschlossen.
  • Wenn andererseits im Schritt 152 eine bejahende Feststellung gemacht wird, geht die Verarbeitung zum Schritt 154, der der Bestimmungseinrichtung (Ermittler) gemäß der Erfindung entspricht. Im Schritt 154 wird derjenige Bildteil, der dem Bild voller Länge der Person 10 entspricht, aus den Bildern A und B extrahiert. Der dem Bild voller Länge der Person 10 entsprechende Bildteil läßt sich ebenfalls dadurch in einfacher Weise extrahieren, indem eine kontinuierliche Zone nachgewiesen wird, die sich aus Pixeln mit hoher Leuchtdichte zusammensetzt und eine Flächengröße aufweist, die einem vorbestimmten Wert entspricht oder größer ist.
  • Im Schritt 156 wird die Höhe der Person 10 anhand des Bildteils errechnet, der dem Bild voller Länge der Person 10 entspricht. Wie in 9 gezeigt ist, bezeichnet f die Brennweite des Abbildungsobjektivs der an einem Punkt 0 befindlichen Videokamera, H bezeichnet die Entfernung zwischen einem Schnittpunkt Q einer vertikalen Linie durch den Punkt 0 und die Bodenfläche des Informationseingaberaums verläuft, R bezeichnet den Abstand zwischen dem Punkt Q und einem Punkt P auf dem Boden, wo die Person 10 steht, wobei zwischen dem Punkt P' entsprechen dem Scheitel des Kopfs der Person 10 und dem Punkt P eine Entfernung h als die Höhe der Person 10 definiert ist. Wenn Θ der Winkel zwischen den Punkten POQ ist, θ' der Winkel zwischen den Punkten P'OQ ist, h' die Länge des Bildes der Person auf der Aufnahmefläche des Flächensensors der Videokamera ist, ein Punkt p einen Abbildungspunkt der Aufnahmefläche entsprechend dem Punkt P ist, p' den Abbildungspunkt der Aufnahmefläche entsprechend dem Punkt P' ist, r der Abstand zwischen einem Zentrum o der Aufnahmefläche und dem Punkt p ist, und r' den Abstand zwischen einem Zentrum o der Aufnahmefläche und dem Punkt p' ist, lassen sich die Winkel θ und θ' sowie die Entfernungen r, r' durch folgende Gleichungen (1) bis (4) ermitteln: θ = tan–1(R/H) (1) θ' = tan–1{R/(H – h)} (2) r = fθ (3) r' = fθ' (4)
  • Hierdurch läßt sich die Höhe der Person 10 sowie der Abstand R gemäß folgender Gleichungen (5) und (6) bestimmen: h = H{1 – tan(r/f)/tan(r'f)} (5) R = Htan(r/f) (6)
  • Da der Abstand H und die Brennweite f bereits bekannt sind, werden im Schritt 156 die Abstände r und r' aus entweder dem Bild A oder dem Bild B ermittelt, die von den Videokameras 36A bzw. 36B aufgenommen wurden, und anschließend werden diese Entfernungen r und r' in die Gleichung (5) eingesetzt, wodurch die Höhe h der Person 10 festgestellt werden kann. Im Schritt 156 werden die Entfernungen r aus den Bildern A und B ermittelt, und die ermittelten Entfernungen r werden dann in die Gleichung (6) eingesetzt, so daß die Entfernungen R ermittelt werden, so daß Position (zweidimensionale Koordinaten) der Person 10 auf der Bodenfläche bestimmt wird.
  • Im nächsten Schritt 158 werden die dreidimensionalen Koordinaten (x0, y0, z0) eines Referenzpunkts P0 der Person 10 anhand der Höhe h der Person 10 und der Stellung der Person 10 auf der Bodenfläche, ermittelt im Schritt 156, bestimmt. Beispielsweise kann der Punkt (der Punkt P0 in 11), welcher dem Rücken der Person 10 entspricht, oder ein ähnlicher Punkt als Referenzpunkt P0 verwendet werden. In diesem Fall wird die Höhe (zum Beispiel der Wert z0) des Referenzpunkts P0 entsprechend dem Rücken der Person 10 gegenüber dem Boden abhängig von der Höhe h der Person 10 berechnet. Dann wird die Position (in Form von flächigen Koordinaten) der Person 10 auf dem Boden in die Ebenen-Koordinaten (zum Beispiel die Werte x0 und y0) des Referenzpunkts P0 umge setzt, wodurch sich die dreidimensionalen Koordinaten des Referenzpunkts P0 bestimmen lassen.
  • Im Schritt 159 wird anhand der Formen der Bildteile entsprechend den Bildern voller Länge der Person 10 in den Bildern A und B festgestellt, ob die Person 10 die Zeigebewegung ausführt (die Bewegung zum Zeigen in Richtung auf die Anzeige 12 mit dem Finger oder dergleichen). Da die Richtung der Anzeige 12 aus der Sicht der Person 10 bereits bekannt ist, läßt sich diese Feststellung im Schritt 159 beispielsweise dadurch bewerkstelligen, daß festgestellt wird, ob der in Richtung der Anzeige 12 vorstehende Abschnitt aus der Sicht der Person 10 in der Höhe vorhanden ist, wie sie die Hand der Person 10 einnimmt, wozu der Bildteil entsprechend dem Bild voller Länge der Person 10 verwendet wird.
  • Wenn also die Person 10 ihre Haltung gegenüber der aufrechten stehenden Haltung ändert, wie in 12A gezeigt ist, um eine Haltung einzunehmen, in der die Hand auf die Anzeige 12 gerichtet ist, wie dies aus den 12B und 12C hervorgeht, so läßt sich die Feststellung treffen, daß die Person 10 eine Zeigebewegung ausführt. Erfolgt im Schritt 159 eine negative Feststellung, so wird keine Verarbeitung ausgeführt und der Vorgang der Befehlserkennung wird abgeschlossen. Wenn hingegen im Schritt 159 eine Bejahung erfolgt, so geht die Verarbeitung zum Schritt 160.
  • Im Schritt 160 wird ein Merkmalspunkt PX der Person 10 im Bild A anhand der Bilddaten für das Bild A extrahiert, welches von der Videokamera 36A aufgenommen wurde, und die Position (XA, YA) des Merkmalspunkts PX wird in dem Bild A berechnet. Die der auf die Anzeige 12 weisenden Fingerspitze oder dergleichen entsprechende Punkt läßt sich als Merkmalspunkt PX der Person 10 verwenden. In diesem Fall läßt sich die dazugehörige Berechnung durchführen, indem als Position für den Merkmalspunkt PX diejenige Stelle definiert wird, deren Spitze in dem in Richtung der Anzeige 12 weisenden oder vorstehenden Bereich sich in einer Höhe befindet, die bestimmbar ist als die Höhe der Hand der Person 10 innerhalb des Bildteils, welches das Bild voller Länge der Person 10 betrifft.
  • Wenn also das Bild der Hand der Person 10 von der Videokamera 36A gemäß 10A aufgenommen wird, werden die Koordinaten (XA, YA) des Merkmalspunkts PX gemäß
  • 10B berechnet, um die Position des Merkmalspunkts PX zu bestimmen.
  • Im Schritt 162 werden sämtliche Gitterpunkte, deren Positionen im Bild A innerhalb des Bereichs (eines Bereichs R in 10B) von (XA ± dX, YA ± dY) liegen, anhand der Gitterpunktlageinformation der Videokamera 36A, abgespeichert in dem Speicher 24, recherchiert. Die Größen dX und dY sind definiert anhand des Raums zwischen den Gitterpunkten (des Zwischenraums zwischen den Markierungen 40A), so daß mindestens ein Gitterpunkt oder gar mehrere Punkte extrahiert werden können.
  • Im Rahmen der vorliegenden Ausführungsform wird als Abbildungsobjektiv der Videokamera ein Weitwinkelobjektiv verwendet. Damit wird unter der Annahme konstanter Wert von dX und dY die Beziehung erreicht, daß, je größer der Abstand zwischen Videokamera und den Gitterpunkten wird, desto mehr Gitterpunkte innerhalb des Bereichs (XA ± dX, YA ± dY) liegen, was in einer Verschlechterung der Genauigkeit beim Berechnen der dreidimensionalen Koordinaten des Merkmalspunkts PX führt, wie im folgenden erläutert wird. Folglich werden dX und dY derart eingerichtet, daß ihre Werte sich verkleinern, wenn der Abstand von der Videokamera zu dX und dY in den dreidimensionalen Koordinaten größer wird. Folglich wird der Raum entsprechend (XA ± dX, YA ± dY) in den dreidimensionalen Koordinaten zu einer quadratischen Pyramide geformt, deren Grundfläche sich auf der Seite der Videokamera befindet. In diesem Schritt 162 werden die virtuellen Punkte extrahiert, die sich in einem vorbestimmten Bereich befinden, welcher den Merkmalspunkt auf dem Bild beinhaltet.
  • Im Schritt 164 wird in der gleichen Weise wie im vorausgehenden Schritt 160 der Merkmalspunkt PX der Person 10 im Bild B anhand der Bilddaten für das Bild B, das von der Videokamera 36B aufgenommen wurde, extrahiert, und es wird die Position (XB, YB) des Merkmalpunkts PX auf dem Bild B berechnet. Im Schritt 166 werden in der gleichen Weise wie im vorausgehenden Schritt 162 sämtliche Gitterpunkte, deren Positionen auf dem Bild B im Bereich von (XB ± dX, YB ± dY) anhand der Gitterpunktlageinformation der Videokamera 36B, die im Speicher 24 abgespeichert ist, recherchiert. In diesem Schritt 166 werden auch die virtuellen Punkte extrahiert, die sich innerhalb eines vorbestimmten Bereichs befinden, welcher den Merkmalspunkt auf dem Bild beinhaltet.
  • Im nächsten Schritt 168 werden die gemeinsamen extrahierten Gitterpunkte auf der Grundlage der aus den Bildern A und B in der oben beschriebenen Weise extrahierten Gitterpunkte ermittelt. Durch diese Feststellung werden ausschließlich mehrere Gitterpunkte an der Stelle benachbart zu dem Merkmalspunkt PX im Informationseingaberaum extrahiert. Im Schritt 170 werden die dreidimensionalen Koordinaten der aus den Bildern A und B extrahierten gemeinsamen Gitterpunkte aus der Gitterpunktlageinformation erfaßt.
  • Bei dieser Ausführungsform werden die dreidimensionalen Koordinaten der Merkmalspunkte PX durch Interpolation aus den dreidimensionalen Koordinaten mehrerer Gitterpunkte an der Stelle benachbart zum Merkmalspunkt im Informationseingaberaum berechnet, wie im folgenden erläutert wird (insbesondere wird ein Koordinatenwert der dreidimensionalen Koordinaten des Merkmalspunkts aufgefunden durch ein gewichtetes Mitteln der Koordinatenwerte der dreidimensionalen Koordinaten mehrerer Gitterpunkte). Damit wird vor der Berechnung der dreidimensionalen Koordinaten des Merkmalspunkts PX im nächsten Schritt 172 eine Rate der Interpolation aus den dreidimensionalen Koordinaten der gemeinsamen, aus den Bildern A und B extrahierten Gitterpunkte (ein Gewicht für die Koordinatenwerte der dreidimensionalen Koordinaten der Gitterpunkte) anhand der Positionen in den Bildern A und B für die gemeinsamen, aus den Bildern A und B extrahierten Gitterpunkte ermittelt, außerdem wird die Position (XA, YA) des Merkmalspunkts PX im Bild A und die Position (XB, YB) des Merkmalspunkts PX im Bild B ermittelt. Beispielsweise läßt sich diese Interpolationsrate derart festlegen, daß das Gewicht der Koordinatenwerte der dreidimensionalen Koordinaten der Gitterpunkte an den Stellen benachbart zu den Merkmalspunkten der Bilder A und B erhöht werden kann.
  • Im Schritt 174 werden die dreidimensionalen Koordinaten (XX, YX, ZX) des Merkmalspunkts PX anhand der dreidimensionalen Koordinaten der aus den Bildern A und B extrahierten gemeinsamen Gitterpunkte und anhand der Interpolationsrate, die im Schritt 172 festgelegt wurde, berechnet.
  • Im Schritt 176 wird anhand der dreidimensionalen Koordinaten des Referenzpunkts P0 der Person, die im vorausgehenden Schritt 158 berechnet wurden, und anhand der dreidimensionalen Koordinaten des Merkmalspunkts PX, die im Schritt 174 berechnet wurden, die Richtung einer ausgestreckten virtuellen Linie (vergleiche die in 11 gezeigte virtuelle Linie 54), welche den Referenzpunkt mit dem Merkmalspunkt verbindet, ermittelt als die Richtung, in die die Person 10 zeigt, und die Koordinaten (Ebenen-Koordinaten) des Schnittpunkts (Punkt S in 11) der Ebene, welche die Anzeigefläche der Großbildanzeige 12 enthält, und der virtuellen Linie, werden zur Bestimmung der Stelle berechnet, auf die die Person 10 zeigt.
  • Im nächsten Schritt 178 wird anhand der im Schritt 176 ermittelten Koordinaten festgestellt, ob die Person 10 auf die Anzeigefläche der Großbildanzeige 12 zeigt oder nicht. Wird eine negative Entscheidung getroffen, so wird ein Überwachungsflag (das Flag zum Überwachen der Klickbewegung) im Schritt 180 auf 0 gesetzt, um dadurch den Vorgang der Befehlserkennung abzuschließen. Wenn hingegen im Schritt 178 eine bejahende Feststellung erfolgt, werden die im Schritt 176 ermittelten Koordinaten, welche die Position angeben, auf die die Person 10 zeigt, an den Informationsprozessor 14 ausgegeben. Damit führt der Informationsprozessor 14 die Verarbeitung durch, beispielsweise ermöglicht er die Anzeige eines Cursors an einer vorbestimmten Stelle, die als diejenige Stelle ermittelt wurde, auf die die Person 10 auf der Anzeigefläche der Anzeige 12 zeigt.
  • Aus dem nächsten Schritt 184 und den daran anschließenden Schritten wird ermittelt, ob die Person 10 eine Klickbewegung ausführt oder nicht. Bei dieser Ausführungsform ist die Klickbewegung definiert als jede Bewegung der Hand der Person (zum Beispiel ein Beugen oder Drehen eines Gelenks, ein Beugen und Ausstrecken eines Fingers oder dergleichen). Im Schritt 184 wird der Bildteil entsprechend der Hand der Person 10 im Bild A extrahiert, so daß die Fläche des entsprechenden Bildteils berechnet wird, und der der Hand der Person 10 entsprechende Bildteil im Bild B wird ebenfalls extrahiert, so daß die Fläche entsprechend dem Bildteil berechnet wird.
  • Im nächsten Schritt 186 wird festgestellt, ob das Überwachungsflag den Wert 1 hat oder nicht. Da ein negatives Ergebnis im Schritt 186 bedeutet, daß die Person 10 nicht auf die Anzeigefläche der Anzeige 12 gezeigt hat, während die Verarbeitung zur Befehlserkennung ablief, ist im Schritt 188 das Überwachungsflag auf 1 gesetzt. Im Schritt 190 wird die Fläche des der Hand der Person 10 entsprechenden Bildteils, errechnet im Schritt 184, innerhalb des RAM 22C abgespeichert, um später die Klickbewegung festzustellen, und darin wird der Vorgang der Befehlserkennung abgeschlossen.
  • Da andererseits eine Bejahung im Schritt 186 bedeutet, daß die Person 10 kontinuierlich auf die Anzeigefläche der Anzeige 12 zeigt, geht die Verarbeitung zum Schritt 192 weiter. Im Schritt 192 wird die im Schritt 184 berechnete Fläche mit der im RAM 22C oder dergleichen abgespeicherten Fläche verglichen (mit der Fläche, die berechnet wurde, als die Person 10 damit begann, auf die Fläche der Anzeige 12 zu zeigen, das heißt zu der Zeit, zu der das Überwachungsflag im Schritt 188 auf 1 gesetzt wurde), wodurch ermittelt wird, ob die Fläche des der Hand der Person 10 entsprechenden Bildteils über einen vorbestimmten Wert hinaus geändert wurde oder nicht. Eine negative Entscheidung im Schritt 192 bedeutet, daß die Person 10 keine Klickbewegung ausgeführt hat, so daß der Vorgang der Befehlserkennung ohne jede Verarbeitung abgeschlossen wird.
  • Wenn die Person 10 das Handgelenk beugt oder dreht (zum Beispiel das Handgelenk aus der in 12B gezeigten Haltung in die Stellung nach 12C ändert, oder umgekehrt) beugt oder streckt sie einen Finger aus, demzufolge sich die Flächen der Bildteile, die der Hand der Person 10 in den Bildern A und B entsprechen, sich über einen vorbestimmten Wert hinaus ändern, wodurch eine Bestätigung im Schritt 192 erfolgt. Wenn dies geschieht, wird eine Information mit der Bedeutung „Klicken erkannt" im Schritt 194 an den Informationsprozessor 14 ausgegeben. Im nächsten Schritt 196 wird das Überwachungsflag auf 0 gesetzt, und der Vorgang der Befehlserkennung wird abgeschlossen.
  • Somit bestimmt der Informationsprozessor 14, daß eine vorbestimmte Stelle auf der Fläche der Anzeige 12 angeklickt wird, auf die die Person 10 zeigt (wobei die Position den Eingangskoordinaten im Schritt 182 entspricht). Dann führt der Informationsprozessor 12 eine Verarbeitung ansprechend auf die Information aus, die an einer vorbestimmten Stelle auf der Fläche der Anzeige 12 dargestellt wird.
  • Die Steuerung 22 der Handzeig-Eingabevorrichtung 20 wiederholt den oben beschriebenen Vorgang des Befehlserkennens in vorbestimmten Zeitintervallen, wodurch es möglich ist, im Echtzeitbetrieb die Stelle auf der Anzeigefläche der Anzeige 12 zu erkennen, auf die die Person 10 zeigt, und außerdem festzustellen, ob eine Klickbewegung ausgeführt wird oder nicht. Damit sind unterschiedliche Einsatzmöglichkeiten gegeben, die im folgenden beschrieben werden, indem der Vorgang der Befehlserkennung kombiniert wird mit der Ausführung der Verarbeitung durch den Informationsprozessor 14.
  • Beispielsweise ist die Anzeige 12 an der Wandfläche einer Untergrund-Einkaufstraße oder dergleichen angebracht, und auf der Anzeige 12 wird von dem Informationsprozessor 14 eine Produktanzeige oder dergleichen dargestellt. In diesem Fall ermöglicht die Handzeig-Eingabevorrichtung 20 gemäß der vorliegenden Ausführungsform eine interaktive Kommunikation mit einem Benutzer, beispielsweise in der Form, daß ein Bild angezeigt wird, welches ein spezielles Produkt im einzelnen darstellt, und zwar ansprechend auf eine Anweisung seitens des Benutzers oder Betrachters (der hier vereinfacht als Person bezeichneten Informationseingabeperson). Besitzt der Benutzer außerdem eine vorab bezahlte Karte, so kann der Benutzer mit Hilfe dieser Karte das Produkt kaufen und bezahlen.
  • Beispielsweise ist die Anzeige 12 am Eingang eines Gebäudes installiert, und auf der Anzeige 12 wird von dem Informationsprozessor 14 eine Informationskarte zur Anzeige gebracht, die durch das Gebäude führt. In diesem Fall ermöglicht die Handzeig-Eingabevorrichtung 20 dieser Ausführungsform eine interaktive Kommunikation mit dem Benutzer beispielsweise derart, daß ein Bild dargestellt wird, welches diejenige Stelle innerhalb des Gebäudes im einzelnen zeigt, die der Benutzer besuchen möchte, oder in der Weise, daß ein Weg zu dem von dem Benutzer angestrebten Ort ansprechend auf eine Anweisung seitens des Benutzers (der Person) dargestellt wird.
  • Grundsätzlich werden in einen sogenannten Reinraum keine Betätigungsmanuals oder andere handbetätigten Einrichtungen getragen. Allerdings kann beispielsweise die Anzeige 12 außerhalb des Reinraums angeordnet werden, so daß sie vom Inneren des Reinraums aus einsehbar ist, wobei die Betriebsinhalte und andere Dinge auf der Anzeige 12 ansprechend auf die Anweisung seitens der Bedienungsperson im Reinraum angezeigt werden, indem von der Handzeig-Eingabevorrichtung 20 Gebrauch gemacht wird, so daß eine interaktive Kommunikation zwischen der Innenseite und dem Außenbereich des Reinraums möglich ist und die Nutzungsintensität des Reinraums verbessert wird.
  • Außerdem sind folgende Anwendungen möglich: der Großbildschirm 12, die Handzeig-Eingabevorrichtung 20 und der Informationsprozessor 14 können in einem Vergnügungspark als Spielmaschine fungieren. Bei der Präsentation im Verlauf einer Konferenz können Erläuterungen auf der Anzeige 12 dargestellt werden, und man kann auf eine optionale Stelle auf der Fläche der Anzeige 12 zeigen.
  • Im Zuge der obigen Beschreibung wird der Bildaufnahmebereich der Videokamera 36A so eingestellt, daß der Bereich der Bodenfläche, der von dem Beleuchter 32A ausgeleuchtet wird, sich außerhalb des Bildaufnahmebereichs der Videokamera 36A befindet, während der Bildaufnahmebereich der Videokamera 36B so eingestellt ist, daß der von dem Beleuchter 32B ausgeleuchtete Bodenbereich sich außerhalb des Bildaufnahmebereichs der Videokamera 36B befindet. Die Aufnahme des Bilds erfolgt durch die Videokamera 36A dort, wo ausschließlich der Beleuchter 32A eingeschaltet ist, während die Bildauf nahme von der Videokamera 36B nur bei ausschließlich eingeschaltetem Beleuchter 32B erfolgt. Obschon die Bilder A und B, von denen die der Person 10 entsprechenden Bildteile in einfacher Weise extrahiert werden, auf diese Weise aufgenommen werden, ist die Erfindung nicht auf dieses Beispiel beschränkt. Selbst wenn der Bereich des Bodens, der von dem Beleuchter 32 beleuchtet wird, sich innerhalb des Bildaufnahmebereichs der Videokamera befindet, kann man Bilder aufnehmen, aus denen die der Person 10 entsprechenden Bildteile in einfacher Weise extrahiert werden können.
  • Bei dem in 13 dargestellten Beispiel enthält der Aufnahmebereich einer Videokamera 36 den von dem Beleuchter 32A ausgeleuchteten Bodenbereich, außerdem den von dem Beleuchter 32B ausgeleuchteten Bodenbereich. Das Objekt 50A wird als Fremdobjekt von dem Beleuchter 32A beleuchtet, und das Fremdobjekt 50B wird von dem Beleuchter 32B beleuchtet, und beide Fremdobjekte werden von der Videokamera 36 erfaßt. In solchen Fällen kann die in 14 dargestellte Beleuchtungssteuerung durchgeführt werden.
  • Bei der in 14 dargestellten Beleuchtungssteuerung wird im Schritt 250 der Beleuchter 32A eingeschaltet und der Beleuchter 32B ausgeschaltet. Dann wird im Schritt 250 ein Bild des Informationseingaberaums von der Videokamera 36 aufgenommen. Im Schritt 254 werden die von der Videokamera 36 ausgegebenen Bilddaten (das von den Bilddaten dargestellte Bild wird als erstes Bild bezeichnet) aufgenommen und in dem RAM 22C abgespeichert. Im Schritt 256 wird ermittelt, ob nach dem Einschalten des Beleuchters 32A eine vorbestimmte Zeitspanne T verstrichen ist oder nicht, bis zum Verstreichen der Zeit T wird keine Verarbeitung durchgeführt. Erfolgt im Schritt 256 eine Bejahung, geht die Verarbeitung zum Schritt 258, in welchem der Beleuchter 32B ein- und der Beleuchter 32A ausgeschaltet wird, nachdem eine vorbestimmte Zeit t0 nach Einschalten des Beleuchters 32B verstrichen ist (man beachte, daß t0 < T; vergleiche 15).
  • Im nächsten Schritt 260 wird von der Videokamera 36 ein Bild des Informationseingaberaums aufgenommen. Im Schritt 262 werden die von der Videokamera 36 ausgegebenen Bilddaten (das entsprechende Bild wird dann als zweites Bild bezeichnet) aufgenommen.
  • Im Schritt 264 wird der untere Leuchtdichtewert der Leuchtdichtewerte eines gewissen Pixels in dem ersten und dem zweiten Bild anhand der Bilddaten ausgewählt, welche für das erste Bild stehen und in dem RAM 22C gespeichert sind, Schritt 254, und die Bilddaten für das zweite Bild werden im Schritt 262 aufgenommen. Der ausgewählte Leuchtdichtewert dient als Leuchtdichtewert für das Pixel. Diese Verarbeitung wird für sämtliche Pixel durchgeführt, wodurch neue Bilddaten erzeugt und diese erzeugten Bilddaten ausgegeben werden.
  • Da bei dieser Beleuchtungssteuerung gemäß 15 die Zeitspanne des eingeschalteten Beleuchters 32A sich mit der Einschaltzeit des Beleuchters 32B während einer vorbestimmten Zeit t0 überlappt, wird die Informationseingabeperson 10 jederzeit beleuchtet. Andererseits wird gemäß 13 das Fremdobjekt 50A nur bei eingeschaltetem Beleuchter 32A beleuchtet, und das Fremdobjekt 50B wird nur bei eingeschaltetem Beleuchter 32B beleuchtet. Durch die Verarbeitung im Schritt 262 ist es also möglich, ein Bild zu erhalten, in welchem nur der der Person 10 entsprechende Bildteil eine hohe Leuchtdichte (Luminanz) aufweist, nämlich das Bild, aus welchem der der Person 10 entsprechende Bildteil leicht extrahiert werden kann (oder die entsprechenden Bilddaten).
  • Im nächsten Schritt 266 wird festgestellt, ob eine vorbestimmte Zeit T nach dem Einschalten des Beleuchters 32B verstrichen ist. Bis zum Verstreichen der Zeit T wird keine Verarbeitung durchgeführt. Erfolgt im Schritt 266 eine Bejahung, so geht die Verarbeitung zum Schritt 268, in welchem der Beleuchter 32A eingeschaltet und der Beleuchter 32B nach Verstreichen einer Zeitspanne t0 nach dem Einschalten des Beleuchters 32A ausgeschaltet wird. Dann kehrt die Verarbeitung zum Schritt 252 zurück.
  • Zur vereinfachten Beschreibung ist in 13 nur eine einzige Videokamera 36 dargestellt, und ausschließlich die Verarbeitung für diese einzelne Videokamera 36 ist in 14 veranschaulicht. Aber selbst wenn mehrere Videokameras 36 zum Aufnehmen des Informationseingaberaums aus unterschiedlichen Richtungen vorhanden sind, wird die oben beschriebene Verarbeitung für jede Videokamera 36 ausgeführt, so daß es möglich ist, die Bilder zu erhalten, aus denen die der Person 10 entsprechenden Bildteile einfach extrahiert werden können.
  • Im Rahmen der in 14 dargestellten Bildsteuerung werden die Bilddaten synchron mit dem zeitlichen Ablauf des Einschaltens und Ausschaltens der Beleuchter 32A und 32B aufgenommen, und zwar ausschließlich während der Zeitspanne, während der der Beleuchter 32A oder 32B eingeschaltet ist. Allerdings werden unabhängig vom zeitlichen Ablauf des Einschaltens und Ausschaltens der Beleuchter 32A und 32B die Bilddaten in einer Zeitspanne von 1/ganzer Teil der Zeitspanne T (14 und 15) aufgenommen, so daß die Verarbeitung im Schritt 264 in einer Periode von 2 X T durchgeführt werden kann.
  • Anstatt im vorhergehenden Schritt 264 den niedrigeren Leuchtdichtewert für jedes Pixel auszuwählen, kann auch zwischen den Zyklen eine Überlappungszeit t0 eingefügt sein, während der die Beleuchter 32A und 32B abwechselnd in festen Zyklen eingeschaltet werden (wodurch das Verhältnis der Zeitspanne des Einschaltens jedes Beleuchters 32A und 32B 50 + a % beträgt, wobei a die Überlappungszeitspanne bedeutet). Für jedes Pixel kann die durchschnittliche Leuchtdichte in einem Einschaltzyklus der Beleuchter 32A und 32B als die Leuchtdichte jedes Pixels verändert werden. Alternativ kann zur Änderung der Leuchtdichte jedes Pixels in einem Einschaltzyklus der Beleuchter 32A und 32B ausschließlich die Gleichstromkomponente der Änderung in der Leuchtdichte mit Hilfe eines Tiefpaßfilters, einer schnellen Fouriertransformation oder dergleichen extrahiert werden, wodurch der Leuchtdichtewert entsprechend der extrahierten Gleichstromkomponente der Leuchtdichteänderung als Leuchtdichtewert für jedes Pixel verwendet werden kann. Auch in dem oben geschilderten Fall wird der relativ hohe Leuchtdichtewert als Leuchtdichtewert für das Pixel entsprechend der Person 10 verwendet, die von dem Beleuchter 32A oder 32B während eines Einschaltzyklus dieser Beleuchter immer beleuchtet wird. Auf diese Weise ist es möglich, ein Bild zu gewinnen, aus dem der der Person 10 entsprechende Bildteil einfach extrahiert werden kann.
  • Um ein Bild zu gewinnen, aus dem der Person 10 entsprechende Bildteil einfach extrahiert werden kann, kann gemäß 16 eine Rampenplattform 58 auf dem Boden des Informationseingaberaums eingerichtet werden. Die Rampenplattform 58 enthält eine schräge Fläche 58A, die so ausgebildet ist, daß sie die den Informationseingaberaum betretende Person 10 umgibt. Auf diese Weise verhindert zum Beispiel selbst dann, wenn die Person 10 mit Gepäck oder dergleichen in den Informationseingaberaum eintritt, die Plattform 58, daß die Person 10 Gepäck oder dergleichen weitertransportiert, so daß das Gepäck sich außerhalb des Bildaufnahmebereichs der Videokamera 36 befindet. Das Vorhandensein des Bildteils entsprechend einem Fremdobjekt, beispielsweise eines Gepäckstücks der Person 10, innerhalb des von der Videokamera 36 aufgenommenen Bilds wird also dargestellt und damit ist es möglich, ein Bild zu gewinnen, aus dem der Person 10 entsprechende Bildteil einfach extrahierbar ist.
  • Wenn ein Fremdobjekt, beispielsweise ein kleines Stück Abfall oder Staub um die Person 10 herum vorhanden ist, kann ein Gebläse oder dergleichen im Bereich der Person 10 angeordnet sein, um einen Luftstrom zu erzeugen, damit das Fremdobjekt von dem Luftstrom fortgetragen wird. Alternativ kann ein Speichertank mit gespeichertem Wasser oder dergleichen um die Person 10 herum angeordnet werden, wobei der Tank kreisförmige Form hat, so daß Wasser oder eine andere Flüssigkeit in dem Speichertank zirkuliert. Mit einem solchen Aufbau ist es ebenfalls möglich, zu verhindern, daß ein Fremdobjekt im Bereich der Person 10 erkannt wird.
  • Obschon gemäß obiger Beschreibung die Gitterpunktlageinformation mit Hilfe der Markierungsplatte 40, bestehend aus zahlreichen Markierungen 40A, die so aufgezeichnet sind, daß sie die Form einer Matrix mit gleichen Abständen auf einer transparenten flachen Platte haben, erstellt wird, ist die Erfindung nicht auf dieses Beispiel beschränkt. Wie in 17 gezeigt ist, kann eine Markierungsplatte 62 verwendet werden, bei der aus zahlreichen lichtemittierenden Bauelementen 62A, beispielsweise Leuchtdioden, bestehende Markierungen in Form einer Matrix auf einer transparenten flachen Platte angeordnet sind.
  • In diesem Fall wird bei der Initialisierung der Gitterpunktlageinformation zu jeweils einer Zeit ein lichtemittierendes Bauelement 62A sequentiell eingeschaltet. Immer dann, wenn ein Bauelement 62A eingeschaltet wird, werden die dreidimensionalen Koordinaten des eingeschalteten lichtemittierenden Bauelements 62A errechnet. Von den Videokameras 36A und 36B wird ein Bild des Informationseingaberaums aufgenommen. Es wird die Lage des lichtemittierenden Bauelements 62A in den Bildern A und B berechnet. Die dreidimensionalen Koordinaten des Bauelements 62A werden in Übereinstimmung gebracht mit der Lage des lichtemittierenden Bauelements 62A in den Bildern A und B. Diese Entsprechung wird als Gitterpunktlageinformation in dem Speicher 24 abgelegt. Nachdem sämtliche lichtemittierenden Bauelemente 62A der Markierungsplatte 62 eingeschaltet wurden, wird die Markierungsplatte 62 von der Markierungsplattentreibereinheit 38 um ein festes Stück bewegt. Die obige Verarbeitung muß dann lediglich wiederholt werden.
  • Wie in 18 gezeigt ist, können die Markierungsplatte 40 und die Markierungsplatte 62 durch eine Roboterarmeinheit 66 ersetzt werden, die in der Lage ist, eine am Ende eines Arms 66A angebrachte Hand 66B in eine optional wählbare Position innerhalb des Informationseingaberaums zu bringen, wobei die Markierung sich zusammensetzt aus einem lichtemittierenden Element 68 an der Hand 66B. In diesem Fall wird bei der Initialisierung der Gitterpunktlageinformation das lichtemittierende Bauelement 68 eingeschaltet und in Stellungen bewegt, die zahlreichen Gitterpunkten entsprechen und in der Gitteranordnung innerhalb des Informationseingaberaums konstant beabstandet sind. Bei jeder Anordnung des lichtemittierenden Bauelements 68 in der jeweiligen Position werden die dreidimensionalen Koordinaten des Bauelements 68 berechnet. Das Bild des Iriformationseingaberaums wird von den Videokameras 36A und 36B aufgenommen. Es wird die Position des lichtemittierenden Bauelements 68 in den Bildern A und B errechnet. Die dreidimensionalen Koordinaten des lichtemittierenden Bauelements 68 werden dann in Entsprechung gebracht zu der Position des lichtemittierenden Bauelements 68 in den Bildern A und B. Diese Entsprechung muß dann nur noch in dem Speicher 24 als Gitterpunktlageinformation gespeichert werden.
  • Anstatt die Markierungen (die Markierungen 40A, die lichtemittierenden Bauelemente 62A oder das lichtemittierende Bauelement 68) in den den mehreren gleichmäßig in der Gitteranordnung des Informationseingaberaums verteilten Gitterpunkten entsprechenden Positionen anzuordnen, indem die Markierungsplatte 40, die Platte 62, der Roboterarm 66 oder dergleichen positioniert werden, wie es oben erläutert wurde, können die Markierungen von einer Bedienungsperson in den den mehreren Gitterpunkten entsprechenden Positionen eingestellt werden, um dann von dieser jeweiligen Situation ein Bild aufzunehmen, so daß die Initialisierung der Gitterpunktlageinformation anschließend automatisch erfolgt.
  • Die in den 17 und 18 dargestellte Markierungsplatte kann auch eingesetzt werden mit mindestens einer Videokamera und mehreren Leuchten, wie in 13 gezeigt ist.
  • Bei dem in den 8A und 8B dargestellten Befehlserkennungsablauf werden, wenn die Person 10 keine Zeigebewegung ausführt (bei einer negativen Feststellung im Schritt 159) die Koordinaten der Stelle auf der Anzeigefläche der Anzeige 12, auf die die Person 10 zeigt, nicht berechnet, und folglich werden die Koordinaten nicht an den Informationsprozessor 14 gegeben. Wenn also die Person 10 keine Zeigebewegung ausführt, wird auch kein Cursor oder dergleichen auf der Anzeige 12 dargestellt. Damit der Cursor oder dergleichen aber auf der Anzeige 12 dargestellt wird, muß die Person 10 dauernd auf eine gewünschte Stelle zeigen, auf der dann der Cursor oder dergleichen angezeigt wird. Dies führt in nachteiliger Weise zu einer erheblichen Belastung für die Person 10.
  • Aus diesem Grund läßt sich die in den 8A und 8B dargestellte Befehlserkennungsprozedw ersetzen durch die in 19 dargestellte Befehlserkennungsprozedur. Bei dieser Prozedur wird wie in den Schritten 150 und 152 der in den 8A und 8B dargestellten Befehlserkennungsprozedur die Bilddatenausgabe seitens der Videokameras 36A und 36B im Schritt 230 aufgenommen, anschließend wird anhand der aufgenommenen Bilddaten im nächsten Schritt 232 festgestellt, ob sich die Person 10 innerhalb des Informationseingaberaums befindet oder nicht.
  • Erfolgt eine negative Entscheidung, so geht die Verarbeitung weiter zum Schritt 280. Im Schritt 280 wird festgestellt, ob ein Präsenz-Flag den Wert 1 hat (das Flag gibt an, daß die Person 10 sich in dem Informationseingaberaum befindet). Da der Anfangswert des Präsenz-Flags 0 ist, wird beim ersten Mal im Schritt 280 eine negative Feststellung getroffen, so daß die Befehlserkennung ohne jegliche Verarbeitung beendet wird. Wenn die Person sich nicht in dem Informationseingaberaum befindet, wird von dem Informationsprozessor 14 auf der Anzeige 12 ein attraktives Bild angezeigt (das Bild soll in der Nähe befindliche Personen in den Informationseingaberaum locken).
  • Wenn hingegen die Person 10 sich in dem Informationseingaberaum befindet, erfolgt im Schritt 232 eine bejahende Entscheidung, und die Verarbeitung geht weiter zum Schritt 234, in welchem festgestellt wird, ob das Präsenz-Flag den Wert 0 hat. Erfolgt im Schritt 234 eine bejahende Feststellung, so geht der Prozeß weiter zum Schritt 236, in welchem der Informationsprozessor 14 darüber informiert wird, daß sich die Person in dem Informationseingaberaum befindet, demzufolge der Informationsprozessor 14 das auf der Anzeige 12 dargestellte Bild von dem attraktiven Bild zu einem Anfangsbild wechselt (zum Beispiel zu einer Produktwerbung, wobei das Bild dann eine Produktliste oder dergleichen wiedergibt).
  • Da im nächsten Schritt 238 die Person sich in dem Informationseingaberaum aufhält, wird das Präsenz-Flag auf 1 gesetzt, ein Befehlsflag (das Flag, welches angibt, daß die Person 10 auf die Anzeigefläche der Anzeige 12 zeigt) und das Überwachungsflag werden auf 0 gesetzt, und dann geht die Verarbeitung zum Schritt 240. Erfolgt im Schritt 234 eine negative Feststellung, das heißt, wenn die die Information eingebende Person weiterhin in dem Informationseingaberaum verbleibt, nachdem zuvor die Befehlserkennungsprozedur ausgeführt wurde, so geht die Verarbeitung weiter zum Schritt 240, ohne daß in den Schritten 236 und 238 irgendeine Verarbeitung stattfindet.
  • Im Schritt 240 werden in der gleichen Weise wie in den Schritten 154 bis 158 des in den 8A und 8B dargestellten Flußdiagramms die dem Bild voller Länge der Person 10 entsprechenden Bildteile aus den von den Videokameras 36A und 36B aufgenommenen Bildern extrahiert, und es wird die Höhe h sowie die Position auf dem Boden der Person 10 berechnet, wodurch die dreidimensionalen Koordinaten des Referenzpunkts der Person 10 bestimmt werden. Im nächsten Schritt 242 wird in der gleichen Weise wie im Schritt 159 des in 8A und 8B gezeigten Flußdiagramms ermittelt, ob die Person 10 eine Zeigebewegung ausführt oder nicht. Wird im Schritt 242 eine negative Feststellung getroffen, so wird im Schritt 270 ermittelt, ob das Befehlsflag den Wert 1 hat oder nicht. Wird eine negative Entscheidung im Schritt 270 getroffen, so wird der Befehlserkennungsvorgang abgeschlossen.
  • Wenn hingegen die Person 10 ihre aufrechte Haltung gemäß 12A ändert in eine Stellung, in der mit der Hand auf die Anzeige 12 gezeigt wird, wie dies in den 12B oder 12C gezeigt ist, so wird im Schritt 242 eine bejahende Feststellung getroffen, und die Verarbeitung geht zum Schritt 244. Im Schritt 244 wird in der gleichen Weise wie in den Schritten 160 bis 176 des in den 8A und 8B gezeigten Flußdiagramms eine Ermittlung der dreidimensionalen Koordinaten des Merkmalspunkts der Person 10 durch Berechnen ausgeführt, und anschließend wird die Stelle berechnet, auf die die Person 10 zeigt.
  • Im Schritt 246 wird festgestellt, ob die Person auf die Fläche der Anzeige 12 zeigte oder nicht. Wird im Schritt 246 eine negative Entscheidung getroffen, geht die Verarbeitung zum Schritt 270. Bei einer positiven Entscheidung im Schritt 246 wird im Schritt 247 das Zeiger-Flag auf 1 gesetzt. Dann werden im Schritt 248 die Koordinaten derjenigen Stelle auf der Fläche der Anzeige 12, auf die die Person 10 zeigt, an den Informationsprozessor 14 gegeben, und diese Koordinaten werden in dem RAM 22C oder dergleichen gespeichert. Auf diese Weise ermöglicht der Informationsprozessor 14 dem Cursor oder dergleichen, an der Stelle auf der Fläche der Anzeige 12 zu erscheinen, auf die die Person 10 zeigt.
  • Die Verarbeitung in den Schritten 250 bis 262 wird in der gleichen Weise ausgeführt wie diejenige in den Schritten 184 bis 196 des Flußdiagramms nach 8A und 8B, wodurch die Klickbewegung nachgewiesen wird. Derjenige Bildteil, der der Hand der Person 10 in dem Bild entspricht, wird extrahiert, damit dieser Bereich berechnet wird (Schritt 250) und außerdem ermittelt wird, ob das Überwachungsflag den Wert 1 hat oder nicht (Schritt 252). Bei einer negativen Feststellung im Schritt 252 wird das Überwachungsflag auf 1 gesetzt (Schritt 254). Der zuvor berechnete Flächenbereich des der Hand der Person entsprechenden Bildteils wird in dem Speicher abgespeichert (Schritt 256), und die Befehlserkennungsprozedur wird beendet.
  • Wenn im Schritt 242 eine Bestätigung erfolgt, wird die im Schritt 250 berechnete Fläche mit der in dem RAM 22C oder dergleichen abgespeicherten Fläche verglichen, wodurch ermittelt wird, ob die Fläche des der Hand der Informationseingabeperson 10 entsprechende Bildteil sich über einen vorbestimmten Wert hinaus geändert hat oder nicht (Schritt 258). Erfolgt im Schritt 258 eine negative Entscheidung, wird festgestellt, daß die Person 10 keine Klickbewegung ausführt, so daß die Befehlserkennungsverarbeitung ohne weitere Verarbeitung abgeschlossen wird. Wenn andererseits im Schritt 258 eine Bestätigung erfolgt, wird die Information „Klicken festgestellt" an den Informationsprozessor 14 ausgegeben (Schritt 260), in welchem der Informationsprozessor 14 eine vorbestimmte Verarbeitung ausführt, beispielsweise das Austauschen des auf der Anzeige 12 dargestellten Bilds. Anschließend wird das Überwachungsflag sowie das Zeigeflag auf Null gesetzt (Schritt 262), und die Befehlserkennungsverarbeitung wird beendet.
  • Wenn die Person 10 auf die Fläche der Anzeige 12 zeigt und sie ohne Klickbewegung den Arm senkt, wird im Schritt 242 eine negative Feststellung getroffen, und die Verarbeitung geht zum Schritt 270. Da nun das Zeigerflag den Wert 1 hat, wird im Schritt 270 eine bestätigende Feststellung getroffen, und anschließend geht die Verarbeitung zum Schritt 272, in welchem die Koordinaten der Stelle der Anzeigefläche der Anzeige 12, auf die die Person 10 zeigt (im Schritt 248 errechnet und im RAM 22C abgespeichert) an den Informationsprozessor 14 gegeben werden. Auf diese Weise kann der Prozessor 14 den Cursor veranlassen, dauernd an der Stelle angezeigt zu bleiben, an der er stand, bevor die Person 10 den Arm gesenkt hat.
  • Gemäß obiger Beschreibung bleibt der Cursor in der angezeigten Stellung verharren, auch wenn die Haltung der Person 10 sich von der in den 12B oder 12C dargestellten Haltung in die in 12A gezeigte Haltung ändert. Selbst wenn die Person 10 also den Wunsch hat, daß der Cursor bleibend angezeigt wird (zum Beispiel während einer Präsentation im Rahmen einer Besprechung, muß die Person 10 nicht dauernd den Arm erhoben halten. Folglich wird die Belastung für die Person 10 geringer.
  • Wenn die Person 10 den Informationseingaberaum verläßt, wird im Schritt 232 eine negative Entscheidung getroffen, auch innerhalb einer Folge von Verarbeitungsvorgängen, die von dem Informationsprozessor 14 durchgeführt werden, so daß die Verarbeitung dann zum Schritt 280 geht. Da das Präsenz-Flag auf 1 gestellt ist, wenn die Person 10 den Informationseingaberaum verläßt, wird im Schritt 280 eine positive Feststellung getroffen. Im Schritt 282 wird der Informationsprozessor 14 darüber informiert, daß die Person 10 den Informationseingaberaum verlassen hat. Wenn die Verarbeitung also mitten in der Ausführung ist, hält der Informationsprozessor 14 die Ausführung der Verarbeitung an und wechselt das auf der Anzeige 12 dargestellte Bild wieder zu dem attraktiven Bild. Beim nächsten Schritt 284 wird das Luftpost-Flag auf 0 gesetzt, und die Befehlserkennung wird beendet.
  • Wenn somit die Person 10 sich nicht in dem Informationseingaberaum befindet, wird stets ein attraktives Bild auf der Anzeige dargestellt. Jedesmal, wenn eine Person 10 in den Informationseingaberaum eintritt, führt der Informationsprozessor 14 eine Reihe von Verarbeitungsvorgängen durch, beginnend mit der Darstellung des Anfangsbilds auf der Anzeige 12.
  • Obschon bei der in den 8 und 19 dargestellten Befehlserkennungsprozedur die Klickbewegung definiert ist als irgendeine Bewegung der Hand der Person (zum Beispiel ein Beugen oder Drehen des Handgelenks, ein Beugen oder Ausstrecken eines Fingers oder dergleichen), ist die Erfindung nicht auf diese speziellen Beispiele beschränkt. Eine rasche Vorwärtsbewegung der Hand der Person 10 (vergleiche 22A, „Vorwärtsklick") und eine rasche Rückwärtsbewegung der Hand der Person 10 (22B, „Rück wärtsklick") können als Klickbewegung definiert werden. Die oben beschriebene Klickbewegung läßt sich zum Beispiel mit Hilfe der in 20 dargestellten Befehlserkennungsprozedur erkennen, anstatt daß die in 8 und 19 dargestellte Befehlserkennungsprozedur verwendet wird.
  • Bei der in 20 dargestellten Befehlserkennungsprozedur wird zunächst im Schritt 310 ebenso wie im Schritt 152 des Flußdiagramms der 8A und 8B und dem Schritt 232 des Flußdiagramms nach 19 ermittelt, ob die Person 10 sich in dem Informationseingaberaum angekommen ist (sich dort befindet) oder nicht. Diese Feststellung kann auch durch einfaches Ermitteln erfolgen, ob ein Bildteil mit hoher Leuchtdichte und eine Fläche mit einem vorbestimmten oder einem darüberliegenden Wert in den Bildern A und B vorhanden ist. Wird im Schritt 310 eine negative Feststellung getroffen, wird die Verarbeitung solange verzögert, bis schließlich eine positive Feststellung getroffen wird. Wenn die Person 10 in dem Informationseingaberaum ankommt, wird im Schritt 310 eine bestätigende Feststellung getroffen, und dann geht die Verarbeitung zum Schritt 312, in welchem eine Klickbewegungs-Geschwindigkeits-Einstellung durchgeführt wird.
  • Diese Einstellung der Geschwindigkeit der Klickbewegung wird im folgenden anhand des in 21 gezeigten Flußdiagramms erläutert. Im Schritt 290 erhält der Informationsprozessor 14 einen Befehl zum Anzeigen einer Nachricht auf der Anzeige 12, die die Person 10 auffordert, eine Klickbewegung auszuführen. Der Informationsprozessor 14 ermöglicht die Darstellung der Nachricht auf der Anzeige 12. Wenn die Nachricht auf der Anzeige 12 dargestellt wird, beugt oder streckt die Person 10 den Arm und wiederholt eine Vorwärtsklickbewegung oder eine Rückwärtsklickbewegung.
  • Beim nächsten Schritt 292 erfolgt eine Koordinatenberechnung für den Referenzpunkt/Merkmalspunkt (die gleiche Verarbeitung wie in den Schritten 154 bis 176 des Flußdiagramms nach 8A und 8B), wodurch die dreidimensionalen Koordinaten des Referenzpunkts P0 und des Merkmalspunkts PX ermittelt werden. Im Schritt 294 wird ermittelt, ob die Person 10 eine Zeigebewegung ausführt und auf die Anzeige 12 zeigt. Wird im Schritt 294 eine negative Feststellung getroffen, geht die Verarbeitung zurück zum Schritt 292. Die Schritte 292 und 294 werden wiederholt, bis die Person 10 die Zeigebewegung ausführt. Wird im Schritt 294 eine bestätigende Feststellung getroffen, so geht die Verarbeitung weiter zum Schritt 296.
  • Im Schritt 296 wird der Abstand k zwischen dem Referenzpunkt P0 und dem Merkmalspunkt PX aus den dreidimensionalen Koordinaten des Referenzpunkts P0 und den dreidimensionalen Koordinaten des Merkmalspunkts PX, die im Schritt 292 aufgenommen wurden, berechnet. Obschon der Schritt 296 wiederholt wird, wird bei der zweiten und bei weiteren Wiederholungen die Geschwindigkeit der Änderung des Abstands k, das ist die Geschwindigkeit der Änderung V (der Bewegungsgeschwindigkeit an der Stelle des Merkmalspunkts PX hin zu dem Referenzpunkt P0) anhand der Differenz zwischen dem laufenden Wert der Entfernung k und dem vorhergehenden Wert der Entfernung k errechnet. Das Berechnungsergebnis wird abgespeichert.
  • Im nächsten Schritt 298 wird festgestellt, ob eine vorbestimmte Zeit vergangen ist, nachdem die Nachricht zur Aufforderung einer Klickbewegung auf der Anzeige 12 angezeigt wurde. Wird im Schritt 298 eine negative Feststellung getroffen, geht die Verarbeitung zurück zum Schritt 292, und die Schritte 292 bis 298 werden wiederholt. Bis eine vorbestimmte Zeit nach der Anzeige der Aufforderung einer Klickbewegung verstrichen ist, wird also die Berechnung sowie die Speicherung der Geschwindigkeit der Änderung V der Entfernung k zwischen dem Referenzpunkt P0 und dem Merkmalspunkt PX wiederholt.
  • Wenn im Schritt 298 eine Bestätigung erfolgt, geht die Verarbeitung zum Schritt 300. Es wird die zuvor berechnete und abgespeicherte Änderungsgeschwindigkeit V aufgenommen, und die Klickbewegungsgeschwindigkeit V0 wird eingestellt und abgespeichert als der Schwellenwert, basierend auf dem Übergang der Änderungsgeschwindigkeit V während einer einzelnen Klickbewegung der Person 10. Diese Klickbewegungsgeschwindigkeit V0 dient als Schwellenwert zur Ermittlung, ob die Person 10 die Klickbewegung während der im folgenden beschriebenen Verarbeitung ausführt oder nicht. Um also mit Sicherheit festzustellen, daß die Person 10 eine Klickbewegung ausführt, kann man die Klickbewegungsgeschwindigkeit V0 beispielsweise auf einen Wert einstellen, der etwas kleiner ist als der Durchschnittswert der Änderungsgeschwindigkeit V während einer einzelnen Klickbewegung der Person 10. Alternativ kann die Klickbewegungsgeschwindigkeit V0 auf einen Minimumwert der Änderungsgeschwindigkeit V während einer einzelnen Klickbewegung der Person 10 eingestellt werden.
  • Wenn die oben beschriebene Klickbewegungsgeschwindigkeitseinstellung abgeschlossen ist, geht die Verarbeitung weiter zum Schritt 314 der Befehlserkennungsprozedur (20). Im Schritt 314 erfolgt die Berechnung für die Referenzpunkt/Merkmalspunktkoordinaten (die gleiche Verarbeitung wie in den Schritten 154 bis 176 des Flußdiagramms der 8A und 8B), wodurch die dreidimensionalen Koordinaten des Referenzpunkts P0 und des Merkmalspunkts PX ermittelt werden. Im nächsten Schritt wird anhand der im Schritt 314 ermittelten dreidimensionalen Koordinaten für den Referenzpunkt P0 und den Merkmalspunkt festgestellt, ob die Person 10 eine Zeigebewegung ausführt oder nicht.
  • Wird im Schritt 316 eine negative Feststellung getroffen, geht die Verarbeitung zum Schritt 334. Im Schritt 334 wird ermittelt, ob die Person 10 den Informationseingaberaum verlassen hat oder nicht. So wie in dem oben beschriebenen Schritt 310 kann dies auch dadurch geschehen, daß einfach ermittelt wird, ob zum Beispiel der Bildteil hoher Luminanz mit einer einen vorbestimmten Wert erreichenden oder übertreffenden Flächengröße in den Bildern A und B fehlt oder nicht. Wird eine negative Feststellung getroffen, kehrt die Verarbeitung zum Schritt 314 zurück. Die Schritte 314, 316 und 334 werden wiederholt, bis die Person 10 die Zeigebewegung ausführt, und es werden die Schritte 314, 316 und 334 wiederholt.
  • Wenn im Schritt 316 eine bejahende Feststellung getroffen wird, geht die Verarbeitung zum Schritt 318. Im Schritt 318 werden basierend auf den dreidimensionalen Koordinaten des Referenzpunkts P0 und des Merkmalspunkts PX, die im Schritt 314 berechnet wurden, in der gleichen Weise wie im Schritt 176 des Flußdiagramms nach 8A und 8B zum Bestimmen der Stelle, auf die die Person 10 zeigt, die Koordinaten des Schnittpunkts einer die Anzeigefläche des Großbildschirms 12 enthaltenden Ebene und der virtuellen Linie berechnet, die den Referenzpunkt mit dem Merkmalspunkt verbindet. Im nächsten Schritt wird anhand der im Schritt 318 berechneten Koordinaten ermittelt, ob die Person 10 auf die Anzeigefläche des Großbildschirms 12 zeigt.
  • Wird im Schritt 320 eine negative Feststellung getroffen, geht die Verarbeitung weiter zum Schritt 334 ohne jegliche Verarbeitung. Wird hingegen eine Bestätigung im Schritt 320 getroffen, so wird im Schritt 322 eine Ausgabe der im Schritt 318 berechneten Koordinaten an den Informationsprozessor 14 veranlaßt, so daß dieser den Befehl zum Anzeigen eines Cursors geben kann. Damit führt der Informationsprozessor 14 die Verarbeitung durch, die es dem Cursor ermöglicht, an einer vorbestimmten Stelle angezeigt zu werden, und zwar an der Stelle, die als Position ermittelt wird, auf die die Person 10 auf der Anzeige 12 zeigt.
  • Im nächsten Schritt 324 wird der Abstand k zwischen dem Referenzpunkt P0 und dem Merkmalspunkt PX anhand der dreidimensionalen Koordinaten des Referenzpunkts P0 und des Merkmalspunkts PX ermittelt, und es wird festgestellt, ob sich die Entfernung k geändert hat. Der Schritt 324 wird wiederholt, wenn die Person 10 auf die Anzeigefläche der Anzeige 12 zeigt (wenn eine Bejahung im Schritt 320 erfolgt). Da eine Änderung des Abstands k nicht feststellbar ist, wenn der Abstand k im Schritt 324 zum ersten Mal ermittelt wird, erfolgt auf jeden Fall eine negative Feststellung im Schritt 324.
  • Wenn hingegen eine positive Feststellung im Schritt 324 erfolgt, geht die Verarbeitung zum Schritt 326. Im Schritt 326 wird die Änderungsgeschwindigkeit V bei der Änderung des Abstands k berechnet, und es wird festgestellt, ob die berechnete Änderungsgeschwindigkeit V dem Schwellenwert entspricht oder darüber liegt (die Klickbewegungsgeschwindigkeit V0 wird von der Klickbewegungsgeschwindigkeit-Einstellverarbeitung eingestellt). Im Schritt 326 wird zunächst auf jeden Fall eine negative Feststellung getroffen, da die Geschwindigkeit der Änderung V der Entfernung k nicht ermittelt werden kann, wenn die Entfernung k zum ersten Mal berechnet wird. Wenn im schritt 324 oder 326 eine negative Feststellung erfolgt, so wird festgestellt, daß die Person 10 keine Klickbewegung ausführt, und die Verarbeitung geht weiter zum Schritt 334.
  • Wenn im Schritt 324 oder 326 eine positive Feststellung getroffen wird, bedeutet dies, daß die Person 10 eine Klickbewegung ausführt. Im Schritt 328 wird die Richtung der Änderung der Entfernung k ermittelt, und die Verarbeitung verzweigt abhängig von dem Ergebnis. Wenn die Entfernung k in Richtung einer Zunahme verändert wird, geht die Verarbeitung zum Schritt 330, da sich feststellen läßt, daß die Person 10 die Vorwärtsklickbewegung rasch ausführt durch Ausstrecken eines Arms. Im Schritt 330 wird die Information über das Erkennen einer Vorwärtsklickbewegung an den Informationsprozessor 14 gegeben, und dann geht die Verarbeitung zum Schritt 334. Wenn hingegen die Entfernung k in Richtung einer Verkürzung geändert wird, so geht die Verarbeitung weiter zum Schritt 332, da festgestellt werden kann, daß die Person 10 durch rasches Beugen des Arms eine Rückwärtsklickbewegung ausgeführt hat. Im Schritt 332 wird die Information über die Erkennung der Rückwärtsklickbewegung an den Informationsprozessor 14 gegeben, und die Verarbeitung geht dann zum Schritt 334.
  • Wenn die Information über den Nachweis einer Vorwärts- oder Rückwärtsklickbewegung in den Informationsprozessor 14 eingegeben wird, ermittelt dieser, daß die laufende Stelle, auf die die Person 10 zeigt, angeklickt wird. Wenn der Vorwärtsklick festgestellt wird, erfolgt eine erste Verarbeitung entsprechend der angezeigten laufenden Position. Wenn der Rückwärtsklick festgestellt wird, wird eine zweite (von der ersten verschiedene) Verarbeitung entsprechend der laufenden angezeigten Position durchgeführt. Wenn die Person 10 den Informationseingaberaum verläßt, wird im Schritt 334 eine Bestätigung durchgeführt, und der Prozeß geht zurück zum Schritt 310.
  • Da die Klickbewegung bei der Befehlserkennung eine sehr natürliche Bewegung ist, mit der auf eine spezielle Stelle auf der Anzeigefläche der Anzeige 12 gezeigt wird, um diese Stelle auszuwählen, kann die zu erkennende Person die Klickbewegung ausführen, ohne dabei ein unnatürliches Verhalten an den Tag legen zu müssen. Darüber hinaus kann gemäß obiger Beschreibung anhand der Änderung des Abstands zwischen Referenzpunkt und Merkmalspunkt festgestellt werden, ob die Klickbewegung eine Vorwärts- oder eine Rückwärtsklickbewegung ist, und man kann die Klickbewegung innerhalb kurzer Zeit erkennen. Aufgrund von zwei unterschiedlichen Arten von Klickbewegungen (Vorwärts- und Rückwärtsklickbewegung) als mögliche Klickbewegung kann die Person selektiv die erste Verarbeitung oder die zweite Verarbeitung wählen.
  • Die natürliche Bewegung einer Hand einer Person nach der Ausführung der Vorwärts- oder der Rückwärtsklickbewegung besteht darin, daß die ursprüngliche Haltung (neutrale Stellung) vor Ausführung der Klickbewegung wieder eingenommen wird. Um also zu verhindern, daß die Bewegung der Hand bei der Rückkehr zur neutralen Stellung nach Ausführung einer Vorwärtsklickbewegung irrtümlich als Rückwärtsklickbewegung interpretiert wird, und um zu vermeiden, daß die Bewegung der Hand bei der Rückkehr in die neutrale Stellung nach Ausführen einer Rückwärtsklickbewegung fälschlicherweise als Vorwärtsklickbewegung interpretiert wird, ist es wünschenswert, wenn die Bewegung der Hand bei der Rückkehr in die neutrale Stellung ignoriert wird, nachdem die Vorwärts- oder die Rückwärtsklickbewegung erkannt wurde. Dies läßt sich zum Beispiel in der Weise bewerkstelligen, daß das Erkennen der Klickbewegung für eine vorbestimmte Zeitspanne nach dem Erkennen einer Vorwärts- oder einer Rückwärtsklickbewegung ausgesetzt wird. Alternativ läßt sich dies auch folgendermaßen erreichen: der Wert des Abstands k vor dem Erkennen einer Vorwärts- oder Rückwärtsklickbewegung wird vorab als der einer neutralen Stellung entsprechenden Wert abgespeichert. Dann wird das Erkennen einer Klickbewegung solange ausgesetzt, bis der Wert des Abstands k den Wert erreicht, der der neutralen Stellung entspricht, nachdem eine Vorwärts- oder eine Rückwärtsbewegung erkannt wurde.
  • Für die oben erläuterte Befehlserkennung kann in der gleichen Weise wie bei der Befehlserkennung nach 19 nach einem Absenken des Arms durch die Person natürlich der Cursor an der Stelle weiter angezeigt werden, an der er vor dem Absenken des Arms gestanden hat.
  • Obschon in der obigen Beschreibung die Stelle, auf die die Person zeigt, anhand der dreidimensionalen Koordinaten des Referenzpunkts und des Merkmalspunkts der Person berechnet wird, ist die Erfindung nicht auf dieses Beispiel beschränkt. Wie in 23 gezeigt ist, wird ein Bildteil 72, der dem Bild voller Länge der Person 10 entspricht, aus dem von der Videokamera aufgenommenen Bild extrahiert, und es werden die Höhe h und die Stelle auf dem Boden berechnet, auf der sich die Person 10 befindet. Außerdem wird nach Ermittlung weiterer Parameter bezüglich der Person 10, beispielsweise bezüglich deren Form, das Bild voller Länge der Person 10 umgewandelt in ein Dummymodell 74 anhand der verschiedenen Parameter einschließlich der Höhe h der Person. Verschiedene Bewegungen der Person einschließlich der Bewegung beim Zeigen auf die Anzeigefläche der Anzeigefläche 12 lassen sich anhand dieses Dummymodells erkennen.
  • Wie oben ausgeführt wurde, ist es bei Verwendung des Dummymodells auch möglich, eine Bewegung wie zum Beispiel das Winken einer Hand zu erkennen, was bei dem vollen Bild der Person schwierig zu erkennen ist. Nimmt man zum Beispiel eine Bewegung an, bei der die Person mit der Hand winkt, so wird dies definiert als Bewegung mit der Bedeutung „Löschen", wenn die Person mit der Hand winkt, so daß es möglich ist, die ansprechend auf eine zuvor erkannte Bewegung der Person eingeleitete Verarbeitung anzuhalten.
  • Wenngleich die obige Beschreibung für das Beispiel einer Betriebsart gilt, bei der die Person auf einen optionalen Punkt auf der Fläche der Anzeige zeigt, ist der Gegenstand, auf den die Person zeigt, nicht auf die Anzeige beschränkt. Die Person kann auch in beliebige Richtung zeigen oder auf ein beliebiges Objekt zeigen, welches sich in einer nicht festen Entfernung von der Person befindet.
  • Wenn die Person in eine beliebige gewählte Richtung zeigt, wird bei der Befehlsinterpretation (zum Beispiel im Schritt 176 des Flußdiagramms der 8A und 8B) die Rich tung, in welcher die virtuelle Linie den Referenzpunkt mit dem Merkmalspunkt der Person verläuft, ermittelt, so daß die Richtung bestimmt wird, in die die Person zeigt. Wenn die Person auf ein beliebiges Objekt zeigt, welches sich in einer nicht festen Entfernung von der Person befindet, wird in dem vorhergehenden Schritt 176 die Verlängerungsrichtung der virtuellen Linie ermittelt, und dann wird das Objekt am Ende der verlängerten virtuellen Linie erkannt, so daß die Richtung festgestellt werden kann, in die die Person zeigt.
  • Die Person kann bei folgender Anwendung in eine optionale Richtung zeigen: beispielsweise kann von einer Bedienungsperson (der Information eingebenden Person) in einem Theater oder dergleichen die Richtung des Abstrahlens eines Spot-Lights sowie die Richtung akustischer Wellen vorgegeben werden, die von mehreren Lautsprechern in einer Feldanordnung orientiert sind.
  • Die Person kann auf ein optionales Objekt zeigen, welches sich in einer nicht festen Entfernung von der Person befindet, wenn es sich um folgende Anwendung handelt: an einer Baustelle, in einer Fabrik oder dergleichen kann ein Kran oder können andere Maschinen ansprechend auf solche Anweisungen von der Bedienungsperson (der Information eingebenden Person) betrieben werden. Außerdem kann die Person in einem automatisierten Haushalt verschiedenen Anweisungen an verschiedene Geräte geben.
  • Obschon im Verlauf der obigen Hauptbeschreibung eine einzelne Videokamera 36 oder zwei Videokameras 36A und 36B vorgesehen sind, ist die Erfindung nicht hierauf beschränkt. Das Bild des Informationseingaberaums kann von mehreren Videokameras aufgenommen werden, so daß der Befehl seitens der Person ermittelt wird.

Claims (1)

  1. Hand-Zeigevorrichtung (20), umfassend: eine Beleuchtungseinrichtung (32A, 32B) zum Beleuchten einer zu erkennenden Person (10); mehrere Bildaufnahmegeräte (36A, 36B) zum Aufnehmen von Bildern der von der Beleuchtungseinrichtung beleuchteten zu erkennenden Person (10) aus verschiedenen Richtungen; einen Entscheiden (22D, 14) zum Extrahieren eines der zu erkennenden Person (10) entsprechenden Bildteils aus einer Mehrzahl von Bilder von Situationen, die von den mehreren Bildaufnahmegeräten (36A, 36B) aufgenommen wurden, wobei die Situationen bezeichnend sind dafür, daß die zu erkennende Person auf eine Stelle oder in einer Richtung zeigt, und zum Festlegen der Position oder der Richtung, auf die die zu erkennende Person zeigt, gekennzeichnet durch einen Detektor, der (1) aus den mehreren Bildern denjenigen Bildteil extrahiert, der einem vorbestimmten Teil eines Körpers der zu erkennenden Person (10) entspricht, und der eine Fläche des extrahierten Bildteils, eine Kontur des extrahierten Bildteils und/oder eine Länge eines Umrisses des extrahierten Bildteils berechnet, um einen ersten Berechnungswert zu erhalten, (2) nach Ver streichen einer vorbestimmten Zeit aus den mehreren Bildern denjenigen Bildteil extrahiert, der dem vorbestimmten Teil des Körpers der zu erkennenden Person entspricht und eine Fläche des extrahierten. Bildteils, die Kontur des extrahierten Bildteils bzw. die Länge des Umrisses des extrahierten Bildteils berechnet, um einen zweiten Berechnungswert zu erhalten, und (3) einen geänderten Wert zwischen dem ersten Berechnungswert und dem zweiten Berechnungswert ermittelt; und einen Prozessor zum Ausführen einer vorbestimmten Verarbeitung, wenn der geänderte, von dem Detektor ermittelt Wert größer oder gleich einem vorbestimmten Wert ist.
DE69828912T 1997-03-21 1998-03-18 Hinweisvorrichtung, die das Bild einer Hand verwendet Expired - Fee Related DE69828912T2 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP6860297 1997-03-21
JP6860297 1997-03-21
JP36962897 1997-12-29
JP36962897A JP3749369B2 (ja) 1997-03-21 1997-12-29 ハンドポインティング装置

Publications (2)

Publication Number Publication Date
DE69828912D1 DE69828912D1 (de) 2005-03-10
DE69828912T2 true DE69828912T2 (de) 2005-07-28

Family

ID=26409810

Family Applications (3)

Application Number Title Priority Date Filing Date
DE69828912T Expired - Fee Related DE69828912T2 (de) 1997-03-21 1998-03-18 Hinweisvorrichtung, die das Bild einer Hand verwendet
DE69824225T Expired - Fee Related DE69824225T2 (de) 1997-03-21 1998-03-18 Das Bild einer Hand verwendende Hinweisvorrichtung
DE69829424T Expired - Fee Related DE69829424T2 (de) 1997-03-21 1998-03-18 Hinweisvorrichtung, die das Bild einer Hand verwendet

Family Applications After (2)

Application Number Title Priority Date Filing Date
DE69824225T Expired - Fee Related DE69824225T2 (de) 1997-03-21 1998-03-18 Das Bild einer Hand verwendende Hinweisvorrichtung
DE69829424T Expired - Fee Related DE69829424T2 (de) 1997-03-21 1998-03-18 Hinweisvorrichtung, die das Bild einer Hand verwendet

Country Status (5)

Country Link
US (1) US6385331B2 (de)
EP (3) EP1329838B1 (de)
JP (1) JP3749369B2 (de)
KR (1) KR100328648B1 (de)
DE (3) DE69828912T2 (de)

Families Citing this family (135)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6256046B1 (en) * 1997-04-18 2001-07-03 Compaq Computer Corporation Method and apparatus for visual sensing of humans for active public interfaces
JP3795647B2 (ja) 1997-10-29 2006-07-12 株式会社竹中工務店 ハンドポインティング装置
DE19806024A1 (de) * 1998-02-13 1999-08-19 Siemens Nixdorf Inf Syst Verfahren zur Überwachung eines Gerätebedienungsvorganges und mit diesem überwachte Selbstbedienungseinrichtung
US6690357B1 (en) 1998-10-07 2004-02-10 Intel Corporation Input device using scanning sensors
TW464800B (en) * 1998-10-07 2001-11-21 Intel Corp A method for inputting data to an electronic device, an article comprising a medium for storing instructions, and an image processing system
JP2000181601A (ja) * 1998-12-18 2000-06-30 Fujitsu General Ltd 情報表示システム
JP2000222117A (ja) * 1999-01-29 2000-08-11 Takenaka Komuten Co Ltd ハンドポインティング装置、指示位置表示方法及び記録媒体
WO2000075860A1 (en) * 1999-06-08 2000-12-14 Soffix, S.R.L. Electronic writing/display apparatus and respective method of operation
EP1074943A3 (de) * 1999-08-06 2004-03-24 Canon Kabushiki Kaisha Bildberarbeitungsverfahren und -vorrichtung
US6738041B2 (en) 1999-10-29 2004-05-18 Intel Corporation Using video information to control cursor position
JP4768196B2 (ja) * 2000-05-17 2011-09-07 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ３次元モデリングを行うことなく画像処理によってターゲットを指し示す装置及びその方法
US6531999B1 (en) 2000-07-13 2003-03-11 Koninklijke Philips Electronics N.V. Pointing direction calibration in video conferencing and other camera-based system applications
CA2534218A1 (en) * 2001-03-01 2002-09-12 Volume Interactions Pte. Ltd. A display apparatus
US6711280B2 (en) * 2001-05-25 2004-03-23 Oscar M. Stafsudd Method and apparatus for intelligent ranging via image subtraction
US7274800B2 (en) * 2001-07-18 2007-09-25 Intel Corporation Dynamic gesture recognition from stereo sequences
JP2003084229A (ja) * 2001-09-14 2003-03-19 Takenaka Komuten Co Ltd 指示位置表示装置及び方法
WO2003054683A2 (en) * 2001-12-07 2003-07-03 Canesta Inc. User interface for electronic devices
WO2003071410A2 (en) * 2002-02-15 2003-08-28 Canesta, Inc. Gesture recognition system using depth perceptive sensors
US10242255B2 (en) 2002-02-15 2019-03-26 Microsoft Technology Licensing, Llc Gesture recognition system using depth perceptive sensors
JP3762309B2 (ja) * 2002-02-18 2006-04-05 キヤノン株式会社 位置方向測定装置および情報処理方法
US6973579B2 (en) * 2002-05-07 2005-12-06 Interdigital Technology Corporation Generation of user equipment identification specific scrambling code for the high speed shared control channel
US7165029B2 (en) 2002-05-09 2007-01-16 Intel Corporation Coupled hidden Markov model for audiovisual speech recognition
US20030212552A1 (en) * 2002-05-09 2003-11-13 Liang Lu Hong Face recognition procedure useful for audiovisual speech recognition
US7209883B2 (en) * 2002-05-09 2007-04-24 Intel Corporation Factorial hidden markov model for audiovisual speech recognition
JP4149213B2 (ja) * 2002-07-12 2008-09-10 本田技研工業株式会社 指示位置検出装置及び自律ロボット
US7151530B2 (en) 2002-08-20 2006-12-19 Canesta, Inc. System and method for determining an input selected by a user through a virtual interface
US7526120B2 (en) * 2002-09-11 2009-04-28 Canesta, Inc. System and method for providing intelligent airbag deployment
US20040066500A1 (en) * 2002-10-02 2004-04-08 Gokturk Salih Burak Occupancy detection and measurement system and method
EP1408443B1 (de) 2002-10-07 2006-10-18 Sony France S.A. Verfahren und Gerät zur Analyse von Gesten eines Menschen, z.B. zur Steuerung einer Maschine durch Gestik
US7171043B2 (en) 2002-10-11 2007-01-30 Intel Corporation Image recognition using hidden markov models and coupled hidden markov models
US7472063B2 (en) * 2002-12-19 2008-12-30 Intel Corporation Audio-visual feature fusion and support vector machine useful for continuous speech recognition
US7203368B2 (en) * 2003-01-06 2007-04-10 Intel Corporation Embedded bayesian network for pattern recognition
JP3849645B2 (ja) * 2003-01-20 2006-11-22 ソニー株式会社 監視装置
JP4286556B2 (ja) * 2003-02-24 2009-07-01 株式会社東芝 画像表示装置
US7618323B2 (en) * 2003-02-26 2009-11-17 Wms Gaming Inc. Gaming machine system having a gesture-sensing mechanism
FR2853423B1 (fr) * 2003-03-20 2005-07-15 Simag Dev Dispositif de saisie comportant un capteur optique suivi d'un moyen de filtrage
DE602004006190T8 (de) * 2003-03-31 2008-04-10 Honda Motor Co., Ltd. Vorrichtung, Verfahren und Programm zur Gestenerkennung
US7439074B2 (en) * 2003-09-30 2008-10-21 Hoa Duc Nguyen Method of analysis of alcohol by mass spectrometry
WO2005119356A2 (en) 2004-05-28 2005-12-15 Erik Jan Banning Interactive direct-pointing system and calibration method
JP2008505383A (ja) * 2004-06-29 2008-02-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 個人ジェスチャ署名
WO2006027423A1 (fr) * 2004-08-09 2006-03-16 Simag Developpement Dispositif de saisie comportant un capteur optique suivi d’un moyen de filtrage
CN101536494B (zh) * 2005-02-08 2017-04-26 奥布隆工业有限公司 用于基于姿势的控制系统的系统和方法
US8009871B2 (en) 2005-02-08 2011-08-30 Microsoft Corporation Method and system to segment depth images and to detect shapes in three-dimensionally acquired data
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
JP4654773B2 (ja) * 2005-05-31 2011-03-23 富士フイルム株式会社 情報処理装置、動画像符号化装置、情報処理方法及び情報処理プログラム
US9285897B2 (en) 2005-07-13 2016-03-15 Ultimate Pointer, L.L.C. Easily deployable interactive direct-pointing system and calibration method therefor
KR100815159B1 (ko) 2005-12-08 2008-03-19 한국전자통신연구원 다수의 카메라를 이용한 손 추적 3 차원 입력 장치 및 그방법
US9075441B2 (en) * 2006-02-08 2015-07-07 Oblong Industries, Inc. Gesture based control using three-dimensional information extracted over an extended depth of field
US8537111B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8531396B2 (en) 2006-02-08 2013-09-10 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US9823747B2 (en) 2006-02-08 2017-11-21 Oblong Industries, Inc. Spatial, multi-modal control device for use with spatial operating system
US9910497B2 (en) * 2006-02-08 2018-03-06 Oblong Industries, Inc. Gestural control of autonomous and semi-autonomous systems
US8537112B2 (en) * 2006-02-08 2013-09-17 Oblong Industries, Inc. Control system for navigating a principal dimension of a data space
US8370383B2 (en) 2006-02-08 2013-02-05 Oblong Industries, Inc. Multi-process interactive systems and methods
WO2007107874A2 (en) * 2006-03-22 2007-09-27 Home Focus Development Ltd Interactive playmat
US8180114B2 (en) * 2006-07-13 2012-05-15 Northrop Grumman Systems Corporation Gesture recognition interface system with vertical display
US8972902B2 (en) * 2008-08-22 2015-03-03 Northrop Grumman Systems Corporation Compound gesture recognition
US8589824B2 (en) * 2006-07-13 2013-11-19 Northrop Grumman Systems Corporation Gesture recognition interface system
US9696808B2 (en) * 2006-07-13 2017-07-04 Northrop Grumman Systems Corporation Hand-gesture recognition method
US8234578B2 (en) * 2006-07-25 2012-07-31 Northrop Grumman Systems Corporatiom Networked gesture collaboration system
US8432448B2 (en) * 2006-08-10 2013-04-30 Northrop Grumman Systems Corporation Stereo camera intrusion detection system
JP2008052029A (ja) * 2006-08-24 2008-03-06 Takata Corp 撮像システム、車両乗員検出システム、作動装置制御システム、車両
US8356254B2 (en) * 2006-10-25 2013-01-15 International Business Machines Corporation System and method for interacting with a display
KR100799766B1 (ko) 2006-10-25 2008-02-01 엠텍비젼 주식회사 포인터 이동 제어 장치
KR100814289B1 (ko) 2006-11-14 2008-03-18 서경대학교 산학협력단 실시간 동작 인식 장치 및 그 방법
KR100851977B1 (ko) * 2006-11-20 2008-08-12 삼성전자주식회사 가상 평면을 이용하여 전자 기기의 사용자 인터페이스를제어하는 방법 및 장치.
US8985774B2 (en) 2007-03-30 2015-03-24 National Institute Of Information And Communication Technology Floating image interaction device and its program
EP2150893A4 (de) 2007-04-24 2012-08-22 Oblong Ind Inc Proteine, pools und slawx in verarbeitungsumgebungen
CA2684672A1 (en) * 2007-04-26 2008-11-06 Roberto Rosso Communications control bus and apparatus for controlling multiple electronic hardware devices
US8139110B2 (en) * 2007-11-01 2012-03-20 Northrop Grumman Systems Corporation Calibration of a gesture recognition interface system
US9377874B2 (en) * 2007-11-02 2016-06-28 Northrop Grumman Systems Corporation Gesture recognition light and video image projector
JP5120754B2 (ja) * 2008-03-28 2013-01-16 株式会社国際電気通信基礎技術研究所 動作検出装置
US9952673B2 (en) 2009-04-02 2018-04-24 Oblong Industries, Inc. Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control
US10642364B2 (en) 2009-04-02 2020-05-05 Oblong Industries, Inc. Processing tracking and recognition data in gestural recognition systems
US9684380B2 (en) 2009-04-02 2017-06-20 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US8723795B2 (en) 2008-04-24 2014-05-13 Oblong Industries, Inc. Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes
US9740922B2 (en) 2008-04-24 2017-08-22 Oblong Industries, Inc. Adaptive tracking system for spatial input devices
US9740293B2 (en) 2009-04-02 2017-08-22 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
US9495013B2 (en) 2008-04-24 2016-11-15 Oblong Industries, Inc. Multi-modal gestural interface
EP2304527A4 (de) * 2008-06-18 2013-03-27 Oblong Ind Inc Auf gestik basierendes steuersystem für fahrzeugschnittstellen
US8345920B2 (en) * 2008-06-20 2013-01-01 Northrop Grumman Systems Corporation Gesture recognition interface system with a light-diffusive screen
US20100066673A1 (en) * 2008-09-16 2010-03-18 Shang Tai Yeh Laser pointer capable of detecting a gesture associated therewith and representing the gesture with a function
JP5183398B2 (ja) * 2008-09-29 2013-04-17 株式会社日立製作所 入力装置
WO2010038822A1 (ja) * 2008-10-01 2010-04-08 株式会社ソニー・コンピュータエンタテインメント 情報処理装置、情報処理方法、情報記憶媒体及びプログラム
US8788977B2 (en) * 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US9317128B2 (en) 2009-04-02 2016-04-19 Oblong Industries, Inc. Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control
US10824238B2 (en) 2009-04-02 2020-11-03 Oblong Industries, Inc. Operating environment with gestural control and multiple client devices, displays, and users
JP2010257089A (ja) 2009-04-22 2010-11-11 Xiroku:Kk 光学式位置検出装置
JP5567908B2 (ja) * 2009-06-24 2014-08-06 キヤノン株式会社 ３次元計測装置、その計測方法及びプログラム
JP4701424B2 (ja) 2009-08-12 2011-06-15 島根県 画像認識装置および操作判定方法並びにプログラム
KR100969927B1 (ko) * 2009-08-17 2010-07-14 (주)예연창 사용자 지향적 비접촉식 상호 작용 디스플레이 장치
US8970669B2 (en) * 2009-09-30 2015-03-03 Rovi Guides, Inc. Systems and methods for generating a three-dimensional media guidance application
US9971807B2 (en) 2009-10-14 2018-05-15 Oblong Industries, Inc. Multi-process interactive systems and methods
US9933852B2 (en) 2009-10-14 2018-04-03 Oblong Industries, Inc. Multi-process interactive systems and methods
JP2011166332A (ja) * 2010-02-08 2011-08-25 Hitachi Consumer Electronics Co Ltd 情報処理装置
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
US9405444B2 (en) 2010-10-01 2016-08-02 Z124 User interface with independent drawer control
KR20120051212A (ko) * 2010-11-12 2012-05-22 엘지전자 주식회사 멀티미디어 장치의 사용자 제스쳐 인식 방법 및 그에 따른 멀티미디어 장치
US9440144B2 (en) 2011-04-21 2016-09-13 Sony Interactive Entertainment Inc. User identified to a controller
US9123272B1 (en) 2011-05-13 2015-09-01 Amazon Technologies, Inc. Realistic image lighting and shading
KR101235432B1 (ko) * 2011-07-11 2013-02-22 김석중 3차원 모델링된 전자기기의 가상터치를 이용한 원격 조작 장치 및 방법
US9041734B2 (en) 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
US10088924B1 (en) 2011-08-04 2018-10-02 Amazon Technologies, Inc. Overcoming motion effects in gesture recognition
WO2013035308A2 (en) 2011-09-05 2013-03-14 Panasonic Corporation Television communication system, terminal, and method
US8947351B1 (en) 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
US20130076654A1 (en) * 2011-09-27 2013-03-28 Imerj LLC Handset states and state diagrams: open, closed transitional and easel
US9223415B1 (en) 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
US8884928B1 (en) 2012-01-26 2014-11-11 Amazon Technologies, Inc. Correcting for parallax in electronic displays
US9063574B1 (en) 2012-03-14 2015-06-23 Amazon Technologies, Inc. Motion detection systems for electronic devices
US9285895B1 (en) 2012-03-28 2016-03-15 Amazon Technologies, Inc. Integrated near field sensor for display devices
US9587804B2 (en) * 2012-05-07 2017-03-07 Chia Ming Chen Light control systems and methods
US8938124B2 (en) 2012-05-10 2015-01-20 Pointgrab Ltd. Computer vision based tracking of a hand
WO2013190538A1 (en) * 2012-06-20 2013-12-27 Pointgrab Ltd. Method for touchless control of a device
CN102968208B (zh) * 2012-09-05 2015-10-07 广东威创视讯科技股份有限公司 面阵摄像头定位图像有效区域调整方式的选择方法和系统
US9423886B1 (en) 2012-10-02 2016-08-23 Amazon Technologies, Inc. Sensor connectivity approaches
WO2014106219A1 (en) * 2012-12-31 2014-07-03 Burachas Giedrius Tomas User centric interface for interaction with visual display that recognizes user intentions
JP6070211B2 (ja) * 2013-01-22 2017-02-01 株式会社リコー 情報処理装置、システム、画像投影装置、情報処理方法およびプログラム
US9734582B2 (en) 2013-02-21 2017-08-15 Lg Electronics Inc. Remote pointing method
US9524028B2 (en) 2013-03-08 2016-12-20 Fastvdo Llc Visual language for human computer interfaces
US9035874B1 (en) 2013-03-08 2015-05-19 Amazon Technologies, Inc. Providing user input to a computing device with an eye closure
US9829984B2 (en) 2013-05-23 2017-11-28 Fastvdo Llc Motion-assisted visual language for human computer interfaces
US9717118B2 (en) 2013-07-16 2017-07-25 Chia Ming Chen Light control systems and methods
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
US11199906B1 (en) 2013-09-04 2021-12-14 Amazon Technologies, Inc. Global user input management
US10055013B2 (en) 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US9367203B1 (en) 2013-10-04 2016-06-14 Amazon Technologies, Inc. User interface techniques for simulating three-dimensional depth
US9990046B2 (en) 2014-03-17 2018-06-05 Oblong Industries, Inc. Visual collaboration interface
WO2015168218A2 (en) 2014-04-29 2015-11-05 Chia Ming Chen Light control systems and methods
US10088971B2 (en) * 2014-12-10 2018-10-02 Microsoft Technology Licensing, Llc Natural user interface camera calibration
JP6710946B2 (ja) * 2015-12-01 2020-06-17 セイコーエプソン株式会社 制御装置、ロボットおよびロボットシステム
JP6586891B2 (ja) * 2016-01-13 2019-10-09 セイコーエプソン株式会社 プロジェクター及びプロジェクターの制御方法
US10529302B2 (en) 2016-07-07 2020-01-07 Oblong Industries, Inc. Spatially mediated augmentations of and interactions among distinct devices and applications via extended pixel manifold
CN106383500A (zh) * 2016-09-05 2017-02-08 湖北工业大学 一种智能建筑门窗幕墙系统
JP6255129B1 (ja) * 2017-04-18 2017-12-27 京セラ株式会社 電子機器
JP7380453B2 (ja) * 2020-07-01 2023-11-15 トヨタ自動車株式会社 サーバ装置、情報処理システム、及びシステムの動作方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE8915535U1 (de) * 1989-03-02 1990-10-25 Fa. Carl Zeiss, 7920 Heidenheim, De
JPH0474285A (ja) 1990-07-17 1992-03-09 Medama Kikaku:Kk 特定人又は物の位置検出表示装置
JP3114813B2 (ja) * 1991-02-27 2000-12-04 日本電信電話株式会社 情報入力方法
JPH0519957A (ja) * 1991-07-15 1993-01-29 Nippon Telegr & Teleph Corp <Ntt> 情報の入力方法
DE4142614A1 (de) * 1991-10-14 1993-04-15 Tropf Hermann Dr Ing Vorrichtung und verfahren zum erkennen von objekten, wie unregelmaessigkeiten in oberflaechen oder dergleichen
DE571702T1 (de) * 1992-05-26 1994-04-28 Takenaka Corp Handzeige-Eingabegerät und Wandcomputereinheit.
JPH05324181A (ja) 1992-05-26 1993-12-07 Takenaka Komuten Co Ltd ハンドポインティング式入力装置
IT1264225B1 (it) * 1993-09-24 1996-09-23 Sintecna S R L Dispositivo per il puntamento del cursore sullo schermo di sistemi interattivi
JPH07160412A (ja) * 1993-12-10 1995-06-23 Nippon Telegr & Teleph Corp <Ntt> 指示位置検出方法
JP2552427B2 (ja) * 1993-12-28 1996-11-13 コナミ株式会社 テレビ遊戯システム
US5900863A (en) * 1995-03-16 1999-05-04 Kabushiki Kaisha Toshiba Method and apparatus for controlling computer without touching input device
JPH08328735A (ja) * 1995-06-02 1996-12-13 Takenaka Komuten Co Ltd ハンドポインティング入力装置
JPH08329222A (ja) * 1995-06-02 1996-12-13 Takenaka Komuten Co Ltd ３次元位置認識装置

Also Published As

Publication number Publication date
EP1329838B1 (de) 2005-02-02
US20010043719A1 (en) 2001-11-22
DE69824225D1 (de) 2004-07-08
EP0866419A3 (de) 2001-05-23
EP1329839B1 (de) 2005-03-16
KR100328648B1 (ko) 2002-07-31
DE69829424T2 (de) 2006-05-04
EP0866419A2 (de) 1998-09-23
EP1329839A3 (de) 2003-07-30
EP1329839A2 (de) 2003-07-23
DE69829424D1 (de) 2005-04-21
EP1329838A2 (de) 2003-07-23
JPH10326148A (ja) 1998-12-08
KR19980080509A (ko) 1998-11-25
EP0866419B1 (de) 2004-06-02
EP1329838A3 (de) 2003-08-06
US6385331B2 (en) 2002-05-07
JP3749369B2 (ja) 2006-02-22
DE69824225T2 (de) 2005-06-23
DE69828912D1 (de) 2005-03-10

Similar Documents

Publication Publication Date Title
DE69828912T2 (de) Hinweisvorrichtung, die das Bild einer Hand verwendet
DE69817498T2 (de) Handzeigegerät
DE60028894T2 (de) Präsentationssystem mit einer interaktiven Darstellung
DE10221415B4 (de) Optische Druckknopfbildschirm-Zeigevorrichtung
DE10301468B4 (de) Vorrichtung zur Beobachtung der Umgebung eines Fahrzeugs
DE102007015495B4 (de) Objekterfassungsvorrichtung und Verfahren zum Extrahieren eines Bedienobjekts
DE60205662T2 (de) Vorrichtung und Verfahren zur Berechnung einer Position einer Anzeige
DE112012004714T5 (de) Lichtsteuerverfahren und dieses verwendende Beleuchtungseinrichtung
DE10313309A1 (de) Automatisches Reinigungsgerät, automatisches Reinigungssystem sowie Verfahren zu deren Steuerung
DE102017106509A1 (de) Abbildungsmodul und Lesegerät und Verfahren zum zügigen Einstellen von Abbildungsparameters von Abbilden zum Abbilden von über einem Bereich von Arbeitsabständen zu lesenden Zielen
DE3919463A1 (de) Beruehrungsempfindliche paneeleinrichtung
EP3671546A1 (de) Verfahren und system zum bestimmen von landmarken in einer umgebung eines fahrzeugs
DE102006006001B3 (de) Verfahren und Anordnung zum Einblenden ortsbezogener Informationen in eine visuelle Darstellung oder Ansicht einer Szene
EP2952981B1 (de) Verfahren zum betreiben einer gebäudeinstallation mit einem situationswächter sowie gebäudeinstallation mit einem situationswächter
DE102014105506B4 (de) Robotsauger und Verfahren zum Betrieb eines solchen Robotsaugers
WO2012095258A1 (de) Fernsteuerungseinrichtung und schnittstellen-modul zur steuerung einer vorrichtung anhand eines beweglichen objektes
EP3688663A1 (de) Verfahren und vorrichtung zur detektion eines hindernisfreien bereichs
DE10051415A1 (de) Optisches Trackingsystem und -verfahren
EP1983406A1 (de) Verfahren und Vorrichtung zur Eingabe von Daten in eine Datenverarbeitungsanlage
EP2952984B1 (de) Verfahren zum einstellen von funktionalitäten eines situationswächters sowie gebäudeinstallation
DE102019110076A1 (de) Optimierte strichcode-dekodierung in mehrfachbildgeberstrichcodelesegeräten und bildgebungsmaschinen
EP0713592B1 (de) Verfahren zur erkennung der räumlichen lage und drehlage von in geeigneter weise markierten objekten in digitalen bildfolgen
DE112017005182T5 (de) Ein Verfahren zur Sicht-Pyramidenstumpf-Detektion, entsprechendes System und Computerprogrammprodukt
DE102011075877A1 (de) Auswertungsverfahren für eine Folge von zeitlich aufeinander folgenden Tiefenbildern
DE102020205954A1 (de) Verfahren zu einem Erkennen zumindest eines Objekts und/oder einer Bewegung

Legal Events

Date Code Title Description
8364 No opposition during term of opposition
8339 Ceased/non-payment of the annual fee