DE60313412T2 - Video-Überlagerungsvorrichtung und -verfahren - Google Patents

Video-Überlagerungsvorrichtung und -verfahren Download PDF

Info

Publication number
DE60313412T2
DE60313412T2 DE60313412T DE60313412T DE60313412T2 DE 60313412 T2 DE60313412 T2 DE 60313412T2 DE 60313412 T DE60313412 T DE 60313412T DE 60313412 T DE60313412 T DE 60313412T DE 60313412 T2 DE60313412 T2 DE 60313412T2
Authority
DE
Germany
Prior art keywords
image
area
user
video
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
DE60313412T
Other languages
English (en)
Other versions
DE60313412D1 (de
Inventor
Rika Canon Kabushiki Kaisha Tanaka
Toshikazu Canon Kabushiki Kaisha Ohshima
Kaname Canon Kabushiki Kaisha Tomite
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of DE60313412D1 publication Critical patent/DE60313412D1/de
Application granted granted Critical
Publication of DE60313412T2 publication Critical patent/DE60313412T2/de
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/445—Receiver circuitry for the reception of television signals according to analogue transmission standards for displaying additional information
    • H04N5/44504—Circuit details of the additional information generator, e.g. details of the character or graphics signal generator, overlay mixing circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4122—Peripherals receiving signals from specially adapted client devices additional display device, e.g. video projector
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/414—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance
    • H04N21/4143—Specialised client platforms, e.g. receiver in car or embedded in a mobile appliance embedded in a Personal Computer [PC]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42653—Internal components of the client ; Characteristics thereof for processing graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H04N21/42206—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor characterized by hardware details
    • H04N21/42222—Additional components integrated in the remote control device, e.g. timer, speaker, sensors for detecting position, direction or movement of the remote control, microphone or battery charging device

Description

  • BEREICH DER ERFINDUNG
  • Die vorliegende Erfindung bezieht sich auf eine Videoüberlagerungsvorrichtung und ein Verfahren zur Überlagerung eines Videobildes der realen Welt durch ein Videobild und Information, erzeugt von einem Computer (CG: Computergrafik) und genauer auf CG Bilddisplaysteuerung für einen realen Raum, auf den ein Benutzer achten soll.
  • HINTERGRUND DER ERFINDUNG
  • Techniken zur Unterstützung verschiedener Handlungen unter Verwendung eines Videobildes, bei denen ein Videobild der realen Welt durch ein CG Bild überlagert wird, werden als erweiterte Realität (Augmented Reality) (AR) oder gemischte Realität (Mixed Reality) (MR) Techniken studiert. Zum Beispiel sind sie bei medizinischer Unterstützung durch Sichtbarmachen des Inneren eine Patientenkörpers, bei Arbeitshilfe durch Overlayanzeige eines Produktansammlungsvorgangs in einer Fabrik und ferner als Führung durch Anzeigen von Ortsnamen und Landmarken auf einer realen Landschaft bekannt.
  • Bei der CG Überlagerung wird ein realer Raumbereich durch ein CG Bild verborgen. Das ist kein Problem, wenn der Benutzer nicht an dem bedeckten Bereich interessiert ist. Herkömmlicherweise könnte auch ein realer Raum den der Benutzer beachtet vom CG Bild verborgen sein, da Überlagerung durch ein CG Bild genau nach vorbestimmten Einstellungen vorgenommen wird, ohne in Betracht zu ziehen, ob der zu verbergende Bereich von Interesse ist.
  • G. Reitmayr und D. Schmalstieg zeigen in "Mobile Collaborative Augmented Reality" In Proc. IEEE Virtual Reality 2001, Seiten 114–123 eine Studie passender CG Bilddisplay position in einem mobilen AR System aus Analyse oder CG Bilddisplayposition (Kopf-stabilisiert: Information wird in einer festen Position in Übereinstimmung mit dem Blickpunkt eines Benutzers angezeigt; Körper-stabilisiert: Information wird in einer festen Position in Übereinstimmung mit dem Körper des Benutzers angezeigt; und Welt-stabilisiert: Eine Informationsanzeigeposition wird in Übereinstimmung mit einer Position in der realen Welt gesteuert). Ferner offenbart die veröffentlichte nicht geprüfte japanische Patentschrift Nr. 2000-276610 ( JP-A-2000-276610 ), die sich auf Werkzeuganzeige oder dergleichen bezieht, ein System zum Anzeigen eines benutzerfreundlichen Werkzeugcharakters. Aber in beiden Systemen werden bezüglich der CG Bilddisplayposition Annahmen verwendet und es gibt keine Überlegung für den Fall, in dem ein als Ziel genommener realer Raumbereich von einem CG Bild verborgen ist.
  • Eine Technik, um ein bestimmtes reales Objekt (z.B. die Hand des Benutzers) als immer sichtbares Objekt anzuzeigen (Maskenverarbeitungstechnik) wird unter Verwendung einer Farbtonschlüsseltechnik oder dergleichen verwirklicht. Aber die Wirklichkeit ändert sich in jeder Sekunde und der Benutzer schaut nicht immer auf dasselbe wirkliche Objekt.
  • Ausgehend von dieser Situation wird, im allgemeinen, in einem Fall, in dem ein realer Raumbereich, der vom Benutzer betrachtet werden soll, von einem CG Bild verborgen ist (1) der Benutzer ein HMD entfernen oder wenn möglich (2) werden CG Bild und Videobild (Bilder der realen Welt) wahlweise angzeigt oder darüber hinaus wird, wenn möglich, (3) ein virtuelles Objekt (das hinderliche CG Bild) angewählt und an eine andere Position bewegt. Bei (2) kann, weil das ganze CG Bild auf einmal angezeigt/nicht angezeigt wird, kein Teil des CG Bild wahlweise angezeigt werden. Bei (3) ist der Vorgang "Auswahl und Bewegung" des virtuellen Objekts mit Schwierigkeiten verbunden.
  • US 2001/005218 A1 offenbart, dass in einem System der Überlagerung eines Bildes des realen Raums durch ein virtuel les Objekt die Bestimmung für jedes Pixel, ob mit der Überlagerung eine Farbkorrektur basierend auf einer Luminanzfarbkombination des darunter liegenden Pixels erforderlich ist.
  • Ein Artikel von Valinetti A. et al. ("Model tracking for video-based virtual reality, IEEE 26. Sept 2001, Seiten 372–377) lehrt die Überlagerung eines Bildes des realen Raums durch ein virtuelles Objekt, die Berechnung einer Position und die Orientierung einer Kamera um den realen Raum zu fühlen, um die Qualität der Überlagerung zu erhöhen.
  • Die internationale Patentanmeldung WO 02/15110A ) offenbart ein Verfahren zum Anzeigen eines virtuellen Schaukastens einschliesslich der Korrektur einer Verzerrung wegen Brechung oder Projektion eines Lichts.
  • Die europäische Patentanmeldung EP-A-0772350 offenbart in einem System, das ein Überlagerungsbild, erzeugt aus einem Vordergrund- und einem Hintergundbild anzeigt, das Speichern eines Grossteils des Hintergrundbildes, verbunden mit einer individuellen Adresse, um die Renderinggeschwindigkeit zu erhöhen.
  • ZUSAMMENFASSUNG DER ERFINDUNG
  • Die vorliegende Erfindung wurde gemacht in Anbetracht der Probleme der herkömmlichen Techniken und betrifft hauptsächlich die Verwirklichung einer Videoüberlagerungsvorrichtung zum Überlagern eines von einem Benutzer betrachteten Bildes durch ein computererzeugtes Bild, bei dem CG Bildanzeige nicht in einem realen Raumbereich erfolgt, den der Benutzer mit einfachen Einstellungen betrachtet.
  • Gemäss den Aspekten der vorliegenden Erfindung wird ein Videoüberlagerungsverfahren wie in Anspruch 1 und eine Videoüberlagerungsvorrichtung wie in Anspruch 8 zur Verfügung gestellt.
  • Weitere Eigenschaften und Vorteile der vorliegenden Erfindung werden ersichtlich aus der nachstehenden Beschreibung in Verbindung mit den Begleitzeichnungen, in denen gleiche Bezugszeichen durchweg dieselben Namen oder gleiche Teile bezeichnen.
  • KURZE BESCHREIBUNG DER ZEICHNUNGEN
  • Die Begleitzeichnungen, die in der Spezifikation enthalten sind und einen Teil davon bilden, stellen Ausführungsbeispiele der Erfindung dar und dienen zusammen mit der Beschreibung dazu, die Grundlagen der Erfindung zu erklären.
  • 1A und 1B sind erklärende Ansichten, die die Konzeption der vorliegenden Erfindung zeigen, einen CG Eliminationsbereich unter Verwendung eines Rahmens zu bestimmen;
  • 2A bis 2D sind Beispiele eines CG Eliminationsrahmens;
  • 3 ist ein Blockdiagramm, das ein Beispiel des Aufbaus einer Video-Überlagerungsvorrichtung gemäss eines ersten Ausführungsbeispiels der vorliegenden Erfindung zeigt.
  • 4 ist ein Flussdiagramm, das ein Vorgehen der Video-Überlagerungsvorrichtung gemäss des ersten Ausführungsbeispiels zeigt;
  • 5A und 5B sind erklärende Ansichten eines Tasters, der in der Video-Überlagerungsvorrichtung gemäss eines zweiten Ausführungsbeispiels der vorliegenden Erfindung verwendet wird;
  • 6 ist ein Blockdiagramm, das ein Beispiel des Aufbaus der Video-Überlagerungsvorrichtung gemäss des zweiten Ausführungsbeispiels zeigt;
  • 7 ist ein Flussdiagramm, das das Vorgehen der Video-Überlagerungsvorrichtung gemäss des zweiten Ausführungsbeispiels zeigt;
  • 8 ist eine erklärende Ansicht, die ein Verfahren des Bestimmens eines CG Eliminationsbereichs in der Videoüberlagerungsvorrichtung gemäss eines dritten Ausführungsbeispiels der vorliegenden Erfindung zeigt;
  • 9A und 9B sind erklärende Ansichten des Verfahrens zum Bestimmen des CG Eliminationsbereichs durch die Hand (Hände) des Benutzers in der Video-Überlagerungsvorrichtung gemäss des dritten Ausführungsbeispiels;
  • 10 ist ein Blockdiagramm, das ein Beispiel des Aufbaus der Video-Überlagerungsvorrichtung gemäss des dritten Ausführungsbeispiels zeigt;
  • 11 ist ein Flussdiagramm, das das Vorgehen der Video-Überlagerungsvorrichtung gemäss des dritten Ausführungsbeispiels zeigt;
  • 12 ist ein Flussdiagramm, das das Vorgehen des Extrahierens des CG Eliminationsbereichs gemäss des dritten Ausführungsbeispiels zeigt; und
  • 13 ist ein Flussdiagramm, das das Vorgehen des Extrahierens des CG Eliminationsbereichs gemäss des dritten Ausführungsbeispiels zeigt.
  • DETAILLIERTE BESCHREIBUNG DER BEVORZUGTEN AUSFÜHRUNGSBEISPIELE
  • Bevorzugte Ausführungsbeispiele der vorliegenden Erfindung werden nun unter Bezug auf die Begleitzeichnungen im Detail beschrieben.
  • (Erstes Ausführungsbeispiel)
  • Ein Beispiel einer Video-Überlagerungsvorrichtung gemäss eines ersten Ausführungsbeispiels der vorliegenden Erfindung ist ein MR System zur Hilfsanzeige von Positionsinformation und Namen in Übereinstimmung mit einer Landschaft, gesehen von einem Benutzer mit Displaygerät.
  • Im vorliegenden Ausführungsbeispiel wird ein Videosucher HMD mit der Fähigkeit zu Positions-und Orientierungsmessung als Displaygerät verwendet. Da heisst, das HMD beinhaltet einen Positions- und Orientierungssensor und eine Kamera und ein Videobild von der ungefähren Ansichtspunktposition des Benutzers aus kann basierend auf Positions-und Orientierungsinformation (genauer Position und Orientierung der Kamera) des Kopfes des Benutzers erzielt werden.
  • Ferner wird im vorliegenden Ausführungsbeispiel, um dem Benutzer die Bestimmung eines Bereichs zu ermöglichen, auf dem er keine CG Bildüberlagerung (ein CG Eliminationsbereich) wünscht, eine Benutzerschnittstelle (im Weiteren als CG Eliminationsrahmen bezeichnet) mit mit dem CG Eliminationsbereich verbundenen Markern verwendet. Der CG Eliminationsbereich wird aus dem Videobild aus der Blickpunktposition des Benutzers extrahiert, indem ein im CG Eliminationsrahmen vorhandener Marker extrahiert wird.
  • 2A bis 2D zeigen Beispiele des CG Eliminationsrahmens (Verbindung zwischen Markern und CG Eliminationsbereich). Hier wird aus Vereinfachungsgründen der CG Eliminationsrahmen unter dem Zwang verwendet, dass er parallel dazu in einer im HDM vorhandenen Bildfühlebene der Kamera (Bildfühleinheit) verwendet wird. Kleine Kreise deuten die Marker an und ein schraffierter Teil den CG Eliminationsbereich. Der schraffierte Teil kann vohanden sein oder nicht. Ist er vorhanden, sollte er aus transparentem oder halbtransparentem Material bestehen oder es ist eine Eingabeeinrichtung zur Eingabe eines Bildes der realen Welt entsprechend dem schraffierten Teil erforderlich. Der CG Eliminationsrahmen hat einen Handgriff 21, den der Benutzer hält und einen Rahmen 22. Wenn der Benutzer ein überlagerndes Bild, wie in 1A gezeigt, betrachtet und er das überlagernde Bild mit Einblendung "Kirche" eliminieren will, nimmt er den Rahmen in seinem Ansichtsfeld und bewegt ihn an eine gewünschte Position (in einem Bereich, wo das CG Bild nicht angezeigt wird), während er das von der Kamera erzielte reale Raumbild betrachtet.
  • Wie nachstehend beschrieben, wird, da der mit dem Rahmen bestimmte Bereich durch die im Rahmen enthaltenen Marker und im MR System dieses Ausführungsbeispiels erzielt wird, der Bereich nicht durch das CG Bild überlagert und das vom CG Bild verdeckte Bild der realen Welt kann vom Benutzer gesehen werden. In einem nachstehend beschriebenen zweiten Ausführungsbeispiel ist das Display ein genauso aufgebauter optischer Sucher mit dem Unterschied, dass die reale Welt direkt durch das Display betrachtet wird.
  • In 2A ist in jeder der vier Ecken eines rechwinkligen Rahmens ein Satz von drei Markern vorhanden. Der CG Eliminationsbereich kann nur berechnet werden, wenn jeder der vier Markersätze extrahiert wird. In 2B umgeben Marker einen kreisförmigen Rahmen. Da ein Kreis durch drei Punkte definiert werden kann, wenn beliebige drei Marker extrahiert werden, kann sein interner Bereich als ein CG Eliminationsbereich berechnet werden. 2C zeigt eine Variante, bei der drei der Marker in 2B verwendet werden. Diese Anordnung zeigt Wirkung, wenn wie in 2 gezeigt, zum CG Eliminationsrahmen gehörende Marker das Erscheinen des Rahmens schwierig machen. In 2D wird ein Bereich (hier ein Kreis) vor einem richtungsweisenden Marker als ein CG Eliminationsbereich definiert. Diese Anordnung zeigt Wirkung, wenn ein Marker nicht im Grenzbereich zwischen einem CG Bildzeichnungsteil und einem CG Eliminationsbereich platziert werden soll.
  • Die Farbe des Rahmens kann unter Berücksichtigung dessen beliebig bestimmt werden, dass im Allgemeinen eine fluoreszierende Farbe oder dergleichen, die bei realen Objekten nicht auftritt, als Erfassungshilfe für den Marker verwendet wird und für den Rahmen vorzugsweise eine Farbe mit Kontrast zum Marker verwendet wird. Die Grösse des Rahmens (die Grösse des CG Eliminationsbereichs) wird beliebig bestimmt, aber wenn der Rahmen zu gross ist, ist der CG Eliminationsbereich zu gross und der meiste Teil des im Ansichtsfeld enthaltenen CG Bildes kann nicht angezeigt werden; ist der Rahmen zu klein, wird die Positionssteuerung des Rahmens schwierig. Dementsprechend wird eine beliebige Rahmengrösse von durchschnittlicher Handlänge eingesetzt (unter Berücksichtigung eines variablen Bereichs, da der Prozentsatz des Rahmens im Bild sich in Übereinstimmung mit der Entfernung von der Kamera zum Rahmen ändert).
  • 3 ist ein Blockdiagramm, das ein Beispiel des Aufbaus der Video-Überlagerungsvorrichtung gemäss eines ersten Ausführungsbeispiels der vorliegenden Erfindung zeigt.
  • In diesem Ausführungsbeispiel ist eine Bildfühleinheit 1 eine im HMD enthaltene Kamera. Die Bildfühleinheit 1 erzielt Videobilder des vom rechten und linken Auge des Benutzers betrachteten realen Raums und gibt diese Videobilder als Videosignale an eine Videoeingabeeinheit 2. Zu beachten ist, dass zum Vereinfachen der Erklärung die Verarbeitung für das Bild des rechten Auges und das Bild des linken Auges nicht getrennt erklärt wird. Es ist selbstverständlich, dass für das Erzeugen eine Überlagerungsbildes für das rechte Auge und eines Überlagerungsbildes für das linke Auge, die auf dem HMD angezeigt werden sollen, Verarbeitung für das rechte Auge und für das linke Auge durchgeführt wird.
  • Die Videoeingabeeinheit 2 wandelt das von der Bildfühleinheit 1 eingegebene Videosignal in ein zur Verarbeitung in einer Videoüberlagerungseinheit 6 und einer CG CG Eliminationsbereichextraktionseinheit 3 geeignetes Signalformat und gibt das Signal zur Videoüberlagerungseinheit 6 und zur CG Eliminationsbereichextraktionseinheit 3 aus.
  • Die CG Eliminationsbereichextraktionseinheit 3 extrahiert die im CG Eliminationsrahmen vorhandenen Marker aus den von der Videoeingabeeinheit 2 eingegebenen Videobildern und extrahiert einen CG Eliminationsbereich. Der Bereich auf dem Videobild ist der CG Eliminationsbereich. Dann gibt die CG Eliminationsbereichextraktionseinheit 3 den extrahierten CG Eliminationsbereich zur Videoüberlagerungseinheit 6.
  • Eine Bildfühlpositions- und Orientierungsmesseinheit 4 im HMD in diesem Ausführungsbeispiel überträgt Positions- und Orientierungsinformation der Bildfühleinheit 1 zu einer CG Erzeugungseinheit 5 in Übereinstimmung mit oder ohne einer Anforderung von dieser. Als Bildfühlpositions- und Orientierungsmesseinheit 4 können ein geomagnetischer Sensor, ein gyroskopischer oder optischer Sensor oder dergleichen verwendet werden.
  • Die CG Erzeugungseinheit 5 erzielt Positions- und Orientierungsinformation der Bildfühleinheit 1 aus der Bildfühlpositions- und Orientierungsmesseinheit 4 und schätzt die Position und Bildfühlrichtung der Bildfühleinheit 1. Da wenn die Position und Bildfühlrichtung der Bildfühleinheit 1 geschätzt werden, das Ansichtsfeld aus einem Linsenparameter der Bildfühleinheit 1 erzielt werden kann, liest die CG Erzeugungseinheit 5 im Ansichtsfeld der Bildfühleinheit 1 enthaltene Daten aus einer Dateneinheit 7, erzeugt ein CG Bild, das das durch die Bildfühleinheit 1 erzielte Videobild überlagert und gibt das CG Bild zur Videoüberlagerungseinheit 6 aus.
  • Die Videoüberlagerungseinheit 6 liest das Videobild aus der Videoeingabeeinheit 2, das CG Bild aus der CG Erzeugungseinheit 5 und den CG Eliminationsbereich aus der CG Eliminationsbereichextraktionseinheit 3. Dann überlagert die Videoüberlagerungseinheit 6 das CG Bild aus der CG Erzeugungseinheit 5 mit dem Videobild aus der Videoeingabeeinheit 2. Nun wird das CG Bild nicht in einen Teil gezeichnet, der sich mit dem von der CG Eliminationsbereichextraktionseinheit 3 erzielten CG Eliminationsbereich überschneidet. So wird ein überlagertes Videobild erzeugt, in dem nur das CG Bild aus dem CG Eliminationsbereich eliminiert ist.
  • Wenn die Form (Design) des CG Eliminationsrahmens ein Vergrösserungsglass oder dergleichen ist, ist der CG Elimina tionsrahmen, dessen Aussehen seiner Funktion entspricht als Benutzerschnittstelle vorzuziehen. Ferner kann die Anordnung so erfolgen, dass an Stelle des CG Bildzeichnens im CG Eliminationsbereich ein CG Bild mit hoher Transparenz (durch Steuern eines α Komponentwertes, der Transparenz anzeigt) gezeichnet wird oder ein CG Bild in Übereinstimmung mit der Art des CG Eliminationsrahmen geblinkt wird. Das von der Videoüberlagerungseinheit 6 erzeugte CG Bild wird zur Displayeinheit 8 (HMD in vorliegenden Beispiel) übertragen.
  • Die Dateneinheit 7 von z.B. einer Festplatte enthält Daten, die zur CG Erzeugungseinheit 5 geliefert werden sollen. Als in der Dateneinheit 7 gespeicherte Daten sind Textinformation, Panoramavideobilder, dreidimensionale CG Daten und dergleichen gespeichert. In Übereinstimmung mit einer Anforderung der CG Erzeugungseinheit 5 überträgt die Dateneinheit 7 geeignete Daten zur CG Erzeugungseinheit 5. Wird zum Beispiel von der CG Erzeugungseinheit 5 eine Anforderung für dreidimensionale CG Daten, die im Ansichtsfeld der Bildfühleinheit 1 angezeigt werden sollen empfangen, sendet die Dateneinheit 7 dreidimensionale, im Ansichtsfeld der Bildfühleinheit 1 enthaltene CG Daten zur CG Erzeugungseinheit 5. Zu beachten ist, dass die Dateneinheit 7 nicht auf eine Festplatte beschränkt ist, sondern dass jedes Speichermedium wie ein Band oder ein Speichergerät verwendet werden kann, solange es in der Lage ist, Daten zu speichern.
  • Die Displayeinheit 8, die im vorliegenden Beispiel ein HMD ist, zeigt das von der Videoüberlagerungseinheit 6 übertragene überlagernde Videobildsignal an. Zu beachten ist, dass beim MR System des vorliegenden Ausführungsbeispiels, wie im Fall des herkömmlich bekannten MR Systems das HDM eine Bilddisplayeinheit für das rechte Auge und und eine Bilddisplayeinheit für das linke Auge hat. Die Videoüberlagerungseinheit 6 erzeugt ein Displaybild für das rechte Auge und eine Displaybild für das linke Auge, liefert diese zum HDM und so kann der Benutzer das dreidimensionale CG Bilddisplay erfahren.
  • Als Nächstes wird unter Bezug auf das Flussdiagramm der 4 die Vorgangsweise des MR Systems als Beispiel für eine Video-Überlagerungsvorrichtung gemäss des vorliegenden Ausführungsbeispiels mit dem vorstehenden Aufbau beschrieben. Zu beachten ist, dass in der nachstehenden Beschreibung die Dateneinheit 7 die notwendigen Daten bereits enthält.
  • Bei Schritt S1 wird das System gestartet.
  • Bei Schritt S2 wird von der Bildfühleinheit 1 ein Videobild erzielt. Dieses Videobild wird von der Videoeingabeeinheit 2 in ein geeignetes Format gewandelt und zur Videoüberlagerungseinheit 6 und zur CG Eliminationsbereichextraktionseinheit 3 gesendet.
  • Bei Schritt S3 werden aus dem der CG Eliminationsbereichextraktionseinheit 3 eingegebenen Videobild die Marker extrahiert und es wird ein CG Eliminationsbereich berechnet. Dann wird der erzielte CG Eliminationsbereich zur Videoüberlagerungseinheit 6 gesendet.
  • Bei Schritt S4 misst die Bildfühlpositions- und Orientierungsmesseinheit 4 die Position und Orientierung der Bildfühleinheit 1. Die gemessene Positions- und Orientierungsinformation wird zur CG Erzeugungseinheit 5 gesendet.
  • Bei Schritt S5 schätzt die CG Erzeugungseinheit 5 das Ansichtsfeld der Bildfühleinheit 1 aufgrund der Positions- und Orientierungsinformation, übertragen aus der Bildfühlpositions- und Orientierungsmesseinheit 4 und erzielt aus der Dateneinheit 7 Daten, die in einem Bereich innerhalb des Ansichtsfeldes der Bildfühleinheit 1 enthalten sind.
  • Bei Schritt S6 erzeugt die CG Erzeugungseinheit 5 unter Verwendung der von der Dateneinheit 7 erzielten Daten ein CG Bild und sendet das erzeugte Videobild zur Videoüberlagerungseinheit 6.
  • Bei Schritt S7 überlagert die Videoüberlagerungseinheit 6 das von der Videoeingabeeinheit 2 übertragene Videobild mit dem von der CG Erzeugungseinheit 5 übertragenen CG Bild. Nun wird das CG Bild nicht mit dem Teil des CG Eliminationsbereichs aus der CG Eliminationsbereichextraktionseinheit 3 überlagert. So wird ein überlagertes Videobild erzeugt, bei dem das CG Bild aus dem CG Eliminationsbereich eliminiert ist. Das überlagerte Videobild wird zur Displayeinheit 8 gesendet.
  • Bei Schritt S8 wird die von der Videoüberlagerungseinheit 6 übertragene Videobildinformation auf der Displayeinheit 8 angezeigt.
  • Dann wird bei Schritt S9 geprüft, ob das System zu Ende ist. Wenn JA, wird das System bei Schritt S10 beendet, sonst kehrt der Ablauf zu Schritt S2 zurück, um die vorstehend beschriebene Verarbeitung zu wiederholen.
  • Wie vorstehend beschrieben, kann gemäss des ersten Ausführungsbeispiels, in einem MR System zur Anzeige, wenn ein Benutzer das HMD trägt und z.B. eine Landschaft, Positionsinformation und Namen betrachtet in Übereinstimmung mit der Landschaft, auch wenn ein Objekt von Interessse von einem CG verborgen wird, dieses Objekt durch Halten des CG Eliminationsrahmens in einer entsprechenden Position betrachtet werden.
  • (Zweites Ausführungsbeispiel)
  • Ein Beispiel der Video-Überlagerungsvorrichtung gemäss eines zweiten Ausführungsbeispiels der vorliegenden Erfindung ist ein medizinisches Hilfssystem, um einem Arzt ein Bild darzustellen, als wäre das Innere eines Patientenkörpers visualisiert. In diesem System wird ein optischer HMD Sucher als Display verwendet, da die Anzeigeauflösung eines Videosuchers HMD begrenzt ist.
  • Ferner wird als Benutzerschnittstelle zum Bestimmen des CG Eliminationsbereichs ein Taster als Positions- und Orien tierungsinformationseingabegerät verwendet. 5A und 5B zeigen ein Beispiel des Tasters. Zu beachten ist, dass in der nachstehenden Beschreibung angenommen wird, dass eine Blickpunktsposition und Orientierung des Benutzers festgelegt ist. Eine relative Beziehung zwischen Blickpunktposition und Orientierung des Benutzers und des Tasters wird als praktisch angesehen. Ein Taster 51 hat z.B. die Form eines Stiftes und beinhaltet einen Positions- und Orientierungssensor. Eine Tasterendposition wird geschätzt aus einer Entfernung d zwischen der vom Positions- und Orientierungssensor erfassten Position und einem entfernten Ende des Tasters und ein vom Ende des Tasters bestimmter Bereich wird aus der Tasterendposition und einer erfassten Neigung Θ des Tasters erzielt. Im vorliegenden Ausführungsbeispiel wird ein Bereich, der einem virtuellen Kreis 52 in Kontakt mit dem Tasterende entspricht als CG Eliminationsbereich definiert. Ein eliptischer Bereich, erzielt aus dem virtuellen Kreis 52 in Übereinstimmung mit der Neigung Θ des Tasters, ist ein CG Eliminationsbereich. Zu beachten ist, dass wenn die Neigung des Tasters (Orientierungsinformation) nicht erzielt werden kann, der virtuelle Kreis 52 verwendet werden kann. Die Positions- und Orientierungsinformation des Tasters und Information über einen AN-AUS Schalter (nicht gezeigt) können von aussen über eine mit dem Taster oder einem Kommunikator verbundene Leitung erzielt werden.
  • Beim vorliegenden Ausführungsbeispiel wird das Positions- und Orientierungseingabegerät als Benutzerschnittstelle verwendet weil:
    • (1) beim optischen HMD Sucher, in dem anders als beim Video HMD Sucher im Allgemeinen keine Kamera enthalten ist, zur Bestimmung des CG Eliminationsbereichs durch Bildverarbeitung (wie im ersten Ausführungsbeispiel) eine Kamera erforderlich ist,
    • (2) es in einem Operationsunterstützungssystem, um es einem Arzt zu ermöglichen, immer den Zustand in der Umgebung des verletzten Teils des Patienten und ebenso die positionelle Beziehung zwischen dem verletzen Teil und medizinischer Ausstattung und dergleichen zu sehen, es von Bedeutung ist, diese positionellen Beziehungen mit einem Sensor oder dergleichen zu messen und die Information dem Arzt in Echtzeit darzustellen. So wird angenommen, dass eine Umgebung für die Durchführung von Positions- und Orientierungsmessung mit einem gewissen Grad an Genauigkeit vorliegt und
    • (3) weil in einem Fall, in dem eine Operation mit einem Operationsunterstützungssystem, auch wenn die Umgebung eines verletzten Teils mit Hilfe des CG Bild angezeigt wird der Fall, dass der Arzt ein CG Bild eines Teils in der Nähe seiner/ihrer Hände anzeigen will und der Fall, dass der Arzt eine solche CG Bildanzeige nicht will vorstellbar sind.
  • In Anbetracht dieser Fälle kann der AN-AUS Knopf des Tasters beim AN-AUS der CG Eliminationsbereichsdefinition liegen.
  • Wenn eine medizinischen Ausrüstung mit einem Positionsund Orientierungssensor ausgestattet ist, kann das CG Bilddisplayverfahren ganz einfach durch Wählen eines "medizinischen Instruments mit Sensor" oder eines "medizinischen Instruments ohne Sensor" gewählt werden.
  • 6 ist ein Blockdiagramm, das ein Beispiel des Aufbaus des MR Systems gemäss des zweiten Ausführungsbeispiels zeigt.
  • Eine im HMD als Display 18, das später beschrieben wird, enthaltene Kopfpositions- und Orientierungsmesseinheit 14 überträgt Kopfpositions- und Orientierungsinformation eines Benutzers zur CG Eliminationsbereichextraktionseinheit 13 und zur CG Erzeugungseinheit 15 in Obereinstimmung mit oder ohne eine Anforderung aus der CG Eliminationsbereichextraktionseinheit 13 und der CG Erzeugungseinheit 15. Als Kopfpositions- und Orientierungsmesseinheit 14 können ein geomagnetischer Sensor, eine gyroskopischer oder optischer Sensor oder dergleichen verwendet werden.
  • Eine Tasterzustandserfassungseinheit 19 erzielt Tasterinformation (Position, Orientierung, Knopf AN-AUS Zustand und dergleichen) eines Tasters 20 und überträgt in Übereinstimmung mit oder ohne Anforderung der CG Eliminationsbereichextraktionseinheit 13 die Information zu dieser.
  • Die CG Eliminationsbereichextraktionseinheit 13 berechnet einen CG Eliminationsbereich aus den von der Kopfpositions- und Orientierungsmesseinheit 14 eingegebenen Positionsund Orientierungsdaten und der von der Tasterzustandserfassungseinheit 19 eingegebenen Tasterinformation. Wie vorstehend beschrieben, kann im vorliegenden Ausführungsbeispiel eine Endposition des Tasters auf einer Bildebene und die Orientierung des Tasters zur Bildebene berechnet werden aus Position und Orientierung des Kopfes und Position und Orientierung des Tasters. Ein elliptischer Bereich (Elliptik wird bestimmt aus der Information über die Orientierung des Tasters zur Bildebene) ausgehend vom Ende des Tasters auf der Bildebene wird als CG Eliminationsbereich definiert. Die CG Eliminationsbereichextraktionseinheit 13 gibt den extrahierten CG Eliminationsbereich an eine Videoüberlagerungseinheit 16 aus.
  • Die CG Erzeugungseinheit 15 gibt die Kopfpositions- und Orientierungsinformatin der Kopfpositions- und Orientierungsmesseinheit 14 ein und schätzt Position und Richtung des Kopfes. Da das Ansichtsfeld des Benutzers erzielt werden kann, wenn Position und Orientierung geschätzt werden, gibt die CG Erzeugungseinheit 15 Daten aus einer Dateneinheit 17 ein, die einem Teil im Ansichtsfeld des Benutzers entsprechen, erzeugt ein CG Bild, das sich mit dem Ansichtsfeld des Benutzers überschneidet und gibt es zur Videoüberlagerungseinheit 16 aus.
  • Die Videoüberlagerungseinheit 16 liest das CG Bild aus der CG Erzeugungseinheit 15 und den CG Eliminationsbereich aus der CG Eliminationsbereichextraktionseinheit 13. Dann verarbeitet die Videoüberlagerungseinheit 16 das CG Bild basierend auf den CG Eliminationsbereichsdaten der CG Elimi nationsbereichextraktionseinheit 13 und überträgt das CG Bild zur Displayeinheit 18.
  • Die Dateneinheit 17 von z.B. einer Festplatte enthält Daten, die zur CG Erzeugungseinheit 15 geliefert werden sollen. Als in der Dateneinheit 17 gespeicherte Daten sind Textinformation, Panoramavideobilder, dreidimensionale CG Daten und dergleichen gespeichert. In Übereinstimmung mit einer Anforderung der CG Erzeugungseinheit 15 überträgt die Dateneinheit 17 geeignete Daten zur CG Erzeugungseinheit 15. Wird zum Beispiel von der CG Erzeugungseinheit 15 eine Anforderung für dreidimensionale CG Daten, die im Ansichtsfeld des Benutzers angezeigt werden sollen empfangen, sendet die Dateneinheit 17 dreidimensionale, im Ansichtsfeld des Benutzers enthaltene CG Daten zur CG Erzeugungseinheit 15. Zu beachten ist, dass die Dateneinheit 17 nicht auf eine Festplatte beschränkt ist, sondern dass jedes Speichermedium wie ein Band oder ein Speichergerät verwendet werden kann, solange es in der Lage ist, Daten zu speichern.
  • Das Display 18 ist hier ein optischer HMD Sucher. Das Display 18 zeigt das von der Videoüberlagerungseinheit 16 übertragene Videobildsignal, so dass das Videobild die reale Welt, gesehen durch einen Halbspiegel, überlappt durch z.B. Projizieren des Videosignalbildes auf den Halbspiegel.
  • Als Nächstes wird unter Bezug auf das Flussdiagramm der 7 die Vorgangsweise des MR Systems als Beispiel für eine Video-Überlagerungsvorrichtung gemäss des zweiten Ausführungsbeispiels mit dem vorstehenden Aufbau beschrieben. Zu beachten ist, das in der nachstehenden Beschreibung die Dateneinheit 17 die notwendigen Daten bereits enthält.
  • Bei Schritt S11 wird das System gestartet.
  • Bei Schritt S12 erfasst die Tasterzustandserfassungseinheit 19 den Zustand des Tasters. Die erfasste Information wird zur CG Eliminationsbereichextraktionseinheit 13 gesendet.
  • Bei Schritt S13 misst die Kopfpositions- und Orientierungsmesseinheit 14 Position und Orientierung des Benutzers. Die gemessene Positions- und Orientierungsinformation wird zur CG Eliminationsbereichextraktionseinheit 13 und zur CG Erzeugungseinheit 15 gesendet.
  • Bei Schritt S14 berechnet die CG Eliminationsbereichextraktionseinheit 13 einen CG Eliminationsbereich basierend auf von der Tasterzustandserfassungseinheit 19 eingegebenen Tasterpositions- und Orientierungsinformation und auf von der Kopfpositions- und Orientierungsmesseinheit 14 eingegebenen Kopfpositions- und Orientierungsinformation. Der CG Eliminationsbereich wird zur Videoüberlagerungseinheit 16 gesendet.
  • Bei Schritt S15 schätzt die CG Erzeugungseinheit 15 das Ansichtsfeld des Benutzer aus von der Kopfpositions- und Orientierungsmesseinheit 14 übertragenen Kopfpositions- und Orientierungsinformation und erzielt aus der Dateneinheit 17 Daten, die innerhalb des Ansichtsfeldes des Benutzers liegen.
  • Bei Schritt S16 erzeugt die CG Erzeugungseinheit 15 unter Verwendung der aus der Dateneinheit 17 erzielten Daten ein CG Bild und sendet das erzeugte Videobild zur Videoüberlagerungseinheit 16.
  • Bei Schritt S17 verarbeitet die Videoüberlagerungseinheit 16 das von der CG Erzeugungseinheit 15 übertragene CG Bild basierend auf den CG Eliminationsbereichdaten der CG Eliminationsbereichextraktionseinheit 13 (das CG Bild wird nicht in einen Teil des von der CG Eliminationsbereichextraktionseinheit 13 übertragenen CG Eliminationsbereichs gezeichnet). Das Videobild wird zur Displayeinheit 18 gesendet.
  • Bei Schritt S18 wird die von der Videoüberlagerungseinheit 16 übertragene Videobildinformation auf dem Display 18 als einem optischen HMD Sucher angezeigt, womit der Benutzer das überlagernde CG Bild im realen Raum erkennt.
  • Dann wird bei Schritt S19 geprüft, ob das System zu Ende ist. Wenn JA wird das System beendet, sonst kehrt der Ablauf zu Schritt S12 zurück, um die vorstehend beschriebene Verarbeitung zu wiederholen.
  • Wie vorstehend beschrieben, kann gemäss des zweiten Ausführungsbeispiels, wenn eine Operation unter Verwendung eines Operationshilfssystems durchgeführt wird, sehr leicht CG Bildanzeige sehr nahe an den Händen oder nicht so nahe an den Händen gewählt werden.
  • (Drittes Ausführungsbeispiel)
  • In der Video-Überlagerungsvorrichtung gemäss des ersten Ausführungsbeispiels wird der in 2A bis 2D gezeigte Rahmen zur Bestimmung des CG Eliminationsbereichs verwendet. Die Eigenheit der vorliegenden Erfindung ist es, dass ein CG Eliminationsbereich nicht mit dem Rahmen, sondern mit den Händen des Benutzers in der Video-Überlagerungsvorrichtung des ersten Ausführungsbeispiels bestimmt werden kann. Genauer wird ein Bereich, umgeben von den Händen des Benutzers (schraffierter Bereich) wie in den 9A und 9B gezeigt, als CG Eliminationsbereich erkannt. Das heisst, der Benutzer bildet mit seinen/ihren Händen eine Augenöffnung und bestimmt damit einen gewünschten Bereich als CG Eliminationsbereich. 9A zeigt ein Beispiel des Bestimmens eines CG Eliminationsbereichs mit beiden Händen und 9B ein Beispiel des Bestimmens des CG Eliminationsbereichs mit einer Hand. So kann der CG Eliminationsbereich mit Händen bestimmt werden und der Rahmen ist nicht notwendig. Ferner kann die Bestimmung des CG Eliminationsbereichs durch eine natürliche Handlung des Benutzers erfolgen.
  • Betrachtet der Benutzer ein überlagertes Bild wie in 1 und will er ein Bild löschen, das z.B. auf der Einblendung "Kirche" liegt, bildet er eine Augenöffnung an der gewünschten Position (Bereich, an dem das CG Bild nicht angezeigt werden soll) (siehe 8)
  • Die Video-Überlagerungsvorrichtung des vorliegenden Ausführungsbeispiels hat einen solchen Aufbau, um den Bereich der Hände des Benutzers aus einem Videobild aus dem Ansichtsfeld des Benutzers so zu extrahieren, dass die Hand (Hände) immer sichtbar ist (sind) und zum Durchführen von Maskenverarbeitung des Nichtzeichnens eines CG Bildes in diesem Bereich (Visualisieren eines Objekts, das aus Benutzersicht durch das CG Bild verdeckt wird). Dieser Aufbau zum Durchführen von Maskenverarbeitung wird verwirklicht z.B. unter Verwendung einer Farbtonschlüsseltechnik, vorgeschlagen in der nichtgeprüften japanischen Patentschrift Nr. 2002-95535 .
  • Da im Allgemeinen die Maskenverarbeitung der Hand einen Vorgang der Extrahierung des Bereichs der Hand (Hände) des Benutzers beinhalten, kann der interne Bereich der Hand (Hände) aus einem Videobild vom Ansichtsfeld des Benutzers leicht extrahiert werden.
  • Das heisst, die Video-Überlagerungsvorrichtung des vorliegenden Ausführungsbeispiels kann verwirklicht werden durch blosse zusätzliche Verarbeitung des Extrahierens des internen Bereichs der Hand (Hände) (schraffierter Bereich in 9A und 9B) im Videobild vom Ansichtsfeld des Benutzers in das MR System, das zu Handmaskenverarbeitung in der Lage ist.
  • Wie nachstehend beschrieben, wird der Bereich der Hand (Hände) des Benutzers aus dem Videobild von der Ansichtsfeldposition des Benutzers extrahiert und ferner wird der handinterne Bereich (Augenöffnungsbereich) extrahiert, wodurch ein bestimmter Bereich erzielt wird.
  • Das Extrahieren des Handbereichs des Benutzers im Videobild vom Ansichtsfeld des Benutzers und die Beschränkung des Zeichnens im handinternen Bereich lösen das Problem, dass die in der Sicht des Benutzers positionierte Hand (Hände) vom CG Bild verborgen wird und ermöglichen klare Visualisierung eines vorbestimmten Bereichs im realen Raum, ohne Behinderung durch ein CG Bild. So wird im vorliegenden Ausführungsbeispiel die Verarbeitung durch Behandeln des Handbereichs und des handinternen Bereichs als CG Eliminationsbereich vereinfacht.
  • Die Anordnung kann so erfolgen, dass der Handbereich getrennt vom CG Eliminationsbereich (handinterner Bereich) behandelt wird. In diesem Fall wird ein fleischfarbiger Teil als ein Handbereich extrahiert und sein interner Bereich wird als CG Eliminationsbereich erfasst. Nun kann es zum Zweck der leichten Extrahierung des Handbereichs eingerichtet werden, dass der Benutzer einen blauen Handschuh trägt, dann wird ein blauer Bereich als ein Handbereich extrahiert und ein fleischfarbiges CG Bild wird vom Handbereich überlagert und im CG Eliminationsbereich wird kein CG Bild angezeigt.
  • 10 ist ein Blockdiagramm, das den Aufbau eines MR Systems als Beispiel für die Video-Überlagerungsvorrichtung gemäss des dritten Ausführungsbeispiels zeigt. In 10 haben Bestandteile, die denen in 3 entsprechen dieselben Bezugszahlen und ihre Beschreibung unterbleibt.
  • Die CG Eliminationsbereichextraktionseinheit 3' extrahiert einen Handbereich und einen vom Handbereich umgebenen Bereich (handinterner Bereich) aus einem von der Videoeingabeeinheit 2 eingegebenen Videobild und wenn nötig aus Daten über Handbereichsextraktion von der Dateneinheit 7 (zum Beispiel Daten, die die vorstehend beschriebene besondere Farbe definieren). Die CG Eliminationsbereichextraktionseinheit 3' extrahiert mindestens den handinternen Bereich als CG Eliminationsbereich und gibt den extrahierten CG Eliminationsbereich zur Videoüberlagerungseinheit 6 aus.
  • Die Bildfühlpositions- und Orientierungsmesseinheit 4 ist im HMD enthalten. Mit oder ohne Anforderung durch die CG Erzeugungseinheit 5 überträgt die Bildfühlpositions- und Orientierungsmesseinheit 4 die Positions- und Orientierungsinformation der Bildfühleinheit 1 zur CG Erzeugungseinheit 5. Als Bildfühlpositions- und Orientierungsmesseinheit 4 können ein geomagnetischer Sensor, ein gyroskopischer oder optischer Sensor oder dergleichen verwendet werden.
  • Die CG Erzeugungseinheit 5 erzielt Position und Orientierungsinformation der Bildfühleinheit 1 aus der Bildfühlpositions- und Orientierungsmesseinheit 4 und schätzt die Position und Bildfühlrichtung der Bildfühleinheit 1. Da wenn die Position und Bildfühlrichtung der Bildfühleinheit 1 geschätzt werden, das Ansichtsfeld aus einem Linsenparameter der Bildfühleinheit 1 erzielt werden kann, liest die CG Erzeugungseinheit 5 im Ansichtsfeld der Bildfühleinheit 1 enthaltene Daten aus einer Dateneinheit 7, erzeugt ein CG Bild, das das durch die Bildfühleinheit 1 erzielte Videobild überlagert und gibt das CG Bild zur Videoüberlagerungseinheit 6 aus.
  • Die Videoüberlagerungseinheit 6 liest das Videobild aus der Videoeingabeeinheit 2, das CG Bild aus der CG Erzeugungseinheit 5 und den CG Eliminationsbereich aus der CG Eliminationsbereichextraktionseinheit 3. Dann überlagert die Videoüberlagerungseinheit 6 das CG Bild aus der CG Erzeugungseinheit 5 mit dem Videobild aus der Videoeingabeeinheit 2. Nun wird das CG Bild nicht in einen Teil gezeichnet, der sich mit dem von der CG Eliminationsbereichextraktionseinheit 3 erzielten CG Eliminationsbereich überschneidet. So wird ein überlagertes Videobild erzeugt, in dem nur das CG Bild aus dem CG Eliminationsbereich eliminiert ist.
  • Ferner kann die Anordnung so erfolgen, dass an Stelle der Beschränkung durch das CG Bildzeichnen im CG Eliminationsbereich ein CG Bild mit hoher Transparenz (durch Steuern eines α Komponentwertes, der Transparenz anzeigt) gezeichnet wird oder ein CG Bild in Übereinstimmung mit der Art des CG Eliminationsrahmens blitz-gezeichnet wird. Das von der Videoüberlagerungseinheit 6 erzeugte CG Bild wird zur Displayeinheit 8 (HMD in vorliegenden Beispiel) übertragen.
  • Die Dateneinheit 7 von z.B. einer Festplatte enthält Daten, die zur CG Erzeugungseinheit 5 und zur CG Eliminationsbereichextraktionseinheit 3' geliefert werden sollen. Als in der Dateneinheit 7 gespeicherte Daten sind Textinformation, Panoramavideobilder, dreidimensionale CG Daten, ferner Daten die zum Extrahieren eines bestimmten Bereichs nötig sind, wie eines Handbereichs oder eines handinternen Bereichs (Daten, die eine bestimmte Farbe oder dergleichen definieren) und dergleichen gespeichert.
  • In Übereinstimmung mit einer Anforderung der CG Erzeugungseinheit 5 überträgt die Dateneinheit 7 geeignete Daten zur CG Erzeugungseinheit 5. Wird zum Beispiel von der CG Erzeugungseinheit 5 eine Anforderung für dreidimensionale CG Daten, die im Ansichtsfeld der Bildfühleinheit 1 überlagert werden sollen empfangen, sendet die Dateneinheit 7 dreidimensionale, im Ansichtsfeld der Bildfühleinheit 1 enthaltene CG Daten zur CG Erzeugungseinheit 5.
  • In Übereinstimmung mit einer Anforderung der CG Eliminationsbereichextraktionseinheit 3' überträgt die Dateneinheit 7 geeignete Daten zur CG Eliminationsbereichextraktionseinheit 3'.
  • Die Displayeinheit 8, die im vorliegenden Beispiel ein HMD ist, zeigt das von der Videoüberlagerungseinheit 6 übertragene überlagerte Videobildsignal an. Zu beachten ist, dass beim MR System des vorliegenden Ausführungsbeispiels, wie im Fall des herkömmlich bekannten MR Systems das HMD eine Bilddisplayeinheit für das rechte Auge und und eine Bilddisplayeinheit für das linke Auge hat. Die Videoüberlagerungseinheit 6 erzeugt ein Displaybild für das rechte Auge und eine Displaybild für das linke Auge, liefert diese zum HMD und so kann der Benutzer das dreidimansionale CG Bilddisplay erfahren.
  • Als Nächstes wird unter Bezug auf das Flussdiagramm der 11 die Vorgangsweise des MR Systems als Beispiel für eine Video-Überlagerungsvorrichtung gemäss des dritten Ausführungsbeispiels mit dem vorstehenden Aufbau beschrieben. Wie aus dem Vergleich zwischen den Flussdiagrammen der 11 und 4 ersichtlich, ist das Vorgehen der Video-Überlagerungsvorrichtung des vorliegenden Ausführungsbeispiels dasselbe, wie das im ersten Ausführungsbeispiel mit dem Unterschied, dass die Reihenfolge der Schritte beim Aufnehmen der Bildfühlpositions- und Orientierungsinformation und der Schritt der Extraktion des CG Eliminationsbereichs vertauscht ist und dass der Inhalt der CG Eliminationsbereichsextraktionsverarbeitung verschieden ist. Zu beachten ist, dass in der nachstehenden Beschreibung die Dateneinheit 7 notwendige Daten bereits enthält.
  • Bei Schritt S1 wird das System gestartet.
  • Bei Schritt S2 wird von der Bildfühleinheit 1 ein Videobild erzielt. Dieses Videobild wird von der Videoeingabeeinheit 2 in ein geeignetes Format gewandelt und zur Videoüberlagerungseinheit 6 und zur CG Eliminationsbereichextraktionseinheit 3 gesendet.
  • Bei Schritt S3' misst die Bildfühlpositions- und Orientierungsmesseinheit 4 die Position und Orientierung der Bildfühleinheit 1. Die gemessene Positions- und Orientierungsinformation wird zur CG Erzeugungseinheit 5 gesendet.
  • Bei Schritt S4' wird aus dem der CG Eliminationsbereichextraktionseinheit 3' eingegebenen Videobild ein CG Eliminationsbereich berechnet.
  • Als Nächstes werden die Details des Schrittes S4', der ein für das vorliegende Ausführungsbeispiel charakteristischer Schritt ist, unter Bezug auf das Flussdiagramm der 12 beschrieben.
  • Zuerst wird ein Beispiel eines Falles beschrieben, in dem ein Handbereich unter Verwendung von Bildverarbeitung zum Extrahieren einer besonderen Farbe extrahiert wird.
  • Bei Schritt S4a-1 liest die CG Eliminationsbereichextraktionseinheit 3' wenn nötig, Daten über einen Handbereich aus der Dateneinheit 7. Als Daten über einen Handbereich wird Information über Fleischfarbe der Hand oder dergleichen verwendet. Im Allgemeinen werden die Daten über einen Handbereich auf einmal gelesen, aber in einem Fall, bei dem die Position einer sich in Echtzeit ändernden Lichtquelle gemessen wird und die Fleischfarbendaten in Übereinstimmung mit der sich ändernden Lichtquellenposition erforderlich sind, ist der Schritt notwendig.
  • Bei Schritt S4a-2 wird ein Handbereich aus dem in die CG Eliminationsbereichextraktionseinheit 3' eingegebenen Videobild aus den Daten über den Handbereich extrahiert.
  • Bei Schritt S4a-3 wird ein handinterner Bereich auf dem Videobild extrahiert.
  • Bei Schritt S4a-4 werden der Handbereich und der interne Bereich des Handbereichs auf dem Videobild als ein CG Eliminationsbereich extrahiert.
  • Die Anordnung kann so erfolgen, dass Schritt S4 durchgeführt wird unter Verwendung jedes anderen als des vorstehenden Handbereichextraktionsverfahrens bei der Handmaskenverarbeitung.
  • Der berechnete CG Eliminationsbereich wird zur Videoüberlagerungseinheit 6 gesendet.
  • Bei Schritt S5 schätzt die CG Erzeugungseinheit 5 das Ansichtsfeld der Bildfühleinheit 1 aufgrund der Positionsund Orientierungsinformation, übertragen aus der Bildfühlpositions- und Orientierungsmesseinheit 4 und erzielt aus der Dateneinheit 7 Daten, die in einem Bereich innerhalb des Ansichtsfeldes der Bildfühleinheit 1 enthalten sind.
  • Bei Schritt S6 erzeugt die CG Erzeugungseinheit 5 unter Verwendung der von der Dateneinheit 7 erzielten Daten ein CG Bild und sendet das erzeugte Videobild zur Videoüberlagerungseinheit 6.
  • Bei Schritt S7 überlagert die Videoüberlagerungseinheit 6 das von der Videoeingabeeinheit 2 übertragene Videobild mit dem von der CG Erzeugungseinheit 5 übertragenen CG Bild. Nun wird das CG Bild nicht mit dem Teil des CG Eliminationsbe reichs aus der CG Eliminationsbereichextraktionseinheit 3 überlagert. So wird ein überlagertes Videobild erzeugt, bei dem das CG Bild aus dem CG Eliminationsbereich eliminiert ist. Das überlagerte Videobild wird zur Displayeinheit 8 gesendet.
  • Bei Schritt S8 wird die von der Videoüberlagerungseinheit 6 übertragene Videobildinformation auf der Displayeinheit 8 angezeigt.
  • Dann wird bei Schritt S9 geprüft, ob das System zu Ende ist. Wenn JA, wird das System bei Schritt S10 beendet, sonst kehrt der Ablauf zu Schritt S2 zurück, um die vorstehend beschriebene Verarbeitung zu wiederholen.
  • Wie vorstehend beschrieben, kann gemäss des dritten Ausführungsbeispiels, in einem MR System zur Anzeige, wenn ein Benutzer das HMD trägt und z.B. eine Landschaft, Positionsinformation und Namen betrachtet in Übereinstimmung mit der Landschaft, auch wenn ein Objekt von Interessse von einem CG Bild verborgen wird, dieses Objekt durch Bilden einer Augenöffnung mit der Hand (den Händen) des Benutzers in einer entsprechenden Position betrachtet werden.
  • (Viertes Ausführungsbeispiel)
  • Im vorstehend beschriebenen ersten und zweiten Ausführungsbeispiel wird das HMD als Displayeinheit verwendet, aber die vorliegende Erfindung ist anwendbar auf ein Head Up Display (HUD) optisches Sucher AR System wie offenbart in der japanischen ungeprüften Patentanmeldung Nr. 10-061711 , in der ein überlagertes Bild in Übereinstimmung mit einem Displaygerät und einer Ansichtspunktposition erzeugt wird.
  • (Weiteres Ausführungsbeispiel)
  • Im zweiten Ausführungsbeispiel wird das optische Sucher HMD verwendet, aber das zweite Ausführungsbeispiel ist auch anwendbar mit einem Videosucher HMD wie im ersten Ausführungsbeispiel beschrieben.
  • Im dritten Ausführungsbeispiel wird ein CG Eliminationsbereich unter Verwendung von Maskenverarbeitung ohne jedes Mittel wie einen Rahmen bestimmt, aber Maskenverarbeitung kann auch bei der Bestimmung des CG Eliminationsbereichs unter Verwendung eines Rahmens benutzt werden, wie in 2A bis 2D gezeigt. Dann hat ein Rahmen mit der in 2A bis 2D gezeigten Form eine besondere Farbe und ein CG Eliminationsbereich wird definiert als "interner Bereich der besonderen Farbe", womit gleich CG Extraktionsverarbeitung wie im dritten Ausführungsbeispiel durchgeführt werden kann.
  • In diesem Fall ist der Rahmen nicht notwendigerweise mit Markern ausgestattet. Ferner ist die besondere Farbe nicht auf fleischfarben festgelegt, sondern kann blau, rot oder jede Farbe sein, aber vorzugsweise eine Farbe, die nicht in einer Hintergrundfarbe enthalten ist.
  • Im dritten Ausführungsbeispiel wird ein Handbereich unter Verwendung von Maskenverarbeitung extrahiert, aber der Handbereich kann durch andere Verarbeitung als Maskenverarbeitung extrahiert werden. Zum Beispiel kann die Anordnung so sein, dass der Benutzer einen Handschuh mit mehreren Positionssensoren trägt und der Handbereich aus der Ausgabe der Sensoren extrahiert wird.
  • Nun wird die Verarbeitung beim CG Eliminationsbereichsextraktionschritt S4' zum Extrahieren eines Handbereichs durch das vorstehende Verfahren unter Bezug auf das Flussdiagramm der 13 beschrieben.
  • Bei Schritt S4b-1 wird die Position der Hand gemessen.
  • Bei Schritt S4b-2 wird ein Handbereich auf einem Videobild aus der Blickpunktpositon des Benutzers aus der gemessenen Handpositionsinformation und der Blickpunktpositionsinformation des Benutzers berechnet.
  • Bei Schritt S4b-3 wird ein interner Bereich des Handbereichs auf dem Videobild aus der Blickpunktposition des Benutzers extrahiert.
  • Bei Schritt S4b-4 wird ein CG Eliminationsbereich aus dem Handbereich und dem internen Bereich des Handbereichs auf dem Videobild aus der Blickpunktposition des Benutzers berechnet.
  • Danach wird die Verarbeitung wie bei Schritt S5 und den nachfolgenden Schritten durchgeführt.
  • Zu beachten ist, dass zusätzlich zu den vorstehend beschriebenen Ausführungsbeispielen die vorliegende Erfindung den Fall enthält, bei dem ein Softwareprogramm zum Verwirklichen der Funktionen der vorstehend beschriebenen Ausführungsbeispiele direkt aus einem Aufzeichnungsmedium oder über Kabel/Radiokommunikation an ein System oder eine Vorrichtung geleitet wird, die einen Rechner mit der Fähigkeit beinhalten, das Programm auszuführen und wobei der Rechner des Systems oder der Vorrichtung das zugeleitete Programm ausführt und damit äquivalente Funktionen erzielt.
  • Entsprechend verwirklicht zur Verwirklichung der funktionellen Verarbeitung der vorliegenden Erfindung der dem Rechner zugeleitete und dort installierte Programmkode selbst die vorliegende Erfindung. Das heisst, das Rechnerprogramm selbst, das die funktionelle Verarbeitung der vorliegenden Erfindung verwirklichen soll, ist in dieser enthalten.
  • In diesem Fall kann das Programm in jeder Form, wie einem Objektkode, einem interpreterausführbarem Programm und einem Betriebssystem zugeleiteten Scriptdaten solange verwendet werden, als es Programmfunktion hat.
  • Ferner kann das Speichermedium, eine flexible Platte, eine Festplatte, ein magnetisches Aufzeichnungsmedium wie Magnetband, ein optisch/magnetisch-optisches Speichermedium wie MO, CD-ROM, CD-R, CD-RW, DVD-ROM, DVD-R und DVD-RW, ein nichtflüchtiger Halbleiterspeicher und dergleichen dazu verwendet werden, den Programmkode zur Verfügung zu stellen.
  • Als Verfahren zum Zuleiten des Programms durch Kabel/Radiokommunikation wird eine Datendatei (Programmdatendatei) eines Rechnerprogramms selbst oder eine komprimierte Datei mit automatischer Installationsfunktion, die ein Rechnerprogramm sein kann, das die vorliegende Erfindung auf einem Clientcomputer bildet wird auf einem Server in einem Rechnernetzwerk gespeichert und die Programmdatendatei auf einen damit verbundenen Clientcomputer heruntergeladen. Dabei kann die Programmdatendatei in mehrere Segmentdateien geteilt sein, die auf verschiedenen Servern gespeichert sind.
  • Das heisst, die Servervorrichtung zum Herunterladen der Programmdatendatei zum Verwirklichen der funktionellen Verarbeitung der vorliegenden Erfindung für mehrere Benutzer ist in der vorliegenden Erfindung enthalten.
  • Das Programm der vorliegenden Erfindung kann so verschlüsselt und gespeichert auf einem Speichermedium, wie einer an Benutzer gelieferten CD-ROM sein, dass ein Benutzer der eine vorbestimmten Bedingung erfüllt, die Schlüsselinformation zur Entschlüsselung aus einer Homepage über z.B. das Internet herunterladen darf, dann ist das Programm mit der Schlüsselinformation entschlüsselt und auf einem Rechner installiert und somit die Erfindung verwirklicht.
  • Ferner unfasst die vorliegende Erfindung neben den vorstehend beschriebenen Funktionen der vorstehenden Ausführungsbeispiele, verwirklicht durch Ausführung des gelesenen Programms durch einen Rechner einen Fall, in dem ein OS oder dergleichen, das auf dem Rechner arbeitet, einen Teil oder die gesamte aktuelle Verarbeitung in Übereinstimmung mit Bestimmungen des Programmkodes durchführt und die Funktionen der vorstehenden Ausführungsbeispiele verwirklicht.
  • Ferner umfasst die vorliegenden Erfindung auch einen Fall, in dem, nachdem der aus dem Speichermedium gelesene Programmkode in eine Funktionserweiterungskarte geschrieben ist, die in den Rechner eingeführt wird oder in einen Speicher mit Funktionserweiterungseinheit, der mit Rechner, CPU oder dergleichen, enthalten in der Funktionserweiterungskarte ode Einheit verbunden ist, einen Teil oder den gesamten Vorgang in Übereinstimmung mit Bestimmungen des Programmkodes durchführt und die Funktionen der vorstehenden Ausführungsbeispiel verwirklicht.
  • Gemäss der vorliegenden Erfindung kann in einem MR System, das ein CG Bild dem wirklichen Raum überlagert, wenn ein Teil des wirklichen Raums, der betrachtet werden soll, von dem CG Bild verborgen wird, ein Bereich, in dem das CG Bild nicht angezeigt werden soll, einfach bestimmt werden und das CG Bild in dem Bereich teilweise nicht angezeigt (gelöscht) werden, womit der reale Raum für den Interesse besteht betrachtet werden kann.
  • Da viele sehr verschiedene Ausführungsbeispiele der vorliegenden Erfindung gemacht werden können, ohne von ihrem Bereich abzuweichen, ist es selbstverständlich, dass die Erfindung nicht auf diese spezifischen Ausführungsbeispiele, mit Ausnahme der anhängigen Ansprüche begrenzt ist.

Claims (9)

  1. Verfahren zum Überlagern eines durch einen Computer erzeugten virtuellen Bildes über ein von einem Benutzer betrachtetes Bild, mit den Schritten Eingeben eines Bildes, das durch Bilderfassung der realen Welt erhalten wird, Eingeben von Positions- und Orientierungsinformationen eines Betrachtungspunkts zum Betrachten des Bildes, Erzeugen eines virtuellen Bildes beruhend auf den Positions- und Orientierungsinformationen, Extrahieren eines Eliminationsbereichs des virtuellen Bildes und Kombinieren des virtuellen Bildes mit dem durch die Bilderfassung erhaltenen Bild beruhend auf dem Eliminationsbereich, dadurch gekennzeichnet, dass der Betrachtungspunkt ein Betrachtungspunkt des Benutzers ist, Erfassen einer Benutzerbestimmung eines Bereichs in der realen Welt und Extrahieren des Eliminationsbereichs des virtuellen Bildes im Ansprechen auf die Benutzerbestimmung.
  2. Verfahren nach Anspruch 1, wobei der Eingabeschritt ein Videobild der durch den Benutzer betrachteten realen Welt eingibt, und ferner mit einem Positions- und Orientierungsinformationeneingabeschritt zum Eingeben von Positions- und Orientierungsinformationen des Betrachtungspunkts der Betrachtung der realen Welt, einem Bestimmungsbereicherfassungsschritt der Erfassung eines vorbestimmten Bereichs des realen Bildes, der durch den Benutzer bestimmt wird, und einem Überlagerungsschritt der Überlagerung des virtuellen Bildes über das Videobild abgesehen von einem Abschnitt, der dem Bereich im Videobild entspricht, der in dem Bestimmungsbereichserfassungsschritt erfasst wird.
  3. Verfahren nach Anspruch 2, wobei in dem Bestimmungsbereicherfassungsschritt der Bereich in dem Videobild aus dem durch die Bilderfassung erhaltenen Videobild erfasst wird.
  4. Verfahren nach Anspruch 3, wobei in dem Bestimmungsbereicherfassungsschritt ein Marker, der in einer vom Benutzer betätigten Bereichsbestimmungseinrichtung vorgesehen ist und in dem durch die Bilderfassung erhaltenen Videobild enthalten ist, erfasst wird, und der Bereich im Videobild beruhend auf der Position des Markers erfasst wird.
  5. Verfahren nach Anspruch 2, 3 oder 4, wobei in dem Bestimmungsbereicherfassungsschritt der Bereich in dem Videobild beruhend auf Positions- und Orientierungsinformationen erfasst wird, die durch eine vom Benutzer betätigte Bereichsbestimmungseinrichtung erzeugt werden.
  6. Verfahren nach Anspruch 2, wobei in dem Bestimmungsbereicherfassungsschritt der Bereich in dem Videobild beruhend auf Informationen über einen Bereich erfasst wird, der mit einer bestimmten Farbe umgeben ist.
  7. Verfahren nach Anspruch 2, wobei in dem Bestimmungsbereicherfassungsschritt der Bereich in dem Videobild beruhend auf Informationen über einen geschlossenen Bereich erfasst wird, der durch die Hand des Benutzers gebildet wird.
  8. Videokombinationsvorrichtung zum Überlagern eines durch einen Computer erzeugten virtuellen Bildes über der durch einen Benutzer betrachteten realen Welt, mit einer Bildeingabeeinrichtung (2) zum Eingeben eines durch Bilderfassung der realen Welt erhaltenen Bildes, einer Positions- und Orientierungsinformationseingabeeinrichtung zur Eingabe von Positions- und Orientierungsinformationen eines Betrachtungspunkts zum Betrachten der realen Welt, einer virtuellen Bilderzeugungseinrichtung (5) zum Erzeugen eines virtuellen Bildes beruhend auf den Positions- und Orientierungsinformationen, einer Eliminationsbereichextraktionseinrichtung (3) zum Extrahieren eines Eliminationsbereichs des virtuellen Bildes und einer Kombinationseinrichtung (6) zum Kombinieren des virtuellen Bildes mit dem durch die Bilderfassung erhaltenen Bild beruhend auf dem Eliminationsbereich, gekennzeichnet durch eine Einrichtung zur Erfassung einer Benutzerbestimmung eines Bereichs in der realen Welt, wobei der Betrachtungspunkt ein Betrachtungspunkt des Benutzers ist und der Eliminationsbereich des virtuellen Bildes im Ansprechen auf die Benutzerbestimmung extrahiert wird.
  9. Computerlesbares Medium, das Anweisungen zum Veranlassen einer elektronischen Verarbeitungseinrichtung zur Ausführung aller Schritte von Anspruch 8 trägt.
DE60313412T 2002-09-30 2003-09-29 Video-Überlagerungsvorrichtung und -verfahren Expired - Lifetime DE60313412T2 (de)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2002287054 2002-09-30
JP2002287054 2002-09-30
JP2003204813 2003-07-31
JP2003204813A JP4298407B2 (ja) 2002-09-30 2003-07-31 映像合成装置及び映像合成方法

Publications (2)

Publication Number Publication Date
DE60313412D1 DE60313412D1 (de) 2007-06-06
DE60313412T2 true DE60313412T2 (de) 2008-01-17

Family

ID=31980657

Family Applications (1)

Application Number Title Priority Date Filing Date
DE60313412T Expired - Lifetime DE60313412T2 (de) 2002-09-30 2003-09-29 Video-Überlagerungsvorrichtung und -verfahren

Country Status (5)

Country Link
US (1) US7487468B2 (de)
EP (1) EP1404126B1 (de)
JP (1) JP4298407B2 (de)
CN (1) CN1324534C (de)
DE (1) DE60313412T2 (de)

Families Citing this family (97)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
KR100611182B1 (ko) * 2004-02-27 2006-08-10 삼성전자주식회사 회전상태에 따라 메뉴표시상태를 변경하는 휴대형전자기기 및 그 방법
JP4367926B2 (ja) 2004-05-17 2009-11-18 キヤノン株式会社 画像合成システムおよび画像合成方法、および画像合成装置
US9155373B2 (en) * 2004-08-02 2015-10-13 Invention Science Fund I, Llc Medical overlay mirror
US7657125B2 (en) * 2004-08-02 2010-02-02 Searete Llc Time-lapsing data methods and systems
US20060044399A1 (en) * 2004-09-01 2006-03-02 Eastman Kodak Company Control system for an image capture device
US20060050070A1 (en) * 2004-09-07 2006-03-09 Canon Kabushiki Kaisha Information processing apparatus and method for presenting image combined with virtual image
JP4500632B2 (ja) * 2004-09-07 2010-07-14 キヤノン株式会社 仮想現実感提示装置および情報処理方法
DE102004046430A1 (de) * 2004-09-24 2006-04-06 Siemens Ag System zur visuellen Situations-bedingten Echtzeit-basierten Unterstützung eines Chirurgen und Echtzeit-basierter Dokumentation und Archivierung der vom Chirurgen während der Operation visuell wahrgenommenen Unterstützungs-basierten Eindrücke
KR100663515B1 (ko) * 2004-11-08 2007-01-02 삼성전자주식회사 휴대 단말 장치 및 이를 위한 데이터 입력 방법
JP4137078B2 (ja) 2005-04-01 2008-08-20 キヤノン株式会社 複合現実感情報生成装置および方法
ES2325374T3 (es) * 2005-05-03 2009-09-02 Seac02 S.R.L. Sistema de realidad aumentada con identificacion de objeto marcador real.
US20070064125A1 (en) * 2005-09-16 2007-03-22 Richard Didow Chroma-key event photography
US20070065143A1 (en) * 2005-09-16 2007-03-22 Richard Didow Chroma-key event photography messaging
US8086971B2 (en) * 2006-06-28 2011-12-27 Nokia Corporation Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
JP4804256B2 (ja) * 2006-07-27 2011-11-02 キヤノン株式会社 情報処理方法
JP4789745B2 (ja) * 2006-08-11 2011-10-12 キヤノン株式会社 画像処理装置および方法
EP1887526A1 (de) * 2006-08-11 2008-02-13 Seac02 S.r.l. Videosystem mit digital erweiterter Realität
US20080266323A1 (en) * 2007-04-25 2008-10-30 Board Of Trustees Of Michigan State University Augmented reality user interaction system
JP2008278103A (ja) * 2007-04-27 2008-11-13 Nippon Hoso Kyokai <Nhk> 映像合成装置及び映像合成プログラム
JP4909176B2 (ja) * 2007-05-23 2012-04-04 キヤノン株式会社 複合現実感提示装置及びその制御方法、コンピュータプログラム
US7724322B2 (en) * 2007-09-20 2010-05-25 Sharp Laboratories Of America, Inc. Virtual solar liquid crystal window
US9703369B1 (en) * 2007-10-11 2017-07-11 Jeffrey David Mullen Augmented reality video game systems
US8189035B2 (en) * 2008-03-28 2012-05-29 Sharp Laboratories Of America, Inc. Method and apparatus for rendering virtual see-through scenes on single or tiled displays
JP4725595B2 (ja) * 2008-04-24 2011-07-13 ソニー株式会社 映像処理装置、映像処理方法、プログラム及び記録媒体
JP5372157B2 (ja) 2008-09-17 2013-12-18 ノキア コーポレイション 拡張現実のためのユーザインターフェース
CN102246121B (zh) 2008-12-25 2016-01-13 松下知识产权经营株式会社 信息显示装置和信息显示方法
JP5168161B2 (ja) * 2009-01-16 2013-03-21 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5136442B2 (ja) * 2009-01-27 2013-02-06 ブラザー工業株式会社 ヘッドマウントディスプレイ
JP5201015B2 (ja) 2009-03-09 2013-06-05 ブラザー工業株式会社 ヘッドマウントディスプレイ
KR20110006022A (ko) * 2009-07-13 2011-01-20 삼성전자주식회사 가상 오브젝트 기반의 이미지 처리 방법 및 장치
KR100957575B1 (ko) * 2009-10-01 2010-05-11 (주)올라웍스 단말기의 움직임 또는 자세에 기초하여 비주얼 서치를 수행하기 위한 방법, 단말기 및 컴퓨터 판독 가능한 기록 매체
JP2011118842A (ja) * 2009-12-07 2011-06-16 Canon Inc 情報処理装置、表示制御方法及びプログラム
US20110202603A1 (en) * 2010-02-12 2011-08-18 Nokia Corporation Method and apparatus for providing object based media mixing
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
EP2539759A1 (de) * 2010-02-28 2013-01-02 Osterhout Group, Inc. Lokaler werbeinhalt auf einem interaktiven kopfmontierten okular
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
JP5564300B2 (ja) * 2010-03-19 2014-07-30 富士フイルム株式会社 ヘッドマウント型拡張現実映像提示装置及びその仮想表示物操作方法
US9158777B2 (en) * 2010-03-30 2015-10-13 Gravity Jack, Inc. Augmented reality methods and apparatus
US20110310227A1 (en) * 2010-06-17 2011-12-22 Qualcomm Incorporated Mobile device based content mapping for augmented reality environment
JP5211120B2 (ja) 2010-07-30 2013-06-12 株式会社東芝 情報表示装置及び情報表示方法
KR101357262B1 (ko) * 2010-08-13 2014-01-29 주식회사 팬택 필터 정보를 이용한 객체 인식 장치 및 방법
KR101690955B1 (ko) * 2010-10-04 2016-12-29 삼성전자주식회사 증강 현실을 이용한 영상 데이터 생성 방법 및 재생 방법, 그리고 이를 이용한 촬영 장치
US8861797B2 (en) 2010-11-12 2014-10-14 At&T Intellectual Property I, L.P. Calibrating vision systems
JP5776218B2 (ja) * 2011-02-24 2015-09-09 株式会社大林組 画像合成方法
JP5691632B2 (ja) * 2011-02-24 2015-04-01 株式会社大林組 画像合成方法
US8601380B2 (en) * 2011-03-16 2013-12-03 Nokia Corporation Method and apparatus for displaying interactive preview information in a location-based user interface
US8558759B1 (en) * 2011-07-08 2013-10-15 Google Inc. Hand gestures to signify what is important
JP5683402B2 (ja) * 2011-07-29 2015-03-11 三菱電機株式会社 画像合成装置及び画像合成方法
US9497501B2 (en) * 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
US9052804B1 (en) * 2012-01-06 2015-06-09 Google Inc. Object occlusion to initiate a visual search
US9230171B2 (en) 2012-01-06 2016-01-05 Google Inc. Object outlining to initiate a visual search
US20130201178A1 (en) * 2012-02-06 2013-08-08 Honeywell International Inc. System and method providing a viewable three dimensional display cursor
JP5970872B2 (ja) * 2012-03-07 2016-08-17 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
JP2013235080A (ja) * 2012-05-08 2013-11-21 Sony Corp 画像表示装置、画像表示プログラム及び画像表示方法
JP5687670B2 (ja) * 2012-08-31 2015-03-18 株式会社コナミデジタルエンタテインメント 表示制御システム、ゲームシステム、表示制御装置、及びプログラム
JP6007079B2 (ja) * 2012-11-22 2016-10-12 株式会社日立システムズ 仮想のぞき穴画像生成システム
US20140179369A1 (en) * 2012-12-20 2014-06-26 Nokia Corporation Apparatus and method for providing proximity-based zooming
TWI649675B (zh) 2013-03-28 2019-02-01 新力股份有限公司 Display device
WO2014185920A1 (en) * 2013-05-16 2014-11-20 Empire Technology Development, Llc Three dimensional user interface in augmented reality
KR20150096948A (ko) * 2014-02-17 2015-08-26 엘지전자 주식회사 증강 현실 사진 촬영 가이드를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
KR20150110032A (ko) * 2014-03-24 2015-10-02 삼성전자주식회사 영상데이터 처리 전자장치 및 방법
US10229543B2 (en) 2014-06-13 2019-03-12 Mitsubishi Electric Corporation Information processing device, information superimposed image display device, non-transitory computer readable medium recorded with marker display program, non-transitory computer readable medium recorded with information superimposed image display program, marker display method, and information-superimposed image display method
JP6335696B2 (ja) * 2014-07-11 2018-05-30 三菱電機株式会社 入力装置
US9696551B2 (en) * 2014-08-13 2017-07-04 Beijing Lenovo Software Ltd. Information processing method and electronic device
JP6186457B2 (ja) * 2016-01-19 2017-08-23 ヤフー株式会社 情報表示プログラム、情報表示装置、情報表示方法および配信装置
JP6217772B2 (ja) * 2016-02-12 2017-10-25 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
CN110402420B (zh) * 2017-03-23 2022-05-17 东芝三菱电机产业系统株式会社 钢铁厂的分析支援装置
US9892564B1 (en) 2017-03-30 2018-02-13 Novarad Corporation Augmenting real-time views of a patient with three-dimensional data
JP6419278B1 (ja) * 2017-09-19 2018-11-07 キヤノン株式会社 制御装置、制御方法、及びプログラム
TWI692968B (zh) * 2018-04-26 2020-05-01 財團法人工業技術研究院 三維建模裝置及應用於其之校準方法
JP6559870B1 (ja) * 2018-11-30 2019-08-14 株式会社ドワンゴ 動画合成装置、動画合成方法及び動画合成プログラム
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
US11194438B2 (en) * 2019-05-09 2021-12-07 Microsoft Technology Licensing, Llc Capture indicator for a virtual world
JP7330507B2 (ja) * 2019-12-13 2023-08-22 株式会社Agama-X 情報処理装置、プログラム、及び、方法
US20230162707A1 (en) * 2020-03-30 2023-05-25 Sony Group Corporation Imaging apparatus, method of controlling imaging apparatus, and program
CN114885090A (zh) * 2021-04-27 2022-08-09 青岛海尔电冰箱有限公司 冰箱内图像获取方法、冰箱及计算机存储介质
CN114979487A (zh) * 2022-05-27 2022-08-30 联想(北京)有限公司 图像处理方法、装置及电子设备和存储介质

Family Cites Families (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2332547A1 (fr) * 1975-11-21 1977-06-17 Angenieux Pierre Variateur optique de grandissement d'image
DE69032645T2 (de) * 1990-04-02 1999-04-08 Koninkl Philips Electronics Nv Datenverarbeitungssystem mit auf Gesten basierenden Eingabedaten
US6850252B1 (en) * 1999-10-05 2005-02-01 Steven M. Hoffberg Intelligent electronic appliance system and method
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
US5765561A (en) * 1994-10-07 1998-06-16 Medical Media Systems Video-based surgical targeting system
KR100365555B1 (ko) * 1994-10-19 2003-08-27 마츠시타 덴끼 산교 가부시키가이샤 화상부호화/복호화장치
JPH08265619A (ja) 1995-03-27 1996-10-11 Canon Inc ビデオカメラおよびレンズシステムのズーム方法
US6034740A (en) * 1995-10-30 2000-03-07 Kabushiki Kaisha Photron Keying system and composite image producing method
US6317128B1 (en) * 1996-04-18 2001-11-13 Silicon Graphics, Inc. Graphical user interface with anti-interference outlines for enhanced variably-transparent applications
US6181302B1 (en) * 1996-04-24 2001-01-30 C. Macgill Lynde Marine navigation binoculars with virtual display superimposing real world image
US5790104A (en) * 1996-06-25 1998-08-04 International Business Machines Corporation Multiple, moveable, customizable virtual pointing devices
US6002808A (en) 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
JP3558104B2 (ja) 1996-08-05 2004-08-25 ソニー株式会社 ３次元仮想物体表示装置および方法
JPH10327433A (ja) * 1997-05-23 1998-12-08 Minolta Co Ltd 合成画像の表示装置
JP4251673B2 (ja) * 1997-06-24 2009-04-08 富士通株式会社 画像呈示装置
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
JP4453936B2 (ja) 1998-07-15 2010-04-21 信越石英株式会社 エキシマレーザー用光学部材の製造方法
US6266100B1 (en) 1998-09-04 2001-07-24 Sportvision, Inc. System for enhancing a video presentation of a live event
JP4013100B2 (ja) 1998-09-21 2007-11-28 富士フイルム株式会社 電子カメラ
US7055101B2 (en) * 1998-12-18 2006-05-30 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US7073129B1 (en) * 1998-12-18 2006-07-04 Tangis Corporation Automated selection of appropriate information based on a computer user's context
US6513046B1 (en) * 1999-12-15 2003-01-28 Tangis Corporation Storing and recalling information to augment human memories
US6791580B1 (en) * 1998-12-18 2004-09-14 Tangis Corporation Supplying notifications related to supply and consumption of user context data
US6801223B1 (en) * 1998-12-18 2004-10-05 Tangis Corporation Managing interactions between computer users' context models
US7137069B2 (en) * 1998-12-18 2006-11-14 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US7046263B1 (en) * 1998-12-18 2006-05-16 Tangis Corporation Requesting computer user's context data
US7107539B2 (en) * 1998-12-18 2006-09-12 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
US7225229B1 (en) * 1998-12-18 2007-05-29 Tangis Corporation Automated pushing of computer user's context data to clients
US7076737B2 (en) * 1998-12-18 2006-07-11 Tangis Corporation Thematic response to a computer user's context, such as by a wearable personal computer
JP3368226B2 (ja) 1999-03-26 2003-01-20 キヤノン株式会社 情報処理方法及び情報処理装置
WO2002015110A1 (en) * 1999-12-07 2002-02-21 Fraunhofer Crcg, Inc. Virtual showcases
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
AU2001275308A1 (en) * 2000-06-06 2001-12-17 Frauenhofer Institut Fuer Graphische Datenverarbeitung The extended virtual table: an optical extension for table-like projection systems
US20020044152A1 (en) * 2000-10-16 2002-04-18 Abbott Kenneth H. Dynamic integration of computer generated and real world images
US6690960B2 (en) * 2000-12-21 2004-02-10 David T. Chen Video-based surgical targeting system
JP3848092B2 (ja) 2001-03-13 2006-11-22 キヤノン株式会社 画像処理装置及び方法、並びにプログラム
JP2002362184A (ja) * 2001-06-11 2002-12-18 Honda Motor Co Ltd 車両用表示装置
US7206434B2 (en) * 2001-07-10 2007-04-17 Vistas Unlimited, Inc. Method and system for measurement of the duration an area is included in an image stream
JP3884942B2 (ja) 2001-10-31 2007-02-21 キヤノン株式会社 撮像装置、撮像装置と記録装置とを有するシステム及びその制御方法
JP3848130B2 (ja) 2001-10-31 2006-11-22 キヤノン株式会社 撮像装置、撮像装置と記録装置とを有するシステム及びその制御方法
JP3840091B2 (ja) 2001-10-31 2006-11-01 キヤノン株式会社 撮像装置、撮像装置と記録装置とを有するシステム及びその制御方法
US20040139156A1 (en) * 2001-12-21 2004-07-15 Matthews W. Donald Methods of providing direct technical support over networks
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
US20040068758A1 (en) * 2002-10-02 2004-04-08 Mike Daily Dynamic video annotation
JP4134785B2 (ja) * 2003-03-28 2008-08-20 株式会社デンソー 表示装置

Also Published As

Publication number Publication date
JP2004178554A (ja) 2004-06-24
CN1324534C (zh) 2007-07-04
EP1404126A2 (de) 2004-03-31
EP1404126A3 (de) 2004-12-15
JP4298407B2 (ja) 2009-07-22
DE60313412D1 (de) 2007-06-06
CN1497504A (zh) 2004-05-19
US7487468B2 (en) 2009-02-03
US20040070611A1 (en) 2004-04-15
EP1404126B1 (de) 2007-04-25

Similar Documents

Publication Publication Date Title
DE60313412T2 (de) Video-Überlagerungsvorrichtung und -verfahren
US10359916B2 (en) Virtual object display device, method, program, and system
DE69727612T2 (de) Ultraschall-Abbildungssystem mit Lauf-Extraktionsmitteln zur Extraktion des Punktes, der am dichtesten am Anfangspunkt der Abtastzeilen liegt
EP1349382B1 (de) Verfahren und Vorrichtung zur Bildinformationsverarbeitung
US11051696B2 (en) Complementary color flashing for multichannel image presentation
DE19955690A1 (de) System und Verfahren zur auf einer Volumendarstellung basierenden Segmentation
US20070006091A1 (en) Image processing method and image processing apparatus
DE112012001022T5 (de) Ausrichtungssteuerung in einem am Kopf zu tragenden Gerät mit erweiterter Realität
JP5560858B2 (ja) 補正値算出装置、補正値算出方法および補正値算出プログラム
WO2017005897A1 (de) System und verfahren zum scannen von anatomischen strukturen und zum darstellen eines scanergebnisses
JP2001522098A5 (de)
US20050069223A1 (en) Correction of subject area detection information, and image combining apparatus and method using the correction
DE112016001524T5 (de) Informationsverarbeitungseinrichtung, Informationsverarbeitungsverfahren und Programm
EP2289061B1 (de) Ophthalmoskop-simulator
DE112009000100T5 (de) Navigieren zwischen Bildern eines Objekts im 3D-Raum
DE102016102751A1 (de) Anatomisch spezifische filmgetriebene medizinische Bildbegutachtung
KR100345591B1 (ko) 깊이정보처리를위한영상처리시스템
DE112017001315T5 (de) Rechenvorrichtung zum Überblenden eines laparoskopischen Bildes und eines Ultraschallbildes
DE60222380T2 (de) System und verfahren zum extrahieren eines interessierenden punktes bei einem objekt, das sich vor einer computersteuerbaren anzeige befindet und von einem bildgebenden gerät aufgenommen wird
DE102013020611B4 (de) Ein Ansatz für eine Kamerasteuerung
JP4208614B2 (ja) 映像コンテンツの評価装置
JP3483108B2 (ja) 多スペクトル画像処理装置およびそのためのプログラムを記録した記録媒体
DE10325382A1 (de) Verfahren und Vorrichtung zum Visualisieren von medizinischen Patientendaten auf einer medizinischen Anzeigeeinheit
DE102020001882A1 (de) Visualisierungsvorrichtung und Programm
DE102013213492A1 (de) Bildanpassung für kontaktanaloge Darstellungen auf Datenbrillen

Legal Events

Date Code Title Description
8364 No opposition during term of opposition