DE19539048B4 - Video-Konferenzsystem und Verfahren zum Bereitstellen einer Parallaxenkorrektur und zum Erzeugen eines Anwesenheitsgefühls - Google Patents

Video-Konferenzsystem und Verfahren zum Bereitstellen einer Parallaxenkorrektur und zum Erzeugen eines Anwesenheitsgefühls Download PDF

Info

Publication number
DE19539048B4
DE19539048B4 DE19539048A DE19539048A DE19539048B4 DE 19539048 B4 DE19539048 B4 DE 19539048B4 DE 19539048 A DE19539048 A DE 19539048A DE 19539048 A DE19539048 A DE 19539048A DE 19539048 B4 DE19539048 B4 DE 19539048B4
Authority
DE
Germany
Prior art keywords
conference participant
image
conference
participant
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
DE19539048A
Other languages
English (en)
Other versions
DE19539048A1 (de
Inventor
Russell Lennart Andersson
Tsuhan Chen
Barin Geoffry Haskell
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
AT&T Corp
Original Assignee
AT&T Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by AT&T Corp filed Critical AT&T Corp
Publication of DE19539048A1 publication Critical patent/DE19539048A1/de
Application granted granted Critical
Publication of DE19539048B4 publication Critical patent/DE19539048B4/de
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • H04N7/144Constructional details of the terminal equipment, e.g. arrangements of the camera and the display camera and display on the same optical axis, e.g. optically multiplexing the camera and display for eye to eye contact

Abstract

Verfahren zum Abhalten einer Videokonferenz zwischen mehreren, entfernt gelegenen Konferenzräumen, in denen sich jeweils wenigstens ein Konferenzteilnehmer, eine Videokamera und ein Bildempfänger befinden, wobei der Bildempfänger, die Videokamera und die ihnen zugeordneten Augen jedes Konferenzteilnehmers einen Parallaxenwinkel für jeden Konferenzteilnehmer bilden,
umfassend die folgenden Schritte:
Erzeugen eines Videosignals, das eine Folge von Eingangsbildrahmen eines ersten Konferenzteilnehmers (A) darstellt mit einer ersten Videokamera (32),
Analysieren der Eingangsbildrahmen des Konferenzteilnehmers in Echtzeit zur Bestimmung eines Parallaxenwinkels in jedem Rahmen,
Erzeugen einer entsprechenden Folge von Parallaxen-kompensierten Bildrahmen, und
Übertragen eines Signals, das die Folge von Parallaxen-kompensierten Bildrahmen darstellt, zu einem Bildempfänger (22), der von einem zweiten Konferenzteilnehmer (B) betrachtet wird, wodurch ein Augenkontakt zwischen dem zweiten Konferenzteilnehmer und einem angezeigten Bild des ersten Konferenzteilnehmers hergestellt wird, wobei das Analysieren folgende Schritte umfaßt:
Lokalisieren einer Spiegelung einer ortsfesten Lichtquelle in einer Pupille des ersten Konferenzteilnehmers in einem Bild...

Description

  • Die Erfindung betrifft allgemein ein Verfahren zum Durchführen einer Videokonferenz und insbesondere ein Videokonferenzsystem, und ein Verfahren, bei dem ein Augenkontakt zwischen jedem Betrachter und dem entsprechenden Bild oder den entsprechenden Bildern von entfernten, anzusehenden Personen hergestellt wird.
  • Ein wesentliches Ziel eines Videokonferenzsystems besteht darin, ein wirksames Mittel zur Interaktion zwischen entfernten Personen bereitzustellen. Die Fähigkeit, verschiedene Konferenzteilnehmer zu sehen und mit ihnen im Dialog zu sprechen, ist zur Durchführung einer Konferenz oder einer Sitzung notwendig. Eines der wichtigsten Kriterien, die ein Videokonferenzsystem erfüllen muß, liegt in einer visuellen Präsenz. Ferner ist es wünschenswert, zu sehen, wer wen während der Konferenz ansieht.
  • Alle Videokonferenzsysteme benutzen an jedem Ort wenigstens einen Monitor und wenigstens eine Kamera zum Darstellen des oder der entfernten Konferenzteilnehmer bzw. zur Gewinnung eines Bildes des oder der örtlichen Konferenzteilnehmer. Ein hartnäckiges Problem, das sich aus gegenwärtigen Konfigurationen dieser Komponenten in einem Videokonferenzsystem ergibt, ist der sogenannte "Parallaxeneffekt", der einen Augenkontakt zwischen dem Sprecher und denjenigen entfernten Betrachtern, zu denen er oder sie spricht, verhindert. Dieser Effekt ergibt sich hauptsächlich aus der Anordnung der Kamera mit Bezug auf den Monitor und den Betrachter.
  • Der Parallaxeneffekt ist in 1 dargestellt. Wie in 1 zu sehen ist, betrachtet jeder Konferenzteilnehmer A und B ein entsprechendes Display 12, 14 mit einem Fenster zur Darstellung des Bildes des anderen Teilnehmers. Jedem Display ist eine Videokamera zum Einfangen des Bildes des entsprechenden Betrachters zugeordnet. Jede Kamera kann oberhalb, unterhalb oder an einer der beiden Seiten des zugeordneten Displays angeordnet sein. In dem bekannten, in 1 dargestellten System sind Kameras 16 und 18 unmittelbar über dem Display 12 bzw. 14 angeordnet. Der Winkel θ stellt den Winkel zwischen der Kamera 16 und dem Display 12 bezüglich des Betrachters A dar. Da der Teilnehmer A direkt das dargestellte Bild des Teilnehmers B und daher nicht die Kamera 16 ansieht, scheint das dargestellte Bild von A nach unten zu schauen.
  • Wie ein Durchschnittsfachmann ohne weiteres feststellen kann, kann der Parallaxeneffekt dadurch minimiert werden, daß man die Kamera und den Monitor so nah wie möglich zusammenstellt. Tatsächlich beruhten frühere Anstrengungen zur Beseitigung des Parallaxeneffektes darauf, die Kamera unmittelbar hinter einem speziell konstruierten Bildschirm anzuordnen. In der US-PS 4 054 908, die am 18. Oktober 1977 für Poieier et al veröffentlicht worden ist, wird beispielsweise das Bild des Betrachters zum Kameraobjektiv mittels einer schrägen reflektierenden Platte reflektiert. Der Bildschirm wird vom Betrachter durch ein Fenster in der reflektierenden Platte betrachtet. Allerdings lenkt das Fenster in der mit einer Öffnung versehenen Platte den Betrachter etwas ab. Es ist auch vorgeschlagen worden, einen elektronischen Kristallbildschirm zu benutzen, der zwischen lichtundurchlässigen und transparenten Zuständen mit einer Frequenz hin- und herwechselt, die lang genug sind, daß ein Bild des Betrachters die Kamera während des transparenten Zustands erreichen kann und daß während des lichtundurchlässigen, reflektierenden Zustands ein angezeigtes Bild dargestellt werden kann. Leider zeichnen sich die auf einem derartigen blinkenden Bildschirm dargestellten Bilder durch eine unzumutbar geringe Helligkeit aus. Darüber hinaus sind die Herstellungskosten für den Bildschirmaufbau und die zugeordnete Ansteuer-Schaltungsanordnung hoch.
  • Es wurden sogenannte virtuelle Raumvideo-Konferenzsysteme vorgeschlagen, die eine vollständige visuelle Anwesenheit erzeugen und die räumliche Beziehung zwischen drei oder mehreren Konferenzteilnehmern vermitteln. Bei dieser Art von Systemen entspricht die Anzahl von Monitor- und Kamerapaaren an jedem Ort der Gesamtzahl entfernter Konferenzteilnehmer. Die relativen Positionen der Paare bezüglich jedes Teilnehmers sind an jedem Ort festgelegt. Ein beispielhaftes System dieses Typs ist in 2 dargestellt. Jede betrachtende Person (A, B, C und D) sitzt in einem Drehstuhl in einem entsprechenden Zimmer (1, 2, 3 oder 4) mit drei TV-Monitoren, die die anderen drei "virtuell anwesenden" Teilnehmer darstellen. Beispielsweise sitzt daher die betrachtende Person (A) in einem Drehstuhl in dem Raum 1 mit drei TV-Monitoren, die die drei "virtuell anwesenden" Teilnehmer (B, C und D) darstellen. Die Anordnung von Monitor-Kamera-Paaren in jedem Raum dupliziert die Orte jedes Teilnehmers, als ob sie allesamt um denselben quadratischen Tisch säßen. Die von diesen Kameras kommenden Signale durchlaufen Video-Schalteinheiten und werden mittels eines dynamischen Zuordnungsnetzwerkes zu entsprechenden Zielmonitoren übertragen.
  • Das virtuelle Raumsystem nach 2 versorgt drei oder mehrere Teilnehmer mit der Fähigkeit, zu sehen, wer ihn während einer Konferenz ansieht. Ein Augenkontakt zwischen den Teilnehmern wurde allerdings dadurch erreicht, daß man von den mit einer Öffnung versehenen oder von den halbreflektierenden Bildschirmgeräten Gebrauch gemacht hat, die oben beschrieben worden sind. Außerdem führt die große Anzahl von benötigten Videokanälen, die für die gewünschte räumliche Verteilung zwischen den Konferenzteilnehmern sorgen, zu einem großen Bedarf an Übertragungsbandbreite.
  • Aus der WO92/14340 A1 ist ein Verfahren zur Korrektur der Blickrichtung bei einem Bildtelefon bekannt. Hierzu wird der Fehlwinkel zwischen der Blickrichtung einer Person und der Kameraachse ermittelt. Die Pupillen und Augäpfel der abgebildeten Person werden im Bild segmentiert und innerhalb der Bildebene verschoben. Hierbei frei werdende Bereiche werden mit der Farbe des Augapfels ausgefüllt.
  • Aus der US 5,231,674 ist ein Verfahren zur Überwachung der Augenstellung einer Person bekannt, um die Blickrichtung der Person ermitteln zu können. Hierzu wird das Auge mit einer Lichtquelle bestrahlt, wobei das reflektierte Licht von einer Kamera in ein zweidimensionales Bild des Auges umgesetzt wird. Die Position der Spiegelung kann dann dadurch lokalisiert werden, dass das Zentrum der Pupille gemessen wird.
  • Das System und das Verfahren gemäß der Erfindung beseitigt die oben genannten Nachteile durch Anwendung von Echtzeit-Bildanalyse- und Verarbeitungstechniken, die eine bedeutungsvolle Kopfausrichtung und/oder einen Augenkontakt in den Bildern liefern, die dem entfernten Betrachtern dargeboten werden. Ein gemäß der Erfindung aufgebautes Videokonferenzsystem enthält in jedem Konferenzraum wenigstens ein Videotelefon, das eine Videokamera zur Erzeugung von Videosignalen aufweist, die eine Folge von örtlichen Konferenzteilnehmer-Bilderrahmen darstellen, sowie einen Bildempfänger zum Darstellen der Bildrahmen von wenigstens einem entfernten Konferenzteilnehmer. Der Bildempfänger, die Videokamera und die Augen des örtlichen Konferenzteilnehmers bilden einen Parallaxenwinkel. Das Videokonferenzsystem enthält außerdem eine Rahmen-Erzeugungseinrichtung, die unter Ansprechen auf die Videosignale Bildrahmen eines örtlichen Konferenzteilnehmers analysiert und eine entsprechende Folge von Parallaxen-kompensierten Rahmen erzeugt. Ein Signal, das jede Folge von Parallaxen-kompensierten Rahmen darstellt, wird zu einem entsprechenden Bildempfänger übertragen, wodurch ein Augenkontakt zwischen jedem örtlichen Konferenzteilnehmer und einem dargestellten Bild eines entsprechenden entfernten Konferenzteilnehmers hergestellt wird.
  • Sind mehr als zwei Konferenzteilnehmer beteiligt, wird jeder Eingangsbildrahmen bezüglich der Kopfstellung analysiert und, wenn notwendig, von der Rahmenerzeugungseinrichtung neu ausgerichtet, um für ein Anwesenheitsgefühl zu sorgen. Beispielsweise kann jeder Bildempfänger zwei entfernte Konferenzteilnehmer auf einem Display mit einem geteilten Fenster darstellen. Jeder Eingangsbildrahmen wird auf ein dreidimensionales ellipsoidisches Kopfmodell abgebildet und um einen vorbestimmten Winkel neu ausgerichtet, um die richtige Blickrichtung zu erhalten, auf einen zweidimensional rekonstruierten Bildrahmen zurück abgebildet. Ein die rekonstruierten Bildrahmen darstellendes Signal wird anschließend zu den entsprechenden entfernten Bildempfängern übertragen. Gemäß der Erfindung ist es daher für jeden Konferenzteilnehmer möglich, wahrzunehmen, wer ihn während der Konferenz ansieht.
  • Weitere Merkmale der Erfindung sind in der nachfolgenden, ausführlichen Beschreibung geschildert, die in Verbindung mit den beiliegenden Zeichnungen betrachtet wird. Gleiche Bezugszeichen in den Zeichnungen bezeichnen ähnliche Elemente. Es zeigen:
  • 1 die Wirkungsweise eines herkömmlichen Videokonferenzsystems mit einer einzigen Personenkamera (SPC, von Single Person Camera),
  • 2 ein herkömmliches virtuelles Raumvideo-Konferenzsystem,
  • 3A ein Blockschaltbild eines Videokonferenzsystems, das gemäß einer beispielhaften Ausführungsform gemäß der Erfindung aufgebaut ist,
  • 3B eine Vorderansicht des Videokonferenzsystems nach 3A,
  • 4 eine grafische Darstellung einer Nachschlagtabelle zum Liefern von Pixelwerten gemäß einem Augensyntheseverfahren, das von der Erfindung benutzt wird,
  • 5 ein Flußdiagramm, das die Schritte einer erfindungsgemäßen Bildanalyse- und Verarbeitungstechnik darstellt, durch die eine Parallaxenkorrektur gemäß der Erfindung vorgenommen wird,
  • 6 eine Vorderansicht der Funktionsweise eines Videokonferenzsystems, welches ein Anwesenheitsgefühl zwischen drei Teilnehmern gemäß der Erfindung erzeugt, und
  • 7 ein Flußdiagramm, das die Schritte eines modifizierten Bildanalyse- und Verarbeitungsverfahrens darstellt, durch das eine Parallaxenkorrektur und eine Kopf-Neuausrichtung durchgeführt wird, um während des Betriebs des Systems nach 5 ein Anwesenheitsgefühl hervorzurufen.
  • Ein Konferenzsystem 20, das gemäß einer beispielhaften Ausführungsform nach der Erfindung aufgebaut ist, ist in 3A dargestellt. Wie in 3A gezeigt ist, blickt jeder Teilnehmer einer Videotelekonferenz auf ein entsprechendes Display 22, 24. Jedes Display kann in ein oder mehrere Fenster unterteilt sein, um das Bild einer entsprechenden Anzahl von entfernten Teilnehmern darzustellen. Beispielsweise sind zwei Konferenzorte mit jeweils einem Konferenzteilnehmer vorgesehen. Daher sind in 3A Teilnehmer A und B an entsprechenden Konferenzorten 26, 28 gezeigt, die auf dem Display 22 bzw. 24 erscheinen.
  • Bei der in 3A dargestellten Ausführungsform werden die Bilder der Konferenzteilnehmer A und B anfänglich von den Videokameras 30 bzw. 32 gewonnen. In bekannter Weise werden die analogen Ausgangssignale der Kameras 30 und 32 in eine digitale Form umgesetzt, vorverarbeitet und für eine Bitratenreduktion codiert, um die Übertragung über ein Telekommunikationsnetz (nicht dargestellt) zu erleichtern. Systeme und Verfahren zur Durchführung der oben genannten Signalverarbeitungsfunktionen sind allgemein bekannt und bilden keinen neuen Gesichtspunkt der Erfindung. Dementsprechend kann eine ausführliche Beschreibung dieser Funktionen entfallen.
  • Wir nehmen weiterhin Bezug auf 3A. Man kann sehen, daß die digitalisierten Videosignale von jeder Kamera nicht unmittelbar zum zugeordneten Zieldisplay übertragen werden. Statt dessen werden zu einem Zweck, der unten näher erklärt wird, die Ausgangssignale der Kameras 30 und 32 an ein geeignetes Verarbeitungsgerät 34 angelegt, das beispielsweise ein Hochgeschwindigkeits-Verarbeitungscomputer ist. Insbesondere führt das Verarbeitungsgerät 34 eine Rahmen-für-Rahmen-Analyse in Echtzeit mit den rohen ankommenden Videosignale durch und modifiziert das Bild jedes ankommenden Rahmens, um so einen Augenkontakt zwischen dem angezeigten Bild und dem Betrachter wiederherzustellen. Die modifizierten Rahmen werden anschließend in Echtzeit zum entsprechenden Zieldisplay übertragen.
  • Wie bereits mit Bezug auf 1 beschrieben worden ist, führt das Positionieren der Kamera unmittelbar über dem Display zur Bildung eines Parallaxenwinkels θ zwischen der Kamera, den Augen des Betrachters A und dem dargestellten Bild des Teilnehmers B. Diese Anordnung aus Kamera, Display und Betrachter ist in 3B noch einmal dargestellt. Obwohl jede Kamera über einem entsprechenden Display angeordnet ist, kann der Durchschnittsfachmann ohne weiteres erkennen, daß die Kameras auch unterhalb oder an einer der Seiten des Displays angeordnet werden können. Gemäß der Erfindung wird eine Parallaxenkorrektur durch das Verarbeitungsgerät 34 durchgeführt. Dazu ist es zunächst notwendig, den Parallaxenwinkel θ zu ermitteln.
  • Um die Genauigkeit zu verbessern, gibt es verschiedene Wege, den Parallaxenwinkel θ zu ermitteln. Bei der beispielhaften Ausführungsform nach 3A und 3B müssen die Bilder von lediglich zwei Konferenzteilnehmern, die nach vorn blicken, modifiziert werden. Unter der Annahme, daß Bewegungen von A und B vernachlässigbar sind, kann ein fester Winkel θ auf der Grundlage der relativen Position der Kamera und des Displays ermittelt werden. Wenn man annimmt, daß das Bild von B sich auf dem Display von A nicht sehr stark bewegt, kann alternativ das von der Kamera A aufgenommene Bild analysiert werden, um den Korrekturbetrag zu ermitteln, der dazu benötigt wird, das Bild von A nach vorne auszurichten. Der erforderliche Korrekturbetrag, der als ϕ bezeichnet ist, kann als eine Zufallsvariable mit einer bestimmten Wahrscheinlichkeitsverteilung, die stationär oder zeitabhängig ist, nachgebildet werden. Unter der Annahme, daß A das Bild von B die meiste Zeit ansieht, kann der Parallaxenwinkel θ mit dem Erwartungswert von ϕ, d.h. E(ϕ), gleichgesetzt werden.
  • Wenn man von einer der beiden oben erwähnten Mangel-an-Bewegung-Annahmen ausgeht, ist es lediglich notwendig, die Augen in jedem Bildrahmen unterzubringen und die Rahmen zur Korrektur des Parallaxenwinkels θ zu verändern. Merkmal-Extraktionstechniken zum Lokalisieren von Gesichtsmerkmalen, wie z.B. der Augen, der Nase und des Mundes, in einem digitalisierten Bild sind allgemein bekannt und werden hierin nicht näher beschrieben. Auf ähnliche Weise sind Techniken zum Modifizieren lokalisierter Bereiche von derartigen Bildern dem Durchschnittsfachmann allgemein bekannt. In jedem Fall kann, da die Augen lediglich einen kleinen Bereich des gesamten Gesichtes oder Bildes einnehmen, das Nachvornedrehen der Augen einfach durch Synthetisieren der Augen verwirklicht werden. Die Möglichkeit der Augensynthese beruht auf der natürlichen Toleranz des menschlichen Betrachters, Rauschen in den relativ kleinen Bereich der Augen zu spiegeln. In diesem Zusammenhang sollte man beachten, daß die Position der Kamera mit Bezug auf das Display die Komplexität des Augensynthesealgorithmus als auch die Qualität der gewonnenen Ergebnisse beeinträchtigt. Insbesondere werden die Augenliderstellungen durch die Vertikalkomponente der Blickrichtung beträchtlich beeinträchtigt, so daß, wenn die Augen vertikal bewegt werden müßten, wie dies in dem dargestellten Bild für G der Fall wäre, auch das Augenlid geändert werden müßte, um eine Wahrnehmungsinkongruenz zu vermeiden. Befindet sich die Kamera seitlich des Displays, dann muß die Lidposition nicht geändert werden, wenn das Auge synthetisiert wird. Demzufolge wird eine Kameraposition an der Seite des Displays besonders bevorzugt.
  • Um ein Bild des Auges zu synthetisieren, muß das Programm die Grenze der umgebenden Lider ermitteln. Die Lider stoßen hauptsächlich an das Augenweiß an, aber häufig begrenzen sie auch die Iris an der Ober und Unterseite. Der gesamte Bereich innerhalb der Grenze wird synthetisiert. Befindet sich die Person von der Kamera weit entfernt (so daß die Augen in dem gewonnenen Bild sehr klein sind), kann die Pupillenposition, die zum Hervorrufen eines Augenkontaktes mit dem Betrachter benötigt wird, lediglich dadurch gebildet werden, daß ein dunkler kreisförmiger Bereich entsprechender Größe an der richtigen Position hinzugefügt wird.
  • Wenn sich die Person ausreichend nahe an dem Kamera/Monitor-Paar befindet, können vollständig neue Intensitätswerte für jede Pixelposition innerhalb der Außenlinie des Auges erzeugt werden, d.h. zwischen den oberen und unteren Lidern. Zu jeder Außenlinie des Auges werden fünf weitere Parameter zur Synthetisierung eines neuen Auges benützt: Die beiden Koordinaten des Pupillenzentrums, der Irisradius, der Irisintensitätspegel und der Intensitätspegel des weißen Bereiches des Auges. Ein Grenzen-Erkennungsverfahren führt natürlich zu einer einfachen Grenzdarstellung mit den kleinsten und größten Iris-X-Koordinaten für jeden Y-Wert in einem Bereich. Die Irisintensität wird während des normalen Augen-Nachführ-Algorithmus berechnet. Auf ähnliche Weise werden die Weiß-Intensität und die Augenkontur während der Grenzbestimmung des weißen Augenbereichs berechnet. Beispielsweise kann die Augensysnthese gemäß einer parametrischen Mischfunktionsansatz durchgeführt werden, nach der der Irisdurchmesser proportional zum Abstand der beiden Augen ist. Der Abstand zwischen den beiden Augen liefert eine richtige Skalierung, wenn die Person sich näher zu und weiter weg von der Kamera bewegt.
  • Wie oben geschildert worden ist, kann ein fester Winkel θ auf der Grundlage der relativen Positionen zwischen der Kamera und dem Display ermittelt werden. Beispielsweise kann die Kamera an einer Seite des Displays und in der gleichen Höhe angeordnet sein. Es sei angenommen, daß der Benutzer nur das Display ansieht und nicht anderswohin. Daher scheint, wenn der Benutzer irgendwohin blickt, das synthetisierte Bild nicht mehr länger den Augenkontakt mit dem Betrachter aufrecht zu erhalten. Ist die Kamera und das Display auf diese Art und Weise angeordnet, kann die Iris und die Pupille um einen bestimmten geometrisch unabhängigen Betrag ohne Vertikalbewegung horizontal verschoben werden. Die Größe der Verschiebung ist umgekehrt proportional zum Augen-zu-Augen-Abstand. Beispielsweise kann der Synthetisierungsalgorithmus den Abstand zum synthetisierten Pupillenzentrum in horizontale Bildseiten-Verhältnis-korrigierte Pixel berechnen. Eine Nachschlagtabelle auf der Grundlage des Abstandes zum synthetisierten Irisradius liefert einen Mischkoeffizienten zwischen dem Irispegel und dem Weißpegel: 1 bezeichnet den Irispegel und 0 den Weißpegel, wobei der Mischbereich dazwischen linear verläuft. Eine grafische Darstellung der Nachschlagetabelle ist in 4 gezeigt. Die Eintragungen über 1 erzeugen einen noch dunkleren Wert für die Pupille. Die Weiß-Synthese kann einen ähnlichen Prozeß benutzen.
  • Wie ein Durchschnittsfachmann ohne weiteres nachvollziehen kann, fehlt einem Augenbild, das auf die oben beschriebene Art und Weise synthetisiert wird, das reflektierte Spitzenlicht, das dem Auge einen Eindruck von Tiefe und Kontur vermittelt. Daher kann es wünschenswert sein, derartige Spitzenhelligkeiten dem Bild auf eine bekannte Art und Weise zuzufügen. Benutzt man einen Motorola 88000 RISC-Prozessor zur Durchführung der oben genannten Bildanalyse- und Verarbeitungsoperationen auf eine einzelnen Eingangs-Videorahmen, dauert es 1,177 ms zur Lokalisierung der Pupille und Weißgrenzen, 0,176 ms zur Nachverarbeitung der Grenzen, 1,670 ms zur Synthetisierung der neuen Augen und 1,453 ms zur Erzeugung von Echtzeit-Grafiken und Textanzeigen. Natürlich hängen die Prozessorzeiten von dem Augenbild in der Bildebene ab. Es ist allerdings sogar mit extremen Nahaufnahmen möglich, einen modifizierten Rahmen mit synthetisierten Augen innerhalb eines Rahmenintervalls zu erzeugen. Deshalb kann eine Folge von Parallaxen-kompensierten Bildrahmen in Echtzeit erzeugt werden, um vorteilhafterweise den Benutzern eines Videokonferenzsystems einen Augenkontakt ohne Verlust an Rahmenrate bereitzustellen.
  • Es ist vielleicht nicht möglich, die oben erwähnten Annahmen bezüglich der Bewegungen von A und B zu benutzen. Wenn ein Ausgleich für den exakten Parallaxenwinkel θ benötigt wird, ist es notwendig, die Augenposition von A und die Augenposition von B auf dem Display 24 zu erfassen. Jede geeignete Bildanalysetechnik kann angewandt werden, um die Augenpositionen für die erfindungsgemäßen Zwecke zu detektieren. Lediglich als Beispiel sei auf eine nicht-intrusive Blicknachführtechnik hingewiesen, die zum Gewinnen einer Augenpositionsinformation benutzt werden kann, und in einem Aufsatz mit dem Titel "Non-Intrusive Gaze Tracking Using Artificial Neural Networks" von S. Baluja und D.A. Pomerleau beschrieben ist. Man beachte, daß eine nicht-intrusive Blicktechnik bevorzugt wird, so daß jeder Konferenzteilnehmer seinen Kopf frei bewegen kann.
  • Das Ziel einer Blicknachführung ist insbesondere darin zu sehen, zu ermitteln, wohin eine Person mit ihren Augen blickt. Um Verschiebungen bezüglich der relativen Positionen der Kamera und des Auges zu erfassen, wird das Auge zunächst in jedem Bildrahmen lokalisiert. Typischerweise wird eines der Augen dadurch lokalisiert, daß man die Spiegelung einer stationären Lichtquelle in dem Bild des Gesichtes der Person sucht. Obwohl jede geeignete Lichtquelle zu diesem Zweck benutzt werden kann, wird eine nicht-intrusive Infrarotquelle bevorzugt, da sie ein leicht delektiertes Reflexionsmuster liefert, ohne den Betrachter abzulenken oder andere Unannehmlichkeiten bei ihm hervorzurufen. Die Spiegelung in dem Bild kann gewöhnlich von einem kleinen hellen Bereich, der von einem sehr dunklen Bereich umgeben ist, unterschieden werden. Der Reflexionsort kann benutzt werden, um die Suche nach dem Auge in dem nächsten Rahmen zu beschränken. Ein Fenster, das die Reflexion umgibt, wird gewonnen, wobei sich das Bild des Auges innerhalb dieses Fensters befindet. Das Zentrum der Pupille wird gefunden und die relative Position von der Lichtreflexion zum Pupillenzentrum wird berechnet. Die Blickrichtung wird aus der Information über die relativen Positionen ermittelt. Wenn beispielsweise der Betrachter zur Lichtquelle blickt, befindet sich die Spiegelung in dem Zentrum des Pupillenbildes. Wenn der Betrachter über die Lichtquelle sieht, befindet sich die Spiegelung in der Nähe des unteren Randes des Pupillenbildes. Wenn der Betrachter links an der Lichtquelle vorbeisieht, befindet sich die Spiegelung rechts von dem Pupillenbild usw.
  • Bei dem in den 3A und 3B dargestellten beispielhaften System ist eine ortsfeste Lichtquelle 36 über der Kamera 32 angeordnet, um den Einsatz einer Blicknachführtechnik auf das Bild des Teilnehmers zu erleichtern. Eine ähnliche Lichtquelle (nicht dargestellt) ist über der Kamera 30 angeordnet. Wie ein Durchschnittsfachmann ohne weiteres erkennen kann, liefert eine Blickdetektionstechnik, beispielsweise die oben diskutierte, nützliche Informationen über die Richtung des Auges mit Bezug auf die Lichtquelle. Wie nicht weiter erläutert wird, kann diese Information dazu benutzt werden, den Parallaxenwinkel θ zu bestimmen. Insbesondere definieren, wie man das am besten aus 3B sehen kann, die Lichtquelle 36, der Teilnehmer A und das angezeigte Bild des Teilnehmers B einen Winkel θ1, während die Lichtquelle 36, der Teilnehmer A und die Kamera 32 einen Winkel θ2 festlegen. Der Parallaxenwinkel θ kann daher dadurch berechnet werden, daß man die Differenz zwischen θ1 und θ2 bildet. Ist der Parallaxenwinkel erst einmal bekannt, wird ein überarbeiteter Bildrahmen auf die gleiche Art und weise übertragen, wie dies oben beschrieben worden ist.
  • Eine beispielhafte Schrittfolge zur Durchführung einer Parallaxenkorrektur mit einem Videokonferenzsystem, das beispielsweise in den 3A und 3B dargestellt ist, ist in 5 gezeigt. Obwohl die Beschreibung in Verbindung mit der Verarbeitung von Bildern lediglich eines Teilnehmers fortgesetzt wird, kann man ohne weiteres einsehen, daß die gleichen Bildanalyse- und Verarbeitungsschritte gleichzeitig für alle Konferenzteilnehmer durchgeführt werden. In jedem Fall wird ein digitalisierter Videorahmen des Teilnehmers A von der Verarbeitungseinrichtung 34 (Schritt 40) empfangen und eine Bildmerkmalsextraktion durchgeführt, um die Augen in dem Bild zu lokalisieren (Schritt 42). Während des Schritts 44 wird die Blickdetektion auf dem Bild durchgeführt, um die Richtung zu erfassen, in die die Person mit Bezug auf die Kamera blickt. Der Parallaxenwinkel wird abgeleitet (Schritt 46) und ein überarbeiteter Bildrahmen erzeugt (Schritt 48), in dem die Position der Pupillen und, wenn geeignet, die Position der Iris den Positionen entspricht, die für einen Augenkontakt mit dem betrachtenden Teilnehmer B notwendig sind. Der überarbeitete Bildrahmen wird anschließend zum Display 22 übertragen (Schritt 50), wo es vom Teilnehmer B angesehen wird. Die oben erwähnten Schritte werden in Echtzeit und Rahmen für Rahmen für jedes Videoeingangssignal ausgeführt, so daß ein Augenkontakt zwischen den dargestellten Bildern und den jeweiligen Teilnehmern hergestellt wird.
  • Wenn mehr als zwei Konferenzorte und/oder Teilnehmer vorgesehen sind, müssen neben der Notwendigkeit, einen Augenkontakt zwischen den Teilnehmern herzustellen, zusätzliche Überlegungen im Hinblick auf das Videokonferenzsystem angestellt werden, um den Blick und das Gefühl einer lebendigen Konferenz zu bewahren. Wie dies bereits oben geschildert worden ist, ist es insbesondere auch für jeden Teilnehmer wichtig zu sehen, wer mit ihm spricht. Daher werden gemäß der erfinderischen Lehre Echtzeit-Bildanalyse- und Verarbeitungstechniken benutzt, um das Kopfbild neu auszurichten als auch den Konferenzteilnehmern den Eindruck eines Augenkontaktes zu vermitteln.
  • 6 wiederum zeigt ein Videokonferenzsystem 60, das gemäß der Erfindung aufgebaut und dem System 20 nach 3A ähnlich ist. Das in 6 dargestellte System wurde allerdings dahingehend geändert, daß eine Konferenz zwischen drei Teilnehmern A, B und C an drei verschiedenen Orten stattfinden kann. Das System 60 enthält daher drei Displays 62, 64 bzw. 66 und drei entsprechende Kameras 68, 70 und 72. Es ist lediglich eine Lichtquelle dargestellt und mit 76 bezeichnet, obwohl über jeder Kamera eine Lichtquelle angeordnet ist. Jedes Display ist in zwei Fenster unterteilt, wobei jedes Fenster das Bild von zwei entfernten Teilnehmern darstellt. Auf eine Weise, die der oben geschilderten entspricht, werden die Videosignale von jeder Kamera digitalisiert, verarbeitet und zu einer Verarbeitungseinrichtung, beispielsweise in der Verarbeitungseinrichtung 74, übertragen.
  • Zu dem in 6 dargestellten Videotelekonferenz-Zeitpunkt spricht A gerade mit B. In einer tatsächlichen Konferenz würde A B ansehen und B und C würden A ansehen. Wird die zusätzliche erfindungsgemäße Bildverarbeitung nicht durchgeführt, würde jeder Teilnehmer nach vorn auf sein Display sehen. Allerdings bewahren die jeweiligen Bilder, die den anderen Teilnehmern dargeboten werden, nicht die entsprechenden Kopfausrichtungen. Um die in 6 dargestellten, richtigen Ausrichtungen zu erhalten, müssen unterschiedlich viele Bildanalyse- und Verarbeitungsschritte durchgeführt werden, wie dies nunmehr beschrieben wird.
  • Während A sich das Fenster von B auf dem Display 62 ansieht, sollte A die Bilder von B und C unmittelbar vor sich sehen (d. h. gegenüber A). Da B und C bereits in ihre eigenen Kameras sehen, ist lediglich eine Parallaxen-Fehlerkorrektur ihrer Augenpositionen erforderlich. Eine derartige Fehlerkorrektur kann dadurch durchgeführt werden, daß irgendeine der oben in Verbindung mit 3A und 3B beschriebenen Techniken benutzt wird. Auf dem Display 64 sollte B das Bild von A sehen, der nach vorne schaut, sowie das Bild von C sehen, der das Bild von A sieht. Obwohl lediglich eine Parallaxen-Fehlerkorrektur des Bildes von A für das Display 64 erforderlich ist, muß das Bild von C zusätzlich eine Neuorientierung erfahren, um die in 6 dargestellte Position zu erreichen. Auf ähnliche Weise sollte C auf dem Display 66 A und B sehen, die sich gegenseitig ansehen. Daher müssen die Bilder von A und B wenigstens eine Kopf-Neuorientierung erfahren, um die in 6 dargestellten Positionen zu erreichen.
  • Ein Verfahren zur Durchführung der Kopf-Neuorientierung und der Parallaxenkorrektur gemäß einem erfindungsgemäßen Ausführungsbeispiel ist in dem Flußdiagramm nach 7 erläutert. Einen digitalisierten Videorahmen eines Konferenzteilnehmers, wie z.B. des Teilnehmers C, empfängt die Verarbeitungseinrichtung 74 (Schritt 80), und es wird eine Bildmerkmalsextraktion durchgeführt, um die Augen in dem Bild zu lokalisieren (Schritt 82). Während des Schritts 84 wird eine Blickdetektion mit dem Bild durchgeführt, um die Richtung zu erkennen, in die die Person mit Bezug auf die Kamera sieht. Wenn der Teilnehmer C beispielsweise den Teilnehmer A ansieht, befindet sich die Spiegelung der Lichtquelle 76 im Bild des Auges des Teilnehmers C, das von der Kamera 72 gewonnen wird, oberhalb und rechts des Zentrums der Pupille.
  • Wie oben erläutert worden ist, kann der Parallaxenwinkel θ aus dieser Information, die die feste Position der Kamera 72 und des Displays 66 angibt (Schritt 86), berechnet werden. Es sei allerdings deutlich betont, daß die Position der Spiegelung mit Bezug auf das Pupillenzentrum benutzt werden kann, um zu erkennen, welches Bild von dem betrachtenden Teilnehmer beobachtet wird (Schritt 88). In dem vorliegenden Beispiel suggeriert der Ort der Spiegelung rechts von dem Pupillenzentrum in dem empfangenen Bild des Teilnehmers C, daß C nach links schaut und daher den Teilnehmer A ansieht.
  • Ist erst einmal bekannt, welches Displayfenster von jedem Konferenzteilnehmer angesehen wird, wird die Bildverarbeitung durchgeführt, um die jeweiligen korrigierten Bildrahmen zu erzeugen, die für jedes Zieldisplay geeignet sind. Wenn lediglich eine Parallaxenkorrektur erforderlich ist, wie dies in Schritt 88 festgelegt ist, wird ein erster Rahmen zur Übertragung zu dem oder den entsprechenden Displays erzeugt (Schritt 90). Bei dem in 6 dargestellten Beispiel wird ein Rahmen, der das Parallaxen-korrigierte, nach vorne schauende Bild des C darstellt, auf dem Display 62 angezeigt. Da eine Neuausrichtung des Kopfes von C erforderlich ist, um dem Teilnehmer B das Gefühl eines Dabeiseins zu vermitteln, müssen allerdings mehrere zusätzliche Verarbeitungsschritte nunmehr ausgeführt werden.
  • Das Gesichtsbild jedes Rahmens wird texturiert auf ein dreidimensionales (3-D) Kopfmodell abgebildet (Schritt 92). Für diesen Zweck kann beispielsweise ein relativ einfaches ellipsoidisches Kopfmodell verwendet werden. Natürlich wird ein Durchschnittsfachmann ohne weiteres erkennen, daß weitere leistungsstarke 3-D-Modelle ebenfalls benutzt werden können, und zwar in Abhängigkeit von Beschränkungen der Verarbeitungsleistung und in der Ausführungsgeschwindigkeit, denen die besondere Anwendung unterliegt. Beispielsweise kann ein Drahtgittermodell benutzt werden, das in dem Aufsatz von K. Aizawa, H. Harashima und T. Saito mit dem Titel "Model-based Analysis Synthesis Image Coding System for a Person's Face", Signal Processing Image Communication, Band 1, Nr. 2, Oktober 1989, Seiten 139–152, veröffentlicht worden ist. In jedem Fall wird das resultierende, dreidimensional strukturierte Modell in eine entsprechende Richtung um einen vorbestimmten Winkel α (Schritt 94) rotiert und die Textur des ellipsoidischen Modells wird auf die zweidimensionale Betrachtungsebene rückprojiziert, um das überarbeitete Bild zu erzeugen (Schritt 96). Das so erzeugte Bild wird anschließend zu dem oder den jeweiligen Zieldisplays übertragen, wie dies in Schritt 98 gezeigt ist. Bei dem in 6 dargestellten Beispiel wurde das auf dem Display 64 dargestellte Bild von C um 90° nach rechts gedreht, damit es in die Richtung des dargestellten Bildes des Teilnehmers A blickt. Die Augäpfel des Bildes C können auf ähnliche Weise unabhängig nachgebildet werden oder in Verbindung mit der oben diskutierten reinen Parallaxen-Korrekturtechnik synthetisiert werden.
  • Zusammen mit einer Videocodierung können eine Parallaxenkorrektur und/oder Kopfausrichtung an den jeweiligen Konferenzorten als Vorverarbeitung oder Nachverarbeitung durchgeführt werden. In beiden Fällen wird eine Bildanalyse vorteilhafterweise vor der Codierung der ursprünglichen Bildsignale durchgeführt, so daß keine kritische Bildinformation vor der Analyse verlorengeht. Eine Synthese von Bildern, die erfindungsgemäß korrigiert werden, kann allerdings zu jeder Zeit durchgeführt werden. Im Falle einer Vorverarbeitung wird das Bild digitalisiert, analysiert, synthetisiert/verarbeitet, codiert und übertragen. Da unterschiedlich verarbeitete Bilder zu verschiedenen Teilnehmern übermittelt werden müssen, ist ein großer Betrag an Übertragungsbandbreite erforderlich. Im Fall der Nachverarbeitung müssen der Parallaxenwinkel und die Kopfausrichtungsinformation jedes Teilnehmers, die aus der Bildanalyse gewonnen werden, zusammen mit den codierten Videosignalen übermittelt werden. Eine Synthese kann anschließend im Empfänger oder an irgendeinem zentralisierten Ort durchgeführt.

Claims (6)

  1. Verfahren zum Abhalten einer Videokonferenz zwischen mehreren, entfernt gelegenen Konferenzräumen, in denen sich jeweils wenigstens ein Konferenzteilnehmer, eine Videokamera und ein Bildempfänger befinden, wobei der Bildempfänger, die Videokamera und die ihnen zugeordneten Augen jedes Konferenzteilnehmers einen Parallaxenwinkel für jeden Konferenzteilnehmer bilden, umfassend die folgenden Schritte: Erzeugen eines Videosignals, das eine Folge von Eingangsbildrahmen eines ersten Konferenzteilnehmers (A) darstellt mit einer ersten Videokamera (32), Analysieren der Eingangsbildrahmen des Konferenzteilnehmers in Echtzeit zur Bestimmung eines Parallaxenwinkels in jedem Rahmen, Erzeugen einer entsprechenden Folge von Parallaxen-kompensierten Bildrahmen, und Übertragen eines Signals, das die Folge von Parallaxen-kompensierten Bildrahmen darstellt, zu einem Bildempfänger (22), der von einem zweiten Konferenzteilnehmer (B) betrachtet wird, wodurch ein Augenkontakt zwischen dem zweiten Konferenzteilnehmer und einem angezeigten Bild des ersten Konferenzteilnehmers hergestellt wird, wobei das Analysieren folgende Schritte umfaßt: Lokalisieren einer Spiegelung einer ortsfesten Lichtquelle in einer Pupille des ersten Konferenzteilnehmers in einem Bild des ersten Konferenzteilnehmers und Messen einer Position der Spiegelung bezüglich des Zentrums der Pupille.
  2. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß das Erzeugen folgenden Schritt umfaßt: es wird wenigstens ein Teil jedes Parallaxen-kompensierten Bildrahmens aus einem Eingangsbildrahmen des Konferenzteilnehmers synthetisiert.
  3. Verfahren nach Anspruch 1, dadurch gekennzeichnet, daß während des Messens eine Blickrichtung des ersten Konferenzteilnehmers erhalten wird, und daß das Erzeugen den weiteren Schritt aufweist: jeder Eingangsbildrahmen des Konferenzteilnehmers wird texturiert auf ein dreidimensionales ellipsoidisches Gesichtsmodell abgebildet, und das Gesichtsmodell wird neu ausgerichtet, um eine Gesichtausrichtung zu erreichen, die gemäß der Blickrichtung ausgewählt wird.
  4. Videokonferenzsystem, das mehrere entfernt gelegene Konferenzräume verbindet, wobei sich in jedem Raum wenigstens ein Konferenzteilnehmer von mehreren Konferenzteilnehmern aufhält, umfassend wenigstens ein Videotelefon in jedem Raum (26, 28), das eine Videokamera (32) zum Erzeugen von Videosignalen, die eine Folge von Eingangs-Bildrahmen eines ersten Konferenzteilnehmers (A) darstellen, und einen Bildempfänger (24) zum Darstellen von Bildrahmen wenigstens eines zweiten Konferenzteilnehmers (B) aufweist, wobei der Bildempfänger, die Videokamera und die Augen des ersten Konferenzteilnehmers einen Parallaxenwinkel bilden, eine ortsfeste Lichtquelle (36) in jedem Raum, die eine Spiegelung in den Augen des Konferenzteilnehmers in jedem Raum erzeugt, eine Rahmen-Erzeugungseinrichtung (34), die unter Ansprechen auf die Videosignale Eingangs-Bildrahmen des ersten Konferenzteilnehmers analysiert, eine Blickrichtung des ersten Konferenzteilnehmers aus einer Position der Spiegelung bezüglich des Zentrums der Pupille detektiert und eine entsprechende Folge von Parallaxen-kompensierten Bildrahmen des ersten Konferenzteilnehmers erzeugt, und eine Einrichtung zum Übermitteln eines Signals, das die Folge der Parallaxen-kompensierten Rahmen darstellt, zu wenigstens einem entfernten Bildempfänger (22), wodurch ein Augenkontakt zwischen wenigstens dem zweiten Konferenzteilnehmer und einem dargestellten Bild des ersten Konferenzteilnehmers herstellbar ist.
  5. System nach Anspruch 4, dadurch gekennzeichnet, daß die Rahmen-Erzeugungseinrichtung (34) zum Erzeugen eines zweiten Bildrahmens zur Übertragung zu wenigstens einem dritten Konferenzteilnehmer ausgebildet ist und auf eine detektierte Blickrichtung anspricht, um jeden Eingangs-Bildrahmen des Konferenzteilnehmers texturiert auf ein dreidimensionales ellipsoidisches Gesichtsmodell abzubilden und das Gesichtsmodell neu auszurichten, um eine Gesichtsorientierung zu erreichen, die gemäß der detektierten Blickrichtung ausgewählt ist.
  6. System nach Anspruch 5, dadurch gekennzeichnet, daß die Sendeeinrichtung (34) eine erste Folge von Parallaxen-kompensierten Bildrahmen, die den ersten Konferenzteilnehmer darstellen, zu einem Bildempfänger, der in der Nähe eines zweiten Konferenzteilnehmers positioniert ist, und eine zweite Folge von Blickrichtungs- kompensierten Bildrahmen, die den ersten Konferenzteilnehmer darstellen, zu einem Bildempfänger übermitteln kann, der in der Nähe eines dritten Konferenzteilnehmers positioniert ist, wodurch ein Anwesenheitsgefühl zwischen dem ersten, dem zweiten und dem dritten Konferenzteilnehmer wahrnehmbar ist.
DE19539048A 1994-10-25 1995-10-20 Video-Konferenzsystem und Verfahren zum Bereitstellen einer Parallaxenkorrektur und zum Erzeugen eines Anwesenheitsgefühls Expired - Fee Related DE19539048B4 (de)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/328,640 US5500671A (en) 1994-10-25 1994-10-25 Video conference system and method of providing parallax correction and a sense of presence
US08/328,640 1994-10-25

Publications (2)

Publication Number Publication Date
DE19539048A1 DE19539048A1 (de) 1996-05-02
DE19539048B4 true DE19539048B4 (de) 2006-04-06

Family

ID=23281793

Family Applications (1)

Application Number Title Priority Date Filing Date
DE19539048A Expired - Fee Related DE19539048B4 (de) 1994-10-25 1995-10-20 Video-Konferenzsystem und Verfahren zum Bereitstellen einer Parallaxenkorrektur und zum Erzeugen eines Anwesenheitsgefühls

Country Status (6)

Country Link
US (1) US5500671A (de)
JP (1) JPH08237629A (de)
CA (1) CA2157613C (de)
DE (1) DE19539048B4 (de)
GB (1) GB2294605B (de)
TW (1) TW297985B (de)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2317764A1 (de) 2009-11-03 2011-05-04 Deutsche Telekom AG Verfahren und System zur Darbietung von Bilddaten

Families Citing this family (225)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10361802B1 (en) 1999-02-01 2019-07-23 Blanding Hovenweep, Llc Adaptive pattern recognition based control system and method
US8352400B2 (en) 1991-12-23 2013-01-08 Hoffberg Steven M Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore
JPH07222202A (ja) * 1994-02-02 1995-08-18 Rohm Co Ltd 立体ビジョンカメラ
US5815197A (en) * 1995-02-16 1998-09-29 Sumitomo Electric Industries, Ltd. Two-way interactive system, terminal equipment and image pickup apparatus having mechanism for matching lines of sight between interlocutors through transmission means
USRE38884E1 (en) * 1995-02-16 2005-11-22 Sumitomo Electric Industries, Ltd. Two-way interactive system, terminal equipment and image pickup apparatus having mechanism for matching lines of sight between interlocutors through transmission means
JPH08256318A (ja) * 1995-03-17 1996-10-01 Fujitsu Ltd テレビ会議システムのカメラ制御装置
KR100414629B1 (ko) * 1995-03-29 2004-05-03 산요덴키가부시키가이샤 3차원표시화상생성방법,깊이정보를이용한화상처리방법,깊이정보생성방법
US6020892A (en) * 1995-04-17 2000-02-01 Dillon; Kelly Process for producing and controlling animated facial representations
JP3316725B2 (ja) * 1995-07-06 2002-08-19 三菱電機株式会社 顔画像撮像装置
US5559875A (en) * 1995-07-31 1996-09-24 Latitude Communications Method and apparatus for recording and retrieval of audio conferences
US5675376A (en) * 1995-12-21 1997-10-07 Lucent Technologies Inc. Method for achieving eye-to-eye contact in a video-conferencing system
US5917940A (en) * 1996-01-23 1999-06-29 Nec Corporation Three dimensional reference image segmenting method and device and object discrimination system
US6037970A (en) * 1996-04-05 2000-03-14 Sony Corporation Videoconference system and method therefor
US5856842A (en) * 1996-08-26 1999-01-05 Kaiser Optical Systems Corporation Apparatus facilitating eye-contact video communications
US6275258B1 (en) 1996-12-17 2001-08-14 Nicholas Chim Voice responsive image tracking system
US6259470B1 (en) * 1997-12-18 2001-07-10 Intel Corporation Image capture system having virtual camera
US6593956B1 (en) 1998-05-15 2003-07-15 Polycom, Inc. Locating an audio source
JP4465880B2 (ja) * 1998-10-09 2010-05-26 ソニー株式会社 通信装置及び方法
US6393136B1 (en) * 1999-01-04 2002-05-21 International Business Machines Corporation Method and apparatus for determining eye contact
US7966078B2 (en) 1999-02-01 2011-06-21 Steven Hoffberg Network media appliance system and method
US7117157B1 (en) * 1999-03-26 2006-10-03 Canon Kabushiki Kaisha Processing apparatus for determining which person in a group is speaking
GB9908545D0 (en) 1999-04-14 1999-06-09 Canon Kk Image processing apparatus
KR100307854B1 (ko) * 1999-11-10 2001-11-02 전병우 단일카메라를 이용한 시선 맞춤 보정 방법 및 그 장치
US6806898B1 (en) * 2000-03-20 2004-10-19 Microsoft Corp. System and method for automatically adjusting gaze and head orientation for video conferencing
CN100426303C (zh) * 2000-04-21 2008-10-15 株式会社资生堂 化妆咨询装置
US6717607B1 (en) 2000-04-28 2004-04-06 Swisscom Mobile Ag Method and system for video conferences
US20020015003A1 (en) * 2000-08-07 2002-02-07 Masami Kato Virtual space system structured by plural user terminals and server device
JP3784289B2 (ja) * 2000-09-12 2006-06-07 松下電器産業株式会社 メディア編集方法及びその装置
US6718051B1 (en) 2000-10-16 2004-04-06 Xerox Corporation Red-eye detection method
US6724417B1 (en) * 2000-11-29 2004-04-20 Applied Minds, Inc. Method and apparatus maintaining eye contact in video delivery systems using view morphing
US6785402B2 (en) * 2001-02-15 2004-08-31 Hewlett-Packard Development Company, L.P. Head tracking and color video acquisition via near infrared luminance keying
US6714234B1 (en) 2001-04-11 2004-03-30 Applied Minds, Inc. Maintaining eye-contact in teleconferencing using structured light
WO2002084590A1 (en) * 2001-04-11 2002-10-24 Applied Minds, Inc. Knowledge web
US7190825B2 (en) * 2001-08-17 2007-03-13 Geo-Rae Co., Ltd. Portable communication device for stereoscopic image display and transmission
US6798457B2 (en) 2001-09-26 2004-09-28 Digeo, Inc. Camera positioning system and method for eye-to-eye communication
US6943843B2 (en) * 2001-09-27 2005-09-13 Digeo, Inc. Camera positioning system and method for eye-to eye communication
US20030169339A1 (en) * 2001-10-01 2003-09-11 Digeo. Inc. System and method for tracking an object during video communication
US6598971B2 (en) 2001-11-08 2003-07-29 Lc Technologies, Inc. Method and system for accommodating pupil non-concentricity in eyetracker systems
US20040207718A1 (en) * 2001-11-14 2004-10-21 Boyden James H. Camera positioning system and method for eye -to-eye communication
US7130446B2 (en) * 2001-12-03 2006-10-31 Microsoft Corporation Automatic detection and tracking of multiple individuals using multiple cues
US20030112325A1 (en) * 2001-12-13 2003-06-19 Digeo, Inc. Camera positioning system and method for eye-to-eye communication
US7126627B1 (en) 2002-03-06 2006-10-24 Lewis Thomas B Video conferencing device and method
US7904826B2 (en) * 2002-03-29 2011-03-08 Microsoft Corporation Peek around user interface
US7844610B2 (en) 2003-12-12 2010-11-30 Google Inc. Delegated authority evaluation system
US8069175B2 (en) 2002-04-10 2011-11-29 Google Inc. Delegating authority to evaluate content
US20030195834A1 (en) * 2002-04-10 2003-10-16 Hillis W. Daniel Automated online purchasing system
EP1365359A1 (de) * 2002-05-24 2003-11-26 BRITISH TELECOMMUNICATIONS public limited company Bildverarbeitungsverfahren und -system
AU2003297193A1 (en) 2002-12-13 2004-07-09 Applied Minds, Inc. Meta-web
US8012025B2 (en) * 2002-12-13 2011-09-06 Applied Minds, Llc Video game controller hub with control input reduction and combination schemes
US7106358B2 (en) * 2002-12-30 2006-09-12 Motorola, Inc. Method, system and apparatus for telepresence communications
US7593546B2 (en) * 2003-03-11 2009-09-22 Hewlett-Packard Development Company, L.P. Telepresence system with simultaneous automatic preservation of user height, perspective, and vertical gaze
US8299979B2 (en) * 2003-05-14 2012-10-30 Broadcom Corporation Integral eye-path alignment on telephony and computer video devices using two or more image sensing devices
US8363951B2 (en) * 2007-03-05 2013-01-29 DigitalOptics Corporation Europe Limited Face recognition training method and apparatus
US8553949B2 (en) * 2004-01-22 2013-10-08 DigitalOptics Corporation Europe Limited Classification and organization of consumer digital images using workflow, and face detection and recognition
GB0321083D0 (en) * 2003-09-09 2003-10-08 British Telecomm Video communications method and system
US7336296B2 (en) * 2003-10-10 2008-02-26 International Business Machines Corporation System and method for providing position-independent pose estimation
US20050131918A1 (en) * 2003-12-12 2005-06-16 W. Daniel Hillis Personalized profile for evaluating content
US8824730B2 (en) * 2004-01-09 2014-09-02 Hewlett-Packard Development Company, L.P. System and method for control of video bandwidth based on pose of a person
US7564994B1 (en) * 2004-01-22 2009-07-21 Fotonation Vision Limited Classification system for consumer digital images using automatic workflow and face detection and recognition
US7865834B1 (en) * 2004-06-25 2011-01-04 Apple Inc. Multi-way video conferencing user interface
EP1613082A1 (de) * 2004-06-30 2006-01-04 Sony Ericsson Mobile Communications AB Gesichtsbildkorrektur
US7715597B2 (en) * 2004-12-29 2010-05-11 Fotonation Ireland Limited Method and component for image recognition
US8503800B2 (en) 2007-03-05 2013-08-06 DigitalOptics Corporation Europe Limited Illumination detection using classifier chains
US7605837B2 (en) * 2005-06-02 2009-10-20 Lao Chan Yuen Display system and method
CN101496387B (zh) 2006-03-06 2012-09-05 思科技术公司 用于移动无线网络中的接入认证的系统和方法
GB0718706D0 (en) 2007-09-25 2007-11-07 Creative Physics Ltd Method and apparatus for reducing laser speckle
US7591558B2 (en) * 2006-05-31 2009-09-22 Sony Ericsson Mobile Communications Ab Display based on eye information
US20070279483A1 (en) * 2006-05-31 2007-12-06 Beers Ted W Blended Space For Aligning Video Streams
JP4730667B2 (ja) * 2006-07-25 2011-07-20 富士フイルム株式会社 自動再生方法及び装置
KR100820639B1 (ko) * 2006-07-25 2008-04-10 한국과학기술연구원 시선 기반 3차원 인터랙션 시스템 및 방법 그리고 3차원시선 추적 시스템 및 방법
US7515740B2 (en) 2006-08-02 2009-04-07 Fotonation Vision Limited Face recognition with combined PCA-based datasets
US8648897B2 (en) * 2006-10-10 2014-02-11 Exelis, Inc. System and method for dynamically enhancing depth perception in head borne video systems
US8130261B2 (en) * 2006-10-10 2012-03-06 Exelis, Inc. System and method for dynamically correcting parallax in head borne video systems
US20080117290A1 (en) * 2006-10-18 2008-05-22 Mgc Works, Inc. Apparatus, system and method for generating stereoscopic images and correcting for vertical parallax
AU2007221976B2 (en) * 2006-10-19 2009-12-24 Polycom, Inc. Ultrasonic camera tracking system and associated methods
FR2910770A1 (fr) * 2006-12-22 2008-06-27 France Telecom Dispositif pour permettre une communication par visioconference et procede de communication associe.
EP2123008A4 (de) * 2007-03-05 2011-03-16 Tessera Tech Ireland Ltd Gesichtskategorisierungs- und anmerkungssystem für eine mobiltelefon-kontaktliste
US20080278516A1 (en) * 2007-05-11 2008-11-13 Santon John C System and method for adjusting perceived eye rotation in image of face
US8570373B2 (en) 2007-06-08 2013-10-29 Cisco Technology, Inc. Tracking an object utilizing location information associated with a wireless device
GB2450345A (en) * 2007-06-20 2008-12-24 Iona Simpson Videoconference terminal providing enhanced user interface
US8074581B2 (en) 2007-10-12 2011-12-13 Steelcase Inc. Conference table assembly
US20090183276A1 (en) * 2008-01-10 2009-07-16 Pioneer Hi-Bred International, Inc. Novel Bacillus Thuringiensis Gene with Coleopteran Activity
US8355041B2 (en) 2008-02-14 2013-01-15 Cisco Technology, Inc. Telepresence system for 360 degree video conferencing
US8797377B2 (en) 2008-02-14 2014-08-05 Cisco Technology, Inc. Method and system for videoconference configuration
US8289367B2 (en) * 2008-03-17 2012-10-16 Cisco Technology, Inc. Conferencing and stage display of distributed conference participants
US8319819B2 (en) 2008-03-26 2012-11-27 Cisco Technology, Inc. Virtual round-table videoconference
US8390667B2 (en) 2008-04-15 2013-03-05 Cisco Technology, Inc. Pop-up PIP for people not in picture
NO331839B1 (no) * 2008-05-30 2012-04-16 Cisco Systems Int Sarl Fremgangsmate for a fremvise et bilde pa et display
US20100054526A1 (en) * 2008-09-03 2010-03-04 Dean Eckles Method, apparatus and computer program product for providing gaze information
US8694658B2 (en) 2008-09-19 2014-04-08 Cisco Technology, Inc. System and method for enabling communication sessions in a network environment
US8593503B2 (en) * 2008-09-25 2013-11-26 Alcatel Lucent Videoconferencing terminal and method of operation thereof to maintain eye contact
US10631632B2 (en) 2008-10-13 2020-04-28 Steelcase Inc. Egalitarian control apparatus and method for sharing information in a collaborative workspace
US20140361954A1 (en) 2013-06-07 2014-12-11 Lewis Epstein Personal control apparatus and method for sharing information in a collaboration workspace
US8266536B2 (en) * 2008-11-20 2012-09-11 Palo Alto Research Center Incorporated Physical-virtual environment interface
US8405706B2 (en) * 2008-12-17 2013-03-26 Microsoft Corporation Visual feedback for natural head positioning
JP5208810B2 (ja) 2009-02-27 2013-06-12 株式会社東芝 情報処理装置、情報処理方法、情報処理プログラム、およびネットワーク会議システム
US8659637B2 (en) 2009-03-09 2014-02-25 Cisco Technology, Inc. System and method for providing three dimensional video conferencing in a network environment
US8477175B2 (en) 2009-03-09 2013-07-02 Cisco Technology, Inc. System and method for providing three dimensional imaging in a network environment
US11726332B2 (en) 2009-04-27 2023-08-15 Digilens Inc. Diffractive projection apparatus
US9335604B2 (en) 2013-12-11 2016-05-10 Milan Momcilo Popovich Holographic waveguide display
US10884607B1 (en) 2009-05-29 2021-01-05 Steelcase Inc. Personal control apparatus and method for sharing information in a collaborative workspace
JP5456159B2 (ja) * 2009-05-29 2014-03-26 デジタルオプティックス・コーポレイション・ヨーロッパ・リミテッド 背景から前景の頭頂部を分離するための方法および装置
US8659639B2 (en) 2009-05-29 2014-02-25 Cisco Technology, Inc. System and method for extending communications between participants in a conferencing environment
CZ305294B6 (cs) * 2009-06-03 2015-07-22 Masarykova Univerzita Videokonferenční prostředí pro komunikaci vzdálených skupin a způsob komunikace vzdálených skupin v systému videokonferenčního prostředí
US9082297B2 (en) 2009-08-11 2015-07-14 Cisco Technology, Inc. System and method for verifying parameters in an audiovisual environment
US11320571B2 (en) 2012-11-16 2022-05-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view with uniform light extraction
US11300795B1 (en) 2009-09-30 2022-04-12 Digilens Inc. Systems for and methods of using fold gratings coordinated with output couplers for dual axis expansion
US10795160B1 (en) 2014-09-25 2020-10-06 Rockwell Collins, Inc. Systems for and methods of using fold gratings for dual axis expansion
US8233204B1 (en) 2009-09-30 2012-07-31 Rockwell Collins, Inc. Optical displays
US8520051B2 (en) * 2009-12-17 2013-08-27 Alcatel Lucent Videoconferencing terminal with a persistence of vision display and a method of operation thereof to maintain eye contact
US9250193B2 (en) * 2010-01-26 2016-02-02 De Beers Uk Ltd. Gemstone sparkle analysis
US8659826B1 (en) 2010-02-04 2014-02-25 Rockwell Collins, Inc. Worn display system and method without requiring real time tracking for boresight precision
US9225916B2 (en) 2010-03-18 2015-12-29 Cisco Technology, Inc. System and method for enhancing video images in a conferencing environment
USD628175S1 (en) 2010-03-21 2010-11-30 Cisco Technology, Inc. Mounted video unit
USD626102S1 (en) 2010-03-21 2010-10-26 Cisco Tech Inc Video unit with integrated features
USD626103S1 (en) 2010-03-21 2010-10-26 Cisco Technology, Inc. Video unit with integrated features
USD628968S1 (en) 2010-03-21 2010-12-14 Cisco Technology, Inc. Free-standing video unit
US9955209B2 (en) 2010-04-14 2018-04-24 Alcatel-Lucent Usa Inc. Immersive viewer, a method of providing scenes on a display and an immersive viewing system
US9294716B2 (en) 2010-04-30 2016-03-22 Alcatel Lucent Method and system for controlling an imaging system
US20110270663A1 (en) * 2010-04-30 2011-11-03 American Teleconferncing Services Ltd. Location-Aware Conferencing With Participant Rewards
US9313452B2 (en) 2010-05-17 2016-04-12 Cisco Technology, Inc. System and method for providing retracting optics in a video conferencing environment
US8971628B2 (en) 2010-07-26 2015-03-03 Fotonation Limited Face detection using division-generated haar-like features for illumination invariance
US8421844B2 (en) 2010-08-13 2013-04-16 Alcatel Lucent Apparatus for correcting gaze, a method of videoconferencing and a system therefor
US8896655B2 (en) 2010-08-31 2014-11-25 Cisco Technology, Inc. System and method for providing depth adaptive video conferencing
US8599934B2 (en) 2010-09-08 2013-12-03 Cisco Technology, Inc. System and method for skip coding during video conferencing in a network environment
US8754925B2 (en) 2010-09-30 2014-06-17 Alcatel Lucent Audio source locator and tracker, a method of directing a camera to view an audio source and a video conferencing terminal
US8599865B2 (en) 2010-10-26 2013-12-03 Cisco Technology, Inc. System and method for provisioning flows in a mobile network environment
CN101986346B (zh) * 2010-11-01 2012-08-08 华为终端有限公司 人脸图像处理方法及装置
US8699457B2 (en) 2010-11-03 2014-04-15 Cisco Technology, Inc. System and method for managing flows in a mobile network environment
US9143725B2 (en) 2010-11-15 2015-09-22 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US8902244B2 (en) 2010-11-15 2014-12-02 Cisco Technology, Inc. System and method for providing enhanced graphics in a video environment
US9338394B2 (en) 2010-11-15 2016-05-10 Cisco Technology, Inc. System and method for providing enhanced audio in a video environment
US8730297B2 (en) 2010-11-15 2014-05-20 Cisco Technology, Inc. System and method for providing camera functions in a video environment
US8542264B2 (en) 2010-11-18 2013-09-24 Cisco Technology, Inc. System and method for managing optics in a video environment
US8723914B2 (en) 2010-11-19 2014-05-13 Cisco Technology, Inc. System and method for providing enhanced video processing in a network environment
US9111138B2 (en) 2010-11-30 2015-08-18 Cisco Technology, Inc. System and method for gesture interface control
USD682864S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen with graphical user interface
USD682293S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678894S1 (en) 2010-12-16 2013-03-26 Cisco Technology, Inc. Display screen with graphical user interface
USD682854S1 (en) 2010-12-16 2013-05-21 Cisco Technology, Inc. Display screen for graphical user interface
USD678320S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD682294S1 (en) 2010-12-16 2013-05-14 Cisco Technology, Inc. Display screen with graphical user interface
USD678308S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
USD678307S1 (en) 2010-12-16 2013-03-19 Cisco Technology, Inc. Display screen with graphical user interface
US8692862B2 (en) 2011-02-28 2014-04-08 Cisco Technology, Inc. System and method for selection of video data in a video conference environment
US9274349B2 (en) 2011-04-07 2016-03-01 Digilens Inc. Laser despeckler based on angular diversity
US8670019B2 (en) 2011-04-28 2014-03-11 Cisco Technology, Inc. System and method for providing enhanced eye gaze in a video conferencing environment
US8786631B1 (en) 2011-04-30 2014-07-22 Cisco Technology, Inc. System and method for transferring transparency information in a video environment
US8934026B2 (en) 2011-05-12 2015-01-13 Cisco Technology, Inc. System and method for video coding in a dynamic environment
WO2016020630A2 (en) 2014-08-08 2016-02-11 Milan Momcilo Popovich Waveguide laser illuminator incorporating a despeckler
US10670876B2 (en) 2011-08-24 2020-06-02 Digilens Inc. Waveguide laser illuminator incorporating a despeckler
WO2013027004A1 (en) 2011-08-24 2013-02-28 Milan Momcilo Popovich Wearable data display
US9538133B2 (en) * 2011-09-23 2017-01-03 Jie Diao Conveying gaze information in virtual conference
US9599813B1 (en) 2011-09-30 2017-03-21 Rockwell Collins, Inc. Waveguide combiner system and method with less susceptibility to glare
US9366864B1 (en) 2011-09-30 2016-06-14 Rockwell Collins, Inc. System for and method of displaying information without need for a combiner alignment detector
US8634139B1 (en) 2011-09-30 2014-01-21 Rockwell Collins, Inc. System for and method of catadioptric collimation in a compact head up display (HUD)
US9715067B1 (en) 2011-09-30 2017-07-25 Rockwell Collins, Inc. Ultra-compact HUD utilizing waveguide pupil expander with surface relief gratings in high refractive index materials
US8947493B2 (en) 2011-11-16 2015-02-03 Cisco Technology, Inc. System and method for alerting a participant in a video conference
US9008487B2 (en) 2011-12-06 2015-04-14 Alcatel Lucent Spatial bookmarking
US8682087B2 (en) 2011-12-19 2014-03-25 Cisco Technology, Inc. System and method for depth-guided image filtering in a video conference environment
EP2610855A1 (de) * 2011-12-28 2013-07-03 Samsung Electronics Co., Ltd Anzeigevorrichtung
WO2013102759A2 (en) 2012-01-06 2013-07-11 Milan Momcilo Popovich Contact image sensor using switchable bragg gratings
KR102054363B1 (ko) * 2012-02-27 2019-12-11 뮤즈 캐피탈 엘엘씨 시선 보정을 위한 화상 회의에서 영상 처리를 위한 방법 및 시스템
US9523852B1 (en) 2012-03-28 2016-12-20 Rockwell Collins, Inc. Micro collimator system and method for a head up display (HUD)
US9369667B2 (en) * 2012-04-11 2016-06-14 Jie Diao Conveying gaze information in virtual conference
WO2013163347A1 (en) 2012-04-25 2013-10-31 Rockwell Collins, Inc. Holographic wide angle display
JP2013235562A (ja) * 2012-05-04 2013-11-21 Commonwealth Scientific & Industrial Research Organization ビデオにおける眼位のためのシステムおよび方法
US8902281B2 (en) 2012-06-29 2014-12-02 Alcatel Lucent System and method for image stabilization in videoconferencing
US20140098296A1 (en) * 2012-10-04 2014-04-10 Ati Technologies Ulc Method and apparatus for changing a perspective of a video
US9933684B2 (en) 2012-11-16 2018-04-03 Rockwell Collins, Inc. Transparent waveguide display providing upper and lower fields of view having a specific light output aperture configuration
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9681154B2 (en) 2012-12-06 2017-06-13 Patent Capital Group System and method for depth-guided filtering in a video conference environment
KR20140090538A (ko) 2013-01-09 2014-07-17 삼성전자주식회사 디스플레이 장치 및 제어 방법
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9674413B1 (en) 2013-04-17 2017-06-06 Rockwell Collins, Inc. Vision system and method having improved performance and solar mitigation
US10341611B2 (en) * 2013-04-30 2019-07-02 Inuitive Ltd. System and method for video conferencing
JP6229314B2 (ja) 2013-05-30 2017-11-15 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
US9727772B2 (en) 2013-07-31 2017-08-08 Digilens, Inc. Method and apparatus for contact image sensing
US9325936B2 (en) * 2013-08-09 2016-04-26 Samsung Electronics Co., Ltd. Hybrid visual communication
US9244281B1 (en) 2013-09-26 2016-01-26 Rockwell Collins, Inc. Display system and method using a detached combiner
US10732407B1 (en) 2014-01-10 2020-08-04 Rockwell Collins, Inc. Near eye head up display system and method with fixed combiner
US9519089B1 (en) 2014-01-30 2016-12-13 Rockwell Collins, Inc. High performance volume phase gratings
US9244280B1 (en) 2014-03-25 2016-01-26 Rockwell Collins, Inc. Near eye display system and method for display enhancement or redundancy
US9843713B2 (en) * 2014-04-02 2017-12-12 Nebulys Technologies, Inc. Systems and methods for video communication
US10359736B2 (en) 2014-08-08 2019-07-23 Digilens Inc. Method for holographic mastering and replication
US10241330B2 (en) 2014-09-19 2019-03-26 Digilens, Inc. Method and apparatus for generating input images for holographic waveguide displays
WO2016045924A1 (en) * 2014-09-24 2016-03-31 Thomson Licensing A background light enhancing apparatus responsive to a remotely generated video signal
TW201615009A (en) * 2014-09-24 2016-04-16 Thomson Licensing A background light enhancing apparatus responsive to a local camera output video signal
US10088675B1 (en) 2015-05-18 2018-10-02 Rockwell Collins, Inc. Turning light pipe for a pupil expansion system and method
US9715110B1 (en) 2014-09-25 2017-07-25 Rockwell Collins, Inc. Automotive head up display (HUD)
EP3245444B1 (de) 2015-01-12 2021-09-08 DigiLens Inc. Umweltisolierte wellenleiteranzeige
US9541998B2 (en) 2015-01-29 2017-01-10 Samsung Electronics Co., Ltd. Electronic system with gaze alignment mechanism and method of operation thereof
US9632226B2 (en) 2015-02-12 2017-04-25 Digilens Inc. Waveguide grating device
US10247943B1 (en) 2015-05-18 2019-04-02 Rockwell Collins, Inc. Head up display (HUD) using a light pipe
US11366316B2 (en) 2015-05-18 2022-06-21 Rockwell Collins, Inc. Head up display (HUD) using a light pipe
US10126552B2 (en) 2015-05-18 2018-11-13 Rockwell Collins, Inc. Micro collimator system and method for a head up display (HUD)
KR102317021B1 (ko) * 2015-06-26 2021-10-25 삼성전자주식회사 디스플레이 장치 및 이의 영상 보정 방법
US10108010B2 (en) 2015-06-29 2018-10-23 Rockwell Collins, Inc. System for and method of integrating head up displays and head down displays
CN113759555A (zh) 2015-10-05 2021-12-07 迪吉伦斯公司 波导显示器
US9743040B1 (en) * 2015-12-03 2017-08-22 Symantec Corporation Systems and methods for facilitating eye contact during video conferences
US10598932B1 (en) 2016-01-06 2020-03-24 Rockwell Collins, Inc. Head up display for integrating views of conformally mapped symbols and a fixed image source
WO2017162999A1 (en) 2016-03-24 2017-09-28 Popovich Milan Momcilo Method and apparatus for providing a polarization selective holographic waveguide device
EP3433658B1 (de) 2016-04-11 2023-08-09 DigiLens, Inc. Holographische wellenleitervorrichtung für die projektion von strukturiertem licht
WO2018102834A2 (en) 2016-12-02 2018-06-07 Digilens, Inc. Waveguide device with uniform output illumination
US10264213B1 (en) 2016-12-15 2019-04-16 Steelcase Inc. Content amplification system and method
US10545346B2 (en) 2017-01-05 2020-01-28 Digilens Inc. Wearable heads up displays
US10295824B2 (en) 2017-01-26 2019-05-21 Rockwell Collins, Inc. Head up display with an angled light pipe
US10560661B2 (en) 2017-03-16 2020-02-11 Dolby Laboratories Licensing Corporation Detecting and mitigating audio-visual incongruence
JP7399084B2 (ja) 2017-10-16 2023-12-15 ディジレンズ インコーポレイテッド ピクセル化されたディスプレイの画像分解能を倍増させるためのシステムおよび方法
US10656706B2 (en) * 2017-12-04 2020-05-19 International Business Machines Corporation Modifying a computer-based interaction based on eye gaze
US10914950B2 (en) 2018-01-08 2021-02-09 Digilens Inc. Waveguide architectures and related methods of manufacturing
KR20200108030A (ko) 2018-01-08 2020-09-16 디지렌즈 인코포레이티드. 도파관 셀 내의 홀로그래픽 격자의 높은 처리능력의 레코딩을 위한 시스템 및 방법
US11402801B2 (en) 2018-07-25 2022-08-02 Digilens Inc. Systems and methods for fabricating a multilayer optical structure
JPWO2020089971A1 (ja) * 2018-10-29 2021-02-15 有限会社 アドリブ 画像処理装置、方法、コンピュータプログラム
US11022794B2 (en) * 2018-12-27 2021-06-01 Facebook Technologies, Llc Visual indicators of user attention in AR/VR environment
US11112865B1 (en) * 2019-02-13 2021-09-07 Facebook Technologies, Llc Systems and methods for using a display as an illumination source for eye tracking
JP2022520472A (ja) 2019-02-15 2022-03-30 ディジレンズ インコーポレイテッド 統合された格子を使用してホログラフィック導波管ディスプレイを提供するための方法および装置
KR20210134763A (ko) 2019-03-12 2021-11-10 디지렌즈 인코포레이티드. 홀로그래픽 도파관 백라이트 및 관련된 제조 방법
US20200386947A1 (en) 2019-06-07 2020-12-10 Digilens Inc. Waveguides Incorporating Transmissive and Reflective Gratings and Related Methods of Manufacturing
CN114341729A (zh) 2019-07-29 2022-04-12 迪吉伦斯公司 用于使像素化显示器的图像分辨率和视场倍增的方法和设备
KR20220054386A (ko) 2019-08-29 2022-05-02 디지렌즈 인코포레이티드. 진공 브래그 격자 및 이의 제조 방법
CN114270290A (zh) * 2019-09-10 2022-04-01 英特尔公司 具有可移动配件壳体的膝上型计算机
JP7420585B2 (ja) 2020-02-20 2024-01-23 日本放送協会 Ar表示制御装置及びそのプログラム、並びに、ar表示システム
US11783531B2 (en) * 2020-12-01 2023-10-10 Matsuko S.R.O. Method, system, and medium for 3D or 2.5D electronic communication
DE102022121634A1 (de) * 2022-08-26 2024-02-29 Telefónica Germany GmbH & Co. OHG System, Verfahren, Computerprogramm und computerlesbares Medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992014340A1 (de) * 1991-01-31 1992-08-20 Siemens Aktiengesellschaft Verfahren zur korrektur der blickrichtung beim bildtelefon
US5231674A (en) * 1989-06-09 1993-07-27 Lc Technologies, Inc. Eye tracking method and apparatus

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2312904A1 (fr) * 1975-05-27 1976-12-24 Poirier Alain Perfectionnements aux systemes et aux dispositifs de teleconference par visiophonie
CA2081041C (en) * 1992-01-03 1996-08-06 Robert Louis Beecher Camera field of view indicator
JPH05300499A (ja) * 1992-04-17 1993-11-12 Toshiba Corp テレビ電話装置
GB2273411A (en) * 1992-12-11 1994-06-15 Ibm Video conferencing terminal
US5359362A (en) * 1993-03-30 1994-10-25 Nec Usa, Inc. Videoconference system using a virtual camera image
US5400069A (en) * 1993-06-16 1995-03-21 Bell Communications Research, Inc. Eye contact video-conferencing system and screen
US5438357A (en) * 1993-11-23 1995-08-01 Mcnelley; Steve H. Image manipulating teleconferencing system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5231674A (en) * 1989-06-09 1993-07-27 Lc Technologies, Inc. Eye tracking method and apparatus
WO1992014340A1 (de) * 1991-01-31 1992-08-20 Siemens Aktiengesellschaft Verfahren zur korrektur der blickrichtung beim bildtelefon

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2317764A1 (de) 2009-11-03 2011-05-04 Deutsche Telekom AG Verfahren und System zur Darbietung von Bilddaten

Also Published As

Publication number Publication date
DE19539048A1 (de) 1996-05-02
GB9521385D0 (en) 1995-12-20
US5500671A (en) 1996-03-19
GB2294605A (en) 1996-05-01
JPH08237629A (ja) 1996-09-13
TW297985B (de) 1997-02-11
CA2157613C (en) 1999-09-21
CA2157613A1 (en) 1996-04-26
GB2294605B (en) 1997-01-15

Similar Documents

Publication Publication Date Title
DE19539048B4 (de) Video-Konferenzsystem und Verfahren zum Bereitstellen einer Parallaxenkorrektur und zum Erzeugen eines Anwesenheitsgefühls
DE69820112T2 (de) Verbessertes bilderfassungssystem mit virtueller kamera
DE10084867B4 (de) Verfahren und Vorrichtung um es einem Videokonferenzteilnehmer zu ermöglichen den zugehörigen Nutzern in der Kamera fokussiert zu erscheinen
DE69812591T2 (de) Autostereoskopische Anzeigevorrichtung
DE69632755T2 (de) Vorrichtung zur Erzeugung von rechnererzeugten stereoskopischen Bildern
DE69433556T2 (de) Bildanzeigevorrichtung
DE69830459T2 (de) Stereoskopische Bildaufnahmevorrichtung
EP0722256B1 (de) Personenadaptiver autostereoskoper Shutter-Bildschirm (PAAS)
DE3536044C2 (de)
DE602004003355T2 (de) 3d-videokonferenzen
DE202017105484U1 (de) Dreidimensionales Telepräsenzsystem
DE4312918A1 (de) Wiedergabeeinrichtung
AT394459B (de) Verfahren zum gewinnen von bildern zur verwendung beim darstellen eines dreidimensionalen scheinbildes und bildaufzeichnungstraeger, auf dem erste und zweite gruppen von serien derartiger bilder gespeichert sind
EP0836332A2 (de) Positionsadaptiver, autostereoskoper Monitor (PAM)
DE102004063577A1 (de) Verfahren und System zur Anzeige von Gesichtsmerkmalen auf nichtplanaren Oberflächen
WO2021249586A1 (de) Vorrichtung zur darstellung von bildern sowie verwendung einer solchen vorrichtung
DE112018006602T5 (de) Virtuelles fenster für telefonkonferenzen
DE19537499C2 (de) Autostereoskopisches Bildwiedergabegerät
DE102022121634A1 (de) System, Verfahren, Computerprogramm und computerlesbares Medium
CN112738309A (zh) 一种具有双前置镜头的电子设备及拍摄方法
EP3926442A1 (de) Videokonferenzverfahren und videokonferenzsystem
DE10311389B4 (de) Positionsadaptives, autostereoskopes 3D-Wiedergabesystem (PARSC)
EP1978738A2 (de) Verfahren und Vorrichtung zum Aufnehmen, Übertragen und/oder Wiedergeben von Bilddaten, insbesondere Videokonferenz-Bilddaten
EP1502145A1 (de) Verfahren und vorrichtung zur konsistenten darstellung von realen und virtuelle objekten
EP2317764A1 (de) Verfahren und System zur Darbietung von Bilddaten

Legal Events

Date Code Title Description
8110 Request for examination paragraph 44
8364 No opposition during term of opposition
R119 Application deemed withdrawn, or ip right lapsed, due to non-payment of renewal fee