CN101137996A - 基于光流的倾斜传感器 - Google Patents
基于光流的倾斜传感器 Download PDFInfo
- Publication number
- CN101137996A CN101137996A CNA2006800072516A CN200680007251A CN101137996A CN 101137996 A CN101137996 A CN 101137996A CN A2006800072516 A CNA2006800072516 A CN A2006800072516A CN 200680007251 A CN200680007251 A CN 200680007251A CN 101137996 A CN101137996 A CN 101137996A
- Authority
- CN
- China
- Prior art keywords
- motion
- feature
- camera
- image
- application program
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00281—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal
- H04N1/00307—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a telecommunication apparatus, e.g. a switched network of teleprinters for the distribution of text-based information, a selective call terminal with a mobile telephone apparatus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
- G06F1/16—Constructional details or arrangements
- G06F1/1613—Constructional details or arrangements for portable computers
- G06F1/1633—Constructional details or arrangements of portable computers not specific to the type of enclosures covered by groups G06F1/1615 - G06F1/1626
- G06F1/1684—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675
- G06F1/1686—Constructional details or arrangements related to integrated I/O peripherals not covered by groups G06F1/1635 - G06F1/1675 the I/O peripheral being an integrated camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/269—Analysis of motion using gradient-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
- G06V10/17—Image acquisition using hand-held instruments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00323—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a measuring, monitoring or signaling apparatus, e.g. for transmitting measured information to a central location
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00352—Input means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/0035—User-machine interface; Control console
- H04N1/00352—Input means
- H04N1/00381—Input by recognition or interpretation of visible user gestures
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2200/00—Indexing scheme relating to G06F1/04 - G06F1/32
- G06F2200/16—Indexing scheme relating to G06F1/16 - G06F1/18
- G06F2200/163—Indexing scheme relating to constructional details of the computer
- G06F2200/1637—Sensing arrangement for detection of housing movement or orientation, e.g. for controlling scrolling or cursor movement on the display of an handheld computer
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M1/00—Substation equipment, e.g. for use by subscribers
- H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
- H04M1/724—User interfaces specially adapted for cordless or mobile telephones
- H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
- H04M1/72427—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for supporting games or graphical animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/12—Details of telephonic subscriber devices including a sensor for measuring a physical value, e.g. temperature or motion
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2250/00—Details of telephonic subscriber devices
- H04M2250/52—Details of telephonic subscriber devices including functional features of a camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0077—Types of the still picture apparatus
- H04N2201/0084—Digital still camera
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2201/00—Indexing scheme relating to scanning, transmission or reproduction of documents or the like, and to details thereof
- H04N2201/0096—Portable devices
Abstract
描述了一种方法,用于确定运动的可移动相机的运动描述,从而确定到应用程序的用户输入(640)。该方法可以包括从运动的可移动相机捕捉一系列图像(610),和对出现系列图像中的静止特征进行比较。可以对系列图像进行光流分析,以确定运动的可移动相机的运动描述(620)。基于所确定的运动,可以确定到应用程序的用户输入(640),和,应用程序可以例如通过更新应用程序的用户接口,对用户输入进行响应。
Description
技术领域
本公开涉及运动估算。
背景技术
数字相机捕捉图像的数字表示,和可以被结构为在指定时间内捕捉多个图像。对数字图像进行处理可以包括对单个图像的多个方面进行处理,以确定单个图像的特性,或者包括对一系列图像的多个方面进行处理,以识别正在成像的环境特性或者图像捕捉设备的属性。在被称为光流的处理中,可以比较一系列图像中对象的位置,以确定该多个图像中的对象与该图像捕捉设备之间的相对运动。
发明内容
在这里描述的一个一般例子中,可以对取自数字相机的一系列图像进行分析,以确定该数字相机的运动,和,基于所确定的运动,确定到设备的用户输入。所描述的各种实施例包括以下特性中的一个或多个。例如,将光流用作诸如照相电话的手持娱乐设备中的倾斜传感器。为了实现实时性能,可以使用稀疏特征集/稀疏流场。通过为流场找到最典型的(或者最大统计聚类的)结果,可以对非静止场景进行处理。可以在一段经过延伸跨度的时间内,对相对于初始位置和/或方位的位置和/或方位进行计算。可以在照相电话上使用特征,在该照相电话中,相机被固定,和背向用户。可以为处理能力有限的设备设计实施例/特性。
按照一般方面,方法包括捕捉来自运动的可移动相机的图像,和基于所捕捉的图像确定运动的可移动相机的运动描述。该方法还包括提供接口给接口设备上的应用程序。基于所述确定的运动,以自动方式确定到应用程序的用户输入。
上述一般方面的实施例可以包括以下一个或多个特性。例如,所述接口设备可以被物理地耦合到可移动相机,或者,被物理地集成在包括可移动相机的设备中。运动的可移动相机可以被物理地耦合到移动电话。
可以自动方式执行对运动描述的确定,和,可以包括一个或多个幅值和方位的确定。确定运动的描述还可以包括使用光流。
确定运动的可移动相机的运动描述可以包括计算运动中可移动相机在两个或三个自由度中的旋转。确定运动的可移动相机的运动描述还可以包括计算运动的可移动相机的平移。
确定运动的可移动相机的运动描述可以包括计算运动的可移动相机相对于运动的可移动相机的初始位置的运动。可以使用应用程序重置所述运动的可移动相机的初始位置。
确定运动的可移动相机的运动描述可以包括确定被捕捉到图像内的特征的运动,和,基于所述特征的运动确定可移动相机的运动。可以基于已经确定的特征运动将所述特征分段为一组相对于真实世界的参考帧移动的运动特征。分段运动特征可以包括选择一组覆盖最大面积的特征,和忽略没有被选择的特征。分段运动特征还可以包括忽略不具有与有效组特征相似方向和幅值的特征。
确定运动的描述可以包括从捕捉到的图像中提取多个特征,和比较所述图像,以匹配在不止一个图像中出现的特征。通过计算当前图像中的特征的位置相对于前一个图像中的特征的位置的位移,可以确定用于匹配特征的流矢量。根据为匹配特征所确定的流矢量,确定可移动相机的运动。
从捕捉到的图像中提取多个特征可以包括对若干拐角和若干边缘中的至少一个进行检测。比较所述图像以匹配特征可以包括首先比较靠近另一个图像中该特征的已知位置的图像块。比较所述图像以匹配特征还可以包括首先比较低分辨率处的图像,和,无论是否找到匹配,比较较高分辨率的图像。根据流矢量确定可移动相机的运动的步骤可以包括通过对按照图像相关单元确定的运动进行转换,按照真实世界单位,确定可移动相机的运动。
捕捉图像可以包括捕捉序列图像。确定运动的可移动相机的运动描述可以包括确定用于该序列图像内第一子组图像中可见的第一特征的运动。确定运动的可移动相机的运动描述还可以包括确定用于该序列图像内第二子组图像中可见的第二特征的运动,第二子组与第一子组部分重叠,和第二特征与第一特征具有固定的物理关系,其中,即使第一特征在所有的第二子组图像中不可见,第二特征的运动仍然基于与第一特征相关的运动。基于已经确定的与第一和第二特征相关的运动,可以确定运动的可移动相机的运动描述。
用户输入可以复制倾斜传感器功能,和对应用程序中的对象的倾斜、应用程序中的球的运动、应用程序中的运输工具的调整功能、应用程序中的对象的靶向功能、应用程序中的对象的导航功能、应用程序中有关节人物的移动或者粒子仿真应用程序中的粒子移动进行控制。当确定的运动的幅值大于阈值幅值时,可以确定所述用户输入。所述应用程序可以包括游戏、跟踪应用程序以及安全应用程序中的至少一个。
按照另一个一般方面,便携式电话机包括相机和显示器,它们中的每一个都集成形成在电话机中。电话机还包括处理设备,被物理和通信地耦合到所述相机和显示器。电话机还包括计算机可读介质,被物理和通信地耦合到处理设备。计算机可读介质包括用于使处理设备至少执行下列操作的指令:(1)接收从相机捕捉的图像,(2)基于所接收的图像确定电话机的运动描述,(3)在显示器上提供到应用程序的用户接口,(4)基于电话机的运动描述,以自动方式确定到应用程序的用户输入,和,(5)将用户输入提供给应用程序。
上述一般方面的实施例可以包括各种附加特性。例如,计算机可读介质为处理设备的经过集成的一部分。
即使这里,例如,只以单个方式进行了描述,但是,可以以各种方式实现各个方面、实施例和特性。例如,使用方法、设备、用于执行方法的设备、程序或其他指令集、包括程序或其他指令集的设备、计算机可读介质中或者传播信号中的一个或多个,可以实现各个方面、实施例和特性。例如,计算机可读介质或传播信号可以包括指令、软件、图像和其他数据。各个方面、实施例和特性还可以包括附加部件,例如,相机。
在附图和以下描述中,对一个或多个实施例的细节进行阐述。通过该描述和附图和根据权利要求,其他的特性将是明显的。
附图说明
图1示出了被配置为确定运动描述和几乎所确定的运动控制用户接口的照相电话的例子。
图2示出了相机以及用于定义相机运动的轴系统的例子。
图3A示出了相机以及由于相机围绕X轴旋转所导致的光流矢量的例子。
图3B示出了相机以及由于相机围绕Y轴旋转所导致的光流矢量的例子。
图3C示出了相机以及由于相机围绕Z轴旋转所导致的光流矢量的例子。
图4A示出了相机以及由于沿着X轴平移所导致的光流矢量的例子。
图4B示出了相机以及由于沿着Z轴平移所导致的光流矢量的例子。
图5A和5B示出了手持移动电话的用户的例子,该移动电话包括在移动电话下侧的相机。
图5C和5D示出了人手围绕X轴旋转包括相机的移动电话的运动的例子。
图5E和5F示出了人手围绕Y轴旋转包括相机的移动电话的运动的例子。
图6是用于确定设备的运动描述以确定到应用程序的用户输入的处理的例子的流程图。
图7是用于确定运动相机的运动描述的处理的例子的流程图。
图8A示出了坐姿用户手持配备有相机的手持设备的例子。
图8B示出了站姿用户手持配备有相机的手持设备的例子。
图8C示出了在相机指向用户的情况下,站姿用户中手持配备有相机的手持设备的例子。
具体实施方式
提供了一种用于确定运动的可移动相机的运动描述以便确定到应用程序的用户输入的技术。一种技术包括从运动的可移动相机中捕捉一系列图像,和比较存在于该一系列图像中的静止特征。特征可以包括图像中的对象、图像内对象的任一部分和/或图像内的对象的拐角或边缘。对这一系列图像执行光流分析,以确定运动的可移动相机的运动描述。基于所确定的运动,确定到应用程序的用户输入,和,该应用程序例如通过更新该应用程序的用户接口响应所述用户输入。
参看参看图1来描述一种系统,在该系统中,来自嵌入到诸如照相电话100的手持娱乐设备中的相机的序列图像的光流被用于确定该手持设备的运动,以作为例如控制游戏或应用程序的手段。照相电话100包括用户接口110,被配置为允许用户与该设备互动。用户接口110包括例如显示接口111、小键盘112、麦克风113和扬声器114。显示接口111给用户提供可视显示,可以表示与照相电话的状态有关的信息,或者提供用于应用程序的视觉接口,所述应用出使诸如是被结构为在该照相电话上执行的游戏。小键盘112包括一组按钮或者用户可以按动的压力致动开关,以给照相电话提供输入。麦克风113接受来自用户的声音输入,和可以被配置为使用电话系统将声音输入发送到另一个设备,或者根据用户的声音输入确定用户输入。扬声器114产生到用户的声音输出,和可以被配置为产生通过电话系统的通信的声音输出,或者产生表示关于照相电话的状态的信息的声音输出(例如,产生表示接受用户输入的声音)。处理器(没有示出)接受来自用户接口110的每个部分的输入,根据用户输入执行功能或操作,和在显示接口111上提供显示,和/或者,当适当时,响应于用户输入从扬声器114产生声音。
照相电话100还包括相机120。相机120具有用于聚焦图像的镜头121,和能够捕捉由镜头121聚焦的图像的数字表示。虽然图1示出了位于照相电话100的顶部和当用户正在观察显示接口111时面对用户的相机120,但是,相机120也可以以各种位置和方位位于照相电话上。例如,相机120可以位于照相电话100的顶部且用户正在观察显示接口111时背对用户。相机120可以被配置为当照相电话100移动时在一定的时间内捕捉一系列图像。处理器(没有示出)可以接收这一系列图像,和对这一系列图像进行处理,以确定照相电话100的运动描述。基于所确定的运动,处理器可以确定到与所确定的照相电话100的运动对应的应用程序的用户输入。例如,如果处理器确定用户向左旋转照相电话100,则处理器可以确定用户希望采取一个特定的动作,和,如果处理器确定用户向右旋转照相电话100,则处理器可以确定用户不希望采取一个特定动作。在另一个实施例中,处理器可以将所确定的运动用作到在照相电话100上执行的游戏的用户输入。例如,向左旋转照相电话100可以使游戏中显示的对象向左移动,而向右旋转照相电话100可以使游戏中显示的对象向右移动。
照相电话100的处理器可以用于根据相机移动时捕捉的图像确定相机的运动描述这样一种技术被称为光流。光流描述了在序列图像内的特征的明显的相对速度。可以从单个相机获得序列图像,使得可以在没有特殊相机硬件或校准的情况下使用光流。传统上,光流被用于诸如对图像序列进行时间内插(在电影中插入帧)和3D对象重构研究之类的应用程序。
为了确定相机的运动,处理器可以识别和比较系列图像内的静止特征。当相机运动时,图像内的特征的位置响应于该运动而改变。特征的速度可以被描述为流矢量,和,特征速度的集合被称为流场。速度是相对于相机的。其他工作经常使用术语“运动矢量”和“运动场”,但是,使用术语“运动矢量”和“运动场”可以暗指(不必出于本目的)图像序列中的特征的速度直接对应于对象的运动,由此,相机被假设为静止的。
由于光流是相对于相机的,因此相机的运动将导致相机视野中的特征明显的速度。特征可以是静止的,即,不改变它们的物理位置,如树。反过来,特征也可以是动态的或移动的(例如汽车)。一系列图像中的静止特征的明显运动被用于估算相机的运动。可以根据相机视野中的特征的明显速度,计算相机的运动。此外,良好分布的稀疏特征集足以用于估算相机运动。
虽然可以使用各种能够给予捕捉到的图像确定相机运动的运动估算技术,但是,现有的光流系统一般计算上昂贵,因此不适合当今消费者的手持设备。消费者手持设备包括能够进行类型范围很宽的计算的通用处理器,但能够为每个视频帧进行的计算量有限。
现有的光流系统一般试图生成稠密流场。可以按照六个自由度(例如沿着X、Y和Z轴平移以及围绕X、Y和Z轴旋转)对相机运动进行描述。但是,在有意识地应用下,可以用较少的自由度来对运动进行近似。在一个实施例中,通过假设沿着特定自由度的运动可以不予重视和忽略在那个自由度的运动,可以实现对相机运动的近似。例如,当忽略相机围绕Z轴旋转以及沿着X、Y和Z轴平移时,通过描述围绕X轴和Y轴的相机旋转,可以实现对相机运动的近似。因此,尽管处理器可以生成稠密流场,以估算相机运动,但是良好分布的稀疏特征集足以对相机运动进行估算。例如,以下结合图7对良好分布的稀疏特征集进行讨论。
当跟踪特征时,在没有平移的情况下的相机视野的旋转(摇摆和倾斜)将导致光流,从而使流矢量独立于3D场景的几何形状(深度)。在以下讨论的图3A-3C中对此进行了示出。在相机正在旋转的静止场景中,当相机移动时,没有特征会被其他对象遮挡或暴露,和只有当它们进入或离开相机的视野时,特征彩绘出现或消失。为了说明,假设人想看对象的后面,以看看它后面是什么。人必须倾斜或移动(例如平移运动)以围绕对象观看,且不能简单地转动他或她的眼睛(例如旋转运动)以围绕对象观看。
图2-4示出了可能的相机运动的例子以及由所表示的运动引起光流矢量和光流场。
参看图2,相对于用于定义相机运动的轴系统示出了能够捕捉一系列图像的相机200。具体地说,就三个自由度测量相机的旋转。例如,可以就X轴210、Y轴220和Z轴230测量旋转。对围绕每个轴的旋转进行的测量可以完全定义相机的旋转。以下针对这样定义的轴系统,对用于相机的运动描述进行描述。在下面的例子中,将基于从页面的上方向下看且在该页面上成像对象的相机200确定光流矢量。
参看图3A,相机200被示出为围绕X轴210旋转,如矢量310所示。在静止场景中,对于围绕X轴210的旋转,流矢量将趋于平行且幅值相等。在光流场320中示出了相机200围绕X轴210旋转所引起的光流矢量。当相机200沿着矢量310所示的方向围绕X轴210旋转时,在一系列图像中捕捉到的静止对象出现沿着由光流场320中示出的光流矢量表示的方向运动。确切地说,在相机200捕捉一系列图像的同时,当相机200围绕X轴210转向所述页面的顶部时,存在于该一系列图像当中的静止对象出现在更靠近时间上在后拍摄的图像中图像的底部,和导致流矢量指向该页面的底部。基于所计算的光流场320,可以检测围绕X轴210的旋转。
参看图3B,相机200被示出为围绕Y轴220旋转。在静止场景中,对于围绕Y轴220的旋转,流矢量趋向于平行且幅值相等。在光流场340中示出了相机200围绕Y轴220旋转引起的光流矢量。当相机200沿着矢量330所示的方向围绕Y轴220旋转时,在一系列图像中捕捉的静止对象呈现出,沿着由光流场340中示出的光流矢量表示的方向移动。确切地说,由于相机200在捕捉一系列图像时,围绕Y轴220向页面的右侧旋转,因此出现在这一系列图像中的静止对象呈现出从右向左移动。因此,静止对象出现在靠近时间在后拍摄的多个图像中的该图像的左侧,和导致流矢量指向该页面的左侧。可以基于所计算的光流场34 0检测围绕Y轴220的旋转。
参看图3C,相机200被示出为围绕Z轴230旋转。在静止场景中,对于围绕Z轴230的旋转,流矢量趋向于与围绕相机视野中点的圆相切,且幅值与半径成正比。在光流场360中示出了相机200围绕Z轴230旋转引起的光流矢量。当相机200沿着矢量350所示的逆时针方向围绕Z轴230旋转时,在一系列图像中捕捉的静止对象出现沿着由光流场360中示出的光流矢量表示的顺时针方向移动。因此,可以实现大致圆形的矢量光流场360。可以基于计算的光流场360检测围绕Z轴230的旋转。
参看图4A,相机200被示出为在矢量410表示的方向沿X轴210平移。相机视野的平移将引起光流,因此,流矢量取决于3D场景的几何关系(深度)。在相机正在进行平移的静止场景中,流矢量的幅值将取决于对象到相机200的距离、即深度,和,特征会被更靠近相机的对象遮挡或暴露。在光流场430中示出了相机在对场景420进行成像时沿着X轴方向410平移所引起的光流矢量。当相机200沿X轴方向410向左平移时,在一系列图像中捕捉的静止对象(例如,场景420中的树和山)呈现出沿着由光流场430中示出的光流矢量表示的方向向右移动。如由存在于光流场430中的流矢量的幅值差异所示,更靠近相机200的对象比远离相机200的对象呈现出移动更大的距离。因此,用于平移的流矢量的长度取决于正在成像的对象相对于相机200的深度。例如,由于树440是最靠近相机的对象,因此代表树440的流矢量的幅值最大。可以基于所计算的光流场430检测沿着X轴210的平移。
参看图4B,相机200被示出为沿着矢量450表示的方向,沿Z轴230平移。在光流场460中示出了相机沿着Z轴方向450平移所引起的光流矢量。当相机200沿Z轴方向450平移时,在一系列图像中捕捉的静止对象出现沿着由光流场460中示出的光流矢量表示的方向运动。确切地说,当相机200沿着Z轴方向450朝向该相机捕捉一系列图像时正在被捕捉的对象运动时,存在于这一系列图像中的静止对象出现沿着从该图像中心延伸的径线向外的运动。因此,可以实现从该图像中心沿径向向外延伸的流矢量的光流场460。基于所计算的光流场460,可以检测沿着Z轴230的平移。
尽管没有示出,但是,除了流矢量将与Y轴220平行以外,相机200沿着Y轴220的平移应该产生与图4A所示相似的光流场。
图5A-5F示出了用户可以使用他或她的手告知运动的可移动相机的运动的例子。具体地说,图5A和5B示出了移动电话510,它包括在移动电话510下侧的相机520。手持移动电话510的用户可以将他或她的手腕向后530(图5C)或向前540(图5D)伸展,以实现移动电话510和相机520围绕X轴旋转。用户向后530(图5C)伸展他或她的手腕的运动,是沿着可以产生图3A所示的光流场320的方向围绕X轴的用户运动的例子。
此外,手持移动电话510的用户可以将他或她的手腕顺时针550(图5E)或逆时针560(图5F)扭转,以实现移动电话510和相机520围绕Y轴旋转。用户顺时针550(图5E)扭转他或她的手腕的运动,是沿着可以产生图3B所示的光流场340的方向围绕Y轴的用户运动的例子。例如,使用图5C-5F中示出的运动,用户可以将可检测的运动告知相机,以产生对应用程序的用户接口进行控制的用户输入。
图6为处理600的流程图,处理600用于确定设备的运动描述,从而确定到应用程序的用户输入。在一个实施例中,在具有附属相机的手持娱乐设备(如照相电话100、PDA或其他配备有相机的可移动设备)上的处理器可以执行处理600,和对相机视野的旋转的测量被用于控制在该手持娱乐设备上运行的游戏或应用程序。所述旋转的测量可以被用于提供与倾斜传感器相似的输入。此外,由于倾斜的方向和幅值都可以被测量,因此可以提供“模拟”控制。模拟控制趋向于提供更精细的控制,而对于许多玩游戏的风格来说,最好是数字”控制。
在实施图6所示的处理600的过程中,运动的可移动相机捕捉数字图像(610)。例如,捕捉图像(610)可以包括例如在相机运动的时间周期内捕捉一系列图像的数字表示。
处理器依据所捕捉的图像确定相机的运动表示(620)。处理器例如可以将在时间上最近获得的图像与较早获得的图像进行比较以确定这一系列图像中静止特征的位置的变化,从而估算该相机运动。处理器可以使用以上讨论的光流处理。以下参看图7,对确定运动描述620进行更详细的讨论。
此外,在接口设备上提供到应用程序的用户接口(630)。用户接口可以与可移动相机分开(例如,使用无线通信),或者,可以被物理地耦合到包括可移动相机的设备或集成在其中(例如,集成在照相电话100中的显示接口111)。用户接口可以包括用于应用程序如游戏的可视显示,用户可以使用它进行互动。用户接口还可以包括被配置为响应于用户输入产生声音的扬声器。例如,用户接口可以包括被配置为产生表示接受对动作进行触发的运动的声音。
基于所确定的相机运动确定到应用程序的用户输入(640)。可以与该相机运动对应的自动方式来确定用户输入。在一个实施例中,应用程序可以将相机的运动和位置乘以一个因数,以调节“灵敏度”,其中,用户可以预编程或选择该因数。“灵敏度”确定了用户必须将设备倾斜或移动多少才能实现用户输入,诸如在游戏的虚拟环境中人物的移动。例如,只有当相机的运动大到足以满足“灵敏度”的级别时,才可以检测和确定用户输入(即,小且不明显的运动可以被忽略,和不导致确定的用户输入)。在使用“灵敏度”的场合,通常不需要也不计算真实世界位置。真实世界位置指的是设备在以英寸、厘米和角度为单位进行测量的物理世界中的位置(例如,设备旋转25度并向东移动30厘米)。虚拟世界位置指的是在虚拟环境,如包括虚拟人物和对象的游戏中的位置(例如,虚拟人物在虚拟环境中走过三个街区)。例如,当使用“灵敏度”时,将例如以像素确定的相机运动与“灵敏度”因数进行比较或者乘以“灵敏度”因数,以生成虚拟环境中的输入和移动。由于输入或移动涉及虚拟环境,因此不需要相机的真实世界位置。
在一个例子中,应用程序可以用相机方位来复制倾斜传感器的功能。在对游戏中的球进行控制的过程中,可以使用倾斜传感器功能,包括模拟球滚动的平面的倾斜。在另一个例子中,应用程序可以用相机方位来复制调整功能。调整功能可以用于控制交通工具(例如,汽车、摩托车、飞机、船舶、冲浪板、滑雪板、滑板、飞艇、宇宙飞船)。调整功能可以包括控制对方向、斜度、偏转或滚动进行调整中的一个或多个。在另一个例子中,应用程序可以用相机方位来复制靶向(瞄准)功能。靶向或瞄准功能可以用在对虚拟武器进行控制的过程中(例如,将步枪瞄准)。靶向(瞄准)功能一般包括两个自由度。此外,如下所述,应用程序可以使用已经被分类为移动对象的特征子组。这可以用于对靶向(瞄准)应用程序进行扩充(例如,可以将移动对象或特征指定为目标,和,游戏的目的可以是将设备瞄准,使得运动的对象或特征位于显示的瞄准器内的屏幕中心)。举例来说,应用程序还可以用相机方位来复制绝对定位功能。绝对定位功能可以用在导航应用程序中(例如,跟踪用户在真实世界环境中的位置,以通过环境如商店或购物中心,帮助用户进行导航)或者用在迷宫游戏中(例如,用户通过在真实世界中迂回行进,走过虚拟迷宫)。需要的运动可以是通过手进行的运动,或者,可以要求用户在环境中动来动去。
在另一个实施例中,应用程序可以用相机方位来对活动人物进行控制(例如,bobblehead或牵线木偶)。倾斜的瞬时幅值和方向可以被变换为人物的运动。可以给有关节的人物的部件以模拟的质量,由此,假设检测到运动,则部件移动的幅度与其质量成反比。还可以通过模拟的、具有预定共振频率的弹簧使有关节的人物的部件相互连接。
此外,应用程序可以用相机方位来对粒子模拟应用程序中的粒子进行控制(例如,雪球(snow-globe)或沙艺(sand-art))。倾斜的瞬时幅值和方向可以确定粒子的数量和/或它们的动能。粒子可以被模拟引力所吸引,从而粒子被镶嵌在虚拟环境中。虚拟环境可以包括图像或对象,和,粒子可以被镶嵌在对象的顶部。在这种应用程序的一个版本中,粒子代表雪。可选择地,该应用程序可以以电子贺卡(例如,圣诞卡)的形式进行分发。在这种应用程序的一个版本中,以选择的颜色显示粒子(例如,沙艺)。在这个应用程序中,着色的粒子可以镶嵌在图案中。
图7示出了使用光流确定运动的相机的运动描述的处理700的流程图。尽管可以使用稠密流场算法,但是,可以按照六个自由度,和在预计用更少的自由度进行近似的应用程序的情况下,对相机运动进行描述。因此,良好分布的稀疏特征集足以按照变化的自由度,对相机运动进行检测和估算,和,可以将良好分布的稀疏特征集用于减少处理工作量。在减少了处理工作量的情况下,在某些实施例中,可以实时地对图像进行捕捉和处理。
在一个实施例中,良好分布的稀疏特征集足以按照六个自由度对相机运动进行估算。在稀疏光流中,可以只为图像内的视觉可分辨的特征生成流矢量。这些特征可以遍布整个图像。在良好分布的特征集中,特征遍布整个图像,使得在图像的每个区域内至少有一个特征(与此相反,例如,所有特征聚集在图像的一个角落里)。因此,不需要用稠密流场对图像的所有区域中的运动进行描述,如果特征分布良好,稀疏集可以起同样作用。
在稀疏光流中,可能需要良好分布的特征集。例如,将围绕Y轴的旋转(图3B)与沿着X轴的平移(图4A)进行比较。如果特征分布不佳,例如,所有特征都沿着图像的底部分布,则所有的流矢量都将具有相似的方向和长度,和,沿着X轴的平移与围绕Y轴的旋转将难以区分。
本发明的某些实施例用少于六个的自由度对运动进行近似,在这种情况下,假设某个特定自由度是可以忽略并将其忽略。当自由度减少时,对良好分布特征的要求也将放宽。例如,在一个实施例中,可以通过对围绕X轴和Y轴的相机旋转进行描述同时忽略围绕Z轴的旋转以及沿着X、Y和Z轴的平移对相机运动进行近似。由于这种假设,在其中所有特征都沿着图像底部的前述例子中相机运动可以被假设为与围绕Y轴的旋转效果相同,这是因为假设沿着X轴的平移不明显。
处理700包括提取特征(710)。在对从运动的可移动相机捕捉的一系列图像进行分析的过程中,特征提取处理被应用于通过相机获得的每个图像。特征提取处理只需要从任意图像中提取稀疏特征集。找到之后的特征通常包括拐角和边缘。在设备一般运行的许多环境中,都能找到拐角和边缘。拐角和边缘对动态光线级别反应明显,如果设备在室外运行,则这一点很重要。此外,对于在图像中进行检测,对拐角和边缘特征进行计算相对廉价。提取拐角和边缘的方法是众所周知的。
提取特征之后,处理700比较多个图像,以便使不止一个图像所共有的特征相匹配(720)。例如,流场计算处理使当前相机图像的特征与前一个相机图像的对应特征匹配。为了使特征匹配,将当前相机图像的每个特征与前一个相机图像的特征子组进行比较。该子组是依据近似度和特征的特性(例如,方向以及拐角的对比度)选择的。在具体实施例中,需要进行比较的特征的数量少有助于使对设备的计算要求最小。
在一个实施例中,使用先前的流场对在前相机图像特征的当前图像位置进行预测(除了没有可用的先前流场的第一帧以外)。基于到预测位置的距离、特征特性的相似性以及相对于该组所有可能匹配的匹配唯一性所生成的得分,选择一对一的匹配。得分是一个标量值,和表示置信度的测量。为了保证一对一匹配,基于其得分减去基于包括多对特征之一的其他可能匹配得分的处罚对可能的对进行分类。将具有足够得分(置信度)的匹配加入流场。利用所述流矢量记录所述得分(置信度),以备后用。
在其他实施例中,为了减少计算需求,匹配特征的操作可以包括首先分析靠近该特征的块,或者,首先尝试匹配位于较较低分辨率处的特征,和,持续地增加分辨率,直到找到了匹配或者已经比较了最高分辨率图像为止。例如,可以应用每十个图像取一个图像的金字塔法。例如,通过将图像分段为块,和生成一个代表每个块的像素值(例如,通过求块内的像素平均值),十取一生成低分辨率版本的图像(称为金字塔的一级)。由于低分辨率版本的图像要分析的像素较少和要搜索的区域较小,因此可以减少处理需求。一旦已经在低分辨率下找到结果,则可以使用在低分辨率下找到的结果,按照较高的分辨率对图像进行分析,从而抑制搜索。例如,如果在一个或多个特定的低分辨率区域中找到特征匹配,则可以对那些特定的低分辨率区域进行搜索,寻找较高分辨率的特征。
在匹配多个特征之后,处理700确定用于每个特征的流矢量(730)。一个实施例通过计算当前相机图像中特征的位置相对于它在前一个相机图像中的位置的位移确定流矢量。该组流矢量形成了流场。每个流矢量可以包括幅值和方向。匹配对产生在两个相关的相机图像之间的特征位置的全部路径。对路径进行有选择的存储,使得可以在更长的时间跨度内计算光流(并因此计算相机运动)。
由于不能保证环境是静止的,和运动的特征会导致对运动的估算不精确,因此,所以,可以有选择地对特征进行分段(740)。图7中操作740的虚线框表示操作740是可选的。在一个实施例中,特征被分段为“多个组”或“多个段”,以便生成一组与环境(即背景)的静止要素相关的流矢量。例如,如果一只鸟沿着与相机运动相同的方向飞过图像,则代表这只鸟的特征不会显示如静止特征那么大幅值的位移,或者,如果这只鸟比相机运动得快,则会显示出相反方向的位移。因此,分段代表鸟的特征并将注意力集中在所述静止特征上能够更准确地确定相机运动。
在一个分段的例子中,假设环境的静止部分构成了比任何单个动态(移动)部分大的面积。在这样的假设下,最有效的一组特征与环境的静止要素有关,其中,由于特征分布不均匀,因此,“最有效”的测量包括被该组所覆盖的面积,而不仅是特征计数。使用该组特征估算相机的旋转。可以对特征进行分类并加上标签,以表示它是否可能是静止背景或运动对象的一部分。在后面的帧期间更新特征分类的过程中,该标签可以被用作提示。
在另一个例子中,在假设围绕Z轴的旋转不明显(即旋转仅限于围绕X轴和Y轴)和沿着X、Y和Z轴的平移也不明显的情况下,与环境(即背景)的静止要素有关的流矢量将趋向于具有相似的方向和幅值。例如,如图3A和3B所示,只围绕X轴和Y轴的旋转将导致近似于平行和相似幅值的静止特征的流矢量。通过检测具有不充分平行于或者幅值足够靠近静止特征(例如,被确定为静止特征的特征)的流矢量的流矢量的特征,可以根据静止特征分段运动特征。例如,可以根据静止特征的、已经确定的方位和幅值,计算可接受方位的范围(例如,将静止特征的流矢量的方位加上五度或减去五度)以及可接受幅值的范围(例如,将静止特征的流矢量的幅值加上五个像素或减去五个像素)。如果一个特征的流矢量的方位没有落在可接受方位的范围内或者没有落在可接受幅值的范围内,则可以将该特征分段为运动的特征。
为了与计算能力有限的系统一起使用,将特征分段为运动特征和静止特征的最佳方法是使用它们流矢量的方向和幅值的相似性选择最有效的一组特征。在本实施例中,由于静止背景通常比任何一个移动对象都大,因此假设该最有效的一组特征是静止背景。在其他实施例中,最有效的一组特征可以被假设为已知的真实世界的参考对象,如在相机指向用户的实施例中的用户面部。无论使用什么样的假设,都可以通过选择平行和幅值相等的、在图像中跨过最大面积和/或具有最大特征计数的流矢量,来确定最有效的一组特征。一旦已经确定了最有效的一组特征,就可以通过将与该最有效的一组特征具有不平行或幅值不相等的流矢量的特征舍去来分段运动的对象。对相机运动的附加自由度(例如,围绕Z轴旋转)的估算是可选的,和,是否对附加自由度进行估算可以取决于手持设备的可用计算能力。
处理700确定相机的运动(750)。可以使用包括用于一系列图像中的经过匹配的和没有被分段出去的每个特征的光流矢量的光流场,确定相机运动。可以根据由光流矢量代表的、相机视野中的特征的明显速度来计算相机运动。用于静止特征的流矢量的幅值和方向与相机运动有关,并被用于对相机运动进行估算。
例如,在静止场景中,可以使用下式来近似相机旋转:
Vxi=Mx+Mz*R i*cos(Thetai)
Vyi=My+Mz*Ri*sin(Thetai)式中,Vxi和Vyi代表特征i的流矢量的分量
Mx、My、Mz代表相机旋转
Ri和Thetai代表图像中,按照极坐标的特征位置,和根据测量确定。
在已知少量分布充分的特征的情况下,可以对未知的Mx、My、Mz进行估算。确定的旋转(即Vxi和Vyi)可以被直接用于控制应用程序,或者,在已知相机知识和镜头特性的情况下,可以将已经确定的旋转转换到真实世界的单位(度)。
在另一个实施例中,由于用户通常不使相机围绕Z轴旋转和该用户通常是静止的,因此假设围绕Z轴的旋转和沿着X、Y和Z轴的平移不明显。在该实施例中,围绕静止场景中的X轴和Y轴的相机旋转可以被简单地估算为所有特征的流矢量的平均值。由于仅围绕X轴和Y轴的旋转将导致近似平行和幅值相似的流矢量,因此所有流矢量的平均值将代表对所有流矢量的比较。在一个例子中,围绕静止场景中的X轴和Y轴的相机旋转可以被估算为所有特征流矢量的加权平均值。在加权平均值中,将每个流矢量的改变(influence)乘以置信分数。结果是,置信度高(例如,匹配良好)的流矢量比置信度低(例如,匹配较差或可疑)的流矢量对结果的影响大。
处理700可选择地计算相机的累积运动(760)。图7中的操作760的虚线框表示该操作是可选的。通过跟踪已确定的相机运动,可以计算所述累积运动。可以计算序列相机图像的累积运动,以确定该设备相对于初始位置的位置。但是,会相对快地从图像到图像地构成误差。
为了帮助减小构成误差,在计算流场的过程中,可以存储特征的全部路径。因此,上述的相机运动技术可以被应用于代表特征相对于初始位置的位移的全部运动矢量。当相机运动受到限制从而在整个跟踪过程中多个子组特征始终保留在相机的视野中时,这可能是特别有用的。例如,铅笔尖可以是图像中的特征。当相机运动到其中铅笔尖保留在图像中的区域上方时,如果存储了代表该铅笔尖的特征的原始位置,则通过比较代表铅笔尖的特征的当前位置与代表铅笔尖的特征的原始位置,可以计算相机的累积运动。由于每个路径一般持续许多相机帧,因此,该误差累积将慢于简单计算帧之间的累积运动。
在已知自初始图像开始检测的所有特征的情况下,不保证该组全部特征路径包括在进行跟踪的整个持续时间内走过的路径。例如,如上面建议的,对象(如铅笔尖)可以离开相机的视野。但是,该组全部特征路径将很可能包括相互分离但彼此相关且与开始(第一次检测到/进入相机视野)和结束(最后检测到/退出相机视野)时刻重叠的多个路径。(时间上)重叠的路径的组合可以被用于累积定位多个特征相对于初始位置的位置。
例如,铅笔尖可以是图像中的特征,但是,铅笔的橡皮可能不出现在图像中。当相机运动时,代表铅笔尖的特征运动过整个图像并被跟踪。在后面的图像中,相机可以以下述的方式运动,即,铅笔的橡皮已经进入视野,和铅笔尖和铅笔的橡皮都是在该图像内被跟踪的特征。随着进一步运动,铅笔尖可能离开该图像,但是,代表该铅笔的橡皮的特征可能仍然存在并被跟踪。由于铅笔尖和铅笔橡皮同时为图像中的特征,因此,处理器可以计算铅笔橡皮相对于铅笔尖的相对位置。因此,使用(1)代表铅笔橡皮的特征的当前位置,(2)铅笔橡皮相对于铅笔尖的相对位置,以及(3)在铅笔尖离开相机视野之前存储的铅笔尖的路径,处理器可以确定橡皮的全部路径。然后,处理器可以使用橡皮的全部路径对相机的累积运动进行跟踪,和断定相机的初始位置。当铅笔橡皮离开图像时,可以使用另外的特征重复这个技术,以便继续对相机的累积运动进行跟踪。使用这种相关的但是分开的特征可以使误差积累比使用单独的特征路径的误差积累慢得多。
使用处理700例如可以计算:相机运动、相对于初始位置和/或方位的相机位置和/或方位,每个量都在两个和六个(包含)自由度之间。按照少于六个自由度对相机运动进行估算是假设了沿着六个自由度中的一个或多个自由度的运动被固定。例如,如果预期用户站或坐在一个位置和不使设备围绕Z轴旋转,则可能两个自由度(围绕X轴和Y轴的旋转)是适当的,如果预期用户站或坐在一个位置,则可能三个自由度(围绕所有三个轴的旋转)是适当的,而如果预期用户迂回走动,则可能六个自由度(关于所有三个轴旋转并平移)是适当的。应用程序可以在任何时候,或者在例如会议、游戏、阶段开始时,或者当用户要求时,对用于累积位置计算的初始位置进行重新设置。
尽管按照图像相关单元(image-dependent unit)对这些进行了计算,但是,在已知相机镜头的知识的情况下,可以将它们转换为真实世界单位(即,角度)。图像相关单元可以以与相机图像有关的像素为单位,而真实世界单位可以以角度(用于旋转)以及英寸或厘米(用于平移)为单位。在将图像相关单元转换为真实世界单位的一个实施例中,将方位简单地乘以代表图像尺寸(即像素)内的视野(即角度)的因数。
图8A-8C示出了用户操作配备有相机的手持设备810,手持设备810包括被配置为,例如,执行图6中示出的处理600和图7中示出的处理700的处理器(没有示出)。该处理器可以被配置为执行具有显示接口的应用程序,如游戏。
参看图8A,由坐姿用户820手持设备810。对于附属于手持娱乐设备(如照相电话)的相机而言,不能保证相机运动是没有平移的纯旋转。但是,如果场景中的对象离相机足够远,由于旋转对特征的流矢量幅值的影响大于平移,因此平移对光流的影响不明显。在示出的例子中,设备810的相机830面对距离相机约1米的地板。在这种情况下,相机旋转1度可以与相机平移17cm引起的光流速度的幅值相似。在这种情况下,故意使照相电话倾斜的用户不太可能使手机平移超过几厘米。因此,为了通过旋转设备来以必要的精度控制游戏,可以将平移的作用忽略,和可以将光流假设为纯旋转的结果,这是由于用户必须将设备平移异乎寻常大的距离才能生成明显的误差。因此,用户820可以通过旋转该设备,给在配备有相机的手持设备810上执行的应用程序提供用户输入。
参看图8B,由站立用户840手持设备810。在本例中,用户840相对静止地站立,设备810的相机830面对地板。与坐姿用户的情况相似,到地板的距离足够远,以至相机的平移可以忽略,和,用户840可以通过旋转配备有相机的手持设备810,给应用程序提供用户输入。
参看图8C,由站立用户860手持配备有相机的手持设备850。在本例中,配备有相机的手持设备850的相机870面对用户的面部。当相机870指向用户面部,和面部组成了相机图像的有效部分时,对旋转的测量将与用户860有关,使得用户860能够在步行或者以其他方式迂回移动的同时,对配备有相机的手持设备850进行操作。这是由于在用户860移动时,用户面部不相对于配备有相机的手持设备850移动。由于与静止背景相比,用户面部成为最有效对象,因此,相对于用户860,对配备有相机的手持设备850的运动进行测量。因此,用户860的步行运动不被检测为设备的运动,和不影响对用户输入的检测。
确定用户输入以控制诸如游戏的应用程序的用户接口是一个已经描述过的应用程序。但是,也可以实现其他的应用程序。具体地说,应用程序可以控制已经被物理地耦合有相机的设备的其他方面或特性。例如,可以使用防盗的安全应用程序,从而当检测到设备的运动和警报还没有被激活时,激活该设备的报警信号。此外,可以实现音量控制应用程序,借此,当用户使照相电话远离他或她的耳朵而倾斜时,可以增加照相电话的音量。这里描述的处理600和700以及各种其他实施例、特性、技术等大部分可以通过在设备上运行的操作系统,以软件实现。软件与来自相机的数据接口,和与诸如计算机显示器、电视机或集成在设备中的LCD之类的显示设备接口。固件和硬件可以结合软件使用,或者代替软件。
如根据公开内容显而易见的,这里所描述的实施例、特性和技术以及它们的各种变化和组合都可以用运行于一个或多个各种设备上的操作系统或独立应用程序或实用程序来实施。
移动电话、个人数字助理(PDA)以及其他便携式设备提供了许多实施例,这是由于其用户接口的尺寸一般受到限制,和,通常难以对这种设备的用户接口进行控制。例如,实施例可以包括黑莓(Blackberry)设备、电子管理器(electronic organizer)、iPod设备或其他便携式音乐播放器、BP机或者其他通信设备、以及用于游戏、通信和/或数据组织的便携式电子设备。
实施可以包括一个或多个被配置为执行一个或多个处理的设备。例如,设备可以包括分立的或集成的硬件、固件和软件。设备例如可以包括通常被称之为处理设备的处理器,包括例如微处理器、集成电路、可编程逻辑器件以及包含软件应用程序的设备。
实施也可以被坎入在包括一个或多个计算机可读介质的设备中,这个计算机可读介质具有用于执行一个或多个处理的指令。例如,计算机可读介质可以包括存储设备,如硬盘、光盘、随机存取存储器(RAM)、只读存储器(ROM)。例如,计算机可读介质还可以包括编码或发送指令的格式化电磁波。例如,指令可以是硬件、固件、软件状态,也可以是电磁波状态。例如,可以在操作系统、独立的应用程序或者二者的组合中找到指令。例如,处理器可以是被配置为执行处理的设备以及包括计算机可读介质的设备,而这个计算机可读介质具有用于执行处理的指令。
还可以将实施例体现在软件对象中。可以使用各种应用程序访问这样的对象,或者,这样的对象可以被并入各种应用程序中。
已经对若干实施例进行了描述。然而,应该理解,可以进行各种修改。例如,为了产生其他实施例,可以对不同实施例的要素进行组合、补充、修改或去除。此外,为了产生实施例,可以使用、组合和修改各种技术,例如,这些技术包括各种硬件、软件、固件、集成元件、分立元件、处理设备、存储器或存储设备、通信设备、透镜、滤光器、显示设备和投影设备。因此,其他实施例在以下的权利要求的范围内。
Claims (37)
1.一种方法,包括:
捕捉来自运动的可移动相机的图像;
基于捕捉到的图像确定所述运动的可移动相机的运动描述;
将用户接口提供给接口设备上的应用程序;和
根据所确定的运动,以自动方式确定到所述应用程序的用户输入。
2.如权利要求1所述的方法,其中,所述接口设备被物理地耦合到所述可移动相机。
3.如权利要求1所述的方法,其中,所述接口设备被物理地集成到包括所述可移动相机的设备中。
4.如权利要求1所述的方法,其中,确定运动的描述是以自动方式执行的。
5.如权利要求1所述的方法,其中,确定运动的描述包括确定一个或多个幅值和方位。
6.如权利要求1所述的方法,其中,确定所述运动的可移动相机的运动描述包括按照两个自由度计算所述运动的可移动相机的旋转。
7.如权利要求1所述的方法,其中,确定所述运动的可移动相机的运动描述包括按照三个自由度计算所述运动的可移动相机的旋转。
8.如权利要求1所述的方法,其中,确定所述运动的可移动相机的运动描述包括计算所述运动的可移动相机的平移。
9.如权利要求1所述的方法,其中,确定所述运动的可移动相机的运动描述包括计算相对所述运动的可移动相机的初始位置该运动的可移动相机的运动。
10.如权利要求9所述的方法,其中,可以通过应用程序重新设置所述运动的可移动相机的初始位置。
11.如权利要求1所述的方法,其中,确定所述运动的可移动相机的运动描述包括:
确定捕捉到图像内的特征的运动;和
基于该特征的运动确定所述可移动相机的运动。
12.如权利要求11所述的方法,其中,确定所述运动的可移动相机的运动描述还包括:
基于所确定的特征运动,将所述特征分段为一组运动的特征,所述运动的特征相对于真实世界的参考帧运动。
13.如权利要求12所述的方法,其中,所述分段运动的特征包括选择一组覆盖最大面积的特征,和将没被选择的特征忽略。
14.如权利要求12所述的方法,其中,所述分段运动的特征包括忽略不具有与有效特征组类似的方向和幅值的特征。
15.如权利要求1所述的方法,其中,确定运动描述包括使用光流。
16.如权利要求1所述的方法,其中,确定运动的描述包括:
从捕捉到的图像中提取特征;
对图像进行比较,以使存在不止一个图像中的特征相匹配;
通过计算当前图像中的特征的位置相对于前一个图像中的特征的位置的位移,确定用于匹配的特征的流矢量;和
根据用于匹配的特征的流矢量,确定所述可移动相机的运动。
17.如权利要求16所述的方法,其中,从捕捉到的图像中提取特征包括检测多个拐角和多个边缘中的至少一个。
18.如权利要求16所述的方法,其中,比较多个图像以匹配特征包括首先比较靠近另一个图像中的该特征的已知位置的图像块。
19.如权利要求16所述的方法,其中,比较图像以匹配特征包括首先比较低分辨率的图像,和,无论是否找到匹配,比较较高分辨率的图像。
20.如权利要求16所述的方法,其中,基于所述流矢量确定所述可移动相机的运动包括通过转换在图像相关单元中确定的运动确定在真实世界单元中所述可移动相机的运动。
21.如权利要求1所述的方法,其中:
捕捉图像的步骤包括捕捉序列图像,和
确定所述运动的可移动相机的运动的描述包括:
确定用于所述序列图像内第一子组图像中可见的第一特征的运动;
确定用于所述序列图像内第二子组图像中可见的第二特征,所述第二子组与所述第一子组部分重叠,和所述第二特征与所述第一特征具有固定的物理关系,其中,即使所述第一特征在图像的所有第二子图像组中不可见,用于所述第二特征的运动也可以基于用于所述第一特征的运动;和
根据已经确定的用于第一和第二特征的运动,确定所述运动的可移动相机的运动描述。
22.如权利要求1所述的方法,其中,所述用户输入复制倾斜传感器功能,和控制应用程序中对象的倾斜。
23.如权利要求1所述的方法,其中,所述用户输入控制应用程序中的球的运动。
24.如权利要求1所述的方法,其中,所述用户输入控制应用程序中的运输工具的调整功能。
25.如权利要求1所述的方法,其中,所述用户输入控制应用程序中的对象的靶向功能。
26.如权利要求1所述的方法,其中,所述用户输入控制应用程序中的对象的导航功能。
27.如权利要求1所述的方法,其中,所述用户输入控制应用程序中有关节人物的移动。
28.如权利要求1所述的方法,其中,所述用户输入控制粒子仿真应用程序中的粒子的移动。
29.如权利要求1所述的方法,其中,当已经确定的运动的幅值大于阈值幅值时,确定所述用户输入。
30.如权利要求1所述的方法,其中,所述应用程序至少是游戏、跟踪应用程序以及安全应用程序中的一个。
31.如权利要求1所述的方法,其中,所述运动的可移动相机被物理地耦合到移动电话。
32.一种手持设备,包括:
相机;和
处理器,被配置为:
捕捉来自所述相机的图像;
基于所捕捉到的图像确定所述手持设备的运动描述;
提供用户接口给接口设备上的应用程序;和
基于所确定的运动,以自动方式确定到应用程序的用户输入。
33.如权利要求32所述的手持设备,其中,所述处理器还被配置为使用以下处理确定所述手持设备的运动描述:
从捕捉到的图像中提取特征;
比较多个图像,以使存在于在不止一个图像中的特征相匹配;
通过计算当前图像中的特征的位置相对于前一个图像中的特征的位置的位移,确定用于所匹配的特征的流矢量;和
基于用于所匹配的特征所确定的流矢量,确定所述手持设备的运动。
34.一种计算机可读介质或具有已经嵌入在其上的计算机程序的传播信号,该计算机程序包括:
捕捉用于捕捉来自运动的可移动相机的图像的代码段;
确定用于基于所捕捉到的图像确定所述运动的可移动相机的运动描述的代码段;
提供用于将用户接口提供给接口设备上的应用程序的代码段;和
确定用于基于所确定的运动以自动方式确定到应用程序的用户输入的代码段。
35.如权利要求34所述的介质或信号,其中:
用于捕捉来自运动的可移动相机的图像的所述捕捉代码段包括用于捕捉序列图像的代码段,和
用于确定所述运动的可移动相机的运动描述的所述确定代码段包括:
用于确定与所述序列图像内第一子组图像中可见的第一特征相关的运动的代码段;
用于确定与所述序列图像内第二子组图像中可见的第二特征相关的运动的代码段,所述第二子组与所述第一子组部分重叠,和所述第二特征与所述第一特征具有固定的物理关系,其中,即使所述第一特征在图像的所有第二子组中不可见,用于所述第二特征的运动仍然基于用于所述第一特征的运动;和
用于根据所确定的用于第一和第二特征的运动,确定所述运动的可移动相机的运动描述的代码段。
36.一种便携式电话机,包括:
相机,整体形成在所述电话机中;
显示器,整体形成在所述电话机中;
处理设备,物理地和通信地耦合到所述相机以及所述显示器;以及
计算机可读介质,被物理和通信地耦合到所述处理设备,和包括用于使所述处理设备至少执行下列操作的指令:
接收从所述相机捕捉的图像,
根据接收的图像确定所述电话机的运动描述,
在所述显示器上提供用户接口给应用程序,
根据所述电话机的所述运动描述,以自动方式确定对应用程序的用户输入,和
将所述用户输入提供给应用程序。
37.如权利要求36所述的电话机,其中,所述计算机可读介质为所述处理设备的经过集成的一部分。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US64175105P | 2005-01-07 | 2005-01-07 | |
US60/641,751 | 2005-01-07 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN101137996A true CN101137996A (zh) | 2008-03-05 |
Family
ID=36648171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CNA2006800072516A Pending CN101137996A (zh) | 2005-01-07 | 2006-01-06 | 基于光流的倾斜传感器 |
Country Status (6)
Country | Link |
---|---|
US (4) | US7379566B2 (zh) |
EP (1) | EP1849123A2 (zh) |
JP (3) | JP5080273B2 (zh) |
CN (1) | CN101137996A (zh) |
BR (1) | BRPI0606477A2 (zh) |
WO (1) | WO2006074290A2 (zh) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102089738A (zh) * | 2008-06-11 | 2011-06-08 | 诺基亚公司 | 用于用户界面控制的相机姿态 |
CN103020616A (zh) * | 2012-11-30 | 2013-04-03 | 天津三星电子有限公司 | 一种手持设备空间位置的检测方法及其手持设备 |
CN104885433A (zh) * | 2013-01-04 | 2015-09-02 | 诺基亚技术有限公司 | 用于感应设备的挠曲的方法和装置 |
TWI550550B (zh) * | 2014-01-07 | 2016-09-21 | 國立交通大學 | 沙畫模擬系統及模擬方法 |
CN107924567A (zh) * | 2015-07-31 | 2018-04-17 | 深圳市大疆创新科技有限公司 | 构建光流场的系统和方法 |
CN109472824A (zh) * | 2017-09-07 | 2019-03-15 | 北京京东尚科信息技术有限公司 | 物品位置变化检测方法及装置、存储介质、电子设备 |
Families Citing this family (431)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
US7749089B1 (en) | 1999-02-26 | 2010-07-06 | Creative Kingdoms, Llc | Multi-media interactive play system |
US7502759B2 (en) | 1999-08-30 | 2009-03-10 | Digimarc Corporation | Digital watermarking methods and related toy and game applications |
US7445550B2 (en) | 2000-02-22 | 2008-11-04 | Creative Kingdoms, Llc | Magical wand and interactive play experience |
US6761637B2 (en) | 2000-02-22 | 2004-07-13 | Creative Kingdoms, Llc | Method of game play using RFID tracking device |
US7878905B2 (en) | 2000-02-22 | 2011-02-01 | Creative Kingdoms, Llc | Multi-layered interactive play experience |
US7066781B2 (en) | 2000-10-20 | 2006-06-27 | Denise Chapman Weston | Children's toy with wireless tag/transponder |
FI117488B (fi) * | 2001-05-16 | 2006-10-31 | Myorigo Sarl | Informaation selaus näytöllä |
US6990639B2 (en) | 2002-02-07 | 2006-01-24 | Microsoft Corporation | System and process for controlling electronic components in a ubiquitous computing environment using multimodal integration |
US20070066396A1 (en) | 2002-04-05 | 2007-03-22 | Denise Chapman Weston | Retail methods for providing an interactive product to a consumer |
US6967566B2 (en) | 2002-04-05 | 2005-11-22 | Creative Kingdoms, Llc | Live-action interactive adventure game |
US7674184B2 (en) | 2002-08-01 | 2010-03-09 | Creative Kingdoms, Llc | Interactive water attraction and quest game |
WO2004066615A1 (en) * | 2003-01-22 | 2004-08-05 | Nokia Corporation | Image control |
US7665041B2 (en) | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US9446319B2 (en) | 2003-03-25 | 2016-09-20 | Mq Gaming, Llc | Interactive gaming toy |
US8745541B2 (en) | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US7400316B2 (en) * | 2004-05-28 | 2008-07-15 | International Business Machines Corporation | Method and apparatus for dynamically modifying web page display for mobile devices |
FI20045300A (fi) * | 2004-08-17 | 2006-02-18 | Nokia Corp | Elektroninen laite ja menetelmä elektronisen laitteen toimintojen ohjaamiseksi sekä ohjelmatuote menetelmän toteuttamiseksi |
WO2006074290A2 (en) * | 2005-01-07 | 2006-07-13 | Gesturetek, Inc. | Optical flow based tilt sensor |
CN101198964A (zh) | 2005-01-07 | 2008-06-11 | 格斯图尔泰克股份有限公司 | 使用红外图案照射创建对象的三维图像 |
JP4689684B2 (ja) | 2005-01-21 | 2011-05-25 | ジェスチャー テック,インコーポレイテッド | 動作に基づくトラッキング |
US7598942B2 (en) * | 2005-02-08 | 2009-10-06 | Oblong Industries, Inc. | System and method for gesture based control system |
GB0503253D0 (en) * | 2005-02-17 | 2005-03-23 | Univ Northumbria Newcastle | User control of a hand-held device |
US20090297062A1 (en) * | 2005-03-04 | 2009-12-03 | Molne Anders L | Mobile device with wide-angle optics and a radiation sensor |
US20090305727A1 (en) * | 2005-03-04 | 2009-12-10 | Heikki Pylkko | Mobile device with wide range-angle optics and a radiation sensor |
DE102005020688B4 (de) * | 2005-05-03 | 2008-01-03 | Siemens Ag | Mobiltelefon |
CN103257684B (zh) | 2005-05-17 | 2017-06-09 | 高通股份有限公司 | 方向敏感的信号输出方法及装置 |
US7942745B2 (en) | 2005-08-22 | 2011-05-17 | Nintendo Co., Ltd. | Game operating device |
US7927216B2 (en) | 2005-09-15 | 2011-04-19 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
US8313379B2 (en) | 2005-08-22 | 2012-11-20 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
JP4805633B2 (ja) | 2005-08-22 | 2011-11-02 | 任天堂株式会社 | ゲーム用操作装置 |
US7864982B2 (en) * | 2005-08-22 | 2011-01-04 | Samsung Electronics Co., Ltd. | Displacement and tilt detection method for a portable autonomous device having an integrated image sensor and a device therefor |
US7809214B2 (en) | 2005-08-22 | 2010-10-05 | Samsung Electronics Co., Ltd. | Device and a method for identifying movement patterns |
US7808478B2 (en) * | 2005-08-22 | 2010-10-05 | Samsung Electronics Co., Ltd. | Autonomous handheld device having a drawing tool |
US8870655B2 (en) | 2005-08-24 | 2014-10-28 | Nintendo Co., Ltd. | Wireless game controllers |
JP4262726B2 (ja) | 2005-08-24 | 2009-05-13 | 任天堂株式会社 | ゲームコントローラおよびゲームシステム |
US8308563B2 (en) | 2005-08-30 | 2012-11-13 | Nintendo Co., Ltd. | Game system and storage medium having game program stored thereon |
US8157651B2 (en) | 2005-09-12 | 2012-04-17 | Nintendo Co., Ltd. | Information processing program |
CA2622327A1 (en) * | 2005-09-12 | 2007-03-22 | Carlos Tapang | Frame by frame, pixel by pixel matching of model-generated graphics images to camera frames for computer vision |
US7697827B2 (en) | 2005-10-17 | 2010-04-13 | Konicek Jeffrey C | User-friendlier interfaces for a camera |
US8537112B2 (en) * | 2006-02-08 | 2013-09-17 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
US8531396B2 (en) | 2006-02-08 | 2013-09-10 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
US9075441B2 (en) * | 2006-02-08 | 2015-07-07 | Oblong Industries, Inc. | Gesture based control using three-dimensional information extracted over an extended depth of field |
US8537111B2 (en) | 2006-02-08 | 2013-09-17 | Oblong Industries, Inc. | Control system for navigating a principal dimension of a data space |
US9823747B2 (en) | 2006-02-08 | 2017-11-21 | Oblong Industries, Inc. | Spatial, multi-modal control device for use with spatial operating system |
US9910497B2 (en) * | 2006-02-08 | 2018-03-06 | Oblong Industries, Inc. | Gestural control of autonomous and semi-autonomous systems |
US8370383B2 (en) | 2006-02-08 | 2013-02-05 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
JP4151982B2 (ja) * | 2006-03-10 | 2008-09-17 | 任天堂株式会社 | 動き判別装置および動き判別プログラム |
US8666661B2 (en) * | 2006-03-31 | 2014-03-04 | The Boeing Company | Video navigation |
ATE422185T1 (de) * | 2006-08-24 | 2009-02-15 | Harman Becker Automotive Sys | Verfahren zum abbilden der umgebung eines fahrzeugs und system dafür |
JP4725526B2 (ja) * | 2006-08-28 | 2011-07-13 | ソニー株式会社 | 情報処理装置、撮像装置、情報処理システム、装置制御方法及びプログラム |
CN101529364A (zh) * | 2006-10-27 | 2009-09-09 | 诺基亚公司 | 用于促进三维图形用户界面内的移动的方法和装置 |
US7991157B2 (en) * | 2006-11-16 | 2011-08-02 | Digimarc Corporation | Methods and systems responsive to features sensed from imagery or other data |
US8572642B2 (en) * | 2007-01-10 | 2013-10-29 | Steven Schraga | Customized program insertion system |
US8994644B2 (en) * | 2007-01-26 | 2015-03-31 | Apple Inc. | Viewing images with tilt control on a hand-held device |
US20080215974A1 (en) * | 2007-03-01 | 2008-09-04 | Phil Harrison | Interactive user controlled avatar animations |
US8005238B2 (en) | 2007-03-22 | 2011-08-23 | Microsoft Corporation | Robust adaptive beamforming with enhanced noise suppression |
EP2150893A4 (en) | 2007-04-24 | 2012-08-22 | Oblong Ind Inc | PROTEINS, POOLS AND SLAWX IN PROCESSING ENVIRONMENTS |
WO2008137708A1 (en) * | 2007-05-04 | 2008-11-13 | Gesturetek, Inc. | Camera-based user input for compact devices |
US8005237B2 (en) | 2007-05-17 | 2011-08-23 | Microsoft Corp. | Sensor array beamformer post-processor |
US8629976B2 (en) | 2007-10-02 | 2014-01-14 | Microsoft Corporation | Methods and systems for hierarchical de-aliasing time-of-flight (TOF) systems |
US20090135264A1 (en) * | 2007-11-28 | 2009-05-28 | Motorola, Inc. | Motion blur detection using metadata fields |
KR101417808B1 (ko) * | 2007-12-06 | 2014-07-09 | 삼성전자주식회사 | 디지털 촬영장치, 그 제어방법 및 제어방법을 실행시키기위한 프로그램을 저장한 기록매체 |
US20090207261A1 (en) * | 2008-02-20 | 2009-08-20 | Infineon Technologies Ag | Electronic device and method for operating an electronic device |
WO2009128064A2 (en) * | 2008-04-14 | 2009-10-22 | Pointgrab Ltd. | Vision based pointing device emulation |
US9684380B2 (en) | 2009-04-02 | 2017-06-20 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
US10642364B2 (en) | 2009-04-02 | 2020-05-05 | Oblong Industries, Inc. | Processing tracking and recognition data in gestural recognition systems |
US8723795B2 (en) | 2008-04-24 | 2014-05-13 | Oblong Industries, Inc. | Detecting, representing, and interpreting three-space input: gestural continuum subsuming freespace, proximal, and surface-contact modes |
US9495013B2 (en) | 2008-04-24 | 2016-11-15 | Oblong Industries, Inc. | Multi-modal gestural interface |
US9952673B2 (en) | 2009-04-02 | 2018-04-24 | Oblong Industries, Inc. | Operating environment comprising multiple client devices, multiple displays, multiple users, and gestural control |
US9740293B2 (en) | 2009-04-02 | 2017-08-22 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
US9740922B2 (en) | 2008-04-24 | 2017-08-22 | Oblong Industries, Inc. | Adaptive tracking system for spatial input devices |
EP2304527A4 (en) * | 2008-06-18 | 2013-03-27 | Oblong Ind Inc | GESTIK BASED CONTROL SYSTEM FOR VEHICLE INTERFACES |
US8385557B2 (en) | 2008-06-19 | 2013-02-26 | Microsoft Corporation | Multichannel acoustic echo reduction |
US8325909B2 (en) | 2008-06-25 | 2012-12-04 | Microsoft Corporation | Acoustic echo suppression |
US8203699B2 (en) | 2008-06-30 | 2012-06-19 | Microsoft Corporation | System architecture design for time-of-flight system having reduced differential pixel size, and time-of-flight systems so designed |
US10729973B2 (en) * | 2008-06-30 | 2020-08-04 | Microsoft Technology Licensing, Llc | Dynamic selection of sensor sensitivity in a game input system |
JP5075757B2 (ja) * | 2008-08-05 | 2012-11-21 | オリンパス株式会社 | 画像処理装置、画像処理プログラム、画像処理方法、および電子機器 |
US8385971B2 (en) * | 2008-08-19 | 2013-02-26 | Digimarc Corporation | Methods and systems for content processing |
US20100053151A1 (en) * | 2008-09-02 | 2010-03-04 | Samsung Electronics Co., Ltd | In-line mediation for manipulating three-dimensional content on a display device |
US9383814B1 (en) | 2008-11-12 | 2016-07-05 | David G. Capper | Plug and play wireless video game |
US10086262B1 (en) | 2008-11-12 | 2018-10-02 | David G. Capper | Video motion capture for wireless gaming |
US9586135B1 (en) | 2008-11-12 | 2017-03-07 | David G. Capper | Video motion capture for wireless gaming |
US8788977B2 (en) | 2008-11-20 | 2014-07-22 | Amazon Technologies, Inc. | Movement recognition as input mechanism |
US8681321B2 (en) | 2009-01-04 | 2014-03-25 | Microsoft International Holdings B.V. | Gated 3D camera |
US8300022B2 (en) * | 2009-01-09 | 2012-10-30 | International Business Machines Corporation | Dynamically reconfigurable touch screen displays |
US8294766B2 (en) | 2009-01-28 | 2012-10-23 | Apple Inc. | Generating a three-dimensional model using a portable electronic device recording |
US8565476B2 (en) | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
US8448094B2 (en) * | 2009-01-30 | 2013-05-21 | Microsoft Corporation | Mapping a natural input device to a legacy system |
US8565477B2 (en) | 2009-01-30 | 2013-10-22 | Microsoft Corporation | Visual target tracking |
US7996793B2 (en) | 2009-01-30 | 2011-08-09 | Microsoft Corporation | Gesture recognizer system architecture |
US8294767B2 (en) * | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Body scan |
US8487938B2 (en) | 2009-01-30 | 2013-07-16 | Microsoft Corporation | Standard Gestures |
US8577085B2 (en) | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
US8588465B2 (en) | 2009-01-30 | 2013-11-19 | Microsoft Corporation | Visual target tracking |
US20100199231A1 (en) * | 2009-01-30 | 2010-08-05 | Microsoft Corporation | Predictive determination |
US8267781B2 (en) | 2009-01-30 | 2012-09-18 | Microsoft Corporation | Visual target tracking |
US8295546B2 (en) | 2009-01-30 | 2012-10-23 | Microsoft Corporation | Pose tracking pipeline |
US8682028B2 (en) | 2009-01-30 | 2014-03-25 | Microsoft Corporation | Visual target tracking |
US8577084B2 (en) | 2009-01-30 | 2013-11-05 | Microsoft Corporation | Visual target tracking |
US8624962B2 (en) | 2009-02-02 | 2014-01-07 | Ydreams—Informatica, S.A. Ydreams | Systems and methods for simulating three-dimensional virtual interactions from two-dimensional camera images |
US8159363B2 (en) * | 2009-02-16 | 2012-04-17 | Research In Motion Limited | Using gravity to direct a rotatable camera in a handheld electronic device |
ATE538592T1 (de) | 2009-02-16 | 2012-01-15 | Research In Motion Ltd | Verwendung von schwerkraft zur ausrichtung einer drehbaren kamera in einem mobilgerät |
US8517834B2 (en) * | 2009-02-17 | 2013-08-27 | Softkinetic Studios Sa | Computer videogame system with body position detector that requires user to assume various body positions |
US8773355B2 (en) | 2009-03-16 | 2014-07-08 | Microsoft Corporation | Adaptive cursor sizing |
US8988437B2 (en) | 2009-03-20 | 2015-03-24 | Microsoft Technology Licensing, Llc | Chaining animations |
US9256282B2 (en) | 2009-03-20 | 2016-02-09 | Microsoft Technology Licensing, Llc | Virtual object manipulation |
JP2010226557A (ja) * | 2009-03-25 | 2010-10-07 | Sony Corp | 画像処理装置、画像処理方法、およびプログラム |
US9313376B1 (en) | 2009-04-01 | 2016-04-12 | Microsoft Technology Licensing, Llc | Dynamic depth power equalization |
US9317128B2 (en) | 2009-04-02 | 2016-04-19 | Oblong Industries, Inc. | Remote devices used in a markerless installation of a spatial operating environment incorporating gestural control |
US10824238B2 (en) | 2009-04-02 | 2020-11-03 | Oblong Industries, Inc. | Operating environment with gestural control and multiple client devices, displays, and users |
CN102422306B (zh) * | 2009-04-08 | 2015-09-09 | 高通股份有限公司 | 增强型手持式屏幕感测指针 |
US8660303B2 (en) | 2009-05-01 | 2014-02-25 | Microsoft Corporation | Detection of body and props |
US8340432B2 (en) | 2009-05-01 | 2012-12-25 | Microsoft Corporation | Systems and methods for detecting a tilt angle from a depth image |
US8649554B2 (en) | 2009-05-01 | 2014-02-11 | Microsoft Corporation | Method to control perspective for a camera-controlled computer |
US8503720B2 (en) | 2009-05-01 | 2013-08-06 | Microsoft Corporation | Human body pose estimation |
US8253746B2 (en) | 2009-05-01 | 2012-08-28 | Microsoft Corporation | Determine intended motions |
US8638985B2 (en) * | 2009-05-01 | 2014-01-28 | Microsoft Corporation | Human body pose estimation |
US8942428B2 (en) | 2009-05-01 | 2015-01-27 | Microsoft Corporation | Isolate extraneous motions |
US9498718B2 (en) | 2009-05-01 | 2016-11-22 | Microsoft Technology Licensing, Llc | Altering a view perspective within a display environment |
US9015638B2 (en) | 2009-05-01 | 2015-04-21 | Microsoft Technology Licensing, Llc | Binding users to a gesture based system and providing feedback to the users |
US8181123B2 (en) | 2009-05-01 | 2012-05-15 | Microsoft Corporation | Managing virtual port associations to users in a gesture-based computing environment |
US9377857B2 (en) | 2009-05-01 | 2016-06-28 | Microsoft Technology Licensing, Llc | Show body position |
US9898675B2 (en) | 2009-05-01 | 2018-02-20 | Microsoft Technology Licensing, Llc | User movement tracking feedback to improve tracking |
US8320619B2 (en) | 2009-05-29 | 2012-11-27 | Microsoft Corporation | Systems and methods for tracking a model |
US8542252B2 (en) * | 2009-05-29 | 2013-09-24 | Microsoft Corporation | Target digitization, extraction, and tracking |
US9383823B2 (en) | 2009-05-29 | 2016-07-05 | Microsoft Technology Licensing, Llc | Combining gestures beyond skeletal |
US8509479B2 (en) | 2009-05-29 | 2013-08-13 | Microsoft Corporation | Virtual object |
US8625837B2 (en) | 2009-05-29 | 2014-01-07 | Microsoft Corporation | Protocol and format for communicating an image from a camera to a computing environment |
US20100302365A1 (en) * | 2009-05-29 | 2010-12-02 | Microsoft Corporation | Depth Image Noise Reduction |
US8856691B2 (en) | 2009-05-29 | 2014-10-07 | Microsoft Corporation | Gesture tool |
US8418085B2 (en) | 2009-05-29 | 2013-04-09 | Microsoft Corporation | Gesture coach |
US9400559B2 (en) | 2009-05-29 | 2016-07-26 | Microsoft Technology Licensing, Llc | Gesture shortcuts |
US8693724B2 (en) | 2009-05-29 | 2014-04-08 | Microsoft Corporation | Method and system implementing user-centric gesture control |
US9182814B2 (en) | 2009-05-29 | 2015-11-10 | Microsoft Technology Licensing, Llc | Systems and methods for estimating a non-visible or occluded body part |
US8744121B2 (en) | 2009-05-29 | 2014-06-03 | Microsoft Corporation | Device for identifying and tracking multiple humans over time |
US8379101B2 (en) | 2009-05-29 | 2013-02-19 | Microsoft Corporation | Environment and/or target segmentation |
US8487871B2 (en) | 2009-06-01 | 2013-07-16 | Microsoft Corporation | Virtual desktop coordinate transformation |
US8390680B2 (en) | 2009-07-09 | 2013-03-05 | Microsoft Corporation | Visual representation expression based on player expression |
US9159151B2 (en) | 2009-07-13 | 2015-10-13 | Microsoft Technology Licensing, Llc | Bringing a visual representation to life via learned input from the user |
WO2011127459A1 (en) | 2010-04-09 | 2011-10-13 | Zoll Medical Corporation | Systems and methods for ems device communications interface |
US8352561B1 (en) | 2009-07-24 | 2013-01-08 | Google Inc. | Electronic communication reminder technology |
US8264536B2 (en) | 2009-08-25 | 2012-09-11 | Microsoft Corporation | Depth-sensitive imaging via polarization-state mapping |
US9141193B2 (en) | 2009-08-31 | 2015-09-22 | Microsoft Technology Licensing, Llc | Techniques for using human gestures to control gesture unaware programs |
US8330134B2 (en) | 2009-09-14 | 2012-12-11 | Microsoft Corporation | Optical fault monitoring |
US8508919B2 (en) | 2009-09-14 | 2013-08-13 | Microsoft Corporation | Separation of electrical and optical components |
US8428340B2 (en) | 2009-09-21 | 2013-04-23 | Microsoft Corporation | Screen space plane identification |
US8760571B2 (en) | 2009-09-21 | 2014-06-24 | Microsoft Corporation | Alignment of lens and image sensor |
US8976986B2 (en) | 2009-09-21 | 2015-03-10 | Microsoft Technology Licensing, Llc | Volume adjustment based on listener position |
US9014546B2 (en) | 2009-09-23 | 2015-04-21 | Rovi Guides, Inc. | Systems and methods for automatically detecting users within detection regions of media devices |
US8131848B1 (en) | 2009-09-29 | 2012-03-06 | Jason Adam Denise | Image analysis and communication device control technology |
US8452087B2 (en) * | 2009-09-30 | 2013-05-28 | Microsoft Corporation | Image selection techniques |
US8723118B2 (en) | 2009-10-01 | 2014-05-13 | Microsoft Corporation | Imager for constructing color and depth images |
US8286085B1 (en) | 2009-10-04 | 2012-10-09 | Jason Adam Denise | Attachment suggestion technology |
US8564534B2 (en) | 2009-10-07 | 2013-10-22 | Microsoft Corporation | Human tracking system |
US8867820B2 (en) | 2009-10-07 | 2014-10-21 | Microsoft Corporation | Systems and methods for removing a background of an image |
US8963829B2 (en) | 2009-10-07 | 2015-02-24 | Microsoft Corporation | Methods and systems for determining and tracking extremities of a target |
US7961910B2 (en) | 2009-10-07 | 2011-06-14 | Microsoft Corporation | Systems and methods for tracking a model |
US9933852B2 (en) | 2009-10-14 | 2018-04-03 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
US9971807B2 (en) | 2009-10-14 | 2018-05-15 | Oblong Industries, Inc. | Multi-process interactive systems and methods |
US9400548B2 (en) | 2009-10-19 | 2016-07-26 | Microsoft Technology Licensing, Llc | Gesture personalization and profile roaming |
US8988432B2 (en) | 2009-11-05 | 2015-03-24 | Microsoft Technology Licensing, Llc | Systems and methods for processing an image for target tracking |
US8843857B2 (en) * | 2009-11-19 | 2014-09-23 | Microsoft Corporation | Distance scalable no touch computing |
US9244533B2 (en) | 2009-12-17 | 2016-01-26 | Microsoft Technology Licensing, Llc | Camera navigation for presentations |
US20110150271A1 (en) | 2009-12-18 | 2011-06-23 | Microsoft Corporation | Motion detection using depth images |
US8320621B2 (en) | 2009-12-21 | 2012-11-27 | Microsoft Corporation | Depth projector system with integrated VCSEL array |
US8631355B2 (en) | 2010-01-08 | 2014-01-14 | Microsoft Corporation | Assigning gesture dictionaries |
US9019201B2 (en) | 2010-01-08 | 2015-04-28 | Microsoft Technology Licensing, Llc | Evolving universal gesture sets |
US9268404B2 (en) | 2010-01-08 | 2016-02-23 | Microsoft Technology Licensing, Llc | Application gesture interpretation |
US8933884B2 (en) | 2010-01-15 | 2015-01-13 | Microsoft Corporation | Tracking groups of users in motion capture system |
US8334842B2 (en) | 2010-01-15 | 2012-12-18 | Microsoft Corporation | Recognizing user intent in motion capture system |
US8676581B2 (en) | 2010-01-22 | 2014-03-18 | Microsoft Corporation | Speech recognition analysis via identification information |
US8265341B2 (en) | 2010-01-25 | 2012-09-11 | Microsoft Corporation | Voice-body identity correlation |
US8864581B2 (en) | 2010-01-29 | 2014-10-21 | Microsoft Corporation | Visual based identitiy tracking |
US8891067B2 (en) | 2010-02-01 | 2014-11-18 | Microsoft Corporation | Multiple synchronized optical sources for time-of-flight range finding systems |
US8687044B2 (en) | 2010-02-02 | 2014-04-01 | Microsoft Corporation | Depth camera compatibility |
US8619122B2 (en) | 2010-02-02 | 2013-12-31 | Microsoft Corporation | Depth camera compatibility |
US8717469B2 (en) | 2010-02-03 | 2014-05-06 | Microsoft Corporation | Fast gating photosurface |
US8499257B2 (en) | 2010-02-09 | 2013-07-30 | Microsoft Corporation | Handles interactions for human—computer interface |
US8659658B2 (en) | 2010-02-09 | 2014-02-25 | Microsoft Corporation | Physical interaction zone for gesture-based user interfaces |
US8522308B2 (en) * | 2010-02-11 | 2013-08-27 | Verizon Patent And Licensing Inc. | Systems and methods for providing a spatial-input-based multi-user shared display experience |
US8964103B2 (en) * | 2010-02-16 | 2015-02-24 | Blackberry Limited | Method and apparatus for reducing continuous autofocus power consumption |
US8633890B2 (en) | 2010-02-16 | 2014-01-21 | Microsoft Corporation | Gesture detection based on joint skipping |
US20110199302A1 (en) * | 2010-02-16 | 2011-08-18 | Microsoft Corporation | Capturing screen objects using a collision volume |
US8928579B2 (en) | 2010-02-22 | 2015-01-06 | Andrew David Wilson | Interacting with an omni-directionally projected display |
US10180572B2 (en) | 2010-02-28 | 2019-01-15 | Microsoft Technology Licensing, Llc | AR glasses with event and user action control of external applications |
US8467133B2 (en) | 2010-02-28 | 2013-06-18 | Osterhout Group, Inc. | See-through display with an optical assembly including a wedge-shaped illumination system |
US9097891B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment |
US9097890B2 (en) | 2010-02-28 | 2015-08-04 | Microsoft Technology Licensing, Llc | Grating in a light transmissive illumination system for see-through near-eye display glasses |
US9128281B2 (en) | 2010-09-14 | 2015-09-08 | Microsoft Technology Licensing, Llc | Eyepiece with uniformly illuminated reflective display |
US8477425B2 (en) | 2010-02-28 | 2013-07-02 | Osterhout Group, Inc. | See-through near-eye display glasses including a partially reflective, partially transmitting optical element |
US9223134B2 (en) | 2010-02-28 | 2015-12-29 | Microsoft Technology Licensing, Llc | Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses |
US9285589B2 (en) * | 2010-02-28 | 2016-03-15 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered control of AR eyepiece applications |
US8472120B2 (en) | 2010-02-28 | 2013-06-25 | Osterhout Group, Inc. | See-through near-eye display glasses with a small scale image source |
US9341843B2 (en) | 2010-02-28 | 2016-05-17 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a small scale image source |
EP2539759A1 (en) | 2010-02-28 | 2013-01-02 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
US20150309316A1 (en) | 2011-04-06 | 2015-10-29 | Microsoft Technology Licensing, Llc | Ar glasses with predictive control of external device based on event input |
US9134534B2 (en) | 2010-02-28 | 2015-09-15 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses including a modular image source |
US9182596B2 (en) | 2010-02-28 | 2015-11-10 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light |
US9759917B2 (en) * | 2010-02-28 | 2017-09-12 | Microsoft Technology Licensing, Llc | AR glasses with event and sensor triggered AR eyepiece interface to external devices |
US8482859B2 (en) | 2010-02-28 | 2013-07-09 | Osterhout Group, Inc. | See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film |
US8488246B2 (en) | 2010-02-28 | 2013-07-16 | Osterhout Group, Inc. | See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film |
US9129295B2 (en) | 2010-02-28 | 2015-09-08 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear |
US9229227B2 (en) | 2010-02-28 | 2016-01-05 | Microsoft Technology Licensing, Llc | See-through near-eye display glasses with a light transmissive wedge shaped illumination system |
US9091851B2 (en) | 2010-02-28 | 2015-07-28 | Microsoft Technology Licensing, Llc | Light control in head mounted displays |
US9366862B2 (en) | 2010-02-28 | 2016-06-14 | Microsoft Technology Licensing, Llc | System and method for delivering content to a group of see-through near eye display eyepieces |
US20120249797A1 (en) | 2010-02-28 | 2012-10-04 | Osterhout Group, Inc. | Head-worn adaptive display |
US8411948B2 (en) | 2010-03-05 | 2013-04-02 | Microsoft Corporation | Up-sampling binary images for segmentation |
US8422769B2 (en) * | 2010-03-05 | 2013-04-16 | Microsoft Corporation | Image segmentation using reduced foreground training data |
US8655069B2 (en) | 2010-03-05 | 2014-02-18 | Microsoft Corporation | Updating image segmentation following user input |
US20110223995A1 (en) | 2010-03-12 | 2011-09-15 | Kevin Geisner | Interacting with a computer based application |
US8279418B2 (en) | 2010-03-17 | 2012-10-02 | Microsoft Corporation | Raster scanning for depth detection |
US8213680B2 (en) | 2010-03-19 | 2012-07-03 | Microsoft Corporation | Proxy training data for human body tracking |
US8983127B2 (en) * | 2010-03-19 | 2015-03-17 | University Of Central Florida Research Foundation, Inc. | Object tracking with opposing image capture devices |
US8514269B2 (en) | 2010-03-26 | 2013-08-20 | Microsoft Corporation | De-aliasing depth images |
US8523667B2 (en) | 2010-03-29 | 2013-09-03 | Microsoft Corporation | Parental control settings based on body dimensions |
JP2011210179A (ja) * | 2010-03-30 | 2011-10-20 | Sony Corp | 移動物体検出装置及び方法、並びにプログラム |
US8605763B2 (en) | 2010-03-31 | 2013-12-10 | Microsoft Corporation | Temperature measurement and control for laser and light-emitting diodes |
US9646340B2 (en) | 2010-04-01 | 2017-05-09 | Microsoft Technology Licensing, Llc | Avatar-based virtual dressing room |
US9098873B2 (en) | 2010-04-01 | 2015-08-04 | Microsoft Technology Licensing, Llc | Motion-based interactive shopping environment |
US8351651B2 (en) | 2010-04-26 | 2013-01-08 | Microsoft Corporation | Hand-location post-process refinement in a tracking system |
US8379919B2 (en) | 2010-04-29 | 2013-02-19 | Microsoft Corporation | Multiple centroid condensation of probability distribution clouds |
US8593402B2 (en) | 2010-04-30 | 2013-11-26 | Verizon Patent And Licensing Inc. | Spatial-input-based cursor projection systems and methods |
US8284847B2 (en) | 2010-05-03 | 2012-10-09 | Microsoft Corporation | Detecting motion for a multifunction sensor device |
US8885890B2 (en) | 2010-05-07 | 2014-11-11 | Microsoft Corporation | Depth map confidence filtering |
US8498481B2 (en) | 2010-05-07 | 2013-07-30 | Microsoft Corporation | Image segmentation using star-convexity constraints |
US8457353B2 (en) | 2010-05-18 | 2013-06-04 | Microsoft Corporation | Gestures and gesture modifiers for manipulating a user-interface |
US8878773B1 (en) | 2010-05-24 | 2014-11-04 | Amazon Technologies, Inc. | Determining relative motion as input |
US8803888B2 (en) | 2010-06-02 | 2014-08-12 | Microsoft Corporation | Recognition system for sharing information |
US9008355B2 (en) | 2010-06-04 | 2015-04-14 | Microsoft Technology Licensing, Llc | Automatic depth camera aiming |
US8751215B2 (en) | 2010-06-04 | 2014-06-10 | Microsoft Corporation | Machine based sign language interpreter |
US9557574B2 (en) | 2010-06-08 | 2017-01-31 | Microsoft Technology Licensing, Llc | Depth illumination and detection optics |
US8330822B2 (en) | 2010-06-09 | 2012-12-11 | Microsoft Corporation | Thermally-tuned depth camera light source |
US8749557B2 (en) | 2010-06-11 | 2014-06-10 | Microsoft Corporation | Interacting with user interface via avatar |
US8675981B2 (en) | 2010-06-11 | 2014-03-18 | Microsoft Corporation | Multi-modal gender recognition including depth data |
US9384329B2 (en) | 2010-06-11 | 2016-07-05 | Microsoft Technology Licensing, Llc | Caloric burn determination from body movement |
US20110304774A1 (en) * | 2010-06-11 | 2011-12-15 | Microsoft Corporation | Contextual tagging of recorded data |
US8982151B2 (en) | 2010-06-14 | 2015-03-17 | Microsoft Technology Licensing, Llc | Independently processing planes of display data |
US8670029B2 (en) | 2010-06-16 | 2014-03-11 | Microsoft Corporation | Depth camera illuminator with superluminescent light-emitting diode |
US8558873B2 (en) | 2010-06-16 | 2013-10-15 | Microsoft Corporation | Use of wavefront coding to create a depth image |
US8296151B2 (en) | 2010-06-18 | 2012-10-23 | Microsoft Corporation | Compound gesture-speech commands |
US8381108B2 (en) | 2010-06-21 | 2013-02-19 | Microsoft Corporation | Natural user input for driving interactive stories |
US8762041B2 (en) * | 2010-06-21 | 2014-06-24 | Blackberry Limited | Method, device and system for presenting navigational information |
US8416187B2 (en) | 2010-06-22 | 2013-04-09 | Microsoft Corporation | Item navigation using motion-capture data |
KR20120000485A (ko) * | 2010-06-25 | 2012-01-02 | 삼성전자주식회사 | 예측 모드를 이용한 깊이 영상 부호화 장치 및 방법 |
TW201207585A (en) * | 2010-08-05 | 2012-02-16 | Chi Mei Comm Systems Inc | Mobile electronic device rocking system and method thereof |
US9075434B2 (en) | 2010-08-20 | 2015-07-07 | Microsoft Technology Licensing, Llc | Translating user motion into multiple object responses |
US8613666B2 (en) | 2010-08-31 | 2013-12-24 | Microsoft Corporation | User selection and navigation based on looped motions |
US9167289B2 (en) | 2010-09-02 | 2015-10-20 | Verizon Patent And Licensing Inc. | Perspective display systems and methods |
US20120058824A1 (en) | 2010-09-07 | 2012-03-08 | Microsoft Corporation | Scalable real-time motion recognition |
US8437506B2 (en) | 2010-09-07 | 2013-05-07 | Microsoft Corporation | System for fast, probabilistic skeletal tracking |
JP5885747B2 (ja) | 2010-09-17 | 2016-03-15 | オラクル・インターナショナル・コーポレイション | ミドルウェアマシン環境においてイーサネット(登録商標)・オーバー・インフィニバンドの仮想ハブのスケーラビリティを提供するためのシステムおよび方法 |
US8988508B2 (en) | 2010-09-24 | 2015-03-24 | Microsoft Technology Licensing, Llc. | Wide angle field of view active illumination imaging system |
US8681255B2 (en) | 2010-09-28 | 2014-03-25 | Microsoft Corporation | Integrated low power depth camera and projection device |
US8548270B2 (en) | 2010-10-04 | 2013-10-01 | Microsoft Corporation | Time-of-flight depth imaging |
US9484065B2 (en) | 2010-10-15 | 2016-11-01 | Microsoft Technology Licensing, Llc | Intelligent determination of replays based on event identification |
US8957856B2 (en) | 2010-10-21 | 2015-02-17 | Verizon Patent And Licensing Inc. | Systems, methods, and apparatuses for spatial input associated with a display |
US8592739B2 (en) | 2010-11-02 | 2013-11-26 | Microsoft Corporation | Detection of configuration changes of an optical element in an illumination system |
US8866889B2 (en) | 2010-11-03 | 2014-10-21 | Microsoft Corporation | In-home depth camera calibration |
US8667519B2 (en) | 2010-11-12 | 2014-03-04 | Microsoft Corporation | Automatic passive and anonymous feedback system |
US10726861B2 (en) | 2010-11-15 | 2020-07-28 | Microsoft Technology Licensing, Llc | Semi-private communication in open environments |
US9349040B2 (en) | 2010-11-19 | 2016-05-24 | Microsoft Technology Licensing, Llc | Bi-modal depth-image analysis |
US10234545B2 (en) | 2010-12-01 | 2019-03-19 | Microsoft Technology Licensing, Llc | Light source module |
US8553934B2 (en) | 2010-12-08 | 2013-10-08 | Microsoft Corporation | Orienting the position of a sensor |
US8618405B2 (en) | 2010-12-09 | 2013-12-31 | Microsoft Corp. | Free-space gesture musical instrument digital interface (MIDI) controller |
US8408706B2 (en) | 2010-12-13 | 2013-04-02 | Microsoft Corporation | 3D gaze tracker |
US8884968B2 (en) | 2010-12-15 | 2014-11-11 | Microsoft Corporation | Modeling an object from image data |
US9171264B2 (en) | 2010-12-15 | 2015-10-27 | Microsoft Technology Licensing, Llc | Parallel processing machine learning decision tree training |
US8920241B2 (en) | 2010-12-15 | 2014-12-30 | Microsoft Corporation | Gesture controlled persistent handles for interface guides |
US8448056B2 (en) | 2010-12-17 | 2013-05-21 | Microsoft Corporation | Validation analysis of human target |
US8803952B2 (en) | 2010-12-20 | 2014-08-12 | Microsoft Corporation | Plural detector time-of-flight depth mapping |
US9821224B2 (en) | 2010-12-21 | 2017-11-21 | Microsoft Technology Licensing, Llc | Driving simulator control with virtual skeleton |
US9848106B2 (en) | 2010-12-21 | 2017-12-19 | Microsoft Technology Licensing, Llc | Intelligent gameplay photo capture |
US8385596B2 (en) | 2010-12-21 | 2013-02-26 | Microsoft Corporation | First person shooter control with virtual skeleton |
US9823339B2 (en) | 2010-12-21 | 2017-11-21 | Microsoft Technology Licensing, Llc | Plural anode time-of-flight sensor |
US8994718B2 (en) | 2010-12-21 | 2015-03-31 | Microsoft Technology Licensing, Llc | Skeletal control of three-dimensional virtual world |
US9575561B2 (en) | 2010-12-23 | 2017-02-21 | Intel Corporation | Method, apparatus and system for interacting with content on web browsers |
US9123316B2 (en) | 2010-12-27 | 2015-09-01 | Microsoft Technology Licensing, Llc | Interactive content creation |
US8488888B2 (en) | 2010-12-28 | 2013-07-16 | Microsoft Corporation | Classification of posture states |
US8587583B2 (en) | 2011-01-31 | 2013-11-19 | Microsoft Corporation | Three-dimensional environment reconstruction |
US8401242B2 (en) | 2011-01-31 | 2013-03-19 | Microsoft Corporation | Real-time camera tracking using depth maps |
US9247238B2 (en) | 2011-01-31 | 2016-01-26 | Microsoft Technology Licensing, Llc | Reducing interference between multiple infra-red depth cameras |
US8401225B2 (en) | 2011-01-31 | 2013-03-19 | Microsoft Corporation | Moving object segmentation using depth images |
US8724887B2 (en) | 2011-02-03 | 2014-05-13 | Microsoft Corporation | Environmental modifications to mitigate environmental factors |
US8942917B2 (en) | 2011-02-14 | 2015-01-27 | Microsoft Corporation | Change invariant scene recognition by an agent |
US8497838B2 (en) | 2011-02-16 | 2013-07-30 | Microsoft Corporation | Push actuation of interface controls |
US9551914B2 (en) | 2011-03-07 | 2017-01-24 | Microsoft Technology Licensing, Llc | Illuminator with refractive optical element |
JP2012190183A (ja) * | 2011-03-09 | 2012-10-04 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP2012190184A (ja) * | 2011-03-09 | 2012-10-04 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US9067136B2 (en) | 2011-03-10 | 2015-06-30 | Microsoft Technology Licensing, Llc | Push personalization of interface controls |
US8009141B1 (en) * | 2011-03-14 | 2011-08-30 | Google Inc. | Seeing with your hand |
US8571263B2 (en) | 2011-03-17 | 2013-10-29 | Microsoft Corporation | Predicting joint positions |
US9470778B2 (en) | 2011-03-29 | 2016-10-18 | Microsoft Technology Licensing, Llc | Learning from high quality depth measurements |
US9760566B2 (en) | 2011-03-31 | 2017-09-12 | Microsoft Technology Licensing, Llc | Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof |
US9298287B2 (en) | 2011-03-31 | 2016-03-29 | Microsoft Technology Licensing, Llc | Combined activation for natural user interface systems |
US9842168B2 (en) | 2011-03-31 | 2017-12-12 | Microsoft Technology Licensing, Llc | Task driven user intents |
US10642934B2 (en) | 2011-03-31 | 2020-05-05 | Microsoft Technology Licensing, Llc | Augmented conversational understanding architecture |
US8503494B2 (en) | 2011-04-05 | 2013-08-06 | Microsoft Corporation | Thermal management system |
US8824749B2 (en) | 2011-04-05 | 2014-09-02 | Microsoft Corporation | Biometric recognition |
US8620113B2 (en) | 2011-04-25 | 2013-12-31 | Microsoft Corporation | Laser diode modes |
US8702507B2 (en) | 2011-04-28 | 2014-04-22 | Microsoft Corporation | Manual and camera-based avatar control |
US9259643B2 (en) | 2011-04-28 | 2016-02-16 | Microsoft Technology Licensing, Llc | Control of separate computer game elements |
US10671841B2 (en) | 2011-05-02 | 2020-06-02 | Microsoft Technology Licensing, Llc | Attribute state classification |
US8888331B2 (en) | 2011-05-09 | 2014-11-18 | Microsoft Corporation | Low inductance light source module |
US8203605B1 (en) | 2011-05-11 | 2012-06-19 | Google Inc. | Point-of-view object selection |
US9064006B2 (en) | 2012-08-23 | 2015-06-23 | Microsoft Technology Licensing, Llc | Translating natural language utterances to keyword search queries |
US9137463B2 (en) | 2011-05-12 | 2015-09-15 | Microsoft Technology Licensing, Llc | Adaptive high dynamic range camera |
US9123272B1 (en) | 2011-05-13 | 2015-09-01 | Amazon Technologies, Inc. | Realistic image lighting and shading |
US8788973B2 (en) | 2011-05-23 | 2014-07-22 | Microsoft Corporation | Three-dimensional gesture controlled avatar configuration interface |
US8760395B2 (en) | 2011-05-31 | 2014-06-24 | Microsoft Corporation | Gesture recognition techniques |
US9594430B2 (en) | 2011-06-01 | 2017-03-14 | Microsoft Technology Licensing, Llc | Three-dimensional foreground selection for vision system |
US8526734B2 (en) | 2011-06-01 | 2013-09-03 | Microsoft Corporation | Three-dimensional background removal for vision system |
US9935848B2 (en) | 2011-06-03 | 2018-04-03 | Oracle International Corporation | System and method for supporting subnet manager (SM) level robust handling of unkown management key in an infiniband (IB) network |
US10063544B2 (en) | 2011-06-03 | 2018-08-28 | Oracle International Corporation | System and method for supporting consistent handling of internal ID spaces for different partitions in an infiniband (IB) network |
US10796494B2 (en) | 2011-06-06 | 2020-10-06 | Microsoft Technology Licensing, Llc | Adding attributes to virtual representations of real-world objects |
US8897491B2 (en) | 2011-06-06 | 2014-11-25 | Microsoft Corporation | System for finger recognition and tracking |
US8929612B2 (en) | 2011-06-06 | 2015-01-06 | Microsoft Corporation | System for recognizing an open or closed hand |
US8597142B2 (en) | 2011-06-06 | 2013-12-03 | Microsoft Corporation | Dynamic camera based practice mode |
US9098110B2 (en) | 2011-06-06 | 2015-08-04 | Microsoft Technology Licensing, Llc | Head rotation tracking from depth-based center of mass |
US9724600B2 (en) | 2011-06-06 | 2017-08-08 | Microsoft Technology Licensing, Llc | Controlling objects in a virtual environment |
US9208571B2 (en) | 2011-06-06 | 2015-12-08 | Microsoft Technology Licensing, Llc | Object digitization |
US9013489B2 (en) | 2011-06-06 | 2015-04-21 | Microsoft Technology Licensing, Llc | Generation of avatar reflecting player appearance |
US9597587B2 (en) | 2011-06-08 | 2017-03-21 | Microsoft Technology Licensing, Llc | Locational node device |
US9041734B2 (en) | 2011-07-12 | 2015-05-26 | Amazon Technologies, Inc. | Simulating three-dimensional features |
US20130027521A1 (en) * | 2011-07-26 | 2013-01-31 | Research In Motion Corporation | Stereoscopic image capturing system |
US8891868B1 (en) | 2011-08-04 | 2014-11-18 | Amazon Technologies, Inc. | Recognizing gestures captured by video |
US10088924B1 (en) | 2011-08-04 | 2018-10-02 | Amazon Technologies, Inc. | Overcoming motion effects in gesture recognition |
US9183638B2 (en) * | 2011-08-09 | 2015-11-10 | The Boeing Company | Image based position determination |
US8786730B2 (en) | 2011-08-18 | 2014-07-22 | Microsoft Corporation | Image exposure using exclusion regions |
US8947351B1 (en) | 2011-09-27 | 2015-02-03 | Amazon Technologies, Inc. | Point of view determinations for finger tracking |
US8791835B2 (en) * | 2011-10-03 | 2014-07-29 | Wei Zhang | Methods for road safety enhancement using mobile communication device |
US9557836B2 (en) | 2011-11-01 | 2017-01-31 | Microsoft Technology Licensing, Llc | Depth image compression |
US9117281B2 (en) | 2011-11-02 | 2015-08-25 | Microsoft Corporation | Surface segmentation from RGB and depth images |
US9609217B2 (en) | 2011-11-02 | 2017-03-28 | Mediatek Inc. | Image-based motion sensor and related multi-purpose camera system |
US8854426B2 (en) | 2011-11-07 | 2014-10-07 | Microsoft Corporation | Time-of-flight camera with guided light |
US8724906B2 (en) | 2011-11-18 | 2014-05-13 | Microsoft Corporation | Computing pose and/or shape of modifiable entities |
US8509545B2 (en) | 2011-11-29 | 2013-08-13 | Microsoft Corporation | Foreground subject detection |
US8803800B2 (en) | 2011-12-02 | 2014-08-12 | Microsoft Corporation | User interface control based on head orientation |
US8635637B2 (en) | 2011-12-02 | 2014-01-21 | Microsoft Corporation | User interface presenting an animated avatar performing a media reaction |
US9100685B2 (en) | 2011-12-09 | 2015-08-04 | Microsoft Technology Licensing, Llc | Determining audience state or interest using passive sensor data |
US8879831B2 (en) | 2011-12-15 | 2014-11-04 | Microsoft Corporation | Using high-level attributes to guide image processing |
US8630457B2 (en) | 2011-12-15 | 2014-01-14 | Microsoft Corporation | Problem states for pose tracking pipeline |
US8971612B2 (en) | 2011-12-15 | 2015-03-03 | Microsoft Corporation | Learning image processing tasks from scene reconstructions |
US8811938B2 (en) | 2011-12-16 | 2014-08-19 | Microsoft Corporation | Providing a user interface experience based on inferred vehicle state |
US9342139B2 (en) | 2011-12-19 | 2016-05-17 | Microsoft Technology Licensing, Llc | Pairing a computing device to a user |
US9230501B1 (en) | 2012-01-06 | 2016-01-05 | Google Inc. | Device control utilizing optical flow |
US9223415B1 (en) | 2012-01-17 | 2015-12-29 | Amazon Technologies, Inc. | Managing resource usage for task performance |
US9720089B2 (en) | 2012-01-23 | 2017-08-01 | Microsoft Technology Licensing, Llc | 3D zoom imager |
US8884928B1 (en) | 2012-01-26 | 2014-11-11 | Amazon Technologies, Inc. | Correcting for parallax in electronic displays |
WO2013124845A1 (en) * | 2012-02-22 | 2013-08-29 | Pointgrab Ltd. | Computer vision based control of an icon on a display |
US9063574B1 (en) | 2012-03-14 | 2015-06-23 | Amazon Technologies, Inc. | Motion detection systems for electronic devices |
US9285895B1 (en) | 2012-03-28 | 2016-03-15 | Amazon Technologies, Inc. | Integrated near field sensor for display devices |
US8898687B2 (en) | 2012-04-04 | 2014-11-25 | Microsoft Corporation | Controlling a media program based on a media reaction |
US9210401B2 (en) | 2012-05-03 | 2015-12-08 | Microsoft Technology Licensing, Llc | Projected visual cues for guiding physical movement |
CA2775700C (en) | 2012-05-04 | 2013-07-23 | Microsoft Corporation | Determining a future portion of a currently presented media program |
US8938124B2 (en) | 2012-05-10 | 2015-01-20 | Pointgrab Ltd. | Computer vision based tracking of a hand |
KR101911133B1 (ko) | 2012-06-21 | 2018-10-23 | 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 | 깊이 카메라를 이용한 아바타 구성 |
US9836590B2 (en) | 2012-06-22 | 2017-12-05 | Microsoft Technology Licensing, Llc | Enhanced accuracy of user presence status determination |
WO2014008438A1 (en) * | 2012-07-03 | 2014-01-09 | Tourwrist, Inc | Systems and methods for tracking user postures and motions to control display of and navigate panoramas |
US9696427B2 (en) | 2012-08-14 | 2017-07-04 | Microsoft Technology Licensing, Llc | Wide angle depth detection |
WO2014052802A2 (en) | 2012-09-28 | 2014-04-03 | Zoll Medical Corporation | Systems and methods for three-dimensional interaction monitoring in an ems environment |
US9423886B1 (en) | 2012-10-02 | 2016-08-23 | Amazon Technologies, Inc. | Sensor connectivity approaches |
GB2507963A (en) * | 2012-11-14 | 2014-05-21 | Renergy Sarl | Controlling a Graphical User Interface |
US8882310B2 (en) | 2012-12-10 | 2014-11-11 | Microsoft Corporation | Laser die light source module with low inductance |
US9857470B2 (en) | 2012-12-28 | 2018-01-02 | Microsoft Technology Licensing, Llc | Using photometric stereo for 3D environment modeling |
US9251590B2 (en) | 2013-01-24 | 2016-02-02 | Microsoft Technology Licensing, Llc | Camera pose estimation for 3D reconstruction |
JP5979023B2 (ja) * | 2013-01-28 | 2016-08-24 | マツダ株式会社 | 車両用撮像装置 |
US9052746B2 (en) | 2013-02-15 | 2015-06-09 | Microsoft Technology Licensing, Llc | User center-of-mass and mass distribution extraction using depth images |
US9940553B2 (en) | 2013-02-22 | 2018-04-10 | Microsoft Technology Licensing, Llc | Camera/object pose from predicted coordinates |
US9135516B2 (en) | 2013-03-08 | 2015-09-15 | Microsoft Technology Licensing, Llc | User body angle, curvature and average extremity positions extraction using depth images |
US9035874B1 (en) | 2013-03-08 | 2015-05-19 | Amazon Technologies, Inc. | Providing user input to a computing device with an eye closure |
US9092657B2 (en) | 2013-03-13 | 2015-07-28 | Microsoft Technology Licensing, Llc | Depth image processing |
US9274606B2 (en) | 2013-03-14 | 2016-03-01 | Microsoft Technology Licensing, Llc | NUI video conference controls |
US9953213B2 (en) | 2013-03-27 | 2018-04-24 | Microsoft Technology Licensing, Llc | Self discovery of autonomous NUI devices |
US9442186B2 (en) | 2013-05-13 | 2016-09-13 | Microsoft Technology Licensing, Llc | Interference reduction for TOF systems |
US9417689B1 (en) * | 2013-05-17 | 2016-08-16 | Amazon Technologies, Inc. | Robust device motion detection |
US9829984B2 (en) | 2013-05-23 | 2017-11-28 | Fastvdo Llc | Motion-assisted visual language for human computer interfaces |
US9269012B2 (en) | 2013-08-22 | 2016-02-23 | Amazon Technologies, Inc. | Multi-tracker object tracking |
US11199906B1 (en) | 2013-09-04 | 2021-12-14 | Amazon Technologies, Inc. | Global user input management |
US10055013B2 (en) | 2013-09-17 | 2018-08-21 | Amazon Technologies, Inc. | Dynamic object tracking for user interfaces |
US10132635B2 (en) * | 2013-09-17 | 2018-11-20 | Invensense, Inc. | Method and apparatus for misalignment between device and pedestrian using vision |
US9462253B2 (en) | 2013-09-23 | 2016-10-04 | Microsoft Technology Licensing, Llc | Optical modules that reduce speckle contrast and diffraction artifacts |
US9367203B1 (en) | 2013-10-04 | 2016-06-14 | Amazon Technologies, Inc. | User interface techniques for simulating three-dimensional depth |
US9443310B2 (en) | 2013-10-09 | 2016-09-13 | Microsoft Technology Licensing, Llc | Illumination modules that emit structured light |
US10302669B2 (en) * | 2013-11-01 | 2019-05-28 | Invensense, Inc. | Method and apparatus for speed or velocity estimation using optical sensor |
US9674563B2 (en) | 2013-11-04 | 2017-06-06 | Rovi Guides, Inc. | Systems and methods for recommending content |
US9470511B2 (en) | 2013-11-12 | 2016-10-18 | Trimble Navigation Limited | Point-to-point measurements using a handheld device |
US9769459B2 (en) | 2013-11-12 | 2017-09-19 | Microsoft Technology Licensing, Llc | Power efficient laser diode driver circuit and method |
US9508385B2 (en) | 2013-11-21 | 2016-11-29 | Microsoft Technology Licensing, Llc | Audio-visual project generator |
US9607319B2 (en) | 2013-12-30 | 2017-03-28 | Adtile Technologies, Inc. | Motion and gesture-based mobile advertising activation |
US9971491B2 (en) | 2014-01-09 | 2018-05-15 | Microsoft Technology Licensing, Llc | Gesture library for natural user input |
US9958963B2 (en) * | 2014-02-19 | 2018-05-01 | American Greetings Corporation | Systems, methods, and apparatuses for creating digital glitter with accelerometer |
US9990046B2 (en) | 2014-03-17 | 2018-06-05 | Oblong Industries, Inc. | Visual collaboration interface |
US10735902B1 (en) * | 2014-04-09 | 2020-08-04 | Accuware, Inc. | Method and computer program for taking action based on determined movement path of mobile devices |
CN103884293B (zh) * | 2014-04-17 | 2016-09-07 | 吉林大学 | 基于光流的轮胎变形在线测试装置及测试方法 |
US9616350B2 (en) * | 2014-05-21 | 2017-04-11 | Universal City Studios Llc | Enhanced interactivity in an amusement park environment using passive tracking elements |
KR101565421B1 (ko) * | 2014-06-26 | 2015-11-03 | 엘지전자 주식회사 | 로봇 청소기 및 그 제어 방법 |
US10652696B2 (en) * | 2014-07-30 | 2020-05-12 | Trusted Positioning, Inc. | Method and apparatus for categorizing device use case for on foot motion using motion sensor data |
DE102014013678B3 (de) | 2014-09-10 | 2015-12-03 | Faro Technologies, Inc. | Verfahren zum optischen Abtasten und Vermessen einer Umgebung mit einem Handscanner und Steuerung durch Gesten |
US9602811B2 (en) | 2014-09-10 | 2017-03-21 | Faro Technologies, Inc. | Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device |
WO2016040271A1 (en) * | 2014-09-10 | 2016-03-17 | Faro Technologies, Inc. | Method for optically measuring three-dimensional coordinates and controlling a three-dimensional measuring device |
US10354397B2 (en) | 2015-03-11 | 2019-07-16 | Massachusetts Institute Of Technology | Methods and apparatus for modeling deformations of an object |
JP6420705B2 (ja) * | 2015-04-03 | 2018-11-07 | 株式会社Nttドコモ | 情報処理装置、情報処理方法およびプログラム |
KR102368625B1 (ko) * | 2015-07-23 | 2022-03-02 | 삼성전자주식회사 | 디지털 촬영 장치 및 그 방법 |
US10437463B2 (en) | 2015-10-16 | 2019-10-08 | Lumini Corporation | Motion-based graphical input system |
US10412280B2 (en) | 2016-02-10 | 2019-09-10 | Microsoft Technology Licensing, Llc | Camera with light valve over sensor array |
US10257932B2 (en) | 2016-02-16 | 2019-04-09 | Microsoft Technology Licensing, Llc. | Laser diode chip on printed circuit board |
CN105607259A (zh) * | 2016-03-01 | 2016-05-25 | 上海小蚁科技有限公司 | 一种可穿戴装置和运动管理方法 |
DE102016104732A1 (de) * | 2016-03-15 | 2017-09-21 | Connaught Electronics Ltd. | Verfahren zur Bewegungsabschätzung zwischen zwei Bildern eines Umgebungsbereichs eines Kraftfahrzeugs, Rechenvorrichtung, Fahrerassistenzsystem sowie Kraftfahrzeug |
US10462452B2 (en) | 2016-03-16 | 2019-10-29 | Microsoft Technology Licensing, Llc | Synchronizing active illumination cameras |
US10529302B2 (en) | 2016-07-07 | 2020-01-07 | Oblong Industries, Inc. | Spatially mediated augmentations of and interactions among distinct devices and applications via extended pixel manifold |
US10380745B2 (en) * | 2016-09-01 | 2019-08-13 | Massachusetts Institute Of Technology | Methods and devices for measuring object motion using camera images |
US10437342B2 (en) | 2016-12-05 | 2019-10-08 | Youspace, Inc. | Calibration systems and methods for depth-based interfaces with disparate fields of view |
US10303417B2 (en) | 2017-04-03 | 2019-05-28 | Youspace, Inc. | Interactive systems for depth-based input |
US10303259B2 (en) | 2017-04-03 | 2019-05-28 | Youspace, Inc. | Systems and methods for gesture-based interaction |
US10600290B2 (en) * | 2016-12-14 | 2020-03-24 | Immersion Corporation | Automatic haptic generation based on visual odometry |
US9983687B1 (en) | 2017-01-06 | 2018-05-29 | Adtile Technologies Inc. | Gesture-controlled augmented reality experience using a mobile communications device |
JP2018151940A (ja) * | 2017-03-14 | 2018-09-27 | 株式会社デンソーテン | 障害物検出装置および障害物検出方法 |
US20180293735A1 (en) * | 2017-04-11 | 2018-10-11 | Sony Corporation | Optical flow and sensor input based background subtraction in video content |
CN107241510B (zh) * | 2017-06-27 | 2018-09-21 | 惠州学院 | 一种快速恢复智能手机配置的方法及其系统 |
US11765315B2 (en) * | 2017-08-08 | 2023-09-19 | Nec Corporation | Flying body control apparatus, flying body control method, and flying body control program |
WO2019093297A1 (ja) * | 2017-11-13 | 2019-05-16 | 日本電気株式会社 | 情報処理装置、制御方法、及びプログラム |
US10650553B2 (en) * | 2017-12-27 | 2020-05-12 | Intel IP Corporation | Method of image processing and image processing device |
US20190238746A1 (en) * | 2018-01-27 | 2019-08-01 | Lenovo (Singapore) Pte. Ltd. | Capturing Images at Locked Device Responsive to Device Motion |
CN112041887A (zh) * | 2018-04-24 | 2020-12-04 | 斯纳普公司 | 高效的并行光流算法和gpu实现 |
US11262856B2 (en) * | 2018-05-11 | 2022-03-01 | Beijing Bytedance Network Technology Co., Ltd. | Interaction method, device and equipment for operable object |
CN109753209B (zh) | 2018-06-21 | 2020-05-05 | 北京字节跳动网络技术有限公司 | 一种应用程序启动方法、装置及设备 |
US11068530B1 (en) * | 2018-11-02 | 2021-07-20 | Shutterstock, Inc. | Context-based image selection for electronic media |
US11536857B2 (en) | 2019-12-19 | 2022-12-27 | Trimble Inc. | Surface tracking on a survey pole |
CN111274914B (zh) * | 2020-01-13 | 2023-04-18 | 目骉资讯有限公司 | 一种基于深度学习的马匹速度计算系统及方法 |
Family Cites Families (87)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3167023B2 (ja) * | 1989-11-13 | 2001-05-14 | キヤノン株式会社 | 焦点調節装置、ブレ検出装置、動き検出装置、並びに、被写体位置検出装置 |
JPH06511340A (ja) * | 1991-10-04 | 1994-12-15 | マイクロメッド・システムズ・インコーポレイテッド | ポケット大のコンピュータ入力装置および方法 |
DE69206770T2 (de) * | 1991-12-19 | 1996-07-11 | Motorola Inc | Dreiachsiger Beschleunigungsmesser |
US6400996B1 (en) * | 1999-02-01 | 2002-06-04 | Steven M. Hoffberg | Adaptive pattern recognition based control system and method |
US6906700B1 (en) * | 1992-03-05 | 2005-06-14 | Anascape | 3D controller with vibration |
USRE38420E1 (en) * | 1992-08-12 | 2004-02-10 | British Broadcasting Corporation | Derivation of studio camera position and motion from the camera image |
JP3154576B2 (ja) | 1992-12-25 | 2001-04-09 | 株式会社ノリタケカンパニーリミテド | チタン材焼付用陶材組成物 |
US5435554A (en) * | 1993-03-08 | 1995-07-25 | Atari Games Corporation | Baseball simulation system |
US5297061A (en) * | 1993-05-19 | 1994-03-22 | University Of Maryland | Three dimensional pointing device monitored by computer vision |
JP3391841B2 (ja) * | 1993-05-26 | 2003-03-31 | 松下電工株式会社 | 半導体加速度センサ |
JP3727954B2 (ja) * | 1993-11-10 | 2005-12-21 | キヤノン株式会社 | 撮像装置 |
DE4415167A1 (de) * | 1994-04-29 | 1995-11-02 | Siemens Ag | Telekommunikationsanordnung zum Übertragen von Bildern |
JPH08212327A (ja) * | 1995-02-06 | 1996-08-20 | Mitsubishi Electric Corp | 身振り認識装置 |
US5852672A (en) * | 1995-07-10 | 1998-12-22 | The Regents Of The University Of California | Image system for three dimensional, 360 DEGREE, time sequence surface mapping of moving objects |
US5670988A (en) * | 1995-09-05 | 1997-09-23 | Interlink Electronics, Inc. | Trigger operated electronic device |
JPH09153146A (ja) * | 1995-09-28 | 1997-06-10 | Toshiba Corp | 仮想空間表示方法 |
US6127990A (en) * | 1995-11-28 | 2000-10-03 | Vega Vista, Inc. | Wearable display and methods for controlling same |
US6075905A (en) * | 1996-07-17 | 2000-06-13 | Sarnoff Corporation | Method and apparatus for mosaic image construction |
US6104840A (en) * | 1996-11-08 | 2000-08-15 | Ricoh Company, Ltd. | Method and system for generating a composite image from partially overlapping adjacent images taken along a plurality of axes |
JPH10240436A (ja) | 1996-12-26 | 1998-09-11 | Nikon Corp | 情報処理装置および記録媒体 |
JP3968477B2 (ja) * | 1997-07-07 | 2007-08-29 | ソニー株式会社 | 情報入力装置及び情報入力方法 |
US6195104B1 (en) * | 1997-12-23 | 2001-02-27 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
US6342917B1 (en) * | 1998-01-16 | 2002-01-29 | Xerox Corporation | Image recording apparatus and method using light fields to track position and orientation |
JP3629935B2 (ja) * | 1998-01-27 | 2005-03-16 | オムロン株式会社 | 移動体の速度計測方法およびその方法を用いた速度計測装置 |
US6072496A (en) * | 1998-06-08 | 2000-06-06 | Microsoft Corporation | Method and system for capturing and representing 3D geometry, color and shading of facial expressions and other animated objects |
US6628819B1 (en) * | 1998-10-09 | 2003-09-30 | Ricoh Company, Ltd. | Estimation of 3-dimensional shape from image sequence |
US6201554B1 (en) * | 1999-01-12 | 2001-03-13 | Ericsson Inc. | Device control apparatus for hand-held data processing device |
US6882286B1 (en) * | 1999-04-20 | 2005-04-19 | Funai Electric Co., Ltd. | Remote controller and electrical apparatus controlled by the same |
US7015950B1 (en) * | 1999-05-11 | 2006-03-21 | Pryor Timothy R | Picture taking method and apparatus |
WO2000075941A1 (fr) | 1999-06-04 | 2000-12-14 | Mitsui Chemicals, Inc. | Solution electrolytique non aqueuse, electrode et condensateur ainsi equipe |
US6288704B1 (en) | 1999-06-08 | 2001-09-11 | Vega, Vista, Inc. | Motion detection and tracking system to control navigation and display of object viewers |
JP3847058B2 (ja) * | 1999-10-04 | 2006-11-15 | 任天堂株式会社 | ゲームシステム及びそれに用いられるゲーム情報記憶媒体 |
US7187412B1 (en) * | 2000-01-18 | 2007-03-06 | Hewlett-Packard Development Company, L.P. | Pointing device for digital camera display |
US6535114B1 (en) * | 2000-03-22 | 2003-03-18 | Toyota Jidosha Kabushiki Kaisha | Method and apparatus for environment recognition |
JP2001282447A (ja) * | 2000-03-29 | 2001-10-12 | Casio Comput Co Ltd | 情報処理装置及び記憶媒体 |
US6861946B2 (en) * | 2000-05-17 | 2005-03-01 | Caveo Technology Llc. | Motion-based input system for handheld devices |
JP2002024833A (ja) * | 2000-07-07 | 2002-01-25 | Sony Corp | エンタテインメントシステム、エンタテインメント装置及び情報処理方法 |
JP4581204B2 (ja) * | 2000-09-11 | 2010-11-17 | ソニー株式会社 | 位置解析装置及び位置解析方法、並びに、エンターテインメント装置 |
US6937272B1 (en) * | 2000-11-08 | 2005-08-30 | Xerox Corporation | Display device for a camera |
US20020153188A1 (en) * | 2000-12-08 | 2002-10-24 | Brandt Kenneth A. | Selectable control parameters on a power machine with four-wheel steering |
US7176440B2 (en) * | 2001-01-19 | 2007-02-13 | Honeywell International Inc. | Method and apparatus for detecting objects using structured light patterns |
JP2002290793A (ja) * | 2001-03-28 | 2002-10-04 | Mitsubishi Electric Corp | 撮像装置付携帯電話器 |
US6798429B2 (en) * | 2001-03-29 | 2004-09-28 | Intel Corporation | Intuitive mobile device interface to virtual spaces |
JP2002351603A (ja) * | 2001-05-25 | 2002-12-06 | Mitsubishi Electric Corp | 携帯情報処理装置 |
JP4848097B2 (ja) * | 2001-06-13 | 2011-12-28 | 三菱重工業株式会社 | 移動体の監視方法および装置 |
US7061628B2 (en) * | 2001-06-27 | 2006-06-13 | Southwest Research Institute | Non-contact apparatus and method for measuring surface profile |
US6847351B2 (en) * | 2001-08-13 | 2005-01-25 | Siemens Information And Communication Mobile, Llc | Tilt-based pointing for hand-held devices |
US7221776B2 (en) * | 2001-10-31 | 2007-05-22 | Arcsoft, Inc. | Video stabilizer |
US6816151B2 (en) * | 2001-11-09 | 2004-11-09 | Terry L. Dellinger | Hand-held trackball computer pointing device |
US20030098841A1 (en) * | 2001-11-26 | 2003-05-29 | Jessica Broussard | Powered, remotely controllable computer display device |
KR100415313B1 (ko) * | 2001-12-24 | 2004-01-16 | 한국전자통신연구원 | 동영상에서 상관 정합과 시스템 모델을 이용한 광류와카메라 움직임 산출 장치 |
JP4039858B2 (ja) * | 2002-01-09 | 2008-01-30 | 株式会社モノリス | 画像マッチング方法と装置、および画像符号化方法と装置 |
US6805506B2 (en) * | 2002-03-20 | 2004-10-19 | Lubartech Ltd. | Keyboard with multiple indicia sets |
JP3776094B2 (ja) * | 2002-05-09 | 2006-05-17 | 松下電器産業株式会社 | 監視装置、監視方法および監視用プログラム |
JP3902508B2 (ja) * | 2002-05-20 | 2007-04-11 | 任天堂株式会社 | ゲームシステムおよびゲームプログラム |
US8686939B2 (en) * | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
US7775883B2 (en) * | 2002-11-05 | 2010-08-17 | Disney Enterprises, Inc. | Video actuated interactive environment |
AU2002339684A1 (en) | 2002-11-05 | 2004-06-07 | Nokia Corporation | Mobile electronic three-dimensional compass |
JP4007899B2 (ja) * | 2002-11-07 | 2007-11-14 | オリンパス株式会社 | 運動検出装置 |
JP3553563B1 (ja) * | 2003-01-10 | 2004-08-11 | コナミ株式会社 | ゲームシステム、ゲーム装置、ゲーム方法、ならびに、プログラム |
JP4215540B2 (ja) * | 2003-03-07 | 2009-01-28 | 三洋電機株式会社 | 監視カメラ装置 |
US8745541B2 (en) * | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US7665041B2 (en) * | 2003-03-25 | 2010-02-16 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
US7333133B2 (en) * | 2003-03-31 | 2008-02-19 | Spatial Integrated Systems, Inc. | Recursive least squares approach to calculate motion parameters for a moving camera |
US7027037B2 (en) * | 2003-04-08 | 2006-04-11 | Intermec Ip Corp. | Conditionally illuminated keypad legends |
US7467356B2 (en) * | 2003-07-25 | 2008-12-16 | Three-B International Limited | Graphical user interface for 3d virtual display browser using virtual display windows |
IL157877A0 (en) * | 2003-09-11 | 2004-03-28 | Imagine It S Happening Ltd | Color edge based 3d scanner |
KR100995031B1 (ko) | 2003-10-01 | 2010-11-19 | 엘지전자 주식회사 | 다중입력 다중출력 시스템에 적용되는 신호 전송 제어 방법 |
EP1617628A4 (en) | 2003-10-16 | 2012-05-02 | Vodafone Plc | MOBILE COMMUNICATION TERMINAL AND APPLICATION PROGRAM |
JP3843119B2 (ja) * | 2003-10-17 | 2006-11-08 | 松下電器産業株式会社 | 移動体動き算出方法および装置、並びにナビゲーションシステム |
US7181251B2 (en) * | 2003-10-22 | 2007-02-20 | Nokia Corporation | Mobile communication terminal with multi orientation user interface |
CA2531524A1 (en) * | 2003-10-31 | 2005-05-12 | Iota Wireless Llc | Concurrent data entry for a portable device |
US7312819B2 (en) * | 2003-11-24 | 2007-12-25 | Microsoft Corporation | Robust camera motion analysis for home video |
KR100594971B1 (ko) * | 2004-01-09 | 2006-06-30 | 삼성전자주식회사 | 지자기 센서를 이용한 입력장치 및 이를 이용한 입력신호생성방법 |
JP5356650B2 (ja) * | 2004-01-15 | 2013-12-04 | テクニオン リサーチ アンド ディベロップメント ファウンデーション リミテッド | 三次元ビデオスキャナ |
US7755608B2 (en) * | 2004-01-23 | 2010-07-13 | Hewlett-Packard Development Company, L.P. | Systems and methods of interfacing with a machine |
DE202005022038U1 (de) * | 2004-04-30 | 2012-07-12 | Hillcrest Laboratories, Inc. | Freiraum-Zeigevorrichtungen mit Neigungskompensation und verbesserter Benutzbarkeit |
WO2005109847A2 (en) * | 2004-04-30 | 2005-11-17 | Hillcrest Laboratories, Inc. | Methods and devices for identifying users based on tremor |
JP2007535773A (ja) * | 2004-04-30 | 2007-12-06 | ヒルクレスト・ラボラトリーズ・インコーポレイテッド | 自由空間ポインティングデバイスおよびポインティング方法 |
US7259758B2 (en) * | 2004-06-21 | 2007-08-21 | Microsoft Corporation | System and method for reducing latency in display of computer-generated graphics |
JP2006031515A (ja) * | 2004-07-20 | 2006-02-02 | Vodafone Kk | 移動体通信端末、アプリケーションプログラム、画像表示制御装置及び画像表示制御方法 |
JP2006068027A (ja) * | 2004-08-31 | 2006-03-16 | Nintendo Co Ltd | ゲーム装置およびゲームプログラム |
US20060078162A1 (en) * | 2004-10-08 | 2006-04-13 | Dynapel, Systems, Inc. | System and method for stabilized single moving camera object tracking |
US7683883B2 (en) * | 2004-11-02 | 2010-03-23 | Pierre Touma | 3D mouse and game controller based on spherical coordinates system and system for use |
WO2006074290A2 (en) | 2005-01-07 | 2006-07-13 | Gesturetek, Inc. | Optical flow based tilt sensor |
US7598942B2 (en) * | 2005-02-08 | 2009-10-06 | Oblong Industries, Inc. | System and method for gesture based control system |
KR100679053B1 (ko) * | 2005-12-28 | 2007-02-05 | 삼성전자주식회사 | 틸팅 인터페이스에서 기울기의 변화를 이용하여 반복적신호 입력을 정지시키는 방법 및 장치 |
-
2006
- 2006-01-06 WO PCT/US2006/000295 patent/WO2006074290A2/en active Application Filing
- 2006-01-06 BR BRPI0606477-9A patent/BRPI0606477A2/pt not_active Application Discontinuation
- 2006-01-06 EP EP06717488A patent/EP1849123A2/en not_active Withdrawn
- 2006-01-06 JP JP2007550456A patent/JP5080273B2/ja active Active
- 2006-01-06 US US11/326,610 patent/US7379566B2/en active Active
- 2006-01-06 CN CNA2006800072516A patent/CN101137996A/zh active Pending
-
2007
- 2007-10-31 US US11/932,819 patent/US7848542B2/en active Active
-
2010
- 2010-12-06 US US12/961,050 patent/US8213686B2/en active Active
-
2012
- 2012-04-20 JP JP2012096580A patent/JP2012178854A/ja active Pending
- 2012-06-25 US US13/532,627 patent/US8983139B2/en active Active
-
2014
- 2014-07-03 JP JP2014137594A patent/JP5911919B2/ja active Active
Cited By (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102089738A (zh) * | 2008-06-11 | 2011-06-08 | 诺基亚公司 | 用于用户界面控制的相机姿态 |
CN102089738B (zh) * | 2008-06-11 | 2013-05-08 | 诺基亚公司 | 用于用户界面控制的相机姿态 |
CN103020616A (zh) * | 2012-11-30 | 2013-04-03 | 天津三星电子有限公司 | 一种手持设备空间位置的检测方法及其手持设备 |
CN103020616B (zh) * | 2012-11-30 | 2017-02-08 | 天津三星电子有限公司 | 一种手持设备空间位置的检测方法及其手持设备 |
CN104885433A (zh) * | 2013-01-04 | 2015-09-02 | 诺基亚技术有限公司 | 用于感应设备的挠曲的方法和装置 |
TWI550550B (zh) * | 2014-01-07 | 2016-09-21 | 國立交通大學 | 沙畫模擬系統及模擬方法 |
CN107924567A (zh) * | 2015-07-31 | 2018-04-17 | 深圳市大疆创新科技有限公司 | 构建光流场的系统和方法 |
CN109472824A (zh) * | 2017-09-07 | 2019-03-15 | 北京京东尚科信息技术有限公司 | 物品位置变化检测方法及装置、存储介质、电子设备 |
Also Published As
Publication number | Publication date |
---|---|
JP2012178854A (ja) | 2012-09-13 |
JP5080273B2 (ja) | 2012-11-21 |
JP5911919B2 (ja) | 2016-04-27 |
US8983139B2 (en) | 2015-03-17 |
BRPI0606477A2 (pt) | 2009-06-30 |
US20120268622A1 (en) | 2012-10-25 |
US20060177103A1 (en) | 2006-08-10 |
US7379566B2 (en) | 2008-05-27 |
JP2008527854A (ja) | 2008-07-24 |
JP2014241592A (ja) | 2014-12-25 |
US8213686B2 (en) | 2012-07-03 |
EP1849123A2 (en) | 2007-10-31 |
US20080137913A1 (en) | 2008-06-12 |
WO2006074290A2 (en) | 2006-07-13 |
US7848542B2 (en) | 2010-12-07 |
US20110074974A1 (en) | 2011-03-31 |
WO2006074290A3 (en) | 2007-05-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101137996A (zh) | 基于光流的倾斜传感器 | |
CN108615248B (zh) | 相机姿态追踪过程的重定位方法、装置、设备及存储介质 | |
CN108734736B (zh) | 相机姿态追踪方法、装置、设备及存储介质 | |
US8081822B1 (en) | System and method for sensing a feature of an object in an interactive video display | |
US8055073B1 (en) | System and method for enabling meaningful interaction with video based characters and objects | |
CN111353355B (zh) | 动作追踪系统及方法 | |
Davis et al. | Real-time motion template gradients using Intel CVLib | |
CN103003843B (zh) | 用于跟踪具有动态变化部分的目标的数据集创建 | |
CN111444748B (zh) | 一种坐姿检测方法、装置、设备及存储介质 | |
CN106471440A (zh) | 基于高效森林感测的眼睛跟踪 | |
Romero et al. | FlowCap: 2D human pose from optical flow | |
CN110716641B (zh) | 交互方法、装置、设备以及存储介质 | |
Kwon et al. | An enhanced multi-view human action recognition system for virtual training simulator | |
CN115083016A (zh) | 一种基于单目摄像机的面向小目标手部隔空交互方法与装置 | |
CN105719315B (zh) | 用于在移动终端中跟踪视频图像中的物体的方法 | |
Gnanasekera | Computer vision based hand movement capturing system | |
CN111068333B (zh) | 基于视频的载具异常状态检测方法、装置、设备及介质 | |
CN112767453B (zh) | 人脸跟踪方法、装置、电子设备及存储介质 | |
Ercan | A 3D Topological tracking system for augmented reality | |
Chin et al. | Mobile phone-based mixed reality: the Snap2Play game | |
Kerdvibulvech | Markerless vision-based tracking for interactive augmented reality game | |
Mondal | Multi camera soccer player tracking | |
RU2007129933A (ru) | Датчик наклона на основе оптического потока | |
Mäkelä et al. | A general-purpose vision system for diverse robots | |
Lim | Dynamic motion and appearance modeling for robust visual tracking |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C02 | Deemed withdrawal of patent application after publication (patent law 2001) | ||
WD01 | Invention patent application deemed withdrawn after publication |
Open date: 20080305 |