CN1573660A - 头部姿势估算方法和系统 - Google Patents

头部姿势估算方法和系统 Download PDF

Info

Publication number
CN1573660A
CN1573660A CNA2004100474644A CN200410047464A CN1573660A CN 1573660 A CN1573660 A CN 1573660A CN A2004100474644 A CNA2004100474644 A CN A2004100474644A CN 200410047464 A CN200410047464 A CN 200410047464A CN 1573660 A CN1573660 A CN 1573660A
Authority
CN
China
Prior art keywords
image
head pose
user
face
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2004100474644A
Other languages
English (en)
Other versions
CN100405261C (zh
Inventor
Y·胡
L·张
M·李
H·-J·张
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Corp filed Critical Microsoft Corp
Publication of CN1573660A publication Critical patent/CN1573660A/zh
Application granted granted Critical
Publication of CN100405261C publication Critical patent/CN100405261C/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/757—Matching configurations of points or features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Evolutionary Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Position Input By Displaying (AREA)
  • Collating Specific Patterns (AREA)

Abstract

提供有效估算用户脸部和头部姿势的改进，使得计算机或类似的设备可跟踪用户对显示设备的关注。随后用户所转向的显示器或图形用户界面的区域会被自动选择，而不需要用户提供更多的输入。应用正面脸部检测器来检测用户的正面脸部，且随后由部位检测器检测关键面部点，诸如左/右眼中心、左/右嘴角、鼻尖等。系统然后由图像跟踪器跟踪用户的头部，并按照关键面部点和/或姿势估计器的置信度输出，通过粗略到精细的过程来确定用户头部姿势的偏转、倾斜和滚动的角度和其它姿势信息。

Description

头部姿势估算方法和系统
技术领域
本发明涉及计算机和软件，并且更具体地，涉及用于估算用户头部的位置并根据这种估算影响可应用的计算机操作的方法和系统。
背景技术
计算机和其它类似的设备几乎在每个行业和环境中都是无价的工具。这些设备和装置以各种各样不同的形式出现，并可将它们设计为通用或专用工具。大多数这些设备的共同点是与用户接口的需求。典型通用计算机可包括，例如，显示装置和至少一个输入装置。显示装置，例如基于CRT的监视器、平板显示器等，用于与用户可视地交流信息。这种交流常常是，例如，使用图形用户界面(GUI)软件程序等完成的。一般地，用户通过向计算机提供用户输入与一或多个关联于GUI的计算机程序连接，以由程序和/或GUI识别的某些方式并引起计算机操作/数据中的某些改变。例如，用户可以物理方式移动定位设备，诸如鼠标，它配置成向计算机逻辑发送信号，使得在GUI内图形指针相应移动。有了这样的用户输入设备，用户就可通过移动图形指针到显示的GUI内的特定区域并向计算机硬件输入选择信号，例如，通过触发配备在鼠标上的按钮等等，来选择某些程序/GUI特征。这样的操作是普通的并易于理解。
随着计算能力的持续增长，许多操作系统、程序、GUI等能够支持/执行多个任务。这对具有足够大的显示设备来呈现多个不同程序GUI的计算机特别有用。例如，用户可配置计算机在一个或多个显示设备中同时显示字处理应用和电子表格应用。当有多个任务显示时，还需要识别用户当前正在交互的GUI和相应程序/应用的计算机逻辑。这样，在上述例子中，为切换计算机逻辑的焦点到应用之一，用户一般“点击”或者选择GUI区域之一。这将使计算机逻辑(例如操作系统)认出随后的用户输入将关联于所选择的程序。因此，当上例中的用户要从字处理应用切换到电子表格应用时，用户可将图形指针指向关联于电子表格应用的GUI的一部分并点击鼠标按钮。
在其它示例性装置中，用户可通过输入一个或多个键盘敲击在GUI内不同的潜在可选择区域之间切换焦点。这种键盘技术可能在GUI内有较大量的可选择区域时变得不那么有效，并要求用户重复几次输入序列直到所期望的可选择区域自动地在焦点上。
虽然使用鼠标或其它类似的用户定位设备的技术可证实对用户在几个可选择区域间选择更容易，但当显示设备呈现大GUI界面时它们仍会变得难以承担。在这种装置中，可能要求用户移动鼠标越过大范围，并可能要求拿起鼠标并再放回到桌面/表面上它已移过的不同位置，来完成GUI内所期望的图形指针移动。触摸板定位设备也要求类似的动作。作为进一步的例子，可能要求用户旋转轨迹球等等定位设备一段延长的时间段，来移动屏幕上的光标到所期望的可选择区域。
因此，这些不同的技术和其它类似它们的技术，在某种程度上趋向阻碍或者降低多任务用户界面环境的效率。继而，需要新的和/或改进的方法、装置和系统来对计算机或其它类似设备提供用户输入。
概述
提供了有效估算用户脸部和头部姿势的方法、装置和系统，使得计算机或类似设备能够根据估计的头部姿势跟踪用户的关注区域。随后，用户正看着的显示器或图形用户界面的区域可被自动选择，而不需要用户提供任何更多的输入。
例如，在某些实现中，应用正面脸部检测器来检测用户的正面脸部，且随后由部位检测器检测关键面部点，诸如左/右眼中心、左/右嘴角、鼻尖等。随后系统由估计器，诸如迭代SSD(差的平方和)跟踪器，在时间上接着发生的帧/图像中跟踪用户的头部。最后的偏转和倾斜角度结果，例如，随后提供用于给选择适当的应用/文档的鼠标接口等。还可建立阈值和可编程的延迟以更好地控制各种打开的应用/文档的选择。
作为进一步的例子，由与计算设备一起使用的方法满足上述需求及其它。该方法包括确定计算设备的用户在第一时间的第一头部姿势和至少在第一时间之后的第二时间用户的第二头部姿势。例如，可使用不同的图像帧。方法随后包括自动可操作地在计算设备的至少一个显示设备上的至少两个可选择区域之间根据第一头部姿势与至少第二头部姿势之间的至少一个差异切换。在这种方式中，例如，当用户把他/她的头转动(旋转和/或倾斜)以观察计算机显示器的不同可选择区域时，计算设备将认出它并将用户输入焦点等切换至所观察的区域。
在某些实现中，确定第一头部姿势还包括，在第一时间，生成显示至少用户脸部第一部分的第一图像、检测第一图像内脸部的至少第一部分、以及检测脸部的被检测的第一部分内的至少两个不同点并存储关联于每个不同点的跟踪信息。同样地，确定第二头部姿势还包括，在第二时间，生成显示至少用户脸部第二部分的第二图像、检测第二图像内脸部的至少第二部分、以及检测脸部的被检测的第二部分内的至少同样的两个不同点并存储关联于每个不同点的跟踪信息。
在某些更多的示例性实现中，方法还包括至少比较第一跟踪信息和第二跟踪信息来确定关联于用户的估算的显示设备视图是否在第一时间到第二时间之间改变。如果关联于用户的估算的显示设备视图在第一时间和第二时间之间改变，那么方法包括可选择可操作地将在显示设备上呈现的用户输入界面焦点切换到关联于估算的显示设备视图的可选择区域。
方法还可包括根据至少一个分类参数来分类关联于第一图像的图像数据的多个部分的每一个部分，以确定至少一个关联于脸部的第一部分的面部区域，并且在第二图像的相应部分中，图像补片跟踪关联于脸部的第一部分的面部区域，以识别至少一个被检测的脸部区。例如，图像补片跟踪可使用差的平方和(sum-of-square difference)(SSD)图像补片跟踪器，以识别被检测的脸部区。图像补片跟踪还可将所得到的被检测的脸部区的至少一部分与至少一个告警阈参数比较，以确定是否要求相关联的系统初始化过程。
在某些实现中，方法还包括在被检测的脸部区内检测至少一个关键面部部位，并且根据被检测的关系面部部位确定精细的用户头部姿势。
方法还包括，根据与在被检测的脸部区内检测不同的关键面部部位相关联的置信度信息，确定粗略的用户头部姿势，以及根据被检测的关键面部部位和置信度信息确定精细的用户头部姿势。
在某些实现中，确定精细的用户头部姿势还包括使用至少一个估计器技术，诸如例如，椭圆估计器技术和/或迭代估计器技术。
附图说明
可通过在结合附图时参考下面详细的描述，获得本发明的各种方法和装置的更完整的理解，其中：
图1是方框图，示出示例性计算机系统。
图2是方框图，示出一个系统，用于按照本发明的某些示例性实现估算人的头部姿势。
图3(a-d)是说明图，示出三维用户头部的某些示例性面部特征以及按照本发明的某些方面，在这些面部特征之间的几何形状如何对于观测器与在脸部的两维图像内显得不同。
图4是另一个方框图，示出具有姿势估计逻辑的系统，它配置为按照本发明的某些示例性实现，估算人的头部姿势。
图5是方框图，示出按照本发明的某些另外的实现中，在示例性姿势估计逻辑以及也在例如图4中的某个用户界面功能/逻辑内的某些功能。
图6是流程图，示出按照本发明的某些示例性实现的姿势估计过程。
详细说明
示例性计算环境
图1示出了适当的计算环境120的例子，在其中后面所描述的方法和安排可以实现。
示例性计算环境120只是适当的计算环境的一个例子，并不意在对这里所描述的改进的方法和安排的使用或功能范围提示任何限制。计算环境120不应解释为具有关于计算环境120中所示的部件的任何一个或者组合的依赖或需求。
这里改进的方法和安排可操作于大量其它通用或专用计算系统环境或配置。
如图1所示，计算环境120包括计算机130形式的通用计算设备。计算机130的部件可包括一个或多个处理器或处理单元132、系统存储器134以及持包括系统存储器134的各种系统部件连接到处理器132的总线136。
总线136代表任何几种类型总线结构的一个或多个，包括存储器总线或存储器控制器、外设总线、加速图形端口及使用任何各种总线结构的处理器或本地总线。作为例子，而非限制，这样的结构可包括工业标准结构(ISA)总线、微通道结构(MCA)总线、扩展工业标准结构(EISA)总线、视频标准协会(VESA)局部总线和，外设部件互连(PCI)总线，它也被称为夹层(Mezzanine)总线。
计算机130一般包括多种多样的计算机可读介质。这样的介质可以是任何可由计算机130存取的可用介质，并且它包括易失性和非易失性介质、可移动和不可移动介质。
在图1中，系统存储器134包括易失性存储器形式的计算机可读介质，诸如随机存取存储器(RAM)140，和/或非易失性存储器，诸如只读存储器(ROM)138。基本输入/输出系统(BIOS)142，包含帮助计算机130内部件之间诸如在起动期间，传送信息的基本例程，它一般被存储在ROM138中。RAM140一般包含由处理单元132可直接存取和/或目前操作的数据和/或程序模块。
计算机130还可包括其它可移动的/不可移动的、易失性/非易失性计算机存储介质。例如，图1示出读写不可移动的、非易失性的磁介质(未示出且一般称为“硬驱”)的硬盘驱动器144，读写可移动的、非易失性的磁盘148(例如，“软盘”)的磁盘驱动器146，和读写可移动的、非易失性的光盘152诸如CD-ROM、CD-R、CD-RW、DVD-ROM、DVD-RAM或其它光介质的光盘驱动器150。硬盘驱动器144、磁盘驱动器146和光盘驱动器150都各自通过一个或多个接口154连接至总线136。
驱动器及所关联的计算机可读介质提供计算机130的计算机可读指令、数据结构和其它数据的非易失性存储。尽管这里所述的示例性环境使用了硬盘、可移动磁盘148和可移动光盘152，那些本领域熟练技术人员应该意识到可存储由计算机存取的数据的计算机可读介质的其它类型，诸如磁带盒、闪存卡、数字视频盘、随机存取存储器(RAM)、只读存储器(ROM)等等，也可用于该示例性操作环境。
许多程序模块可存储在硬盘、磁盘148、光盘152、ROM138或RAM140，包括，例如，操作系统158、一或多个应用程序160、其它程序模块162和程序数据164。
这里所述的改进方法和安排可实现于操作系统158、一个或多个应用程序160、其它程序模块162和/或程序数据164中。
用户可通过输入设备，诸如键盘166和定点设备168(诸如“鼠标”)，将命令和信息提供入计算机130中。其它输入设备(未示出)可包括话筒、操纵杆、游戏垫、卫星天线、串口、扫描仪、摄像机等等。这些和其它输入设备通过连接到总线136的用户输入接口170连接至处理单元132，但是也可以通过其它接口和总线结构连接，诸如并行端口、游戏端口或通用串行总线(USB)。
显示器172或其它类型的显示设备也通过一个接口诸如视频接口174连接至总线136。除显示器172之外，个人计算机一般包括其它外部输出设备(未示出)，诸如扬声器和打印机，它们可通过输出外部接口175连接。
计算机130可在一个使用逻辑连接至一或多个远程计算机诸如远程计算机182的网络化环境中运行。远程计算机182可以包括这里相对于计算机130所述的元件和部件的许多或全部。
图1所示的逻辑连接是一局域网(LAN)177和一通用的广域网(WAN)179。这样的网络环境是办公室的公用装置、企业内部计算机网、内联网和因特网。
当在LAN网络环境中使用时，计算机130通过网络接口或适配器186连接至LAN177。当在WAN网络环境中使用时，计算机130一般包括调制解调器178或用于建立在WAN179上的通信的其它工具。调制解调器178，可以是内置的或外置的，可通过用户输入接口170或其它适当的机制连接至系统总线136。
示于图1的，是通过因特网的WAN的特殊实现。这里，计算机130使用调制解调器178来通过因特网与至少一台远程计算机182建立通信。
在网络化环境中，相对计算机130或其某些部分所述的程度模块可存储在一远程存储装置中。于是，如图1所示，远程应用程序189可驻留在一远程计算机182的存储装置中。应理解所示和所述之网络连接是示例性的，也可使用在这些计算机之间建立通信链路的其它装置。
姿势估算逻辑
在此使用的术语“逻辑(logic)”指的是表示一种或多种形式的逻辑和/或其它类型的电路系统，它们可配置成执行关联于在此所述和/或所示的各种示例性方法、装置和系统的某些功能。这样的逻辑可包括硬件、固件、软件和/或它们的任何组合。逻辑也可采用存储、传输或者通过至少一种形式的计算机可读介质提供的、计算机可实施指令的形式。
记住这个，将注意力转到图2，这是一个方框图，示出按照本发明的某些示例性实例的、用于估算人的(例如用户的)头部姿势的系统200。系统200包括计算机130和显示设备172。还包括的至少一个照相机216和到计算机130的可应用操作接口，如由线218表示的。照相机216和接口218配置为提供图像数据至逻辑220，逻辑220至少部分地配置在计算机130内。照相机216可以是一个静止图像照相机，配置为在特定的时间拍摄单独的图像，和/或可以是一个摄象机，拍摄一连串图像帧/图像。照相机216可以是彩色或单色的。所得到的图像数据或至少其一部分最终以某些数字格式可用于逻辑220。那些在本领域熟练技术人员将认识到，在照相机216、接口218、计算机130和/或逻辑220内，可以提供各种安排，以在需要时适当地传送、处理、转换和存储图像数据。
在表示一个或多个显示设备的显示设备172内，有一个显示区202，它具有多个示例性可选择区域204、206和208。这些可选择区域表示为不同的应用、文档、图画、特征、控制、框等显示的GUI等等。还在显示区202内示出用户输入控制的光标或指针210。这时，例如指针210是在可选择区域206内。
在系统200中，逻辑220配置为根据来自照相机216的图像数据检测用户的脸部，并且确定用户的脸部朝着显示区202内的什么地方以及由此估计在由照相机216拍摄图像时用户可能正在看的是哪一个可选择区域。逻辑220在本例中配置成处理图像数据足够快，因此对于所有实际目的，所得到的估计的头部姿势是接近实时的。如此，逻辑220实际上能够紧跟住用户的头部位置并且确定当时用户正在查看某特定的可选择区域。逻辑220然后可以使计算机130内的其它逻辑，例如用户界面逻辑，选择该特殊的可选择区域，使得后面的用户输入/命令可操作地与正确的基本程序或应用相关联。
因而，例如用基于所估计的用户头部姿势的逻辑220，最接近用户的可能关注区的可选择区域自动地激活，使得指针220和焦点返回在GUI的那个部分最后失去焦点时的原来/先前的位置。也就是说，当用户转动他/她的头部以查看例如词处理文档时，自动地选择/激活词处理文档，并且指针/焦点恢复到最后的编辑点。因为这是自动发生的，所以不要求用户提供任何其它输入至计算机130以引起这个切换动作。
在某些实施例中，逻辑220还配置成，在进行各种可选择区域之间的这种焦点切换之前，等待某个时间量。例如，可引入可编程的延迟以帮助考虑用户快速地或以某些其它方式移动他/她的头部而不批准切换焦点。
在某些实施例中，逻辑220还配置为针对一个或多个参数或阈值/级别测试所估计的头部运动或移动的数量，使得最小用户头部移动和/或处理误差不引起非有意的/非批准的焦点切换。
那些本领域熟练技术人员还将从图2认识到，系统200可配置为使用来自多个镜头/照相机的图像数据以提供改进的脸部检测和/或跟踪。
现在将注意力转到图3(a-d)，它们例示性地示出三维用户的头部的某些示例性面部特征，以及按照本发明的某些方面，在这些示例性面部特征之间的几何形状如何对于观测器(照相机视野)以及在来自那里的脸部的两维图像中显得不同，
图3(a)示出用户头部的脸部部分300。脸部部分300包括两个眼睛，即左眼302A和右眼302B。这里，例如，右眼302B被例示为具有中心304、左角306和右角308。还有两条眉毛，即左眉毛310A和右眉毛310B。这里，例如，右眉毛310B被例示为具有左角312和右角314。脸部部分300还包括具有鼻尖318的鼻316，以及具有左角322和右角324的嘴320。
根据至少这些示例性面部特征和要点的一部分，逻辑220配置为在图像内识别用户的脸部并且根据在两个或多个时间相关的图像中检测到的移动来估计用户的头部姿势。估计也可考虑当前帧内的信息。
图3(b)示出几个不同的可出现在一系列图像中的头部姿势300A-H和300J。这里假设，在头部姿势300A中用户基本上直接看着取景器/照相机，以及在本说明中作为参考这个初始位置是在x，y平面的中心。如果用户将他/她的头部转向他/她的左边(例如，正x轴方向)，那么所得到的图像是头部姿势300B。相反地，如果用户将他/她的头部转向右边(例如，负x轴方向)，那么所得到的头部姿势将是300C。注意，在头部姿势300A、B和C中，用户的头部运动还只包括沿y轴的头部转动。
在头部姿势300D、E和F中，用户的头部是面向前面(D)和转到左边和右边(分别E和F)，同时还向上方倾斜(例如在正y轴方向)。同样，头部姿势300G、H和J，示出用户的头部分别是正面的、转到左边和转到右边的，同时还向下倾斜(例如，在负y轴方向)。
从这些简化的示例性头部姿势300A-H和J，将注意到，在某些可检测的面部特征之间的投影几何形状取决于用户的头部的转动和/或倾斜而改变。因而，例如，逻辑220可以配置为识别两个或多个面部特征以及监视这些面部特征在位置上相对于彼此的改变。
作为例子，在图3(c)中示出，可以将不同的面部特征或要点结合起来建立几何图案，它将在用户的头部以转动和/或倾斜移动时改变，如在图3(b)中所示。在图3(c)的第一头部姿势300A中，在用户的鼻尖和用户的嘴的左和右角之间形成一个示例性三角形326。在图3(c)的第二个头部姿势300A中，在用户的鼻尖和用户的左和右眼的中心之间形成一个示例性三角形328。在图3(c)的第三个头部姿势300A中，在用户的右眼左角、用户的左眼的右角和用户的嘴的左角之间形成一个示例性三角形330。还有一些例子。
如在图3(d)所示，头部姿势300K例示可使用单个点，头部姿势300L例示可使用两个点，头部姿势300M例示可使用三个点，以及头部姿势300N例示可使用四个点。因而，可使用一个或多个点。
接着将注意力转到图4，它进一步例示系统400，其中照相机216包括通过帧拍摄功能402可操作地连接到逻辑220的摄象机。帧拍摄技术是众所周知的。在逻辑220内，有一个姿势估计逻辑404，它接收或访问由帧拍摄功能402输出的图像数据。这里，在本例中，姿势估计逻辑404还可操作地连接至用户界面逻辑406。姿势估计逻辑404配置为估算用户的头部姿势，例如使用如上所述的多个面部点，以及将信息输出至用户界面逻辑406，它相应于根据用户的当前头部姿势所估计的用户关注区。
在图5的系统500中示出姿势估计逻辑404的更详细的示例性实现。这里，姿势估计逻辑包括脸部检测器502，它识别在所拍摄图像中的脸部区域。将来自脸部检测器502的输出提供给跟踪器，诸如例如，差的平方和(SSD)跟踪器504等。SDD跟踪器504输出至少一个被检测区，然后将它提供给一个或多个部位检测器506，它们检测和输出面部点，连同置信度(如可适用性)的某种量度。在本例中，将置信度信息提供给至少一个置信度姿势估计器510，它配置为通过将置信度输出映射到相应的粗略的信息，例如通过双线性提取(bilinear extraction)或某些其它技术，来产生粗略的姿势位置。将粗略的姿势信息连同被检测的关键面部点提供给综合的姿势估计器512，它接着将所估计的头部姿势信息输出至用户界面逻辑406。这里，例如，综合的姿势估计器512包括椭圆估计器512A和累接的估计器512B，并且输出估计的头部姿势信息，它可由用户界面逻辑406内的定点设备控制器514使用。
常规的脸部检测技术可在脸部检测器502中实现，以找出在图像内可能是脸部的区域。在某些示例性实现中，脸部检测器502包括常规的AdaBoost分类器技术，如在P.Viola和M.Jones的“Robust Real-time Object Detection(强化的实时对象检测)”(Cambridge Research Laboratory Techinical ReportSeries(剑桥研究实验室技术报告汇编)，2001年2月)中所述的，和AdaBoost技术，如例如在2002年8月1日公布的美国专利申请No.20020102024 A1中所述的。
可以训练这些和其它类型的分类器，例如，使用各种脸部和非脸部取样的图像样本。例如，这可发生在离线机器学习期间。脸部检测器502然后被用于在初始化图像帧/图像中定位脸部区域，通过扫描所有可能的脸部区域并且判断它是否是脸部。除脸部的位置和大小之外，脸部检测器502也可输出用于脸部的粗略姿势估计的信息，例如，有时称为脸部信道(face channel)。当脸部信道是正面的，可以初始化SSD跟踪器504，如下所述。
在这些示例性实现中，SSD跟踪器504是图像补片(patch)跟踪器，它基于最小化所跟踪的补片(例如脸部区域)的先前存储的图像与其当前图像之间差的平方和。图像补片(例如模板图像)被反复地更新，以克服例如由姿势和照明引起的脸部区域的外观变化。SSD跟踪器504可以设置为，例如，跟踪用户脸部上的鼻-嘴区域，以便提供可定位面部关键点的大致范围。这里，可以仔细地选择所跟踪的区域大小以平衡系统500的可靠性、稳定性和速度。
SDD跟踪技术是众所周知的。例如，参考在IEEE CVPR Proceedings(会议录)403-410页发表的标题为“Real-Time Tracking of Image Regions withChanges in Geometry and Illumination(实时跟踪具有几何形状和照明变化的图像区域)”，作者是G.D.Hager和P.N.Belhumeur。
按照本发明的某些其它方面，当SSD跟踪器504找到符合或超过至少一个可编程的或者规定的告警阈(alter threshold)(例如，表示可能的跟踪误差)，然后它通知其它逻辑触发新的初始化过程。
那些在本领域熟练技术人员将认识到，可以代替或者在示例性SSD跟踪器504之外使用其它跟踪器技术。
部位检测器506在本例中是一组检测器，配置为在脸部区域内定位所选择的面部关键点，诸如例如，左/右眼中心，鼻尖和左/右嘴角。在某些实现中，部位检测器506与脸部检测器502的设计相似。不过，可以配置每个部位检测器输出有关面部关键点的结果位置的置信度信息，接着在置信度姿势估计器508中使用这些信息。在图5中的示例性实现中，部位检测器506包括眼检测器506A，配置为检测特定的与眼有关的特征，鼻检测器506B，配置为检测特定的与鼻有关的特征，和/或嘴检测器506C，配置为检测特定的与嘴有关的特征。可也在部位检测器504内提供其它特征检测器506Z，例如，可提供眉毛检测器。
置信度姿势估计器510根据部位检测置信度输出，关联和确定粗略的姿势定位。例如，左/右眼中心、鼻尖和左/右嘴角的置信度输出关联于如在图3(a-d)中例示的用户的头部姿势。每个置信度输出遵循特定的函数。当用户的脸部在正面(例如，300A)时，左和右眼角的置信度基本相等。不过，当用户的头部转到左边或右边时，那么左和右眼角的置信度不同，并且其差异是由偏转角(yawangle)确定的。当用户的头部向上或向下倾斜时，那么鼻的置信度也不同于其基本值。
因此，根据关键面部点的置信度输出序列，置信度姿势估计器可以动态地选择某些点用于姿势估计。因而，通过比较在帧中不同关键面部点和在不同帧中相同关键面部点的置信度输出，置信度姿势估计器510产生头部姿势的粗略的估计。在某些实现中，至少有一个置信度姿势估计器用于偏转角并且至少有一个置信度姿势估计器用于倾斜角。认识到存在某些系统，它们只需要或者考虑偏转角变化，或者考虑倾斜角变化。
在某些实验性实施例中，置信度姿势估计器510的准确性大约是15度。象这样，在某些系统中，这个粗略的头部姿势估计对直接传递给用户界面逻辑406可能是足够准确的。例如，在具有三个监视器的系统中，其中每个监视器具有不同的可选择区域，这个粗略的估计可能足以允许在它们之间自动切换。如果存在所估计的头部姿势要更精确的需求，那么使用综合的姿势估计器512。当然，综合的姿势估计器512将有可能要求比置信度姿势估计器510更多的计算时间/资源。
在一个示例性策略中，不使用综合的姿势估计器512，直到用户的头部显得已经停在在一个位置某个时间段(例如n数量的2帧)。当使用时，运行综合的姿势估计器512一段时间和/或直到所选择的部位检测器506已经收敛。
在又一些其它示例性实施例中，置信度姿势估计器可以与综合的姿势估计器512结合。
在示例性综合的姿势估计器512中，结合不同方法用于更精确的姿势估计。这里，例如，椭圆姿势估计器512A可以配置为用某个数量的关键面部点(例如三个或多个)进行工作并且将它们适配在一个椭圆中。按照主轴和次轴的长度比，导出在名义脸部平面与名义照相机平面之间的二面角。按照次轴的方向，然后可以确定脸部平面的正常方向。
对于有关椭圆姿势估计技术的更多信息，读者参考T.Huang等人于1995年在IEEE Transactions on Pattern Analysis and Machine Intelligence(关于图案分析和机器智能的IEEE学报)发表的标题为“Uniqueness of 3D PoseUnder Weak Perspective：A Geometrical Proof(在弱配置下的3D姿势的唯一性：几何证明)”的文章。
迭代的姿势估计器512B在本例中配置为与几个关键面部点(例如二个或多个)一起工作和迭代地优化某些姿势参数，所述参数诸如偏转角、倾斜角和/或比例，目标是使在相应的关键面部点的真实配置的投影和估计的配置之间距离最小化。
椭圆估计器512A和迭代的估计器512B可以配置为考虑关键面部点检测误差以及尝试使输出的头部姿势稳定化。因而，例如，综合的姿势估计器512可能使用滤波和平滑技术。
定点设备控制器514实质上是存储/恢复在所有关注区中的用户的工作状态的接口逻辑，所述关注区可称为视图。工作状态可包括，例如，激活的可选择区域，指针位置，插入光标等。在使用相当大的显示器的系统中，视图可在屏幕上呈现某些区，然而在具有多个监视器的系统中，视图可相应于单个监视器。
当用户改变他/她的头部姿势以聚焦在显示屏幕上的其它区时，姿势估计逻辑404通知定点设备控制器514关于新的姿势。然后定点设备控制器514存储在当前关注区中的工作状态，并且恢复关注的关注区的工作状态，例如，激活原来的文档，将指针放回它以前的位置并且如果窗口有插入光标则显示它。
示例性姿势估计逻辑404已经设计成兼容于大显示器或者多个监视器系统。还使用户能够通过设置视图的数量来定制多少关注区。
现在将注意力转到图6，这是一个示出方法600的流程图，还例示和描述在此提供的改进的技术。
在过程602，拍摄图像。这可包括单个图像或者多个图像(例如，用于立体图像系统等)。图像可以是已经拍摄的视频数据的帧。接着在过程604中，分析或处理来自过程602的图像以检测在其中的脸部。在过程606中，确定是否检测到至少一个脸部的正面部分，如果是那么方法继续过程608。如果，经过程606，没有检测到正面脸部，那么方法返回至过程602并且拍摄新的图像。
在过程608中，实施初始化过程，其中，例如，关键面部点诸如左/右眼中心、左/右嘴角和鼻尖是由至少两个部位检测器检测的，以及存储点位置配置和关键面部点的基本置信度用于将来的姿势估计。一般地，这样的部位检测器运行得足够快，因此初始化过程在少于一秒内发生。在过程610中，如果成功地完成初始化，那么方法继续过程612，如果否，那么方法返回至过程608并且再次执行初始化过程。尽管在图6中未示出，但如果初始化在某个数量的重复的/更详细的尝试后不能成功，那么方法可返回过程602。
在过程612中，在成功初始化后，跟踪所选择的脸部区域，例如，使用SSD跟踪器等等。这里，例如，系统可以配置为使用迭代的SSD跟踪器在每帧中跟踪用户的头部。在某些实现中，例如，所跟踪的区域包括鼻和嘴角。其它关键面部点可以按照所跟踪的关键面部点确定。所有这些部位检测器输出与用户的头部姿势有关的置信度。
在过程614中，确定所跟踪的脸部区域是否符合适用的告警阈)，如果是，那么方法继续至过程616并且如果否则方法返回至过程604。
在过程616中，检测关键面部点。这里，例如在所跟踪的区域内的某些关键面部点是由相应的部位检测器例如鼻尖和嘴角来检测和改进的。其它关键面部点可以按照所跟踪的关键面部点和来自先前帧的姿势信息来确定。所有这些部位检测器输出与用户的头部姿势有关的置信度。根据动态关键面部点选择策略和置信度输出组合，置信度姿势估计器将产生用户的头部姿势的粗略估计。在过程618中，确定在过程616中的检测是否成功。如果是，那么方法继续至过程620，否则方法继续过程628。
在过程620中，为用户的头部姿势产生更精细的估计。因而，例如，当用户的头部停止移动，因此他/她能聚焦在显示屏幕上的某个位置，并且成功地检测关键面部点和优化到高置信度级别的时候，将关键面部点位置送到综合的姿势估计器以改进姿势估计结果。例如，最终的偏转和倾斜角结果是通过将前述两个姿势估计器的输出结合起来提供的。
在过程622中，确定自从上次确定后是否已经改变用户的关注/焦点区域。如果已经有改变，那么方法继续至过程624，否则方法继续过程628。
在过程624中，存储用于即将离开的可选择区域的当前视图的运行状态。在过程626中，在即将进入的可选择区域中恢复先前或原来的运行状态。这在估计用户的估计的头部姿势何时表示他/她正看着不同的可选择区域时，完成预测的自动焦点切换。
过程622，例如，也可在允许焦点切换发生之前，引进编程的或者规定的延迟机制。在用户的动作与界面反应之间延迟的一个理由是，在某些实施例中，延迟允许逻辑过滤姿势输出和基本上更好地稳定它们。这里，例如，本方法使用在前帧的姿势和当前帧的姿势输出的线性组合。不过，在时间上接近的帧将更重要，因此可认为它们更重要或者逻辑上不同地对它们加权。这倾向于产生更光滑的姿势输出曲线而不管检测噪声如何。另一个引入延迟的理由是，如较早提到的，在某些环境中用户可能只是快速地转动他/她的头部至另一个视图并且然后返回到先前的视图。有时，例如，用户可能看着另一个可选择区域并且继续在当前所选择的区域中输入。为帮助作出焦点切换决定，逻辑220也可配置为在当前的活动区域中监视用户输入，并且如果在一段时间内没有作出更多的输入时，决定用户准备切换焦点至新的视图。
认识到在某些实施例中，脸部检测器可检测图像内多于一个脸部。因此，逻辑220也可配置为在所检测的脸部之间选择。例如，在许多情况下，被检测的、大小是最大的脸部，将有可能是设备的用户，因为用户一般最靠近显示屏幕和可能最靠近照相机布置。在某些实现中，可增加面部识别能力以进一步区别不同的被检测的脸部。
那些在本领域熟练技术人员将认识到，如果照相机、显示设备和用户各自按照默认的系统布局定位，那么系统标度过程可能不需要。如果不是这种情况，那么可能需要在系统初始化期间为布局标度。
如在此所述的并在附图中所示的，按照本发明的某些示例性的方面，已经示出基于脸部/部位检测器置信度输出的示例性姿势估计过程。示例性叠代的姿势估计器可以基于一个对象的关键点。系统可包括粗略至精细的姿势估计，例如，其中为大约每帧估计粗略的姿势，并且在被检测的用户的脸部停止移动一段足够长的时间后可以改进它。示例性用户场景可包括，例如，其中用户与大尺寸的显示器、单个显示器、多个显示器和/或多个用户关注区一起工作的系统。在各关注区之间的自动切换基于用户的当前姿势和相应的视图的估计。
在示例性跟踪方法中，描述了SSD跟踪器。不过，存在也可使用的其它常规的跟踪方法。用示例性SSD跟踪器，发现选择一个包括用户的嘴和鼻尖的区域可提供合适的结构。无疑也可以使用其它区域，只要系统符合适合的准确性和/或有效性要求。
按照本发明的某些方面，由姿势估计器使用的关键点的数量可以变化。例如，某些基于检测置信度的粗略姿势估计器能够根据单个关键点确定脸部的粗略姿势。所得到的粗略的头部姿势包括至少一个头部姿势参数，诸如例如，偏转角，倾斜角，滚动角，x平移，y平移，比例因数等等。示例性椭圆姿势估计器和叠代的姿势估计器使用至少三个关键点来产生精细的姿势估计。一般地，可用于这种估计器的关键点越多，所得到的估计的精度就越高。
结论
尽管已经以专用于结构特征和/或方法过程的语言描述了本发明，但要理解，在所附的权利要求书中定义的本发明不必限制于所述的特定特征或步骤。

Claims (56)

1.一种与计算设备配合使用的方法，包括：
确定计算设备的用户在第一时间的第一头部姿势；
确定所述用户在所述第一时间之后的第二时间的至少一个第二头部姿势；以及
根据所述第一头部姿势与至少所述第二头部姿势之间的至少一个差异，自动地可操作地在计算设备的至少一个显示设备的至少两个可选择区域之间切换。
2.如权利要求1所述的方法，其特征在于：
确定所述第一头部姿势还包括：
在所述第一时间，产生第一图像，所述第一图像示出所述用户面部的至少第一部分，
在所述第一图像内检测所述脸部的至少所述第一部分，以及
在所述脸部的所述检测的第一部分内检测至少一个点，以及存储与所述至少一个点相关联的第一跟踪信息；以及
确定所述第二头部姿势还包括：
在所述第二时间，产生第二图像，所述第二图像示出所述用户的所述面部至少第二部分的图像，
在所述第二图像内检测所述脸部的至少所述第二部分，以及
在所述脸部的所述检测的第二部分内检测所述至少一个点，以及存储与所述至少一个点相关联的第二跟踪信息。
3.如权利要求2所述的方法，其特征在于，自动地可操作地在所述至少两个可选择区域之间切换还包括：
比较至少所述第一跟踪信息与所述第二跟踪信息，以确定关联于所述用户的估算的显示设备视图是否在所述第一时间至所述第二时间之间已经改变；以及
如果关于所述用户的所述估算的显示设备视图已经在所述第一时间至所述第二时间之间已经改变，那么选择性地可操作地切换在所述显示设备上呈现的用户输入接口焦点到关联于所述估算的显示设备视图的可选择区域。
4.如权利要求2所述的方法，其特征在于，产生所述第一图像还包括，使至少一个照相机设备输出所述第一图像。
5.如权利要求4所述的方法，其特征在于，所述至少一个照相机设备包括至少一个摄象机设备，以及所述第一图像包括由所述摄象机设备拍摄的图像帧。
6.如权利要求4所述的方法，其特征在于，所述至少一个照相机设备包括至少一个数字静止照相机设备，以及所述第一图像包括由所述数字静止照相机设备拍摄的数字静止图像。
7.如权利要求2所述的方法，其特征在于，在所述第一图像内检测所述脸部的所述第一部分还包括：
根据至少一个分类参数，分类与所述第一图像相关连的图像数据的多个部分的每一个部分，以确定至少一个关联于所述脸部的所述第一部分的面部区域。
8.如权利要求7所述的方法，还包括：
图像补片在所述第二图像的相应的部分中跟踪关联于所述脸部的所述第一部分的所述面部区域，以识别至少一个被检测的脸部区。
9.如权利要求8所述的方法，其特征在于，图像补片跟踪还包括：
使用差的平方和(SSD)图像补片跟踪器识别所述至少一个被检测的脸部区。
10.如权利要求8所述的方法，其特征在于，图像补片跟踪还包括：
将所述所得到的被检测的脸部区的至少一部分与至少一个告警阈参数相比较，以确定是否要求关联的系统初始化过程。
11.如权利要求8所述的方法，其特征在于，在所述脸部的所述被检测的第二部分内检测所述至少一个点还包括：
在所述至少一个被检测的脸部区内检测至少一个关键面部部位。
12.如权利要求11所述的方法，还包括：
根据所述至少三个被检测的关键面部部位确定所述用户的精细头部姿势。
13.如权利要求11所述的方法，还包括：
根据与在所述至少一个被检测的脸部区内检测所述至少一个关键面部部位相关联的置信度(confidence)信息，确定所述用户的粗略头部姿势。
14.如权利要求13所述的方法，还包括：
根据所述被检测的关键面部部位和所述置信度信息，确定所述用户的精细的头部姿势。
15.如权利要求13所述的方法，其特征在于，所述粗略的头部姿势与至少一个头部姿势参数相关联，所述头部姿势参数是从一组由偏转角、倾斜角、滚动角、x平移、y平移和比例因数组成的头部姿势参数中选择的。
16.如权利要求12所述的方法，其特征在于，确定所述精细的头部姿势还包括：
使用至少一个估计器技术确定所述精细的头部姿势，所述估计器技术是从一组由椭圆估计器技术和迭代的估计器技术组成的估计技术中选择的。
17.如权利要求12所述的方法，其特征在于，确定所述精细的头部姿势还包括：
使用至少一个基于视图的姿势估计技术确定所述精细的头部姿势。
18.如权利要求1所述的方法，其特征在于，所述至少一个显示器的所述至少两个可选择区域的至少一个包括，在图形用户界面(GUI)中的至少一个可操作地可选择区域。
19.如权利要求1所述的方法，其特征在于，所述至少两个可选择区域的每一个与不同计算机逻辑或不同计算机数据相关联。
20.如权利要求1所述的方法，其特征在于，自动地可操作地在所述至少一个显示设备的至少两个可选择区域之间切换还包括：
选择性地使图形定位设备在所述显示设备上移动。
21.如权利要求1所述的方法，其特征在于，自动地可操作地在所述至少一个显示设备的所述至少两个可选择区域之间切换还包括：
选择性地延迟自动地可操作地在所述至少一个显示设备的所述至少两个可选择区域之间切换。
22.一种具有计算机可实现的指令的计算机可读介质，所述指令使至少一个处理器执行下列过程：
估算计算设备的用户在第一时间的第一头部姿势和所述用户在所述第一时间之后的第二时间的至少一个第二头部姿势；以及
根据所述第一头部姿势与至少所述第二头部姿势之间的至少一个差异，自动地可操作地在计算设备的至少一个显示设备的至少两个可选择区域之间切换。
23.如权利要求22所述的计算机可读介质，其特征在于：
估算所述第一头部姿势还包括，产生第一图像，所述第一图像示出至少所述用户脸部的至少第一部分，在所述第一图像内检测所述脸部的至少所述第一部分，以及在所述脸部的所述被检测的第一部分内检测至少一个点，以及存储与所述至少一个点相关联的第一跟踪信息；以及
估算所述第二头部姿势还包括，产生第二图像，所述第二图像示出至少所述用户脸部的至少第二部分，在所述第二图像内跟踪/检测所述脸部的至少所述第二部分，以及在所述脸部的所述被检测的第二部分内检测所述至少一个点，以及存储与所述至少一个点相关联的第二跟踪信息。
24.如权利要求23所述的计算机可读的介质，其特征在于，自动地可操作地在所述至少两个可选择区域之间切换还包括：
比较至少所述第一跟踪信息与所述第二跟踪信息，以确定关联于所述用户的估算的显示设备视图是否在所述第一时间至所述第二时间之间已经改变，以及如果关于所述用户的所述估算的显示设备视图在所述第一时间至所述第二时间之间已经改变，那么选择性地可操作地切换在所述显示设备上呈现的用户输入接口到关联于所述估算的显示设备视图的可选择区域。
25.如权利要求23所述的计算机可读介质，其特征在于，产生所述第一图像还包括，使至少一个照相机设备输出所述第一图像。
26.如权利要求25所述的计算机可读介质，其特征在于，所述至少一个照相机设备包括至少一个摄象机设备，以及所述第一图像包括由所述摄象机设备拍摄的图像帧。
27.如权利要求23所述的计算机可读介质，其特征在于，在所述第一图像内检测所述脸部的所述第一部分还包括：
根据至少一个分类参数，分类与所述第一图像相关的图像数据的多个部分的每一个部分，以确定关联于所述脸部的所述第一部分的至少一个面部区域。
28.如权利要求27所述的计算机可读介质，还包括：
图像补片在所述第二图像的相应的部分中跟踪关联于所述脸部的所述第一部分的所述面部区域，以识别至少一个被检测的脸部区。
29.如权利要求28所述的计算机可读介质，其特征在于，图像补片跟踪还包括：
使用差的平方和(SSD)图像补片跟踪器识别所述至少一个被检测的脸部区。
30.如权利要求28所述的计算机可读介质，其特征在于，图像补片跟踪还包括：
比较所述所得到的被检测的脸部区的至少一部分与至少一个告警阈参数，以确定是否要求关联的系统初始化过程。
31.如权利要求28所述的计算机可读介质，其特征在于，在所述脸部的所述被检测的第二部分内检测所述至少一个点还包括：
在所述至少一个被检测的脸部区内检测至少一个关键面部部位。
32.如权利要求31所述的计算机可读介质，还包括：
根据所述至少被检测的关键面部部位确定所述用户的精细头部姿势。
33.如权利要求31所述的计算机可读介质，还包括：
根据与在所述至少一个被检测的脸部区内检测所述至少一个关键面部部位相关联的置信度信息，确定所述用户的粗略头部姿势。
34.如权利要求33所述的计算机可读的介质，还包括：
根据所述被检测的关键面部部位和所述置信度信息，确定所述用户的精细的头部姿势。
35.如权利要求33所述的计算机可读介质，其特征在于，所述粗略的头部姿势与至少一个头部姿势参数相关联，所述头部姿势参数是从一组由偏转角、倾斜角、滚动角、x平移、y平移和比例因数组成的头部姿势参数中选择的。
36.如权利要求32所述的计算机可读介质，其特征在于，确定所述精细的头部姿势还包括：
使用至少一个估计器技术确定所述精细的头部姿势，所述估计器技术是从一组由椭圆估计器技术和迭代的估计器技术组成的估计技术中选择的。
37.如权利要求32所述的计算机可读介质，其特征在于，确定所述精细的头部姿势还包括：
使用至少一个基于视图的姿势估计技术确定所述精细的头部姿势。
38.如权利要求22所述的计算机可读介质，其特征在于，所述至少一个显示器的所述至少两个可选择区域的至少一个包括，在图形用户界面(GUI)中的至少一个可操作地可选择区域。
39.如权利要求22所述的计算机可读介质，其特征在于，所述至少两个可选择区域的每一个与不同计算机逻辑或不同计算机数据相关联。
40.如权利要求22所述的计算机可读介质，其特征在于，自动地可操作地在所述至少一个显示设备的至少两个可选择区域之间切换还包括：
选择性地使图形定位设备在所述显示设备上移动。
41.如权利要求22所述的计算机可读介质，其特征在于，自动地可操作地在所述至少一个显示设备的所述至少两个可选择区域之间切换还包括：
选择性地延迟自动地可操作地在所述至少一个显示设备的所述至少两个可选择区域之间切换。
42.一种与至少一个显示设备和至少一个图像拍摄设备配合使用的装置，所述装置包括：
显示逻辑，可配置成输出至少一个信号，所述信号适合用于使显示设备显示至少两个不同的可选择区域；
接口逻辑，可配置成从图像拍摄设备接收图像数据；以及
姿势估计逻辑，可操作地连接至所述显示逻辑和所述接口逻辑，以及配置为根据第一图像和根据在时间上在所述第一图像之后的第二图像确定第一头部姿势和至少一个第二头部姿势，以及根据所述第一头部姿势与至少所述第二头部姿势之间的至少一个差异，自动地可操作地在所述至少两个可选择区域之间切换操作的用户输入焦点。
43.如权利要求42所述的装置，还包括：
可操作地连接至至少所述姿势估计逻辑的存储器，所述存储器可配置成存储所述第一图像和所述第二图像，其特征在于，所述第一图像在第一时间拍摄用户的脸部的至少第一部分，以及在第二接着发生的时间拍摄所述用户的所述脸部的至少第二部分；以及
其特征在于，所述姿势估计逻辑还配置为：
访问所述第一图像，在所述第一图像内检测所述脸部的至少所述第一部分，在所述脸部的所述被检测的第一部分内检测至少一个点，以及将与在所述被检测的第一部分内所述至少一个点的每一个相关联的第一跟踪信息存储到所述存储器，以及
访问所述第二图像，在所述第二图像内跟踪所述脸部的至少所述第二部分，在所述脸部的所述被检测的第二部分内检测所述至少一个点，以及将与所述被检测的第二部分内的所述至少一个点的每一个相关联的第二跟踪信息存储到所述存储器。
44.如权利要求43所述的装置，其特征在于，所述姿势估计逻辑还配置为，比较至少所述第一跟踪信息与所述第二跟踪信息，以确定关联于所述用户的估算的显示设备视图是否在所述第一时间至所述第二时间之间已经改变，以及如果关联于所述用户所述估算的显示设备视图在所述第一时间至第二时间之间已经改变，那么切换所述操作的用户输入焦点。
45.如权利要求43所述的装置，其特征在于，所述姿势估计逻辑还配置为，根据至少一个分类参数，分类与所述第一图像的图像数据的多个部分的每一个部分，以确定至少一个关联于所述脸部的所述第一部分的面部区域。
46.如权利要求45所述的装置，所述姿势估计逻辑还配置为，图像补片在所述第二图像的相应的部分中跟踪关联于所述脸部的所述第一部分的所述面部区域，以识别至少一个被检测的脸部区。
47.如权利要求46所述的装置，其特征在于，所述姿势估计逻辑包括差的平方和(SSD)图像补片跟踪器，以识别所述至少一个被检测的脸部区。
48.如权利要求46所述的装置，其特征在于，所述图像补片跟踪器比较至少所述所得到的被检测的脸部区的一部分与至少一个告警阈参数，以确定是否要求关联的系统初始化过程。
49.如权利要求45所述的装置，其特征在于，所述姿势估计逻辑配置为，在所述至少一个被检测的脸部区内检测至少一个关键面部部位以实施粗略的姿势估计。
50.如权利要求49所述的装置，其特征在于，所述姿势估计逻辑配置为，根据所述被检测的关键面部部位确定所述用户的精细头部姿势。
51.如权利要求49所述的装置，其特征在于，所述姿势估计逻辑配置为，根据与在所述至少一个被检测的脸部区内检测所述至少一个关键面部部位相关联的置信度信息，确定所述用户的粗略头部姿势。
52.如权利要求51所述的装置，其特征在于，所述姿势估计逻辑配置为，根据所述被检测的关键面部部位和所述置信度信息，确定所述用户的精细的头部姿势。
53.如权利要求51所述的装置，其特征在于，所述粗略的头部姿势与至少一个头部姿势参数相关联，所述头部姿势参数是从一组由偏转角、倾斜角、滚动角、x平移、y平移和比例因数组成的头部姿势参数中选择的。
54.如权利要求50所述的装置，其特征在于，所述姿势估计逻辑配置为，使用通过组合至少一个估计器技术的结果确定所述精细的头部姿势，所述估计器技术是从一组由椭圆估计器技术和迭代的估计器技术组成的估计技术中选择的。
55.如权利要求50所述的装置，其特征在于，所述姿势估计逻辑配置为，使用通过组合至少一个基于视图的姿势估计技术的结果确定所述精细的头部姿势。
56.一系统包括：
至少一个显示设备；
至少一个图像拍摄设备；以及
可操作地连接到所述显示设备和所述图像拍摄设备的计算设备，以及具有：
显示逻辑，配置为输出至少一个信号，所述信号适合用于使显示设备显示至少两个不同的可选择区域，
接口逻辑，配置为从图像拍摄设备接收图像数据，以及
姿势估计逻辑，配置为根据第一图像和根据在时间上在所述第一图像之后的第二图像确定第一头部姿势和至少一个第二头部姿势，以及根据所述第一头部姿势与至少所述第二头部姿势之间的一个差异，自动地可操作地在所述至少两个可选择区域之间切换操作的用户输入焦点。
CNB2004100474644A 2003-05-30 2004-05-31 头部姿势估算方法和系统 Expired - Fee Related CN100405261C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/452,783 US7391888B2 (en) 2003-05-30 2003-05-30 Head pose assessment methods and systems
US10/452,783 2003-05-30

Publications (2)

Publication Number Publication Date
CN1573660A true CN1573660A (zh) 2005-02-02
CN100405261C CN100405261C (zh) 2008-07-23

Family

ID=33159506

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB2004100474644A Expired - Fee Related CN100405261C (zh) 2003-05-30 2004-05-31 头部姿势估算方法和系统

Country Status (6)

Country Link
US (4) US7391888B2 (zh)
EP (1) EP1484665A3 (zh)
JP (1) JP4758073B2 (zh)
KR (1) KR101043458B1 (zh)
CN (1) CN100405261C (zh)
BR (1) BRPI0401782A (zh)

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1293446C (zh) * 2005-06-02 2007-01-03 北京中星微电子有限公司 一种非接触式目控操作系统和方法
CN101916496A (zh) * 2010-08-11 2010-12-15 无锡中星微电子有限公司 一种司机驾驶姿势检测的系统和方法
CN101630410B (zh) * 2009-08-18 2011-08-17 北京航空航天大学 一种基于单摄像机的人体坐姿判定方法
CN102693007A (zh) * 2011-03-04 2012-09-26 微软公司 姿势检测和识别
CN102737235A (zh) * 2012-06-28 2012-10-17 中国科学院自动化研究所 基于深度信息和彩色图像的头部姿势估计方法
CN102799262A (zh) * 2011-04-08 2012-11-28 索尼电脑娱乐公司 用于确定输入语音的相关性的装置和方法
CN101860644B (zh) * 2007-02-09 2013-02-13 富士胶片株式会社 图像处理设备
CN102968180A (zh) * 2011-12-02 2013-03-13 微软公司 基于头部方向的用户界面控制
CN103186239A (zh) * 2011-12-27 2013-07-03 马克西姆综合产品公司 姿势检测及其简明表示
WO2013117094A1 (zh) * 2012-02-06 2013-08-15 华为技术有限公司 视讯设备控制方法、装置及视讯系统
CN103369214A (zh) * 2012-03-30 2013-10-23 华晶科技股份有限公司 图像获取方法与图像获取装置
CN103793680A (zh) * 2012-10-29 2014-05-14 北京三星通信技术研究有限公司 用于估计头部姿势的设备和方法
WO2014161306A1 (zh) * 2013-09-12 2014-10-09 中兴通讯股份有限公司 数据显示方法、装置及终端、显示控制方法及装置
WO2015139231A1 (en) * 2014-03-19 2015-09-24 Intel Corporation Facial expression and/or interaction driven avatar apparatus and method
CN105554285A (zh) * 2015-12-22 2016-05-04 努比亚技术有限公司 拍摄人物照片的处理方法、智能移动终端
CN105809664A (zh) * 2014-12-31 2016-07-27 北京三星通信技术研究有限公司 生成三维图像的方法和装置
CN107204044A (zh) * 2016-03-17 2017-09-26 深圳多哚新技术有限责任公司 一种基于虚拟现实的画面显示方法及相关设备
CN107665330A (zh) * 2016-07-29 2018-02-06 本田技研工业株式会社 检测注意力分散和向下垂直头部姿势的系统和方法
CN108230293A (zh) * 2017-05-31 2018-06-29 深圳市商汤科技有限公司 确定人脸图像质量的方法和装置、电子设备和计算机存储介质
CN108885683A (zh) * 2016-03-28 2018-11-23 北京市商汤科技开发有限公司 用于位姿估计的方法和系统
CN111480164A (zh) * 2018-01-09 2020-07-31 华为技术有限公司 头部姿势和分心估计
CN113811920A (zh) * 2019-05-16 2021-12-17 高通股份有限公司 分布式姿势估计

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
USRE39539E1 (en) 1996-08-19 2007-04-03 Torch William C System and method for monitoring eye movement
US7391888B2 (en) * 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
KR100580626B1 (ko) * 2003-10-31 2006-05-16 삼성전자주식회사 얼굴검출방법 및 장치와 이를 적용한 보안 감시시스템
US7508979B2 (en) * 2003-11-21 2009-03-24 Siemens Corporate Research, Inc. System and method for detecting an occupant and head pose using stereo detectors
JP2005242640A (ja) * 2004-02-26 2005-09-08 Fuji Photo Film Co Ltd 対象物検出方法および装置並びにプログラム
US20110077548A1 (en) * 2004-04-01 2011-03-31 Torch William C Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
JP4172793B2 (ja) * 2004-06-08 2008-10-29 株式会社東芝 ジェスチャ検出方法、ジェスチャ検出プログラムおよびジェスチャ検出装置
US8560972B2 (en) * 2004-08-10 2013-10-15 Microsoft Corporation Surface UI for gesture-based interaction
CN100399247C (zh) * 2004-12-22 2008-07-02 联想(北京)有限公司 一种显示设备的光标的控制系统及方法
KR100695136B1 (ko) * 2005-01-04 2007-03-14 삼성전자주식회사 영상의 얼굴검출장치 및 방법
KR100892022B1 (ko) 2005-08-12 2009-04-07 소니 컴퓨터 엔터테인먼트 인코포레이티드 얼굴 화상표시장치, 얼굴 화상표시방법 및 얼굴 화상표시프로그램
GB2432064B (en) * 2005-10-31 2011-01-19 Hewlett Packard Development Co Method of triggering a detector to detect a moving feature within a video stream
US8209620B2 (en) 2006-01-31 2012-06-26 Accenture Global Services Limited System for storage and navigation of application states and interactions
US7599520B2 (en) * 2005-11-18 2009-10-06 Accenture Global Services Gmbh Detection of multiple targets on a plane of interest
KR101240261B1 (ko) * 2006-02-07 2013-03-07 엘지전자 주식회사 이동통신 단말기의 영상 통화 장치 및 방법
JP4826306B2 (ja) * 2006-03-23 2011-11-30 日産自動車株式会社 顔部位追跡方法及びその装置
CN100389430C (zh) * 2006-06-13 2008-05-21 北京中星微电子有限公司 基于aam的头部姿态实时估算方法及系统
US10614294B1 (en) 2006-06-16 2020-04-07 Videomining Corporation Method and system for measuring viewership of people for displayed object
US20080024433A1 (en) * 2006-07-26 2008-01-31 International Business Machines Corporation Method and system for automatically switching keyboard/mouse between computers by user line of sight
US20080049020A1 (en) * 2006-08-22 2008-02-28 Carl Phillip Gusler Display Optimization For Viewer Position
US7412077B2 (en) 2006-12-29 2008-08-12 Motorola, Inc. Apparatus and methods for head pose estimation and head gesture detection
US20090017910A1 (en) * 2007-06-22 2009-01-15 Broadcom Corporation Position and motion tracking of an object
KR20080073933A (ko) * 2007-02-07 2008-08-12 삼성전자주식회사 객체 트래킹 방법 및 장치, 그리고 객체 포즈 정보 산출방법 및 장치
US8615112B2 (en) * 2007-03-30 2013-12-24 Casio Computer Co., Ltd. Image pickup apparatus equipped with face-recognition function
NO327279B1 (no) 2007-05-22 2009-06-02 Metaio Gmbh Kamerapositurestimeringsanordning og- fremgangsmate for foroket virkelighetsavbildning
US7848548B1 (en) 2007-06-11 2010-12-07 Videomining Corporation Method and system for robust demographic classification using pose independent model from sequence of face images
US7940962B2 (en) * 2007-08-03 2011-05-10 Delphi Technologies, Inc. System and method of awareness detection
US20090110245A1 (en) * 2007-10-30 2009-04-30 Karl Ola Thorn System and method for rendering and selecting a discrete portion of a digital image for manipulation
TWI382314B (zh) * 2007-12-06 2013-01-11 Aten Int Co Ltd 多電腦切換系統及視訊切換系統
US8209635B2 (en) 2007-12-20 2012-06-26 Sony Mobile Communications Ab System and method for dynamically changing a display
JP5239396B2 (ja) * 2008-02-28 2013-07-17 セイコーエプソン株式会社 画像出力方法、画像出力装置および画像出力プログラム
US8971565B2 (en) * 2008-05-29 2015-03-03 Hie-D Technologies, Llc Human interface electronic device
JP2009294728A (ja) * 2008-06-02 2009-12-17 Sony Ericsson Mobilecommunications Japan Inc 表示処理装置、表示処理方法、表示処理プログラム、及び携帯端末装置
WO2010026519A1 (en) * 2008-09-03 2010-03-11 Koninklijke Philips Electronics N.V. Method of presenting head-pose feedback to a user of an interactive display system
JP2010086336A (ja) * 2008-09-30 2010-04-15 Fujitsu Ltd 画像制御装置、画像制御プログラムおよび画像制御方法
KR101537948B1 (ko) * 2008-12-16 2015-07-20 삼성전자주식회사 얼굴 포즈 추정을 이용한 촬영 방법 및 장치
JP5635736B2 (ja) * 2009-02-19 2014-12-03 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US8340432B2 (en) * 2009-05-01 2012-12-25 Microsoft Corporation Systems and methods for detecting a tilt angle from a depth image
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
TWI401963B (zh) * 2009-06-25 2013-07-11 Pixart Imaging Inc Dynamic image compression method for face detection
US8498453B1 (en) * 2009-09-30 2013-07-30 Lifetouch, Inc. Evaluating digital images using head points
KR101313977B1 (ko) * 2009-12-18 2013-10-01 한국전자통신연구원 이동 단말기를 사용한 ｉｐｔｖ 서비스 제어 방법 및 시스템
JP2011134045A (ja) * 2009-12-24 2011-07-07 Seiko Epson Corp 画像処理装置
US8890946B2 (en) * 2010-03-01 2014-11-18 Eyefluence, Inc. Systems and methods for spatially controlled scene illumination
WO2012053002A1 (en) * 2010-10-18 2012-04-26 Tata Consultancy Services Limited Multimedia presentation content synthesis
US20120098931A1 (en) * 2010-10-26 2012-04-26 Sony Corporation 3d motion picture adaption system
JP5800494B2 (ja) * 2010-11-19 2015-10-28 キヤノン株式会社 特定領域選択装置、特定領域選択方法及びプログラム
CN102480587A (zh) * 2010-11-23 2012-05-30 英业达股份有限公司 网络摄影机装置及其操作方法
US9013264B2 (en) 2011-03-12 2015-04-21 Perceptive Devices, Llc Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
US8510166B2 (en) * 2011-05-11 2013-08-13 Google Inc. Gaze tracking system
US8860787B1 (en) 2011-05-11 2014-10-14 Google Inc. Method and apparatus for telepresence sharing
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
EP2721582A4 (en) * 2011-06-20 2015-03-25 Nokia Corp METHODS, DEVICES AND COMPUTER PROGRAM PRODUCTS FOR IMPLEMENTING DETAILED POSITION PROVISIONS OF OBJECTS
US9829970B2 (en) * 2011-06-27 2017-11-28 International Business Machines Corporation System for switching displays based on the viewing direction of a user
US9658687B2 (en) 2011-09-30 2017-05-23 Microsoft Technology Licensing, Llc Visual focus-based control of coupled displays
US8879801B2 (en) * 2011-10-03 2014-11-04 Qualcomm Incorporated Image-based head position tracking method and system
TWI437467B (zh) 2011-10-11 2014-05-11 Ind Tech Res Inst 顯示控制裝置及顯示控制方法
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
JP5951966B2 (ja) * 2011-11-21 2016-07-13 ラピスセミコンダクタ株式会社 画像処理装置、画像処理システム、画像処理方法、及びプログラム
US20130194172A1 (en) * 2012-01-30 2013-08-01 Cellco Partnership D/B/A Verizon Wireless Disabling automatic display shutoff function using face detection
US8862764B1 (en) 2012-03-16 2014-10-14 Google Inc. Method and Apparatus for providing Media Information to Mobile Devices
US8687880B2 (en) 2012-03-20 2014-04-01 Microsoft Corporation Real time head pose estimation
US9437011B2 (en) * 2012-06-11 2016-09-06 Samsung Electronics Co., Ltd. Method and apparatus for estimating a pose of a head for a person
US9928406B2 (en) 2012-10-01 2018-03-27 The Regents Of The University Of California Unified face representation for individual recognition in surveillance videos and vehicle logo super-resolution system
US9619017B2 (en) * 2012-11-07 2017-04-11 Qualcomm Incorporated Techniques for utilizing a computer input device with multiple computers
CN103176693B (zh) * 2013-02-18 2016-02-10 联宝(合肥)电子科技有限公司 一种自动变换终端屏幕画面方向的方法及装置
FR3005173B1 (fr) * 2013-04-26 2015-04-10 Airbus Procede d'interaction dans un cockpit d'aeronef entre un pilote et son environnement
CN103324283A (zh) * 2013-05-23 2013-09-25 广东欧珀移动通信有限公司 基于人脸识别控制视频播放的方法及其终端
US9873038B2 (en) 2013-06-14 2018-01-23 Intercontinental Great Brands Llc Interactive electronic games based on chewing motion
KR20150026358A (ko) * 2013-09-02 2015-03-11 삼성전자주식회사 피사체 정보에 따른 템플릿 피팅 방법 및 그 장치
KR20150045637A (ko) * 2013-10-21 2015-04-29 삼성전자주식회사 사용자 인터페이스 운용 방법 및 그 전자 장치
CN103605621B (zh) * 2013-11-26 2016-09-21 三星电子（中国）研发中心 单个输入设备控制两个以上终端设备的方法和装置
US20150153827A1 (en) * 2013-12-04 2015-06-04 Qualcomm Incorporated Controlling connection of input device to electronic devices
FR3015092A1 (fr) * 2013-12-17 2015-06-19 Scotler France Controle d'un pointeur sur un ecran numerique
US20150185831A1 (en) * 2013-12-26 2015-07-02 Dinu Petre Madau Switching between gaze tracking and head tracking
US20150210233A1 (en) * 2014-01-27 2015-07-30 Lenovo (Singapore) Pte. Ltd. Automated viewing angle adjustment of viewable components
CN104199545A (zh) * 2014-08-28 2014-12-10 青岛海信移动通信技术股份有限公司 一种基于口型执行预设操作的方法及装置
US11042887B2 (en) * 2014-08-29 2021-06-22 Shopper Scientist Llc Product exposure analysis in a shopping environment
US10585485B1 (en) 2014-11-10 2020-03-10 Amazon Technologies, Inc. Controlling content zoom level based on user head movement
US9563270B2 (en) * 2014-12-26 2017-02-07 Microsoft Technology Licensing, Llc Head-based targeting with pitch amplification
US10326972B2 (en) * 2014-12-31 2019-06-18 Samsung Electronics Co., Ltd. Three-dimensional image generation method and apparatus
CA2975124C (en) * 2015-01-31 2024-02-13 Brian Lee Moffat Control of a computer via distortions of facial geometry
US10715468B2 (en) * 2015-03-27 2020-07-14 Intel Corporation Facilitating tracking of targets and generating and communicating of messages at computing devices
NZ752336A (en) * 2015-08-18 2023-06-30 Magic Leap Inc Virtual and augmented reality systems and methods
US10248280B2 (en) * 2015-08-18 2019-04-02 International Business Machines Corporation Controlling input to a plurality of computer windows
CN105205462A (zh) * 2015-09-18 2015-12-30 北京百度网讯科技有限公司 一种拍照提示方法及装置
US10962780B2 (en) * 2015-10-26 2021-03-30 Microsoft Technology Licensing, Llc Remote rendering for virtual images
CN105867610A (zh) * 2015-12-29 2016-08-17 乐视致新电子科技（天津）有限公司 基于人脸识别的播放控制方法及终端
EP3447609B1 (en) * 2016-04-20 2020-09-30 Nissan Motor Co., Ltd. Information display method and display control device
US10097745B2 (en) * 2016-04-27 2018-10-09 Zepp Labs, Inc. Head rotation tracking device for video highlights identification
WO2018033137A1 (zh) * 2016-08-19 2018-02-22 北京市商汤科技开发有限公司 在视频图像中展示业务对象的方法、装置和电子设备
GB2560031B (en) * 2017-02-28 2020-05-27 PQ Solutions Ltd Binding data to a person's identity
JP6584717B2 (ja) 2017-03-10 2019-10-02 三菱電機株式会社 顔向き推定装置および顔向き推定方法
US11853469B2 (en) * 2017-06-21 2023-12-26 SMR Patents S.à.r.l. Optimize power consumption of display and projection devices by tracing passenger's trajectory in car cabin
CN107464291B (zh) * 2017-08-22 2020-12-29 广州魔发科技有限公司 一种脸部图像的处理方法及装置
US10937189B2 (en) 2018-01-18 2021-03-02 Samsung Electronics Co., Ltd. Pose estimation method, method of displaying virtual object using estimated pose, and apparatuses performing the same
CN108319567A (zh) * 2018-02-05 2018-07-24 北京航空航天大学 一种基于高斯过程的空间目标姿态估计不确定度计算方法
US10735649B2 (en) 2018-02-22 2020-08-04 Magic Leap, Inc. Virtual and augmented reality systems and methods using display system control information embedded in image data
CN109460706B (zh) * 2018-09-30 2021-03-23 北京七鑫易维信息技术有限公司 应用于终端的眼球追踪信息处理方法和装置
US11275819B2 (en) 2018-12-05 2022-03-15 Bank Of America Corporation Generative adversarial network training and feature extraction for biometric authentication
US10929982B2 (en) * 2019-01-25 2021-02-23 Google Llc Face pose correction based on depth information
CN110188728A (zh) * 2019-06-06 2019-08-30 四川长虹电器股份有限公司 一种头部姿态估计的方法及系统
US11120569B2 (en) * 2019-06-24 2021-09-14 Synaptics Incorporated Head pose estimation
CN112132859A (zh) * 2019-06-25 2020-12-25 北京字节跳动网络技术有限公司 贴纸生成方法、装置、介质和电子设备
JP7427413B2 (ja) 2019-10-21 2024-02-05 Ｔｉａｎｍａ Ｊａｐａｎ株式会社 立体視表示システム
CN111709344B (zh) * 2020-06-09 2023-10-17 上海海事大学 一种基于高斯混合模型的epll图像去光照识别处理方法
US11321850B2 (en) * 2020-07-09 2022-05-03 Himax Imaging Limited Presence detection system
US11797081B2 (en) * 2021-08-20 2023-10-24 Huawei Technologies Co., Ltd. Methods, devices and media for input/output space mapping in head-based human-computer interactions

Family Cites Families (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2621231B2 (ja) 1987-10-01 1997-06-18 ローム株式会社 ミラー面検出回路
US5068645A (en) * 1987-10-14 1991-11-26 Wang Laboratories, Inc. Computer input device using an orientation sensor
JPH0423027A (ja) * 1990-05-17 1992-01-27 Fujitsu Ltd ウインドウ選択方式
JPH04205617A (ja) * 1990-11-30 1992-07-27 Toshiba Corp 入出力インターフェース装置
JPH0778055A (ja) * 1993-06-25 1995-03-20 Casio Comput Co Ltd データ処理装置
US6061064A (en) * 1993-08-31 2000-05-09 Sun Microsystems, Inc. System and method for providing and using a computer user interface with a view space having discrete portions
JPH07141098A (ja) * 1993-11-17 1995-06-02 Nippon Telegr & Teleph Corp <Ntt> 座標入力装置
US5870138A (en) * 1995-03-31 1999-02-09 Hitachi, Ltd. Facial image processing
US6127990A (en) * 1995-11-28 2000-10-03 Vega Vista, Inc. Wearable display and methods for controlling same
AU1127197A (en) * 1995-12-04 1997-06-27 David Sarnoff Research Center, Inc. Wide field of view/narrow field of view recognition system and method
US5574836A (en) * 1996-01-22 1996-11-12 Broemmelsiek; Raymond M. Interactive display apparatus and method with viewer position compensation
JPH1091325A (ja) * 1996-09-13 1998-04-10 Toshiba Corp 視線検出システム
US6118888A (en) * 1997-02-28 2000-09-12 Kabushiki Kaisha Toshiba Multi-modal interface apparatus and method
US6009210A (en) * 1997-03-05 1999-12-28 Digital Equipment Corporation Hands-free interface to a virtual reality environment using head tracking
JPH10320167A (ja) * 1997-05-15 1998-12-04 Sharp Corp 仮想空間ウインドウ表示システム
JP3361980B2 (ja) * 1997-12-12 2003-01-07 株式会社東芝 視線検出装置及びその方法
US6891972B2 (en) * 1997-12-19 2005-05-10 Canon Kabushiki Kaisha Communication system and control method thereof, and computer-readable memory
US6272231B1 (en) * 1998-11-06 2001-08-07 Eyematic Interfaces, Inc. Wavelet-based facial motion capture for avatar animation
US6301370B1 (en) * 1998-04-13 2001-10-09 Eyematic Interfaces, Inc. Face recognition from video images
US6215471B1 (en) 1998-04-28 2001-04-10 Deluca Michael Joseph Vision pointer method and apparatus
US6243076B1 (en) * 1998-09-01 2001-06-05 Synthetic Environments, Inc. System and method for controlling host system interface with point-of-interest data
WO2000017848A1 (en) * 1998-09-22 2000-03-30 Vega Vista, Inc. Intuitive control of portable data displays
GB2348520B (en) * 1999-03-31 2003-11-12 Ibm Assisting user selection of graphical user interface elements
US6791531B1 (en) * 1999-06-07 2004-09-14 Dot On, Inc. Device and method for cursor motion control calibration and object selection
US6687386B1 (en) * 1999-06-15 2004-02-03 Hitachi Denshi Kabushiki Kaisha Object tracking method and object tracking apparatus
EP1063607A1 (de) * 1999-06-25 2000-12-27 Siemens Aktiengesellschaft Vorrichtung und Verfahren zur Eingabe von Streuerinformationen in Computersysteme
US20020060692A1 (en) * 1999-11-16 2002-05-23 Pixel Kinetix, Inc. Method for increasing multimedia data accessibility
GB2369673B (en) * 2000-06-09 2004-09-15 Canon Kk Image processing apparatus
US20020039111A1 (en) * 2000-06-27 2002-04-04 James Gips Automated visual tracking for computer access
US20020126090A1 (en) * 2001-01-18 2002-09-12 International Business Machines Corporation Navigating and selecting a portion of a screen by utilizing a state of an object as viewed by a camera
US6931596B2 (en) * 2001-03-05 2005-08-16 Koninklijke Philips Electronics N.V. Automatic positioning of display depending upon the viewer's location
US7231087B2 (en) * 2002-10-30 2007-06-12 Metrica, Inc. Matching binary templates against range map derived silhouettes for object pose estimation
US7142192B2 (en) * 2002-12-12 2006-11-28 Nvidia Corporation Cursor locator for multi-monitor systems
US7391888B2 (en) * 2003-05-30 2008-06-24 Microsoft Corporation Head pose assessment methods and systems
US8179366B2 (en) * 2004-12-06 2012-05-15 Naturalpoint, Inc. Systems and methods for using a movable object to control a computer

Cited By (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1293446C (zh) * 2005-06-02 2007-01-03 北京中星微电子有限公司 一种非接触式目控操作系统和方法
CN101860644B (zh) * 2007-02-09 2013-02-13 富士胶片株式会社 图像处理设备
CN101630410B (zh) * 2009-08-18 2011-08-17 北京航空航天大学 一种基于单摄像机的人体坐姿判定方法
CN101916496A (zh) * 2010-08-11 2010-12-15 无锡中星微电子有限公司 一种司机驾驶姿势检测的系统和方法
CN102693007A (zh) * 2011-03-04 2012-09-26 微软公司 姿势检测和识别
CN102693007B (zh) * 2011-03-04 2016-12-07 微软技术许可有限责任公司 姿势检测和识别
CN102799262A (zh) * 2011-04-08 2012-11-28 索尼电脑娱乐公司 用于确定输入语音的相关性的装置和方法
CN102799262B (zh) * 2011-04-08 2016-12-14 索尼电脑娱乐公司 用于确定输入语音的相关性的装置和方法
CN102968180A (zh) * 2011-12-02 2013-03-13 微软公司 基于头部方向的用户界面控制
CN102968180B (zh) * 2011-12-02 2016-03-30 微软技术许可有限责任公司 基于头部方向的用户界面控制
US10055024B2 (en) 2011-12-27 2018-08-21 Maxim Integrated Products, Inc. Gesture detection and compact representation thereof
CN103186239A (zh) * 2011-12-27 2013-07-03 马克西姆综合产品公司 姿势检测及其简明表示
US9766710B2 (en) 2011-12-27 2017-09-19 Maxim Integrated Products, Inc. Gesture detection and compact representation thereof
CN103186239B (zh) * 2011-12-27 2017-09-08 马克西姆综合产品公司 姿势检测及其简明表示
WO2013117094A1 (zh) * 2012-02-06 2013-08-15 华为技术有限公司 视讯设备控制方法、装置及视讯系统
CN103369214A (zh) * 2012-03-30 2013-10-23 华晶科技股份有限公司 图像获取方法与图像获取装置
CN102737235B (zh) * 2012-06-28 2014-05-07 中国科学院自动化研究所 基于深度信息和彩色图像的头部姿势估计方法
CN102737235A (zh) * 2012-06-28 2012-10-17 中国科学院自动化研究所 基于深度信息和彩色图像的头部姿势估计方法
CN103793680B (zh) * 2012-10-29 2018-10-23 北京三星通信技术研究有限公司 用于估计头部姿势的设备和方法
CN103793680A (zh) * 2012-10-29 2014-05-14 北京三星通信技术研究有限公司 用于估计头部姿势的设备和方法
WO2014161306A1 (zh) * 2013-09-12 2014-10-09 中兴通讯股份有限公司 数据显示方法、装置及终端、显示控制方法及装置
CN104464579A (zh) * 2013-09-12 2015-03-25 中兴通讯股份有限公司 数据显示方法、装置及终端、显示控制方法及装置
WO2015139231A1 (en) * 2014-03-19 2015-09-24 Intel Corporation Facial expression and/or interaction driven avatar apparatus and method
CN106104633A (zh) * 2014-03-19 2016-11-09 英特尔公司 面部表情和/或交互驱动的化身装置和方法
CN105809664A (zh) * 2014-12-31 2016-07-27 北京三星通信技术研究有限公司 生成三维图像的方法和装置
CN105809664B (zh) * 2014-12-31 2020-03-17 北京三星通信技术研究有限公司 生成三维图像的方法和装置
CN105554285A (zh) * 2015-12-22 2016-05-04 努比亚技术有限公司 拍摄人物照片的处理方法、智能移动终端
CN107204044A (zh) * 2016-03-17 2017-09-26 深圳多哚新技术有限责任公司 一种基于虚拟现实的画面显示方法及相关设备
CN107204044B (zh) * 2016-03-17 2023-05-05 深圳多哚新技术有限责任公司 一种基于虚拟现实的画面显示方法及相关设备
CN108885683B (zh) * 2016-03-28 2020-05-22 北京市商汤科技开发有限公司 用于位姿估计的方法和系统
US10891471B2 (en) 2016-03-28 2021-01-12 Beijing Sensetime Technology Development Co., Ltd Method and system for pose estimation
CN108885683A (zh) * 2016-03-28 2018-11-23 北京市商汤科技开发有限公司 用于位姿估计的方法和系统
CN107665330A (zh) * 2016-07-29 2018-02-06 本田技研工业株式会社 检测注意力分散和向下垂直头部姿势的系统和方法
CN107665330B (zh) * 2016-07-29 2022-11-11 本田技研工业株式会社 在车辆中检测头部姿势的系统、方法和计算机可读介质
WO2018219180A1 (zh) * 2017-05-31 2018-12-06 深圳市商汤科技有限公司 确定人脸图像质量的方法和装置、电子设备和计算机存储介质
CN108230293A (zh) * 2017-05-31 2018-06-29 深圳市商汤科技有限公司 确定人脸图像质量的方法和装置、电子设备和计算机存储介质
US11182589B2 (en) 2017-05-31 2021-11-23 Shenzhen Sensetime Technology Co., Ltd. Methods and apparatuses for determining face image quality, electronic devices, and computer storage media
CN111480164B (zh) * 2018-01-09 2024-03-19 华为技术有限公司 头部姿势和分心估计
CN111480164A (zh) * 2018-01-09 2020-07-31 华为技术有限公司 头部姿势和分心估计
CN113811920A (zh) * 2019-05-16 2021-12-17 高通股份有限公司 分布式姿势估计

Also Published As

Publication number Publication date
JP4758073B2 (ja) 2011-08-24
KR20040103403A (ko) 2004-12-08
US7391888B2 (en) 2008-06-24
US20120139832A1 (en) 2012-06-07
EP1484665A2 (en) 2004-12-08
US20080298637A1 (en) 2008-12-04
BRPI0401782A (pt) 2005-01-18
US20040240708A1 (en) 2004-12-02
CN100405261C (zh) 2008-07-23
US8135183B2 (en) 2012-03-13
KR101043458B1 (ko) 2011-06-23
EP1484665A3 (en) 2012-06-20
US20110050568A1 (en) 2011-03-03
JP2004362569A (ja) 2004-12-24
US7844086B2 (en) 2010-11-30
US8457358B2 (en) 2013-06-04

Similar Documents

Publication Publication Date Title
CN1573660A (zh) 头部姿势估算方法和系统
Kristan et al. The seventh visual object tracking vot2019 challenge results
KR102292028B1 (ko) 제스처 인식 방법, 장치, 전자 기기 및 저장 매체
Ribeiro et al. Human activity recognition from video: modeling, feature selection and classification architecture
EP3168810B1 (en) Image generating method and apparatus
CN110460772A (zh) 摄像头自动调节方法、装置、设备和存储介质
US8306282B2 (en) Hierarchical face recognition training method and hierarchical face recognition method thereof
CN1892702A (zh) 追踪装置
CN1794265A (zh) 基于视频的面部表情识别方法及装置
Zhao et al. Information Theoretic Key Frame Selection for Action Recognition.
EP2370932B1 (en) Method, apparatus and computer program product for providing face pose estimation
JP2007094633A (ja) 顔検出装置ならびにプログラム
EP2535787B1 (en) 3D free-form gesture recognition system and method for character input
CN110569775A (zh) 一种识别人体姿势的方法、系统、存储介质及电子设备
Li et al. SHREC'16 Track: 3D Sketch-Based 3D Shape Retrieval
CN111798551A (zh) 虚拟表情生成方法及装置
CN117581275A (zh) 眼睛注视分类
JP2000322577A (ja) 画像照合装置及びその画像照合方法並びにその制御プログラムを記録した記録媒体
JP2019212148A (ja) 情報処理装置及び情報処理プログラム
Lv et al. 3D human action recognition using spatio-temporal motion templates
JP2006293720A (ja) 顔検出装置、顔検出方法、及び顔検出プログラム
Hoque et al. Computer vision based gesture recognition for desktop object manipulation
JP2006285959A (ja) 顔判別装置の学習方法、顔判別方法および装置並びにプログラム
Behera et al. Rotation axis focused attention network (rafa-net) for estimating head pose
JP2006244385A (ja) 顔判別装置およびプログラム並びに顔判別装置の学習方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MICROSOFT TECHNOLOGY LICENSING LLC

Free format text: FORMER OWNER: MICROSOFT CORP.

Effective date: 20150422

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20150422

Address after: Washington State

Patentee after: Micro soft technique license Co., Ltd

Address before: Washington State

Patentee before: Microsoft Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20080723

Termination date: 20200531