CN1672120A - 使用可变形装置的人机接口 - Google Patents
使用可变形装置的人机接口 Download PDFInfo
- Publication number
- CN1672120A CN1672120A CNA038179687A CN03817968A CN1672120A CN 1672120 A CN1672120 A CN 1672120A CN A038179687 A CNA038179687 A CN A038179687A CN 03817968 A CN03817968 A CN 03817968A CN 1672120 A CN1672120 A CN 1672120A
- Authority
- CN
- China
- Prior art keywords
- input
- variation
- input object
- computing system
- programmed instruction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/0304—Detection arrangements using opto-electronic means
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
- A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
- A63F2300/1093—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera using visible light
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- User Interface Of Digital Computer (AREA)
- Position Input By Displaying (AREA)
- Testing Or Calibration Of Command Recording Devices (AREA)
- Switches With Compound Operations (AREA)
- Actuator (AREA)
Abstract
在一个实施例中,提供了一种用于触发在计算系统上运行的程序的输入命令的方法。所述方法以监视在捕获装置前面的视域开始。然后,识别在所述视域之内的输入对象。分析所检测的输入对象形状上的变化。接下来,检测输入对象的变化。然后,在所述计算系统上运行的程序触发输入命令。所述触发是所检测的输入对象的变化的结果。还提供了一种输入检测程序和计算系统。
Description
发明背景
1.发明领域
本发明总体上涉及计算机系统的手势输入,并且尤其涉及可视地跟踪能够被变形的装置,其中所述变形触发在计算机系统一部分上的动作。
2.相关领域描述
在搜索用于计算系统的替代输入装置方面一直都具有很大的兴趣。视觉手势输入装置正日益变得更为流行。一般说来,手势输入涉及使得诸如计算系统、视频游戏控制台、智能器具等之类的电子装置,对由跟踪对象的摄像机所捕获的某个手势作出反应。
使用数字摄像机跟踪移动对象并且处理所述视频图像以便生成各种显示已为现有技术所知。例如,用于生成运动事件的动画视频模型的一个这种应用已经由Segen,美国专利号6,072,504所公开。依照这种系统,在比赛期间使用多个摄像机来跟踪网球的位置,并且使用把在球场中的三维点与在照相机视域内数字图像的二维点(即像素)联系起来的一组方程式。在给定数字图像中解析的球的像素位置可以与比赛中球的具体三维位置有关,并且使用来自各个视频图像的三角测量,通过最小平二乘法来分析一连串图像帧以便使球的位置适合描述球的运动的无阻段的轨道方程。
如在Segen的某个细节中所述,一旦已经确定对象的位置和动作的三维描述,在现有技术中存在各种为大家所熟知的方法,用于使用使在视频游戏环境中适当对象运动活动起来的程序来生成所述对象的动画表示。也就是说,Segen关心从在时间点所捕获的多个二维视频图像确定运动中的对象的三维位置。一旦已知“真实”对象的三维位置,那么可以使用该信息来依照许多不同的方式控制游戏程序,所述方式通常为游戏程序员所知。
然而,Segen的系统依赖于多个摄像机来根据三角测量展开关于所述对象的位置信息。此外,Segen的所检测对象是简单的球体,其不要求关于所述对象在空间上的取向(例如倾斜)的信息。从而,Segen的系统不能使用单个摄像机从二维视频图像来重构是不管是移动着的还是静止的对象的位置和取向。
通常游戏程序具有由三维几何形状组合形成的虚拟对象,其中在运行游戏程序期间,由使用诸如游戏杆、游戏控制器或其它输入装置之类的输入装置输入的控制输入参数来确定所述对象相互之间的三维描述(位置和取向)。然后,把所述虚拟对象的三维位置和取向投射到二维显示中(具有背景、照明和阴影、纹理等等),以便借助于游戏控制台的再现处理器功能来创建三维透视场景或重现。
举例来说,能有这样的“虚拟对象”,这种“虚拟对象”在游戏显示中形成相当于一个在“真实”对象周围频繁来回移动的运动图像。为了显示所述虚拟对象,所计算的三维信息用于把所述“虚拟对象”的位置和取向固定在游戏控制台的存储空间中,继而用已知的处理来执行所述图像的再现以便把三维信息转换为现实的透视显示。
然而,尽管有上述知识和技术,还有问题防碍成功的对象跟踪,并且一个特别困难的问题是只精确地提取那些无歧义地对应于感兴趣对象的视频图像的像素。例如,尽管可以相对轻松地完成具有一种颜色的对象相对于另一种颜色的纯色背景的运动,其中所述对象和背景颜色互相变化明显,但是在多颜色或非静态背景的情况下,跟踪对象,即使跟踪涂了明亮颜色的对象,也不这样容易。照明的变化也极大影响摄像机所看到的对象的直观颜色,从而,依赖检测特定的着色对象的对象跟踪方法对错误极为敏感,或者要求随照明提交变化也有恒定的再校准。用于视频游戏程序的典型的家庭使用环境比使用常规对象跟踪计算机视觉系统可能的情况要求更大的灵活性和稳定性。
从而,在家庭使用环境下必须能由单个相对便宜的照相机来跟踪替代输入装置以便被广泛接受。另外,所述替代输入装置必须是方便使用的。虽然已经试验过戴在用户手上的手套,其中所述手套包括由照相机跟踪来捕获输入的传感器,但是用户却没有利用所述手套。对手套缺乏热心的一个原因是必须不断地脱下并戴上手套,这很不方便。
从而,需要解决现有技术的诸问题以便提供能够由单个摄像机跟踪的输入装置,其中所述输入装置对所述用户来说是方便的。
发明内容
一般地说,本发明通过提供如下的一种方法和系统来满足这些需要,所述方法和系统提供了一种能够由单个摄像机跟踪的无源输入装置。应当理解,可以依照多种方式来实现本发明,所述方式包括作为过程、系统或装置。下面描述了几个本发明的有创造力的实施例。
在一个实施例中,提供了一种用于触发在计算系统上运行的程序的输入命令的方法。所述方法以监视在捕获装置前面的视域开始。然后,识别所述视域之内的输入对象。分析所检测的输入对象形状的变化。接下来,检测输入对象的变化。然后,在计算系统上运行的程序触发输入命令。所述触发是所检测的输入对象变化的结果。
在另一实施例中,提供了一种输入检测程序。所述输入检测程序在计算设备上执行并且具有用于确定何时触发主程序的输入命令的程序指令。所述输入检测程序包括用于监控在捕获装置前面的视域的程序指令。所述捕获装置向所述输入检测程序提供数据。包括用于识别在所述视域内输入对象的程序指令。还包括用于检测所述输入对象的物理变化的程序指令,和用于触发在计算设备上运行的主程序的输入命令的程序指令,其中所述触发是所检测的输入对象的物理变化的结果。
在又一实施例中,提供了一种计算系统。所述计算系统具有输入检测系统。所述输入检测系统确定何时触发经由计算系统运行的主程序的输入命令。所述计算系统包括捕获装置。包括用于监视在所述捕获装置前面的视域的电路和用于识别在所述视域内输入对象的电路。包括用于检测输入对象的物理变化的电路和用于触发经由计算系统运行的主程序的输入命令。所述触发是所检测的输入对象的物理变化的结果。
在又一实施例中,提供了一种计算系统。所述计算系统具有输入检测系统。所述输入检测系统确定何时触发经由计算系统运行的主程序的输入命令。所述计算系统包括用于捕获图像数据的装置和用于监视在所述捕获装置前面的视域的装置。包括用于识别在所述视域内输入对象的装置和用于检测输入对象的物理变化的装置。还包括用于触发经由计算系统运行的主程序的输入命令的装置,其中所述触发是所检测的输入对象的物理变化的结果。
从下列详细说明,结合附图以举例形式说明本发明的原理,本发明的其它方面和优点将变得显而易见。
附图说明
结合附图参考下列描述可以很好地理解本发明及其进一步的优点。
图1是依照本发明一个实施例能够跟踪用户输入装置的整体系统配置的高层示意图。
图2是依照本发明一个实施例适合于供作为替代输入装置的受操纵对象使用的视频游戏控制台的组件配置的框图。
图3是依照本发明一个实施例用于在用户输入装置正被操纵着之时来跟踪并区别对应于所述用户输入装置的像素组的功能块的框图。
图4A是依照本发明一个实施例的可变形用户输入装置的示意图,所述可变形用户输入装置被配置成在X、Y方向上加以跟踪并且被启用来触发要在监视器上加以显示的事件。
图4B是依照本发明一个实施例从前视图所看到的可变形装置的纵横比变化的简化示意图。
图5是依照本发明一个实施例的可变形用户输入装置的替代实施例的示意图。
图6A是参考图4A、4B和5所讨论的所述可变形用户输入装置的又一实施例的简化示意图。
图6B是处于松弛位置和闭合位置下的可变形装置的简化示意图。
图6C是图6A的替代,其中使用两个可变形装置而不是一个。
图7是依照本发明一个实施例用于触发在计算系统上运行的程序的输入命令的方法操作的流程图。
图8是依照本发明一个实施例用于触发视频游戏的游戏控制命令的方法操作的流程图。
具体实施方式
本发明公开了一种能够被变形的输入装置,其中由摄像机来捕获所述变形以便触发一个事件。在下面描述中,阐明了许多具体细节以便提供对本发明的更彻底的理解。然而,对本领域技术人员来说显而易见的是:在没有这些具体细节中的一些或全部的情况下,也是可以实施本发明的。在其它例子中,没有详细描述众所周知的过程步骤以便不会不必要地使本发明变得模糊。
本发明的实施例提供了一种用户输入装置,当所述用户输入装置处在摄像机的视域中时,它能够被变形。诸如所述输入装置纵横比的变化之类的变形由所述摄像机捕获,并且所述变型启动一个可以显示在监视器上的事件或动作。例如,输入装置的变形可以表示一次用于打开个人计算机的文件或窗口,抓取、拖动、操纵计算机游戏的图像,乃至起动智能器具的鼠标点击。应当理解,所述输入装置是无源器件,即所述输入装置是可以由外力变形的对象。从而,所述输入装置不产生向接收器发送的任何活动信号。如由这里描述的实施例所解释,所述用户输入装置允许可以与鼠标点击有关的体验,当其对所述用户方便时。
图1是依照本发明一个实施例能够跟踪用户输入装置的整体系统配置的高层示意图。这里,用户输入装置300可以通过加压以便一起挤压顶部和底部来改变其纵横比。在一个实施例中,所述变化是由数字摄像机190捕获的纵横比。数字摄像机190与视频游戏控制台60通信。在一个实施例中,事件是在诸如游戏控制台之类的计算系统上运行的主程序的输入命令。视频游戏控制台60与监视器80通信。从而,在用户输入装置纵横比方面的变化触发了允许用户操纵在监视器80上的图像的事件。应当理解,当用户输入装置在x、y或z平面中移动时,其被跟踪。在这些平面上的运动考虑到与鼠标相似的点击和拖动功能。也就是说,通过挤压用户输入装置300来改变纵横比并且通过移动变形时的所述输入装置,用户可以移动或操纵在显示监视器上的图像。虽然这里描述的是视频游戏控制台,但是这里描述的实施例适用于个人计算机及其他消费者电子设备,诸如电视、数字化视频光盘(DVD)播放器、智能器具等。
仍然参照图1,在一个实施例中,用户输入装置300可以是能适合在用户手掌内的可变形半圆柱。用户输入装置300可以由通过施加压力而被变形并且当解除压力时恢复其原形的任何适当的材料构成。用户把输入装置定位在摄像机190的视域中,所述摄像机190可以是连接到游戏控制台60的输入/输出端口的USB网络照相机(web cam)或数字摄像放像机,所述游戏控制台60诸如由索尼计算机娱乐有限公司制造的“游戏站(Playstation)2”。当所述用户把用户输入装置300移动到照相机190的视域中时,由照相机190获得用户输入装置的物理特征,诸如大小、形状、颜色等。然后,执行处理以便隔离并区别只对应于所述用户输入装置的像素组。计算所述圆柱的三维描述,包括其在三维空间中的位置和取向,并且把该描述相应地存储在游戏控制台60的主存储器中。然后,使用本领域中已知的再现技术,使用所述对象的三维描述来产生在游戏程序中的动作,其显示在监视器80的显示屏上。例如,在监视器80上的对象可以被遍及所述游戏场景移动,对应于用户输入装置300的移动。当所述用户改变用户输入装置300的位置和取向同时已经检测到纵横比变化时,连续地更新在存储器中所述对象的三维描述和在图像存储器的再现区域中所述对象的相应再现,以致也改变在监视器80上所述对象的位置和取向。从而,由用户向无源输入装置施加力所引起的视觉触发产生动作,诸如由与计算系统相关联的主程序执行的输入命令。
图2是依照本发明一个实施例适合于供作为替代输入装置的受操纵对象使用的视频游戏控制台的组件配置的框图。依照本发明游戏控制台60构成整体娱乐系统110的组件,如图2所示娱乐系统110装备有:多处理器单元(MPU)112,用于控制整体系统110;主存储器114,用于各个程序操作并且用于数据存储;向量计算单元116,用于执行几何处理所必需的浮点向量计算;图像处理器120,用于根据来自MPU112的控制产生数据,并且用于向监视器80(例如CRT)输出视频信号;图形接口(GIF)122,用于经由在MPU 112或向量计算单元116和图像处理器120之间的传输总线来执行调节等;输入输出端口124,用于使接收和传输往返于外围设备的数据方便进行;由例如闪速存储器构成的内部OSD功能性ROM(OSDROM 126),用于执行内核控制等,和具有日历和时间功能的实时时钟128。
主存储器114、向量计算单元116、GIF 122、OSDROM 126、实时时钟(RTC)128和输入输出端口124经由数据总线130与MPU 112相连。图像处理单元138也连接到总线130,所述图像处理单元138是用于扩展压缩运动图像和纹理图像从而展开所述图像数据的处理器。例如,所述图像处理单元138可以提供用于解码依照MPEG2或MPEG4标准格式的位流并将其展开、宏块解码、执行逆向离散余弦变换、颜色空间转换、矢量化等的功能。
音响系统由以下装置构成:声音处理单元SPU 171,用于根据来自MPU 112的指令产生音乐或其它音响效果;声音缓冲器173,通过SPU 171可以把波形数据记录在其中;和扬声器175,用于输出由SPU171产生的音乐或其它音响效果。应当理解的是,扬声器175可以作为监视器80的一部分而并入或可以作为附着于外接扬声器175的独立音频线路输出连接来提供。
还提供了连接到总线130的通信接口140,其是具有输入/输出数字数据并且用于依照本发明输入数字内容的功能的接口。例如,通过通信接口140,可以向网络上的服务器终端发送用户输入数据并且从所述终端上接收状态数据以便适应在线视频游戏应用。输入装置132(又名控制器)和光盘装置136与输入输出端口124相连,所述输入装置132用于输入相对于所述娱乐系统110的数据(例如键输入数据或坐标数据),所述光盘装置136用于再现例如CD-ROM等之类的光盘70的内容,其上有各种程序和数据(即关于对象的数据、纹理数据等)。
作为对所述输入装置的进一步扩展或替代,本发明包括连接到输入输出端口124的数字摄像机190。可以用包括串行和USB接口的一个或多个输入接口来配备输入输出端口124,其中数字摄像机190可以有益地利用适于供照相机190使用的USB输入或任何其它常规的接口。
上述图像处理器120包括再现引擎170、接口172、图像存储器174和显示控制装置176(例如可编程的CRT控制器等等)。所述再现引擎170与从MPU 112所供应的再现命令一致且通过存储器接口172来执行用于再现所述图像存储器中预先确定的图像数据的操作。所述再现引擎170具有遵照例如NTSC或PAL标准,并且尤其以比每1/60到1/30秒的间隔十到几十次更大的速率来实时地再现320×240像素或640×480像素的图像数据的能力。
总线178连接在存储器接口172和再现引擎170之间,并且第二总线180连接在存储器接口172和图像存储器174之间。第一总线178和第二总线180分别具有例如128位的位宽,并且所述再现引擎170能够相对于图像存储器执行高速再现处理。图像存储器174使用统一存储器结构,其中例如可以把纹理再现区域和显示再现区域设置在一致的区域中。
显示控制器176被构造成使得经由存储器接口172向图像存储器174的纹理再现区域写入经由光盘装置136从光盘70获取的纹理数据,或已经创建在主存储器114上的纹理数据。经由存储器接口172读出已经在图像存储器174的显示再现区域中再现的图像数据,向监视器80输出相同的数据借此将其显示在屏幕上。
图3是依照本发明一个实施例用于在用户输入装置正被操纵着之时来跟踪并区别对应于所述用户输入装置的像素组的功能块的框图。应当理解的是,由软件来实现用块所描述的功能,所述软件由在游戏控制台60中的MPU 112执行。此外,并非所有在图3中由所述块所指示的功能都用于每个实施例。
最初,经由输入/输出端口接口124把从所述照相机输入的像素数据提供给游戏控制台60,以便使得接着的过程能够在其上加以执行。首先,当例如以光栅为基础采样所述图像的每个像素时,执行颜色分段处理步骤S201,借此确定每个像素的颜色并且把所述图像分成各种不同颜色的二维段。接下来,对于某些实施例,执行颜色过渡局部化步骤S203,借此更具体地确定其中不同颜色段邻接的区域,从而限定其中发生明显的颜色过渡的图像的位置。然后,执行几何处理步骤S205,所述步骤根据实施例而包括边缘检测过程或执行面积统计计算,以便从而用代数或几何术语来限定对应于感兴趣对象边缘的线、弯曲和/或多边形。例如,在图1中示出的用户输入装置情况下,所述像素面积将包括对应于所述用户输入装置的正交前视图的总体上呈矩形的形状。根据所述矩形的代数或几何描述,可以限定只对应于所述对象的像素组的中心、宽度、长度和二维取向。
在步骤S207依照将要结合随后描述的本发明优选实施例描述的算法来计算所述对象的三维位置和取向。三维位置和取向的数据还经历卡尔曼滤波的处理步骤S209以便改善性能。执行这种处理以便估计在时间点上所述对象将要去哪里,以及滤去不可能的并因此被认为是在真实数据集之外的假测量。使用卡尔曼滤波的另一原因是所述照相机190以30Hz生成图像,而典型的显示以60Hz运行,因此卡尔曼滤波填补在所述数据中的间隙,其被用来控制在所述游戏程序中的动作。经由卡尔曼滤波对离散数据的平滑在计算机视觉领域为大家所熟知,因此不再进一步的详细说明。
图4A是依照本发明一个实施例的可变形用户输入装置的示意图,所述可变形用户输入装置被配置成在X、Y方向上加以跟踪并且被启用来触发要在监视器上加以显示的事件。由摄像机190来跟踪可变形用户输入装置300。摄像机190与游戏控制台60通信,所述游戏控制台60又接着与监视器80通信。在一个实施例中,由数字摄像机190通过如上所述的颜色来跟踪可变形装置300。也就是说,所述用户输入装置是当其处在照相机190的视域中时能够被跟踪的明显不同的颜色。如同看见的那样,可变形装置300基本上是已经被切成两半的圆柱的一部分。也就是说,依照一个实施例可变形装置300可以适合于在手掌内。从而,随着可变形装置300变形,所述可变形装置的纵横比也随之变化并且被数字摄像机190所捕获。把所捕获的纵横比的变化传送到控制台60,所述控制台60接着又产生被触发的事件并将其显示在监视器80上。例如,可以与鼠标相似来使用可变形装置300以致可以访问一个对象或一个在窗口中的对象并来回移动它。
在一个实施例中,可以在点302抓取图像304并依照要求拖动或操纵。本领域技术人员将理解可以执行许多适当的操作,其中可变形装置300能够完成如鼠标的类似功能。当然,可变形装置300可用于玩视频游戏或任何其它适当的交互游戏,其中要求类似鼠标的功能。这里,把可变形装置300的纵横比的变化与鼠标点击相比较并且当其纵横比已经从初始位置变化时可以拖动所述图像。从而,用户输入装置可用于玩卡片游戏。本领域技术人员将理解存在许多应用,其中可以应用这里描述的类似鼠标的功能。
图4B是依照本发明一个实施例从前视图所看见的可变形装置的纵横比变化的简化示意图。可变形装置处于松弛位置300A。随着用户向下挤压该可变形装置,纵横比转变为闭合位置300B。应当理解,这里描述的输入装置向用户提供了触觉/触知的反馈,其相当于一个正被触发着的动作。
图5是依照本发明一个实施例的可变形用户输入装置的替代选实施例的示意图。这里,可变形用户输入装置310可以依照由用户施加于所述可变形装置上的力以松弛状态310A或压下状态310B存在。因而,在这里,可变形装置310处于可伸缩的球体形式。更一般地说,任何类型的可变形球体都可以由这里描述的视觉跟踪系统跟踪。应当理解,在该实施例中,由视频数字摄象机190所看到的可变形装置310的面积保持恒定。从而,除捕获可变形装置310的X和Y二维运动之外,数字摄像机190还可以捕获在Z方向上的运动。所述Z方向可用于向前或向后-即采用如监视器80所示出的纵深方式来拉动诸如使文件304B之类的文件。另外,可以使由可变形装置310抓取的显示对象显得更小或更大,取决于可变形装置310移动所沿着的Z轴的方向。例如,在一个实施例中,如果把可变形装置310拉近照相机190,那么所显示的对象将显得更大,而如果把可变形装置310远离照相机190,那么所显示的对象将在监视器80上显得更小。本领域技术人员将理解通过X、Y和Z方向上运动的组合可以使所显示的对象改变其大小和位置。这里使用角度theta(θ)来确定在三维空间中的运动。本领域技术人员将理解theta是在照相机190的视图平面方向上的角度。
仍然参照图5,所述照相机捕获可变形装置310的位置。把所述位置信息传送到游戏控制台60。如上参考图1-3所述,由游戏控制台60来处理所述位置信息。随着所述可变形装置的纵横比或相对位置变化,所述处理把所述运动转化为正在监视器80上显示的对象。应当理解,在本发明一个实施例中,当在可变形装置的纵横比变化时可以产生音频信号。另外,可以把无源按钮下压的信号包括在所述可变形装置中。因此,即使计算系统没有检测到点击声,所述用户也会感受到点击体验。
在一个实施例中,通过分析在所述图像中的像素来确定x、y、z、θ和挤压参数。应当理解,在所述图像中的像素是被跟踪的所述对象—即可变形装置—的一部分。特别地是,X与在所述图像中像素的水平质心成正比。Y与在所述图像中的像素的垂直质心成正比。Z与所述像素面积或一次二阶矩(principle second moment)(产生不同的准确性/健壮性行为)的平方根成反比。Theta(θ)对应于所述一次二阶矩的旋转角。挤压参数,诸如挤压量-即在纵横比上的变形或变化量,与一次二阶矩的平方根除以最小二阶矩的平方根成正比。可以从所述图像单次遍历来计算上述的每一个参数。因而,这里描述的实施非常快并且对噪声-即视觉错误的敏感性比其它通常使用的度量要低。
图6A是参考图4A、4B和5所讨论的所述可变形用户输入装置的又一实施例的简化示意图。这里,可变形装置320包括连接在一起的上面部分和下面部分以致可以通过施加把这些部分集合起来的力来改变在所述上面和下面部分之间的距离。从而,随着把压力施加在可变形装置320的两端时,所述纵横比将随之变化。然而,可变形装置320的面积保持恒定,因此,照相机190可以跟踪可变形装置在X、Y和Z平面中的运动。如上所述,可变形用户输入装置320可以由能够变形并且恢复原形的任何适当的材料构成。
图6B是处于松弛位置320A和闭合位置320B下的可变形装置320的简化示意图。本领域技术人员将理解的是,如上所述,由照相机190检测的可变形装置320的面积保持相同。也就是说,处于松弛状态320A下的像素的数目与处于下压状态320B下的像素的数目相同。因此,可以在三维空间中跟踪所述运动。
图6C是图6A的替代,其中使用两个可变形装置而不是一个。这里,用户可以在每个手中持有每个可变形装置320A-1和320A-2。可变形装置320A-1和320A-2可用来抓取或操纵在显示屏80上的图像。装置320A-1和320A-2可以对相同的图像或不同的图像操作。在一个实施例中,持有一或两个可变形装置320的用户的图像可以由照相机190捕获以致持有一个或多个可变形用户输入装置320的用户的图像可以显示在监视器80上。
这里描述了实施例还可以使用定向反光材料。所述定向反光材料可以是磁带、油漆、塑料等的形式,其可以应用于所述可变形装置的一个面,诸如面对照相机190的可变形装置320的前面部。这里,照相机190往往包括将要被投向可变形装置的光。如通常所知,将把从所述定向反光材料反射的光投向到照相机190。所述光源可以是任何可见或不可见光的波长。在一个实施例中,所述光源是红外光源。
图7是依照本发明一个实施例用于触发在计算系统上运行的程序的输入命令的方法操作的流程图。所述方法以操作400开始,在那里提供了与计算机通信的捕获装置。在一个实施例中,所述捕获装置是诸如网络照相机之类的数字照相机。所述计算系统可以是一个具有如参考图1-3所描述的监视器的控制台。然后,所述方法前进到操作402,在那里监视捕获区域。在一个实施例中,所述捕获区域是所述捕获装置的视域。
然后,图7的方法移到操作404,在那里检测所述捕获区域之内的输入装置,并且识别所述输入装置的初始形状。这里,可以由用户把参考图4-6C所描述的输入装置带入捕获装置的视域中。所述输入装置的形状可以是任何合适的形状,诸如相对于图4-6C描述的用户输入装置。在一个实施例中,所述输入装置被配置成以致可以修改能够由捕获装置监视的正投影的纵横比。然后,所述方法前进到操作406,在那里识别所述输入装置形状的变化。例如,用户可以挤压输入装置,从而改变所述输入装置的纵横比。然后,所述方法继续到操作408,在那里响应于所检测的输入装置形状的变化,在运行于计算机的计算机程序上触发活动输入,所述计算机与所述捕获装置通信。在一个实施例中,用户输入装置的形状发生改变时,而对应于所述输入装置的图标被定位在监视器上的图像之上。在形状上的变化导致图像要被选择,与鼠标点击相似。在另一实施例中,在保持所述用户输入装置的改变的形状的同时用户输入装置的运动致使所选择的图像移动或改变。应当理解,可以包括多个用户输入装置。例如,用户可以在每个手中持有一个用户输入装置。
图8是依照本发明一个实施例用于触发视频游戏的游戏控制命令的方法操作的流程图。所述方法以操作410开始,在那里提供了用于玩视频游戏的游戏控制台。把所述视频游戏显示在屏幕上。在一个实施例中,所述游戏控制台是“游戏站2”游戏控制台。然后,所述方法继续到操作412,在那里提供了与所述游戏控制台耦合的视频捕获装置。在一个实施例中,所述捕获装置是诸如网络照相机之类的数字照相机。然后,所述方法移到操作414,在那里监视在捕获装置前面的捕获区域。如上所述,在一个实施例中,所述捕获区域是捕获装置的视域。
然后,图8的方法前进到操作416,在那里检测所述捕获区域之内的输入装置并且识别所述输入装置的初始形状。这里,可以由用户把参考图4-6C所描述的输入装置带入捕获装置的视域中。在一个实施例中,捕获装置通过把来自靠近捕获装置的光源的光发送出去来检测所述输入装置。在该实施例中,输入装置往往包括定向反光材料,所述定向反光材料被配置为把光直接反射回到产生所述光的源。然后,所述方法前进到操作418,在那里识别所述输入装置形状的变化。例如,用户可以挤压输入装置,从而改变所述输入装置的纵横比。然后,所述方法继续到操作420,在那里响应于所检测的输入装置形状上的变化,在运行于游戏控制台的计算机程序上触发游戏控制命令,所述游戏控制台与所述捕获装置通信。在一个实施例中,在保持所述用户输入装置的改变的形状的同时用户输入装置的运动使得所选择的图像移动或改变大小。在另一实施例中,纵横比改变的度表明在视频游戏期间紧握的力量。例如,纵横比的变化越大,用于特定视频游戏特征的紧握越紧。
总之,这里规定的可变形装置纵横比上的变化触发可与鼠标点击或抓取操作相比的事件或动作。应当理解,通过纵横比上的变化可以触发许多事件。例如,可以访问下拉菜单,可以玩视频游戏,可以抓取对象,使对象前进、后退、重叠或分层等。此外,通过挤压所述用户输入装置的动作来改变其纵横比,可以模拟事件,诸如按下按钮或抓取动作。在一个实施例中,捕获所述用户输入装置形状变化的照相机被配置为使用颜色跟踪所述装置。做为选择,所述照相机可以使用光来跟踪所述装置,定向反光材料被应用到具有所述可变形装置。这里描述的可变形装置可以是任何适当的形状以致所述用户在不必使用鼠标即接收触觉的/触知的反馈的情况下就可以体验点击的感觉。实实际上,在用户不必戴上手套的情况下就实现了手套的功能。虽然已经相对于视频游戏控制台描述了上述实施例,但是所述实施例意味着示例性的而不是限制性的。这里描述的可变形装置还可以应用于个人计算机,消费者电子设备,诸如电视、VCR、家庭影院系统等以及诸如厨房器具等之类的智能装置。本领域的技术人员将理解上述实施例适用于运行视频游戏以及在线视频游戏的游戏控制台,其中用户访问来自服务器的视频游戏。
本发明可以使用涉及存储在计算机系统中的数据的各种计算机实现的操作。这些操作是那些要求物理量的物理操纵的操作。通常,但并不一定是,这些量采取能够存储、转送、结合、比较及其它操作的电、磁信号的形式。此外,所执行的操纵常常用术语是指,诸如生成、识别、确定或比较。
形成为本发明一部分的这里所描述的任何操作都是有效的机器操作。本发明还涉及一种用于执行这些操作的装置或设备。为所要求的目的可以专门地构造所述设备,或者其可以是由存储在计算机中的计算机程序来有选择地激活或配置的通用计算机。特别地是,各种通用机器可以与依照这里的教导所写入的计算机程序一起使用,或者构造一种用于执行所要求操作的专门设备更为方便。
尽管为了理解清楚已经相当详细地描述了上述发明,然而进行某些改变和修改是显而易见的。因此,本实施例被认视为是说明性而不是限制性的,并且本发明不限于这里给出的细节,而是在说明书的范围和等价物之内就可以进行修改。
Claims (20)
1.一种用于触发在计算系统上运行的程序的输入命令的方法,包括:
监视捕获装置前面的视域;
识别在所述视图域内的输入对象,分析所检测的输入对象形状上的变化;
检测所述输入对象的变化;以及
触发在计算系统上运行的程序的输入命令,所述触发是所检测的输入对象变化的结果。
2.如权利要求1所述的方法,其中所述视频捕获装置是数字摄像机。
3.如权利要求2所述的方法,其中所述数字摄像机跟踪所述输入对象的颜色。
4.如权利要求2所述的方法,其中所述数字摄像机跟踪来自所述输入对象的反射光。
5.如权利要求1所述的方法,其中所述检测所述输入对象的变化的方法操作还包括:
检测所述输入对象纵横比的变化;以及
检测所述输入对象位置的变化。
6.如权利要求1所述的方法,其中所述程序是视频游戏并且所述计算系统是游戏控制台。
7.如权利要求5所述的方法,其中所述输入命令致使显示在与所述计算系统耦合的监视器上的图像大小改变。
8.如权利要求5所述的方法,其中所述输入命令致使显示在与所述计算系统耦合的监视器上的图像被选择。
9.一种在计算设备上执行的输入检测程序,所述输入检测程序具有用于确定何时触发主程序的输入命令的程序指令,所述输入检测程序包括:
用于监视在捕获装置前面的视域的程序指令,所述捕获装置向所述输入检测程序提供数据;
用于识别所述视域之内的输入对象的程序指令;
用于检测所述输入对象物理变化的程序指令;以及
用于触发在所述计算设备上运行的主程序的输入命令的程序指令,所述触发是所检测的输入对象的物理变化的结果。
10.如权利要求9所述的输入检测程序,其中用于检测所述输入对象物理变化的程序指令包括:
用于检测所述输入对象纵横比的变化的程序指令;以及
用于检测所述输入对象位置的变化的程序指令。
11.如权利要求9所述的输入检测程序,其中所述计算设备是视频游戏控制台。
12.如权利要求9所述的输入检测程序,其中所述输入对象是可伸缩的球体。
13.如权利要求9所述的输入检测程序,其中用于触发输入命令的程序指令致使显示在与所述计算系统耦合的监视器上的图像大小改变。
14.一种用于与计算设备接口的输入装置,包括:
第一部分;和
与第一部分结合的第二部分,其中把所述输入装置配置为限定在第一状态下的第一纵横比和限定在第二状态下的第二纵横比,能够检测到的、在第一状态和第二状态之间的变化导致所述计算设备的输入命令。
15.如权利要求14所述的输入装置,其中第一部分和第二部分限定了半个圆柱。
16.如权利要求14所述的输入装置,其中把所述输入装置配置为基本上能握在人的手掌内。
17.如权利要求14所述的输入装置,其中第一部分和第二部分限定了球体。
18.如权利要求14所述的输入装置,其中第一部分限定了第一边缘并且第二部分限定了第二边缘,其中第一边缘基本上平行于第二边缘。
19.如权利要求18所述的输入装置,其中在第一和第二边缘之间限定了开口,所述开口能由施加于所述输入装置的外力加以闭合。
20.如权利要求14所述的输入装置,其中在第一状态和第二状态之间的变化导致一次可听得见的点击。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US10/207,677 | 2002-07-27 | ||
US10/207,677 US7102615B2 (en) | 2002-07-27 | 2002-07-27 | Man-machine interface using a deformable device |
PCT/US2003/022130 WO2004012073A2 (en) | 2002-07-27 | 2003-07-14 | Man-machine interface using a deformable device |
Publications (2)
Publication Number | Publication Date |
---|---|
CN1672120A true CN1672120A (zh) | 2005-09-21 |
CN1672120B CN1672120B (zh) | 2010-04-28 |
Family
ID=30770505
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN038179687A Expired - Fee Related CN1672120B (zh) | 2002-07-27 | 2003-07-14 | 使用可变形装置的人机接口 |
Country Status (9)
Country | Link |
---|---|
US (2) | US7102615B2 (zh) |
EP (1) | EP1552375B1 (zh) |
JP (1) | JP4234677B2 (zh) |
CN (1) | CN1672120B (zh) |
AT (1) | ATE340380T1 (zh) |
AU (1) | AU2003253931A1 (zh) |
DE (1) | DE60308541T2 (zh) |
TW (1) | TWI297866B (zh) |
WO (1) | WO2004012073A2 (zh) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101548547B (zh) * | 2007-08-16 | 2011-10-26 | 索尼电脑娱乐公司 | 利用与倾斜角信息相结合的视频输入的对象检测 |
CN102332090A (zh) * | 2010-06-21 | 2012-01-25 | 微软公司 | 划分在视野内的焦点区域 |
Families Citing this family (172)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7834855B2 (en) | 2004-08-25 | 2010-11-16 | Apple Inc. | Wide touchpad on a portable computer |
US7749089B1 (en) | 1999-02-26 | 2010-07-06 | Creative Kingdoms, Llc | Multi-media interactive play system |
US6585622B1 (en) | 1999-12-03 | 2003-07-01 | Nike, Inc. | Interactive use an athletic performance monitoring and reward method, system, and computer program product |
US20050037844A1 (en) * | 2002-10-30 | 2005-02-17 | Nike, Inc. | Sigils for use with apparel |
US8956228B2 (en) * | 1999-12-03 | 2015-02-17 | Nike, Inc. | Game pod |
US7878905B2 (en) | 2000-02-22 | 2011-02-01 | Creative Kingdoms, Llc | Multi-layered interactive play experience |
US7445550B2 (en) | 2000-02-22 | 2008-11-04 | Creative Kingdoms, Llc | Magical wand and interactive play experience |
US6761637B2 (en) | 2000-02-22 | 2004-07-13 | Creative Kingdoms, Llc | Method of game play using RFID tracking device |
US7066781B2 (en) | 2000-10-20 | 2006-06-27 | Denise Chapman Weston | Children's toy with wireless tag/transponder |
US6967566B2 (en) | 2002-04-05 | 2005-11-22 | Creative Kingdoms, Llc | Live-action interactive adventure game |
US20070066396A1 (en) | 2002-04-05 | 2007-03-22 | Denise Chapman Weston | Retail methods for providing an interactive product to a consumer |
US7161579B2 (en) | 2002-07-18 | 2007-01-09 | Sony Computer Entertainment Inc. | Hand-held computer interactive device |
US8947347B2 (en) | 2003-08-27 | 2015-02-03 | Sony Computer Entertainment Inc. | Controlling actions in a video game unit |
US7883415B2 (en) | 2003-09-15 | 2011-02-08 | Sony Computer Entertainment Inc. | Method and apparatus for adjusting a view of a scene being displayed according to tracked head motion |
US8797260B2 (en) | 2002-07-27 | 2014-08-05 | Sony Computer Entertainment Inc. | Inertially trackable hand-held controller |
US8073157B2 (en) * | 2003-08-27 | 2011-12-06 | Sony Computer Entertainment Inc. | Methods and apparatus for targeted sound detection and characterization |
US7809145B2 (en) | 2006-05-04 | 2010-10-05 | Sony Computer Entertainment Inc. | Ultra small microphone array |
US7623115B2 (en) | 2002-07-27 | 2009-11-24 | Sony Computer Entertainment Inc. | Method and apparatus for light input device |
US7646372B2 (en) | 2003-09-15 | 2010-01-12 | Sony Computer Entertainment Inc. | Methods and systems for enabling direction detection when interfacing with a computer program |
US7783061B2 (en) | 2003-08-27 | 2010-08-24 | Sony Computer Entertainment Inc. | Methods and apparatus for the targeted sound detection |
US8313380B2 (en) | 2002-07-27 | 2012-11-20 | Sony Computer Entertainment America Llc | Scheme for translating movements of a hand-held controller into inputs for a system |
US8686939B2 (en) | 2002-07-27 | 2014-04-01 | Sony Computer Entertainment Inc. | System, method, and apparatus for three-dimensional input control |
US7918733B2 (en) * | 2002-07-27 | 2011-04-05 | Sony Computer Entertainment America Inc. | Multi-input game control mixer |
US8139793B2 (en) | 2003-08-27 | 2012-03-20 | Sony Computer Entertainment Inc. | Methods and apparatus for capturing audio signals based on a visual image |
US7803050B2 (en) * | 2002-07-27 | 2010-09-28 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
US9393487B2 (en) * | 2002-07-27 | 2016-07-19 | Sony Interactive Entertainment Inc. | Method for mapping movements of a hand-held controller to game commands |
US8570378B2 (en) | 2002-07-27 | 2013-10-29 | Sony Computer Entertainment Inc. | Method and apparatus for tracking three-dimensional movements of an object using a depth sensing camera |
US7627139B2 (en) * | 2002-07-27 | 2009-12-01 | Sony Computer Entertainment Inc. | Computer image and audio processing of intensity and input devices for interfacing with a computer program |
US20060256081A1 (en) * | 2002-07-27 | 2006-11-16 | Sony Computer Entertainment America Inc. | Scheme for detecting and tracking user manipulation of a game controller body |
US8233642B2 (en) * | 2003-08-27 | 2012-07-31 | Sony Computer Entertainment Inc. | Methods and apparatuses for capturing an audio signal based on a location of the signal |
US20060264260A1 (en) * | 2002-07-27 | 2006-11-23 | Sony Computer Entertainment Inc. | Detectable and trackable hand-held controller |
US7850526B2 (en) | 2002-07-27 | 2010-12-14 | Sony Computer Entertainment America Inc. | System for tracking user manipulations within an environment |
US9174119B2 (en) | 2002-07-27 | 2015-11-03 | Sony Computer Entertainement America, LLC | Controller for providing inputs to control execution of a program when inputs are combined |
US7854655B2 (en) | 2002-07-27 | 2010-12-21 | Sony Computer Entertainment America Inc. | Obtaining input for controlling execution of a game program |
US7760248B2 (en) | 2002-07-27 | 2010-07-20 | Sony Computer Entertainment Inc. | Selective sound source listening in conjunction with computer interactive processing |
US10086282B2 (en) * | 2002-07-27 | 2018-10-02 | Sony Interactive Entertainment Inc. | Tracking device for use in obtaining information for controlling game program execution |
US7782297B2 (en) | 2002-07-27 | 2010-08-24 | Sony Computer Entertainment America Inc. | Method and apparatus for use in determining an activity level of a user in relation to a system |
US20070015559A1 (en) * | 2002-07-27 | 2007-01-18 | Sony Computer Entertainment America Inc. | Method and apparatus for use in determining lack of user activity in relation to a system |
US8160269B2 (en) * | 2003-08-27 | 2012-04-17 | Sony Computer Entertainment Inc. | Methods and apparatuses for adjusting a listening area for capturing sounds |
US9474968B2 (en) | 2002-07-27 | 2016-10-25 | Sony Interactive Entertainment America Llc | Method and system for applying gearing effects to visual tracking |
US20060282873A1 (en) * | 2002-07-27 | 2006-12-14 | Sony Computer Entertainment Inc. | Hand-held controller having detectable elements for tracking purposes |
US9682319B2 (en) | 2002-07-31 | 2017-06-20 | Sony Interactive Entertainment Inc. | Combiner method for altering game gearing |
US8206219B2 (en) | 2002-10-30 | 2012-06-26 | Nike, Inc. | Interactive gaming apparel for interactive gaming |
ATE454195T1 (de) * | 2002-10-30 | 2010-01-15 | Nike International Ltd | Kleidungsstücke mit bewegungserfassungsmarker für videospiele |
US9177387B2 (en) | 2003-02-11 | 2015-11-03 | Sony Computer Entertainment Inc. | Method and apparatus for real time motion capture |
US9446319B2 (en) | 2003-03-25 | 2016-09-20 | Mq Gaming, Llc | Interactive gaming toy |
US8072470B2 (en) | 2003-05-29 | 2011-12-06 | Sony Computer Entertainment Inc. | System and method for providing a real-time three-dimensional interactive environment |
US20070223732A1 (en) * | 2003-08-27 | 2007-09-27 | Mao Xiao D | Methods and apparatuses for adjusting a visual image based on an audio signal |
US7874917B2 (en) | 2003-09-15 | 2011-01-25 | Sony Computer Entertainment Inc. | Methods and systems for enabling depth and direction detection when interfacing with a computer program |
US8287373B2 (en) | 2008-12-05 | 2012-10-16 | Sony Computer Entertainment Inc. | Control device for communicating visual information |
US8323106B2 (en) | 2008-05-30 | 2012-12-04 | Sony Computer Entertainment America Llc | Determination of controller three-dimensional location using image analysis and ultrasonic communication |
US10279254B2 (en) | 2005-10-26 | 2019-05-07 | Sony Interactive Entertainment Inc. | Controller having visually trackable object for interfacing with a gaming system |
US9573056B2 (en) | 2005-10-26 | 2017-02-21 | Sony Interactive Entertainment Inc. | Expandable control device via hardware attachment |
GB2409596A (en) * | 2003-12-23 | 2005-06-29 | Nokia Corp | Handset with squeezable body |
US7663689B2 (en) | 2004-01-16 | 2010-02-16 | Sony Computer Entertainment Inc. | Method and apparatus for optimizing capture device settings through depth information |
US9024880B2 (en) * | 2004-08-11 | 2015-05-05 | Pixart Imaging Inc. | Interactive system capable of improving image processing |
TWI236289B (en) * | 2004-08-11 | 2005-07-11 | Pixart Imaging Inc | Interactive device capable of improving image processing |
US8547401B2 (en) | 2004-08-19 | 2013-10-01 | Sony Computer Entertainment Inc. | Portable augmented reality device and method |
US20060046851A1 (en) | 2004-08-24 | 2006-03-02 | Hewlett-Packard Development Company, L.P. | Remote gaming and projection |
US7561146B1 (en) * | 2004-08-25 | 2009-07-14 | Apple Inc. | Method and apparatus to reject accidental contact on a touchpad |
WO2006037014A2 (en) | 2004-09-27 | 2006-04-06 | Nielsen Media Research, Inc. | Methods and apparatus for using location information to manage spillover in an audience monitoring system |
US20060072009A1 (en) * | 2004-10-01 | 2006-04-06 | International Business Machines Corporation | Flexible interaction-based computer interfacing using visible artifacts |
KR100663515B1 (ko) * | 2004-11-08 | 2007-01-02 | 삼성전자주식회사 | 휴대 단말 장치 및 이를 위한 데이터 입력 방법 |
US7864159B2 (en) | 2005-01-12 | 2011-01-04 | Thinkoptics, Inc. | Handheld vision based absolute pointing system |
GB0505362D0 (en) * | 2005-03-15 | 2005-04-20 | Intelligent Earth Ltd | Interface control |
KR100687737B1 (ko) * | 2005-03-19 | 2007-02-27 | 한국전자통신연구원 | 양손 제스쳐에 기반한 가상 마우스 장치 및 방법 |
US7609249B2 (en) | 2005-04-21 | 2009-10-27 | Avago Technologies Ecbu Ip (Singapore) Pte. Ltd. | Position determination utilizing a cordless device |
JP4849829B2 (ja) | 2005-05-15 | 2012-01-11 | 株式会社ソニー・コンピュータエンタテインメント | センタ装置 |
US20060262188A1 (en) * | 2005-05-20 | 2006-11-23 | Oded Elyada | System and method for detecting changes in an environment |
TWI388206B (zh) | 2005-09-14 | 2013-03-01 | Panasonic Corp | 攝影裝置、固態攝影元件、影像生成方法 |
ATE546202T1 (de) * | 2005-09-15 | 2012-03-15 | Sony Computer Entertainment Inc | Kabelloser videospielcontroller und verfahren zum betreiben des kabellosen videospielcontrollers |
JP2007087100A (ja) * | 2005-09-22 | 2007-04-05 | Victor Co Of Japan Ltd | 電子機器システム |
EP1946203A2 (en) * | 2005-10-26 | 2008-07-23 | Sony Computer Entertainment America, Inc. | System and method for interfacing with a computer program |
US8549442B2 (en) * | 2005-12-12 | 2013-10-01 | Sony Computer Entertainment Inc. | Voice and video control of interactive electronically simulated environment |
US20070152983A1 (en) | 2005-12-30 | 2007-07-05 | Apple Computer, Inc. | Touch pad with symbols based on mode |
JP3989511B1 (ja) * | 2006-03-29 | 2007-10-10 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、ゲーム制御方法、ならびに、プログラム |
US20110014981A1 (en) * | 2006-05-08 | 2011-01-20 | Sony Computer Entertainment Inc. | Tracking device with sound emitter for use in obtaining information for controlling game program execution |
US8022935B2 (en) | 2006-07-06 | 2011-09-20 | Apple Inc. | Capacitance sensing electrode with integrated I/O mechanism |
US8913003B2 (en) * | 2006-07-17 | 2014-12-16 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer using a projection marker system |
US8310656B2 (en) | 2006-09-28 | 2012-11-13 | Sony Computer Entertainment America Llc | Mapping movements of a hand-held controller to the two-dimensional image plane of a display screen |
USRE48417E1 (en) | 2006-09-28 | 2021-02-02 | Sony Interactive Entertainment Inc. | Object direction using video input combined with tilt angle information |
US20080098448A1 (en) * | 2006-10-19 | 2008-04-24 | Sony Computer Entertainment America Inc. | Controller configured to track user's level of anxiety and other mental and physical attributes |
US20080096654A1 (en) * | 2006-10-20 | 2008-04-24 | Sony Computer Entertainment America Inc. | Game control using three-dimensional motions of controller |
US20080096657A1 (en) * | 2006-10-20 | 2008-04-24 | Sony Computer Entertainment America Inc. | Method for aiming and shooting using motion sensing controller |
US20080120115A1 (en) * | 2006-11-16 | 2008-05-22 | Xiao Dong Mao | Methods and apparatuses for dynamically adjusting an audio signal based on a parameter |
JP4720738B2 (ja) * | 2006-12-20 | 2011-07-13 | 日本ビクター株式会社 | 電子機器 |
US20080189661A1 (en) * | 2007-02-06 | 2008-08-07 | Jazzbo Technology Inc. | Video user interface |
EP2132617A1 (en) * | 2007-03-30 | 2009-12-16 | Koninklijke Philips Electronics N.V. | The method and device for system control |
US10504317B2 (en) | 2007-04-30 | 2019-12-10 | Cfph, Llc | Game with player actuated control structure |
US9176598B2 (en) | 2007-05-08 | 2015-11-03 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer with improved performance |
US9317110B2 (en) | 2007-05-29 | 2016-04-19 | Cfph, Llc | Game with hand motion control |
US20090062943A1 (en) * | 2007-08-27 | 2009-03-05 | Sony Computer Entertainment Inc. | Methods and apparatus for automatically controlling the sound level based on the content |
US8542907B2 (en) | 2007-12-17 | 2013-09-24 | Sony Computer Entertainment America Llc | Dynamic three-dimensional object mapping for user-defined control device |
US20090174679A1 (en) | 2008-01-04 | 2009-07-09 | Wayne Carl Westerman | Selective Rejection of Touch Contacts in an Edge Region of a Touch Surface |
KR100927009B1 (ko) * | 2008-02-04 | 2009-11-16 | 광주과학기술원 | 증강 현실에서의 햅틱 상호 작용 방법 및 그 시스템 |
CN102016877B (zh) | 2008-02-27 | 2014-12-10 | 索尼计算机娱乐美国有限责任公司 | 用于捕获场景的深度数据并且应用计算机动作的方法 |
US8368753B2 (en) | 2008-03-17 | 2013-02-05 | Sony Computer Entertainment America Llc | Controller with an integrated depth camera |
ATE540351T1 (de) * | 2008-04-01 | 2012-01-15 | Koninkl Philips Electronics Nv | Zeigevorrichtung zur verwendung auf einer interaktiven oberfläche |
US8543929B1 (en) * | 2008-05-14 | 2013-09-24 | Adobe Systems Incorporated | User ratings allowing access to features for modifying content |
US20100013812A1 (en) * | 2008-07-18 | 2010-01-21 | Wei Gu | Systems for Controlling Computers and Devices |
CN103337111B (zh) * | 2008-10-27 | 2016-04-27 | 索尼电脑娱乐公司 | 用于传送视觉信息的控制设备 |
US8961313B2 (en) | 2009-05-29 | 2015-02-24 | Sony Computer Entertainment America Llc | Multi-positional three-dimensional controller |
US8294047B2 (en) | 2008-12-08 | 2012-10-23 | Apple Inc. | Selective input signal rejection and modification |
JP4950230B2 (ja) * | 2009-01-14 | 2012-06-13 | Smk株式会社 | リモートコントロールシステム |
US20100201808A1 (en) * | 2009-02-09 | 2010-08-12 | Microsoft Corporation | Camera based motion sensing system |
US8527657B2 (en) | 2009-03-20 | 2013-09-03 | Sony Computer Entertainment America Llc | Methods and systems for dynamically adjusting update rates in multi-player network gaming |
US8342963B2 (en) | 2009-04-10 | 2013-01-01 | Sony Computer Entertainment America Inc. | Methods and systems for enabling control of artificial intelligence game characters |
US8142288B2 (en) | 2009-05-08 | 2012-03-27 | Sony Computer Entertainment America Llc | Base station movement detection and compensation |
US8393964B2 (en) | 2009-05-08 | 2013-03-12 | Sony Computer Entertainment America Llc | Base station for position location |
US20100295782A1 (en) | 2009-05-21 | 2010-11-25 | Yehuda Binder | System and method for control based on face ore hand gesture detection |
US9417700B2 (en) | 2009-05-21 | 2016-08-16 | Edge3 Technologies | Gesture recognition systems and related methods |
JP2011081480A (ja) * | 2009-10-05 | 2011-04-21 | Seiko Epson Corp | 画像入力システム |
US8855101B2 (en) | 2010-03-09 | 2014-10-07 | The Nielsen Company (Us), Llc | Methods, systems, and apparatus to synchronize actions of audio source monitors |
JP5577793B2 (ja) * | 2010-03-30 | 2014-08-27 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
TWI508543B (zh) * | 2010-05-06 | 2015-11-11 | Pixart Imaging Inc | 可提高影像處理速度之互動式系統 |
US8396252B2 (en) | 2010-05-20 | 2013-03-12 | Edge 3 Technologies | Systems and related methods for three dimensional gesture recognition in vehicles |
US8655093B2 (en) | 2010-09-02 | 2014-02-18 | Edge 3 Technologies, Inc. | Method and apparatus for performing segmentation of an image |
US8582866B2 (en) | 2011-02-10 | 2013-11-12 | Edge 3 Technologies, Inc. | Method and apparatus for disparity computation in stereo images |
US8666144B2 (en) | 2010-09-02 | 2014-03-04 | Edge 3 Technologies, Inc. | Method and apparatus for determining disparity of texture |
WO2012030872A1 (en) | 2010-09-02 | 2012-03-08 | Edge3 Technologies Inc. | Method and apparatus for confusion learning |
US20150153715A1 (en) * | 2010-09-29 | 2015-06-04 | Google Inc. | Rapidly programmable locations in space |
US9477302B2 (en) | 2012-08-10 | 2016-10-25 | Google Inc. | System and method for programing devices within world space volumes |
US8970589B2 (en) | 2011-02-10 | 2015-03-03 | Edge 3 Technologies, Inc. | Near-touch interaction with a stereo camera grid structured tessellations |
JP2012190183A (ja) * | 2011-03-09 | 2012-10-04 | Sony Corp | 画像処理装置および方法、並びにプログラム |
US9013264B2 (en) | 2011-03-12 | 2015-04-21 | Perceptive Devices, Llc | Multipurpose controller for electronic devices, facial expressions management and drowsiness detection |
US8340504B2 (en) * | 2011-04-26 | 2012-12-25 | Sony Computer Entertainment Europe Limited | Entertainment device and method |
US9194938B2 (en) * | 2011-06-24 | 2015-11-24 | Amazon Technologies, Inc. | Time difference of arrival determination with direct sound |
US9672609B1 (en) | 2011-11-11 | 2017-06-06 | Edge 3 Technologies, Inc. | Method and apparatus for improved depth-map estimation |
EP2613223A1 (en) * | 2012-01-09 | 2013-07-10 | Softkinetic Software | System and method for enhanced gesture-based interaction |
US10089696B2 (en) | 2012-05-09 | 2018-10-02 | Intel Corporation | Budget-aware event information collection during program execution |
US9021516B2 (en) | 2013-03-01 | 2015-04-28 | The Nielsen Company (Us), Llc | Methods and systems for reducing spillover by measuring a crest factor |
US9118960B2 (en) | 2013-03-08 | 2015-08-25 | The Nielsen Company (Us), Llc | Methods and systems for reducing spillover by detecting signal distortion |
US10721448B2 (en) | 2013-03-15 | 2020-07-21 | Edge 3 Technologies, Inc. | Method and apparatus for adaptive exposure bracketing, segmentation and scene organization |
US9197930B2 (en) | 2013-03-15 | 2015-11-24 | The Nielsen Company (Us), Llc | Methods and apparatus to detect spillover in an audience monitoring system |
TWI524213B (zh) * | 2013-04-02 | 2016-03-01 | 宏達國際電子股份有限公司 | 控制方法及電子裝置 |
US9749541B2 (en) * | 2013-04-16 | 2017-08-29 | Tout Inc. | Method and apparatus for displaying and recording images using multiple image capturing devices integrated into a single mobile device |
US20150077340A1 (en) * | 2013-09-18 | 2015-03-19 | Genius Toy Taiwan Co., Ltd. | Method, system and computer program product for real-time touchless interaction |
JP6000929B2 (ja) * | 2013-11-07 | 2016-10-05 | 株式会社ソニー・インタラクティブエンタテインメント | 情報処理装置 |
FR3034053B1 (fr) * | 2015-03-26 | 2017-03-17 | Continental Automotive France | Systeme de palette tactile mobile ou deformable formant une interface homme-machine adapte sur un volant de vehicule |
US9924224B2 (en) | 2015-04-03 | 2018-03-20 | The Nielsen Company (Us), Llc | Methods and apparatus to determine a state of a media presentation device |
US9848222B2 (en) | 2015-07-15 | 2017-12-19 | The Nielsen Company (Us), Llc | Methods and apparatus to detect spillover |
JP6654019B2 (ja) * | 2015-11-09 | 2020-02-26 | 任天堂株式会社 | 情報処理システム情報処理装置、情報処理方法、情報処理プログラム、および、ハンドヘルド型情報処理装置 |
TWI729064B (zh) * | 2016-01-28 | 2021-06-01 | 日商日本鼎意股份有限公司 | 包括內置有感應器的球的系統、行動終端的程式及經由行動終端監控球的動向之方法 |
JP6702746B2 (ja) * | 2016-02-10 | 2020-06-03 | キヤノン株式会社 | 撮像装置、その制御方法、プログラム及び記憶媒体 |
US10421012B2 (en) | 2016-03-25 | 2019-09-24 | Zero Latency PTY LTD | System and method for tracking using multiple slave servers and a master server |
US10071306B2 (en) | 2016-03-25 | 2018-09-11 | Zero Latency PTY LTD | System and method for determining orientation using tracking cameras and inertial measurements |
US9916496B2 (en) | 2016-03-25 | 2018-03-13 | Zero Latency PTY LTD | Systems and methods for operating a virtual reality environment using colored marker lights attached to game objects |
US10717001B2 (en) | 2016-03-25 | 2020-07-21 | Zero Latency PTY LTD | System and method for saving tracked data in the game server for replay, review and training |
US10486061B2 (en) | 2016-03-25 | 2019-11-26 | Zero Latency Pty Ltd. | Interference damping for continuous game play |
WO2018022775A1 (en) | 2016-07-27 | 2018-02-01 | Zhang Jack K | Componentry and devices for light therapy delivery and methods related thereto |
US10751609B2 (en) | 2016-08-12 | 2020-08-25 | Zero Latency PTY LTD | Mapping arena movements into a 3-D virtual world |
CN106898199A (zh) * | 2017-02-27 | 2017-06-27 | 杜美玲 | 一种便携式函数教学讲解用具 |
CN109032710B (zh) * | 2017-06-09 | 2022-05-24 | 斑马智行网络(香港)有限公司 | 一种界面调整方法、装置、设备和存储介质 |
JP6755843B2 (ja) | 2017-09-14 | 2020-09-16 | 株式会社東芝 | 音響処理装置、音声認識装置、音響処理方法、音声認識方法、音響処理プログラム及び音声認識プログラム |
CN108809462B (zh) * | 2018-05-08 | 2024-01-26 | 江苏师范大学 | 场馆多路音强自平衡的数字调音台 |
EP3798978A4 (en) * | 2018-05-21 | 2021-08-04 | Panasonic Intellectual Property Management Co., Ltd. | BALL GAME VIDEO ANALYSIS DEVICE AND BALL GAME VIDEO ANALYSIS METHOD |
WO2020024182A1 (zh) * | 2018-08-01 | 2020-02-06 | 深圳市大疆创新科技有限公司 | 一种参数处理方法、装置及摄像设备、飞行器 |
CN111199169A (zh) * | 2018-11-16 | 2020-05-26 | 北京微播视界科技有限公司 | 图像处理方法和装置 |
DE102019101738A1 (de) * | 2019-01-24 | 2020-07-30 | Deutsches Zentrum für Luft- und Raumfahrt e.V. | Vorrichtung zur kontaktlosen Ermittlung zeitabhängiger Positionen eines mechanisch beweglichen Eingabeelements |
CN109718549B (zh) * | 2019-02-21 | 2022-04-12 | 网易(杭州)网络有限公司 | 游戏中消息处理的方法及装置、电子设备、存储介质 |
CN110148406B (zh) * | 2019-04-12 | 2022-03-04 | 北京搜狗科技发展有限公司 | 一种数据处理方法和装置、一种用于数据处理的装置 |
CN111107280B (zh) * | 2019-12-12 | 2022-09-06 | 北京字节跳动网络技术有限公司 | 特效的处理方法、装置、电子设备及存储介质 |
CN111882651B (zh) * | 2020-06-23 | 2022-04-15 | 北京城市网邻信息技术有限公司 | 一种空间光线的处理方法、装置、电子设备及存储介质 |
CN114079715B (zh) * | 2020-08-13 | 2024-02-23 | 北京慧行实达科技有限公司 | 一种基于图像视频的智能识别系统 |
CN112037600B (zh) * | 2020-08-28 | 2022-05-17 | 马全胜 | 关节松动术教具 |
CN112354175A (zh) * | 2020-12-02 | 2021-02-12 | 网易(杭州)网络有限公司 | 游戏广播通知方法、装置、设备和存储介质 |
CN114822570B (zh) * | 2021-01-22 | 2023-02-14 | 腾讯科技(深圳)有限公司 | 一种音频数据处理方法、装置、设备及可读存储介质 |
CN113318447B (zh) * | 2021-05-25 | 2022-07-29 | 网易(杭州)网络有限公司 | 游戏场景的处理方法、装置、存储介质及电子设备 |
CN113891530A (zh) * | 2021-09-28 | 2022-01-04 | 佛山电器照明股份有限公司 | 一种光照智能调控方法、设备和系统 |
CN114268831A (zh) * | 2021-11-30 | 2022-04-01 | 乐美科技股份私人有限公司 | 一种视频剪辑方法及装置 |
US20230338827A1 (en) * | 2022-04-25 | 2023-10-26 | Sony Interactive Entertainment Inc. | Correlating gestures on deformable controller to computer simulation input signals |
CN116841936B (zh) * | 2023-08-29 | 2023-11-21 | 深圳市莱仕达电子科技有限公司 | 一种多设备的数据处理方法、装置、系统和计算机设备 |
Family Cites Families (154)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US3943277A (en) * | 1969-02-20 | 1976-03-09 | The United States Of America As Represented By The Secretary Of The Navy | Digital memory area correlation tracker |
US4313227A (en) * | 1979-01-29 | 1982-01-26 | Texas Instruments Incorporated | Light energy information transmission system |
US4263504A (en) * | 1979-08-01 | 1981-04-21 | Ncr Corporation | High density matrix code |
US4565999A (en) * | 1983-04-01 | 1986-01-21 | Prime Computer, Inc. | Light pencil |
US4558864A (en) * | 1984-06-13 | 1985-12-17 | Medwedeff Marion C | Handgrip exercising, computer game controller |
US4843568A (en) * | 1986-04-11 | 1989-06-27 | Krueger Myron W | Real time perception of and response to the actions of an unencumbered participant/user |
JPS6347616A (ja) * | 1986-08-15 | 1988-02-29 | Ricoh Co Ltd | 移動量測定方法 |
EP0302028B1 (en) * | 1987-07-24 | 1992-12-23 | Marelmo Di Marchigiano G., Ezzu L., Mogno G.P. S.N.C. | Rear derailer for bicycle gears |
IT1219405B (it) | 1988-06-27 | 1990-05-11 | Fiat Ricerche | Procedimento e dispositivo per la visione strumentale in condizioni di scarsa visibilita in particolare per la guida nella nebbia |
WO1990007162A1 (en) | 1988-12-20 | 1990-06-28 | Australian Meat And Live-Stock Research And Development Corporation | An optically readable coded target |
US5034986A (en) * | 1989-03-01 | 1991-07-23 | Siemens Aktiengesellschaft | Method for detecting and tracking moving objects in a digital image sequence having a stationary background |
US5534917A (en) * | 1991-05-09 | 1996-07-09 | Very Vivid, Inc. | Video image based control system |
US5144594A (en) | 1991-05-29 | 1992-09-01 | Cyber Scientific | Acoustic mouse system |
US5889670A (en) * | 1991-10-24 | 1999-03-30 | Immersion Corporation | Method and apparatus for tactilely responsive user interface |
US5444462A (en) * | 1991-12-16 | 1995-08-22 | Wambach; Mark L. | Computer mouse glove with remote communication |
JP3244798B2 (ja) | 1992-09-08 | 2002-01-07 | 株式会社東芝 | 動画像処理装置 |
US5335011A (en) | 1993-01-12 | 1994-08-02 | Bell Communications Research, Inc. | Sound localization system for teleconferencing using self-steering microphone arrays |
DE69414153T2 (de) * | 1993-02-24 | 1999-06-10 | Matsushita Electric Ind Co Ltd | Vorrichtung zur Gradationskorrektur und Bildaufnahmegerät mit einer solchen Vorrichtung |
US5815411A (en) * | 1993-09-10 | 1998-09-29 | Criticom Corporation | Electro-optic vision system which exploits position and attitude |
US5677710A (en) | 1993-05-10 | 1997-10-14 | Apple Computer, Inc. | Recognition keypad |
US5581270A (en) * | 1993-06-24 | 1996-12-03 | Nintendo Of America, Inc. | Hotel-based video game and communication system |
US5959596A (en) | 1993-06-24 | 1999-09-28 | Nintendo Co., Ltd. | Airline-based video game and communications system |
FR2714502A1 (fr) * | 1993-12-29 | 1995-06-30 | Philips Laboratoire Electroniq | Procédé et dispositif de traitement d'image pour construire à partir d'une image source une image cible avec changement de perspective. |
US5611000A (en) * | 1994-02-22 | 1997-03-11 | Digital Equipment Corporation | Spline-based image registration |
JPH086708A (ja) * | 1994-04-22 | 1996-01-12 | Canon Inc | 表示装置 |
US5543818A (en) | 1994-05-13 | 1996-08-06 | Sony Corporation | Method and apparatus for entering text using an input device having a small number of keys |
US5563988A (en) * | 1994-08-01 | 1996-10-08 | Massachusetts Institute Of Technology | Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment |
US5641319A (en) | 1994-08-10 | 1997-06-24 | Lodgenet Entertainment Corporation | Entertainment system for providing interactive video game responses to the game interrogations to the video game engines without being processed by the host computer |
GB2301514B (en) | 1994-12-01 | 1999-06-09 | Namco Ltd | Apparatus and method for image synthesization |
JP3270643B2 (ja) | 1994-12-22 | 2002-04-02 | キヤノン株式会社 | 指示位置検出方法及び装置 |
US5929444A (en) * | 1995-01-31 | 1999-07-27 | Hewlett-Packard Company | Aiming device using radiated energy |
US5568928A (en) | 1995-02-01 | 1996-10-29 | Exertron, Inc. | Video game controller for use with an exercise apparatus |
US5638228A (en) * | 1995-02-14 | 1997-06-10 | Iomega Corporation | Retroreflective marker for data storage cartridge |
US5930741A (en) * | 1995-02-28 | 1999-07-27 | Virtual Technologies, Inc. | Accurate, rapid, reliable position sensing using multiple sensing technologies |
US5583478A (en) | 1995-03-01 | 1996-12-10 | Renzi; Ronald | Virtual environment tactile system |
DE69634913T2 (de) | 1995-04-28 | 2006-01-05 | Matsushita Electric Industrial Co., Ltd., Kadoma | Schnittstellenvorrichtung |
US5649021A (en) * | 1995-06-07 | 1997-07-15 | David Sarnoff Research Center, Inc. | Method and system for object detection for instrument control |
IL114278A (en) * | 1995-06-22 | 2010-06-16 | Microsoft Internat Holdings B | Camera and method |
US6057909A (en) * | 1995-06-22 | 2000-05-02 | 3Dv Systems Ltd. | Optical ranging camera |
BR9609807A (pt) | 1995-07-26 | 1999-12-21 | Martin T King | Sistema para anulação de ambiguidade com teclado reduzido |
US6311214B1 (en) * | 1995-07-27 | 2001-10-30 | Digimarc Corporation | Linking of computers based on optical sensing of digital data |
US5768415A (en) * | 1995-09-08 | 1998-06-16 | Lucent Technologies Inc. | Apparatus and methods for performing electronic scene analysis and enhancement |
US5818424A (en) * | 1995-10-19 | 1998-10-06 | International Business Machines Corporation | Rod shaped device and data acquisition apparatus for determining the position and orientation of an object in space |
US5719561A (en) | 1995-10-25 | 1998-02-17 | Gilbert R. Gonzales | Tactile communication device and method |
US6282362B1 (en) | 1995-11-07 | 2001-08-28 | Trimble Navigation Limited | Geographical position/image digital recording and display system |
EP0864145A4 (en) | 1995-11-30 | 1998-12-16 | Virtual Technologies Inc | TACTILE FEEDBACK FOR HUMAN / MACHINE INTERFACE |
JP4079463B2 (ja) * | 1996-01-26 | 2008-04-23 | ソニー株式会社 | 被写体検出装置および被写体検出方法 |
US6049619A (en) * | 1996-02-12 | 2000-04-11 | Sarnoff Corporation | Method and apparatus for detecting moving objects in two- and three-dimensional scenes |
JP2891159B2 (ja) * | 1996-02-14 | 1999-05-17 | 日本電気株式会社 | 多眼画像からの物体検出方式 |
RU2069885C1 (ru) | 1996-03-01 | 1996-11-27 | Йелстаун Корпорейшн Н.В. | Способ наблюдения объектов при пониженной освещенности и устройство для его осуществления |
JPH09244793A (ja) * | 1996-03-04 | 1997-09-19 | Alps Electric Co Ltd | 入力装置 |
US5937081A (en) | 1996-04-10 | 1999-08-10 | O'brill; Michael R. | Image composition system and method of using same |
US5923318A (en) * | 1996-04-12 | 1999-07-13 | Zhai; Shumin | Finger manipulatable 6 degree-of-freedom input device |
US5917493A (en) | 1996-04-17 | 1999-06-29 | Hewlett-Packard Company | Method and apparatus for randomly generating information for subsequent correlating |
US6516466B1 (en) * | 1996-05-02 | 2003-02-04 | Vincent C. Jackson | Method and apparatus for portable digital entertainment system |
US6151009A (en) | 1996-08-21 | 2000-11-21 | Carnegie Mellon University | Method and apparatus for merging real and synthetic images |
US6400374B2 (en) * | 1996-09-18 | 2002-06-04 | Eyematic Interfaces, Inc. | Video superposition system and method |
US6243491B1 (en) * | 1996-12-31 | 2001-06-05 | Lucent Technologies Inc. | Methods and apparatus for controlling a video system with visually recognized props |
US5850473A (en) * | 1997-01-07 | 1998-12-15 | Lucent Technologies Inc. | Method and apparatus for compensating for color variation in a video system |
US6021219A (en) * | 1997-01-07 | 2000-02-01 | Lucent Technologies Inc. | Methods and apparatus for distinguishing among several visual patterns |
US5796354A (en) | 1997-02-07 | 1998-08-18 | Reality Quest Corp. | Hand-attachable controller with direction sensing |
US6009210A (en) * | 1997-03-05 | 1999-12-28 | Digital Equipment Corporation | Hands-free interface to a virtual reality environment using head tracking |
EP0970502A1 (en) * | 1997-03-07 | 2000-01-12 | 3DV Systems Ltd. | Optical shutter |
US6061055A (en) * | 1997-03-21 | 2000-05-09 | Autodesk, Inc. | Method of tracking objects with an imaging device |
JP3009633B2 (ja) | 1997-04-03 | 2000-02-14 | コナミ株式会社 | 画像装置、画像表示方法および記録媒体 |
US6428411B1 (en) * | 1997-05-02 | 2002-08-06 | Konami Co., Ltd. | Volleyball video game system |
NO304715B1 (no) * | 1997-05-06 | 1999-02-01 | Dimensions As | FremgangsmÕte ved bildebehandling |
JP3183632B2 (ja) | 1997-06-13 | 2001-07-09 | 株式会社ナムコ | 情報記憶媒体及び画像生成装置 |
US6072504A (en) * | 1997-06-20 | 2000-06-06 | Lucent Technologies Inc. | Method and apparatus for tracking, storing, and synthesizing an animated version of object motion |
US6075895A (en) * | 1997-06-20 | 2000-06-13 | Holoplex | Methods and apparatus for gesture recognition based on templates |
US6094625A (en) * | 1997-07-03 | 2000-07-25 | Trimble Navigation Limited | Augmented vision for survey work and machine control |
KR20000068660A (ko) | 1997-07-29 | 2000-11-25 | 요트.게.아. 롤페즈 | 3차원 장면 재구성 방법과 재구성 장치 및 디코딩 시스템 |
US6044181A (en) * | 1997-08-01 | 2000-03-28 | Microsoft Corporation | Focal length estimation method and apparatus for construction of panoramic mosaic images |
US6720949B1 (en) * | 1997-08-22 | 2004-04-13 | Timothy R. Pryor | Man machine interfaces and applications |
US6243074B1 (en) * | 1997-08-29 | 2001-06-05 | Xerox Corporation | Handedness detection for a physical manipulatory grammar |
US6268857B1 (en) * | 1997-08-29 | 2001-07-31 | Xerox Corporation | Computer user interface using a physical manipulatory grammar |
US6297838B1 (en) | 1997-08-29 | 2001-10-02 | Xerox Corporation | Spinning as a morpheme for a physical manipulatory grammar |
US6768415B1 (en) * | 1997-10-03 | 2004-07-27 | Micron Technology, Inc. | Wireless identification device, RFID device with push-on/push-off switch, method of manufacturing wireless identification device |
US6101289A (en) * | 1997-10-15 | 2000-08-08 | Electric Planet, Inc. | Method and apparatus for unencumbered capture of an object |
AU1099899A (en) * | 1997-10-15 | 1999-05-03 | Electric Planet, Inc. | Method and apparatus for performing a clean background subtraction |
US6072494A (en) * | 1997-10-15 | 2000-06-06 | Electric Planet, Inc. | Method and apparatus for real-time gesture recognition |
US6031934A (en) * | 1997-10-15 | 2000-02-29 | Electric Planet, Inc. | Computer vision system for subject characterization |
US6166744A (en) | 1997-11-26 | 2000-12-26 | Pathfinder Systems, Inc. | System for combining virtual images with real-world scenes |
US6195104B1 (en) * | 1997-12-23 | 2001-02-27 | Philips Electronics North America Corp. | System and method for permitting three-dimensional navigation through a virtual reality environment using camera-based gesture inputs |
WO1999040478A1 (en) * | 1998-02-08 | 1999-08-12 | 3Dv Systems Ltd. | Large aperture optical image shutter |
US6175343B1 (en) * | 1998-02-24 | 2001-01-16 | Anivision, Inc. | Method and apparatus for operating the overlay of computer-generated effects onto a live image |
US6037942A (en) | 1998-03-10 | 2000-03-14 | Magellan Dis, Inc. | Navigation system character input device |
US6173059B1 (en) * | 1998-04-24 | 2001-01-09 | Gentner Communications Corporation | Teleconferencing system with visual feedback |
JP3646969B2 (ja) * | 1998-05-25 | 2005-05-11 | 富士通株式会社 | 3次元画像表示装置 |
JP2000020163A (ja) | 1998-06-30 | 2000-01-21 | Sony Corp | 情報処理装置 |
US6504535B1 (en) * | 1998-06-30 | 2003-01-07 | Lucent Technologies Inc. | Display techniques for three-dimensional virtual reality |
IL125221A0 (en) * | 1998-07-06 | 1999-03-12 | Toy Control Ltd | Motion activation using passive sound source |
US6184863B1 (en) * | 1998-10-13 | 2001-02-06 | The George Washington University | Direct pointing apparatus and method therefor |
DE19849515C1 (de) | 1998-10-19 | 2000-12-28 | Gerhard Wergen | Verfahren zur Übergabe von Zeichen insbesondere an einen Computer und Eingabevorrichtung unter Einsatz dieses Verfahrens |
US6307568B1 (en) | 1998-10-28 | 2001-10-23 | Imaginarix Ltd. | Virtual dressing over the internet |
US6409602B1 (en) * | 1998-11-06 | 2002-06-25 | New Millenium Gaming Limited | Slim terminal gaming system |
JP2000181612A (ja) * | 1998-12-16 | 2000-06-30 | Fujitsu Takamisawa Component Ltd | 座標入力装置 |
US6614422B1 (en) * | 1999-11-04 | 2003-09-02 | Canesta, Inc. | Method and apparatus for entering data using a virtual input device |
US6323942B1 (en) * | 1999-04-30 | 2001-11-27 | Canesta, Inc. | CMOS-compatible three-dimensional image sensor IC |
US6545706B1 (en) * | 1999-07-30 | 2003-04-08 | Electric Planet, Inc. | System, method and article of manufacture for tracking a head of a camera-generated image of a person |
US6417836B1 (en) * | 1999-08-02 | 2002-07-09 | Lucent Technologies Inc. | Computer input device having six degrees of freedom for controlling movement of a three-dimensional object |
JP2001056742A (ja) * | 1999-08-19 | 2001-02-27 | Alps Electric Co Ltd | 入力装置 |
ATE285079T1 (de) | 1999-09-08 | 2005-01-15 | 3Dv Systems Ltd | 3d- bilderzeugungssystem |
US6441825B1 (en) * | 1999-10-04 | 2002-08-27 | Intel Corporation | Video token tracking system for animation |
US20050037844A1 (en) * | 2002-10-30 | 2005-02-17 | Nike, Inc. | Sigils for use with apparel |
AU2072601A (en) * | 1999-12-09 | 2001-06-18 | Zephyr Media, Inc. | System and method for integration of a universally publicly accessible global network |
US6676522B2 (en) * | 2000-04-07 | 2004-01-13 | Igt | Gaming system including portable game devices |
US6924787B2 (en) * | 2000-04-17 | 2005-08-02 | Immersion Corporation | Interface for controlling a graphical image |
AU2001264954A1 (en) * | 2000-05-25 | 2001-12-03 | Realitybuy, Inc. | A real time, three-dimensional, configurable, interactive product display systemand method |
US20020056114A1 (en) * | 2000-06-16 | 2002-05-09 | Fillebrown Lisa A. | Transmitter for a personal wireless network |
US6795068B1 (en) * | 2000-07-21 | 2004-09-21 | Sony Computer Entertainment Inc. | Prop input device and method for mapping an object from a two-dimensional camera image to a three-dimensional space for controlling action in a game program |
AU2001287948A1 (en) | 2000-07-24 | 2002-02-05 | Herman Ehrenburg | Computer-compatible, color-coded manual input system |
US7227526B2 (en) * | 2000-07-24 | 2007-06-05 | Gesturetek, Inc. | Video-based image control system |
US20020094189A1 (en) * | 2000-07-26 | 2002-07-18 | Nassir Navab | Method and system for E-commerce video editing |
JP3561463B2 (ja) * | 2000-08-11 | 2004-09-02 | コナミ株式会社 | 3dビデオゲームにおける擬似カメラ視点移動制御方法及び3dビデオゲーム装置 |
JP4815661B2 (ja) * | 2000-08-24 | 2011-11-16 | ソニー株式会社 | 信号処理装置及び信号処理方法 |
EP1316192A2 (en) * | 2000-09-08 | 2003-06-04 | Honeywell International, Inc. | Pilot internet practice system and methods |
US6884171B2 (en) * | 2000-09-18 | 2005-04-26 | Nintendo Co., Ltd. | Video game distribution network |
JP2002157607A (ja) * | 2000-11-17 | 2002-05-31 | Canon Inc | 画像生成システム、画像生成方法および記憶媒体 |
AU2002226956A1 (en) * | 2000-11-22 | 2002-06-03 | Leap Wireless International, Inc. | Method and system for providing interactive services over a wireless communications network |
US20040054512A1 (en) * | 2000-12-20 | 2004-03-18 | Byung-Su Kim | Method for making simulator program and simulator system using the method |
US6789967B1 (en) | 2001-02-02 | 2004-09-14 | George Forester | Distal chording keyboard |
US6749510B2 (en) * | 2001-02-07 | 2004-06-15 | Wms Gaming Inc. | Centralized gaming system with modifiable remote display terminals |
US7116330B2 (en) * | 2001-02-28 | 2006-10-03 | Intel Corporation | Approximating motion using a three-dimensional model |
US6931596B2 (en) | 2001-03-05 | 2005-08-16 | Koninklijke Philips Electronics N.V. | Automatic positioning of display depending upon the viewer's location |
US6931125B2 (en) | 2001-07-10 | 2005-08-16 | Gregory N. Smallwood | Telephone equipment compatible, twelve button alphanumeric keypad |
US20030014212A1 (en) * | 2001-07-12 | 2003-01-16 | Ralston Stuart E. | Augmented vision system using wireless communications |
JP3611807B2 (ja) * | 2001-07-19 | 2005-01-19 | コナミ株式会社 | ビデオゲーム装置、ビデオゲームにおける擬似カメラ視点移動制御方法及びプログラム |
US7039253B2 (en) * | 2001-07-24 | 2006-05-02 | Casio Computer Co., Ltd. | Image display device, image display method, program, and projection system |
JP3442754B2 (ja) * | 2001-08-10 | 2003-09-02 | 株式会社コナミコンピュータエンタテインメント東京 | ガンシューティングゲーム装置、コンピュータの制御方法及びプログラム |
US6846238B2 (en) * | 2001-09-28 | 2005-01-25 | Igt | Wireless game player |
JP2003114640A (ja) * | 2001-10-04 | 2003-04-18 | Nec Corp | プラズマディスプレイパネル及びその駆動方法 |
US20030093591A1 (en) | 2001-11-09 | 2003-05-15 | David Hohl | System and method for fast data transfer to display driver |
FR2832892B1 (fr) | 2001-11-27 | 2004-04-02 | Thomson Licensing Sa | Camera video d'effets speciaux |
US20030100363A1 (en) * | 2001-11-28 | 2003-05-29 | Ali Guiseppe C. | Method and apparatus for inputting appearance of computer operator into a computer program |
KR20030048570A (ko) | 2001-12-12 | 2003-06-25 | 한국전자통신연구원 | 부가적 버튼을 장착한 키패드 및 그의 작동방법 |
US6847311B2 (en) | 2002-03-28 | 2005-01-25 | Motorola Inc. | Method and apparatus for character entry in a wireless communication device |
GB2388418A (en) * | 2002-03-28 | 2003-11-12 | Marcus James Eales | Input or pointing device with a camera |
US7006009B2 (en) * | 2002-04-01 | 2006-02-28 | Key Energy Services, Inc. | Servicing system for wells |
US7023475B2 (en) * | 2002-04-08 | 2006-04-04 | Hewlett-Packard Development Company, L.P. | System and method for identifying an object with captured images |
US20040001082A1 (en) * | 2002-06-26 | 2004-01-01 | Amir Said | System and method of interaction with a computer controlled image display system using a projected light source |
US7227976B1 (en) * | 2002-07-08 | 2007-06-05 | Videomining Corporation | Method and system for real-time facial image enhancement |
US7161579B2 (en) * | 2002-07-18 | 2007-01-09 | Sony Computer Entertainment Inc. | Hand-held computer interactive device |
US7613310B2 (en) * | 2003-08-27 | 2009-11-03 | Sony Computer Entertainment Inc. | Audio input system |
US6917688B2 (en) | 2002-09-11 | 2005-07-12 | Nanyang Technological University | Adaptive noise cancelling microphone system |
US20040063480A1 (en) * | 2002-09-30 | 2004-04-01 | Xiaoling Wang | Apparatus and a method for more realistic interactive video games on computers or similar devices |
US20040095327A1 (en) | 2002-11-14 | 2004-05-20 | Lo Fook Loong | Alphanumeric data input system and method |
JP3849654B2 (ja) | 2003-02-21 | 2006-11-22 | 株式会社日立製作所 | 投射型表示装置 |
GB2398691B (en) * | 2003-02-21 | 2006-05-31 | Sony Comp Entertainment Europe | Control of data processing |
US6881147B2 (en) * | 2003-06-06 | 2005-04-19 | Nyko Technologies, Inc. | Video game controller with integrated microphone and speaker |
US7620316B2 (en) * | 2005-11-28 | 2009-11-17 | Navisense | Method and device for touchless control of a camera |
US7834850B2 (en) * | 2005-11-29 | 2010-11-16 | Navisense | Method and system for object control |
JP4481280B2 (ja) * | 2006-08-30 | 2010-06-16 | 富士フイルム株式会社 | 画像処理装置、及び画像処理方法 |
US8277316B2 (en) * | 2006-09-14 | 2012-10-02 | Nintendo Co., Ltd. | Method and apparatus for using a common pointing input to control 3D viewpoint and object targeting |
-
2002
- 2002-07-27 US US10/207,677 patent/US7102615B2/en not_active Expired - Lifetime
-
2003
- 2003-06-16 TW TW092116297A patent/TWI297866B/zh not_active IP Right Cessation
- 2003-07-14 CN CN038179687A patent/CN1672120B/zh not_active Expired - Fee Related
- 2003-07-14 WO PCT/US2003/022130 patent/WO2004012073A2/en active IP Right Grant
- 2003-07-14 JP JP2004524618A patent/JP4234677B2/ja not_active Expired - Fee Related
- 2003-07-14 DE DE60308541T patent/DE60308541T2/de not_active Expired - Lifetime
- 2003-07-14 AU AU2003253931A patent/AU2003253931A1/en not_active Abandoned
- 2003-07-14 EP EP03771630A patent/EP1552375B1/en not_active Expired - Lifetime
- 2003-07-14 AT AT03771630T patent/ATE340380T1/de not_active IP Right Cessation
-
2006
- 2006-02-28 US US11/364,936 patent/US7639233B2/en active Active
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN101548547B (zh) * | 2007-08-16 | 2011-10-26 | 索尼电脑娱乐公司 | 利用与倾斜角信息相结合的视频输入的对象检测 |
CN102332090A (zh) * | 2010-06-21 | 2012-01-25 | 微软公司 | 划分在视野内的焦点区域 |
Also Published As
Publication number | Publication date |
---|---|
WO2004012073A2 (en) | 2004-02-05 |
ATE340380T1 (de) | 2006-10-15 |
US7639233B2 (en) | 2009-12-29 |
TW200405220A (en) | 2004-04-01 |
EP1552375A2 (en) | 2005-07-13 |
AU2003253931A1 (en) | 2004-02-16 |
CN1672120B (zh) | 2010-04-28 |
EP1552375B1 (en) | 2006-09-20 |
TWI297866B (en) | 2008-06-11 |
US20040017473A1 (en) | 2004-01-29 |
DE60308541D1 (de) | 2006-11-02 |
US20060139322A1 (en) | 2006-06-29 |
US7102615B2 (en) | 2006-09-05 |
WO2004012073A3 (en) | 2004-05-13 |
DE60308541T2 (de) | 2007-09-20 |
JP4234677B2 (ja) | 2009-03-04 |
JP2005535022A (ja) | 2005-11-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN1672120B (zh) | 使用可变形装置的人机接口 | |
US10406433B2 (en) | Method and system for applying gearing effects to visual tracking | |
CN101484933B (zh) | 基于一个或多个视觉的、听觉的、惯性的和混合的数据来应用传动效应到输入的方法和设备 | |
JP5277081B2 (ja) | 1つ以上の視覚、音響、慣性およびミックスデータに基づく入力にギアリング効果を与える方法ならびに装置 | |
US7391409B2 (en) | Method and system for applying gearing effects to multi-channel mixed input | |
US7352359B2 (en) | Method and system for applying gearing effects to inertial tracking | |
JP5439367B2 (ja) | ゲームギアリングを変更するための方法 | |
US7352358B2 (en) | Method and system for applying gearing effects to acoustical tracking | |
LaViola et al. | 3D spatial interaction: applications for art, design, and science | |
JP2011096284A (ja) | プログラムのコマンドをトリガするための方法 | |
Reidsma et al. | Towards bi-directional dancing interaction | |
Paelke et al. | Vision-based interaction-a first glance at playing MR games in the real-world around us | |
KR100817647B1 (ko) | 변형될 수 있는 장치를 사용하는 인간-컴퓨터간 인터페이스 | |
CN1933559A (zh) | 影像交互式故事系统 | |
KR102349002B1 (ko) | 동적 프로젝션 매핑 연동 제스처 인식 인터랙티브 미디어 콘텐츠 제작 방법 및 장치 | |
CN114660918B (zh) | 全息立体影像的显示设备、方法、装置及介质 | |
Bernardes et al. | Integrating the Wii controller with enJine: 3D interfaces extending the frontiers of a didactic game engine | |
Tsai et al. | A STUDY OF USING CONTACTLESS GESTURE RECOGNITION ON SHADOW PUPPET MANIPULATION [J] | |
Carr et al. | Shadow Puppetry Using the Kinect | |
Chiang et al. | Body Remote: A Motion-Driven Approach to Play Video Games |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
C06 | Publication | ||
PB01 | Publication | ||
C10 | Entry into substantive examination | ||
SE01 | Entry into force of request for substantive examination | ||
C14 | Grant of patent or utility model | ||
GR01 | Patent grant | ||
CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20100428 |
|
CF01 | Termination of patent right due to non-payment of annual fee |