CN101438340A - 用于三维输入控制的系统、方法和设备 - Google Patents

用于三维输入控制的系统、方法和设备 Download PDF

Info

Publication number
CN101438340A
CN101438340A CNA2007800161035A CN200780016103A CN101438340A CN 101438340 A CN101438340 A CN 101438340A CN A2007800161035 A CNA2007800161035 A CN A2007800161035A CN 200780016103 A CN200780016103 A CN 200780016103A CN 101438340 A CN101438340 A CN 101438340A
Authority
CN
China
Prior art keywords
main body
tracking means
controller
inertial sensor
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800161035A
Other languages
English (en)
Other versions
CN101438340B (zh
Inventor
茅晓东
R·L·马克斯
G·M·扎列夫斯基
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Computer Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/381,727 external-priority patent/US7697700B2/en
Priority claimed from US11/381,728 external-priority patent/US7545926B2/en
Priority claimed from US11/429,047 external-priority patent/US8233642B2/en
Priority claimed from US11/381,729 external-priority patent/US7809145B2/en
Priority claimed from US11/381,725 external-priority patent/US7783061B2/en
Priority claimed from US11/381,724 external-priority patent/US8073157B2/en
Priority claimed from US11/418,989 external-priority patent/US8139793B2/en
Priority claimed from US11/429,133 external-priority patent/US7760248B2/en
Priority claimed from US11/381,721 external-priority patent/US8947347B2/en
Priority claimed from US11/418,988 external-priority patent/US8160269B2/en
Application filed by Sony Computer Entertainment Inc filed Critical Sony Computer Entertainment Inc
Priority claimed from PCT/US2007/067005 external-priority patent/WO2007130792A2/en
Publication of CN101438340A publication Critical patent/CN101438340A/zh
Application granted granted Critical
Publication of CN101438340B publication Critical patent/CN101438340B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M9/00—Arrangements for interconnection not involving centralised switching
    • H04M9/08—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic
    • H04M9/082—Two-way loud-speaking telephone systems with means for conditioning the signal, e.g. for suppressing echoes for one or both directions of traffic using echo cancellers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R3/00—Circuits for transducers, loudspeakers or microphones
    • H04R3/005—Circuits for transducers, loudspeakers or microphones for combining the signals of two or more microphones
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L21/00—Processing of the speech or voice signal to produce another audible or non-audible signal, e.g. visual or tactile, in order to modify its quality or its intelligibility
    • G10L21/02—Speech enhancement, e.g. noise reduction or echo cancellation
    • G10L21/0208—Noise filtering
    • G10L21/0216—Noise filtering characterised by the method used for estimating noise
    • G10L2021/02161—Number of inputs available containing the signal or the noise to be suppressed
    • G10L2021/02163—Only one microphone
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/03—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters
    • G10L25/18—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 characterised by the type of extracted parameters the extracted parameters being spectral information of each sub-band
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/406—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers microphones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers

Abstract

公开了一种游戏控制器，一种跟踪装置，用以获得用于控制处理器的游戏程序执行的信息，以使用户能够玩交互式游戏，以及相关的设备。还公开了用于跟踪视频游戏的控制器的方法，以及用于给系统提供输入的方法。

Description

用于三维输入控制的系统、方法和设备
优先权声明
本申请要求下列申请的利益，美国专利申请第11/381,729号，Xiao DongMao，题为“ULTRA SMALL MICROPHONE ARRAY”，(Attorney DocketSCEA05062US00)，2006年5月4日提交，美国专利申请第11/381,728号，XiaoDong Mao，题为“ECHO AND NOISE CANCELLATION”，(Attorney DocketSCEA05064US00)，2006年5月4日提交，美国专利申请第11/381,725号，XiaoDong Mao，题为“METHODS AND APPARATUS FOR TARGETED SOUNDDETECTION”，(Attorney Docket SCEA05072US00)，2006年5月4日提交，美国专利申请第11/381,727号，Xiao Dong Mao，题为“NOISE REMOVAL FORELECTRONIC DEVICE WITH FAR FIELD MICROPHONE ONCONSOLE”，(Attorney Docket SCEA05073US00)，2006年5月4日提交，美国专利申请第11/381,724号，Xiao Dong Mao，题为“METHODS AND APPARATUSFOR TARGETED SOUND DETECTION ANDCHARACTERIZATION”，(Attorney Docket SCEA05079US00)，2006年5月4日提交，美国专利申请第11/381,721号，Xiao Dong Mao，题为“SELECTIVE SOUNDSOURCE LISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVEPROCESSING”，(Attorney Docket SCEA04005JUMBOUS)，2006年5月4日提交；所有这些以引用的方式并入这里。
本申请还要求以下利益：共同待批的申请号11/418,988，Xiao Dong Mao，题为“METHODS AND APPARATUS FOR ADJUSTING A LISTENING AREAFOR CAPTURING SOUNDS”，(Attorney Docket SCEA-00300)，2006年5月4日提交；共同待批的申请号11/418,989，Xiao Dong Mao，题为“METHODS ANDAPPARATUS FOR CAPTURING AN AUDIO SIGNAL BASED ON VISUALIMAGE”，(Attorney Docket SCEA-00400)，2006年5月4日提交；共同待批的申请号为11/429,047，Xiao Dong Mao，题为“METHODS AND APPARATUS FORCAPTURING AN AUDIO SIGNAL BASED ON A LOCATION OF THESIGNAL”，(Attorney Docket SCEA-00500)，2006年5月4日提交；共同待批的申请号为11/429,133，Richard Marks et al.，题为“SELECTIVE SOUND SOURCELISTENING IN CONJUNCTION WITH COMPUTER INTERACTIVEPROCESSING”，(Attorney Docket SCEA04005US01-SONYP045)，2006年5月4日提交；以及共同待批的申请号为11/429,414，Richard Marks等，题为“ComputeImage and Audio Processing of Intensity and Input Devices for Interfacing With AComputer Program”，(Attorney Docket SONYP052)，2006年5月4日提交；所有这些的完整公开以引用的方式并入这里。
本申请还要求下列申请的利益，美国专利申请第11/382,031号，题为“MULTI-INPUT GAME CONTROL MIXER”，(Attorney Docket SCEA06MXR1)，2006年5月6日提交；美国专利申请第11/382,032号，题为“SYSTEM FORTRACKING USER MANIPULATIONS WITHIN AN ENVIRONMENT”，(Attorney Docket SCEA06MXR2)，2006年5月6日提交；美国专利申请第11/382,033号，题为“SYSTEM，METHOD，ANDAPPARATUS FORTHREE-DIMENSIONAL INPUT CONTROL”，(Attorney Docket SCEA06INRT1)，2006年5月6日提交；美国专利申请第11/382,035号，题为“INERTIALLYTRACKABLE HAND-HELD CONTROLLER”，(Attorney Docket SCEA06 INRT2)，2006年5月6日提交；美国专利申请第11/382,252号，题为“TRACKINGDEVICE FOR USE IN OBTAINING INFORMATION FOR CONTROLLINGGAME PROGRAM EXECUTION”，(Attorney Docket SCEA06 INRT 3)，2006年5月8日提交；美国专利申请第11/382,036号，题为“METHOD AND SYSTEM FORAPPLYING GEARING EFFECTS TO VISUAL TRACKING”，(Attorney DocketSONYP058A)，2006年5月6日提交；美国专利申请第11/382,041号，题为“METHOD AND SYSTEM FOR APPLYING GEARING EFFECTS TOINERTIAL TRACKING”，(Attorney Docket SONYP058B)，2006年5月7日提交；美国专利申请第11/382,038号，题为“METHODAND SYSTEM FOR APPLYINGGEARING EFFECTS TO ACOUSTICAL TRACKING”，(Attorney DocketSONYP058C)，2006年5月6日提交；美国专利申请第11/382,040号，题为“METHOD AND SYSTEM FOR APPLYING GEARING EFFECTS TOMULTI-CHANNEL MIXED INPUT”，(Attorney Docket SONYP058D)，2006年5月7日提交；美国专利申请第11/382,034号，题为“SCHEME FOR DETECTINGAND TRACKING USER MANIPULATION OF A GAME CONTROLLERBODY”，(Attorney Docket 86321 SCEA05082US00)，2006年5月6日提交；美国专利申请第11/382,037号，题为“SCHEME FOR TRANSLATING MOVEMENTSOF A HAND-HELD CONTROLLER INTO INPUTS FOR A SYSTEM”，(AttorneyDocket 86324)，2006年5月6日提交；美国专利申请第11/382,043号，题为“DETECTABLE AND TRACKABLE HAND-HELD CONTROLLER”，(AttorneyDocket 86325)，2006年5月7日提交；美国专利申请第11/382,039号，题为“METHOD FOR MAPPING MOVEMENTS OF A HAND-HELD CONTROLLERTO GAME COMMANDS”，(Attorney Docket 86326)，2006年5月7日提交；美国设计专利申请第29/259,349号，题为“CONTROLLER WITH INFRAREDPORT”，(Attorney Docket SCEA06007US00)，2006年5月6日提交；美国设计专利申请第29/259,350号，题为“CONTROLLER WITH TRACKINGSENSORS”，(Attorney Docket SCEA06008US00)，2006年5月6日提交；美国专利申请第60/798,031号，题为“DYNAMIC TARGET INTERFACE”，(AttorneyDocket SCEA06009US00)，2006年5月6日提交；以及美国设计专利申请第29/259,348号，题为“TRACKED CONTROLLER DEVICE”，(Attorney DocketSCEA06010US00)，2006年5月6日提交；所有这些以引用它们全部的方式并入这里。
本申请还要求共同待批的美国专利申请第11/430,594号的利益，GaryZalewski和Riley R.Russell，题为“SYSTEM AND METHOD FOR USINGUSER”S VISUAL/AUDIO ENVIRONMENT TO SELECT ADVERTISING”，(Attorney Docket SCEA05059US00)，2006年5月8日提交，它的完整公开以引用的方式并入这里。
本申请还要求共同待批的美国专利申请第11/430,593号的利益，GaryZalewski和Riley R.Russell，题为“Using Audio/Visual Environment To Select AdsOn Game Platform”，(Attorney Docket SCEAJP 3.0-003 CIP V)，2006年5月8日提交，它的完整公开以引用的方式并入这里。
本申请还要求共同待批的美国专利申请第11/382,259号的利益，GaryZalewski等.，题为“Method and apparatus for use in determining lack of user activtyin relation to a system”，(Attorney Docket 86327)，2006年5月8日提交，它的完整公开以引用的方式并入这里。
本申请还要求共同待批的美国专利申请第11/382,258号的利益，GaryZalewski等，题为“Method and apparatus for use in determining an activity level of auser in relation to a system”，(Attorney Docket 86328)，2006年5月8日提交，它的完整公开以引用的方式并入这里。
本申请还要求共同待批的美国专利申请第11/382,251号的利益，GaryZalewski等.，题为“Hand-held controller having detectable elements for trackingpurposes”，(Attorney Docket 86329)，2006年5月8日提交，它的完整公开以引用的方式并入这里。
本申请还要求共同待批的美国专利申请第11/382,256号的利益，题为“TRACKING DEVICE WITH SOUND EMITTER FOR USE IN OBTAININGINFORMATION FOR CONTROLLING GAME PROGRAM EXECUTION”，(Attorney Docket SCEA06ACRA2)，2006年5月8日提交，它的完整公开以引用的方式并入这里。
本申请还要求共同待批的美国专利申请第11/382,250号的利益，题为“OBTAINING INPUT FOR CONTROLLING EXECUTION OF A GAMEPROGRAM”，(Attorney Docket SCEA06COMB)，2006年5月8日提交，它的完整公开以引用的方式并入这里。
本申请还要求共同待批的美国设计专利申请第29/246,744号的利益，题为“VIDEO GAME CONTROLLER FRONT FACE””，(Attorney DocketSCEACTR-D3)，2006年5月8日提交，它的完整公开以引用的方式并入这里。
本申请还要求共同待批的美国设计专利申请第29/246,743号的利益，题为“VIDEO GAME CONTROLLER”，(Attorney Docket SCEACTRL-D2)，2006年5月8日提交，它的完整公开以引用的方式并入这里。
本申请还要求共同待批的美国设计专利申请第29/246,767号的利益，题为“VIDEO GAME CONTROLLER”，(Attorney Docket SONYP059A)，2006年5月8日提交，它的完整公开以引用的方式并入这里。
本申请还要求共同待批的美国设计专利申请第29/246,768号的利益，题为“VIDEO GAME CONTROLLER”，(Attorney Docket SONYP059B)，2006年5月8日提交，它的完整公开以引用的方式并入这里。
本申请还要求共同待批的美国设计专利申请第29/246,763号的利益，题为“ERGONOMIC GAME CONTROLLER DEVICE WITH LED AND OPTICALPORTS”，(Attorney Docket PA3760US)，2006年5月8日提交，它的完整公开以引用的方式并入这里。
本申请还要求共同待批的美国设计专利申请第29/246,759号的利益，题为“GAME CONTROLLER DEVICE WITH LED AND OPTICAL PORTS”，(AttorneyDocket PA3761US)，2006年5月8日提交，它的完整公开以引用的方式并入这里。
本申请还要求共同待批的美国设计专利申请第29/246,765号的利益，题为“DESIGN FOR OPTICAL GAME CONTROLLER INTERFACE”，(AttorneyDocket PA3762US)，2006年5月8日提交，它的完整公开以引用的方式并入这里。
本申请还要求共同待批的美国设计专利申请第29/246,766号的利益，题为“DUAL GRIP GAME CONTROL DEVICE WITH LED AND OPTICAL PORTS”，(Attorney Docket PA3763US)，2006年5月8日提交，它的完整公开以引用的方式并入这里。
本申请还要求共同待批的美国设计专利申请第29/246,764号的利益，题为“GAME INTERFACE DEVICE WITH LED AND OPTICAL PORTS”，(AttorneyDocket PA3764US)，2006年5月8日提交，它的完整公开以引用的方式并入这里。
本申请还要求共同待批的美国设计专利申请第29/246,762号的利益，题为“ERGONOMIC GAME INTERFACE DEVICE WITH LED AND OPTICALPORTS”，(Attorney Docket PA3765US)，2006年5月8日提交，它的完整公开以引用的方式并入这里。
相关申请的交叉参考
本申请与美国临时专利申请第60/718,145号相关，题为“AUDIO，VIDEO，SIMULATION，AND USER INTERFACE PARADINMS”，2005年9月15日提交，将它以引用的方式并入这里。
本申请与下列申请相关，美国专利申请第10/207,677号，题为“MANMACHINE INTERFACE USING A DEFORMABLE DEVICE”，2002年7月27日提交；美国专利申请第10/650,409号，题为“AUDIO INPUT SYSTEM”，2003年8月27日提交；美国专利申请第10/663,236号，题为“METHOD ANDAPPARATUS FOR ADJUSTING A VIEW OF A SCENE BEING DISPLAYEDACCORDING TO TRACKED HEAD MOTION”，2003年9月15日提交；美国专利申请第10/759,782号，题为“METHOD AND APPARATUS FOR LIGHTINPUT DEVICE”，2004年1月16日提交；美国专利申请第10/820,469号，题为“METHOD AND APPARATUS TO DETECT AND REMOVE AUDIODISTURBANCES”，2004年4月7日提交；以及美国专利申请第11/301,673号，题为“METHOD FOR USING RELATIVE HEAD AND HAND POSITION TOENABLE A POINTING INTERFACE VIA CAMERA TRACKING”，2005年12月12日提交；美国专利申请第11/165,473号，题为“DELAY MATCHING INAUDIO/VIDEO SYSTEM”，2005年6月22日提交，所有这些以引用的方式并入这里。
本申请与共同待批的美国专利申请第11/400,997号相关，2006年4月10提交，Larsen和Chen，题为“System And Method For Obtaining User InformationFrom Voices”，(Attorney Docket SCEA05040US00)，它的完整公开以引用的方式并入这里。
发明领域
本发明一般涉及计算机娱乐系统，特别涉及用户对这种计算机娱乐系统的控制器的操纵。
发明背景
计算机娱乐系统典型地包括手持控制器、游戏控制器、或其它控制器。用户或玩家利用该控制器发送命令或其它指令给娱乐系统，以控制正在玩的视频游戏或其它仿真。例如，控制器可能具有由用户操纵的操纵器，比如一个操纵杆。操纵杆被操纵的变量从模拟值转换为数字值，该数字值被发送到游戏机的主机。控制器也可以具有能够被用户操作的按钮。
考虑到这些和其它背景信息因素，于是发展了本发明。
附图说明
通过结合附图考虑以下详细说明，可以容易理解本发明的教导，其中：
图1是示出了根据本发明一个实施例运行的视频游戏系统的实物图；
图2是根据本发明一个实施例制作的控制器的透视图；
图3A中的三维示意图示出了加速度计，其可用在根据本发明一个实施例的控制器中；
图3B中截面示意图示出了图3A中的加速度计处于绕着俯仰或翻滚轴旋转的状态；
图3C中截面示意图示出了图3A中的加速度计处于移动加速的状态；
图3D中的顶部俯视示意图示出了图3A中的加速度计处于绕着偏航轴旋转加速的状态；
图3E中的顶部俯视示意图示出了图3A中的加速度计处于绕着偏航轴旋转加速的状态；
图4中的三维原理图示出了根据本发明一个实施例对依赖于方向的零点加速度计信号的校正；
图5A是图1中视频游戏系统中一部分的框图；
图5B中的流程图示出了根据本发明一个实施例跟踪视频游戏系统的控制器的方法；
图5C中的流程图示出了根据本发明一个实施例在视频游戏系统上玩游戏时利用位置和/或方向信息的方法。
图6中的框图示出了根据本发明一个实施例的视频游戏系统；以及
图7是根据本发明一个实施例的视频游戏系统的单元处理器实施的框图。
具体实施方式
尽管以下详细描述为了示例而包括很多特定的细节，但本领域的普通技术人员将会意识到，针对以下描述的很多改动和变更将会落入本发明的范围。相应地，下面描述的本发明的示例性实施例被阐明而不失去任何一般性，且并未施加限制于所要求的发明。
在此描述的方法、设备、方案和系统的不同实施例提供了用户针对整个控制器主体本身的运动、动作和/或操纵的检测、捕捉和跟踪。被检测的用户对整个控制器主体的运动、动作和/或操纵，可以被用作附加的命令来控制正在玩的游戏或其它仿真的多个方面。
检测和跟踪用户对游戏控制器主体的操纵可以通过不同的方式实现。例如，在某些实施例中惯性传感器，比如加速度计或陀螺仪，可以被用在计算机娱乐系统中以检测手持控制器主体的运动并将它们转换成游戏中的动作。惯性传感器可以用于检测控制器的多种不同类型的动作，比如上下移动，扭曲移动，侧向移动，猛拉运动，类似棍棒的移动，突降移动等等。这些动作可与各种命令相对应，从而被转换成游戏中的动作。
检测和跟踪用户对游戏控制器主体的操纵可以被用于实现多种不同类型的游戏，仿真等等，这使得用户，例如，能够参加剑或光剑战斗，利用棍描绘物品的外形，从事多种不同类型的体育运动，参与屏幕上的打斗或其它遭遇战等等。
参考图1，其中示出了按照本发明的一个实施例操作的系统100。如图所示，计算机娱乐控制台102可耦接到电视或其它视频显示器104，以在其上显示视频游戏或其它仿真的图像。所述游戏或其它仿真可存储在被插入到控制台102的DVD、CD、闪存、USB存储器、或其它存储媒介106上。用户或玩家108操纵游戏控制器110以控制视频游戏或其它仿真。如在图2中所看到的，游戏控制器110包括惯性传感器112，其响应于游戏控制器110的位置、动作、方向或方向的改变而产生信号。除了惯性传感器，游戏控制器110可能还包括传统的控制输入装置，比如操纵杆111、按钮113，R1、L1等。
在操作期间，用户108物理地移动控制器110。例如，控制器110可能被用户108在任何方向上移动，比如向上、向下、向一侧、向另一侧、扭曲，滚动，摇动，猛拉，突降等等。控制器110本身的这些运动可被相机114经由通过以下面描述的方式分析惯性传感器112产生的信号的跟踪，而被检测并捕捉。
再参考图1，系统100可能可选地包括相机或其它视频图像捕捉装置114，它可被放置为使得控制器110处在相机的视域116内。对从图像捕捉装置114获得的图像的分析可以被用来协同对惯性传感器112的数据的分析。如图2所示，控制器可能可选地装配光源比如发光二极管(LED)202、204、206、208，以方便被视频分析跟踪。为了跟踪控制器110的目的对这些视频图像的分析在，例如，美国专利申请第11/382,034号，题为“SCHEME FOR DETECTING ANDTRACKING USER MANIPULATION OF A GAME CONTROLLERBODY”(Attorney Docket Number SCEA05082US00)中被描述，其被以引用的方式合并到这里。控制台102可包括麦克风阵列118且控制器110还可包括一个声音信号产生器210(比如一个扬声器)以提供声源，以方便控制器110利用麦克风阵列118和适当的声音信号处理跟踪声音，例如，如美国专利申请11/381,724中所描述的，其被合并到这里用以参考。
一般而言，来自惯性传感器112的信号用以产生控制器110的位置和方向数据。这些数据可以被用以计算控制器110的运动的多个物理方面，比如它沿着任何轴的加速度和速度、它的倾斜、俯仰、偏航、翻滚、以及控制器110的任何遥测点。这里的遥测一般指远程测量以及向系统或系统的设计者或操作者报告感兴趣的信息。
能够检测和跟踪控制器110的运动，使得确定控制器110是否执行了任何预定的运动成为可能。即，控制器110的特定的运动方式或姿势可以被预先定义并用作游戏或其它仿真的输入命令。例如，控制器110向下跳跃的姿势可以被定义为一个命令，控制器110一个扭曲的姿势可以被定义为另一个命令，控制器110的一个摇动的姿势可以被定义为另一个命令，以此类推。这样，用户108物理地移动控制器110的方式被用作控制游戏的另一种输入，这给用户提供了一种更加刺激和娱乐的感受。
通过举例的方式而不是限制，惯性传感器112可以是加速度计。图3A描述了加速度计300作为一个简单块302弹性连接到框架304的四个点上的方式，例如，通过弹簧306、308、310、312。俯仰轴和翻滚轴(分别表示为X和Y)位于横切框架的平面上。偏航轴Z垂直于包含有俯仰轴X和翻滚轴Y的平面。框架304可以以任何合适的方式安装到控制器110上。当框架304(以及操纵杆控制器110)加速和/或旋转时，块302可相对于框架304位移，且弹簧306、308、310、312可根据移动加速度和/或转动加速度的量和方向和/或俯仰和/或翻滚和/或偏航的角度拉长或压缩。所述块302的位移和/或弹簧306、308、310、312的压缩或拉长可被感应到，例如，通过适当的传感器314、316、318、320，并转换成以已知的或可确定的方式取决于俯仰和/或翻滚的量加速度的信号。
存在很多种不同的方法去跟踪块的位置和/或在其上施加的力，包括电阻应变测量材料、光传感器、磁传感器、霍尔效应装置、压电装置、容性传感器等等。本发明的实施例可包括任何数量和类型或类型的组合的传感器。通过举例，而不是限制，传感器314、316、318、320可以是放置在块302上的间隙关闭电极(gap closing electrode)。位于块和每个电极之间的电容随着块相对于每个电极的位置的变化而变化。每个电极可以被连接到一个电路，该电路产生关于块302相对于该电极的电容(因此关于接近度)的信号。另外，弹簧306、308、310、312可以包括电阻应变测量传感器，其产生与弹簧的压缩和拉长相关的信号。
在某些实施例中，框架304可以常平架安装(gimbal mounted)到控制器110，使得加速度计300关于俯仰轴和/或翻滚轴和/或偏航轴保持一个固定的方向。以这样的方式，控制器轴X、Y、Z可以直接映射到实际空间中相应的轴上，而不必考虑控制器轴关于实际空间坐标轴的倾斜。
图3B-3D示出了弹簧306、308、310、312在不同的加速度和/或旋转情况下不同的拉长和压缩的例子。特别地，图3B描述了框架304绕着Y轴旋转的情况。由于作用在块302上的重力，弹簧306、310被拉长且块302靠近传感器314、318，而远离传感器316、320。绕着Y(翻滚)轴在相反方向上旋转将类似地拉长弹簧306、310，但将使得块靠近传感器316、320，而远离传感器314、318。类似地，依赖于旋转的方向，绕着X(俯仰)轴旋转可拉长弹簧308、312且使得块靠近传感器314、316，而远离传感器318、320。
图3C描述了一种情形，其中框架304在保持水平的情况下急剧向下(如箭头所指示)加速。在这种情形下，四个弹簧306、308、310、312全部拉长且使得块靠近所有四个传感器314、316、318、320。在图3D中，框架304在保持水平的情况下向左(如箭头所指示)加速。在这种情形下，弹簧306、308和312拉长而弹簧310压缩。块302离开传感器314、318而靠近传感器316、320。图3E描述了一种情形，其中给框架304一个绕着Z(偏航)轴的角加速度，使得四个弹簧306、308、310、312全部拉长，并使得块302离开所有的四个传感器314、316、318、320。如可以在图3B-3E中所看到的，框架304不同的动作和/或方向会产生特定的信号组合，其可以被分析以确定框架304(和控制器110)的方向和/或动作。
在没有外力作用于块302的情况下，块302沿着Z轴从静止位置的位移大致地与沿着Z轴的加速度的量成比例。检测器314、316、318、320产生与块302的位移成比例且，因此，与框架304(和控制器110)沿着Z轴的加速度成比例的信号。在一种相似的方式下，传感器产生的信号可以用于推断沿着X和Y轴的加速度。要注意到，重力会作用于块302且传感器314、316、318、320会产生非零信号。例如在静止状态下，操纵杆控制器没有俯仰或翻滚，Z轴可与垂直轴(如重力确定的)平行。重力会从假设没有重力的位置位移块302。作为结果，位移传感器产生某个非零信号Vo，其在这里称为“零点”加速度信号。在分析来自传感器314、316、318、320的原始信号之前，所述零点加速度信号Vo典型地从加速度计信号V中减去。
如果框架304(和控制器110)关于俯仰和翻滚保持在相同的方向，则零点加速度信号Vo是常数。然而，零点加速度信号Vo可依赖于关于俯仰轴和翻滚轴旋转的量。本发明的实施例可考虑俯仰和翻滚对于零点加速度信号Vo的影响。例如，图4示出了有关单轴加速度计400的情形，单轴加速度计400具有被限制在管404中沿着管轴Z移动的块402。弹簧406将块402连接到管404的端盖上。传感器408，比如上面所述的电容性传感器。如果由于管404的俯仰和翻滚，管轴Z关于垂直方向Z’倾斜了(如虚线所示)角度θ，“旋转的”零点加速度信号Vo’可以被预期与Vo和θ有关：
Vo’＝V0cosθ。
注意在θ＝90度的极端情形下，Vo’＝0。
角度θ一般依赖于俯仰和翻滚的角度。这些可通过来自分开的传感器的信号而确定。沿着管轴Z方向的单位矢量z可以通过已知的相对于已知的初始方向，例如，其中加速度计轴与沿着垂直轴的单位矢量z’平行的方向，的俯仰和翻滚的绝对值来构建。注意到初始方向可以是操纵杆控制器从加速度计400产生稳定信号的任意方向。单位矢量z和z’之间的点积给出了它们之间的角度θ的余弦值。这个点积可以乘上零点信号Vo来提供期望的修正因子，接着可以从由传感器408获得的加速度信号中减去该修正因子。
注意到在当前传感器的实施例中，多种类型的惯性传感器装置可以被用于提供关于6个自由度的信息(例如，X、Y和Z平移以及绕X、Y和Z轴的旋转)。用于提供关于6个自由度的信息的合适的惯性传感器的例子包括图3A中所示类型的加速度计，一个或多个单轴加速度计，机械陀螺仪，环形激光陀螺仪或它们中两个或多个的组合。
根据发明的方法，在玩视频游戏期间，可以分析来自传感器的信号以确定控制器的动作和/或方向。这种方法可以被实现为储存在处理器可读媒介上并在数字处理器上执行的一系列处理器可执行程序代码。例如，如图5A所示，视频游戏系统100可以包括位于控制台102上的处理器502。该处理器可以是任何适合的数字处理器单元，例如，一般用在视频游戏控制台上的类型的微处理器。该处理器可以通过执行处理器可读指令实现惯性分析器504。指令的一部分可以储存在存储器506中。可选地，惯性分析器504可以通过硬件实现，例如，作为特定用途集成电路(ASIC)。这种分析器硬件可以位于控制器110上或位于控制台102上或可以远程的位于其它地方。在硬件实现中，分析器504可以是响应于外部信号而可编程的，外部信号例如，来自处理器502或者某个其它位于远程的源，例如，通过USB电缆连接，无线连接，或在网络上。
惯性分析器504可以包括或执行分析惯性传感器112产生的信号，并利用有关控制器110位置和/或方向的信息的指令。例如，如图5B中的流程图510所示，信号可以通过惯性传感器112产生，如块512所示。惯性传感器信号可以被分析以确定有关控制器110的位置和/或方向的信息，如块514所示。在系统100上玩视频游戏的期间可以利用该位置和或方向信息，如块516所示。
在某些实施例中，在玩游戏期间位置和/或方向信息可以与用户108做出的姿势相关地使用。如图5C中的流程图520所示，控制器110的路径可以利用位置和/或方向信息来跟踪，如块522所示。通过例子，而不是限制，该路径可以包括一组代表控制器质心关于某坐标系的位置的点。每个位置点可以通过一个或多个坐标来表示，例如，笛卡尔坐标系中的X、Y和Z坐标。时间可以与路径上的每个点相关联，从而路径的形状和控制器沿着该路径的行进都可以被监控。另外，组中的每个点可以与表示控制器方向的数据相关联，例如，控制器围绕其质心的一个或多个旋转角度。此外，路径上的每个点可以与控制器质心的速度和加速度值、和控制器围绕其质心的角旋转速率和角加速度相关联。
如块524所示，跟踪的路径可以与一个或多个对应于已知的和/或预先记录的姿势508的存储路径相比较，所述姿势508与正在玩的视频游戏的情景相关。分析器504可以被配置为识别用户或处理音频鉴定过的姿势等等。例如，用户可以由分析器504通过姿势来识别，且一个姿势可以特定于某个用户。这种特定的姿势可以被记录下来且被包含在存储器506中存储的预先记录的姿势508中。记录过程可以可选地存储在记录姿势期间产生的声音。感应到的环境被采样送入多通道分析器并被处理。处理器可以参考姿势模型以基于声音或声学模式确定和鉴别和/或识别用户或目标，达到高的精确度和性能。
如图5A所示，姿势可以被储存在存储器506中。作为例子而不是限制，姿势包括投掷一个物体比如一个球，挥动一个物体比如球棒或高尔夫球杆，泵手泵，打开或关上门或窗，转动方向盘或其它车辆控制，武术动作比如出拳，打磨动作，上蜡除蜡(wax on wax off)，用油漆涂房屋，摇动，颤动(rattle)，滚动，投掷橄榄球，转动旋钮的动作，3D MOUSE移动，卷的动作，已知轮廓的动作，任何可记录的动作，沿着任何向量来回的动作，也就是给轮胎打气但是在空间中沿着某任意的方向，沿着一路径的运动，具有精确停止和开始时间的运动，在固有噪声水平、样条(spline)等之内可记录、跟踪和重复的任何基于时间的用户操纵，等等。这些姿势中的每个都可以从路径数据中被预先记录并储存为基于时间的模型。路径和储存的姿势之间的比较可以以稳定状态的假设开始，如果路径偏离了稳定状态，路径可以通过消除处理来与储存的姿势进行比较。如果在块526不存在匹配，分析器504可以在块522继续跟踪控制器110的路径。如果在路径(或者其中一部分)和一储存的姿势之间存在充分的匹配，则游戏的状态可以改变，如在528所示。游戏状态的改变可以包括，但不限制于，中断，发送控制信号，改变变量等等。
这里是一个可以发生的例子。一旦确定控制器110离开了稳定状态，路径分析器504跟踪控制器110的移动。只要控制器110的路径与储存的姿势模型508中定义的路径相符，那些姿势是可能的“命中”。如果控制器110的路径(在噪声容限设置内)偏离任何姿势模型508，该姿势模型就从命中列表中删除。每个姿势参考模型包括在其中记录姿势的时间基础。分析器504在合适的时间索引上将控制器路径数据与储存的姿势508相比较。稳定状态条件的出现复位时钟。当偏离了稳定状态(即在噪声门限外跟踪到移动时)，将所有可能的姿势模型加入命中列表。时钟被启动且控制器的移动与命中列表比较。再一次，比较随着时间进行。如果命中列表中的任何姿势到达了该姿势的结束，则它就是一次命中。
在某些实施例中，当某些事件发生时，分析器504可以通知游戏程序。这种事件的例子包括：
到达零加速度点中断(X和/或Y和/或Z轴)，在某些游戏情形中，分析器504可以当控制器的加速度在拐折点改变时通知或中断游戏程序中的进程。例如，用户108可以利用控制器110控制表示橄榄球仿真游戏中的四分卫的游戏化身。分析器504可以通过从来自惯性传感器112的信号产生的路径跟踪控制器(代表橄榄球)。控制器110的加速度的特定改变可以表示释放橄榄球。在这点上，分析器可以触发程序中的另一个进程(比如物理仿真包)，以基于控制器在该释放点的位置，和/或速度和/或方向来仿真橄榄球的轨迹。
新姿势识别中断
另外，分析器504可以被一个或多个输入配置。这些输入的例子包括，但不限于：
设定噪声级别(X、Y或Z轴)。噪声级别可以是分析用户在游戏中手的抖动时的参考容限。
设定采样率。如这里所用到的，采样率可以指分析器504从惯性传感器采样信号的频繁度。采样率可以被设置为过采样信号或达到信号的平均水平。
设置传动。如这里所用到的，传动通常指控制器的移动与游戏中发生的移动的比率。这种在视频游戏的控制环境中的“传动”的例子可以在美国专利申请号11/382,040中找到，其在2006年5月7日提交，(Attorney Docket No.：SONYP058D)，通过引用被合并到这里。
设置映射链。如这里所用到的，映射链指姿势模型的映射。该姿势模型映射可以对特定的输入通道进行(比如仅仅对于从惯性传感器信号产生的路径数据)或对在混合器单元中形成的混合通道进行。三个输入通道可以由两个或更多个类似惯性分析器504的不同分析器来服务。特别地，这些可以包括：如这里所描述的惯性分析器504，如美国专利申请号11/382,034，题为“SCHEME FORDETECTING AND TRACKING USER MANIPULATION OF A GAMECONTOLLER BODY(Attorney Docket SECA0508US00)”中所描述的视频分析器，其通过引用被合并到这里，以及声频分析器，比如在美国专利申请号11/381,721中所描述的，其通过引用被合并到这里。可以用映射链配置分析器。在玩游戏期间，映射链可以被游戏交换出来，如同对于分析器和对于混合器的设置也可以被游戏换出那样。
再次参考图5B，块512，本领域的技术人员将会认识到，存在很多种方式从惯性传感器112产生信号。其中一些例子已在前面参考图3A-3E被描述过了。参考块514，存在很多种方式分析块512中产生的传感器信号，以获得关于控制器110的位置和/或方向的信息。通过举例而不是限制，位置和/或方向信息可以包括，但不限于单独或以任何组合关于下面的参数的信息：
控制器方向。控制器110的方向可以按照关于某参考方向的俯仰、翻滚或偏航角来表示(比如以弧度)。控制器方向的改变率(比如角速度或角加速度)也可以被包括在位置和/或方向信息中。其中惯性传感器112包括陀螺仪传感器，控制器方向信息可以按照与俯仰角、翻滚角或偏航角成比例的一个或多个输出值的形式直接获得。
控制器位置(比如控制器110在某参考框架中的笛卡尔坐标X、Y、Z)
控制器X轴速度
控制器Y轴速度
控制器Z轴速度
控制器X轴加速度
控制器Y轴加速度
控制器Z轴加速度
注意到关于位置、速度和加速度，位置和/或方向信息可以通过不同于笛卡尔的坐标系来表示。例如，柱坐标或球坐标可以用于位置、速度和加速度。关于X、Y和Z轴的加速度信息可以通过加速度计类型传感器直接获得，例如，如参考前面的图3A-3E中所描述的。X、Y和Z加速度可以从某个初始时刻开始关于时间积分，以确定X、Y和Z速度的改变。这些速度可以通过把速度改变加到在初始时刻的已知X-、Y-和Z-速度值上来计算得到。X、Y和Z速度可以对时间积分来确定控制器的X-、Y-和Z-位移。X-、Y-和Z-位置可以通过将位移加到初始时刻的已知X-、Y-和Z-位置来确定。
稳定状态Y/N—该特定信息指示控制器是否处于稳定状态，其可以被定义为任何位置，该位置可能也会受到改变。在一个优选实施例中，稳定状态位置可以是，其中控制器在大致与用户腰部相平的高度被保持在或多或少水平的方向的位置。
距离上次稳定状态的时间一般指关于从最后检测到的稳定状态(参考上面所述)开始经过了多长时间期的数据。该时间的确定可以如先前所指出的，按实时，处理器周期或者采样周期计算。距离上次稳定状态的时间数据时间对于关于初始点复位控制器跟踪，以保证游戏环境中的角色或目标映射的准确性来说很重要。该数据对于确定可能随后在游戏环境中执行的可用的动作/姿势也可能很重要(排他地或包含地)。
上次识别姿势一般指姿势识别引擎(其可以通过硬件或软件来实现)识别的上次姿势。上次识别姿势的确定可能对以下事实重要：先前的姿势可能与随后被识别的可能姿势或在游戏环境中发生的某个其它动作相关。
上次姿势识别时间
上述输出可以被游戏程序或软件在任何时间采样。
根据本发明的实施例，视频游戏系统和上述类型的方法可以如图6中描述的那样实现。视频游戏系统600可以包括处理器601和存储器602(比如RAM、DRAM、ROM等等)。另外，视频游戏系统600可以具有多个处理器601，如果要执行并行处理的话。存储器602包括数据和游戏程序代码604，其可以包括如上述地配置的各部分。特别地，存储器602可以包括惯性信号数据606，该惯性信号数据606可以包括上述存储的控制器路径信息。存储器602也可以包含存储的姿势数据608，比如代表与游戏程序604相关的一个或多个姿势的数据。
系统600也可以包括众所周知的支持功能610，比如输入/输出(I/O)元件611，电源(P/S)612，时钟(CLK)613和缓存614。设备600可以可选地包括大容量存储装置615，比如磁盘驱动器，CD-ROM驱动器，磁带驱动器等来存储程序和/或数据。控制器也可以可选地包括显示单元616以及用户接口单元618，以方便在控制器600和用户之间交互。显示单元616可以是显示文本，数字，图形符号或图像的阴极射线管(CRT)或平板屏幕的形式。用户接口618可以包括键盘，鼠标，操纵杆，光笔或其它装置。另外，用户接口618可以包括麦克风，摄像机或其它信号转换装置，以提供对要分析的信号的直接捕捉。处理器601，存储器602和系统600的其它组件可以通过如图6所示的系统总线620相互交换信号(比如代码指令和数据)。
麦克风阵列622可以通过I/O功能611耦接到系统600。麦克风阵列可以包括大约2到8个麦克风，优选地大约4个麦克风，相邻的麦克风相隔的距离小于大约4厘米，优选的在大约1到2厘米之间。优选地，阵列622中的麦克风是全向麦克风。可选的图像捕捉单元623(比如数字相机)可以通过I/O功能611耦接到设备600。机械地耦接到相机的一个或多个瞄准致动器625可以通过I/O功能611与处理器601交换信号。
如这里所用到的，术语I/O一般指向或从系统600传递数据，以及向或从外围设备传递数据的任何程序、操作或设备。每一次数据传递可以被看作从一个设备的输出以及到另外一个设备的输入。外围设备包括仅输入的设备，比如键盘和鼠标，仅输出的设备，比如打印机，以及像可写CD-ROM那样既能输入又能输出的设备。术语“外围设备”既包括外部设备，比如鼠标、键盘、打印机、监控器、麦克风、游戏控制器、相机、外部压缩驱动器或扫描仪，也包括内部设备，比如CD-ROM驱动器、CD-R驱动器或内部调制解调器或其它外围设备，比如闪存读/写器，硬盘驱动器。
在本发明的某些实施例中，设备600可以是一个视频游戏单元，其可以包括经由I/O功能611通过有线(比如USB电缆)或无线方式耦接到处理器的控制器630。在某些实施例中，操纵杆控制器630可以是可安装到用户的身体上的。控制器630可以具有模拟操纵杆控制631和传统按钮633，提供在玩视频游戏期间常用的控制信号。这种视频游戏可以被实现为来自程序604的处理器可读数据和/或指令，其可以储存在存储器602或其它处理器可读媒介上，比如与大容量存储器615相联系的一个。
操纵杆控制631一般可以被配置为使得向左或向右移动控制杆产生沿X轴移动的信号，向前(上)或向后(下)移动它产生沿Y轴移动的信号。在为三维运动配置的操纵杆中，向左(逆时针)或向右(顺时针)扭动操纵杆可以产生沿Z轴移动的信号。这三个轴—X、Y和Z—通常分别被称为翻滚、俯仰和偏航，特别是关于飞行器。
除了传统的特性外，控制器630可以包括一个或多个惯性传感器632，所述惯性传感器632可以通过惯性信号给处理器601提供位置和/或方向信息。方向信息可以包括角度信息比如控制器630的俯仰、翻滚或偏航。通过例子，惯性传感器632可以包括任意数量的加速度计、陀螺仪或倾斜传感器和/或它们的组合。在一个优选实施例中，惯性传感器632包括倾斜传感器，适于感应操纵杆控制器关于俯仰和翻滚轴的方向；第一加速度计，适于感应沿着偏航轴的加速度；以及第二加速度计，适于感应关于偏航轴的角加速度。加速度计可以被实现为，比如MEMS装置，该装置包括通过一个或多个弹簧安装的块，具有用于感应块相对于一个或多个方向的位移的传感器。来自传感器的依赖于块的位移的信号可以用于确定操纵杆控制器630的加速度。这种技术可以通过可存储在存储器602上并由处理器601执行的游戏程序604中的指令来实现。
通过例子，适于作为惯性传感器632的加速度计可以是一个简单块，其弹性地在三个或四个点耦接到框架，比如通过弹簧。俯仰轴和翻滚轴位于与该框架相交的一个平面中，该框架被装配到操纵杆控制器630上。当该框架(以及操纵杆控制器630)绕着俯仰轴和翻滚轴旋转时，块会在重力的影响下位移，且弹簧将会以依赖于俯仰和/或翻滚角的方式拉长或压缩。块的位移可以被感应到并转换成依赖于俯仰和/或翻滚的量的信号。关于偏航轴的角加速度或沿着偏航轴的线性加速度也可以产生弹簧压缩和/或拉长的特征模式或者块的移动，该移动可以被感应到并转换成依赖于角或线性加速度的量的信号。这样的加速度计装置可以通过跟踪块的移动或弹簧的压缩和扩张力，来测量关于偏航轴的俯仰、翻滚角加速度以及沿着偏航轴的的线性加速度。存在很多种不同的方法来跟踪块的位置和/或施加在它上面的力，包括电阻应变计量材料、光传感器、磁传感器、霍尔效应装置、压电装置、电容性传感器等等。在某些实施例中，惯性传感器632可以可移动地装配到操纵杆控制器630的“主体”上。
另外，操纵杆控制器630可以包括一个或多个光源634，比如发光二极管(LED)。光源634可以用于将一个控制器与其它控制器区分开来。例如，一个或多个LED可以通过闪烁或保持一种LED模式编码来实现这个目标。通过举例，5个LED可以以直线或二维的模式在操纵杆控制器630上提供。尽管直线排列LED是优选方式，LED可以可选地，被排列成矩形的模式或弓形的模式，以在分析图像捕捉单元623获得的LED模式的图像时，方便确定LED阵列的图像平面。此外，LED模式编码也可以用于在玩游戏期间确定操纵杆控制器630的定位。例如，LED可以帮助识别控制器的俯仰、偏航和翻滚。这个检测模式可以帮助在游戏中提供更好的用户感受，比如飞行器飞行游戏等等。图像捕捉单元623可以捕捉包含操纵杆控制器630和光源634的图像。分析这些图像可以确定操纵杆控制器的位置和/或方向。这些分析可以通过存储在存储器602中并被处理器601执行的程序代码指令604来实现。为了方便图像捕捉单元623捕获光源634的图像，光源634可以被放置于操纵杆控制器630的两个或更多个不同的侧面，比如前面和后面(如虚线所示)。这种放置允许图像捕捉单元623针对取决于用户怎样握操纵杆控制器630的、操纵杆控制器630的不同方向，获得光源634的图像。
另外，光源634可以给处理器601提供遥测信号，比如，以脉冲编码，幅度调制或频率调制的形式。这种遥测信号可以指示操纵杆的哪些按钮正被按下和/或这些按钮被按到何种程度。遥测信号可以被编码成光信号，比如，通过脉冲编码，脉冲宽度调制，频率调制或光强度(幅度)调制。处理器601可以从光信号中解码出遥测信号，并响应于解码的遥测信号执行游戏命令。遥测信号可以通过分析图像捕捉单元623获得的操纵杆控制器630的图像而被解码。可选地，设备600可以包括单独的光传感器，专门用于从光源634接收遥测信号。在与计算机程序接口中结合确定亮度量使用LED，在，比如，Richard L.Marks etal.的，题为“Computer Image and Audio processing of Intensity and Input Devices forInterfacing With A Computer Program”(Attorney Docket No.SONYP052)的，2006年5月4日申请的美国专利申请号11/429,414中被描述，其全部内容通过引用的方式被合并到这里。另外，分析包含光源634的图像既可以被用于遥测也可以被用于确定操纵杆控制器630的位置和/或方向。这种技术可以通过可存储在存储器602中并由处理器601执行的程序604的指令来实现。
处理器601可以利用来自惯性传感器632的惯性信号，结合通过图像捕捉单元623检测到的来自光源634的光信号和/或来自麦克风阵列622检测到的声音信号的声源位置和特性信息，来推断关于控制器630和/或它的用户的位置和/或方向的信息。例如，“声学雷达”声源位置和特性可以和麦克风阵列622结合使用，以在操纵杆控制器的移动被独立跟踪(通过惯性传感器632和或光源634)的同时跟踪移动的声音。在声学雷达选择中，预先校准的收听区在运行时被选择，且来自预先校准的收听区外部的源的声音被过滤掉。预先校准的收听区可以包括对应于图像捕捉单元623的聚焦容积或视域的收听区。声学雷达的例子在，Xiadong Mao的题为“METHOD AND APPARATUS FOR TARGETEDSOUND DETECTION AND CHARACTERIZATION”的，2006年5月4日提交的美国专利申请号11/381,724中有详细的描述，其通过引用被合并到这里。向处理器601提供控制信号的不同模式的任何数量的不同组合可以和本发明的实施例结合使用。这种技术可以通过可储存在存储器602中并被处理器601执行的程序代码指令604实现，且可以可选地包括，控制一个或多个处理器在运行时选择预先校准的收听区，并过滤掉来自预先校准的收听区以外的源的声音的一个或多个指令。预先校准的收听区可以包括对应于图像捕捉单元623的聚焦容积或视域的收听区。
程序604可以可选地包括一个或多个指令，来指示一个或多个处理器从麦克风阵列622的麦克风Mo...Mm产生一个离散时间域输入信号xm(t)，确定收听扇区，并在半盲源分离中使用该收听扇区，以选择有限冲击响应滤波器系数，用于从输入信号xm(t)中分离出不同的声源。程序604也可以包括指令，来将一个或多个分数延迟应用到除了来自参考麦克风Mo的输入信号xo(t)之外的选择的输入信号xm(t)。每个分数延迟可以被选择以优化来自麦克风阵列的离散时间域输出信号y(t)的信噪比。分数延迟可以被选择使得，相对于来自阵列中其它(多个)麦克风的信号来说来自参考麦克风Mo的信号在时间上是第一个。程序604也可以包括指令来将分数时间延迟Δ引入到麦克风阵列的输出信号y(t)中，从而：y(t+Δ)＝x(t+Δ)*bo+x(t-1+Δ)*b1+x(t-2+Δ)*b2+...+x(t-N+Δ)bN，其中Δ在0和±1之间。这种技术的例子在Xiadong Mao的，题为“ULTRA SMALL MICROPHONEARRAY”的，2006年5月4日提交的美国专利申请号11/381,729中有详细描述，其整个公开通过引用被合并到这里。
程序604可以包括一个或多个指令，在执行时使系统600选择包含声源的预先校准的收听扇区。这些指令可以使设备确定声源是否位于初始扇区中或位于初始扇区的某个特定侧。如果声源不在默认的扇区中，这些指令可以，在执行时，选择默认扇区的特定侧的不同扇区。该不同扇区可以通过与最优值最接近的输入信号的衰减来刻画。这些指令可以，在执行时，计算来自麦克风阵列622的输入信号的衰减和该衰减到最优值。这些指令可以，在执行时，使设备600为一个或多个扇区确定输入信号的衰减值，并且选择衰减最接近最优值的扇区。这种技术的例子在，例如Xiadong Mao的，题为“METHODS ANDAPPARATUS FOR TARGETED SOUND DETECTION”的，2006年5月4日提交的美国专利申请号11/381,725中描述，其公开通过引用被合并到这里。
来自惯性传感器632的信号可以提供跟踪信息输入的一部分，且图像捕捉单元623从跟踪一个或多个光源634产生的信号可以提供跟踪信息输入的另一部分。通过例子，而不是限制，这种“混合模式”信号可以用在橄榄球类型的视频游戏中，其中四分卫在头假装向左边移动之后将球投掷到右边。特别地，游戏玩家拿着控制器630可以将他的头转向左边，且在就像控制器是橄榄球一样将控制器向右边挥出做出投掷动作时发出声音。麦克风阵列622结合“声学雷达”程序代码可以跟踪用户的声音。图像捕捉单元623可以跟踪用户头部的动作或跟踪其它不需要声音或控制器的使用的命令。传感器632可以跟踪操纵杆控制器(代表橄榄球)的移动。图像捕捉单元623也可以跟踪控制器630上的光源634。用户可以在达到操纵杆控制器630的加速度的一定量和/或方向时，或通过按下控制器630上的一个按钮触发一个键命令释放“球”。
在本发明的某些实施例中，惯性信号，比如来自加速度计或陀螺仪，可以用于确定控制器630的位置。特别地，来自加速度计的加速度信号可以对时间积分一次以确定速度的变化，且所述速度可以对时间积分以确定位置的变化。如果某个时刻的初始位置和速度的值是已知的，则可以利用这些值和速度和位置的变化来确定绝对位置。尽管可以使利用惯性传感器的位置确定比利用图像捕捉单元623和光源634更快，但惯性传感器632可能会受到一种称为“漂移”的误差，其中，随时间累积的误差可能导致根据惯性信号计算的操纵杆631的位置(虚线所示)和操纵杆控制器630的实际位置之间的差异D。本发明的实施例允许多种方法来处理这种误差。
例如，可以通过将控制器630的初始位置重新设置成等于目前计算的位置来手动消除漂移。用户可以利用控制器630上的一个或多个按钮，以触发命令重新设置初始位置。可选地，基于图像的漂移可以通过将当前位置重新设置为根据从图像捕捉单元623获得的作为参考的图像来确定的一个位置来实现。这种基于图像的漂移补偿可以手动地实现，比如，当用户触发操纵杆控制器630上的一个或多个按钮时。可选地，基于图像的漂移补偿可以自动实现，比如，在规则的时间间隔或响应于游戏的进行。这种技术可以通过可储存在存储器602上并被处理器601执行的程序代码指令604来实现。
在某些实施例中可能希望补偿惯性传感器信号中的伪数据。例如，来自惯性传感器632的信号可以是过采样的，且可以根据过采样信号计算滑动平均，以消除惯性传感器信号中的伪数据。在某些情形中可能希望对信号进行过采样，并从数据点的某个子集中丢弃高和/或低值，并根据剩余的数据点计算滑动平均。此外，其它数据采样和处理技术可以用于调整来自惯性传感器的信号，以消除或降低伪数据的影响。技术的选择可以依赖于信号的特性，要对信号执行的计算，玩游戏的特性或两个或多个这些因素的组合。这种技术可以通过可储存在存储器602中并被处理器601执行的程序604的指令来实现。
处理器601可以如上所述，响应于惯性信号数据606和存储器602存储并取出、并由处理器模块601执行的程序604的程序代码指令，执行对惯性信号数据606的分析。程序604的代码部分可以遵照多种不同编程语言中的任意一种，比如汇编、C++，JAVA或其它语言。当执行比如程序代码604的程序时，处理器模块601形成的通用目的计算机变成专用目的的计算机。尽管这里描述的程序代码604以软件的方式实现并在通用目的计算机上运行，本领域的技术人员将会意识到，任务管理的方法也可以可选地利用硬件，比如特定用途集成电路(ASIC)或其它硬件电路来实现。这样，应当理解本发明的实施例的全部或部分可以通过软件、硬件或它们的某种组合来实现。
在其中一个实施例中，程序代码604可以包括一组处理器可读指令，其实现一种方法，该方法具有和图5B中的方法510和图5C中的方法520或它们中的两个或多个的某组合一样的特性。程序代码604一般可以包括一个或多个指令，其指示一个或多个处理器分析来自惯性传感器632的信号，以产生位置和/或方向信息，并在玩视频游戏的期间利用这些信息。
程序代码604可以可选地包括处理器可执行指令，其包括一个或多个指令，在运行时使图像捕捉单元623监控图像捕捉单元623前面的视域，识别视域内的一个或多个光源634，检测(多个)光源634发射的光的改变；并响应于检测到改变，触发向处理器601的输入命令。LED与图像捕捉装置结合使用以触发游戏控制器的动作，在例如Richard L.Marks的，2004年1月16日提交的题为“METHOD AND APPARATUS FOR LIGHT INPUT DEVICE”的美国专利申请号10/759,782中被描述，它的全部通过引用的方式被合并到这里。
程序代码604可以可选地包括处理器可执行指令，其包括一个或多个指令，当运行时，使用惯性传感器的信号和图像捕捉单元从跟踪一个或多个光源产生的信号作为游戏系统的输入，比如，如上面所述。程序代码604可以可选地包括处理器可执行指令，其包括一个或多个指令，当运行时补偿惯性传感器632中的漂移。
尽管本发明的实施例通过与视频游戏控制器630的游戏相关的例子进行了描述，本发明的实施例，包括系统600可以被用于具有惯性感应能力和无线或其它方式的惯性传感器信号传送能力的，任何用户操纵的主体，模制物体，旋钮、结构等等。
通过例子，本发明的实施例可以在并行处理系统上实现。这种并行处理系统典型地包括两个或多个处理器元件，其被配置为利用分开的处理器并行执行程序的部分。通过例子，而不是限制，图7示出了根据本发明一个实施例的一种类型的单元处理器700。该单元处理器700可以用作图6中的处理器601或图5A中的处理器502。在图7描述的例子中，单元处理器700包括主存储器702，power处理器元件(PPE)704，以及多个协作处理器元件(SPE)706。在图7描述的例子中，单元处理器700包括单个PPE 704和八个SPE 706。在这种配置中，七个SPE 706可以用于并行处理，一个可以保留作为备份，以防其他七个中的一个失效。单元处理器可以可选地包括多组PPE(PPE组)和多组SPE(SPE组)。在这种情形下，在一组中的各个单元间可以共享硬件资源。但是，SPE和PPE必须作为独立元件对软件出现。这样，本发明的实施例不限于采用图7中所示的配置。
主存储器702典型地包括普通目的且非易失性的存储器，以及特殊目的硬件寄存器或阵列，用于例如系统配置，数据转移同步，存储器映射的I/O，以及I/O子系统等功能。在本发明的实施例中，视频游戏程序703可以驻在主存储器702中。存储器702也可以包含信号数据709。视频程序703可以包括分析器，该分析器如上参考图5A、5B或5C所述或它们的某种组合来配置。程序703可以运行在PPE上。程序703可以被分成多个信号处理任务，以便可以在SPE和/或PPE上运行。
通过例子，PPE 704可以是具有关联的高速缓存L1和L2的64位PowerPC处理器单元(PPU)。PPE 704是普通目的处理单元，其能访问系统管理资源(例如，比如存储器保护表)。
硬件资源可以明确地映射到如PPE所看到的实地址空间。从而，PPE可以利用合适的有效地址值直接寻址这些资源中的任何一个。PPE 704的一个主要功能是为单元处理器700中的SPE 706管理和分配任务。
尽管图7中仅仅示出了一个PPE，某些单元处理器的实现，比如单元宽带引擎架构(CBEA)，单元处理器700可以具有组织为多个其中可以有多于一个PPE的PPE组的多个PPE。这些PPE组可以共享对主存储器702的访问。此外单元处理器700可以包括两个或多个SPE组。这些SPE组也可以共享对主存储器702的访问。这些配置在本发明的范围内。
每个SPE 706包括一个协同处理器单元(SPU)及其自己的本地存储区域LS。本地存储LS可以包括一个或多个存储器存储的分开的区域，每个与特定的SPU相关联。每个SPU可以被配置为仅执行来自其自己的相关联的本地存储区域的指令(包括数据加载和数据存储操作)。在这种配置中，本地存储LS和系统700的其他部分之间的数据传输可以通过从内存流量控制器(MFC)发布直接存储器存取(DMA)命令来执行，以向或从(单个的SPE)的本地存储区域传输数据。SPU是没有PPE 704复杂的计算单元，在于它们不执行任何系统管理功能。SPU一般具有单指令，多数据(SIMD)能力并典型地处理数据以及初始化任何需要的数据传输(服从于PPE设立的访问属性)，以执行给它们分配的任务。SPU的目的是使能需要更高计算单元密度的应用并能够有效地利用提供的指令组。系统中由PPE 704管理的大量SPE允许在大的应用范围中成本有效的处理。
每个SPE 706可以包括一个专用的内存流量控制器(MFC)，其包括关联的存储器管理单元，能够保存和处理存储器保护和访问许可信息。MFC提供了用于在单元处理器的主存储器和SPE的本地存储之间数据传输，保护，以及同步的主要方法。MFC命令描述了要执行的传输。用于传输数据的命令有时被称为MFC直接存储器存取(DMA)命令(或MFC DMA命令)。
每个MFC可以同时支持多个DMA传输并能够维持和处理多个MFC命令。每个MFC DMA数据传输命令请求可以包括本地存储地址(LSA)和有效地址(EA)两者。本地存储地址可以直接寻址仅与其相关联的SPE的本地存储区域。有效地址可以具有更普遍的应用，比如，它能够引用主存储器，包括所有的SPE本地存储区域，如果它们被映射到了实际地址空间中。
为了方便SPE 706之间的通信和/或SPE 706和PPE 704之间的通信，SPE 706和PPE 704可以包括与信令事件相关的信号通知寄存器。PPE 704和SPE 706可以通过星形拓扑耦接，其中PPE 704作为路由器向SPE 706发送消息。可选地，每个SPE 706和PPE 704可以具有被称为信箱的单向信号通知寄存器。信箱可以被SPE 706用于主机操作系统(OS)同步。
单元处理器700可以包括输入/输出(I/O)功能708，单元处理器700可以通过该输入/输出功能708与外围设备，比如麦克风阵列712和可选的图像捕捉单元713和游戏控制器730进行交互。游戏控制器单元可以包括惯性传感器732，和光源734。另外元件互连总线710可以连接上面列出的各种组件。每个SPE和PPE都能够通过总线接口单元BIU访问总线710。单元处理器700也可以包括典型地在处理器中可见的两个控制器：存储器接口控制器MIC，其控制总线710和主存储器702之间的数据流，以及总线接口控制器BIC，其控制I/O 708和总线710之间的数据流。尽管对于不同的应用来说，对于MIC、BIC、BIU和总线710的需求可能有较大的变化，本领域的技术人员将熟悉它们的功能和电路来实现它们。
单元处理器700也可以包括内部中断控制器IIC。IIC组件管理提交给PPE的中断的优先级。IIC允许来自单元处理器700的其它组件的中断被处理而不使用主系统中断控制器。IIC可以被看作第二层次的控制器。主系统中断控制器可以处理从外部发起到单元处理器的中断。
在本发明的实施例中，某些计算，比如上述分数延迟，可以使用PPE 704和/或一个或多个SPE 706并行地执行。每个分数延迟计算可以作为不同的SPE706可以在其变得可用时执行的一个或多个单独的任务运行。
尽管上面是本发明优选实施例的一个完整描述，可能使用不同的替代、修改和等价物。因此，本发明的范围不应参考上述描述来确定，作为代替，应该参考所附权利要求，以及它们的所有范围的等价物来确定。这里描述的任何特征，无论是否是优选的，都可以与这里描述的任何其它特征相组合，无论其是否优选的。在后面的权利要求中，不定冠词“一”指冠词后面的项目的一个或多个的数量，除非有另外的明确陈述。除非在给定权利要求中明确使用措辞“用于...的装置”进行限定，否则，所附权利要求不应当被解释为包括装置加功能的限定。

Claims (66)

1、一种用于跟踪视频游戏系统的控制器的方法，包括：
从位于控制器上的惯性传感器为视频游戏系统产生一个或多个信号；
分析所述一个或多个信号以确定控制器的位置和/或方向信息；以及
在视频游戏系统上玩视频游戏期间，利用该位置和/或方向信息。
2、如权利要求1所述的方法，其中所述一个或多个信号包括与控制器关于一个或多个方向的移动加速度相关的信号。
3、如权利要求1所述的方法，其中分析所述一个或多个信号包括，将移动加速度信号或从移动加速度信号产生的数据对时间积分，以产生速度信号。
4、如权利要求1所述的方法，其中分析所述一个或多个信号包括，将移动加速度信号或从移动加速度信号产生的数据对时间积分两次，以产生位移信号。
5、如权利要求1所述的方法，其中所述一个或多个信号包括，与控制器关于俯仰、翻滚或偏航轴的旋转相关的信号。
6、如权利要求1所述的方法，其中，在视频游戏系统上玩游戏期间利用位置和/或方向信息包括，由位置和/或方向信息确定控制器的路径。
7、如权利要求6所述的方法，还包括将控制器的路径与一个或多个已知的姿势相比较。
8、如权利要求7所述的方法，还包括如果控制器的路径或路径的一部分与一个或多个已知的姿势相符合，则改变视频游戏的状态。
9、一种用于给系统提供输入的方法，包括以下步骤：
从位于控制器上的惯性传感器为系统产生一个或多个信号；
分析所述一个或多个信号以确定控制器的位置和/或方向信息；
将确定的位置和/或方向信息与预先确定的与一个或多个命令相关联的位置信息相比较；以及
如果确定的位置和/或方向信息与预先确定的用于一个命令的位置信息相匹配，则改变系统的状态。
10、一种游戏控制器，包括：
主体；
至少一个与主体装配在一起的输入装置，该输入装置可由用户操纵，以记录来自用户的输入；
惯性传感器，可操作来产生用于量化所述主体在空间的运动的信息。
11、如权利要求10所述的游戏控制器，还包括信号编码器和红外信号发射器，该红外信号发射器可操作以利用来自信号编码器的信号在空中发射红外信号，该信号编码器可编程以用多个信令码中选择的一个来编码信号，供具有红外接收器和可以所选择的一个信令码操作的信号解码器的电子设备接收。
12、如权利要求10所述的游戏控制器，其中所述主体包括可用手持的外壳，且输入装置包括可以由用户相对于游戏控制器的主体移动的元件，以记录来自用户的输入。
13、如权利要求12所述的游戏控制器，其中所述外壳包括可用手抓住的手柄。
14、如权利要求10所述的游戏控制器，其中游戏控制器的主体可安装到用户的身上。
15、如权利要求10、12、13或14所述的游戏控制器，其中所述惯性传感器可操作来产生用于量化主体的所述运动沿着第一轴的第一分量的信息。
16、如权利要求15所述的游戏控制器，其中所述惯性传感器可操作来产生用于量化所述运动沿着与所述第一轴正交的第二轴的第二分量的信息。
17、如权利要求16所述的游戏控制器，其中所述惯性传感器可操作来产生用于量化所述运动沿着与所述第一轴和第二轴正交的第三轴的第三分量的信息。
18、如权利要求15、16或17所述的游戏控制器，其中所述惯性传感器包括至少一个加速度计。
19、如权利要求15、16或17所述的游戏控制器，其中所述惯性传感器包括至少一个机械陀螺仪。
20、如权利要求19所述的游戏控制器，其中所述惯性传感器包括至少一个激光陀螺仪。
21、如权利要求10所述的游戏控制器，其中所述惯性传感器可操作来产生用于量化主体在至少三个自由度上的运动的信息。
22、如权利要求21所述的游戏控制器，其中三个自由度包括俯仰、偏航和翻滚。
23、如权利要求22所述的游戏控制器，其中三个自由度包括x轴、y轴和z轴，所述x轴、y轴和所述z轴中的每个关于所述x轴、y轴和z轴中其它的每个正交。
24、如权利要求23所述的游戏控制器，其中所述惯性传感器可操作以在六个自由度上量化运动，所述六个自由度包括所述三个自由度和俯仰、偏航和翻滚。
25、如权利要求15、16、17、18、19、20、21、22、23和24中任意一个所述的游戏控制器，所述游戏控制器还可操作来从惯性传感器产生的信息中获得，代表所述主体在不同时间点上沿着至少一个轴的加速度的一系列采样。
26、如权利要求25所述的游戏控制器，还包括处理器，可操作来利用所述采样系列确定所述主体的速度。
27、如权利要求26所述的游戏控制器，其中所述处理器可操作来通过对从所述采样系列获得的加速度值在一个时间区间上求积分来确定所述速度。
28、如权利要求25所述的游戏控制器，其中所述处理器可操作来通过首先对从所述采样系列获得的加速度值在一个时间区间上求积分，接着在该时间区间上对所述第一积分的结果求积分，以确定所述主体在空间中的位移。
29、如权利要求28所述的游戏控制器，其中所述处理器可操作来确定相对于预先确定的位置的位移，以确定主体在空间中的当前位置。
30、一种包括如权利要求25所述的游戏控制器的设备，该设备还包括：
处理器，可操作来执行程序，以根据通过所述用户可操纵的输入装置的输入，提供用户可玩的交互式游戏，所述处理器可操作来利用所述采样系列确定所述主体的速度。
31、如权利要求30所述的设备，其中所述处理器可操作来通过对从所述采样系列获得的加速度值在一个时间区间上求积分来确定所述速度。
32、如权利要求30所述的设备，其中所述处理器可操作来通过首先对从所述采样系列获得的加速度值在一个时间区间上求积分，接着对所述第一积分的结果求积分，以确定所述主体在空间中的位移。
33、如权利要求30所述的设备，所述处理器可操作来通过确定相对于预先确定的位置的位移，来确定主体在空间中的位置。
34、一种跟踪装置，用于获取用以控制处理器的游戏程序执行的信息，以使得用户能够玩交互式游戏，包括：
主体；
惯性传感器，可操作来产生用于量化主体在空间中的运动的信息。
35、如权利要求34所述的跟踪装置，其中所述主体可以安装在游戏控制器上，所述游戏控制器包括游戏控制器主体和至少一个输入装置，所述输入装置与游戏控制器主体装配在一起，可由用户操纵来记录来自用户的输入。
36、一种包括权利要求35所述的跟踪装置和游戏控制器的设备。
37、如权利要求34所述的跟踪装置，其中所述跟踪装置的主体可以安装到用户的身上。
38、如权利要求34、36、37所述的跟踪装置，其中所述惯性传感器可操作来产生用于量化主体的所述运动沿着第一轴的第一分量的信息。
39、如权利要求38所述的跟踪装置，其中所述惯性传感器可操作来产生用于量化所述运动沿着与所述第一轴正交的第二轴的第二分量的信息。
40、如权利要求39所述的跟踪装置，其中所述惯性传感器可操作来产生用于量化所述运动沿着与所述第一轴和第二轴正交的第三轴的第三分量的信息。
41、如权利要求38、39或40所述的跟踪装置，其中所述惯性传感器包括至少一个加速度计。
42、如权利要求38、39或40所述的跟踪装置，其中所述惯性传感器包括至少一个机械陀螺仪。
43、如权利要求42所述的跟踪装置，其中所述惯性传感器包括至少一个激光陀螺仪。
44、如权利要求34所述的跟踪装置，其中所述惯性传感器可操作来产生用于量化主体在至少三个自由度上的运动的信息。
45、如权利要求44所述的跟踪装置，其中所述三个自由度包括俯仰、偏航和翻滚。
46、如权利要求45所述的跟踪装置，其中所述三个自由度包括x轴、y轴和z轴，所述x轴、y轴和所述z轴中的每个关于所述x轴、y轴和z轴中其它的每个正交。
47、如权利要求46所述的跟踪装置，其中所述惯性传感器可操作来在六个自由度上量化运动，所述六个自由度包括所述三个自由度和俯仰、偏航和翻滚。
48、如权利要求38、39、40、41、42、43、44、45、46和47中任意一个所述的跟踪装置，所述跟踪装置还可操作来从惯性传感器产生的信息中获得代表所述主体在不同时间点上沿着至少一个轴的加速度的一系列的采样。
49、如权利要求48所述的跟踪装置，还包括处理器，可操作来利用所述采样系列确定主体的速度。
50、如权利要求49所述的跟踪装置，其中所述处理器可操作来通过对从所述采样系列获得的加速度值在一个时间区间上求积分来确定速度。
51、如权利要求48所述的跟踪装置，其中处理器可操作来通过首先对从所述采样系列获得的加速度值在一个时间区间上求积分，接着在该时间区间上对所述第一积分的结果求积分，确定主体在空间中的位移。
52、如权利要求51所述的跟踪装置，其中所述处理器可操作来确定相对于预先确定的位置的位移，以确定主体在空间中的当前位置。
53、一种包括如权利要求48所述的跟踪装置的设备，该设备还包括：
处理器，可操作来执行程序，根据通过处理由惯性传感器所产生的信息而获得的输入，提供用户可玩的交互式游戏。
54、如权利要求34、35或36所述的跟踪装置，还包括通信接口，可操作来传输与处理器、游戏控制器中的至少一个或处理器和游戏控制器两者的数字通信。
55、如权利要求54所述的跟踪装置，其中所述通信接口包括通用异步收发器(“UART”)。
56、如权利要求55所述的跟踪装置，其中所述UART可操作来执行以下至少一个：接收用于控制跟踪装置的操作的控制信号，或从跟踪装置发送用于与另一设备通信的信号。
57、如权利要求54或55所述的跟踪装置，其中所述通信接口包括通用串行总线(“USB”)控制器。
58、如权利要求57所述的跟踪装置，其中所述USB控制器可操作来执行以下至少一个：接收用于控制跟踪装置的操作的控制信号，或从跟踪装置发送用于与另一设备通信的信号。
59、如权利要求53所述的设备，其中所述处理器可操作来利用一系列的采样确定主体的速度。
60、如权利要求53所述的设备，其中所述处理器可操作来通过对从所述采样系列获得的加速度值在一个时间区间上求积分来确定速度。
61、如权利要求53所述的设备，其中所述处理器可操作来通过首先对从所述采样系列获得的加速度值在一个时间区间上求积分，接着对所述第一积分的结果求积分，确定主体在空间中的位移。
62、如权利要求53所述的设备，所述处理器可操作来通过确定相对于预先确定的位置的位移，来确定主体在空间中的位置。
63、如权利要求10至29中任何一个所述的游戏控制器，其中所述惯性传感器可移动地装配到主体上。
64、如权利要求30至33中任何一个所述的设备，其中所述惯性传感器可移动地装配到主体上。
65、如权利要求34至52或54至62中任何一个所述的跟踪装置，其中所述惯性传感器可移动地装配到主体上。
66、如权利要求35或36中任何一个所述的跟踪装置，其中所述惯性传感器可移动地装配到控制器主体上。
CN2007800161035A 2006-05-04 2007-04-19 用于三维输入控制的系统、方法和设备 Active CN101438340B (zh)

Applications Claiming Priority (57)

Application Number Priority Date Filing Date Title
US11/381,721 2006-05-04
US11/381,728 2006-05-04
US11/381,727 2006-05-04
US11/381,728 US7545926B2 (en) 2006-05-04 2006-05-04 Echo and noise cancellation
USPCT/US2006/017483 2006-05-04
US11/381,729 2006-05-04
US11/381,724 US8073157B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for targeted sound detection and characterization
US11/418,989 US8139793B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for capturing audio signals based on a visual image
US11/381,724 2006-05-04
US11/418,988 US8160269B2 (en) 2003-08-27 2006-05-04 Methods and apparatuses for adjusting a listening area for capturing sounds
US11/381,727 US7697700B2 (en) 2006-05-04 2006-05-04 Noise removal for electronic device with far field microphone on console
US11/418,989 2006-05-04
US11/418,988 2006-05-04
US11/429,414 2006-05-04
US11/381,725 2006-05-04
US11/381,725 US7783061B2 (en) 2003-08-27 2006-05-04 Methods and apparatus for the targeted sound detection
US11/429,133 2006-05-04
US11/429,133 US7760248B2 (en) 2002-07-27 2006-05-04 Selective sound source listening in conjunction with computer interactive processing
US11/429,047 2006-05-04
US11/381,721 US8947347B2 (en) 2003-08-27 2006-05-04 Controlling actions in a video game unit
US11/381,729 US7809145B2 (en) 2006-05-04 2006-05-04 Ultra small microphone array
US11/429,047 US8233642B2 (en) 2003-08-27 2006-05-04 Methods and apparatuses for capturing an audio signal based on a location of the signal
US29/259,350 2006-05-06
US29/259,349 2006-05-06
US11/382,038 2006-05-06
US11/382,032 2006-05-06
US11/382,034 2006-05-06
US11/382,037 2006-05-06
US11/382,036 2006-05-06
US29/259,348 2006-05-06
US11/382,031 2006-05-06
US11/382,033 2006-05-06
US11/382,035 2006-05-06
US60/798,031 2006-05-06
US11/382,040 2006-05-07
US11/382,039 2006-05-07
US11/382,043 2006-05-07
US11/382,041 2006-05-07
US11/382,252 2006-05-08
US11/382,250 2006-05-08
US29/246,762 2006-05-08
US11/382,258 2006-05-08
US29/246,766 2006-05-08
US29/246,765 2006-05-08
US29/246,744 2006-05-08
US29/246,767 2006-05-08
US29/246,743 2006-05-08
US29/246,764 2006-05-08
US29/246,759 2006-05-08
US11/382,256 2006-05-08
US11/382,259 2006-05-08
US29/246,763 2006-05-08
US11/430,594 2006-05-08
US11/382,251 2006-05-08
US11/430,593 2006-05-08
US29/246,768 2006-05-08
PCT/US2007/067005 WO2007130792A2 (en) 2006-05-04 2007-04-19 System, method, and apparatus for three-dimensional input control

Publications (2)

Publication Number Publication Date
CN101438340A true CN101438340A (zh) 2009-05-20
CN101438340B CN101438340B (zh) 2011-08-10

Family

ID=56290949

Family Applications (2)

Application Number Title Priority Date Filing Date
CN2007800161035A Active CN101438340B (zh) 2006-05-04 2007-04-19 用于三维输入控制的系统、方法和设备
CN200780016094XA Active CN101479782B (zh) 2006-05-04 2007-04-19 多输入游戏控制混合器

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN200780016094XA Active CN101479782B (zh) 2006-05-04 2007-04-19 多输入游戏控制混合器

Country Status (1)

Country Link
CN (2) CN101438340B (zh)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102483652A (zh) * 2009-08-05 2012-05-30 恩希软件株式会社 控制游戏人物运动的设备及其方法
CN102572539A (zh) * 2010-11-12 2012-07-11 微软公司 自动的被动和匿名反馈系统
CN103530799A (zh) * 2013-10-22 2014-01-22 惠州Tcl移动通信有限公司 根据3d图库实现掌上看房的浏览方法及3d看房系统
CN103699212A (zh) * 2012-09-27 2014-04-02 纬创资通股份有限公司 互动系统及移动检测方法
CN106621324A (zh) * 2016-12-30 2017-05-10 当家移动绿色互联网技术集团有限公司 Vr游戏的交互操作方法
CN111437596A (zh) * 2019-01-17 2020-07-24 杨跃龙 一种关节式等效三维摇杆的游戏手柄
CN111514578A (zh) * 2019-02-04 2020-08-11 杨跃龙 一种带有关节式三维摇杆的游戏手柄

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8564534B2 (en) * 2009-10-07 2013-10-22 Microsoft Corporation Human tracking system
US8963829B2 (en) 2009-10-07 2015-02-24 Microsoft Corporation Methods and systems for determining and tracking extremities of a target
EP2517478B1 (en) * 2009-12-24 2017-11-01 Nokia Technologies Oy An apparatus
US20120086630A1 (en) * 2010-10-12 2012-04-12 Sony Computer Entertainment Inc. Using a portable gaming device to record or modify a game or application in real-time running on a home gaming system
US9436286B2 (en) * 2011-01-05 2016-09-06 Qualcomm Incorporated Method and apparatus for tracking orientation of a user
CN102671382A (zh) * 2011-03-08 2012-09-19 德信互动科技（北京）有限公司 体感游戏装置
ES2733064T3 (es) 2012-10-15 2019-11-27 Sony Interactive Entertainment Inc Dispositivo de control
US9789395B2 (en) 2012-10-15 2017-10-17 Sony Interactive Entertainment Inc. Operating device
JP5977147B2 (ja) 2012-11-05 2016-08-24 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置および入力装置
JP2014191688A (ja) * 2013-03-28 2014-10-06 Sony Corp 情報処理装置、情報処理方法、及び、記憶媒体
CN105812969A (zh) * 2014-12-31 2016-07-27 展讯通信（上海）有限公司 一种拾取声音信号的方法、系统及装置
CN112107852A (zh) * 2020-09-16 2020-12-22 西安万像电子科技有限公司 云游戏的控制方法及装置、云游戏控制系统

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07284166A (ja) * 1993-03-12 1995-10-27 Mitsubishi Electric Corp 遠隔操作装置
US6464585B1 (en) * 1997-11-20 2002-10-15 Nintendo Co., Ltd. Sound generating device and video game device using the same
US6699123B2 (en) * 1999-10-14 2004-03-02 Sony Computer Entertainment Inc. Entertainment system, entertainment apparatus, recording medium, and program

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102483652A (zh) * 2009-08-05 2012-05-30 恩希软件株式会社 控制游戏人物运动的设备及其方法
CN102483652B (zh) * 2009-08-05 2016-03-23 恩希软件株式会社 控制游戏人物运动的设备及其方法
CN102572539A (zh) * 2010-11-12 2012-07-11 微软公司 自动的被动和匿名反馈系统
CN103699212A (zh) * 2012-09-27 2014-04-02 纬创资通股份有限公司 互动系统及移动检测方法
CN103530799A (zh) * 2013-10-22 2014-01-22 惠州Tcl移动通信有限公司 根据3d图库实现掌上看房的浏览方法及3d看房系统
CN103530799B (zh) * 2013-10-22 2017-07-11 惠州Tcl移动通信有限公司 根据3d图库实现掌上看房的浏览方法及3d看房系统
CN106621324A (zh) * 2016-12-30 2017-05-10 当家移动绿色互联网技术集团有限公司 Vr游戏的交互操作方法
CN111437596A (zh) * 2019-01-17 2020-07-24 杨跃龙 一种关节式等效三维摇杆的游戏手柄
CN111514578A (zh) * 2019-02-04 2020-08-11 杨跃龙 一种带有关节式三维摇杆的游戏手柄

Also Published As

Publication number Publication date
CN101479782B (zh) 2011-08-03
CN101479782A (zh) 2009-07-08
CN101438340B (zh) 2011-08-10

Similar Documents

Publication Publication Date Title
CN101438340B (zh) 用于三维输入控制的系统、方法和设备
US10086282B2 (en) Tracking device for use in obtaining information for controlling game program execution
US9682320B2 (en) Inertially trackable hand-held controller
CN102989174B (zh) 获得用于控制游戏程序的运行的输入
US8686939B2 (en) System, method, and apparatus for three-dimensional input control
US9009747B2 (en) Gesture cataloging and recognition
US7918733B2 (en) Multi-input game control mixer
KR101036403B1 (ko) 경사각 정보와 결합된 비디오 입력을 이용하는 객체 검출
CN101484221A (zh) 获得用于控制游戏程序的运行的输入
JP5638592B2 (ja) ゲーム制御入力データを分析するためのシステム及び方法
KR101020510B1 (ko) 다중 입력 게임 제어 믹서
CN102058976A (zh) 用于跟踪环境中的用户操纵的系统
KR101020509B1 (ko) 프로그램의 실행을 제어하기 위한 입력을 획득하는 방법
EP1852164A2 (en) Obtaining input for controlling execution of a game program

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant