CN1620327A - 使用触觉反馈的声音数据输出和处理 - Google Patents

使用触觉反馈的声音数据输出和处理 Download PDF

Info

Publication number
CN1620327A
CN1620327A CNA028243706A CN02824370A CN1620327A CN 1620327 A CN1620327 A CN 1620327A CN A028243706 A CNA028243706 A CN A028243706A CN 02824370 A CN02824370 A CN 02824370A CN 1620327 A CN1620327 A CN 1620327A
Authority
CN
China
Prior art keywords
voice data
touch
sense
user
sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA028243706A
Other languages
English (en)
Other versions
CN100350992C (zh
Inventor
L·L·褚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Immersion Corp
Original Assignee
Immersion Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Immersion Corp filed Critical Immersion Corp
Publication of CN1620327A publication Critical patent/CN1620327A/zh
Application granted granted Critical
Publication of CN100350992C publication Critical patent/CN100350992C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/02—Arrangements for generating broadcast information; Arrangements for generating broadcast-related information with a direct linking to broadcast information or to broadcast space-time; Arrangements for simultaneous generation of broadcast information and broadcast-related information
    • H04H60/04—Studio equipment; Interconnection of studios
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/18—Selecting circuits
    • G10H1/26—Selecting circuits for automatically producing a series of tones
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G06F3/03543—Mice or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L99/00—Subject matter not provided for in other groups of this subclass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/02—Spatial or constructional arrangements of loudspeakers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/101—Music Composition or musical creation; Tools or processes therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/155—Musical effects
    • G10H2210/195—Modulation effects, i.e. smooth non-discontinuous variations over a time interval, e.g. within a note, melody or musical transition, of any sound parameter, e.g. amplitude, pitch, spectral response, playback speed
    • G10H2210/241—Scratch effects, i.e. emulating playback velocity or pitch manipulation effects normally obtained by a disc-jockey manually rotating a LP record forward and backward
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/201—User input interfaces for electrophonic musical instruments for movement interpretation, i.e. capturing and recognizing a gesture or a specific kind of movement, e.g. to control a musical instrument
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/265—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors
    • G10H2220/311—Key design details; Special characteristics of individual keys of a keyboard; Key-like musical input devices, e.g. finger sensors, pedals, potentiometers, selectors with controlled tactile or haptic feedback effect; output interfaces therefor
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/011—Files or data streams containing coded musical information, e.g. for transmission
    • G10H2240/031—File merging MIDI, i.e. merging or mixing a MIDI-like file or stream with a non-MIDI file or stream, e.g. audio or video
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01H—ELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
    • H01H2215/00—Tactile feedback
    • H01H2215/03—Sound
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01H—ELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
    • H01H25/00—Switches with compound movement of handle or other operating part
    • H01H25/002—Switches with compound movement of handle or other operating part having an operating member rectilinearly slidable in different directions
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01H—ELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
    • H01H25/00—Switches with compound movement of handle or other operating part
    • H01H25/008—Operating part movable both angularly and rectilinearly, the rectilinear movement being perpendicular to the axis of angular movement

Abstract

利用触觉反馈进行声音数据的输出和处理。触觉与声音数据关联，以协助浏览和编辑该声音数据。该声音数据被载入计算机存储器并被加以播放，以便从音频设备输出声音。该声音播放由用户输入来控制，用于浏览该声音数据。根据该声音数据来生成触觉命令，并且，由用户操作的触觉反馈设备使用这些触觉命令，以便将触觉输出给用户。这些触觉对应于该声音数据的一个或多个特征，以协助用户在浏览和编辑该声音数据期间辨别该声音数据的特点。

Description

使用触觉反馈的声音数据输出和处理
发明背景
本发明涉及允许人与计算机系统连接的系统，更特别地，涉及用于在计算机声音编辑和回放环境中为用户提供触觉反馈的方法。
计算机已成为音乐和其他有关音频的数据创建和编辑过程中所普遍使用的工具。可以使用可用的编辑软件(例如，来自Digidesign的ProTools和其他软件)来容易地创建并/或处理表示音乐类型或其他类型的听觉作品或记录的数字数据。音乐家可以回放声音文件或声音数据的任何部分，并可以使用这类软件来拷贝、编辑或处理该数据的任何部分。图形用户界面中的图形控件(例如，滑动器、旋钮、按钮、指针或光标等)通常被显示在计算机屏幕上。用户可以操作计算机屏幕，以控制声音数据回放和编辑。声音数据的视觉表示通常被显示为一幅或多幅“时间/振幅”的曲线图，用户可以将曲线图定制为所需比例。一些更精致的系统提供硬件控制器(例如，转轮)，该硬件控制器是以弹簧居中的旋钮，用户可以旋转该旋钮，以便前向或反向地回放声音选段。
但是，当代的计算机处理音乐领域中的挑战之一是：允许音乐家用有助于自然、本能的音乐作曲和编辑的方法和计算机关联。编辑和作曲过程的大部分以人们涉及被用来控制计算机的这些物理界面的方式而存在。传统上，音乐家已学会使用直接将物理操作与声音产生(例如，钢琴的动作或作为嘴唇振动的谐振器的喇叭)相结合的乐器。但是，这种类型的物理关系很难利用计算机来再现。在如今的大多数情况下，通过键盘和鼠标或(在不太频繁的情形中)专用硬件(例如，自定义开发的电子音乐控制器)来产生与计算机的这种交互作用。这些类型的界面是单向的，从而允许音乐家或其他用户将物理输入发送到该计算机，但它们没有虑及物理反馈的接收。
当前的声音编辑系统要求音乐家在编辑声音的同时使用输入设备(例如，键盘和鼠标、被动滚轮或被动操纵杆)。在这些情况下，音乐家必须依靠听觉和视觉反馈。但是，音乐家或用户经常执行要求精密度的重复的编辑任务(例如，浏览音乐或语言选择，以找出找到将要被编辑或处理的特定区域)。这些标准输入设备以及听觉和视觉反馈在这类导航和编辑任务中有时可能会难以使用、效率低或不够精确，从而使音乐家在创作过程中受挫。
发明概述
本发明针对连同该音频输出一起输出触觉。触觉与音频输出关联，以允许用户更加准确、有效率地对声音数据的回放和编辑进行控制。
更具体地说，本发明的方法使触觉与声音数据相关联，以协助浏览和编辑所述声音数据。将声音数据的至少一部分载入计算机的存储器，并且，播放该声音数据，以便生成并使用音频信号，以从音频设备输出声音。由用户输入来控制该声音的这种播放，计算机从用户那里接收用户输入，用于浏览该声音数据。根据该声音数据来生成触觉命令，并且，由用户操作的触觉反馈设备使用这些触觉命令，将触觉输出给用户。这些触觉对应于该声音数据的一个或多个特征，以协助用户在浏览和编辑该声音数据期间辨别声音数据的特点。
较佳的是，用户可以使用速率控制范例或位置控制范例，来控制声音数据的这种播放的速度和/或方向。这些触觉在声音数据的该播放期间可以被连续不断地输出，并且这些触觉的程度基于当前正在播放的声音数据的振幅；或者，只有当播放具有预定特征的声音数据的特点时，才能输出这些触觉。
一个实施例对声音数据进行预处理，以允许在向用户播放该声音数据时，输出与该声音数据关联的这些触觉。处理存储器中的声音数据，以找出具有一个或多个预定特征的声音特点。当发现声音特征时，将标记符存储在标记符清单中，在那里，标记符指示声音数据中的这个关联的声音特征的位置。该位置将要与至少一个触觉相关联，以使得在播放声音数据并且在播放声音数据期间达到该标记符时，将这个关联的触觉输出给用户。
在另一个实时实施例中，将声音数据的一部分存储在二级缓冲器中，并且，处理声音数据的这个部分，以便在播放声音数据期间实时发现声音数据中的这些特征。在这些实施例的任何一个中，计算机可以显示该声音数据的视觉表示和移动光标，该移动光标用于指示正在被播放的声音数据的当前部分。
本发明有利地允许用户体验与声音输出协调的触觉反馈。例如，触觉反馈可以被并入数字音频编辑系统，以允许用户感受到直接与该音频数据的回放有关并与对该音频数据所执行的操作有关的触觉。用户可以浏览声音数据，以找出该数据中的特殊点；并且，当播放重要特点时，这些触觉可以更好地通知用户。这对用户执行导航任务和编辑任务有很大的帮助。这使用户性能更好，使满意程度更高，并使用户体验有了全面的改进。
通过阅读本发明的以下说明书并研究制图中的这几幅附图，精通该技术领域的人将会明白本发明的这些和其他的优点。
附图简述
图1是框图，展示了一种系统，该系统用于对用户提供利用触觉反馈而有所增强的声音数据处理能力；
图2是框图，展示了图1中的触觉反馈系统的一个实施例，它包括与主计算机进行通信的触觉反馈接口设备；
图3是适用于本发明的触觉反馈设备的鼠标实施例的截面侧视图；
图4是适用于本发明的接口设备12的另一个实施例150的透视图；
图5是根据本发明用于预处理声音数据的方法的流程图；
图6是声音波形以及与该声音波形相关的触觉的示意图；
图7是流程图，展示了根据本发明用于回放预处理的声音数据和触觉的过程；
图8是流程图，展示了根据本发明依照声音回放来输出触觉的实时回放过程；
图9a和9b是示意图，分别展示基本时间内的声音波形和触觉波形同直接输出和反向输出中连续触觉输出的振幅形式的比较；
图10是图形用户界面的示意图，该图形用户界面可以允许用户输入参数选择和设置并控制关于本发明的声音回放；以及，
图11是另一种图形用户界面的示意图，该图形用户界面可以允许用户输入关于本发明的参数选择和设置。
较佳实施例的详细说明
图1是框图，展示了系统10，该系统用于对用户提供利用触觉反馈而有所增强的声音数据处理能力。主计算机14运行声音数据处理应用程序，该应用程序允许用户16通过将命令输入到该主计算机来处理声音数据15。为了输入这些命令，用户16可操作触觉反馈接口设备12。触觉反馈接口设备允许用户输入命令和数据，并且也为用户提供动觉力反馈或触觉反馈(在这里总称作“触觉反馈”)。通过使用马达或其他类型的致动器，这些接口设备可以提供物理感觉。接触该设备或操作该设备的用户操作物的用户对这些物理感觉有感受。例如，设备12可以是旋钮、鼠标、跟踪球、操纵杆或用户在所提供的自由度内加以移动以便输入方向、值、大小等的其他设备。用户在物理上接触设备12来提供输入，同时，他或她也可以体验由触觉设备12输出的触觉。在本发明中，这些触觉与在该主计算机的该应用程序中产生的该编辑和其他声音处理特点有关，并且允许用户更容易地执行这些处理任务和使用该声音数据。
主计算机14也将信号输出到音频扬声器24，以允许用户16听取用户已选择播放的声音数据。来自这些扬声器的声音数据的输出配合主计算机的视觉显示和来自触觉设备12的触觉输出，允许用户更容易地体验并注意该声音数据中的特定的或预先选择的事件。这样，允许用户通过利用除听觉和视觉以外的触觉从而更加容易地编辑声音。
触觉反馈设备可以处理输入并输出到计算机接口。这对于实时任务而言是很强大的，在这些实时任务中，迅速、有效率地进行人的物理反应是成功的关键。触觉反馈接口可以提高用户的效率和精确性，同时可减少实现计算机任务所要求的认知负担。这些类型的结果会大大有益于音乐创作和编辑，因为有效的音乐界面的关键特征之一是：它允许用户沉浸在音乐体验中，而不会过度地意识到特殊的身体姿势。本发明允许将不昂贵的触觉设备并入计算机辅助的音乐和声音编辑和创作。
图2是框图，展示了图1中的触觉反馈系统的一个实施例，该实施例包括与主计算机14进行通信的触觉反馈接口设备12。
主计算机14最好包括主机微处理器20、时钟22、显示屏幕26和音频输出设备24。该主计算机也包括其他众所周知的部件，例如随机存取存储器(RAM)、只读存储器(ROM)和输入/输出(I/O)电路(未示出)。主计算机14是可以采取众多各种形式的计算设备。例如，在所描述的实施例中，计算机14是个人计算机或工作站(例如，PC兼容计算机或Macintosh个人计算机、或Sun或Silicon Graphics工作站)。这类计算机14可以在WindowsTM、MacOSTM、Unix、MS-DOS或其他操作系统下进行操作。作为选择，主计算机14可以是通常被连接到电视机或其他显示器的各种家庭视频游戏控制台系统之一(例如，任天堂、Sega、索尼公司或微软公司提供的系统)。在其他实施例中，主计算机系统14可以是“机顶盒”、“网络计算机”或“因特网计算机”、便携式计算机或游戏设备、消费电子设备(立体声部件等)、PDA等。
如果合适的话，主计算机14最好执行用户经由设备12和其他外围设备而与其连接的主机应用程序。在本发明的上下文中，该主机应用程序是数字音频编辑程序，以下将对其进行更详细的描述。也可以使用其他利用设备12的输入并将触觉反馈命令输出到设备12的应用程序。该主机应用程序最好利用图形用户界面(GUI)来向用户呈现选项并从用户那里接收输入。这个应用程序可以包括以下所描述的触觉反馈功能性；或者，该触觉反馈控制可以在运行于该主计算机上的另一个程序(例如，驱动器或其他应用程序)中加以执行。这里，计算机14可以被称作提供“图形环境”，该“图形环境”可以是图形用户界面、游戏、模拟或其他视觉环境。该计算机显示“图形对象”或“计算机对象”，它们不是物理对象，而是可以由计算机14在显示屏幕26上显示为图像的数据和/或程序的逻辑软件单元集合，这是精通该技术领域的人众所周知的。可以从加利福尼亚州的圣何塞的Immersion公司获得使软件与触觉反馈设备连接的合适的驱动程序软件。
显示设备26可以被包括在主计算机系统14中，并可以是标准显示屏幕(LCD、CRT、平面控制板等)、3-D风镜、投影设备或任何其他的视觉输出设备。显示设备26显示如操作系统应用程序、模拟、游戏等所控制的图像。音频输出设备24(例如，扬声器)将声音输出提供给用户。在本发明的上下文中，其他有关音频的设备也可以连接到主计算机，例如混频器、放大器、专用硬件等。其他类型的外围设备也可以连接到主机处理器20，如存储设备(硬盘驱动器、CD ROM驱动器、软盘驱动器等)、打印机和其他输入与输出设备。
接口设备12(例如，鼠标、旋钮、游戏垫、跟踪球、操纵杆、遥控器等)通过双向总线30连接到主计算机系统14。该双向总线在主计算机系统14与该接口设备之间的任何一个方向上发送信号。总线30可以是串行接口总线(例如，RS232串行接口、RS-422、通用串行总线(USB)、MIDI或精通该技术领域的人众所周知的其他协议)，也可以是并行总线或无线连接。一些接口也可以为设备12的这些致动器提供电源。
设备12可以包括本地处理器40。本地处理器40可以选择性地被包括在设备12的外壳内，以允许与该鼠标的其他部件进行有效率的通信。可以向处理器40提供软件指令，以等待来自主计算机14的命令或请求，解码该命令或请求，并且根据该命令或请求来处理/控制输入信号和输出信号。此外，通过读取传感器信号并根据那些传感器信号、时间信号以及依照主机命令而加以选择的存储或中继的指令来计算合适的力，处理器40可以独立于主计算机14而进行操作。适合用作本地处理器40的微处理器包括(例如)摩托罗拉公司生产的MC68HC711E9、Microchip生产的PIC16C74和英特尔公司生产的82930AX，以及诸如“Immersion Touchsense处理器”等更加精密复杂的力反馈处理器。处理器40可以包括一个微处理器芯片、多处理器和/或协处理器芯片，以及/或者数字信号处理器(DSP)性能。
根据主计算机14通过总线30所提供的指令，微处理器40可以从传感器42接收信号，并可以将信号提供给致动器组件44。例如，在局部控制实施例中，主计算机14通过总线30将高级监督命令提供给处理器40，并且，处理器40根据这些高级命令且独立于主计算机14来解码这些命令，并管理连接传感器和致动器的低级别力控制回路。美国专利5,739,811和5,734,373(被包括于此，用作参考)中更加详细地描述了这项操作。在该主机控制回路中，来自该主计算机的力命令指示该处理器输出具有规定特征的力或力感觉。本地处理器40将位置和其他传感器数据报告给主计算机，主计算机使用其来更新被执行的程序。在该局部控制回路中，从处理器40提供致动器信号到致动器44，并且，从传感器42和其他输入设备48提供传感器信号到处理器40。处理器40可以处理输入的传感器信号，以便通过遵循存储的指令来确定合适的输出致动器信号。这里，术语“触觉”或“触感”指的是为用户提供感觉的这些致动器组件所输出的单个力或一连串的力。
在其他实施例中，可以在本地向设备12提供其他较简单的硬件，以提供如同处理器40的功能性。例如，可以使用硬件状态机或包含固定逻辑的ASIC，以便将信号提供给致动器44并从传感器42接收传感器信号，并且，根据预定义的序列、算法或过程来输出触觉信号。
在一个不同的、主机控制的实施例中，主计算机14可以通过总线30来提供低级别力命令，这些力命令经由处理器40而被直接传送到致动器44。这样，主计算机14直接控制并处理去往和来自设备12的所有信号。在这个简单的主机控制实施例中，从主机到设备的信号可以命令致动器按预定义的频率和大小来输出力，或者，这个信号可以包括大小和/或方向，或者，它可以是指示应随时间的推移而加以应用的所需力值的简单命令。
本地存储器52(例如，RAM和/或ROM)最好连接到设备12中的处理器40，以存储处理器40的指令，并存储临时数据和其他数据。例如，力的配置(例如，可以由该处理器输出的一连串被存储的力值、或将根据用户对象的当前位置输出的力值查找表)可以被存储在存储器52中。此外，类似于主计算机14的系统时钟，本地时钟54可以连接到处理器40，以提供定时数据；例如，可能需要该定时数据来计算由致动器44输出的力(例如，取决于计算出的速度或其他由时间决定的因素的力)。在使用USB通信接口的实施例中，可以作为选择地从该USB信号中检索关于处理器40的定时数据。
传感器42感知该设备和/或一个或多个操作物或控制器的位置或运动，并将信号(包括表示该位置或运动的信息)提供给处理器40(或主机14)。适合用于检测处理的传感器包括数字光学编码器、光学传感器系统、线性光学编码器、电位计、光学传感器、速度传感器、加速传感器、应变仪，或者，也可以使用其他类型的传感器，并且可以提供相对传感器或绝对传感器。可以使用可选的传感器接口46，以便将传感器信号转换成可以由处理器40和/或主机14解释的信号。
致动器44响应于从处理器40和/或主计算机14接收的信号，将力传送到设备12的外壳或一个或多个操作物60。致动器44可以是许多类型的致动器中的任何致动器，包括主动致动器(例如，DC马达、音圈、气动或水力致动器、加扭器、压电致动器、动磁铁致动器等)或被动致动器(例如，闸)。
致动器接口50可以选择性地连接在致动器44与处理器40之间，以便将来自处理器40的信号转换成适合驱动致动器44的信号。接口50可以包括功率放大器、开关、数模控制器(DAC)、模数控制器(ADC)和其他部件，这是精通该技术领域的人众所周知的。其他输入设备48被包括在设备12中，并且在由用户操作时，将输入信号发送到处理器40或发送到主机14。这类输入设备可以包括按钮、滚轮、d-垫、刻度盘、开关、或其他控制器或机制。
电源56可以选择性地包括在与致动器接口50和/或致动器44连接的设备12中，以便为致动器提供电力；或者，电源56可以作为单独的部件来加以提供。作为选择，可以从与设备12分开的电源提取动力，也可以通过总线30来接收动力。也可以由设备12来存储和调节所接收的动力，这样，当需要该所接收的动力来驱动致动器44时，可以使用该动力，或者，可以按补充方式来使用该所接收的动力。一些实施例可以使用该设备中的动力存储设备，以确保可以应用峰值力(如包括于此、用作参考的第5,929,607号美国专利中所描述的)。作为选择，这项技术可以被运用在无线设备中，在这种情况下，使用电池电源来驱动这些触觉致动器。可以选择性地包括安全开关58，以便出于安全原因而允许用户停用致动器44。
致动器44输出接口设备12的外壳和/或操作物60上的力。传感器42可以感知该外壳或操作物60的位置或运动。许多类型的接口或控制设备可以用于这里所描述的本发明。例如，这类接口设备可以包括触觉反馈跟踪球、操纵杆手柄、方向盘、旋钮、手持遥控设备、电视游戏或计算机游戏的游戏垫控制器、触针、手柄、转轮、按钮、便携式电话、PDA、触摸垫或其他可操作对象、表面或外壳。
图3是适用于本发明的设备12的鼠标实施例100的截面侧视图。
鼠标设备100包括外壳101、传感系统102和致动器104。塑造外壳101，以便使其如同标准鼠标那样适合用户的手形，同时，用户按平面自由度来移动该鼠标，并操作按钮106。在许多不同的实施例中，可以提供其他的外壳形状。
传感器102按其平面自由度(例如，沿X轴和Y轴)来检测该鼠标的位置。在所述实施例中，传感器102包括标准鼠标球110，该标准鼠标球用于将方向输入提供给计算机系统。作为选择，可以使用光学传感器或其他类型的传感器。
鼠标设备100包括一个或多个致动器104，这些致动器用于将触觉反馈(例如，触觉)通知该鼠标的用户。在一个实施例中，该致动器连接到由该致动器移动的惯性质量。该惯性质量的运动所引起的惯性力相对于该惯性质量被应用于鼠标外壳，从而将触觉反馈(例如，触觉)传达给正在接触该外壳的鼠标用户。一些实施例允许该致动器使自身作为该惯性质量而移动。第6,211,861号美国专利和第09/585,741号美国申请(都被包括于此，用作整体参考)中更加详细地描述了这类实施例。其他类型的接口设备(例如，游戏垫、手持遥控器、便携式电话、PDA等)可以包括这种致动器用于惯性触觉。
其他类型的接口设备和致动器也可以用于本发明。例如，游戏垫、鼠标或其他设备可以包括离心的旋转质量，该旋转质量连接到致动器的转轴，以提供该设备的外壳或操作物上的惯性触觉。其他类型的触觉设备(例如，操纵杆、旋钮、滚轮、游戏垫、方向盘、跟踪球、鼠标等)可以提供动觉力反馈，其中，按操作物的感知自由度来输出力。例如，第6,100,874号和第6,166,723号美国专利(都被包括于此，用作整体参考)中揭示了动觉鼠标触觉设备的
实施例。
图4是适用于本发明的接口设备12的另一个实施例150的透视图。旋钮设备150包括控制旋钮152，该控制旋钮由用户来操作，以控制该电子设备或主计算机14的各种功能。例如，可以在与运行如下所述的编辑软件的主计算机14连接的单独的外壳单元中提供该旋钮设备，或者，可以在整个控制面板(包括与音频编辑或如所需要的其他控制功能有关的其他控制器)中提供该旋钮设备。主计算机14的显示器26(或专用于该旋钮设备的显示器)可以按以下所描述的那样来显示这些编辑控制器。
控制旋钮152允许用户直接操作本发明的各项功能和设置。旋钮152可以是可由用户使用的近似圆柱体的对象。在所述实施例中，如箭头154所示，旋钮152围绕从该旋钮延伸出来的轴(例如，轴A)、按单一的旋转自由度来加以旋转。用户最好紧握或接触旋钮152的圆周表面156，并将它旋转所需的量。可以在替换实施例中提供多个旋钮152，每个旋钮提供不同的或类似的控制功能性。
另外，控制旋钮152的一些实施例可以向用户提供额外的控制功能性。控制旋钮152最好能够沿轴A(或近似地平行于轴A)、按自由度来加以推和/或拉，并且，这个运动由轴向开关或传感器来感知。这为用户提供了额外的方法，用于选择功能或设置，而无须让他或她放开旋钮。例如，在一个实施例中，用户可以使用旋钮152的旋转而在显示器14上移动显示光标或其他指示符；当该光标已被移动到该显示器上的所需设置或区域时，用户可以推动旋钮152，以选择该所需设置。旋钮152的推和/或拉功能性可以带有弹力恢复偏向，或者可以这样实现，以保留在被推或拉的位置，直到用户主动将该旋钮移动到新的位置为止。
在其他实施例中，用户可能能够在与旋转轴A近似地垂直(正交)的平面中按一个或多个横向或侧向来移动旋钮152。这个横向运动由箭头158指示。例如，旋钮152可以按所示的四个正交方向和四个对角线方向来进行移动。旋钮152的这个横向运动可以允许用户选择该受控设备的额外的设置或功能(例如，模式选择、光标定位、或者值或大小设置)。
最好至少在按旋钮152的旋转自由度为该旋钮提供力反馈。可以提供具有连接到旋钮152的轴杆的致动器160(例如，旋转DC马达)。该致动器可以输出力，以便为旋转中的该旋钮提供制动、弹力、阻尼、障碍或其他力感觉。用于读取该旋钮的旋转位置的传感器可以与该致动器结合，或者可以被单独提供。作为选择或作为附加，可以驱使该旋钮的这些横向和/或直线轴向运动。第6,154,201号美国专利(被包括于此，用作参考)中更加详细地描述了旋钮硬件实施。第5,734,373号和第6,154,201号美国专利(被包括于此，用作整体参考)中描述了一些力感觉。
利用触觉反馈的声音数据输出和处理
本发明改善了通过使用由触觉反馈接口设备输出的触觉来处理数字声音数据(也被称作“音频数据”)这个过程中的用户体验。
图5是本发明的一个预处理实施例200的流程图。这个方法可以由应用程序(例如，声音作曲/编辑程序)来执行，它是所描述的这个实施例中所使用的例子。作为选择，可以使用正在与声音作曲/编辑程序同时运行的单独的应用程序或驱动程序来执行该方法。其他类型的应用程序也可以用于本发明。
该方法始于202处，并且，在步骤204中，读入由用户制定的任何设置。例如，用户以前可能已将设置输入图形用户界面中所显示的各栏中；以下参照图10和11来描述这种用户界面的例子。这些设置允许用户定制这些触觉的感受以及它们与被播放或编辑的该声音的关系。也可以用其他方法(例如，通过读取数据库的程序、经由联网的存储设备等)来输入用户设置。
在下一个步骤206中，声音文件或声音数据的全部或部分，或包括在其他数据之中的声音数据的文件被载入存储器。如该技术领域中所众所周知的，该声音数据通常包括一连串单独的数字声音样本，这些数字声音样本指示驱动器或其他I/O程序或设备如何从这些样本中生成音频信号。该声音数据将由本发明的这种方法来进行预处理，以便当以后通过扬声器或其他音频输出设备来向用户播放该声音数据时，允许输出触觉。如果本发明的方法正在由该声音编辑或回放程序以外的单独程序执行，那么，该单独程序可以将该声音数据载入存储器，以进行预处理。
在下一个步骤208中，对被载入存储器的该声音数据进行预处理，以找出将与触觉关联的所需声音特征。例如，该方法可以按该方式来检查声音文件，以便由回放设备(例如)按临时序列或其他实施例中的其他序列来播放或输出该声音文件。
被搜索的所需声音特征在不同的实施例中会有所不同，并且可能会受到步骤204中读取的这些用户设置的影响。在一个实施例中，该方法可以寻找该声音数据中急剧的振幅上升。这在图6的波形图220中被加以图示。该声音数据表示声音波形222，并可能具有对应于该声音中的简短的或不连续的特点的声音(例如，鼓声或音乐中的其他打击乐器声)的矮峰值224。例如，第一个峰值224处的振幅上升可以是在步骤208中被加以搜索的特征。较佳的是，限制振幅上升阈值。例如，比该声音波形的平均振幅更大的预定百分比可以是该阈值(例如，50％)。在步骤206中，可以预先为装载在存储器中的全部声音数据计算该声音数据的平均振幅。阈值的百分比可以是在步骤204中装载的用户设置，也可以是默认值。
该方法也可以使用更加精细的方法(包括纠错)，以便(例如)不将噪声检测为所需的声音特征。例如，为了将特点识别为应该被赋予触觉的声音数据中的峰值，在上升之后，该方法可以要求：该声音波形下降关于该特点的声音数据中的那个点处的平均值以下的某个百分比，以便登记为该声音数据中的峰值。如果该波形没有这个下降，那么，所发现的该振幅下降可以被认为是假下降(例如，噪声)，因此以后在该波形中可能会发生真的振幅下降。这个检验减少了在只有曾引起较小的振幅下降的一个所需峰值时可能错误地发现多个峰值的可能性。
可以采取其他纠错措施，以防止一些声音特点被当作所需的触觉特点过度计数。例如，如果该方法遇到声音数据中的峰值，则该方法可以检查在声音数据中最早发现的声音峰值。如果该当前发现的峰值没有与该先前峰值隔开预定的最小数量的时间间隔，那么，当前峰值不应该被计数为所需的触觉声音特征。这样，可防止将触觉赋予声音特征，这些声音特征在回放期间时间上太接近，以致用户无法区别它们；因此，节省了处理时间。在其他实施例中可以进行当前的声音特征与以前发现的特征之间的其他比较，以确定是否可以将该当前特征赋予触觉。也可以搜索声音数据中的其他特征，例如振荡的预定数量、高度的预定百分比的下降等。
一旦已在该声音数据中发现声音特征，在下一个步骤210中，就将标记符加入指示这个所发现的声音特征的位置的标记符运行清单。标记符可以只是指示声音特征在该处开始的声音样本的号码(例如，从声音数据的开端加以参考)的数字，或者可以位于该特征的某个其他标准位置。例如，标记符由图6中峰值224的开端处的虚线226来表示；虚线226位置处的声音样本的这个标识号(或其他标识符)可以被存储在标记符清单中。
标记符清单包括在本方法的先前迭代中发现的对应于触觉的所有这些所需的声音特征；例如，如果执行顺序处理，则较早地在该声音数据流中产生关于触觉关联的特征。该清单被加以组织，以便在回放期间，该清单中的声音样本可以容易地与当前正在播放的声音样本进行比较。
一些实施例可以只提供清单中的标记符，并且，所有这些标记符与标准触觉(例如，制动)关联。这样，只要在回放期间达到标记符，制动就将被输出给用户。在其他更加复杂的实施例中，根据所发现的声音特征的类型或特征，每个标记符可以与一种类型的触觉关联。例如，可以将该关联的触觉的标志(它的类型和/或参数)存储在具有每个标记符的标记符清单中。在其他实施例中，可以将标记符放置在每个声音样本或每几个声音样本处，并且，联合每个标记符来计算力值，使其与那个样本处的声音振幅成比例。这允许触觉输出连续不断地与声音数据的振幅相匹配。但是，在如以下参照图8而描述的实时处理实施例中，可以更好地执行这类连续的匹配。
在下一个步骤212中，检验是否已达到声音文件或声音数据的末端，以及是否不再有数据需要进行预处理。如果不是这样，那么，该方法返回到步骤208，以便进一步对该声音数据进行预处理，直到发现另一个所需的声音特征为止。如果没有更多的声音数据需要进行预处理，那么，该方法在214处完成。
图7是流程图，展示了根据本发明用于回放预处理的声音数据和触觉的方法250。在这个方法中，假设：用户或应用程序正在经由扬声器或其他音频设备而将声音输出给用户。在一个实施例(本范例方法主要与其有关)中，该应用程序是音乐作曲/编辑程序，该程序允许用户根据经由触觉设备12而来自用户的输入来回放音乐。例如，通过在一个方向上转动该旋钮来向前播放该声音，并通过在相反的方向上转动该旋钮来向后播放该声音，用户可以操作旋钮设备，以回放声音。或者，用户可以使用鼠标、操纵杆或其他设备。用户经常执行这种向前和向后的回放，以收听用户刚刚使用该应用程序来加以编辑或作曲的声音样本，并且，也可以使用这个特点，将光标放置在该声音数据流中的所需位置处，用于进一步编辑该声音数据。
该方法始于252处，并且，在步骤254中，该方法检验是否启动或继续声音回放。如果否，则该方法在256处完成。如果是，那么，在步骤258中，可以接收用户输入(例如，用户将该触觉设备的旋钮或其他操作物转动到新的位置)。或者，用户可能没有提供新的输入。在步骤260中，按用户所指示的方向——向前或向后，通过扬声器来播放该声音数据。该方向可以对应于旋钮的旋转方向、鼠标或操纵杆或转轮的运动方向等。
一些实施例可以提供速率控制模式——其中，用户可以控制该声音回放速度。回放速率基于来自参照位置的操作物或对象的当前位置。例如，在旋钮实施例中，用户从起点静止位置旋转该旋钮越多，该声音回放速度就越大。在一些实施例中，用户也在该旋钮上施加弹性阻力，以协助这种速率控制。其他实施例可以提供位置控制模式——其中，仅当用户操作物正在移动时，才播放音乐，并且，其中，特定的移动量对应于音乐回放的特定数量或持续时间。例如，在位置控制模式中，用户可以连续不断地按顺时针方向旋转旋钮，以继续收听音乐回放，并且，可以调整那个旋转的速度，以调整回放速度。当用户停止旋转该旋钮时，声音回放停止。该模式也可以确定输出什么触觉；例如，基于时间的弹出或震摇可能在速率控制模式中是合适的，而在位置控制模式中，可以输出基于位置的制动或弹力。
在下一个步骤262中，如果已达到声音数据中的标记符，则该方法播放触觉效果。这些标记符最好曾根据图5中的预处理而被放置在清单中，并且，每个标记符具有该声音数据中的关联的声音样本或位置。如果在回放期间达到那个声音样本或位置，那么，命令输出与那个标记符关联的该触觉效果。例如，如图6所示，触觉由线路228指定。当在回放期间达到标记符226时，输出该关联的触觉，这是本例中的力制动，由线路228中的倾斜230指示。如上所述，一些实施例可以存储具有已被达到的特定标记符的一种类型的触觉，从而允许输出各种不同的触觉。
这样，在输出关联的声音特点的同时，触觉设备立即将触觉输出给用户。例如，配合力脉冲或震摇从该触觉设备到用户的输出，同时输出鼓点。然后，该方法返回到步骤254，以检验是否继续回放；如果是，则当按类似方式达到标记符时，播放该声音，并播放触觉效果。
一些实施例可以根据其他因素(例如，用户输入)来改变这些输出触觉。例如，这些触觉可能基于用户所控制的声音回放速度。在一个实施例中，这些制动或其他触觉的程度可以与回放速度直接成正比，或者可以基于和预定的阈值速度有关的当前回放速度。
除了音乐以外，还可以回放诸如语言等其他声音(例如，只是音频或电影中的对话)。这样，触觉可以基于声音数据中的语言属性。一些程序可以划分语言属性(例如，句子之间或内部的停顿、或句子和单词内的措词)，以允许用户编辑表示语言输出的声音数据。
这样，本发明提供了与声音数据中的特点输出相关的触觉。用户可以浏览声音数据，以找出该串行数据中的特殊点，并且，当诸如峰值等重要的特点被滚动或被定位在由该应用程序提供的光标或指针处时，这些触觉可以更好地通知用户。这在导航和编辑任务中对用户的帮助很大。
图8是流程图，展示了根据本发明依照声音回放来输出触觉的实时回放过程300。与图5和图7中的这些方法(其中，在实际的声音回放之前，为将要被映射到触觉的特征而对声音数据进行预处理)相比，在本方法中，在回放期间处理该声音数据，从而节省了任何预处理时间和计算。
该方法始于302处，并且，在步骤303中，声音数据被载入存储器(主缓冲器)。如上所述，这可以是待播放的声音文件，也可以是包括待播放的其他数据(例如，视觉数据)之中的声音数据的文件。在步骤304中，该方法检验是否启动或继续声音回放。如果否，则该方法在306处完成。如果是，那么，在步骤308中，类似于关于图7的以上所述内容，可以接收用户输入(例如，用户将该触觉设备的旋钮或其他操作物转动到新的位置)。在步骤310中，类似于图7中的方法所述的内容，在用户所指示的那个方向上、通过这些扬声器来播放该声音数据。可以使用速率控制模式、位置控制模式或其他控制方案。对于回放，回放程序(例如，音乐编辑程序)可以提供“回放指针”，该“回放指针”指示正在被播放的当前声音样本或接下来将播放该声音数据中的哪个样本，其中，当输出这些声音样本时，该指针只是沿它们而移动。
在下一个步骤312中，该回放指针附近的声音数据的一部分被存储在二级缓冲器中。例如，这可以是将直接在该回放指针的当前位置后面被播放的预定量的声音数据(例如，相当于100毫秒的声音)。在步骤314中，为声音特征而处理和分析该二级声音缓冲器中的数据。这个步骤可以类似于图5中的处理步骤208，其中，发现该声音数据中的特点，这些特点需要与触觉关联。例如，可以检查振幅的上升和/或下降。可以使用所有这些用户参数选择或设置，以帮助确定是否存在将要被映射到触觉的声音特征，以及将要被映射的特定触觉。在其他实施例(例如，在触觉大小连续不断地遵循声音振幅的情况下(见图9a和图9b))中，可能不需要发现该声音的特殊特点。
在下一个步骤316中，触觉效果被发送到该触觉设备，以便根据在步骤314中发现的声音特征来对其进行播放。例如，如果已发现声音振幅上升，则可以输出制动感觉，类似于仿佛该方法发现了图7的预处理方法中的标记符。作为选择，可以输出其程度连续不断地基于声音振幅的触觉。例如，图9a是示意图，用“基本时间/振幅”的形式展示了两个波形330和332。波形330展示声音数据随时间推移的声音振幅。在本实时处理实施例中，该方法可以计算由波形332表示的关于触觉的振幅，该振幅连续不断地与二级缓冲器中的声音数据的声音振幅成比例。例如，可以在操作物(例如，旋钮)上输出阻力——在那里，该阻力大小对应于当前声音振幅，并随该声音振幅而变化。在图9b中，类似地示出声音波形振幅330，但触觉振幅336可以连续不断地进行与声音振幅相反的变化，以便为用户提供不同的触觉体验。也可以使用其他连续的触觉映射或声音特征触觉映射。
较佳的是，在已发现该声音特征、映射并命令输出触觉之后，近似地在由扬声器播放对应于这些触觉的声音样本的时间，用户将感受到这些触觉。一旦为这些发现的声音特征而播放触觉效果，该方法就返回到步骤304，以检验是否继续声音回放。
图10是图形用户界面400的示意图，该图形用户界面可以允许用户输入关于本发明的参数选择和设置，以及用简单的方法来控制声音回放，以便测试用户设置。例如，这些设置可以被包含在应用程序(例如，声音/音乐编辑程序)中，或者可以用于单独的测试程序中。
声音控制参数402可以包括声音文件栏404，它允许用户选择要回放的所需声音文件(该文件包括将与触觉相关的该声音数据)。该声音文件可以完全被载入存储器，并且，在一些实施例中，该文件反向的版本可以被载入第二个缓冲器，以允许进行反向回放。状态栏406可以显示该程序的当前状态(例如，打开文件、处理声音数据、为反向回放而创建反向缓冲器等)。回放调整栏408允许用户输入值，以便定制声音数据的回放；并且，回放调整栏408包括：频率栏，用于调整该回放速度(其中，最初可以自动设置关于那个文件的标准回放频率)；平衡栏，用于调整左、右扬声器之间的回放平衡；以及音量栏，用于调整该声音的输出振幅。也可以使用滑动条410来输入这些用户设置。环绕音箱412允许用户选择：当达到该声音文件中的该数据的末端时，该声音文件是将重复回放，还是停止。按钮414允许用户开始、停止或暂停该声音文件的回放。
处理参数420允许用户调整这些参数，这些参数可影响根据声音数据来生成这些触觉的方式。如以上所解释的，与平均声音水平相比较，可以使用峰值阈值参数422来指定声音信号中的上升量，这将会触发触觉事件。该参数可以被指定为平均声音振幅的百分比，例如，平均振幅的50％或更大的上升将会是很显著的上升，它足以允许使触觉与那个上升相关联。峰值重置参数424允许用户规定声音振幅的百分比下降(与该平均声音振幅相比较)，在检测到上升之后，声音振幅的这个百分比下降将被认为很重要，它足以成为声音振幅中的峰值并保证触觉，并且足以防止发现如上所述的多个假峰值。最小节拍时间间隔参数426是另一个错误检验参数，它允许用户为待计数的第二个峰值规定时间间隔(例如，用毫秒表示)，该时间间隔是如上所述必须存在于两个峰值之间的最小数量的时间间隔；否则，第二个峰值被认为是由噪声引起的假峰值。窗口大小参数428允许用户规定该窗口大小(使用声音样本的数目)，这定义了在对声音数据振幅计算平均值的过程中所使用的分辨率；该方法可以对每个窗口中的这些样本计算平均值，然后对所有这些窗口一起计算平均值，以找出平均声音振幅。
设备选择430允许用户选择该系统中当前正在使用何种类型的触觉设备12，以及将通过哪个触觉设备来输出这些触觉。不同的设备可能会要求不同的命令，以输出这些触觉。具有位置控制器或速率控制器的旋钮设备、触觉反馈鼠标和动觉反馈鼠标被作为选项展示，但可以使用任何触觉设备。鼠标控制栏432允许用户使用鼠标光标来控制该声音回放，并且可以被用来测试如用户的参数选择和设置所修改的声音回放和触觉输出。例如，梭子栏436允许用户在梭子栏内移动光标，以便按位置控制模式来回放该声音文件。当光标在梭子栏436中向左或向右移动，并且按下按钮时，与此同时，按与该光标的速度成比例的速率来回放音乐；向右移动会引起前向回放，向左移动会引起反向回放。滚动栏434允许用户在该栏内移动光标，以便按速率控制模式来回放该声音文件。用户放置或移动该光标，以影响该回放方向和速率。该光标在栏434的该中点的右边的位置会引起按某个速率的前向回放，该速率跟光标与中点之间的距离成比例；光标在中点的左边的位置会类似地引起成比例的反向回放。
在关于图5加以描述的预处理实施例中，如果这些处理参数或设备选择已改变，则测试按钮438允许用户启动存储器中的声音数据的再次处理。
图11是另一个图形用户界面500的示意图，该图形用户界面可以允许用户输入关于本发明的额外的参数选择和设置。任何或所有这些设置可以与图10中的部分或全部设置(如果需要的话)一起被包括在单一界面内。声音文件栏502允许用户规定声音文件，并且，触觉设备设置504允许用户选择一种类型的触觉设备。
在图5或图8的各种方法的这些声音数据处理步骤中，滤波器506允许用户为滤波器定制频率范围，这些滤波器可以用于本发明的一些实施例中。可以使用低通滤波器、高通滤波器和/或带通滤波器来隔离可以应用触觉的声音数据的不同的频率范围。用户可以将这些截止和范围限制设置到这些滤波器，其中，低通滤波器排除用户指定的截止以上的频率，高通滤波器排除用户指定的截止以下的频率，并且，带通滤波器排除用户指定的频率范围以外的频率。
由于不同类型的声音依靠不同的频率范围，因此，对于声音编辑任务而言，滤波器会有用武之地。例如，语言中的该有意义的信息通常存在于较高的频率中，所以，用户编辑语言可能想要应用高通滤波器，以便只存在这些相干的频率。然后，可以在这些相干的频率中更容易地发现该语言的所需特点。同样，依靠沉重、强烈的节拍或节奏的音乐(例如，摇滚乐、舞曲、击打乐)携带低频的大部分信息，而大部分古典音乐则集中于高、中范围的频率；可以对所播放的该音乐风格使用这些合适的滤波器，以隔离这个有意义的频率范围。由于可以控制该频率含量，以便与该乐器的特征相匹配，因此，当编辑该声音数据中的单独的乐器声音时，这些滤波器也可以发挥作用。
和声跟踪设置508可以由用户设置为打开或关闭。如果被设置为打开，则该和声跟踪特点可以创建触觉(例如，质地或振动)到该声音的和声内容或音色的映射。触觉质地是用预定方法来加以间隔或组织的简短触觉特点的样式(例如，制动或震摇)，当在质地栏的每个“撞击”位置(例如，制动、震摇等)上移动该触觉设备的用户操作物时，输出这些简短的触觉特点。触觉质地可以与输出声音的音色有关。例如，可以用触觉方式来输出具有被进一步隔开的“撞击”的干净、简单的触觉质地，同时，将纯音输出为声音。相比之下，当正在输出合成的音调时，可以用触觉方式来输出具有紧密间隔的撞击的合成、密集的质地。长笛的声音是相当纯的音调，并且可以被映射到十分轻松、简单的触觉质地，或者甚至根本没有质地。在频谱的另一端，电吉他失真的这种声音是高度合成的音调，并且可以被映射到更沉重的合成触觉质地。质地对于位置控制模式而言更加合适；在速率控制模式中，可以同样输出振动——低频振动对应于间隔得很开的质地，高频振动对应于紧密间隔的质地。
效果设置允许用户调整这些触觉中的部分触觉将感觉如何。连续性设置510允许用户选择该触觉输出是连续不断地变化还是基于事件。如以上参照图9a和9b而描述的，如果选择“连续”，那么，该触觉输出随着这些声音属性的变化而发生实时变化。如果用户想要连续不断地跟踪导航期间该声音的振幅，则可以选择这一点。如果选择“基于事件”，那么，只有该声音数据中的显著事件(例如，以上根据图6而讨论的该振幅上升)触发触觉事件。例如，节拍——振幅峰值会触发触觉制动。在其他实施例中，用户可以选择既允许连续的触觉输出、又允许基于事件的触觉输出的选项(例如，增加了被覆载在该阻力上的震摇或制动的连续阻力)。
声音到力大小的映射设置512允许用户选择如何输出触觉输出响应。例如，如以上参照图9a而描述的，当选择直接映射时，声音振幅越大，触觉力的大小就越大。如以上参照图9b而描述的，当选择反向映射时，声音振幅越大，触觉力的大小就越弱。这种映射可以应用于连续性设置510的连续设置或基于事件的设置(例如，可以输出反向制动)。
波形514是代表被载入存储器的声音数据的波形的图形表示。例如，当用户浏览声音数据时，可以显示该波形。整个声音数据文件可以被表示为波形，或者，可以表示声音数据的一部分。在所示的这个例子中，光标516是表示该波形中的当前回放位置的竖线。在声音的导航和回放期间，光标516在对应于回放方向的方向上移动，并且按回放速率来移动(作为选择，可以滚动这整个波形，并且，该光标保持不动)。这样，当光标在声音中的特点上移动时，用户会有视觉感受，并且会感受到对应于那些特点的这些触觉。在存储标记符以便指示已被映射到触觉的声音特征的那些预处理实施例(见图5)中，这些标记符也可以根据波形而被显示在其位置处。
本发明可以用于独立的声音文件(例如，被用于音乐或语言的声音文件)，这些声音文件可以采用许多标准格式(wav、mp3、MIDI等)中的一种格式。此外，本发明可以用于可以和描述视觉呈现(例如，电视、电影和动画)的其他数据一起被包括在内的声音数据。
已通过几个较佳实施例描述了本发明，可知通过阅读本说明书并研究这些附图，精通该技术领域的人将会理解其改变、变更和相等物。例如，可以使用触觉反馈设备的许多不同的实施例来输出这里所描述的触觉。另外，特定术语的使用是出于清楚描述的目的，而不是意在限制本发明。

Claims (29)

1.一种方法，用于使触觉与声音数据关联，以协助浏览和编辑所述声音数据，其特征在于，所述方法包括：
将所述声音数据的至少一部分载入计算机的存储器；
播放所述声音数据，以便生成音频信号，并将其用于输出来自音频设备的声音，其中，所述声音的所述播放由用户输入来控制，用户输入由所述计算机从用户那里加以接收，用于浏览所述声音数据；以及，
根据所述声音数据来生成触觉命令，由所述用户操作并与所述计算机进行通信的触觉反馈设备使用所述触觉命令，以将触觉输出给所述用户，所述触觉对应于所述声音数据的一个或多个特征，以协助所述用户在所述声音数据的所述浏览和编辑期间辨别所述声音数据的特点。
2.如权利要求1所述的方法，其特征在于，所述用户可以控制所述声音数据的所述播放速度。
3.如权利要求1所述的方法，其特征在于，所述用户可以控制所述声音数据的所述播放方向，所述方向包括前向和反向。
4.如权利要求1所述的方法，其特征在于，在所述声音数据的所述播放期间连续不断地输出所述触觉，并且，其中，输出触觉的程度基于当前正在播放的所述声音数据的振幅。
5.如权利要求4所述的方法，其特征在于，所述触觉的程度与所述播放的声音数据的所述振幅成正比例。
6.如权利要求4所述的方法，其特征在于，所述触觉的程度与所述播放的声音数据的所述振幅成反比例。
7.如权利要求1所述的方法，其特征在于，只有当播放具有预定特征的所述声音数据的特点时，才输出所述触觉。
8.如权利要求7所述的方法，其特征在于，所述预定特征包括预定阈值以上的所述声音数据的振幅上升。
9.如权利要求8所述的方法，其特征在于，所述预定特征包括跟在所述振幅上升后面的预定数量的振幅下降。
10.如权利要求7所述的方法，其特征在于，所述预定特征包括最小数量的时间间隔，该时间间隔必须发生在两个振幅峰值之间，以便允许在播放所述峰值中的第二个峰值时输出触觉。
11.如权利要求1所述的方法，其特征在于，进一步包括，过滤所述声音数据，以排除由所述声音数据生成的不需要的声音频率，并且保留所需的频率范围。
12.如权利要求11所述的方法，其特征在于，所述所需的频率范围与一种特定类型的触觉关联。
13.如权利要求1所述的方法，其特征在于，如果在所述声音的所述播放期间达到以前为所述声音数据中的特定位置而存储的标记符，则生成所述触觉命令之一，并输出触觉。
14.如权利要求1所述的方法，其特征在于，进一步包括，将所述声音数据的一部分存储在二级缓冲器中，并处理所述声音数据的所述部分，以便在所述声音数据的所述播放期间实时发现所述声音数据中的所述一个或多个特征。
15.如权利要求1所述的方法，其特征在于，进一步包括，显示所述声音数据的视觉表示和移动光标，以指示正在播放的所述声音数据的当前部分。
16.一种方法，用于预处理声音数据，以便当向用户播放所述声音数据时，允许输出与所述声音数据关联的触觉，其特征在于，所述方法包括：
将所述声音数据的至少一部分载入计算机的存储器，所述声音数据描述声音波形；
处理所述声音数据，以找出具有一个或多个预定特征的声音特点；以及，
当发现所述声音特点时，将标记符存储在标记符清单中，其中，所述标记符指示所述声音数据中的所述关联的声音特点的位置，所述位置将与至少一个触觉关联，以便当播放所述声音数并且当在所述声音数据的所述播放期间达到所述标记符时，将所述关联的至少一个触觉输出给用户。
17.如权利要求16所述的方法，其特征在于，所述一个或多个预定特征包括由所述声音数据描述的所述声音波形的振幅上升，所述振幅上升在预定的阈值振幅以上。
18.如权利要求16所述的方法，其特征在于，所述一个或多个预定特征包括跟在所述振幅上升后面的预定数量的振幅下降。
19.如权利要求16所述的方法，其特征在于，所述一个或多个预定特征包括最小数量的时间间隔，该时间间隔必须发生在所述声音波形的两个振幅峰值之间，以便允许在播放所述峰值中的第二个峰值时输出触觉。
20.如权利要求16所述的方法，其特征在于，所述声音数据的所述处理包括：过滤所述声音数据，以排除所述声音数据的不需要的频率。
21.如权利要求16所述的方法，其特征在于，进一步包括，存储一个或多个特定触觉的标志，这些特定触觉将与所述标记符中的一个特定标记符关联。
22.如权利要求21所述的方法，其特征在于，一种类型的所述一个或多个特定触觉基于所述特定标记符涉及的所述声音特点的所述一个或多个预定特征。
23.一种计算机可读介质，它包括用于执行一些步骤的程序指令，这些步骤使触觉与声音数据关联，以协助浏览和编辑所述声音数据，其特征在于，这些步骤包括：
将所述声音数据的至少一部分载入计算机的存储器；
播放所述声音数据，以便生成音频信号，并将其用于输出来自音频设备的音频声音，其中，所述声音的所述播放由用户输入来控制，用户输入由所述计算机从用户那里加以接收，用于所述声音数据的导航；以及，
根据所述声音数据来生成触觉命令，由所述用户操作并与所述计算机进行通信的触觉反馈设备使用所述触觉命令，以将触觉输出给所述用户，所述触觉对应于所述声音数据的一个或多个特征，以协助所述用户在所述声音数据的所述浏览和编辑期间辨别所述声音数据的特点。
24.如权利要求23所述的方法，其特征在于，所述用户可以控制所述声音数据的所述播放速度。
25.如权利要求23所述的方法，其特征在于，所述用户可以控制所述声音数据的所述播放方向，所述方向包括前向和反向。
26.如权利要求23所述的方法，其特征在于，在所述声音数据的所述播放期间连续不断地输出所述触觉；并且，其中，输出触觉的程度基于当前正在播放的所述声音数据的振幅。
27.如权利要求23所述的方法，其特征在于，只有当播放具有预定特征的所述声音数据的特点时，才输出所述触觉。
28.如权利要求23所述的方法，其特征在于，如果在所述声音的所述播放期间达到以前为所述声音数据中的特定位置而存储的标记符，则生成所述触觉命令之一，并输出触觉。
29.如权利要求23所述的方法，其特征在于，进一步包括，将所述声音数据的一部分存储在二级缓冲器中，并处理所述声音数据的所述部分，以便在所述声音数据的所述播放期间在所述声音数据中实时发现所述一个或多个特征。
CNB028243706A 2001-10-10 2002-10-08 使用触觉反馈的声音数据输出和处理方法和设备 Expired - Fee Related CN100350992C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/975,320 2001-10-10
US09/975,320 US6703550B2 (en) 2001-10-10 2001-10-10 Sound data output and manipulation using haptic feedback

Publications (2)

Publication Number Publication Date
CN1620327A true CN1620327A (zh) 2005-05-25
CN100350992C CN100350992C (zh) 2007-11-28

Family

ID=25522910

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB028243706A Expired - Fee Related CN100350992C (zh) 2001-10-10 2002-10-08 使用触觉反馈的声音数据输出和处理方法和设备

Country Status (7)

Country Link
US (4) US6703550B2 (zh)
EP (1) EP1438111B1 (zh)
JP (3) JP4751019B2 (zh)
KR (1) KR100914086B1 (zh)
CN (1) CN100350992C (zh)
AU (1) AU2002347829A1 (zh)
WO (1) WO2003032538A2 (zh)

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101850183A (zh) * 2010-05-26 2010-10-06 浙江大学 基于触觉的交互式音乐娱乐设备
CN102341768A (zh) * 2009-03-10 2012-02-01 拜耳材料科技公司 用于触觉反馈设备的电活性聚合物换能器
CN102736732A (zh) * 2006-04-13 2012-10-17 伊默生公司 从数字音频信号自动产生触觉事件的系统和方法
CN102929386A (zh) * 2012-09-16 2013-02-13 吴东辉 一种动感重现虚拟现实的方法及系统
CN104238934A (zh) * 2013-05-17 2014-12-24 意美森公司 低频效果触觉转换系统
CN104423707A (zh) * 2013-09-06 2015-03-18 意美森公司 使用分段和组合的触觉转换系统
CN105094798A (zh) * 2014-05-20 2015-11-25 意美森公司 触觉设计创作工具
US9239700B2 (en) 2006-04-13 2016-01-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
CN105527822A (zh) * 2014-09-29 2016-04-27 联想(北京)有限公司 电子设备
US9330546B2 (en) 2006-04-13 2016-05-03 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US9947188B2 (en) 2013-09-06 2018-04-17 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
CN108273263A (zh) * 2012-06-14 2018-07-13 意美森公司 使用颗粒合成的触觉效果转换系统
CN108287651A (zh) * 2012-05-09 2018-07-17 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
CN104423593B (zh) * 2013-09-06 2018-10-30 意美森公司 生成与音频信号中的跃迁相关联的触觉效果的系统和方法
US10140823B2 (en) 2013-09-06 2018-11-27 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
CN109154857A (zh) * 2016-05-17 2019-01-04 Ck高新材料有限公司 将音响信号转换为触觉信号的方法及利用其方法的触觉装置
CN109254651A (zh) * 2018-08-08 2019-01-22 瑞声科技(新加坡)有限公司 一种人机交互方法及装置、终端和计算机可读存储介质
US10395488B2 (en) 2013-09-06 2019-08-27 Immersion Corporation Systems and methods for generating haptic effects associated with an envelope in audio signals
CN110709802A (zh) * 2017-06-27 2020-01-17 福特全球技术公司 触觉装置操作
US10963158B2 (en) 2015-08-10 2021-03-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10969945B2 (en) 2012-05-09 2021-04-06 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
US10996788B2 (en) 2012-05-09 2021-05-04 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
US11010027B2 (en) 2012-05-09 2021-05-18 Apple Inc. Device, method, and graphical user interface for manipulating framed graphical objects
US11023116B2 (en) 2012-05-09 2021-06-01 Apple Inc. Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
US11054990B2 (en) 2015-03-19 2021-07-06 Apple Inc. Touch input cursor manipulation
US11068153B2 (en) 2012-05-09 2021-07-20 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US11112957B2 (en) 2015-03-08 2021-09-07 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US11182017B2 (en) 2015-08-10 2021-11-23 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US11231831B2 (en) 2015-06-07 2022-01-25 Apple Inc. Devices and methods for content preview based on touch input intensity
US11240424B2 (en) 2015-06-07 2022-02-01 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US11314407B2 (en) 2012-05-09 2022-04-26 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
US11354033B2 (en) 2012-05-09 2022-06-07 Apple Inc. Device, method, and graphical user interface for managing icons in a user interface region
US11921975B2 (en) 2015-03-08 2024-03-05 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback

Families Citing this family (314)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7225404B1 (en) * 1996-04-04 2007-05-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
US6084587A (en) * 1996-08-02 2000-07-04 Sensable Technologies, Inc. Method and apparatus for generating and interfacing with a haptic virtual reality environment
US7091948B2 (en) * 1997-04-25 2006-08-15 Immersion Corporation Design of force sensations for haptic feedback computer interfaces
US7808479B1 (en) 2003-09-02 2010-10-05 Apple Inc. Ambidextrous mouse
US6421048B1 (en) * 1998-07-17 2002-07-16 Sensable Technologies, Inc. Systems and methods for interacting with virtual objects in a haptic virtual reality environment
US6552722B1 (en) * 1998-07-17 2003-04-22 Sensable Technologies, Inc. Systems and methods for sculpting virtual objects in a haptic virtual reality environment
US7202851B2 (en) 2001-05-04 2007-04-10 Immersion Medical Inc. Haptic interface for palpation simulation
US6937033B2 (en) * 2001-06-27 2005-08-30 Immersion Corporation Position sensor with resistive element
US7877243B2 (en) * 2001-07-16 2011-01-25 Immersion Corporation Pivotable computer interface
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices
US7345671B2 (en) * 2001-10-22 2008-03-18 Apple Inc. Method and apparatus for use of rotational user inputs
US7046230B2 (en) * 2001-10-22 2006-05-16 Apple Computer, Inc. Touch pad handheld device
US7084856B2 (en) * 2001-10-22 2006-08-01 Apple Computer, Inc. Mouse having a rotary dial
US7312785B2 (en) 2001-10-22 2007-12-25 Apple Inc. Method and apparatus for accelerated scrolling
US7333092B2 (en) * 2002-02-25 2008-02-19 Apple Computer, Inc. Touch pad for handheld device
US7656393B2 (en) 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
WO2004018323A1 (en) * 2002-08-23 2004-03-04 Pfizer Products Inc. Apparatus for dispensing articles
US7358963B2 (en) * 2002-09-09 2008-04-15 Apple Inc. Mouse having an optically-based scrolling feature
KR20050074268A (ko) * 2002-12-16 2005-07-18 마이크로소프트 코포레이션 컴퓨터 장치들과 인터페이싱하기 위한 시스템들 및 방법들
AU2003297172A1 (en) * 2002-12-16 2004-07-22 Microsoft Corporation Systems and methods for interfacing with computer devices
WO2004061594A2 (en) * 2002-12-16 2004-07-22 Microsoft Corporation Systems and metzhods for interfacing with computer devices
JP4019996B2 (ja) * 2003-04-02 2007-12-12 ヤマハ株式会社 制御装置
US7310498B2 (en) * 2003-04-09 2007-12-18 Standard Microsystems Corporation Communication protocol for personal computer system human interface devices over a low bandwidth, bi-directional radio frequency link
US20040203480A1 (en) * 2003-04-09 2004-10-14 Dutton Drew J. Configuration and management of human interface and other attached devices through bi-directional radio frequency link
JP4310127B2 (ja) * 2003-04-14 2009-08-05 アルプス電気株式会社 力覚付与型入力装置
US7477237B2 (en) * 2003-06-03 2009-01-13 Immersion Corporation Systems and methods for providing a haptic manipulandum
US7010442B2 (en) * 2003-08-07 2006-03-07 Agilent Technologies, Inc. Systems and methods for operating a measurement and testing instrument
US7499040B2 (en) * 2003-08-18 2009-03-03 Apple Inc. Movable touch pad with added functionality
US20070152977A1 (en) 2005-12-30 2007-07-05 Apple Computer, Inc. Illuminated touchpad
US20060181517A1 (en) * 2005-02-11 2006-08-17 Apple Computer, Inc. Display actuator
JP4713070B2 (ja) * 2003-08-26 2011-06-29 ヤマハ株式会社 ポインティングデバイス
US7495659B2 (en) * 2003-11-25 2009-02-24 Apple Inc. Touch pad for handheld device
US8059099B2 (en) 2006-06-02 2011-11-15 Apple Inc. Techniques for interactive input to portable electronic devices
US7742036B2 (en) * 2003-12-22 2010-06-22 Immersion Corporation System and method for controlling haptic devices having multiple operational modes
US7719142B2 (en) 2003-12-22 2010-05-18 Lear Corporation Audio and tactile switch feedback for motor vehicle
US7112737B2 (en) * 2003-12-31 2006-09-26 Immersion Corporation System and method for providing a haptic effect to a musical instrument
US7336256B2 (en) * 2004-01-30 2008-02-26 International Business Machines Corporation Conveying the importance of display screen data using audible indicators
US7166795B2 (en) * 2004-03-19 2007-01-23 Apple Computer, Inc. Method and apparatus for simulating a mechanical keyboard action in an electronic keyboard
US7289106B2 (en) * 2004-04-01 2007-10-30 Immersion Medical, Inc. Methods and apparatus for palpation simulation
US7990374B2 (en) * 2004-06-29 2011-08-02 Sensable Technologies, Inc. Apparatus and methods for haptic rendering using data in a graphics pipeline
US7765333B2 (en) 2004-07-15 2010-07-27 Immersion Corporation System and method for ordering haptic effects
US20060017691A1 (en) * 2004-07-23 2006-01-26 Juan Manuel Cruz-Hernandez System and method for controlling audio output associated with haptic effects
US20080129707A1 (en) * 2004-07-27 2008-06-05 Pryor Timothy R Method and apparatus employing multi-functional controls and displays
WO2006017612A2 (en) * 2004-08-06 2006-02-16 Sensable Technologies, Inc. Virtual musical interface in a haptic virtual environment
CN100555200C (zh) * 2004-08-16 2009-10-28 苹果公司 触敏器件和提高触敏器件的空间分辨率的方法
US20060060068A1 (en) * 2004-08-27 2006-03-23 Samsung Electronics Co., Ltd. Apparatus and method for controlling music play in mobile communication terminal
US20100231506A1 (en) * 2004-09-07 2010-09-16 Timothy Pryor Control of appliances, kitchen and home
JP2006085045A (ja) * 2004-09-17 2006-03-30 Sony Corp 情報処理装置および方法、記録媒体、プログラム、並びに情報処理システム
US9046922B2 (en) * 2004-09-20 2015-06-02 Immersion Corporation Products and processes for providing multimodal feedback in a user interface device
JP4799421B2 (ja) * 2004-11-09 2011-10-26 孝彦 鈴木 触覚フィードバックコントローラ
JP4672347B2 (ja) * 2004-12-01 2011-04-20 アルパイン株式会社 振動機能付き操作入力装置
US8300504B2 (en) 2004-12-20 2012-10-30 Pioneer Corporation Switch device, information processing device, and reproduction device
US7724239B2 (en) * 2005-02-22 2010-05-25 Research In Motion Limited Handheld electronic device, cursor positioning sub-system and method employing cursor scaling control
US20060205439A1 (en) * 2005-03-09 2006-09-14 Nokia Corporation System and method for background sound scan element of a user interface
US20060256293A1 (en) * 2005-05-11 2006-11-16 Lawson Jack L Image projection system
US7710397B2 (en) * 2005-06-03 2010-05-04 Apple Inc. Mouse with improved input mechanisms using touch sensors
US7671837B2 (en) * 2005-09-06 2010-03-02 Apple Inc. Scrolling input arrangements using capacitive sensors on a flexible membrane
WO2007030603A2 (en) * 2005-09-08 2007-03-15 Wms Gaming Inc. Gaming machine having display with sensory feedback
US7880729B2 (en) * 2005-10-11 2011-02-01 Apple Inc. Center button isolation ring
US8700791B2 (en) 2005-10-19 2014-04-15 Immersion Corporation Synchronization of haptic effect data in a media transport stream
US8077147B2 (en) * 2005-12-30 2011-12-13 Apple Inc. Mouse with optical sensing surface
US20070152983A1 (en) 2005-12-30 2007-07-05 Apple Computer, Inc. Touch pad with symbols based on mode
JP4752562B2 (ja) * 2006-03-24 2011-08-17 ヤマハ株式会社 鍵駆動装置及び鍵盤楽器
US7745713B2 (en) * 2006-03-28 2010-06-29 Yamaha Corporation Electronic musical instrument with direct print interface
WO2007117418A2 (en) * 2006-03-31 2007-10-18 Wms Gaming Inc. Portable wagering game with vibrational cues and feedback mechanism
JP2007271861A (ja) * 2006-03-31 2007-10-18 Yamaha Corp 電子楽器およびプログラム
EP3287874A1 (en) * 2006-04-06 2018-02-28 Immersion Corporation Systems and methods for enhanced haptic effects
WO2008054856A2 (en) * 2006-04-14 2008-05-08 The Regents Of The University California Novel enhanced haptic feedback processes and products for robotic surgical prosthetics
US20080005262A1 (en) * 2006-06-16 2008-01-03 Henry Wurzburg Peripheral Sharing USB Hub for a Wireless Host
US9360967B2 (en) * 2006-07-06 2016-06-07 Apple Inc. Mutual capacitance touch sensing device
US8022935B2 (en) 2006-07-06 2011-09-20 Apple Inc. Capacitance sensing electrode with integrated I/O mechanism
US8743060B2 (en) 2006-07-06 2014-06-03 Apple Inc. Mutual capacitance touch sensing device
US20080006454A1 (en) * 2006-07-10 2008-01-10 Apple Computer, Inc. Mutual capacitance touch sensing device
US7795553B2 (en) 2006-09-11 2010-09-14 Apple Inc. Hybrid button
JP5028931B2 (ja) * 2006-09-28 2012-09-19 ヤマハ株式会社 パラメータ設定装置
US8274479B2 (en) 2006-10-11 2012-09-25 Apple Inc. Gimballed scroll wheel
US20080088597A1 (en) * 2006-10-11 2008-04-17 Apple Inc. Sensor configurations in a user input device
US20080088600A1 (en) * 2006-10-11 2008-04-17 Apple Inc. Method and apparatus for implementing multiple push buttons in a user input device
US8482530B2 (en) * 2006-11-13 2013-07-09 Apple Inc. Method of capacitively sensing finger position
KR101533465B1 (ko) * 2006-12-27 2015-07-02 임머숀 코퍼레이션 진동 촉각 피드백을 통한 가상 디텐트
KR100842733B1 (ko) * 2007-02-05 2008-07-01 삼성전자주식회사 터치스크린을 구비한 멀티미디어 재생장치의 사용자인터페이스 방법
JP5066966B2 (ja) * 2007-03-23 2012-11-07 ヤマハ株式会社 演奏支援装置、コントローラ及びプログラム
US8199033B2 (en) 2007-07-06 2012-06-12 Pacinian Corporation Haptic keyboard systems and methods
US8248277B2 (en) * 2007-07-06 2012-08-21 Pacinian Corporation Haptic keyboard systems and methods
US7741979B2 (en) * 2007-07-06 2010-06-22 Pacinian Corporation Haptic keyboard systems and methods
US9654104B2 (en) 2007-07-17 2017-05-16 Apple Inc. Resistive force sensor with capacitive discrimination
US8683378B2 (en) 2007-09-04 2014-03-25 Apple Inc. Scrolling techniques for user interfaces
WO2009032898A2 (en) 2007-09-04 2009-03-12 Apple Inc. Compact input device
US20090073130A1 (en) * 2007-09-17 2009-03-19 Apple Inc. Device having cover with integrally formed sensor
US20090091479A1 (en) * 2007-10-04 2009-04-09 Motorola, Inc. Keypad haptic communication
FR2922035B1 (fr) * 2007-10-08 2016-09-30 Dav Procede de commande d'un dispositif de commande a surface tactile et dispositif de commande electrique a surface tactile comportant des moyens de mise en oeuvre dudit procede
KR100814685B1 (ko) * 2007-10-12 2008-03-18 그로위드(주) 진동 마우스 구동 장치
US9019087B2 (en) 2007-10-16 2015-04-28 Immersion Corporation Synchronization of haptic effect data in a media stream
KR101464740B1 (ko) * 2007-10-18 2014-11-25 엘지전자 주식회사 음원 재생 장치 및 음원 재생 장치의 리듬 게임 구현 방법
US8416198B2 (en) 2007-12-03 2013-04-09 Apple Inc. Multi-dimensional scroll wheel
FR2925708B1 (fr) * 2007-12-20 2009-12-18 Dav Procede de detection d'une variation angulaire d'une trajectoire de commande sur une surface tactile et module de commande correspondant
US9159325B2 (en) * 2007-12-31 2015-10-13 Adobe Systems Incorporated Pitch shifting frequencies
US9298261B2 (en) 2008-01-04 2016-03-29 Tactus Technology, Inc. Method for actuating a tactile interface layer
US9052790B2 (en) 2008-01-04 2015-06-09 Tactus Technology, Inc. User interface and methods
US8154527B2 (en) 2008-01-04 2012-04-10 Tactus Technology User interface system
US8570295B2 (en) 2008-01-04 2013-10-29 Tactus Technology, Inc. User interface system
US9128525B2 (en) 2008-01-04 2015-09-08 Tactus Technology, Inc. Dynamic tactile interface
US8179375B2 (en) * 2008-01-04 2012-05-15 Tactus Technology User interface system and method
US9423875B2 (en) 2008-01-04 2016-08-23 Tactus Technology, Inc. Dynamic tactile interface with exhibiting optical dispersion characteristics
US9372565B2 (en) 2008-01-04 2016-06-21 Tactus Technology, Inc. Dynamic tactile interface
US8243038B2 (en) 2009-07-03 2012-08-14 Tactus Technologies Method for adjusting the user interface of a device
US9063627B2 (en) 2008-01-04 2015-06-23 Tactus Technology, Inc. User interface and methods
US8704790B2 (en) 2010-10-20 2014-04-22 Tactus Technology, Inc. User interface system
US9557915B2 (en) 2008-01-04 2017-01-31 Tactus Technology, Inc. Dynamic tactile interface
US8456438B2 (en) 2008-01-04 2013-06-04 Tactus Technology, Inc. User interface system
US8553005B2 (en) 2008-01-04 2013-10-08 Tactus Technology, Inc. User interface system
US9612659B2 (en) 2008-01-04 2017-04-04 Tactus Technology, Inc. User interface system
US8922510B2 (en) 2008-01-04 2014-12-30 Tactus Technology, Inc. User interface system
US20160187981A1 (en) 2008-01-04 2016-06-30 Tactus Technology, Inc. Manual fluid actuator
US9552065B2 (en) 2008-01-04 2017-01-24 Tactus Technology, Inc. Dynamic tactile interface
US8547339B2 (en) 2008-01-04 2013-10-01 Tactus Technology, Inc. System and methods for raised touch screens
US8947383B2 (en) 2008-01-04 2015-02-03 Tactus Technology, Inc. User interface system and method
US9588683B2 (en) 2008-01-04 2017-03-07 Tactus Technology, Inc. Dynamic tactile interface
US9367132B2 (en) 2008-01-04 2016-06-14 Tactus Technology, Inc. User interface system
US9013417B2 (en) 2008-01-04 2015-04-21 Tactus Technology, Inc. User interface system
US9720501B2 (en) 2008-01-04 2017-08-01 Tactus Technology, Inc. Dynamic tactile interface
US9274612B2 (en) 2008-01-04 2016-03-01 Tactus Technology, Inc. User interface system
US8125461B2 (en) 2008-01-11 2012-02-28 Apple Inc. Dynamic input graphic display
US8310444B2 (en) 2008-01-29 2012-11-13 Pacinian Corporation Projected field haptic actuation
US8820133B2 (en) 2008-02-01 2014-09-02 Apple Inc. Co-extruded materials and methods
WO2009102992A1 (en) * 2008-02-15 2009-08-20 Pacinian Corporation Keyboard adaptive haptic response
US8203531B2 (en) 2008-03-14 2012-06-19 Pacinian Corporation Vector-specific haptic feedback
US9454256B2 (en) 2008-03-14 2016-09-27 Apple Inc. Sensor configurations of an input device that are switchable based on mode
WO2010019508A1 (en) * 2008-08-11 2010-02-18 Immersion Corporation A haptic enabled gaming peripheral for a musical game
US8890869B2 (en) * 2008-08-12 2014-11-18 Adobe Systems Incorporated Colorization of audio segments
US20100058251A1 (en) * 2008-08-27 2010-03-04 Apple Inc. Omnidirectional gesture detection
DE102008039967A1 (de) * 2008-08-27 2010-03-04 Breidenbrücker, Michael Verfahren zum Betrieb eines elektronischen Klangerzeugungsgerätes und zur Erzeugung kontextabhängiger musikalischer Kompositionen
KR100891120B1 (ko) * 2008-09-01 2009-04-03 그로위드(주) 전기/전자기기의 감각소자 구동 및 제어용 패턴 파일 형성 방법과 패턴 파일을 이용한 전기/전자기기의 감각소자 구동 및 제어장치
US8749495B2 (en) * 2008-09-24 2014-06-10 Immersion Corporation Multiple actuation handheld device
US8816967B2 (en) 2008-09-25 2014-08-26 Apple Inc. Capacitive sensor having electrodes arranged on the substrate and the flex circuit
JP4623390B2 (ja) * 2008-10-03 2011-02-02 ソニー株式会社 再生装置、再生方法及び再生プログラム
MX2011004620A (es) * 2008-11-04 2011-05-31 Bayer Materialscience Ag Transductores polimericos electroactivos para dispositivos de respuesta tactil.
JP4748215B2 (ja) * 2008-12-09 2011-08-17 ソニー株式会社 サウンド設定装置及びサウンド設定方法
US8395590B2 (en) 2008-12-17 2013-03-12 Apple Inc. Integrated contact switch and touch sensor elements
US9588684B2 (en) 2009-01-05 2017-03-07 Tactus Technology, Inc. Tactile interface for a computing device
WO2010078597A1 (en) 2009-01-05 2010-07-08 Tactus Technology, Inc. User interface system
WO2010078596A1 (en) 2009-01-05 2010-07-08 Tactus Technology, Inc. User interface system
US8760413B2 (en) * 2009-01-08 2014-06-24 Synaptics Incorporated Tactile surface
US8547326B2 (en) 2009-02-24 2013-10-01 Blackberry Limited Handheld electronic device having gesture-based control and a method of using same
US8686951B2 (en) 2009-03-18 2014-04-01 HJ Laboratories, LLC Providing an elevated and texturized display in an electronic device
US9354751B2 (en) 2009-05-15 2016-05-31 Apple Inc. Input device with optimized capacitive sensing
EP2449452B1 (en) * 2009-07-03 2016-02-10 Tactus Technology User interface enhancement system
US8872771B2 (en) 2009-07-07 2014-10-28 Apple Inc. Touch sensing device having conductive nodes
KR101045668B1 (ko) * 2009-08-14 2011-07-14 한국과학기술원 시계열 데이터를 사운드 파일에 인코딩하는 방법, 인코딩된 사운드 파일로부터 시계열 데이터를 디코딩하는 방법 및 이들 방법을 이용한 시계열 데이터 입출력 시스템
US20110063218A1 (en) * 2009-09-15 2011-03-17 International Business Machines Corporation Embedded omni-directional pointer component for limited form factor computing devices
US10068728B2 (en) 2009-10-15 2018-09-04 Synaptics Incorporated Touchpad with capacitive force sensing
US8624839B2 (en) 2009-10-15 2014-01-07 Synaptics Incorporated Support-surface apparatus to impart tactile feedback
WO2011087817A1 (en) 2009-12-21 2011-07-21 Tactus Technology User interface system
WO2011087816A1 (en) 2009-12-21 2011-07-21 Tactus Technology User interface system
US9239623B2 (en) 2010-01-05 2016-01-19 Tactus Technology, Inc. Dynamic tactile interface
US8619035B2 (en) 2010-02-10 2013-12-31 Tactus Technology, Inc. Method for assisting user input to a device
US20110199342A1 (en) 2010-02-16 2011-08-18 Harry Vartanian Apparatus and method for providing elevated, indented or texturized sensations to an object near a display device or input detection using ultrasound
KR20130141344A (ko) 2010-04-19 2013-12-26 택투스 테크놀로지, 아이엔씨. 촉각 인터페이스층의 구동 방법
WO2012007860A1 (en) * 2010-07-16 2012-01-19 Koninklijke Philips Electronics N.V. Device including a multi-actuator haptic surface for providing haptic effects on said surface.
KR20120028003A (ko) * 2010-09-14 2012-03-22 삼성전자주식회사 ３차원 촉각 전달 장치 및 방법
WO2012054781A1 (en) 2010-10-20 2012-04-26 Tactus Technology User interface system and method
US11314344B2 (en) * 2010-12-03 2022-04-26 Razer (Asia-Pacific) Pte. Ltd. Haptic ecosystem
US20120166188A1 (en) * 2010-12-28 2012-06-28 International Business Machines Corporation Selective noise filtering on voice communications
US8912458B2 (en) 2011-01-04 2014-12-16 Synaptics Incorporated Touchsurface with level and planar translational travel responsiveness
US8309870B2 (en) 2011-01-04 2012-11-13 Cody George Peterson Leveled touchsurface with planar translational responsiveness to vertical travel
US8847890B2 (en) 2011-01-04 2014-09-30 Synaptics Incorporated Leveled touchsurface with planar translational responsiveness to vertical travel
US8717152B2 (en) 2011-02-11 2014-05-06 Immersion Corporation Sound to haptic effect conversion system using waveform
US9448626B2 (en) 2011-02-11 2016-09-20 Immersion Corporation Sound to haptic effect conversion system using amplitude value
US20120302323A1 (en) 2011-05-23 2012-11-29 Wms Gaming Inc. Haptic gaming chairs and wagering game systems and machines with a haptic gaming chair
US9566710B2 (en) 2011-06-02 2017-02-14 Brain Corporation Apparatus and methods for operating robotic devices using selective state space training
US20150127154A1 (en) * 2011-06-02 2015-05-07 Brain Corporation Reduced degree of freedom robotic controller apparatus and methods
US9083821B2 (en) * 2011-06-03 2015-07-14 Apple Inc. Converting audio to haptic feedback in an electronic device
US9142083B2 (en) 2011-06-13 2015-09-22 Bally Gaming, Inc. Convertible gaming chairs and wagering game systems and machines with a convertible gaming chair
US9762719B2 (en) * 2011-09-09 2017-09-12 Qualcomm Incorporated Systems and methods to enhance electronic communications with emotional context
KR101121785B1 (ko) * 2011-10-05 2012-03-09 (주)이미지스테크놀로지 소리 음량의 변화를 이용하여 햅틱 효과를 생성하는 방법
US20130222267A1 (en) * 2012-02-24 2013-08-29 Research In Motion Limited Portable electronic device including touch-sensitive display and method of controlling same
US9715276B2 (en) 2012-04-04 2017-07-25 Immersion Corporation Sound to haptic effect conversion system using multiple actuators
EP3444711A1 (en) 2012-04-19 2019-02-20 Nokia Technologies Oy A display apparatus
US9891709B2 (en) 2012-05-16 2018-02-13 Immersion Corporation Systems and methods for content- and context specific haptic effects using predefined haptic effects
US9063570B2 (en) * 2012-06-27 2015-06-23 Immersion Corporation Haptic feedback control system
US9177733B2 (en) 2012-08-06 2015-11-03 Synaptics Incorporated Touchsurface assemblies with linkages
WO2014025786A1 (en) 2012-08-06 2014-02-13 Synaptics Incorporated Touchsurface assembly utilizing magnetically enabled hinge
US9218927B2 (en) 2012-08-06 2015-12-22 Synaptics Incorporated Touchsurface assembly with level and planar translational responsiveness via a buckling elastic component
US9040851B2 (en) 2012-08-06 2015-05-26 Synaptics Incorporated Keycap assembly with an interactive spring mechanism
US9368005B2 (en) 2012-08-31 2016-06-14 Immersion Corporation Sound to haptic effect conversion system using mapping
JP6071372B2 (ja) * 2012-09-21 2017-02-01 キヤノン株式会社 電子機器及び電子機器の制御方法
US9405417B2 (en) 2012-09-24 2016-08-02 Tactus Technology, Inc. Dynamic tactile interface and methods
CN104662497A (zh) 2012-09-24 2015-05-27 泰克图斯科技公司 动态触觉界面和方法
US9411507B2 (en) 2012-10-02 2016-08-09 Toyota Motor Engineering & Manufacturing North America, Inc. Synchronized audio feedback for non-visual touch interface system and method
US9092059B2 (en) 2012-10-26 2015-07-28 Immersion Corporation Stream-independent sound to haptic effect conversion system
US9467793B2 (en) * 2012-12-20 2016-10-11 Strubwerks, LLC Systems, methods, and apparatus for recording three-dimensional audio and associated data
KR20150121001A (ko) 2013-02-27 2015-10-28 톰슨 라이센싱 햅틱 액추에이터 제어 파라미터들을 갖고 있는 시청각 콘텐츠의 아이템을 재생하기 위한 방법과 그 방법을 구현하는 장치
US8754757B1 (en) * 2013-03-05 2014-06-17 Immersion Corporation Automatic fitting of haptic effects
US9384919B2 (en) 2013-03-14 2016-07-05 Synaptics Incorporated Touchsurface assembly having key guides formed in a sheet metal component
US9866924B2 (en) * 2013-03-14 2018-01-09 Immersion Corporation Systems and methods for enhanced television interaction
US9992491B2 (en) 2013-03-15 2018-06-05 Immersion Corporation Method and apparatus for encoding and decoding haptic information in multi-media files
US9764468B2 (en) 2013-03-15 2017-09-19 Brain Corporation Adaptive predictor apparatus and methods
KR20140115836A (ko) * 2013-03-22 2014-10-01 삼성전자주식회사 햅틱 효과를 제공하는 휴대 단말 및 방법
US9213372B2 (en) 2013-04-19 2015-12-15 Synaptics Incorporated Retractable keyboard keys
US9390630B2 (en) * 2013-05-03 2016-07-12 John James Daniels Accelerated learning, entertainment and cognitive therapy using augmented reality comprising combined haptic, auditory, and visual stimulation
US9242372B2 (en) 2013-05-31 2016-01-26 Brain Corporation Adaptive robotic interface apparatus and methods
KR102040426B1 (ko) * 2013-06-11 2019-11-04 애플 인크. 전자 디바이스를 위한 회전 입력 메커니즘
US9753436B2 (en) 2013-06-11 2017-09-05 Apple Inc. Rotary input mechanism for an electronic device
US9314924B1 (en) 2013-06-14 2016-04-19 Brain Corporation Predictive robotic controller apparatus and methods
US9792546B2 (en) 2013-06-14 2017-10-17 Brain Corporation Hierarchical robotic controller apparatus and methods
US9557813B2 (en) 2013-06-28 2017-01-31 Tactus Technology, Inc. Method for reducing perceived optical distortion
KR102087349B1 (ko) 2013-08-09 2020-04-24 애플 인크. 전자 디바이스용 촉각 스위치
TWI557596B (zh) 2013-08-19 2016-11-11 瑞昱半導體股份有限公司 具有觸感補償功能之音訊裝置及音訊使用方法
US10599218B2 (en) * 2013-09-06 2020-03-24 Immersion Corporation Haptic conversion system using frequency shifting
US9443401B2 (en) * 2013-09-06 2016-09-13 Immersion Corporation Automatic remote sensing and haptic conversion system
US9401079B2 (en) * 2013-09-06 2016-07-26 Immersion Corporation Method and apparatus of converting control tracks for providing haptic feedback
US9579789B2 (en) 2013-09-27 2017-02-28 Brain Corporation Apparatus and methods for training of robotic control arbitration
US9463571B2 (en) 2013-11-01 2016-10-11 Brian Corporation Apparatus and methods for online training of robots
US9597797B2 (en) 2013-11-01 2017-03-21 Brain Corporation Apparatus and methods for haptic training of robots
US9358685B2 (en) 2014-02-03 2016-06-07 Brain Corporation Apparatus and methods for control of robot actions based on corrective user inputs
US10048802B2 (en) 2014-02-12 2018-08-14 Apple Inc. Rejection of false turns of rotary inputs for electronic devices
JP2015166890A (ja) * 2014-03-03 2015-09-24 ソニー株式会社 情報処理装置、情報処理システム、情報処理方法及びプログラム
US9542801B1 (en) 2014-04-28 2017-01-10 Bally Gaming, Inc. Wearable wagering game system and methods
US9346167B2 (en) 2014-04-29 2016-05-24 Brain Corporation Trainable convolutional network apparatus and methods for operating a robotic vehicle
US9323331B2 (en) * 2014-05-21 2016-04-26 International Business Machines Corporation Evaluation of digital content using intentional user feedback obtained through haptic interface
JP2015231098A (ja) 2014-06-04 2015-12-21 ソニー株式会社 振動装置、および振動方法
US9715279B2 (en) * 2014-06-09 2017-07-25 Immersion Corporation Haptic devices and methods for providing haptic effects via audio tracks
US10139907B2 (en) 2014-06-16 2018-11-27 Immersion Corporation Systems and methods for foley-style haptic content creation
CN104091360A (zh) * 2014-07-28 2014-10-08 周立刚 动感影院生成运动数据的方法与装置
DE212015000214U1 (de) 2014-09-02 2017-05-12 Apple Inc. Am Körper tragbare elektronische Vorrichtung
EP3964931A1 (en) 2014-09-02 2022-03-09 Apple Inc. Semantic framework for variable haptic output
EP3198618B1 (en) 2014-09-24 2021-05-19 Taction Technology Inc. Systems and methods for generating damped electromagnetically actuated planar motion for audio-frequency vibrations
US9858751B2 (en) 2014-09-26 2018-01-02 Bally Gaming, Inc. Wagering game wearables
US9630318B2 (en) 2014-10-02 2017-04-25 Brain Corporation Feature detection apparatus and methods for training of robotic navigation
KR101666532B1 (ko) * 2014-12-01 2016-10-14 김정훈 실시간 진동 피드백을 제공하는 진동 마우스
US9919208B2 (en) 2014-12-11 2018-03-20 Immersion Corporation Video gameplay haptics
US9717387B1 (en) 2015-02-26 2017-08-01 Brain Corporation Apparatus and methods for programming and training of robotic household appliances
KR102163612B1 (ko) 2015-03-08 2020-10-08 애플 인크. 회전 및 병진 가능한 입력 메커니즘을 갖는 시계
US10613629B2 (en) 2015-03-27 2020-04-07 Chad Laurendeau System and method for force feedback interface devices
US10261582B2 (en) * 2015-04-28 2019-04-16 Immersion Corporation Haptic playback adjustment system
US10573139B2 (en) 2015-09-16 2020-02-25 Taction Technology, Inc. Tactile transducer with digital signal processing for improved fidelity
GB201516552D0 (en) * 2015-09-18 2015-11-04 Microsoft Technology Licensing Llc Keyword zoom
GB201516553D0 (en) 2015-09-18 2015-11-04 Microsoft Technology Licensing Llc Inertia audio scrolling
US10248207B2 (en) * 2015-10-28 2019-04-02 Capital One Services, Llc Systems and methods for providing variable haptic feedback
US9990815B2 (en) * 2016-02-18 2018-06-05 Immersion Corporation Wearable haptic effects with permissions settings
DK179823B1 (en) 2016-06-12 2019-07-12 Apple Inc. DEVICES, METHODS, AND GRAPHICAL USER INTERFACES FOR PROVIDING HAPTIC FEEDBACK
DK201670737A1 (en) 2016-06-12 2018-01-22 Apple Inc Devices, Methods, and Graphical User Interfaces for Providing Haptic Feedback
US9947305B2 (en) * 2016-07-01 2018-04-17 Intel Corporation Bi-directional music synchronization using haptic devices
US10061399B2 (en) 2016-07-15 2018-08-28 Apple Inc. Capacitive gap sensor ring for an input device
US10019097B2 (en) 2016-07-25 2018-07-10 Apple Inc. Force-detecting input structure
DK201670720A1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, Methods, and Graphical User Interfaces for Generating Tactile Outputs
DK179278B1 (en) 2016-09-06 2018-03-26 Apple Inc Devices, methods and graphical user interfaces for haptic mixing
US10469971B2 (en) 2016-09-19 2019-11-05 Apple Inc. Augmented performance synchronization
US11229787B2 (en) 2016-11-25 2022-01-25 Kinaptic, LLC Haptic human machine interface and wearable electronics methods and apparatus
US10732714B2 (en) 2017-05-08 2020-08-04 Cirrus Logic, Inc. Integrated haptic system
DK201770372A1 (en) 2017-05-16 2019-01-08 Apple Inc. TACTILE FEEDBACK FOR LOCKED DEVICE USER INTERFACES
US10962935B1 (en) 2017-07-18 2021-03-30 Apple Inc. Tri-axis force sensor
US11259121B2 (en) 2017-07-21 2022-02-22 Cirrus Logic, Inc. Surface speaker
US10620704B2 (en) 2018-01-19 2020-04-14 Cirrus Logic, Inc. Haptic output systems
US10455339B2 (en) 2018-01-19 2019-10-22 Cirrus Logic, Inc. Always-on detection systems
US11139767B2 (en) 2018-03-22 2021-10-05 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10795443B2 (en) 2018-03-23 2020-10-06 Cirrus Logic, Inc. Methods and apparatus for driving a transducer
US10667051B2 (en) 2018-03-26 2020-05-26 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10820100B2 (en) 2018-03-26 2020-10-27 Cirrus Logic, Inc. Methods and apparatus for limiting the excursion of a transducer
US10832537B2 (en) 2018-04-04 2020-11-10 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
WO2019199110A1 (ko) * 2018-04-13 2019-10-17 주식회사 바디프랜드 소리 출력 모듈을 구비한 마사지 장치 및 이의 제어 방법
EP3783903A1 (en) 2018-04-27 2021-02-24 Spotify AB Media playback actions based on knob rotation
US11069206B2 (en) 2018-05-04 2021-07-20 Cirrus Logic, Inc. Methods and apparatus for outputting a haptic signal to a haptic transducer
US11009954B2 (en) 2018-06-02 2021-05-18 Harman International Industries, Incorporated Haptics device for producing directional sound and haptic sensations
US11360440B2 (en) 2018-06-25 2022-06-14 Apple Inc. Crown for an electronic watch
US11561515B2 (en) 2018-08-02 2023-01-24 Apple Inc. Crown for an electronic watch
US11269415B2 (en) 2018-08-14 2022-03-08 Cirrus Logic, Inc. Haptic output systems
CN211293787U (zh) 2018-08-24 2020-08-18 苹果公司 电子表
US11181863B2 (en) 2018-08-24 2021-11-23 Apple Inc. Conductive cap for watch crown
US11194298B2 (en) 2018-08-30 2021-12-07 Apple Inc. Crown assembly for an electronic watch
CN209625187U (zh) 2018-08-30 2019-11-12 苹果公司 电子手表和电子设备
CN112789590A (zh) * 2018-10-02 2021-05-11 松下电器（美国）知识产权公司 信息提供方法、声响设备的控制方法以及信息处理装置
GB201817495D0 (en) 2018-10-26 2018-12-12 Cirrus Logic Int Semiconductor Ltd A force sensing system and method
CN110010151A (zh) * 2018-12-31 2019-07-12 瑞声科技(新加坡)有限公司 一种音频信号处理方法及设备、存储介质
US11533557B2 (en) 2019-01-22 2022-12-20 Universal City Studios Llc Ride vehicle with directional speakers and haptic devices
US11194299B1 (en) 2019-02-12 2021-12-07 Apple Inc. Variable frictional feedback device for a digital crown of an electronic watch
US11283337B2 (en) 2019-03-29 2022-03-22 Cirrus Logic, Inc. Methods and systems for improving transducer dynamics
US11644370B2 (en) 2019-03-29 2023-05-09 Cirrus Logic, Inc. Force sensing with an electromagnetic load
US11509292B2 (en) 2019-03-29 2022-11-22 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using least-mean-squares filter
US10955955B2 (en) 2019-03-29 2021-03-23 Cirrus Logic, Inc. Controller for use in a device comprising force sensors
US10726683B1 (en) 2019-03-29 2020-07-28 Cirrus Logic, Inc. Identifying mechanical impedance of an electromagnetic load using a two-tone stimulus
US10828672B2 (en) 2019-03-29 2020-11-10 Cirrus Logic, Inc. Driver circuitry
US10992297B2 (en) 2019-03-29 2021-04-27 Cirrus Logic, Inc. Device comprising force sensors
US20220244784A1 (en) * 2019-05-28 2022-08-04 Sony Group Corporation Information processing device, information processing method, and program
US10976825B2 (en) 2019-06-07 2021-04-13 Cirrus Logic, Inc. Methods and apparatuses for controlling operation of a vibrational output system and/or operation of an input sensor system
US11150733B2 (en) 2019-06-07 2021-10-19 Cirrus Logic, Inc. Methods and apparatuses for providing a haptic output signal to a haptic actuator
KR20220024091A (ko) 2019-06-21 2022-03-03 시러스 로직 인터내셔널 세미컨덕터 리미티드 디바이스 상에 복수의 가상 버튼을 구성하기 위한 방법 및 장치
JP7171530B2 (ja) * 2019-09-20 2022-11-15 日本電信電話株式会社 触覚振動配信装置、触覚振動配信方法、触覚振動配信プログラム
US11468750B2 (en) * 2019-10-14 2022-10-11 Lofelt Gmbh Authoring an immersive haptic data file using an authoring tool
US11408787B2 (en) 2019-10-15 2022-08-09 Cirrus Logic, Inc. Control methods for a force sensor system
US11380175B2 (en) 2019-10-24 2022-07-05 Cirrus Logic, Inc. Reproducibility of haptic waveform
US11545951B2 (en) 2019-12-06 2023-01-03 Cirrus Logic, Inc. Methods and systems for detecting and managing amplifier instability
US11662820B2 (en) 2020-01-08 2023-05-30 Dell Products, Lp System for a solid-state keyboard and touchpad providing haptic feedback
US11067269B1 (en) 2020-01-31 2021-07-20 Dell Products, Lp System and method for backlight integration with electrical contact foil in piezoelectric haptic keyboard
US11093048B1 (en) 2020-01-31 2021-08-17 Dell Products, Lp System for modified key actions and haptic feedback for smart typing assist with a solid-state keyboard and touchpad
US11175745B2 (en) 2020-01-31 2021-11-16 Dell Products, Lp System and method for application of piezo electric haptic keyboard personal typing profile
US11579695B2 (en) 2020-01-31 2023-02-14 Dell Products, Lp System and method for generating sound effects on fingertips with piezoelectric actuators of a haptic keyboard
US10860112B1 (en) 2020-01-31 2020-12-08 Dell Products, Lp System for a solid-state keyboard and touchpad with a single sheet cover for providing haptic feedback
US11301053B2 (en) 2020-01-31 2022-04-12 Dell Products, Lp System for providing haptic feedback across full palm rest in fixed position of information handling system
US11079849B1 (en) 2020-01-31 2021-08-03 Dell Products, Lp System for extended key actions and haptic feedback and optimized key layout for a solid-state keyboard and touchpad
US11294469B2 (en) 2020-01-31 2022-04-05 Dell Products, Lp System and method for processing user input via a reconfigurable haptic interface assembly for displaying a modified keyboard configuration
US11106286B2 (en) 2020-01-31 2021-08-31 Dell Products, Lp System and method for mood detection via piezo haptic keyboard dynamics
US10936073B1 (en) 2020-01-31 2021-03-02 Dell Products, Lp System and method for generating high-frequency and mid-frequency audible sound via piezoelectric actuators of a haptic keyboard
US11079816B1 (en) 2020-01-31 2021-08-03 Dell Products, Lp System and method for vapor chamber directional heat dissipation for a piezoelectric keyboard assembly
US11106772B2 (en) 2020-01-31 2021-08-31 Dell Products, Lp System and method for continuous user identification via piezo haptic keyboard and touchpad dynamics
US11662821B2 (en) 2020-04-16 2023-05-30 Cirrus Logic, Inc. In-situ monitoring, calibration, and testing of a haptic actuator
US11550268B2 (en) 2020-06-02 2023-01-10 Apple Inc. Switch module for electronic crown assembly
US11756516B2 (en) * 2020-12-09 2023-09-12 Matthew DeWall Anatomical random rhythm generator
KR102457452B1 (ko) * 2020-12-21 2022-10-21 신성호 촉감 발생 장치 및 그 구동 방법
US11933822B2 (en) 2021-06-16 2024-03-19 Cirrus Logic Inc. Methods and systems for in-system estimation of actuator parameters
US11765499B2 (en) 2021-06-22 2023-09-19 Cirrus Logic Inc. Methods and systems for managing mixed mode electromechanical actuator drive
US11908310B2 (en) 2021-06-22 2024-02-20 Cirrus Logic Inc. Methods and systems for detecting and managing unexpected spectral content in an amplifier system
US11552649B1 (en) 2021-12-03 2023-01-10 Cirrus Logic, Inc. Analog-to-digital converter-embedded fixed-phase variable gain amplifier stages for dual monitoring paths

Family Cites Families (123)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3157853A (en) 1957-12-06 1964-11-17 Hirsch Joseph Tactile communication system
US2972140A (en) 1958-09-23 1961-02-14 Hirsch Joseph Apparatus and method for communication through the sense of touch
GB958325A (en) 1962-07-08 1964-05-21 Communications Patents Ltd Improvements in or relating to ground-based flight training or simulating apparatus
US3497668A (en) 1966-08-25 1970-02-24 Joseph Hirsch Tactile control system
US3517446A (en) 1967-04-19 1970-06-30 Singer General Precision Vehicle trainer controls and control loading
US3623064A (en) 1968-10-11 1971-11-23 Bell & Howell Co Paging receiver having cycling eccentric mass
US3903614A (en) 1970-03-27 1975-09-09 Singer Co Apparatus for simulating aircraft control loading
US3902687A (en) 1973-06-25 1975-09-02 Robert E Hightower Aircraft indicator system
US3911416A (en) 1974-08-05 1975-10-07 Motorola Inc Silent call pager
US4160508A (en) 1977-08-19 1979-07-10 Nasa Controller arm for a remotely related slave arm
US4127752A (en) 1977-10-13 1978-11-28 Sheldahl, Inc. Tactile touch switch panel
US4262549A (en) 1978-05-10 1981-04-21 Schwellenbach Donald D Variable mechanical vibrator
US4236325A (en) 1978-12-26 1980-12-02 The Singer Company Simulator control loading inertia compensator
US4334280A (en) * 1980-06-09 1982-06-08 Texas Instruments Incorporated System and method for providing an audible sound and a tactile feedback in an electronic data processing system
US4355348A (en) * 1980-07-30 1982-10-19 Williams Theodore R Audio signal responsive optical display
US4464117A (en) 1980-08-27 1984-08-07 Dr. Ing. Reiner Foerst Gmbh Driving simulator apparatus
US4333070A (en) 1981-02-06 1982-06-01 Barnes Robert W Motor vehicle fuel-waste indicator
US4599070A (en) 1981-07-29 1986-07-08 Control Interface Company Limited Aircraft simulator and simulated control system therefor
EP0085518B1 (en) 1982-01-22 1989-08-16 British Aerospace Public Limited Company Control apparatus
US4484191A (en) 1982-06-14 1984-11-20 Vavra George S Tactile signaling systems for aircraft
US4937685A (en) 1983-12-02 1990-06-26 Lex Computer And Management Corporation Method of display presentation for video editing
US4581491A (en) 1984-05-04 1986-04-08 Research Corporation Wearable tactile sensory aid providing information on voice pitch and intonation patterns
US5078152A (en) 1985-06-23 1992-01-07 Loredan Biomedical, Inc. Method for diagnosis and/or training of proprioceptor feedback capabilities in a muscle and joint system of a human patient
US4713007A (en) 1985-10-11 1987-12-15 Alban Eugene P Aircraft controls simulator
US5275174B1 (en) 1985-10-30 1998-08-04 Jonathan A Cook Repetitive strain injury assessment
NL8503096A (nl) 1985-11-11 1987-06-01 Fokker Bv Simulator van mechanische eigenschappen van een besturingssysteem.
US4891764A (en) 1985-12-06 1990-01-02 Tensor Development Inc. Program controlled force measurement and control system
US4934694A (en) 1985-12-06 1990-06-19 Mcintosh James L Computer controlled exercise system
US4768412A (en) * 1986-05-09 1988-09-06 Sanderson Stephen N Low profile keyboard device and system for recording and scoring music
US4794392A (en) 1987-02-20 1988-12-27 Motorola, Inc. Vibrator alert device for a communication receiver
US5038089A (en) 1988-03-23 1991-08-06 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Synchronized computational architecture for generalized bilateral control of robot arms
US4885565A (en) 1988-06-01 1989-12-05 General Motors Corporation Touchscreen CRT with tactile feedback
NL8801653A (nl) 1988-06-29 1990-01-16 Stork Kwant Bv Besturingsstelsel.
US4930770A (en) 1988-12-01 1990-06-05 Baker Norman A Eccentrically loaded computerized positive/negative exercise machine
JPH02185278A (ja) 1989-01-12 1990-07-19 Taito Corp 光線銃射撃ゲーム装置
US5186695A (en) 1989-02-03 1993-02-16 Loredan Biomedical, Inc. Apparatus for controlled exercise and diagnosis of human performance
US5019761A (en) 1989-02-21 1991-05-28 Kraft Brett W Force feedback control for backhoe
US5022407A (en) 1990-01-24 1991-06-11 Topical Testing, Inc. Apparatus for automated tactile testing
US5035242A (en) 1990-04-16 1991-07-30 David Franklin Method and apparatus for sound responsive tactile stimulation of deaf individuals
JPH0685820B2 (ja) 1990-04-25 1994-11-02 株式会社エポック社 体感ゲーム機
US5022384A (en) 1990-05-14 1991-06-11 Capitol Systems Vibrating/massage chair
US5547382A (en) 1990-06-28 1996-08-20 Honda Giken Kogyo Kabushiki Kaisha Riding simulation system for motorcycles
US5165897A (en) 1990-08-10 1992-11-24 Tini Alloy Company Programmable tactile stimulator array system and method of operation
US5212473A (en) 1991-02-21 1993-05-18 Typeright Keyboard Corp. Membrane keyboard and method of using same
US5334027A (en) 1991-02-25 1994-08-02 Terry Wherlock Big game fish training and exercise device and method
US5240417A (en) 1991-03-14 1993-08-31 Atari Games Corporation System and method for bicycle riding simulation
US5203563A (en) 1991-03-21 1993-04-20 Atari Games Corporation Shaker control device
JPH06507734A (ja) 1991-03-21 1994-09-01 アタリ　ゲームズ　コーポレーション 交差ネットワーク型フィードバックを含む乗物シミュレータ
JP3097764B2 (ja) * 1991-03-27 2000-10-10 日本電信電話株式会社 ガイダンス音声付き音声入力装置
US5388992A (en) 1991-06-19 1995-02-14 Audiological Engineering Corporation Method and apparatus for tactile transduction of acoustic signals from television receivers
US5175459A (en) 1991-08-19 1992-12-29 Motorola, Inc. Low profile vibratory alerting device
US5186629A (en) 1991-08-22 1993-02-16 International Business Machines Corporation Virtual graphics display capable of presenting icons and windows to the blind computer user and method
US5889670A (en) 1991-10-24 1999-03-30 Immersion Corporation Method and apparatus for tactilely responsive user interface
US5271290A (en) 1991-10-29 1993-12-21 United Kingdom Atomic Energy Authority Actuator assembly
US5309140A (en) 1991-11-26 1994-05-03 The United States Of America As Represented By The Secretary Of The Navy Feedback system for remotely operated vehicles
JPH05192449A (ja) 1992-01-20 1993-08-03 Taito Corp ビデオ式銃撃戦ゲーム装置及びその装置を制御する方法
US5189355A (en) 1992-04-10 1993-02-23 Ampex Corporation Interactive rotary controller system with tactile feedback
JP2677315B2 (ja) 1992-04-27 1997-11-17 株式会社トミー 運転玩具
US5437607A (en) 1992-06-02 1995-08-01 Hwe, Inc. Vibrating massage apparatus
US7084859B1 (en) * 1992-09-18 2006-08-01 Pryor Timothy R Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
JP3381074B2 (ja) * 1992-09-21 2003-02-24 ソニー株式会社 音響構成装置
US5283970A (en) 1992-09-25 1994-02-08 Strombecker Corporation Toy guns
US6131097A (en) 1992-12-02 2000-10-10 Immersion Corporation Haptic authoring
US5629594A (en) 1992-12-02 1997-05-13 Cybernet Systems Corporation Force feedback system
US5451924A (en) 1993-01-14 1995-09-19 Massachusetts Institute Of Technology Apparatus for providing sensory substitution of force feedback
US5785630A (en) 1993-02-02 1998-07-28 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
US5690582A (en) 1993-02-02 1997-11-25 Tectrix Fitness Equipment, Inc. Interactive exercise apparatus
US5405152A (en) 1993-06-08 1995-04-11 The Walt Disney Company Method and apparatus for an interactive video game with physical feedback
AU7251694A (en) 1993-07-06 1995-02-06 Cybernet System Corporation Method and system for simulating medical procedures including virtual reality and control method and system for use therein
US5466213A (en) 1993-07-06 1995-11-14 Massachusetts Institute Of Technology Interactive robotic therapist
US5436622A (en) 1993-07-06 1995-07-25 Motorola, Inc. Variable frequency vibratory alert method and structure
JP2856036B2 (ja) 1993-07-12 1999-02-10 株式会社セガ・エンタープライゼス スライド式振動機構を備えたゲーム機用ガンユニット及びゲーム装置
JP2698320B2 (ja) * 1993-08-31 1998-01-19 日本電信電話株式会社 常装着型入力システム、常装着型意図伝達システム、常装着型音楽用キーボードシステム及び常装着型点字入出力システム
US5438529A (en) * 1994-01-26 1995-08-01 Immersion Human Interface Corporation Percussion input device for personal computer systems
US6160489A (en) 1994-06-23 2000-12-12 Motorola, Inc. Wireless communication device adapted to generate a plurality of distinctive tactile alert patterns
US5575761A (en) 1994-07-27 1996-11-19 Hajianpour; Mohammed-Ali Massage device applying variable-frequency vibration in a variable pulse sequence
WO1996006392A1 (en) 1994-08-18 1996-02-29 Interval Research Corporation Content-based haptic input device for video
US5669818A (en) 1995-03-23 1997-09-23 Thorner; Craig Seat-based tactile sensation generator
US6422941B1 (en) 1994-09-21 2002-07-23 Craig Thorner Universal tactile feedback system for computer video games and simulations
US5684722A (en) 1994-09-21 1997-11-04 Thorner; Craig Apparatus and method for generating a control signal for a tactile sensation generator
US5565840A (en) 1994-09-21 1996-10-15 Thorner; Craig Tactile sensation generator
US5766016A (en) 1994-11-14 1998-06-16 Georgia Tech Research Corporation Surgical simulator and method for simulating surgical procedure
US5959613A (en) 1995-12-01 1999-09-28 Immersion Corporation Method and apparatus for shaping force signals for a force feedback device
US5767457A (en) 1995-11-13 1998-06-16 Cirque Corporation Apparatus and method for audible feedback from input device
JPH10513593A (ja) * 1995-11-24 1998-12-22 フィリップス エレクトロニクス ネムローゼ フェンノートシャップ 触覚刺激によって強調された仮想現実を示す方法と、この方法を実行するシステム
AU1328597A (en) 1995-11-30 1997-06-19 Virtual Technologies, Inc. Tactile feedback man-machine interface device
US6219032B1 (en) * 1995-12-01 2001-04-17 Immersion Corporation Method for providing force feedback to a user of an interface device based on interactions of a controlled cursor with graphical elements in a graphical user interface
US6161126A (en) 1995-12-13 2000-12-12 Immersion Corporation Implementing force feedback over the World Wide Web and other computer networks
US6300936B1 (en) 1997-11-14 2001-10-09 Immersion Corporation Force feedback system including multi-tasking graphical host environment and interface device
JPH09222885A (ja) * 1996-02-16 1997-08-26 Matsushita Electric Ind Co Ltd オーディオデータ編集装置
CA2247364C (en) * 1996-03-08 2002-05-14 Motorola, Inc. Method and recognizer for recognizing a sampled sound signal in noise
US6111577A (en) 1996-04-04 2000-08-29 Massachusetts Institute Of Technology Method and apparatus for determining forces to be applied to a user through a haptic interface
US5857986A (en) 1996-05-24 1999-01-12 Moriyasu; Hiro Interactive vibrator for multimedia
US5795228A (en) 1996-07-03 1998-08-18 Ridefilm Corporation Interactive computer-based entertainment system
JP4096376B2 (ja) * 1996-07-09 2008-06-04 セイコーエプソン株式会社 リラックス指導装置
JPH10153946A (ja) * 1996-11-25 1998-06-09 Mitsubishi Electric Corp 感覚情報提示装置
US6292170B1 (en) 1997-04-25 2001-09-18 Immersion Corporation Designing compound force sensations for computer applications
US7091948B2 (en) 1997-04-25 2006-08-15 Immersion Corporation Design of force sensations for haptic feedback computer interfaces
US6285351B1 (en) 1997-04-25 2001-09-04 Immersion Corporation Designing force sensations for computer applications including sounds
US6005551A (en) 1997-04-25 1999-12-21 Microsoft Corporation Offline force effect rendering
JP4149574B2 (ja) * 1997-08-29 2008-09-10 ゼロックス コーポレイション ユーザインターフェースサポートデバイス、及び情報入力方法
US6252583B1 (en) 1997-11-14 2001-06-26 Immersion Corporation Memory and force output management for a force feedback system
US5984880A (en) 1998-01-20 1999-11-16 Lander; Ralph H Tactile feedback controlled by various medium
US6219034B1 (en) 1998-02-23 2001-04-17 Kristofer E. Elbing Tactile computer interface
US6198206B1 (en) 1998-03-20 2001-03-06 Active Control Experts, Inc. Inertial/audio unit and construction
CN2350837Y (zh) * 1998-04-17 1999-11-24 东莞龙昌玩具有限公司 一种发音装置
US6429846B2 (en) * 1998-06-23 2002-08-06 Immersion Corporation Haptic feedback for touchpads and other touch controls
JP2000047813A (ja) * 1998-07-24 2000-02-18 Casio Comput Co Ltd イベント信号発生装置及びそれを用いた電子機器
JP2000056943A (ja) * 1998-08-07 2000-02-25 Mitsubishi Electric Corp 設定表示器
US6389403B1 (en) * 1998-08-13 2002-05-14 International Business Machines Corporation Method and apparatus for uniquely identifying a customer purchase in an electronic distribution system
JP2000157720A (ja) * 1998-11-26 2000-06-13 Square Co Ltd ゲーム装置、ゲームの制御方法並びに情報記録媒体
JP3437776B2 (ja) * 1999-01-12 2003-08-18 株式会社ソニー・コンピュータエンタテインメント エンタテインメントシステム、エンタテインメント装置及び記録媒体
JP3766770B2 (ja) * 1999-10-28 2006-04-19 シャープ株式会社 情報提示装置、情報提示方法、及び情報提示プログラムを記録したコンピュータで読取可能な記録媒体
US6292776B1 (en) * 1999-03-12 2001-09-18 Lucent Technologies Inc. Hierarchial subband linear predictive cepstral features for HMM-based speech recognition
WO2000070523A1 (en) * 1999-05-19 2000-11-23 Digimarc Corporation Methods and systems employing digital watermarking in music and other media
DE20014425U1 (de) * 1999-08-18 2001-01-04 Immersion Corp Mechanismen für Steuerknöpfe und andere Schnittstellenvorrichtungen
JP4587243B2 (ja) * 1999-08-31 2010-11-24 株式会社ソニー・コンピュータエンタテインメント エンタテインメント装置、エンタテインメントシステム、記録媒体及び振動設定方法
US6541692B2 (en) * 2000-07-07 2003-04-01 Allan Miller Dynamically adjustable network enabled method for playing along with music
AU2001294852A1 (en) * 2000-09-28 2002-04-08 Immersion Corporation Directional tactile feedback for haptic feedback interface devices
JP3076960U (ja) * 2000-10-12 2001-04-27 峰 徐 振動機能を具えたマウス
US6885876B2 (en) * 2001-03-12 2005-04-26 Nokia Mobile Phones Ltd. Mobile phone featuring audio-modulated vibrotactile module
JP3564501B2 (ja) * 2001-03-22 2004-09-15 学校法人明治大学 乳幼児の音声解析システム
US7623114B2 (en) 2001-10-09 2009-11-24 Immersion Corporation Haptic feedback sensations based on audio output from computer devices

Cited By (52)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102736732B (zh) * 2006-04-13 2015-11-18 意美森公司 从数字音频信号自动产生触觉事件的系统和方法
CN102736732A (zh) * 2006-04-13 2012-10-17 伊默生公司 从数字音频信号自动产生触觉事件的系统和方法
US9330546B2 (en) 2006-04-13 2016-05-03 Immersion Corporation System and method for automatically producing haptic events from a digital audio file
US9239700B2 (en) 2006-04-13 2016-01-19 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
CN102341768A (zh) * 2009-03-10 2012-02-01 拜耳材料科技公司 用于触觉反馈设备的电活性聚合物换能器
CN101850183A (zh) * 2010-05-26 2010-10-06 浙江大学 基于触觉的交互式音乐娱乐设备
US11947724B2 (en) 2012-05-09 2024-04-02 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US11023116B2 (en) 2012-05-09 2021-06-01 Apple Inc. Device, method, and graphical user interface for moving a user interface object based on an intensity of a press input
US10969945B2 (en) 2012-05-09 2021-04-06 Apple Inc. Device, method, and graphical user interface for selecting user interface objects
US11314407B2 (en) 2012-05-09 2022-04-26 Apple Inc. Device, method, and graphical user interface for providing feedback for changing activation states of a user interface object
CN108287651B (zh) * 2012-05-09 2021-04-13 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
US11221675B2 (en) 2012-05-09 2022-01-11 Apple Inc. Device, method, and graphical user interface for providing tactile feedback for operations performed in a user interface
US10996788B2 (en) 2012-05-09 2021-05-04 Apple Inc. Device, method, and graphical user interface for transitioning between display states in response to a gesture
CN108287651A (zh) * 2012-05-09 2018-07-17 苹果公司 用于针对在用户界面中执行的操作提供触觉反馈的方法和装置
US11068153B2 (en) 2012-05-09 2021-07-20 Apple Inc. Device, method, and graphical user interface for displaying user interface objects corresponding to an application
US11354033B2 (en) 2012-05-09 2022-06-07 Apple Inc. Device, method, and graphical user interface for managing icons in a user interface region
US11010027B2 (en) 2012-05-09 2021-05-18 Apple Inc. Device, method, and graphical user interface for manipulating framed graphical objects
CN108273263A (zh) * 2012-06-14 2018-07-13 意美森公司 使用颗粒合成的触觉效果转换系统
CN102929386B (zh) * 2012-09-16 2019-01-25 吴东辉 一种动感重现虚拟现实的方法及系统
CN102929386A (zh) * 2012-09-16 2013-02-13 吴东辉 一种动感重现虚拟现实的方法及系统
CN104238934B (zh) * 2013-05-17 2019-01-15 意美森公司 低频效果触觉转换系统
CN104238934A (zh) * 2013-05-17 2014-12-24 意美森公司 低频效果触觉转换系统
US10741189B2 (en) 2013-05-17 2020-08-11 Immersion Corporation Low-frequency effects haptic conversion system
US10395490B2 (en) 2013-09-06 2019-08-27 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
CN104423593B (zh) * 2013-09-06 2018-10-30 意美森公司 生成与音频信号中的跃迁相关联的触觉效果的系统和方法
US10388122B2 (en) 2013-09-06 2019-08-20 Immerson Corporation Systems and methods for generating haptic effects associated with audio signals
CN104423707A (zh) * 2013-09-06 2015-03-18 意美森公司 使用分段和组合的触觉转换系统
CN104423707B (zh) * 2013-09-06 2019-07-09 意美森公司 使用分段和组合的触觉转换系统
US10276004B2 (en) 2013-09-06 2019-04-30 Immersion Corporation Systems and methods for generating haptic effects associated with transitions in audio signals
US9947188B2 (en) 2013-09-06 2018-04-17 Immersion Corporation Systems and methods for generating haptic effects associated with audio signals
US10395488B2 (en) 2013-09-06 2019-08-27 Immersion Corporation Systems and methods for generating haptic effects associated with an envelope in audio signals
US10140823B2 (en) 2013-09-06 2018-11-27 Immersion Corporation Method and system for providing haptic effects based on information complementary to multimedia content
CN105094798A (zh) * 2014-05-20 2015-11-25 意美森公司 触觉设计创作工具
CN105527822A (zh) * 2014-09-29 2016-04-27 联想(北京)有限公司 电子设备
CN105527822B (zh) * 2014-09-29 2019-04-26 联想(北京)有限公司 电子设备
US11112957B2 (en) 2015-03-08 2021-09-07 Apple Inc. Devices, methods, and graphical user interfaces for interacting with a control object while dragging another object
US11921975B2 (en) 2015-03-08 2024-03-05 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US11054990B2 (en) 2015-03-19 2021-07-06 Apple Inc. Touch input cursor manipulation
US11550471B2 (en) 2015-03-19 2023-01-10 Apple Inc. Touch input cursor manipulation
US11681429B2 (en) 2015-06-07 2023-06-20 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US11835985B2 (en) 2015-06-07 2023-12-05 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US11231831B2 (en) 2015-06-07 2022-01-25 Apple Inc. Devices and methods for content preview based on touch input intensity
US11240424B2 (en) 2015-06-07 2022-02-01 Apple Inc. Devices and methods for capturing and interacting with enhanced digital images
US11182017B2 (en) 2015-08-10 2021-11-23 Apple Inc. Devices and methods for processing touch inputs based on their intensities
US11327648B2 (en) 2015-08-10 2022-05-10 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US11740785B2 (en) 2015-08-10 2023-08-29 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
US10963158B2 (en) 2015-08-10 2021-03-30 Apple Inc. Devices, methods, and graphical user interfaces for manipulating user interface objects with visual and/or haptic feedback
CN109154857B (zh) * 2016-05-17 2021-11-02 Ck高新材料有限公司 将音响信号转换为触觉信号的方法及利用其方法的触觉装置
CN109154857A (zh) * 2016-05-17 2019-01-04 Ck高新材料有限公司 将音响信号转换为触觉信号的方法及利用其方法的触觉装置
CN110709802B (zh) * 2017-06-27 2024-01-30 福特全球技术公司 触觉装置操作
CN110709802A (zh) * 2017-06-27 2020-01-17 福特全球技术公司 触觉装置操作
CN109254651A (zh) * 2018-08-08 2019-01-22 瑞声科技(新加坡)有限公司 一种人机交互方法及装置、终端和计算机可读存储介质

Also Published As

Publication number Publication date
KR20040053156A (ko) 2004-06-23
KR100914086B1 (ko) 2009-08-27
JP2013117996A (ja) 2013-06-13
JP2011198373A (ja) 2011-10-06
WO2003032538A3 (en) 2003-08-21
JP2005506614A (ja) 2005-03-03
CN100350992C (zh) 2007-11-28
US20040161118A1 (en) 2004-08-19
JP4751019B2 (ja) 2011-08-17
US8125442B2 (en) 2012-02-28
US7208671B2 (en) 2007-04-24
US20090002315A1 (en) 2009-01-01
US6703550B2 (en) 2004-03-09
US20070193436A1 (en) 2007-08-23
US7425675B2 (en) 2008-09-16
EP1438111B1 (en) 2019-01-09
EP1438111A4 (en) 2010-01-20
WO2003032538A2 (en) 2003-04-17
US20030068053A1 (en) 2003-04-10
JP5770766B2 (ja) 2015-08-26
AU2002347829A1 (en) 2003-04-22
EP1438111A2 (en) 2004-07-21
JP5662230B2 (ja) 2015-01-28

Similar Documents

Publication Publication Date Title
CN100350992C (zh) 使用触觉反馈的声音数据输出和处理方法和设备
CN100445930C (zh) 基于计算机设备的音频输出触发触觉的方法
JP6161549B2 (ja) ハプティックフィードバック機能性を備えたチャットインターフェース
EP1779220B1 (en) System and method for ordering haptic effects
CN102150128B (zh) 音频用户接口
CN104423594A (zh) 用于生成与音频信号相关联的触觉效果的系统和方法
CA2999882A1 (en) Tactilated electronic music systems for sound generation
US8239591B2 (en) Method for producing a mapping tool, a game program having the mapping tool and operation method thereof
CN201477519U (zh) 4d体感力反馈外部输入装置
Barlow Game Led HCI Improvements
KR20170093644A (ko) 휴대용 단말기 및 그 제어방법
Kontkanen Architecture for High Level Processing of Multimodal User Input
CN1178376A (zh) 多媒体光盘阅读学习机及其使用方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CP01 Change in the name or title of a patent holder
CP01 Change in the name or title of a patent holder

Address after: California, USA

Patentee after: Immersion Corp.

Address before: California, USA

Patentee before: Immersion Corp.

CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20071128

Termination date: 20211008