CN101303622B - 使用包含触觉反馈功能的聊天界面进行聊天的方法 - Google Patents

Abstract

一种聊天界面，允许用户通过计算机网络与聊天会议的其他用户交流触觉聊天信息。聊天界面可以被本地计算机显示，并从用户接收输入数据，例如，文本字符或者讲话输入。输入数据提供包括被发送力信息的输出聊天消息。该输出聊天消息通过计算机网络被发送到远程计算机。远程计算机显示聊天界面，并基于力信息向用户输出触觉。来自远程计算机来的接入消息也在包括接收的力消息的聊天界面上被接收。基于接收的力信息的触觉能通过使用与本地计算机相连的触觉设备来输出到用户。

Description

使用包含触觉反馈功能的聊天界面进行聊天的方法

本申请是2001年6月20日提交的申请号为01810866.0(PCT/US01/41099)，发明名称为“包含触觉反馈功能的聊天界面”的专利申请的分案申请。 

背景技术

本发明通常涉及一种用于允许人们能够连接到计算机系统的界面设备，尤其涉及计算机界面设备，它提供从使用者到计算机系统的输入，并且执行到使用者的受力反馈。

使用界面设备，使用者能结合计算机系统显示的环境实现计算机上的功能和任务，例如玩游戏，经历模拟或者虚拟现实环境，其使用计算机辅助设计系统，操作图形用户界面(GUI)，或者在屏幕上显示的其它有影响力的事件或者图片。通常用于这种相互作用的人机界面设备包括操纵杆，鼠标，跟踪球，指示笔，图形输入板，压敏球等，将它连接到计算机系统控制显示的环境。典型地，计算机响应使用者对用户可操作物理对象，例如操纵杆手柄或者鼠标的用户操作来更新环境，向使用者提供视频和音频反馈。通过能够发送定位信号到计算机的界面设备提供的传感器，计算机检测用户对象的用户操作。

在一些界面设备中，也向用户提供触觉反馈，也就是通常所说的“受力反馈”。这些类型的界面设备能提供由使用者通过操作界面设备的一个用户可操作对象而感受到的实际感觉。例如，Logitech公司生产的Wingman受力操纵杆或者Wingman受力反馈鼠标能够连接到计算机上，并且提供受力到控制器的使用者。一个或多个马达或者其他的传动装置被使用在设备里，并被连接到控制计算机系统。计算机系统和被显示的事件一起，通过发送控制信号或者命令到传动装置相互作 用，控制在操纵杆上的受力。当使用者正手握或者接触操纵杆或者界面设备其他的对象时，计算机系统如此连同提供的其他的反馈一起传达实际受力感觉给使用者。例如，当使用者移动可操作对象，导致显示的光标作用不同的显示的图形对象，计算机能发出命令使得传动装置输出一个力到用户对象，传达一个手感给使用者。

受力反馈能够被用于传达思想，信息和效果。在很多例子中，对于不能够以文本或者语音信息表现的信息，力能够提供额外的信息到信息的接纳者，例如，通过网络发送给其他用户的文本信息不能包括显示用户对于所表达主题的感觉有多么的强烈的信息或者其他信息的弦外之音的信息。用户能够使用众所周知的利用图象表示感情或者信息的“情感”图标或者符号，设法表达这些潜在的意思，例如，“微笑”表示有幽默感的信息，由一个冒号和右括号表示，：)，从一侧看与一个笑脸相似，各种各样的笑情感可以表达各种情感，然而，这样的情感和符号限制了他们表达的信息的复杂程度和不同信息可能的范围。相反，触觉反馈能以更有力的形式提供更多复杂和直接的途径向其他用户表示这样的潜在意思。

发明概述

本发明涉及一种允许用户和其他用户通过计算机网络交流触觉聊天信息的界面。用户能够提供消息使得向一个或多个有触觉界面设备的远距离用户发送触觉感觉，允许在一个聊天环境中发送更多不同并引人注目的信息。

更进一步地，本发明的方法提供了一种在本地计算机上显示的聊天界面，聊天界面能通过网络向其他用户提供触觉信息。聊天界面在本地计算机的显示设备上显示，本地计算机的用户输入的数据在聊天界面被接收，输入数据提供包括发送的力信息的输出聊天信息。将输出聊天信息发送到通过计算机网络连接到本地主机的远程计算机，远程计算机能够显示聊天界面，并输出触觉信息到至少部分地基于力信 息的远距离计算机的用户。来自远程计算机的输入信息在聊天界面上被接收，其中也包括被接收的力信息。通过使用连接到本地计算机的触觉设备，触觉信息被输出到本地计算机的用户，其中，触觉信息至少部分基于从远程计算机被接收的接收力信息。

本地计算机每个远程计算机都能够通过网络与服务器相连，例如，IRC服务器，或者通过对等连接被彼此连接到一起。聊天设备最好包括多个可用的触觉效应，用户可在其中进行选择并将其作为聊天信息中的力信息进行发送。聊天界面也允许用户参考发送到远程计算机的力信息生成一个自定义触觉信息发送到远程计算机。力信息也最好与声音信息相结合，使得远程计算机在输出触觉信息的同时一起输出声音信息。在一个具体实施例中，被接收的力(或者其他的)信息能够被在具有聊天界面的本地计算机上运行的后台应用程序进行处理，后台应用程序控制到用户的触觉信息的输出。

被发送的力信息可以包括网络地址，然后，由在远程计算机上的聊天界面作为网络位置使用，在该位置上用于检索需要的附加力信息以输出力感觉到远程计算机的触觉设备。例如，网络地址可以是用于存储能够被触觉设备输出的标准和自定义触觉库的网络服务器的地址。另外，自定义力信息可以根据网络地址从客户机被加载到服务器上，这里被加载的自定义力信息能够被不同的客户机下载，用于基于自定义的力信息输出触觉。聊天消息中的力信息能够可选择地包括描述所期望的触觉的数据。优选地，聊天界面允许本地计算机的用户键入一个包含文本字符的文本命令用作力命令的来发送，或者使得力信息被发送到远程计算机。文本力命令最好在远程计算机的聊天界面上被显示，并包括至少一个定义符用于示出文本力命令的属性，或者是一个预定义的字符，例如那些用于表示感情的字符。聊天消息也可以是音频或者其他的格式，一种实施例允许在聊天信息中的音频波能够被分析为基于波内容的触觉信息。

本发明的优点在于，在计算机的聊天界面允许使用触觉信息使得聊天消息得到加强。使用者能够选择需要的触觉信息或甚至是自定义的触觉，以在聊天过程中将信息发送到一个或多个其他的用户。触觉信息能够传达多种感情、其他的内容以及信息的潜在意思，允许用户通过计算机网络更自由地表述期望的信息。

通过阅读以下的本发明的具体描述和研究几个附图，本领域的技术人员将更能显示出本发明的这些和其他的优点。

附图简要说明

图1是示出本发明中适合作为客户机使用的触觉系统的结构图；

图2是示出适合以本发明的方式使用的网络结构的结构图；

图3a是允许触觉信息被发送和接收的本发明的聊天界面的具体实施例的屏幕显示；

图3b是图3a中的聊天界面的屏幕显示，其中选择触觉效应并作为触觉信息被发送；

图3c是图3a中的聊天界面的输入屏的屏幕显示，以允许用户规定自定义触觉效应的信息。

图3d是图3a中的聊天界面的选择屏的屏幕显示，以允许用户从存储在不同服务器上的列表中检索并测试触觉效应，并且

图4是包括用于发送触觉信息的按钮的图3b的聊天界面的另一个具体实施例的屏幕显示。

具体实施例

图1是示出用于本发明的由主机系统控制的力反馈界面系统10的框图。界面系统10包括主机系统12和界面设备14。

主机系统12最好是个人电脑，例如IBM兼容机或Macintosh个人电脑，或者是一个工作站，例如SUN或Silicon Graphics工作站。作为选择，主机系统12可以是多种家庭视频游戏机系统的一种，例如， Nintendo，Sega，或者Sony提供的系统，或者电视的“机顶盒”或者“网络计算机”等。主机系统12最好执行一个主机应用程序，使得用户22通过外围设备和界面设备14进行操作。例如，主机应用程序可以是一个视频游戏，医学模拟，科学分析程序，操作系统，图形用户界面，或者其他的利用力反馈的应用程序。典型地，如下所述，主机应用程序提供显示在显示输出设备上的图象，和/或其他的反馈，诸如听觉信号。

主机系统12最好包括主机微处理器16，随机存取存储器(RAM)17，只读存储器(ROM)19，输入/输出(I/O)设备21，时钟18，显示屏20和音频输出装置21。显示屏20能够被用于显示主机系统12或者其他计算机系统生成的图象，并且可以是一个标准的显示屏幕，CRT，平板显示器，3-D眼镜，或者其他的可视界面。音频输出设备21(例如扬声器)最好通过放大器、滤波器和其他的在现有技术中(例如声卡中)使用的众所周知的电路与主机微处理器16相连，以提供从主机18到用户22的声音输出。其他类型的外围设备也能够被连接到主机处理器16，例如，存储设备(硬磁盘机，CD-ROM或DVD-ROM驱动器，软磁盘机，等等)，打印机，和其他的输入输出设备。实现本发明的界面的数据能够被存储在计算机可读介质上，例如存储器(RAM或ROM)，硬盘，CD或DVD光盘驱动器，等等。

界面设备14通过双向总线24被连接到主机系统12。双向总线在主机系统12和界面设备之间的任一方向上发送信号。主机系统12的界面端口，例如RS232或者通用串行总线(USB)的串行界面端口，并行端口、游戏端口等，连接总线24到主机系统12。

界面设备14包括本地微处理器26，本地存储器27，传感器28，传动装置30，用户对象34，可选传感器界面36，可选传动装置界面38和其他的可选输入设备39。本地微处理器26被连接到总线24，并且作为界面设备14的一部分，并专用于力反馈以及界面设备14的传感 器输入输出。微处理器26被提供软件指令用于等待从计算机主机12来的命令或者请求，对命令或者请求进行解码，并按照命令或者请求处理/控制输入输出信号。另外，处理器26最好通过读取传感器信号，从那些依照主机命令选择的传感器信号、时间信号以及存储或延迟的指令中计算出合适的力，以独立地操作主机16。适合作为本地微处理器26使用的微处理器，例如包括Motorola的MC68HC711E9，Microchip的PIC16C74，以及Intel公司的82930AX。微处理器26包括一个微处理器芯片，或者多个处理器和/或协处理器芯片，和/或数字信号处理器(DSP)能力。

微处理器26能接收从传感器28来的信号，依照通过总线24由主机12发出的指令提供信号给界面设备14的传动装置30.例如，优选的本地控制实施例中，主机系统12通过总线24发出高级管理命令到微处理器26，以及微处理器26不受限于主机18，依照高级命令管理到传感器和传动装置的低级力控制回路。这样，力反馈系统在一个分布式的控制系统中，提供一个信息的主机控制回路和信息的本地控制回路。这种操作在美国专利NO.5,739,811；6,6169,540以及5,734,373中已经详细的描述了。微处理器26也能从包括界面设备14的其他的输入装置39接收命令，例如按钮，并发出合适的信号到主机12，用于表明已经接收到输入信息和包括在输入信息中的任何信息。本地存储器27，例如，RAM和/或RAM，最好连接到界面设备14中的微处理器26上，用于存储微处理器26的指令并存储临时或者其他数据。另外，本地时钟29也被连接到微处理器26用于提供时间数据。

传感器28沿着一个或多个空间角度检测位置，动作，和/或界面设备14的用户对象34的其他特征，并提供包含代表这些特征的信号到微处理器26，可使用旋转式或者线性光编码器，电位计，光传感器，速度传感器，加速度传感器，应变仪，或者其他类型的传感器。传感器28提供电信号到可选择的传感器界面36，该界面36用于转换传感器信号为微处理器26和/或主机系统12能够翻译的信号。

传动装置30响应从微处理器26接收的信号，沿着一个和多个空间角度以一个或多个方向传送力到界面设备14的用户对象34，和/或将力施加到设备14的外壳上。传动装置30包括两种类型，主动传动装置和被动传动装置。主动传动装置包括线性电流控制马达，步进马达，气压/水压主动传动装置，扭矩装置(限制角度范围的马达)，音圈传动装置，和其他类型传送力来移动对象的传动装置。被动传动装置也能够被用作传动装置30，例如，磁粉制动器，摩擦制动器，或者气压/水压被动传动装置。传动装置界面38能可选择地被连接到传动装置30和微处理器26之间，以将来自微处理器26的信号转换为适于驱动传动装置30的信号。

其他的输入装置39能可选择地被包括在界面设备14中，并发送输入信号到微处理器26和主机处理器16。这样的输入装置可以包括按钮，拨号盘，开关，控制杆等其他的机械装置。例如，在一实施例中，用户对象34是一个操纵杆，其他的输入装置能包括一个或多个所提供的按钮，例如，在操纵杆手柄或者底部上。电源40可选择地被连接到传动装置界面38和/或传动装置30上以提供电能。安全开关41可选择地被包括在界面设备14上，用于提供一个因为安全原因使得传动装置30无效的机械装置。

用户可操作对象34(用户对象)是一个可以连接到界面设备14并被用户掌握或者接触或者控制物理对象、设备或者物品。“掌握”的意思是用户可以以某些形式实际接触到对象，例如用手，用他们的手指，或者甚至是所说的残疾人。用户22能操作或者移动对象使得能够与用户在显示屏幕20上看到的主机应用程序相连。对象34可以是一个操纵杆，鼠标，跟踪球，键盘，指示笔(例如，在连接末端)，方向盘，球体，医疗设备(腹腔镜，导尿管等)，赌注式球杆(利用促动滚子移动球杆)，手柄，旋钮，按钮，或者其他的物品。

触觉反馈界面设备14可以采用各种形式，包括鼠标，操纵杆，游戏键盘，方向盘，用户能坐在上面的椅垫，钓杆，赌注式球杆等等。设备的若干这些类型在商业上是可用的。例如，适合本发明使用的鼠标包括动觉受力和震动触觉鼠标，例如，在美国专利Nos.6,166,723和6,211,861中描述的那些。用户对象34和/或界面设备14也可以使一个包括触觉反馈功能的键盘，例如，放置产生振动的传动器组件在按键或者提供触觉的键盘上用于产生触觉反馈。以本发明的方式使用的系统的一个具体实施例是触觉键盘和触觉鼠标，其中，在本发明的聊天界面上，用户可以通过触觉键盘输入信息，也可以使用触觉鼠标移动光标来选择聊天界面提供的功能。在本发明中这些设备能够输出用于通信的触觉反馈。这样，当使用这些设备时，不管用户是一个手放在键盘上，一个手放在鼠标上，或者两个手放在键盘上，或者一个手放在鼠标上，或者没有手放在键盘上而一个手放在鼠标上，用户都能时刻体验到触觉反馈。

触觉反馈聊天界面

图2是示出适合以本发明的方式使用的计算机网络结构60的结构图。提供聊天服务器设备70用于执行聊天通信程序和/或协议，例如，在现有技术中众所周知的IRC，服务器可以通过互联网和/或万维网，例如，或在LAN，WAN，或者其他的网络(包括无线网络，设备网络，电话网络等)使用。客户机72a和72b能通过网络和服务器连接并通信。每个客户机72正象如上所详述的那样被连接到向用户输出触觉信息的触觉设备74，被客户机的用户实际接触并且操作。客户机72a，72b和73能连接到服务器，通过服务器客户机能彼此之间建立连接。在聊天时，每个客户机的用户发送数据到一个或多个其他客户机，并且能够被其他的用户读出并感觉到。聊天服务器70仅被作为两个客户机彼此查找并连接的路由，以至于在客户机之间的通信仅在他们之间进行；或者，聊天服务器70能在两个客户机之间继续接收和路由数据。在另一个实施例中，客户机能越过各种类型的网络连接和信道，通过对等网络连接直接彼此连接，而不需要使用各自的服务器。这里使用 的“网络”是指所有这样的通信连接。

在描述的实施中，客户机72a和72b每个都包括一个聊天客户功能性部分76和一个触觉控制功能部分78。聊天客户部分76按照标准协议与聊天服务器70连接，用于从其他的客户机向客户机的用户提供聊天通信。例如，服务器70可以是IRC(因特网中继闲谈)服务器，它使用众所周知的IRC协议与客户机进行通信。其他类型的聊天协议也可以被使用，包括单纯的基于HTML的聊天协议，基于Java的聊天协议，或者基于其他标准的协议。一些客户机连接到服务器70并参与聊天会议，例如客户机73，只可以执行聊天服务部分76，这样就不需触觉信息的触觉设备。

触觉控制部分78与聊天客户部分76相合，对与聊天信息有关的本发明的触觉进行控制。例如，以被译为触觉消息或命令的接收消息能被触觉控制部分76探测到，触觉信息能被从听觉控制部分78传送到触觉设备74。此外，在一些具体实施例里，触觉控制部分78可以与一个或多个其他的服务器通信，诸如网络服务器80。例如，力效果数据，声音数据，或者其他的数据可以通过触觉控制部分78被检索，用于实现特殊的触觉信息。这个操作将在下文进行更详细的描述。

图3a是一个主机12的显示屏20的图，显示一个示出利用本发明的网络聊天应用程序的聊天界面举例的显示界面100。网络聊天程序正像在现有技术中众所周知的那样，允许两个或多个人在不同的计算机或者终端上彼此通过计算机网络进行通信。在一些具体实施例中，一个人能与一个“仿真人”或者实体进行类似聊天的通信，例如，和AI游戏任务或者服务器上运行的程序的玩家，本发明也同样适用。在不同的实施例中，将消息以不同的格式被发送，例如以文本，声音，图象，或者他们的组合的形式。本发明的聊天界面也允许基于期望发送的信息，通过网络将触觉信息从一个用户发送到一个或者多个其他的用户。通过网络提供触觉反馈的一些方法在美国专利NO.6,028,593中 已经记载了。该网络可以是一个局域网(LAN)，广域网(WAN)，互联网，或者其他的网络。

显示本发明的聊天界面100的显示屏幕20在这里示出。使用在现有技术中众所周知的方法，界面100能执行并连接到运行标准聊天程序和协议的服务器，例如，因特网中继闲谈(IRC)。IRC只将文本字符从一个客户机提供到客户服务器70，服务器70路由文本字符到参与聊天会议的其他用户。在一些具体实施例中，使用的聊天协议可以是具有特别程序功能的专用协议。

在所描述的具体实施例中，当触觉功能程序与聊天程序相连用于处理触觉信息的输出时，聊天客户程序处理所有的标准聊天连接。例如，聊天界面100可以作为网络页面，在网络浏览器程序中被显示，该网络浏览器程序为，例如微软公司出品的WEB浏览器InternetExplorer或者Netscape公司出品的WEB浏览器Navigator。例如，在一种实现例中，Internet Explorer WEB浏览器使用微软公司提供的MS聊天ActiveX控制，它能够实现与IRC服务器通信和网络协议必需的所有功能。这可以是如图2中所示的聊天客户部分76。ActiveX控制能生成事件，例如当接收消息数据时，允许其他程序作用于这些事件。触觉控制部分78能与ActiveX控制一起运行，并能接收从控制部分发出的事件。当事件产生时，触觉控制部分能检查用于特殊的触觉命令或消息的输入，如果适合则生成使得用户产生触觉的命令。

可选择地，聊天界面100能作为一个单独的应用程序，一个其他程序或者操作系统的功能部分，一个Java程序或者其他的通过万维网或者互联网执行的程序，或者其他的方式被执行。通过万维网在网络页面上用于力反馈的类似实施例在U.S.专利NO.6,161,126中已经具体描述了。例如，在一种实施例中，触觉聊天界面可以是一个诸如美国在线服务公司提供的ICQ或者AOL即时消息者的“即时消息”程序的一部分，其见用户使用文本聊天，互相发送文件，采用游戏程序互相 连接等。在不同的实施例中，总是在客户机上运行的后台应用程序，如果任何输入信息均为触觉信息，则检查被发送和/或接收的所有输入信息，例如，正像下文所述的那样，如果任何输入有围绕文本字符的括号。这样，使用标准聊天界面程序用于执行聊天功能。如果这样的后台应用程序被使用，则特别的应用程序(例如聊天程序和远程消息程序)能够被用户指定并被后台应用程序监控，使得监控程序忽略与触觉通信无关的其他程序的输入和输出。在基于图形对象的位置或者类型的图形用户界面中，监视指针位置和应用的后台应用程序也能够被用在本发明的聊天界面中。

在其他的实施例中，界面100能通过用户导航和操作描绘出一个2-D或者3-D的图形环境。例如，在一个通过互联网或者其他的网络(例如，使用VRML协议)实现的虚拟或者游戏环境中，消息可以被发送给其它的3-D字符或者具体化，并将信息的触觉成分供给接收者。

界面100包括信息区域102，聊天窗口104，用户列表窗口106，效果窗口108。信息区域102允许用户指定连接和命名选择。在服务器名称区域112允许用户指定用于连接的特定的服务器。例如，所述的设备允许用户连接到IRC服务器。可选择地，如果聊天界面提供了这种功能，可以直接连接到其他客户机的客户名，昵称区域116允许用户指定一个在聊天中使用的名字。房间名区域114允许用户指定一个“聊天室”或者在指定的服务器一个专门区域，在那里可以进行只允许被指定在一个聊天室在聊天会议中彼此通信的用户聊天。“离开”按钮118，当用户选择这个按钮(例如，利用键盘或者鼠标指针)时，使用户离开所有的用户当前参与的聊天会议。属性120允许用户指定当触觉效果被其他的用户接受时感觉与窗口108的效果关联的触觉，和/或当信息被接收时听到与触觉消息关联的声音(或者，在某些具体实施例中，当用户发送触觉或者声音效果时，允许用户以接收方将感受到的形式感受到或者听到这些消息)。图标属性122允许用户指定是否用户感到与从其他用户接收的“图标”(感情)相关的触觉信息和/或声 音效果，例如，在本发明中使用的有触觉和听觉内容的消息，每个消息由单独的指令或者图标代表。例如，如果选择了属性122，笑图标(“：)”)在接收时使得一个预定的力信息和声音被发送到用户。因此用户能够选择他或者她是否想感受到在聊天界面100接收的图标信息的触觉和/或听觉内容。

聊天窗口104显示被用户敲入(或者使用其他输入方法)的文本消息，以及在聊天会议中当前连接到用户计算机的其他用户发送来的信息。用户能在文本输入区域126敲入文字消息，通过选择按钮128将信息发送到聊天会议的所有用户，或者通过选择按钮130仅与在窗口106中选择的用户进行“悄悄话”。在其他的实施例中，聊天会议的每个用户可以在一个单独的窗口或者用户指定的界面100的其他区域里显示信息。用户列表窗口106显示当前在参加或者旁观(例如，在聊天室中，用户只希望进行旁观而不会发送他或者她自己的消息)的聊天室或者会议的所有用户。在聊天室中参与的用户能在聊天室中给其他用户发送消息，其中，这些消息在聊天窗口104上被显示。在一些实施例中，用户能选择一个或者多个在窗口106显示的用户，向那些用户发出呼叫，和/或直接给那些用户发送消息。在优选的实施例中，用户能选择一个或者更多的名字，向选择的用户发送触觉信息。

效果列表108提供多个作为触觉消息被发送到在用户列表窗口106选择的指定用户(或者如果在列表106没有选择则发送给所有用户)的力效果。在列表108的每一效果也有一个或者多个当触觉信息被发送时，与接收方客户机相关联的声音。效果列表108优选地包括所有用户能发送的触觉信息，包括所有的自定义或者新近下载的消息。该消息仅发送到被选择的用户，以至于不向其他没有被选择的用户发送消息。在列表108中的每个名字代表一个与列表108中的名字或者标志相关联的特定的触觉。为了发送一个触觉消息，用户可以使用显示的光标或者使用其他的选择方法(键盘，等)在列表108选择其中一种效果。优选地，正像以下图3b中详细描述的，调出一个菜单以允许 用户用选择的效果执行不同的功能。优选地，如果列表108包括太多的条目而不能一次显示，则能被滚动或者其它的导航操作来选择。

图3b示出图3a的被显示的界面100，其中，用户已经在列表108中选择了其中一种效果并显示菜单140。例如，用户使用鼠标或者其他的定点设备，移动光标到希望的效果，按下专门的鼠标按钮，引出菜单140。菜单140包括多个选项，包含发送命令142，密谈命令144，播放命令146，组成新效果命令148，和输入效果命令150。用户可以选择这些命令的任何一个。

图3b的界面100中示出选择了发送命令142。这条指令将使得在列表108中所选择的效果被发送到参加聊天的所有用户，也就是，在聊天室的用户。例如，在图3b.中选择的“laugh”效果被发送到聊天会议的所有参与者。在具体的实施例中，通过由其他文字字符作为触觉命令指定或者分隔的文字字符来实现。例如，由括号包围的字符<and>作为触觉命令被界面100的触觉控制部分翻译。这样，当“laugh”效果使用菜单140被发送时，命令<laugh>被发送到其他的客户。优选地，命令标志通常用一种自然语言表示与之有关联的触觉，例如，命令“slap”表示高幅度的摇晃，而命令“wink”可以表示低幅度的感觉。

接收方用户接收机的触觉控制部分检测接收的命令，并输出相同名字的力感觉到触觉设备。这样，例如，当效果”pat”被选择(或者命令<pat>被输入)，相关的触觉消息被发送到其他的聊天用户。接收用户随后通过接收方正在使用的触觉反馈界面设备感受到触觉消息。该触觉消息是例如脉动、振动、摇晃等或者多个触觉的组合由接收用户的触觉界面设备作为触觉输出发送到接收用户。优选地，在列表108中的每一效果有一个适合于与名字相关的触觉的名字或者标志。例如“pat”效果优选地向接收用户触觉设备的手柄或者其他的用户对象提供一种触觉信息，实现一个小的平稳的摇晃，类似轻拍手。“giggle”效果能提供一种低频率的振动，“slap”效果提供一种强烈的，高幅度 的摇晃，“smile”效果提供一种慢的左右运动等。

同时，预定义声音效果也优选地与发送的消息有关，以更有效地传达消息，即使这样的声音不需要在其他的实施例中使用。声音效果与触觉信息的触觉特征同步。例如，消息“slap”能提供单个触觉摇晃和声音效果，而信息“slap-slap”能提供两个连续的摇晃，每个摇晃与一个相应的拍击声音效果同步。声音文件(可以使一个标准的格式，例如，.wav)能在接收客户机上与触觉命令相连，这个声音文件随着力感觉的输出被同时播放。在其他的实施例中，其他类型的媒体数据能代替声音效果或者不包括声音效果和触觉效果同步输出。例如，动画或者静态的图形或者图象能够随着触觉效果和声音效果的输出，在显示屏幕上被显示。这些不同类型的数据能够类似上面所述的声音文件，以文件的形式被存储。

聊天用户也可以优选地通过直接使用键盘在聊天窗口输入文字命令(或者用其他的输入设备输入命令)发送触觉信息，而不是在列表108中选择效果。例如，用户简单输入“<slapslap>”，使得相应的触觉信息被发送。此外，预定义的“情感(emotions)”可以被定义成与触觉和声音效果相关，并作为触觉命令被发送。例如，笑感情，“：)”，当输入到输入区域126并被发送到其他用户，导致与从效果108中选择的“smile”效果相同的触觉，或者，导致唯一相关的触觉被发送到接收方。情感的其他例子包括“：(”(皱眉头)，“；)”(眨眼)，和“：o”(惊讶)。在一些具体实施例中，为了作为触觉信息被使用，将这些情感被放置在括号中间，以指示他们是触觉命令。其他的实施例能自动翻译这样的情感作为命令，而不需要括号或者其他的命令字符或者分隔符。优选地，情感可以被用户在专门的列表中进行预定义，其中，每个情感可以像下文描述的自定义效果那样，与触觉效果和声音效果相关。

在具体实施例中，作为触觉信息发送到接收客户的命令也作为消 息中的文本字符在接收方的聊天窗口104(以及如果要求的话，在发送者的窗口104)上显示。这样，“smile”触觉消息124在图3b中被显示，使得触觉信息以及相关的声音在接收客户机上被输出。显示的消息124真实地显示给用户，指出触觉消息已经被发送。

在一些实施例中，用户能全部同时地发送正常的文本信息和触觉效果以及声音效果。例如，用户在区域126输入消息，在菜单140选择选项(未示出)，诸如，“和文本消息发送”，使得选择的触觉效果(以及关联的声音效果)和区域126的文字信息同时发送到接收方的用户。这样，作为参考，这里的“触觉信息”包括触觉效果以及声音效果，文本消息，和/或其他的内容。

当选择在菜单140的密谈命令144时，导致从列表108被选择的触觉效果仅发送到在窗口106中选择的那些用户，但是，与发送命令142不同。播放命令146允许选择的触觉效果以及与他们相关的声音在用户自己的用户机上被输出，使得用户能检查接收用户将感受到怎样的触觉信息。

发送到接收方客户机的实际的触觉消息内容在不同的实施例中可以变化。在所述的实施例中，来自列表108的可用触觉消息对于使用相同界面100聊天的所有用户是一样的。这样，在触觉消息中需要被发送到其他用户的唯一信息是作为消息被发送的指出触觉信息类型高级命令，例如，上文所述的被括号围绕的效果的文字标志，或者一些其他类型的命令。这允许接收方客户机的聊天界面接收作为标准文本字符或者其他标准化数据的命令，并且允许接收客户机的触觉控制部分知道那种触觉将被输出。值得注意的是，在一些实施例中，触觉消息可以发送而不需要客户知道这是一个触觉消息。例如，如上面所解释的，不需要其他特别字符的情感能被在聊天会议中的非力反馈标准客户作为文本信息发送，而且情感也可被接收客户认为是一种触觉消息，使得与情感相关的触觉信息根据接收方而被输出。这样，这种实 现可以被认为是一种仅在接收客户实现的“普通”触觉效果。

在其他的实施例中，更多复杂的触觉消息可以被发送或者显示。例如，触觉消息可以包括力信息内容和/或被发送到接收用户的客户机并指示接收用户的触觉设备输出触觉的其他命令。这允许先前没有在界面100中定义的自定义触觉能够被发送。该力信息可以以几个不同的形式来提供。例如，力信息可以作为指出触觉信息的标准类型的高级命令被发送，其中，设想所有的接收用户在他们的计算机系统上都有一个触觉标准库，在该系统中可引用高级命令。在一些实施例中，可以发送另外的信息，诸如，一个或者多个表现被命令的触觉的命令参数，例如，感觉持续时间，频率，幅度，方向，按钮参数，上升时间，延迟时间，模拟质量或位置等。然而在其他实施例中，描述和定义实际触觉的数据可以被发送，例如，一系列的力幅度和方向。或者，发送能下载或者检索触觉数据的网络地址(或者其他位置)。许多这样的方法都允许发送接收用户没有的完全自定义的触觉信息。例如，首先发送自定义触觉，用于实现触觉的所有数据也被发送。当在随后的时间触觉信息被发送成功后，不再发送任何描述数据，由于触觉描述数据已经进入并被存储在接收方的计算机系统中。这样，由于发送数据的数据量大，描述数据的发送显然更适合在高速，宽带网络和连接上进行。

自定义触觉效果和声音效果也可以由用户组成。例如，如果用户从菜单140中选择组成新效果命令148，优选地，用户访问用户界面以生成效果。这样的用户界面的一个举例在图3c中示出。当用户选择命令148时，显示一个对话框160。用户可以输入信息到对话框区域，用来定义一个自定义触觉效果和声音效果。例如，在区域162可以指定触觉消息的名字和标志，在区域164可以指定与标志相关的触觉效果的位置的网络地址或本地地址(在那儿，数据可以以标准格式的文件形式来组织，例如，“.IFR”文件)，在区域164的地址的触觉效果文件的名字可以在区域166指定，且在区域168能指定声音数据(例如， 一个声音文件)的互联网或本地地址。一旦用户输入这些数据，并产生一个新的触觉效果消息，区域162的名字就显示在聊天界面100的列表108中，可以与其他列出的效果类似地被选择。

在一些具体实施例中，将标准化库和自定义触觉效果和声音效果存储在广泛分布网络的网络服务器上，例如互联网，接收用户能接入并下载必要的数据来体验接收的触觉消息。在具体实施例中，通过本发明的聊天程序的触觉控制部分可以接入网络服务器80(图2示出)(例如通过使用URL地址或CGI(公共网关界面)过程程序)，下载所需的触觉效果和/或数据，以及声音数据。例如，发送用户可在他或她自己的客户机上使用图3c的界面生成一个自定义触觉效果。在效果生成时，或当生成的用户进入一个聊天室，或如果/当用户如此选择，自定义触觉效果被上传至网络服务器80以存储，使得其他用户通过接入网络可以使用。当进入聊天室或当自定义效果已经下载之后，不同客户机的其它用户能从网络服务器80自动下载自定义触觉效果，或当该客户机的用户如此选择时，能下载自定义效果。例如，进入聊天室后，每个客户机上的聊天界面检查聊天会议所需的触觉效果；这可以通过在网络服务器上保持一个持续更新的效果的“聊天室列表”来完成，网络服务器包括在聊天室中任一客户可以用来发送的所有效果。特定的聊天界面能根据输入聊天会议的条目检查列表，然后下载当前没有存储在客户机上的列表中的效果。可选择地，当参照自定义效果的触觉信息被发送到客户机时，接收客户机可以在接收触觉信息时下载效果数据。

聊天界面100(或者其他的部分程序或网络页面)可以包括这些特点，允许用户能连接到服务器，该服务器列出从多个其他用户已选择的自定义触觉，使得可使用他们的感觉，并且允许用户能连接到各种各样的其他用户客户机或者服务器，以下载被选择的触觉文件和数据。例如，如果用户选择菜单148的输入效果命令150，用户可优选地输入多个可用效果的任何一个。允许这样选择的界面的例子在图3d中示出。 窗口170示出存储在服务器上包括多个可用效果的分类或者子分类172的网络服务器(或者其他服务器)上的库列表。在每一个分类或者子分类172中，列出存储在服务器上的多个效果174。显示界面100的客户机上目前没有存储的效果可以这样被指定或标记。用户可以选择效果174，然后选择检索按钮176，以下载选择的效果到本地客户机。用户也可以选择播放按钮178，以播放选择的效果，检索的效果174，允许用户感受效果感觉如何。如果用户选择输入按钮180，将选择的效果添加并显示在效果列表108中(如需要可下载)，并被用户作为触觉信息发送，以及当用户接收到包括触觉效果的触觉信息时播放。任何与检索到的触觉效果相关联的声音效果也可以优选地被下载。

效果可以在服务器上按照一定数量的不同的标准进行分类。例如，触觉消息组可以按照消息类型，消息情感，消息强度等被显示和组织。例如，“悲哀消息”种类包括所有这样情感状态的触觉消息，“浪漫”组可以包括传达适当亲密，个人的信息的触觉信息。

在另一个实施例中，聊天界面可以是通过计算机网络60允许语音通信或者通话的语音通信程序的一部分。语音通信特点可以在诸如DirectX的现有的应用程序或者应用编程界面中找到。例如，当与接收用户通话时，发送用户可选择一个类似列表108中效果的信息效果，结合语音消息或者不依赖于任何的语音，向接收用户提供一个触觉。触觉消息也可以基于语音消息的生成或者内容被选择性地发送到接收用户。例如，每当说出一个单字，触觉信息就被发送。如果在客户机上执行语音识别(例如，使用标准的语音识别软件)，触觉消息可基于实际语音消息内容的软件翻译。这样，如果用户对另一个用户说，“我恨你”，一个“拍打”或者“拳打”的消息可以被自动的和语音信息一起或者在语音消息之后发送，以提供适当的触觉。

触觉信息可以是“通用”，也就是说，触觉输出可以在接收机上根据用户爱好而产生，其中，用户可以将期望的触觉与在适当的界面 接收到的特殊命令联系在一起。可选择地，触觉信息可进行“创作”，发送用户通过指定标准触觉或者提供执行自写触觉信息的必要数据，定义触觉在消息内如何被感觉。这样的通用和自创作的实现与在US专利NO.6,161,126中描述的通过网络发送通用和自创作的力效果的设备类似。

在另一个具体实施例中，触觉可以基于作为在聊天会议中被其他客户机输出的聊天信息输入和传送的语音。在这样一个实施例中，在一个接收客户机上运行一个程序，它分析接入的音频语音数据，并根据语音数据命令触觉。例如，在一个简单的实施例中，将代表语音数据的波形转换为基于这种波形的触觉，其中，波形中的每一(或者选择的)峰值可以导致在触觉设备上脉动或者摇晃的输出，且波形中反复的峰值可以振荡。波形的其他特征可以被设定为其他的触觉效果。例如，预定数量的振幅的跳动可引起摇晃或者脉动，或者摇晃的幅度可以与波形振幅成比例。

在更多复杂的具体实施例中，接收消息的语音波形可以被分析成表示语音聊天消息的情感内容的预定的特殊字符，以及然后将与情感内容相配的触觉发送到用户。例如，发送用户的笑可一个在发送波形中加入区别字符，例如，高频率，高振幅振动。如果检测到这样的笑，可以输出诸如鼠标的振动或者摆动(或者其他用户可操作装置)。发送用户的呼叫可以以从低振幅到高振幅的快速转换的波形来呈现，且相关的触觉可以是快速，高频振动或者脉动。发送用户的叹息可以用长、低频、低量、一致间距或幅度的波形来表示，与之相关联的在触觉设备上产生用户对象的温和的，循环动作和低频率振动。在接收的波形中可以类似地分析出其他的情感或者固有的消息，并基于分析结果输出适当的触觉。

图4示出与图3a示出的聊天界面100类似，略微不同的具体实施例的聊天界面100’。界面100’不同于界面100，区别在于提供了几个触 觉消息按钮代替效果列表108。使用触觉消息按钮210来发送触觉和听觉消息到在用户列表窗口106中选择的特定用户。消息仅被发送到在窗口106中选择的用户。类似于上面所述的列表108中列出的效果，每个按钮210代表一个与按钮名字相关联的特定的触觉。为了发送触觉消息，用户使用显示的光标或和使用其它的一些选择方法(键盘，语音，等)只选择按钮210的其中之一。这样，当选择了按钮“轻拍”，则相关联的触觉信息被发送到选择的用户。然后选择的用户通过选择用户正在使用的触觉反馈界面设备感受到触觉信息。通常，触觉消息按钮212与密谈按钮210相似，除了将按钮标志指定的触觉消息发送到聊天会议的所有用户，而不是选择的用户。

本发明按照几种优选的实施例进行了详细描述，可以预料到，本领域技术人员通过阅读说明书和研究附图可以对其进行改动，置换和等价物替换。例如，许多不同的应用程序能使用本发明的消息功能，包括游戏程序，虚拟现实程序和环境，用于商业会议的电话会议应用，通过计算机网络或者其他通信信道的电话类型的语音通信等。此外，为了描述清楚使用了某些术语，这些术语不局限于本发明。

Claims (18)

1.一种使用文本消息和触觉反馈通过网络进行聊天的方法，包括：

从聊天界面接收用户指定的力信息，所述用户指定的力信息表征触觉；

从所述聊天界面接收文本消息；

在触觉消息中包括所述用户指定的力信息和文本消息，所述用户指定的力信息被配置以当由客户机显示所述文本消息时，使所述触觉被输出；以及

传送所述触觉消息到网络。

2.如权利要求1所述的方法，其中，接收所述用户指定的力信息包括经由所述聊天界面接收所述用户指定的力信息。

3.如权利要求2所述的方法，其中，接收所述用户指定的力信息包括在所述聊天界面中接收选自多个触觉效果中的触觉效果并且所述用户指定的力信息与所选择的触觉效果相关。

4.如权利要求3所述的方法，其中，所述多个触觉效果由多个按钮来图表表示。

5.如权利要求1所述的方法，其中，所述用户指定的力信息包括围绕在括号内的文本。

6.如权利要求1所述的方法，其中，所述用户指定的力信息包括表情符号。

7.如权利要求1所述的方法，其中，所述用户指定的力信息包括力命令，该力命令被配置以指示与所述触觉消息的发送相关的所述触觉的输出。

8.如权利要求1所述的方法，其中，所述用户指定的力信息包括网络地址，该网络地址与存储触觉的库的网络位置相关。

9.如权利要求1所述的方法，其中，所述用户指定的力信息包括表征将要输出的所述触觉的数据。

10.如权利要求9所述的方法，其中，所述表征所述触觉的数据包括所述触觉的持续时间、频率、幅度、方向、上升时间或延迟时间中的至少一个。

11.如权利要求1所述的方法，进一步包括在所述触觉消息中包含声音信息，该声音信息被配置以当所述触觉消息被发送到所述客户机时使听觉效果被输出。

12.如权利要求1所述的方法，其中，所述用户指定的力信息包括与用户指定的图标属性相关的力信息。

13.一种使用文本消息和触觉反馈通过网络进行聊天的方法，包括：

从网络接收触觉消息，该触觉消息包括文本消息和用户指定的力信息，所述用户指定的力信息表征触觉；

从所述触觉消息提取所述用户指定的力信息；

显示所述文本消息；以及

产生与所述用户指定的力信息相关的第一信号，该第一信号被配置以使基于所述用户指定的力信息的触觉被输出。

14.如权利要求13所述的方法，进一步包括引导所述第一信号到触觉设备，所述第一信号被配置以使所述触觉设备输出与所述文本消息相关的触觉。

15.如权利要求13所述的方法，其中，所述用户指定的力信息包括围绕在括号内的文本。

16.如权利要求13所述的方法，其中，所述用户指定的力信息包括表情符号。

17.如权利要求13所述的方法，其中，所述用户指定的力信息包括表征将要输出的所述触觉的数据。

18.如权利要求17所述的方法，其中，所述表征所述触觉的数据包括所述触觉的持续时间、频率、幅度、方向、上升时间或延迟时间中的至少一个。

Images