CN100478923C - 用于并行多模通信会话持续的系统和方法 - Google Patents

用于并行多模通信会话持续的系统和方法 Download PDF

Info

Publication number
CN100478923C
CN100478923C CNB03804837XA CN03804837A CN100478923C CN 100478923 C CN100478923 C CN 100478923C CN B03804837X A CNB03804837X A CN B03804837XA CN 03804837 A CN03804837 A CN 03804837A CN 100478923 C CN100478923 C CN 100478923C
Authority
CN
China
Prior art keywords
session
multimode
user
parallel
user agent
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
CNB03804837XA
Other languages
English (en)
Other versions
CN1639696A (zh
Inventor
格列格·约翰逊
瑟那卡·巴拉苏里亚
詹姆士·费尔兰斯
杰罗姆·扬克
拉伊努·皮尔斯
大卫·丘卡
迪拉尼·加拉格达拉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Motorola Mobility LLC
Google Technology Holdings LLC
Original Assignee
Motorola Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Motorola Inc filed Critical Motorola Inc
Publication of CN1639696A publication Critical patent/CN1639696A/zh
Application granted granted Critical
Publication of CN100478923C publication Critical patent/CN100478923C/zh
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W80/00—Wireless network protocols or protocol adaptations to wireless operation
    • H04W80/08—Upper layer protocols
    • H04W80/10—Upper layer protocols adapted for application session management, e.g. SIP [Session Initiation Protocol]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/14—Session management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L69/00—Network arrangements, protocols or services independent of the application payload and not provided for in the other groups of this subclass
    • H04L69/14—Multichannel or multilink protocols

Abstract

一种方法(图6)和设备(600)，在没有会话条件下以每个用户为基础维护用户代理程序的并行多模会话状态信息(604)，这些用户代理程序被配置用于相同会话期间(700)的不同并行模式通信，并响应对并行多模会话状态信息(702)的访问，重新建立并行多模会话。

Description

用于并行多模通信会话持续的系统和方法
技术领域
本发明总的来说涉及通信系统和方法，更具体的，涉及多模通信的系统和方法。
技术背景
涉及例如手持装置、移动电话、膝上型电脑、PDA、互联网设备、非移动装置以及其他适当装置等通信装置的新兴技术领域是，用于获得信息和服务的多模交互应用。典型地，驻留在通信装置上的是至少一个用户代理程序，例如浏览器或其他任何用作用户接口的适当软件。用户代理程序可响应提取请求(由用户经用户代理程序输入或来自另一装置或软件应用)，接收提取的信息，经内部或外部连接在内容服务器中导航，并呈现信息给用户。用户代理程序可以是图形浏览器，语音浏览器或如本领域普通技术人员可识别的任何其他适当的用户代理程序。此种用户代理程序可包括(但不限于)J2ME应用程序、NetscapeTM、Internet ExplorerTM、java应用程序、WAP浏览器、即时消息传递、多媒体接口、Windows CETM或任何其他适当的软件实现。
多模技术允许用户通过一种模式经用户代理程序获取例如语音、数据、视频、音频或其他信息等信息，以及例如电子邮件、天气更新、银行交易和新闻或其他信息等服务，并通过另一种不同模式接收信息。更具体的，用户可以一种或多种模式提交信息提取请求，例如对麦克风说出提取请求，然后用户可以用相同模式(即语音)接收提取的信息，或用不同模式接收提取的信息，例如通过图形浏览器，它在显示屏幕上以可视方式呈现返回的信息。在该通信装置内，用户代理程序以和标准Web浏览器或其他驻留在连接到网络或其他终端装置上的装置中的适当软件程序相似的方式运行。
同样的，建议可允许用户使用一个或多个用户输入和输出接口的多模通信系统，从而在通信期间促进多种模式的通信。用户代理程序可位于不同装置上，例如，网络元件，诸如语音网关可能包括语音浏览器；例如手持装置可包括图形浏览器，诸如WAP浏览器；或其他适当的基于文本的用户代理程序。因此，由于多模性能，用户可以以一种模式输入，而以不同模式接收返回的信息。
已经建议试图提供两种不同模式用户输入的系统，例如以语音模式输入某些信息而通过触觉或图形接口输入其他信息。一种建议提议使用串行异步方法，该方法需要例如用户首先输入语音，然后在语音输入完成之后发送短消息。此种系统中的用户在同一通信期间可能必须手动切换模式。因此，这一建议很麻烦。
另一建议的系统使用单个用户代理程序，并在现有HTML页面中标示语言标签，从而用户可以例如使用语音定位到Web页，而非打出搜索词，然后该相同的HTML页面允许用户输入文本信息。例如，用户可以说出词“城市”，并打入地址，以从内容服务器获得可视地图信息。然而，此种建议的方法通常强制将具有不同模式的多模式输入输入到一个装置上的相同的用户代理程序(通过相同浏览器输入)内。因此，通常在相同HTML形式中输入语音和文本信息，并通过相同用户代理程序处理语音和文本信息。然而该建议需要使用运行在单个装置上的单个用户代理程序。
因此，对于较简单的装置，例如具有有限处理能力和存储容量的移动装置，复杂的浏览器会降低装置性能。同样，这样的系统不能促进通过不同用户代理程序的并行多模信息输入。此外，期望在多个装置上提供并行多模输入，从而允许在不同应用程序或不同装置中的分布式处理。
另一个建议提议使用多模网关和多模代理，其中多模代理提取内容并输出该内容到通信装置中的用户代理程序(例如浏览器)和例如在网络元件中的语音浏览器，从而该系统允许某装置的语音和文本输出。然而，此方法看来不允许用户在不同模式中通过不同应用程序的并行信息输入，因为该建议也是单个用户代理方案，要求输出不同模式的提取信息到单个用户代理程序或浏览器。
通信会话管理技术是已知的，它允许恢复先前终止的通信会话。例如，对于使用语音XML形式的系统，如果用户退出使用此形式，在服务器内维护该形式的状态，从而用户可以，例如通过浏览器重新连接到Web应用程序，然后Web应用程序会定位用户的先前会话信息，并在用户终止该会话时退出的先前状态重新建立和用户的会话。然而，此种技术通常只为一个模式提供会话持续。此外，这样的系统通常在使用单个用户代理程序的会话期间为用户提供会话持续。
因此，需要一种用于并行多模通信的会话持续方法和设备。
附图说明
在附图中为示范目的而非限制目的显示本发明，其中相同参考标记表示相同元件，其中：
图1是显示根据本发明一个实施例的多模通信系统的例子的框图；
图2是显示根据本发明一个实施例的用于多模通信的方法的例子的流程图；
图3是显示根据本发明一个实施例的用于多模通信的方法的例子的流程图；
图4是显示根据本发明一个实施例的用于混合接收的并行多模输入信息的方法的例子的流程图；
图5是显示根据本发明实施例的多模网络元件的例子的框图；
图6是显示根据本发明一个实施例的用于保持多模通信连续性的方法的例子的流程图；
图7是显示图6所示的流程图一部分的流程图；以及
图8是显示根据本发明一个实施例的并行多模通信状态存储器内容的例子的框图。
优选实施例详细说明
简要的，多模网络元件通过一个或多个装置上不同的用户代理程序促进并行多模通信会话。例如，以语音模式通信的用户代理程序，例如包括语音引擎和呼叫/会话终端的语音网关内的语音浏览器，和另一运行在不同模式的用户代理程序，例如移动装置上的图形浏览器同步。在通信期间，多个用户代理程序可操作的和内容服务器相连，从而允许并行多模交互。
多模网络元件，例如，获得用于相互之间运行在不同模式的多个用户代理程序的模式特有指令，例如通过获得和不同模式相关的不同的标记语言形式，例如和文本模式相关的HTML形式以及和语音模式相关的语音XML形式。多模网络元件在通信期间根据获得的模式特有指令，为用户同步来自多个用户代理程序的输出。例如，语音浏览器被同步输出音频到一个装置上，而图形浏览器被同步并行输出显示到相同或不同装置的屏幕上，从而允许用户通过一个或多个用户代理程序输入。在用户通过多个运行在不同模式的用户代理程序输入输入信息的情况中，一种方法和设备响应并行不同多模信息的请求，混合或链接接收到的并行多模输入信息，该信息由用户输入并从多个用户代理程序发送。这样，通过不同的用户代理程序促进了并行多模输入，从而在并行多模会话期间可以使用多个装置或其他装置，或采用多种用户代理程序的一个装置。由多模网络元件指定不同的代理，从而和各个设定在不同模式的不同用户代理程序通信。
图1显示根据本发明一个实施例的多模通信系统10的例子。在此例子中，多模通信系统10包括通信装置12，多模混合服务器14，语音网关16以及内容源，例如Web服务器18。通信装置12可以是例如互联网设备，PDA，蜂窝电话，有线置顶盒，电信息通信单元，膝上型计算机，台式计算机或任何其他移动或非移动装置。根据期望的通信类型，通信装置12还可操作的和无线局域或广域网络20、WAP/数据网关22、短消息服务中心(SMSC/寻呼网络)24或任何其他适当的网络通信。类似的，多模混合服务器14可和任何适当装置、网络元件或包括互联网、内部网、多媒体服务器(MMS)26、即时消息传递服务器(IMS)28或任何其他适当网络的网络通信。因此，通信装置12经通信链路21、23和25与适当的网络进行有效通信。类似的，多模混合服务器14也适于经如27所指的通用通信链路链接到不同网络。在此例子中，语音网关16包含通用语音网关功能，包括(但不限于)语音识别引擎、手写体识别引擎、面部识别引擎、通话控制、用户规定算法以及如所期望的操作和维护控制器。在此例子中，通信装置12包括用户代理程序30，例如WAP浏览器形式的视觉浏览器(例如图形浏览器)、手势识别、触觉识别或任何其他适当的浏览器，还包括例如电话电路，该电话电路包括麦克风和扬声器，如电话电路32所示。还可以使用其它适当结构。
语音网关16包括其他用户代理程序34，例如语音浏览器，以适于由电话电路32的扬声器输出的形式输出音频信息。然而，应当认识到，扬声器可位于不是通信装置12的不同装置上，例如寻呼机或其他PDA，从而输出音频到一个装置，而在另一装置上提供经用户代理程序30的视觉浏览器。还应当认识到，虽然用户代理程序34出现在语音网关16内，通信装置12(如语音浏览器36所示)或其他适当装置也可包含用户代理程序34。为了如在此所述的提供并行多模通信，多个用户代理程序，即用户代理程序30和用户代理程序34，在给定会话中以相互不同的模式操作。从而，用户通过签约公开的服务并在模式首选数据库36内预置模式首选项，能预先规定各用户代理程序的模式，数据库36可通过Web服务器18或任何其他服务器(包括MFS14)访问。同样，如果期望，用户可以在会话期间选择或改变给定的用户代理程序的模式，如本领域中已知的。
并行多模同步协调器42可包括在通信期间临时存储用于多个用户代理程序之一的模式特有指令的缓冲存储器，补偿和用于其他用户代理程序的模式特有指令相关的通信延迟。因此，例如，如果需要，同步协调器42可以考虑系统延迟或其他延迟，等待并输出模式特有指令到代理，从而将它们并行呈现在不同用户代理程序上。
同样，如果期望，用户代理程序30可提供输入接口，以使用户屏蔽某些多模式。例如，如果某个装置或用户代理程序允许多模式操作，用户可以指示在特定期间屏蔽某个模式。例如，如果该用户的输出模式是语音，但用户所处环境嘈杂，例如用户可以关闭到其语音浏览器的输出。从用户接收的多模屏蔽数据可由多模混合服务器14存储在例如存储器602(参见图5)中，指示在给定会话期间屏蔽哪些模式。同步协调器42然后避免获得那些被标识为屏蔽的模式的模式特有指令。
信息提取器46从多模应用程序54获得用于多个用户代理程序30和34的模式特有指令69。模式特有指令68和70被发送到用户代理程序30和34。在此实施例中，多模应用程序54包括识别模式特有指令的数据，这些指令和不同的用户代理程序，并因此和如下所述不同的模式相关。并行多模同步协调器42可操作的连接到信息提取器46，用于接收模式特有指令。并行多模同步协调器42还可操作的连接到多个代理38a-38n，从而指定给定会话所需的代理。
在不同的用户代理程序30和34在不同装置上时，本方法包括通过发送第一基于模式的标记语言形式到一个装置来发送并行多模输入信息68，70请求，并发送基于第二模式标记语言的形式到一个或多个其他装置，来请求在同一通信中来自不同装置的不同模式的用户并行信息输入。这些基于标记语言的形式作为模式特有指令68，70而获得。
多模会话控制器40用于利用装置上的会话控制算法检测输入会话、应答会话、修改会话参数、终止会话及交换会话和媒体信息。如果期望，多模会话控制器40可以是会话的主会话端接点，或如果例如用户希望建立和例如语音网关的另一网关的会话，它可以是次会话端接点，语音网关反过来会建立和多模会话控制器40的会话。
同步协调器发送输出同步消息47和49到各个代理38a和38n，以有效同步它们到各个多个用户代理程序的输出，该同步消息包括并行多模输入信息请求。代理38a和38n发送包含接收的多模输入信息72和74的输入同步消息51和53到并行同步协调器42。
并行多模同步协调器42使用代理或当用户代理程序有此性能时使用用户代理程序发送并接收同步消息47，49，51和53。当代理38a和38n接收来自不同用户代理程序的已接收多模输入信息72和74时，这些代理发送包含已接收多模输入信息72和74的输入同步消息51和53到同步协调器42。同步协调器42前传接收的信息到多模混合引擎44。同样，如果用户代理程序34发送同步消息给多模同步协调器42，多模同步协调器42会发送该同步消息到会话中的另一用户代理程序30。并行多模同步协调器42还执行消息转换、同步消息滤波，从而使同步系统更加有效。并行多模同步协调器42可以维护在给定会话中正使用的当前用户代理程序列表，从而当需要同步时，跟踪那些需要被通知的用户代理程序。
多模混合服务器14包括多个多模代理38a-38n、多模会话控制器40、并行多模同步协调器42、多模混合引擎44、信息(例如模式特有指令)提取器46以及语音XML解释器50。至少多模会话控制器40、并行多模同步协调器42、多模混合引擎44、信息提取器46以及多模标记语言(例如语音XML)解释器50可用运行一个或多个处理装置的软件模块实现。这样，当由一个或多个处理装置读取时，包含可执行指令的存储器使该一个或多个处理装置执行在此描述的关于各软件模块的功能。多模混合服务器14因此包括这些处理装置，上述装置可能包括(但不限于)数字信号处理器、微计算机、微处理器、状态机或任何其他适当的处理装置。存储器可以是ROM、RAM、分布式存储器、闪存任何其他可存储状态或其他数据的适当存储器，当由处理装置执行时，这些存储器可使一个或多个处理装置如在此所述的运行。可选的，软件模块的功能适于在硬件或如所期望的，在任何硬件、软件和固件的适当组合中实现。
多模标记语言解释器50可以是状态机，或其他适当硬件、软件、固件或任何它们的合适组合，此外还执行多模应用程序54提供的标记语言。
图2显示执行多模通信的，在此例子中由多模混合服务器14执行的方法。然而，应当认识到，在此描述的任何步骤都可以任何适当顺序或由任何适当装置或多个装置执行。对于当前的多模会话，用户代理程序30(例如WAP浏览器)发送请求52到Web服务器18，请求来自可由Web服务器18访问的并行多模应用程序54的内容。这可以通过例如输入URL或点击图标或使用任何其他通用机制实现。同样如虚线52所示，每个用户代理程序30和34都发送用户模式信息到标记解释器50。用作内容服务器的Web服务器18从模式首选数据库36中获得通信装置12的多模首选项55，之前通过到并行多模服务的用户预先处理填充该数据库。Web服务器18然后通过可能包含来自数据库36的用户首选项的通知56通知多模混合服务器14，指明例如在并行多模通信中正在使用哪些用户代理程序，以及每个用户代理程序都设定在什么模式。在此例子中，用户代理程序30被设定在文本模式，用户代理程序34被设定在语音模式。然后并行多模同步协调器42在会话期间确定，多个多模代理38a-38n中的哪些被用于各用户代理程序30和34。这样，并行多模同步协调器42将多模代理38a指定为文本代理，和设定为文本模式的用户代理程序30通信。类似的，并行多模同步协调器42将多模代理38n指定为传送用于运行在语音模式的用户代理程序34的语音信息的多模代理。如Web页面提取器46所示的信息提取器，从和并行多模应用程序54相连的Web服务器18获得模式特定指令，例如标记语言形式或其他的数据。
例如，在多模应用程序54请求用户输入语音模式和文本模式的信息时，信息提取器46获得经请求66输出到用户代理程序30的相关HTML标记语言形式和输出到用户代理程序34的相关语音XML形式。然后，由用户代理程序呈现这些模式特有指令(例如输出到屏幕或通过扬声器)作为输出。并行多模同步协调器42在会话期间根据模式特有指令同步来自多个用户代理程序30和34的输出。例如，并行多模同步协调器42会在适当时间发送代表不同模式的适当的标记语言形式到各个用户代理程序30和34，从而当在通信装置12上呈现语音时，它会和经用户代理程序30输出到屏幕上的文本同时呈现。例如，多模应用程序54以可听指令形式经用户代理程序34给用户提供关于期望经文本浏览器输入什么信息的指令，同时等待来自用户代理程序30的文本输入。例如，多模应用程序54可能需要“请在您期望离开时间之后输入您的期望目的城市”的语音输出，同时经用户代理程序30呈现输出到通信装置显示器上的字段，该字段指定“C”用于城市，“D”用于目的地。在此例子中，多模应用程序不需要用户的并行多模输入，仅需要通过一种模式，即文本模式的输入。另一模式被用于提供用户指令。
可选的，在多模应用程序54请求用户经多个用户代理程序输入输入信息时，多模混合引擎14混合会话期间并行输入到不同多模用户代理程序的用户输入。例如，当用户说出“从这里到那里的方向”而同时在可视地图上点击两个位置时，语音浏览器或用户代理程序34用“这里”填充开始位置字段，用“那里”填充目的位置字段作为已接收输入信息74，同时图形浏览器，即用户代理程序30，用地图上的第一点击点的地理位置(例如纬度/经度)填充开始位置字段，用地图上的第二点击点的地理位置(例如纬度/经度)填充目的位置字段。多模混合引擎44获得此信息，并混合用户输入的、来自多个运行在不同模式的用户代理程序的输入信息，并确定词“这里”对应第一点击点的地理位置，词“那里”对应第二点击点的地理位置(例如纬度/经度)。这样，多模混合引擎44具有用户命令的整套信息。多模混合引擎44可能希望将混合信息60回发到用户代理程序30和34，从而它们具有和并行多模通信相关的完整信息。此时，用户代理程序30能将此信息提交到内容服务器18以获得期望信息。
如方框200所示，对于会话，本方法包括获得用于多个运行在彼此不同的模式中的用户代理程序的模式特有指令68，70，例如通过获得各个多个用户代理程序的对各模式特有的不同类型的标记语言。如方框202所示，本方法包括在会话期间，根据模式特有指令同步输出，例如用户代理程序，以促进用户的同时多模操作。这样，同步了标记语言形式的呈现，从而来自多个用户代理程序的输出经多个用户代理程序以不同模式同时呈现。如方框203所示，并行多模同步协调器42确定用于不同用户代理程序30和34的模式特有指令68，70组是否请求用户经不同用户代理程序的不同模式的信息并行输入。如果否，如方框205所示，并行多模同步协调器42前传仅来自一个用户代理程序的任何接收的输入信息到目的服务器或Web服务器18。
然而，如方框204所示，如果用于不同用户代理程序30和34的模式特有指令68，70组请求以不同模式并行输入的用户输入，本方法包括混合用户输入的、用户代理程序30和34发送回的已接收并行多模输入信息，以产生和运行在不同模式的不同用户代理程序相关的混合多模响应60。如方框206所示，本方法包括前传混合的多模响应60到在标记语言解释器50内执行的当前应用程序61。当前执行的应用程序61(参见图5)是来自应用程序54的，作为解释器50一部分执行的标记语言。
参考图1和3，将说明多模通信系统10的更详细的操作。如方框300所示，通信装置12经用户代理程序30发送Web内容或其他信息的请求52。如方框302所示，内容服务器18从模式首选数据库36获得识别用户的多模首选项数据55，以获得用于会话的装置首选项和模式首选项。如方框304所示，本方法包括内容服务器通知多模混合服务器14，对于给定的并行不同多模通信会话，在哪个装置上以何种模式正运行哪个用户代理应用程序。
如前面提到的和方框306所示，建立并行多模同步协调器42，根据来自模式首选数据库36的模式首选项信息55确定用于各个不同模式的各个代理。如方框308所示，本方法包括，如果期望，经多模会话控制器40接收用于各个用户代理程序的用户模式指定。例如，用户可以改变期望模式，使之与存储在模式首选数据库36内的预设模式首选项55不同。这可以通过通用会话消息传递实现。如果用户改变了特定用户代理程序的期望模式，例如如果期望的用户代理程序在不同的装置上，可能需要不同的模式特有指令，例如不同的标记语言形式。如果用户模式指定改变，信息提取器46根据为用户代理应用程序选定的模式提取并请求适当的模式特有指令。
如方框310所示，然后信息提取器46为各个用户代理程序并因此为各个模式，从内容服务器18提取显示为提取请求66的模式特有指令。因此，多模混合服务器14经信息提取器46获得代表模式的标记语言，从而各用户代理程序30和34可以根据标记语言以不同模式输出信息。然而，应当认识到，多模混合服务器14还可获得任何适当的模式特有指令，而不仅仅是基于标记语言的信息。
当从内容服务器18为各用户代理程序提取模式特有指令并且没有和模式特有指令68，70相关的CMMT时，发送接收的模式特有指令69到代码转换器608(参见图5)。代码转换器608将接收的模式特有指令代码转换为解释器50可理解的基本标记语言形式，并用识别用于不同模式610的模式特有指令的数据创建基本标记语言形式。因此，代码转换器代码转换模式特有指令，以包括识别用于另一个运行在不同模式的用户代理程序的模式特有指令的数据。例如，如果解释器50使用例如语音XML的基本标记语言，并且如果来自应用程序54的一组模式特有指令是语音XML，而其余的则是HTML，代码转换器606将CMMT嵌入语音XML形式，识别可以获得HTML形式的URL，或识别真正的HTML形式自身。此外，如果基本标记语言中没有模式特有指令，将一组模式特有指令翻译到基本标记语言中，然后通过CMMT查询其他组模式特有指令。
可选的，多模应用程序54可以提供必需的CMMT信息以促进并行多模会话期间多个用户代理程序的输出同步。用于各用户代理程序的模式特有指令的一个例子在下面显示为标记语言形式。标记语言形式由多模应用程序54提供，并由多模混合服务器14使用以提供并行多模通信会话。多模语音XML解释器50假定多模应用程序54使用语音XML作为基本语言。为促进多个用户代理程序对于用户的输出同步，首先写多模应用程序54，以包括或编入并行多模标签(CMMT)，例如语音XML形式内的扩展名或到HTML形式的索引。CMMT识别模式并指向或包含诸如要由用户代理程序之一以所识别的模式输出的真实的HTML形式的信息。CMMT还用作多模同步数据，它的出现意味着需要同步不同用户代理程序的不同模式特有指令。
例如，如果语音XML是多模应用程序54的基本语言，CMMT可能表示文本模式。在此例子中，CMMT可包含URL，该URL包含用户代理程序要输出的HTML文本，或包含作为CMMT一部分的HTML。CMMT可具有标记语言属性扩展名的特性。多模语音XML解释器50使用信息提取器46提取模式特有指令，并分析(在此例子中是执行)提取的来自多模应用程序的模式特有指令以检测CMMT。一旦检测到，多模语音XML解释器50解释CMMT，并如果需要获得其他模式特有指令，例如用于文本模式的HTML。
例如，CMMT可能指示从哪里获得用于图形浏览器的文本信息。下面是显示用于并行多模路线应用程序的语音XML形式的模式特有指令的例子，该语音XML形式用于要求语音浏览器输出语音“从哪里来”以及“到哪里去”，同时图形浏览器显示“从城市”和“到城市”的并行多模应用程序。接收的由用户通过不同浏览器输入的并行多模信息通过指定字段“从城市”和“到城市”被期待。
表1
    <vxml version＝″2.0″>
      <form>
        <block>
          <cmmt mode＝″html″src＝″./itinerary.html″/>indicates the non-voice mode is
html(text)and that the source info is located at url itinerary.html
        </block>
        <field name＝″from_city″>expected-text piece of info.trying to collect through
graphical browser
       <grammar src＝″./city.xml″/>for voice need to list possible responses for speech
recog engine
       Where from？is the prompt that is spoken by voice browser
    </field>
    <field name＝″to_city″>text expecting
       <grammar src＝″./city.xml″/>
       Where to？Voice spoken by voice browser
    </field>
  </form>
</vxml>
因此，以上的标记语言形式用代表用于至少一个用户代理程序的模式特有指令的基本标记语言书写，CMMT是扩展名，指定用于另一个运行在不同模式的用户代理程序的模式特有指令。
如方框311所示，如果用户改变首选项，本方法包括重新设定代理以和该改变一致。如方框312所示，多模混合服务器14确定是否到达监听点。如果到达，进入如方框314所示的下一个状态。如果是，处理完成；如果否，本方法包括同步用于不同用户代理程序的模式特有指令。多模语音XML解释器50输出，在此例子中，用于用户代理程序30的HTML和用于用户代理程序34的语音XML到并行多模同步协调器42，用于多个用户代理程序的输出同步。这可以通过例如基于如上所述的监听点的出现而实现。这些在方框316中示出。
如方框318所示，本方法包括，例如由并行多模同步协调器42，发送同步模式特有指令68和70到对应的代理38a和38n，请求在相同会话期间由用户以不同模式的用户输入信息。同步请求68和70被发送到各用户代理程序30和34。例如，对应和不同用户代理程序相关的多个输入模式的并行不同模式输入信息的请求显示为包含模式特有指令68和70的同步请求。这些例如可以是同步标记语言形式。
一旦用户代理程序30和34并行实施模式特有指令，本方法包括确定在一段超时时间周期内是否接收到用户输入，如方框320所示，或是否发生另一事件。例如，多模混合引擎44可等待一段时间，以确定用户输入的多模输入信息是否从多个用户代理程序适当接收以用于混合。该等待时间根据各用户代理程序的模式设定可以是不同的时间周期。例如，如果期望用户并行输入语音和文本信息，但多模混合引擎在一段时间内不接收该用于混合的信息，它将假定发生错误。此外，多模混合引擎44还允许返回语音信息比返回文本信息花费更多时间，因为经语音网关16可能需要更长时间处理语音信息。
在此例子中，要求用户经用户代理程序30输入文本，同时对麦克风讲话，以提供语音信息到用户代理程序34。如从用户代理程序30和34接收的已接收并行多模输入信息72和74经适当的通信链路被传递到各个代理。应当注意到，以PCM格式或任何其他适当格式传送如76所指的在用户代理程序34和装置12的麦克风及扬声器之间的通信，在此例子中，不是以可由用户代理程序输出的模式特有指令格式。
如果用户通过文本浏览器和语音浏览器同时输入信息，从而多模混合引擎44接收从多个用户代理程序发送的并行多模输入信息，多模混合引擎44如方框322所示将从用户接收的输入信息72和74混合。
图4显示多模混合引擎44操作的一个例子。为说明起见，对于某个事件，“没有输入”意思是用户未经此模式输入。“不匹配”表示输入了一些东西，但它不是期望值。结果是用户成功输入后的一组时隙(或字段)名称以及对应值对。例如，成功输入可以是“城市＝芝加哥”以及“州＝伊利诺伊”以及“街道”＝“第一街”以及例如0％到100％的可信度加权因子。如上所述，多模混合引擎44是否混合信息取决于接收或期望接收时隙名称(例如可变的)和值对之间的时间量，或取决于接收其他事件。本方法假定给接收信息分配可信度级别。例如，根据模式和信息到达时间加权同步协调器可信度。例如，在同一会话期间(例如说出街道名称并打字输入)可通过不同模式输入同一时隙数据的情况下，假定打字输入的数据比说出的数据更准确。同步协调器基于接收时间和各个接收结果的可信度值组合接收的从多个用户代理程序之一发送来的多模输入信息，该发送是响应并行不同模式信息的请求。
如方框400所示，本方法包括确定是否存在来自非语音模式的事件或结果。如果是，如方框402所示，本方法包括确定是否存在来自除“没有输入”和“不匹配”事件之外的任何模式的任何事件。如果是，本方法包括返回接收的第一个这样的事件到解释器50，如方框404所示。然而，如果不存在来自用户代理程序的除“没有输入”和“不匹配”之外的事件，该处理包括，如方框406所示，对于发送用于多模混合引擎的两个或更多结果的任何模式，本方法包括按照接收的时间顺序组合该模式的结果。当用户对同一时隙输入重复输入时这可能是有用的。对于给定时隙名称的后面的值会覆盖先前的值。多模混合引擎根据构成模式的各个结果的可信度加权调整模式的结果可信度加权。对于各个模式，最后结果是对每个时隙名称的一个答案。本方法包括，如方框408所示，取得来自方框406的任何结果，并将其组合到用于所有模式的一个组合结果中。本方法包括从最低可信结果开始，进行到最高可信结果。混合结果中的每个时隙名称接收属于最可信输入结果的具有该时隙定义的时隙值。
如方框410所示，本方法包括确定现在是否有组合结果。换句话说，用户代理程序是否发送用于多模混合引擎44的结果。如果是，本方法包括如方框412所示，返回组合的结果到内容服务器18。如果没有，如方框414所示，意味着没有或存在更多“没有输入”或“不匹配”事件。本方法包括确定是否存在任何“不匹配”事件。如果有，本方法包括返回如方框416所示的没有匹配事件。然而，如果没有“不匹配”事件，本方法包括返回“没有输入”事件到解释器50，如方框418所示。
回到方框400，如果没有来自非语音模式的事件或结果，本方法包括确定语音模式是否返回结果，即用户代理程序34是否产生已接收信息74。这在方框420中显示。如果是，如方框422所示，本方法包括返回语音响应已接收输入信息到多模应用程序54。然而，如果语音浏览器(例如用户代理程序)不输出信息，本方法包括确定语音模式是否返回时间，如方框424所示。如果是，则如方框426所示，报告73该事件给多模应用程序54。如果没有产生语音模式事件，本方法包括返回“没有输入”事件，如方框428所示。
下面的表2显示应用到假定数据的图4方法的例子。
表2
VoiceModeCollectedData
街道名称＝密歇根
时间印记＝0
可信度级别＝.85
号码＝112
时间印记＝0
可信度级别＝.99
TextModeCollectedData
街道名称＝密歇根
时间印记＝0
可信度级别＝1.0
街道名称＝LaSalle
时间印记＝1
可信度级别＝1.0
例如，在方框400，如果没有接收到来自非语音模式的结果，本方法进行到方框402。在方框402，没有接收到任何事件，本方法进行到方框406。在方框406，混合引擎将TextModeCollectedData压缩到每个时隙的一个响应。Voice Mode Collected Data保持不动。
VoiceModeCollectedData
街道名称＝密歇根
时间印记＝0
可信度级别＝.85
号码＝112
时间印记＝0
可信度级别＝.99
全部可信度＝.85
语音模式保持不动。但是分配作为.85的全部可信度值.85是结果组中的最低可信度。
TextModeCollectedData
街道名称＝密歇根
时间印记＝0
可信度级别＝1.0
街道名称＝LaSalle
时间印记＝1
可信度级别＝1.0
文本模式从收集的数据中删去密歇根，因为在后面的时间印记中用LaSalle填满该时隙。最终结果像这样。被分配作为1.0的全部可信度值1.0是结果组中的最低可信度级别。
TextModeCollectedData
街道名称＝LaSalle
时间印记＝1
可信度级别＝1.0
全部可信度＝1.0
后面的是发送到方框408的数据。
VoiceModeCollectedData
街道名称＝密歇根
时间印记＝0
可信度级别＝.85
号码＝112
时间印记＝0
可信度级别＝.99
全部可信度＝.85
TextModeCollectedData
街道名称＝LaSalle
时间印记＝1
可信度级别＝1.0
全部可信度＝1.0
在方框408，两种模式被有效混合到单个返回结果中。
首先，取得最低可信度级别的全部结果并将其放入最终结果结构中。
最终结果
街道名称＝密歇根
可信度级别＝.85
号码＝112
可信度级别＝.99
然后，最终结果内的下一最低结果的任何元素都被替换。
最终结果
街道名称＝LaSalle
可信度级别＝1.0
号码＝112
可信度级别＝.99
该最终结果来自两种模式的混合，并被发送到解释器，解释器会决定下面做什么(从web提取更多信息或决定需要从用户获得更多信息，并根据当前状态重新提示它们。)
图5显示多模混合服务器14的另一实施例，它包括并行多模会话持续控制器600以及连接到并行多模会话持续控制器600的并行多模会话状态存储器602。并行多模模式会话持续控制器600可以是运行在适当处理装置上的软件模块，或可以是任何适当硬件、软件、固件或它们的适当组合。并行多模会话持续控制器600在无会话条件中根据每个用户，以数据库形式或其他适当数据结构维护并行多模会话状态信息604。并行多模会话状态信息604是会话过程中配置用于不同并行多模通信的多个用户代理程序的状态信息。并行多模会话持续控制器600响应访问并行多模会话状态信息604，重新建立先前结束的并行多模会话。多模会话控制器40通知并行多模会话持续控制器600用户何时加入会话。多模会话控制器40还和并行多模同步协调器通信，以和任何离线装置提供同步，或和任何必须重新建立并行多模会话的用户代理程序同步。
并行多模会话持续控制器600存储，例如，代理ID数据906，例如指示在先前并行多模通信会话期间用于给定模式的代理的URL。如果期望，并行多模会话状态存储器602还包括指示在先前并行多模通信会话期间用户输入填充了哪个字段或时隙以及任何这样的字段或时隙的内容。此外，并行多模会话状态存储器602可包括用于并行多模通信会话的当前对话状态606。某些状态包括解释器50在执行应用程序中的执行状态。由用户填充的字段内的信息可能是以混合输入信息60的形式。
如所示的，Web服务器18可提供用于各模式类型的模式特有指令。在此例子中，以HTML形式提供文本，以语音XML形式提供语音，还以WML形式提供语音。并行多模同步协调器42输出适当的形式到适当的代理。如所示的，语音XML形式通过指定用于语音浏览器的代理38a输出，而HTML形式输出到用于图形浏览器的代理38n。
如果会话异常中断，而用户稍后想回到相同的对话状态，则会话持续维护非常有用。对于具有不同延迟特性、造成不同模式中输入和输出之间的延迟时间并需要暂时存储信息以补偿该时间延迟的的情况，模式使用传送机制也非常有用。
如图6-7所示，并行多模会话持续控制器600维护在给定会话中对于给定用户的多个用户代理程序的多模会话状态信息，其中在会话期间，用户代理程序被配置用于不同的并行模式通信。这在方框700中显示。如方框702所示，本方法包括响应访问多模会话状态信息604，重新建立先前的并行多模会话。如方框704所示，更具体的，在并行多模会话期间，并行多模会话持续控制器600在存储器602内存储每个用户的多模会话状态信息604。如方框706所示，并行多模会话持续控制器600从会话控制器检测用户加入会话，并在存储器内搜索该用户ID，以确定该用户是否参与先前的并行多模会话。从而，如方框708所示，本方法包括根据用户加入会话的检测，访问存储器602内存储的多模会话状态信息604。
如方框710所示，本方法包括确定该会话是否在存储器604内存在。如果没有，则将该会话指定为新的会话，并创建新的项，以在存储器602内填充用于记录新会话的必要数据。这在方框712中显示。如方框714所示，如果会话存在，例如在存储器602中出现该会话ID，本方法包括查询存储器602，用户是否具有正运行的现有应用程序，如果是，用户是否希望重新建立和该应用程序的通信。如果用户期望，本方法包括从存储器602中检索上次提取的信息的URL。这显示在方框716中(图7)。如方框718所示，将对适当代理38a-38n给出如在方框716中检索的适当URL。如方框720所示，本方法包括根据存储在存储器602内的存储用户代理状态信息606，经代理发送请求到适当的用户代理程序。
图8是显示并行多模会话状态存储器602的内容的一个例子的框图。如图所示，用户ID900指定了特定用户，会话ID902在用户具有存储在存储器602内的多个会话的事件中，和该用户ID相关。此外，用户代理程序ID904表示，例如运行该特定用户代理程序的装置的装置ID。程序ID可以是用户程序识别符、URL或其他地址。代理ID数据906表示在先前并行多模通信期间使用的多模代理。这样，用户可以终止某个会话，稍后从用户停止的地方继续。
除此之外，维护装置ID904允许系统维护在并行多模会话期间采用的那些装置的识别符，以促进在并行多模通信期间用户的装置切换。
因此，通过不同模式经分布在一个或多个装置(或如果它们包含在相同装置中)上的各个用户代理程序输入的多个输入以统一和内聚方式混合。同样，也提供了同步用户代理程序的呈现和用户通过这些用户代理程序的信息输入的机制。此外，公开的多模混合服务器可连接到现有装置和网关，以提供并行多模通信会话。
应当理解，对于本领域普通技术人员，本发明不同方面的其他改变和修改是显而易见的，且本发明并不限于描述的特定实施例。例如，应当认识到，虽然用某些步骤描述了本方法，这些步骤可以如所期望的按照任何适当顺序执行。因此期望本发明覆盖落入在此公开和声明的根本原理的精神和范围内的任何和所有的修改、改变或等同。

Claims (9)

1.一种用于多模通信的方法，包括：
在没有会话条件下，以每个用户为基础，维护用户代理程序的并行多模会话状态信息，这些用户代理程序被配置用于会话期间的不同并行模式通信，以及
响应对并行多模会话状态信息的访问，重新建立并行多模会话。
2.如权利要求1的方法，其中，所述在没有会话条件下，以每个用户为基础，维护用户代理程序的并行多模会话状态信息，这些用户代理程序被配置用于会话期间的不同并行模式通信的步骤包括：在会话期间存储至少以下其中之一：
位置数据，指示上次提取信息是从哪里获得的，这些信息是用于在并行多模通信会话期间使用的用户代理程序的每一个；
关于在并行多模通信会话期间用户输入填充了其上的字段的信息以及该字段的内容；和
所述并行多模通信会话的当前对话状态。
3.如权利要求1的方法，包括步骤：
对用户加入会话进行检测；
访问并行多模通信会话状态信息；
如果访问的并行多模会话状态信息指示用户的先前并行多模会话，则重新建立由所述并行多模会话状态信息识别的并行多模会话。
4.如权利要求1的方法，包括对在并行多模会话期间采用的装置进行维护来促进并行多模通信期间的装置切换的步骤。
5.如权利要求1的方法，包括在会话期间暂时存储用于相互之间运行在不同模式中的多个用户代理程序中的至少之一的模式特有指令，以补偿与用于所述多个用户代理程序中的第二个的模式特有指令相关的通信延迟。
6.如权利要求1的方法，包括步骤：接收多模屏蔽数据，并存储对于给定会话屏蔽了多模通信的模式的记录。
7.一种多模设备，包括
并行多模会话持续控制器，用于在没有会话条件下，以每个用户为基础，可操作地维护用户代理程序的并行多模会话状态信息，以及响应对并行多模会话状态信息的访问，重新建立并行多模会话，所述用户代理程序被配置用于会话期间的不同并行模式通信；和
存储器，可操作地连接到所述并行多模会话持续控制器，其包含所述并行多模会话状态信息。
8.如权利要求7的多模设备，其中，所述存储器至少包含以下其中之一：
代理识别数据，指示在先前并行多模通信会话中使用的先前的代理；
在所述并行多模通信会话期间用户输入填充其字段的信息以及该字段的内容；和
用于所述并行多模通信会话的当前对话状态。
9.如权利要求7的多模设备，其中，所述并行多模会话持续控制器访问所述存储器内包含的并行多模会话状态信息，并如果所述访问的并行多模会话状态信息指示了用户的先前并行多模会话，则促进对所述并行多模会话状态信息识别的并行多模会话的重新建立。
CNB03804837XA 2002-02-27 2003-02-06 用于并行多模通信会话持续的系统和方法 Expired - Lifetime CN100478923C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US10/085,989 2002-02-27
US10/085,989 US6912581B2 (en) 2002-02-27 2002-02-27 System and method for concurrent multimodal communication session persistence

Publications (2)

Publication Number Publication Date
CN1639696A CN1639696A (zh) 2005-07-13
CN100478923C true CN100478923C (zh) 2009-04-15

Family

ID=27753768

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB03804837XA Expired - Lifetime CN100478923C (zh) 2002-02-27 2003-02-06 用于并行多模通信会话持续的系统和方法

Country Status (7)

Country Link
US (1) US6912581B2 (zh)
JP (2) JP4439920B2 (zh)
KR (1) KR100610286B1 (zh)
CN (1) CN100478923C (zh)
AU (1) AU2003209036A1 (zh)
FI (1) FI123321B (zh)
WO (1) WO2003073623A2 (zh)

Families Citing this family (147)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7881936B2 (en) * 1998-12-04 2011-02-01 Tegic Communications, Inc. Multimodal disambiguation of speech recognition
US7712053B2 (en) * 1998-12-04 2010-05-04 Tegic Communications, Inc. Explicit character filtering of ambiguous text entry
US7679534B2 (en) * 1998-12-04 2010-03-16 Tegic Communications, Inc. Contextual prediction of user words and user actions
US7720682B2 (en) 1998-12-04 2010-05-18 Tegic Communications, Inc. Method and apparatus utilizing voice input to resolve ambiguous manually entered text input
US8938688B2 (en) 1998-12-04 2015-01-20 Nuance Communications, Inc. Contextual prediction of user words and user actions
US7117446B2 (en) * 1999-02-01 2006-10-03 Sonic Solutions, Inc. User interface method and system for application programs implemented with component architectures
US7030863B2 (en) 2000-05-26 2006-04-18 America Online, Incorporated Virtual keyboard system with automatic correction
US7821503B2 (en) * 2003-04-09 2010-10-26 Tegic Communications, Inc. Touch screen and graphical user interface
US7610194B2 (en) * 2002-07-18 2009-10-27 Tegic Communications, Inc. Dynamic database reordering system
WO2000074240A1 (en) * 1999-05-27 2000-12-07 America Online Keyboard system with automatic correction
US7750891B2 (en) 2003-04-09 2010-07-06 Tegic Communications, Inc. Selective input system based on tracking of motion parameters of an input device
US7286115B2 (en) * 2000-05-26 2007-10-23 Tegic Communications, Inc. Directional input system with automatic correction
US8238881B2 (en) 2001-08-07 2012-08-07 Waloomba Tech Ltd., L.L.C. System and method for providing multi-modal bookmarks
US8213917B2 (en) * 2006-05-05 2012-07-03 Waloomba Tech Ltd., L.L.C. Reusable multimodal application
US7747561B1 (en) * 2002-05-02 2010-06-29 Palmsource Inc. Synchronization protocol for synchronizing data between nodes
US8583440B2 (en) * 2002-06-20 2013-11-12 Tegic Communications, Inc. Apparatus and method for providing visual indication of character ambiguity during text entry
EP1394692A1 (en) * 2002-08-05 2004-03-03 Alcatel Method, terminal, browser application, and mark-up language for multimodal interaction between a user and a terminal
US20040034531A1 (en) * 2002-08-15 2004-02-19 Wu Chou Distributed multimodal dialogue system and method
AU2002347129A1 (en) * 2002-11-13 2004-06-03 Intel China Ltd. Multi-modal web interaction over wireless network
US7769811B2 (en) * 2003-03-03 2010-08-03 Aol Llc Instant messaging sound control
US7221938B2 (en) * 2003-08-20 2007-05-22 Sbc Knowledge Ventures, L.P. System and method for multi-modal monitoring of a network
US7437457B1 (en) * 2003-09-08 2008-10-14 Aol Llc, A Delaware Limited Liability Company Regulating concurrent logins associated with a single account
US7636083B2 (en) * 2004-02-20 2009-12-22 Tegic Communications, Inc. Method and apparatus for text input in various languages
JP4421946B2 (ja) * 2004-05-31 2010-02-24 京セラ株式会社 通信端末装置およびその通信方法
US8095364B2 (en) 2004-06-02 2012-01-10 Tegic Communications, Inc. Multimodal disambiguation of speech recognition
US7921163B1 (en) 2004-07-02 2011-04-05 Aol Inc. Routing and displaying messages for multiple concurrent instant messaging sessions involving a single online identity
EP1615124A1 (en) * 2004-07-07 2006-01-11 Alcatel Alsthom Compagnie Generale D'electricite A method for handling a multi-modal dialog
US8923838B1 (en) 2004-08-19 2014-12-30 Nuance Communications, Inc. System, method and computer program product for activating a cellular phone account
US7818379B1 (en) 2004-08-31 2010-10-19 Aol Inc. Notification and disposition of multiple concurrent instant messaging sessions involving a single online identity
US7551727B2 (en) * 2004-10-20 2009-06-23 Microsoft Corporation Unified messaging architecture
US7912186B2 (en) * 2004-10-20 2011-03-22 Microsoft Corporation Selectable state machine user interface system
US7920681B2 (en) * 2004-11-05 2011-04-05 International Business Machines Corporation System, apparatus, and methods for creating alternate-mode applications
US7565357B2 (en) * 2004-12-30 2009-07-21 Alcatel Lucent Multi-sensor communication system
US7356567B2 (en) * 2004-12-30 2008-04-08 Aol Llc, A Delaware Limited Liability Company Managing instant messaging sessions on multiple devices
US7778397B2 (en) * 2005-03-10 2010-08-17 Avaya Inc. Dynamic video generation in interactive voice response systems
GB0507148D0 (en) * 2005-04-08 2005-05-18 Ibm Method and apparatus for multimodal voice and web services
US8139725B2 (en) * 2005-04-22 2012-03-20 The Invention Science Fund I, Llc Associated information in structured voice interaction systems
US7924985B2 (en) * 2005-04-21 2011-04-12 The Invention Science Fund I, Llc Interaction history applied to structured voice interaction system
US7813485B2 (en) * 2005-05-26 2010-10-12 International Business Machines Corporation System and method for seamlessly integrating an interactive visual menu with an voice menu provided in an interactive voice response system
US7464341B2 (en) * 2005-06-30 2008-12-09 International Business Machines Corporation Canceling window close commands
KR100689774B1 (ko) * 2005-07-20 2007-03-08 주식회사 현대오토넷 텔레매틱스 단말기와 컴퓨터간 동기화 서비스를 제공하는홈 텔레매틱스 시스템 및 그 방법
US20090144626A1 (en) * 2005-10-11 2009-06-04 Barry Appelman Enabling and exercising control over selected sounds associated with incoming communications
US20070106670A1 (en) * 2005-11-08 2007-05-10 Nortel Networks Limited Interactive communication session cookies
US8756326B1 (en) 2005-11-08 2014-06-17 Rockstar Consortium Us Lp Using interactive communication session cookies in web sessions
US8504606B2 (en) * 2005-11-09 2013-08-06 Tegic Communications Learner for resource constrained devices
WO2007062077A2 (en) * 2005-11-23 2007-05-31 Envio Networks Inc. System and method for mobile digital media content delivery and services marketing
US7751848B2 (en) * 2005-11-23 2010-07-06 Envio Networks Inc. Systems and methods for providing concurrent mobile applications to mobile communication devices
US7587378B2 (en) * 2005-12-09 2009-09-08 Tegic Communications, Inc. Embedded rule engine for rendering text and other applications
US7716682B2 (en) * 2006-01-04 2010-05-11 Oracle International Corporation Multimodal or multi-device configuration
US20070161369A1 (en) * 2006-01-11 2007-07-12 Envio Networks Inc. Methods for Intelligent Number Dialing Assistance and Related Marketing Techniques
US20070173236A1 (en) * 2006-01-24 2007-07-26 Envio Networks Inc. Methods for Marketing Digital Content to Mobile Communication Device Users
US7512408B2 (en) * 2006-02-16 2009-03-31 Softwired Ag Scalable wireless messaging system
US7739391B2 (en) * 2006-02-16 2010-06-15 Softwired Ag Gateway for wireless mobile clients
US7580925B2 (en) * 2006-04-19 2009-08-25 Tegic Communications, Inc. Efficient storage and search of word lists and other text
US7970909B1 (en) 2006-06-22 2011-06-28 At&T Intellectual Property I, L.P. Method and system for associating concurrent telephone and data network sessions
US8233894B2 (en) * 2006-08-23 2012-07-31 Resource Consortium Limited System and method for sending mobile media content to another mobile device user
US20080104169A1 (en) * 2006-10-30 2008-05-01 Microsoft Corporation Processing initiate notifications for different modes of communication
US8229080B2 (en) * 2006-11-10 2012-07-24 Verizon Patent And Licensing Inc. Testing and quality assurance of multimodal applications
US8009811B2 (en) 2006-11-10 2011-08-30 Verizon Patent And Licensing Inc. Testing and quality assurance of interactive voice response (IVR) applications
US20080148014A1 (en) * 2006-12-15 2008-06-19 Christophe Boulange Method and system for providing a response to a user instruction in accordance with a process specified in a high level service description language
US20080154576A1 (en) * 2006-12-21 2008-06-26 Jianchao Wu Processing of reduced-set user input text with selected one of multiple vocabularies and resolution modalities
US8160532B2 (en) 2007-01-08 2012-04-17 Skyweaver, Inc. Community interaction using mobile communication devices
US8201087B2 (en) * 2007-02-01 2012-06-12 Tegic Communications, Inc. Spell-check for a keyboard system with automatic correction
US8225203B2 (en) 2007-02-01 2012-07-17 Nuance Communications, Inc. Spell-check for a keyboard system with automatic correction
US8103499B2 (en) * 2007-03-22 2012-01-24 Tegic Communications, Inc. Disambiguation of telephone style key presses to yield Chinese text using segmentation and selective shifting
US8725513B2 (en) * 2007-04-12 2014-05-13 Nuance Communications, Inc. Providing expressive user interaction with a multimodal application
US8299943B2 (en) 2007-05-22 2012-10-30 Tegic Communications, Inc. Multiple predictions in a reduced keyboard disambiguating system
US10133372B2 (en) * 2007-12-20 2018-11-20 Nokia Technologies Oy User device having sequential multimodal output user interface
US9386154B2 (en) * 2007-12-21 2016-07-05 Nuance Communications, Inc. System, method and software program for enabling communications between customer service agents and users of communication devices
US20090181702A1 (en) * 2008-01-14 2009-07-16 Microsoft Corporation Multi-mode communication
US8837465B2 (en) 2008-04-02 2014-09-16 Twilio, Inc. System and method for processing telephony sessions
EP2266269B1 (en) 2008-04-02 2019-01-02 Twilio Inc. System and method for processing telephony sessions
US8379637B2 (en) 2008-05-27 2013-02-19 Microsoft Corporation Bypassing routing rules during a conversation
US8862681B2 (en) 2008-06-25 2014-10-14 Microsoft Corporation Multimodal conversation transfer
EP2335402A4 (en) 2008-10-01 2013-04-24 Twilio Inc TELEPHONY WEB EVENT SYSTEM AND METHOD
US8494140B2 (en) 2008-10-30 2013-07-23 Centurylink Intellectual Property Llc System and method for voice activated provisioning of telecommunication services
US20100125483A1 (en) * 2008-11-20 2010-05-20 Motorola, Inc. Method and Apparatus to Facilitate Using a Highest Level of a Hierarchical Task Model To Facilitate Correlating End User Input With a Corresponding Meaning
US8478712B2 (en) * 2008-11-20 2013-07-02 Motorola Solutions, Inc. Method and apparatus to facilitate using a hierarchical task model with respect to corresponding end users
CA2789942C (en) * 2009-03-02 2017-05-23 Jeffrey Lawson Method and system for a multitenancy telephone network
US8509415B2 (en) 2009-03-02 2013-08-13 Twilio, Inc. Method and system for a multitenancy telephony network
WO2011008978A1 (en) * 2009-07-15 2011-01-20 Google Inc. Commands directed at displayed text
WO2011032069A2 (en) * 2009-09-14 2011-03-17 Envio Networks Inc. Context enhanced marketing of content and targeted advertising to mobile device users
US8582737B2 (en) * 2009-10-07 2013-11-12 Twilio, Inc. System and method for running a multi-module telephony application
US9210275B2 (en) 2009-10-07 2015-12-08 Twilio, Inc. System and method for running a multi-module telephony application
US20110083179A1 (en) * 2009-10-07 2011-04-07 Jeffrey Lawson System and method for mitigating a denial of service attack using cloud computing
EP2526657B1 (en) * 2010-01-19 2019-02-20 Twilio Inc. Method and system for preserving telephony session state
US20120208495A1 (en) 2010-06-23 2012-08-16 Twilio, Inc. System and method for monitoring account usage on a platform
US8416923B2 (en) 2010-06-23 2013-04-09 Twilio, Inc. Method for providing clean endpoint addresses
US9459925B2 (en) 2010-06-23 2016-10-04 Twilio, Inc. System and method for managing a computing cluster
US9459926B2 (en) 2010-06-23 2016-10-04 Twilio, Inc. System and method for managing a computing cluster
US9338064B2 (en) 2010-06-23 2016-05-10 Twilio, Inc. System and method for managing a computing cluster
US9590849B2 (en) 2010-06-23 2017-03-07 Twilio, Inc. System and method for managing a computing cluster
US8391464B1 (en) 2010-06-24 2013-03-05 Nuance Communications, Inc. Customer service system, method, and software program product for responding to queries using natural language understanding
US8838707B2 (en) 2010-06-25 2014-09-16 Twilio, Inc. System and method for enabling real-time eventing
US8762939B1 (en) 2010-07-02 2014-06-24 Nuance Communications, Inc. System and method for displaying key performance indicators in an application design tool
US8417223B1 (en) 2010-08-24 2013-04-09 Google Inc. Advanced voicemail features without carrier voicemail support
US9363375B1 (en) 2010-10-12 2016-06-07 Egain Communications Interaction using content
US20120131466A1 (en) 2010-11-23 2012-05-24 Embarq Holdings Company, Llc User-Based Monitoring and Control
US8649268B2 (en) 2011-02-04 2014-02-11 Twilio, Inc. Method for processing telephony sessions of a network
US9230549B1 (en) 2011-05-18 2016-01-05 The United States Of America As Represented By The Secretary Of The Air Force Multi-modal communications (MMC)
US9648006B2 (en) 2011-05-23 2017-05-09 Twilio, Inc. System and method for communicating with a client application
US20140044123A1 (en) 2011-05-23 2014-02-13 Twilio, Inc. System and method for real time communicating with a client application
WO2012162397A1 (en) 2011-05-23 2012-11-29 Twilio, Inc. System and method for connecting a communication to a client
US20130051539A1 (en) * 2011-08-23 2013-02-28 Michael Sharp Communications with interposed commercial message
EP2759123B1 (en) 2011-09-21 2018-08-15 Twilio, Inc. System and method for authorizing and connecting application developers and users
US10182147B2 (en) 2011-09-21 2019-01-15 Twilio Inc. System and method for determining and communicating presence information
US9495227B2 (en) 2012-02-10 2016-11-15 Twilio, Inc. System and method for managing concurrent events
US9240941B2 (en) 2012-05-09 2016-01-19 Twilio, Inc. System and method for managing media in a distributed communication network
US9602586B2 (en) 2012-05-09 2017-03-21 Twilio, Inc. System and method for managing media in a distributed communication network
US20130304928A1 (en) 2012-05-09 2013-11-14 Twilio, Inc. System and method for managing latency in a distributed telephony network
US9247062B2 (en) 2012-06-19 2016-01-26 Twilio, Inc. System and method for queuing a communication session
US9385981B2 (en) * 2012-07-23 2016-07-05 Google Inc. System and method for providing multi-modal asynchronous communication
US8737962B2 (en) 2012-07-24 2014-05-27 Twilio, Inc. Method and system for preventing illicit use of a telephony platform
US8738051B2 (en) 2012-07-26 2014-05-27 Twilio, Inc. Method and system for controlling message routing
US8938053B2 (en) 2012-10-15 2015-01-20 Twilio, Inc. System and method for triggering on platform usage
US8948356B2 (en) 2012-10-15 2015-02-03 Twilio, Inc. System and method for routing communications
US9253254B2 (en) 2013-01-14 2016-02-02 Twilio, Inc. System and method for offering a multi-partner delegated platform
US9282124B2 (en) * 2013-03-14 2016-03-08 Twilio, Inc. System and method for integrating session initiation protocol communication in a telecommunications platform
US9001666B2 (en) 2013-03-15 2015-04-07 Twilio, Inc. System and method for improving routing in a distributed communication platform
US9338280B2 (en) 2013-06-19 2016-05-10 Twilio, Inc. System and method for managing telephony endpoint inventory
US9225840B2 (en) 2013-06-19 2015-12-29 Twilio, Inc. System and method for providing a communication endpoint information service
US9160696B2 (en) 2013-06-19 2015-10-13 Twilio, Inc. System for transforming media resource into destination device compatible messaging format
US9483328B2 (en) 2013-07-19 2016-11-01 Twilio, Inc. System and method for delivering application content
US9274858B2 (en) 2013-09-17 2016-03-01 Twilio, Inc. System and method for tagging and tracking events of an application platform
US9137127B2 (en) 2013-09-17 2015-09-15 Twilio, Inc. System and method for providing communication platform metadata
US9338018B2 (en) 2013-09-17 2016-05-10 Twilio, Inc. System and method for pricing communication of a telecommunication platform
US9325624B2 (en) 2013-11-12 2016-04-26 Twilio, Inc. System and method for enabling dynamic multi-modal communication
US9553799B2 (en) 2013-11-12 2017-01-24 Twilio, Inc. System and method for client communication in a distributed telephony network
US9344573B2 (en) 2014-03-14 2016-05-17 Twilio, Inc. System and method for a work distribution service
US9226217B2 (en) 2014-04-17 2015-12-29 Twilio, Inc. System and method for enabling multi-modal communication
US9516101B2 (en) 2014-07-07 2016-12-06 Twilio, Inc. System and method for collecting feedback in a multi-tenant communication platform
US9774687B2 (en) 2014-07-07 2017-09-26 Twilio, Inc. System and method for managing media and signaling in a communication platform
US9251371B2 (en) 2014-07-07 2016-02-02 Twilio, Inc. Method and system for applying data retention policies in a computing platform
US9246694B1 (en) 2014-07-07 2016-01-26 Twilio, Inc. System and method for managing conferencing in a distributed communication network
WO2016028121A1 (en) * 2014-08-21 2016-02-25 Samsung Electronics Co., Ltd. System and method for enhancing user experience during interactive audio-visual communication
WO2016065080A1 (en) 2014-10-21 2016-04-28 Twilio, Inc. System and method for providing a miro-services communication platform
US9477975B2 (en) 2015-02-03 2016-10-25 Twilio, Inc. System and method for a media intelligence platform
US9948703B2 (en) 2015-05-14 2018-04-17 Twilio, Inc. System and method for signaling through data storage
US10419891B2 (en) 2015-05-14 2019-09-17 Twilio, Inc. System and method for communicating through multiple endpoints
US10007410B2 (en) * 2015-08-19 2018-06-26 Google Llc Incorporating user content within a communication session interface
US10659349B2 (en) 2016-02-04 2020-05-19 Twilio Inc. Systems and methods for providing secure network exchanged for a multitenant virtual private cloud
US10686902B2 (en) 2016-05-23 2020-06-16 Twilio Inc. System and method for a multi-channel notification service
US10063713B2 (en) 2016-05-23 2018-08-28 Twilio Inc. System and method for programmatic device connectivity
US10841755B2 (en) 2017-07-01 2020-11-17 Phoneic, Inc. Call routing using call forwarding options in telephony networks
US10795701B2 (en) 2018-11-20 2020-10-06 Express Scripts Strategic Development, Inc. System and method for guiding a user to a goal in a user interface
US20210281681A1 (en) * 2020-03-06 2021-09-09 PAG Financial International LLC Systems and methods for operating an interactive voice response system
US11134149B1 (en) 2020-06-15 2021-09-28 Verizon Patent And Licensing Inc. Systems and methods for providing multi-modal interaction via user equipment

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6011909A (en) * 1997-01-06 2000-01-04 Motorola, Inc. Alerting user engaged in a first communications session on a first network to a request to establish a second communications session on a second network
US6088728A (en) * 1997-06-11 2000-07-11 Oracle Corporation System using session data stored in session data storage for associating and disassociating user identifiers for switching client sessions in a server
US6078948A (en) * 1998-02-03 2000-06-20 Syracuse University Platform-independent collaboration backbone and framework for forming virtual communities having virtual rooms with collaborative sessions
US6076108A (en) * 1998-03-06 2000-06-13 I2 Technologies, Inc. System and method for maintaining a state for a user session using a web system having a global session server
US6519643B1 (en) * 1999-04-29 2003-02-11 Attachmate Corporation Method and system for a session allocation manager (“SAM”)
US6694008B1 (en) * 2000-06-23 2004-02-17 Cisco Technology, Inc. Monitored suspension of communications sessions

Also Published As

Publication number Publication date
WO2003073623A3 (en) 2004-02-26
JP4439920B2 (ja) 2010-03-24
FI123321B (fi) 2013-02-28
AU2003209036A8 (en) 2003-09-09
WO2003073623A2 (en) 2003-09-04
US20030162561A1 (en) 2003-08-28
US6912581B2 (en) 2005-06-28
FI20041125A (fi) 2004-08-27
KR100610286B1 (ko) 2006-08-09
JP2005519378A (ja) 2005-06-30
AU2003209036A1 (en) 2003-09-09
CN1639696A (zh) 2005-07-13
JP2010033586A (ja) 2010-02-12
KR20040095234A (ko) 2004-11-12

Similar Documents

Publication Publication Date Title
CN100478923C (zh) 用于并行多模通信会话持续的系统和方法
CN101291336A (zh) 用于并行多模通信的系统和方法
CN103198830B (zh) 用于实现分布式多模式应用的方法和设备
CN1333385C (zh) 用于通信系统的语音浏览器启用器
CN103080927B (zh) 使用搜索结果的自动路由
CN103973771B (zh) 用于共享部分web页的方法和系统
CN100477627C (zh) 通过无线网络的多模式网络交互
CN101911064A (zh) 用于实现分布式多模态应用的方法和装置
US20030187944A1 (en) System and method for concurrent multimodal communication using concurrent multimodal tags
CN102439661A (zh) 用于车辆内自动交互的面向服务语音识别
CN1981282A (zh) 在移动通信终端中上载网络博客的方法及其系统
CN1235315A (zh) 使用合成请求加速超文本页导航的方法和装置
CN105446994A (zh) 业务推荐方法和具有智能助手的装置
CN101689363A (zh) 对于电话请求的基于位置的响应
KR20010039743A (ko) 흐름을 디스플레이들 내로 분할하기 위한 방법 및 장치
JP2002215490A (ja) アドレス変換システムおよびアドレス変換方法
KR101968287B1 (ko) 지식재산 거래 서비스 제공 장치 및 방법
KR20050034680A (ko) 문자메시지를 이용한 전화번호안내시스템
KR101996138B1 (ko) 지식재산 거래 서비스 제공 장치 및 방법
KR101978297B1 (ko) 데이터 공유 서비스 시스템, 데이터 공유 서비스를 위한 장치 및 방법
CN109981490B (zh) 具备行动加值服务的智能网络交换机系统
KR20020062017A (ko) 인터넷을 이용한 음성 정보 제공 시스템 및 방법
KR20020004490A (ko) 인터넷을 이용한 원격 통역 시스템 및 그 방법
KR20020042106A (ko) 모듈화된 구조와 음성웹 방식을 이용한 ａｒｓ 웹호스팅시스템 및 그 운영 방법
KR101162657B1 (ko) 에이치엠아이 서버 및 에이치엠아이 서버를 이용한 정보 검색 방법

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: MOTOROLA MOBILE CO., LTD.

Free format text: FORMER OWNER: MOTOROLA INC.

Effective date: 20110111

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20110111

Address after: Illinois State

Patentee after: MOTOROLA MOBILITY, Inc.

Address before: Illinois, USA

Patentee before: Motorola, Inc.

C41 Transfer of patent application or patent right or utility model
C56 Change in the name or address of the patentee
CP01 Change in the name or title of a patent holder

Address after: Illinois State

Patentee after: MOTOROLA MOBILITY LLC

Address before: Illinois State

Patentee before: MOTOROLA MOBILITY, Inc.

TR01 Transfer of patent right

Effective date of registration: 20160308

Address after: California, USA

Patentee after: Google Technology Holdings LLC

Address before: Illinois State

Patentee before: MOTOROLA MOBILITY LLC

CX01 Expiry of patent term

Granted publication date: 20090415

CX01 Expiry of patent term