CN101207656B - 用于动态切换模态的方法和用于提供文本交换服务的系统 - Google Patents
用于动态切换模态的方法和用于提供文本交换服务的系统 Download PDFInfo
- Publication number
- CN101207656B CN101207656B CN200710192735.9A CN200710192735A CN101207656B CN 101207656 B CN101207656 B CN 101207656B CN 200710192735 A CN200710192735 A CN 200710192735A CN 101207656 B CN101207656 B CN 101207656B
- Authority
- CN
- China
- Prior art keywords
- voice
- mode
- server
- text
- communication channel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims abstract description 44
- 238000004891 communication Methods 0.000 claims description 83
- 230000004044 response Effects 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 6
- 230000009471 action Effects 0.000 claims description 4
- 230000004913 activation Effects 0.000 claims description 4
- 238000012423 maintenance Methods 0.000 claims description 3
- 238000013500 data storage Methods 0.000 claims description 2
- 238000003860 storage Methods 0.000 claims description 2
- 230000009466 transformation Effects 0.000 claims description 2
- 238000012857 repacking Methods 0.000 claims 2
- 230000007704 transition Effects 0.000 abstract 1
- 230000002452 interceptive effect Effects 0.000 description 16
- 230000008569 process Effects 0.000 description 9
- 238000012546 transfer Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 7
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000004590 computer program Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- 230000009977 dual effect Effects 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000005059 dormancy Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000000977 initiatory effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000013011 mating Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000011112 process operation Methods 0.000 description 1
- 150000003839 salts Chemical class 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
Abstract
本解决方案包括一种用于在涉及语音服务器的对话会话中动态切换模态的方法和系统。在该方法中，可以在用户和话音应用之间建立对话会话。在对话会话期间，该用户可以使用原始模态进行交互，该原始模态是话音模态、文本交换模态或包括文本交换模态的多模模态。话音应用可以使用话音模态进行交互。可以检测将原始模态改变为不同模态的模态切换触发器。到第二模态的模态转变对于话音应用可以是透明的。话音应用可以是缺少固有文本交换能力的标准的基于VoiceXML的话音应用。
Description
技术领域
本发明涉及自动话音系统领域，尤其涉及在为交互式文本交换扩展的话音应用环境中的模态之间的切换。
背景技术
交互式语音应答(IVR)系统常常用来经由通信网络的语音信道提供自动客户服务。IVR系统允许快速、有效以及自动地处理常规的客户请求。当请求是非常规的或者当呼叫方对于IVR系统有困难时，可以从IVR系统转到客户服务代表。甚至当需要人工交互时，IVR系统可以获取诸如账号和呼叫理由的必要的初步信息，该信息可以确保呼叫方被路由至适当的人工代理和确保将人与人之间的交互时间减少到最小。IVR系统的成功使用允许呼叫中心最低限度地配备人员，同时客户在等待队列中花费相对短的时间就能被提供高级别的服务。
IVR系统，尤其是具有自然语言理解(NLU)能力和/或强大的上下文无关文法的稳固IVR系统，代表着巨大的财政和技术投资。此投资包括购买和维护IVR基础设施硬件、IVR基础设施软件以及在此基础设施上执行的语音应用的费用。额外的和重要的重复性费用可能涉及维护足够数量的语音质量信道以处理预期的呼叫容量。而且，这些信道中的每一个都消耗语音服务器的可用端口，所述语音服务器具有有限数量的昂贵端口。每个信道还消耗在呼叫方与IVR系统之间建立语音质量信道所需的一些带宽。
在共同未决专利申请No.11/612,996中详细描述了一种用于扩展IVR基础设施以允许基于文本的交互式服务的创新的解决方案，其标题为“Using an Automated Speech Application Environment to Automatically Provide Text-Based Interactive Services”。更具体地，此共同未决申请教示了一种聊天机器人对象，称为Chatbot，它能够动态地将接收自文本交换客户机的文本转换成可由语音服务器使用的输入，并且能够动态地将来自语音服务器的输出转换成针对客户机适当格式化的文本。从语音服务器的观点看，与文本交换客户机的基于文本的交互通过与用来处理基于语音的交互相同的方式和相同的硬件/软件被处理。该共同未决的解决方案考虑了在模态(modality)之间切换的可能性，没有中断之前存在的通信会话，这是该申请的主题。
应当理解，用于提供语音和文本交换服务的传统解决方案在单独且不同的服务器中实现各个服务。这些服务器中的每一个都将包括为特定模态定制的服务器特定应用。例如，控制基于语音的交互的基于VoiceXML的应用可以在话音服务器上执行，控制基于文本的交互的不同的基于XML的应用可以在文本交换服务器上执行。
从文本会话转移到语音会话或与之相反的任何尝试都将需要两个不同的服务器、应用以及通信会话相互之间同步。例如，如果语音会话将被切换到文本会话，那么新的文本会话将不得不在用户和文本交换服务器之间被启动。该文本交换服务器将必须为该会话启动文本交换应用的实例。接着，关于该语音会话的状态信息将不得不被转送到文本交换服务器和/或文本交换应用。最后，将需要退出在话音服务器执行的话音应用以及终止话音服务器与用户之间的原始语音会话。
没有已知的系统或系统组为动态的通信内会话提供将允许从文本交换模态切换到语音模态以及反之亦然的模态切换能力。而且，不存在有关甚至是希望在自动通信会话期间在文本交换模态和语音模态之间动态切换的已知教示，或许是由于认为这种能力天生具有复杂化的性质。
发明内容
一种解决方案允许参加自动通信会话的参与者在文本交换交互和基于语音的交互之间以及与之相反的过程之间随意地动态切换，并且不打扰自动通信会话的对话状态。进一步，该解决方案允许参与者为该通信会话建立双模式，其接收输入和/或提供输出给不同的装置，这些装置中每个与不同的模态相关联。因此，双模通信会话不同于多模通信会话。在多模通信会话中，多个交互模态与单个装置/客户机应用相关联。特别地，所述解决方案可以额外地允许用户在通信会话期间动态切换到多模交互模式和自多模交互模式进行切换。所述解决方案允许以对于控制会话对话的自动服务器透明的方式和以对于会话控制应用透明的方式进行交互模式的切换。
本解决方案可以被实现在为基于文本的交互式服务扩展的话音应用环境的上下文中。话音应用环境可以包括聊天机器人(Chatbot)服务器，该服务器管理聊天机器人对象或Chatbot。Chatbot能够将接收自文本交换客户机的文本动态地转换为可由语音服务器使用的输入，以及将来自语音服务器的输出动态地转换为针对客户机适当格式化的文本。语音服务器的文本输入API可以用于直接接受文本，因此在文本交换客户机的输出与语音服务器的输入之间所需要的转换可以少至没有。语音服务器的输出可以是语音标记格式，Chatbot可以从其中提取文本(也即，去除标记标签)，该文本传送到文本交换客户机。
本发明可以根据与此处所呈现的素材一致的多个方面被实现。例如，本发明的一个方面可以包括一种用于在涉及语音服务器的对话会话中动态切换模态的方法。在该方法中，对话会话可以建立在用户和在语音服务器内执行的话音应用之间。在对话会话期间，用户可以使用原始模态进行交互，该原始模态是话音模态、文本交换模态或包括文本交换模态的多模模态。话音应用可以使用话音模态进行交互。可以检测将原始模态变成为不同模态的模态切换触发器。切换到不同模态的模态转变可以对于语音服务器和话音应用透明。从语音服务器输出的语音标记也可以被动态地转换为文本交换消 息。话音应用可以是缺少固有文本交换能力的标准话音应用。
本发明的另一方面可以包括一种用于在涉及语音服务器的对话会话中动态切换模态的不同方法。可以识别自动对话会话涉及文本交换客户机和话音应用。该对话会话还可以涉及Chatbot服务器和语音服务器。在该对话会话期间，文本交换客户机可以通过第一通信信道与Chatbot服务器交换文本交换消息。在第二通信信道，Chatbot服务器可以发送语音服务器通过文本输入API能够使用的文本。语音服务器可以将与语音文法匹配的文本返回给Chatbot服务器。Chatbot服务器可以将语音服务器的输出动态地转换为可由话音应用使用的输入。然后，它得出可由文本交换客户机使用的对应的文本消息。Chatbot服务器可以检测模态切换触发器。该检测能够促使自动建立Chatbot服务器与语音装置之间的第三通信信道。此后，用于自动对话会话的双向语音消息可以通过第二通信信道和第三通信信道的组合在语音装置与语音服务器之间被传送。
本发明的还一个方面可以包括一种用于提供文本交换服务的系统，其包括：文本交换客户机、语音客户机、话音应用环境、Chatbot服务器以及模态切换引擎。文本交换客户机可以通过文本交换信道发送和接收实时文本交换。语音客户机可以通过语音信道发送和接收话音。话音应用环境可以包括允许用户通过语音信道实时交互的自动话音应答应用。Chatbot服务器可以建立涉及文本交换客户机和自动话音应答应用的通信会话。Chatbot服务器可以将话音应用所提供的语音标记消息动态地转换为文本消息。语音服务器的文本输入API可以允许语音服务器使用文本。模态切换引擎可以动态切换模态，其中用户与自动话音应答应用交互。动态模态切换可以切换文本交换客户机和/或语音客户机的激活状态。例如，当发生模态切换时，之前与文本交换客户机交互的用户能够与诸如电话装置的语音客户机无缝地进行交互。
应当注意，本发明的多个方面可以被实现为用于控制计算设备以实现此处所述功能的程序，或者实现为用于使得计算设备执行与 此处所述步骤对应的过程的程序。此程序可以通过将其存储在磁盘、光盘、半导体存储器、任何其他记录介质来提供，或者也可以作为通过载波传送的数字编码信号来提供。所述程序可以是单个程序或者可以实现为多个子程序，子程序中的每一个在单个计算装置内交互或者在网络空间上以分布的形式交互。
此处所详细描述的方法也可以是至少部分地由服务代理和/或服务代理所操纵的机器响应于服务请求所执行的方法。
附图说明
在附图中示出了目前优选的实施例，不过应当理解，本发明并不局限于所示出的具体安排和结构。
图1是用于允许在不中断当前通信会话的情况下在文本和语音模态之间平滑用户切换的Chatbot服务器的系统的示意图。
图2是示出了根据此处所公开的发明安排的实施例在涉及语音客户机、文本交换客户机、语音客户机、Chatbot服务器、语音服务器和应用服务器的通信会话期间进行模态切换的处理流程图。
图3是根据此处所公开的发明安排的实施例用于为话音应用环境提供无缝模态切换能力的系统的示意图。
具体实施方式
图1是用于允许在不中断当前通信会话的情况下在文本和语音模态之间平滑用户切换的Chatbot服务器114的系统100的示意图。可以理解，通信会话是在人和自动话音使能应用119之间的，不考虑正在使用的模态。系统100允许在文本交换接口110和语音接口112之间的切换，每个接口都与话音使能应用119通信，其中所述切换不中断正在进行的通信会话的对话状态。
话音使能应用119可以是VoiceXML应用，例如经常配置在联系中心的用于交互式语音应答系统(IVR)的应用。文本交换客户机接口110可以是用于任何类型的文本交换通信的接口，所述文本交 换通信例如即时消息(IM)通信，聊天通信，使用SAMETIME、TRILLIAN、YAHOO！MESSENGER的文本消息传递，等等。语音接口112可以是在其上发生实时话音通信的任何接口。例如，接口112可以包括但不限于：电话输入/输出(I/O)接口、移动通信装置(例如，蜂窝电话)I/O接口、双向无线I/O接口和/或网际协议语音(VOIP)接口。
语音服务器118，像大部分语音服务器一样，可以包括文本模式接口106，该接口通常由开发者、系统维护人员和/或话音识别引擎的训练员使用。例如，一套专有的、受限的或标准化的(例如MRCPv2INTERPRET)应用程序接口(API)可以用于接口106。这套通常不能在生产环境中使用或访问的API可以被激活以创建消耗计算资源比语音信道少得多的文本输入信道，通常与在生产环境中操作的语音服务器118建立语音信道。大部分情况下，文本模式接口106是在生成语音服务器118内现存的，但是处于休眠。接口106可以被激活以与Chatbot服务器进行基于文本的交互。
接口106的使用以对于应用服务器108透明的方式发生，因此对应用119没有影响。也即，与语音输入相反，应用119和应用服务器108保持不知道语音服务器118正在通过接口106处理文本输入。由语音服务器118产生并且被发送到Chatbot服务器114的输出在任一情况下都可以是相同的。而且，由应用服务器108产生并且被发送到Chatbot服务器114的输出可以是相同的。因此，多个通信会话可以被应用服务器108同时处理，其中一个或多个是使用接口106的基于文本的会话，其他的是基于语音的会话。系统100可以在不改变应用服务器108基础结构(以及假设存在接口106，不改变语音服务器118)并且不改变话音使能应用119的代码的情况下被实现。这是真的，即使应用119可能缺少对文本交换交互的明确编码支持并且可能在没有本公开发明的情况下不能支持这种交互。此外，文本交换接口110可以是任何现成的不需要修改以如在系统100中所示操作的文本交换软件。
在系统100中，Chatbot服务器114可以取来121与它执行的话音使能应用119相关联的语音标记123。Chatbot服务器114也可以中继来自接口110的原文输入120以通过接口106发送可由语音服务器118使用的文本122。语音服务器118可以将此输入与识别文法进行匹配并产生用于Chatbot服务器114的文本输出124。当Chatbot服务器114执行所述应用时可以使用此输出124。应用119处理此输出，该输出可以产生响应输出，通常以语音标记段的形式，例如VoiceXML(其可以进一步利用W3C话音合成标记语言或SSML)。当执行文本交换操作时，可以绕过由语音服务器118执行的常规话音合成操作。Chatbot服务器114可以将响应输出从标记动态地转换为由接口110处理的原文输出126。例如，包括在标记标签之间的原文内容可以从应用119标记中提取出来(也即，标记标签可以省略)并且被包括在文本126消息中。
从接口110内部，用户可以选择被转移130到不同的通信模态和/或到实时接线员，其导致Chatbot服务器114执行切换操作。此切换可以按对于应用服务器108和应用119透明的方式发生并且当前通信会话的对话状态可以被无缝地维持。
为了举例说明，转移请求130可以是将交互接口从文本交换接口110变成语音接口112的请求。语音接口112可以通过诸如电话的单独装置来提供。当接收到请求130时，Chatbot服务器114可以发送连接终止通知131到接口110。接着，Chatbot服务器114可以开放其自身与语音接口112之间的语音信道，通过该语音信道可以传送可选的介绍性通知132。然后，语音输入134可以被作为输入136路由至Chatbot服务器114。Chatbot服务器将该语音输入136发送至语音服务器，该语音服务器产生文本结果138。Chatbot服务器在处理结果138之后可以生成发送(未示出)到语音服务器118的新标记，该语音服务器返回(未示出)语音输出。该语音输出可以被Chatbot服务器114作为语音输出140传送到语音接口112。
接着，到代理的转移请求可以从接口112被发送。该请求142 可以指定优选语音通信还是实时文本交换，假设实时文本交换的选项可用。实时文本交换请求142可以促使Chatbot服务器114将交互接口从接口112切换为接口110。
当接收到代理转移请求142时，Chatbot服务器114可以通过适当的通信信道连接144用户到实时代理116。该代理116可以自动地接收来自Chatbot服务器114的关于当前通信会话的信息。例如，用户的姓名、帐户信息等类似信息可以呈现给代理116，从而缩短人与人之间的通信时间。
应当注意，可选的通知131和132可以直接来自Chatbot服务器114而不是来自语音服务器118或来自应用119。还应当注意，可以向Chatbot服务器114做出从语音接口112返回到文本转移接口110的转移请求(未示出)，该Chatbot服务器以基本上相同的方式操作并且不中断正在与语音服务器118继续的对话。
此外，模态改变可以从应用119启动。例如，应用119可以确定通过语音信道转移到实时接线员的条件是否满足。Chatbot服务器114可以检测这些条件并且可以在需要时自动开放到语音接口112的信道。
在一种预期安排中，系统100可以实现双模以及多模通信。双模通信同时激活接口110和112。从服务器118的输出既可以作为经由接口112的语音输出也可以作为经由接口110的文本输出来提供。
多模通信允许通过单个接口传送语音和文本两种输入/输出。例如，文本交换接口110可以是能够接收话音输入和提供话音输出的多模接口。多模输出(例如，文本和话音)可以通过多模接口110来呈现。
图2是示出了根据此处所公开的发明安排的实施例在涉及语音客户机202、文本交换客户机204、Chatbot服务器206、语音服务器208和应用服务器209的通信会话期间进行模态切换的处理流程图200。
语音服务器208可以包括通常由开发者、系统维护人员和/或话 音识别引擎训练员使用的文本输入API。这套通常不能在生产环境中使用或访问的API可以被激活以允许语音服务器208直接使用文本，其所需要的计算资源比处理服务器208通常接收的语音输入所需要的计算资源少得多。
正如所示，客户机204可以将请求210发送到Chatbot服务器206以初始化文本模态信道。Chatbot服务器206可以发送信道初始化消息212到语音服务器208以建立会话。服务器208可以肯定地响应，使得在服务器206和208之间建立信道214。接着，Chatbot服务器206可以与客户机204建立所请求的文本信道216。在步骤216之后，Chatbot服务器206可以发送请求217到应用服务器209，其使得实例化话音使能应用。也即，应用标记220可以被传送到Chatbot服务器206用于执行。
当Chatbot服务器206执行话音使能应用119时，应用启动提示221可以发生。服务器206可以将由应用119提供的标记转换222为纯文本，由被发送到客户机204的文本提示224表示。例如，提示(prompt)221可以被写入标记中并且可以包括：
<提示>文本上下文</提示>。
转换222可以提取文本上下文(省略标记标签)并且生成仅包括该文本上下文的文本提示224。客户机204可以通过文本信道对该提示做出响应226。服务器206可以中继响应228至语音服务器208，该响应228可以与响应226一致。语音服务器208可以通过编程式动作230将响应228与语音文法进行匹配，从而产生文本结果232。语音服务器208可以将文本结果232传送给Chatbot服务器206。当Chatbot服务器206执行执行应用119的应用逻辑243时使用此输出232，结果生成标记。Chatbot服务器206可以将包含在生成的标记中的原文内容转换236为发送到客户机204的文本结果237。
可以以这种方式继续交互，直到客户机204发送切换代码238到Chatbot服务器206。该切换代码238可以指定将发生从文本交换模态到语音模态的模态切换。可以提供用于语音装置202的电话号 码。也可以从先前存储的配置文件或对话会话存储中查找该电话号码。一旦Chatbot服务器206找到号码204，它就可以呼叫语音客户机202，从而建立242语音信道。接着，与客户机204通信的原始信道可以选择性地关闭243。也即，允许同时存在的来自每个客户机202-204的文本和语音输入/输出用于共同通信会话。
可以将语音输入244从语音客户机202传送到Chatbot服务器206，Chatbot服务器206将语音输入245中继到语音服务器208。语音服务器208可以话音识别该输入245并且提供识别结果248给Chatbot服务器206。执行话音使能应用可以将应用逻辑应用250到结果，生成被传送到语音服务器208的标记252。语音输出254可以从标记252中生成，标记252被作为语音输出255通过Chatbot服务器206传送到语音客户机202。
最后，客户机202可以发送结束会话请求260到Chatbot服务器206，Chatbot服务器关闭到语音服务器208的信道262以及信道264。
图3是根据此处所公开的发明安排的实施例用于为话音应用环境提供无缝模态切换能力的系统的示意图。
为了举例说明，可以使用原始模态在客户机302和应用342之间建立通信会话。所述原始模态可以是语音模态，该语音模态使用语音接口319通过信道371连接到Chatbot服务器320，其通过信道372连接到语音服务器330，其依次连接到应用服务器340。原始模态也可以是文本交换模态，该文本交换模态使用文本交换接口318通过信道370连接到Chatbot服务器320，其最后连接到应用服务器340。
有时在通信会话期间可以发生模态切换事件。该事件促使接口318和319中的一个或多个的激活状态发生改变。例如，从文本到语音的模态切换可以包括动态地开放语音信道371和关闭文本交换信道370。从语音到文本的模态切换可以包括动态地开放文本交换信道370和关闭信道371。任何一种方式，信道372都保持开放且不变，并且模态变化可以按对于应用服务器340或执行IVR应用342完全 透明的方式发生。
在一种安排中，模态切换可以是客户302经由激活的接口318或319发起的。用户可以输入特殊切换代码或命令，例如“切换语音”或“切换文本”。Chatbot服务器320的切换引擎323可以解释该代码并且执行适当切换动作。模态切换可以要求被传送到Chatbot服务器320的电话号码或其他标识符。例如，当从接口318切换到接口319时，可以提供与接口319相关联的电话号码(例如，切换语音“555-2222”)。可选地，客户302或者当前对话会话的配置信息可以保存在数据存储328中。该配置信息可以包括相关的联系号码，例如用于连接到语音装置314的电话号码。
在另一种安排中，模态切换可以由服务器340发起。例如IVR应用可以发起与人工代理谈话的转移请求，例如如下：
<form id＝”form1”>
<transfer name＝”xfer”
dest＝”sip:nextagent9.22.92.23”
bridge＝”false”
connecttimeout＝”5s”
maxtime＝”60s”
aai＝”appdata”/>
</form>
该转移请求可以停止执行应用342并且可以用信号通知Chatbot服务器320将启动的动作。Chatbot服务器320可以将当前使用的接口318或319和/或信道370或371与将启动的动作进行比较。当需要不同的接口时，可以由Chatbot服务器320启动模态切换动作。
例如，文本交换接口318可以是活跃的并且可以通过语音信道启动到实时代理的转移。Chatbot服务器320可以传送显示在接口318中的到客户302的超级链接。点击该超级链接可以表示同意Chatbot服务器320初始化语音会话。Chatbot服务器320可以查找之前存储的用户偏好以确定呼叫哪个号码来建立语音信道371。当没有可用于 Chatbot服务器320的这种号码时，也可以提示用户输入电话号码。一旦Chatbot服务器320建立了语音信道371，信道370可以关闭，并且Chatbot服务器320可以通过合并信道371和信道372而脱离。应用服务器340可以接着执行转移。
如所示，图3的系统包括网络360，网络360可通信地链接通信装置310、Chatbot服务器320、应用服务器340以及企业服务器350。网络360可以包括任何类型的组件，有线的和/或无线的，其共同允许将包含在载波中的数字编码信息从任意可通信链接的组件传送到任意其他可通信链接的部分。
通信装置310可以是将客户302链接到网络360的任何通信装置。装置310可以包括，例如移动电话、有线电话、计算机、笔记本、平板电脑、个人数字助理(PDA)、可戴式计算装置、娱乐系统、互动媒体装置等等。装置310的特定类别包括文本交换装置312、语音通信装置314以及多模装置316。
文本交换装置312可以是能够实时进行交互式文本交换的计算装置。这些文本交换包括在线聊天、即时消息传递和文本消息传递。通信装置314可以是任何能够通过网络360进行实时语音通信的装置。其包括基于VoIP的通信、传统的电路交换通信、双向无线通信等等。多模装置316是能够参加文本交换和语音通信的装置。一些多模装置316每次限制在一种通信模式，而其他的多模装置能够同时通过多种模式进行通信。
Chatbot服务器320可以是VoiceXML服务器或等同的装置，其将来自装置310的文本交换消息动态地转换为可由语音服务器330使用的消息。允许语音服务器330接受文本的文本输入API344的使用可以允许来自设备310的文本直接被语音服务器330使用。Chatbot服务器320也可以将来自语音服务器330的输出动态地转换为可由话音应用使用的输出，并且接着使得其在接口318中可以呈现。
对于每个管理的通信会话，Chatbot服务器320可以实例化 Chatbot对象324。Chatbot对象324可以包括SIP服务器端程序(servlet)以及一个或多个解释器，例如呼叫控制可扩展标记语言(CCXML)解释器、语音可扩展标记语言(VoiceXML)解释器、可扩展超文本标记语言(XML)加语音配置文件(X+V)解释器、话音应用语言标签(SALT)解释器、媒体源控制协议(MCRP)解释器、为客户定制的标记解释器等等。SIP服务器端程序可以将进入的SIP请求映射到适当的解释器。
由Chatbot对象324处理的通信会话可以涉及多个不同的通信信道，例如信道370和信道372。信道370可以是建立在Chatbot服务器320与装置310之间的通信信道。信道372可以是建立在Chatbot服务器320与语音服务器330之间的通信信道。可以理解，应用服务器340不知道客户302与服务器320通信所使用的通信模态和信道类型。特定的文本输入API344可以被用来允许语音服务器330直接使用由Chatbot服务器320提供的原文输入。
服务器320的转换引擎322可以执行任何需要的转换以将来自文本交换装置312的输出改变成可由语音服务器330使用的输入。通常，对于语音服务器330使用的文本不需要大量的转换，其经由API344提供对文本模式交互功能的访问。可以理解，文本模式交互功能通常由开发者在测试和开发阶段使用，但是此处在运行时间正被用来允许语音服务器330直接处理文本。例如，互联网工程任务组(IETF)标准媒体源控制协议版本2(MRCPv2)包含用于话音识别器资源的文本模式解释功能，称为INTERPRET，该功能允许语音服务器330直接处理文本。
应用服务器340通常会生成诸如VoiceXML输出的语音标记输出，语音服务器330将该输出转换为音频输出。转换引擎322可以从该语音标记中提取文本内容并且可以将所提取的文本通过信道370传送到通信装置310。
应用服务器340可以是采用标准化的运行时间平台的模块化组件的应用服务器。应用服务器340可以代表多级环境中的中间设备 服务器。该运行时间平台可以为开发分布式、多级、基于Web的应用提供功能性。该运行时间平台还可以包括服务、应用编程接口和协议的标准集。也即，该运行时间平台可以允许开发者创建在多个平台之间可扩展和可移动的企业应用。该运行时间平台可以包括描述了所需的应用程序接口(API)和兼容策略的相关技术规范的集合。
在一个实施例中，该运行平台可以是JAVA2平台企业版本(J2EE)软件平台。因此，应用服务器340可以是J2EE兼容应用服务器，例如来自纽约州Armonk的国际商业机器公司的WEBSPHERE应用服务器、来自加利福尼亚州圣何塞的BEA系统公司的BEAWEBLOGIC应用服务器、来自乔治亚州亚特兰大的JBoss公司的JBOSS应用服务器、来自ObjectWeb联盟的JOnAS应用服务器等等。该运行时间平台不是要被解释为限制在这点上，这里也可以设想诸如.NET软件平台的其他软件平台。
IVR应用342可以是允许主叫方互动和从企业服务器350的数据库接收信息的应用。到VoiceXML服务器320(已经为Chatbot 320进行了扩展)的访问可以接受使用按键音信号的用户输入、语音输入和文本输入。IVR应用342可以以单个VoiceXML应用的形式向用户提供信息，该单个VoiceXML应用可以被包括DTMF、语音和聊天的任何模态所使用。语音标记也可以直接被传送到转换引擎322，在转换引擎322处语音标记被转换为接口318中可呈现的文本。
IVR应用342可以呈现一系列的提示给用户，并且可以根据之前建立的对话菜单接收和处理提示响应。可以由位于远程的语音服务器330提供话音处理操作，例如文本到话音操作、话音到文本操作、主叫方识别操作以及语音授权操作。没有Chatbot服务器320的介入，IVR应用342将不能与文本交换装置312进行交互，这是因为IVR应用缺少用于处理文本交换输入/输出的本地编码。
本发明可以被实现在硬件、软件或硬件与软件的组合中。本发明可以在一个计算机系统中以集中的方式被实现，或者以分布的方式实现，在分布方式中不同的元件分布在多个互联的计算机系统中。 适合于执行此处所述方法的任何类型的计算机系统或其他设备都是适用的。硬件和软件的典型组合可以是具有计算机程序的通用计算机系统，当加载并执行该计算机程序时，其控制该计算机系统使得其执行此处所述的方法。
本发明也可以被包含在计算机程序产品中，该计算机程序产品包括能够实现此处所述方法的所有特征，并且当加载入计算机系统时，其能够执行这些方法。在本上下文中的计算机程序是指以任意语言、代码或符号表示的一套指令的表达，这些指令旨在促使具有信息处理能力的系统直接执行特定功能或者在下述之一或二者之后执行特定功能：a)转换到另一种语言、代码或符号；b)以不同的素材形式重新生成。
Claims (18)
1.一种用于在涉及语音服务器的对话会话中动态切换模态的方法，包括：
在用户和话音应用之间建立对话会话，其中在所述对话会话期间，所述用户使用原始模态进行交互；
检测模态切换触发器；以及
将所述原始模态改变为不同于所述原始模态的第二模态，而不建立与由所述话音应用所使用的语音服务器的新通信信道，其中到所述第二模态的模态转变对于由所述话音应用所使用的语音服务器是透明的并且对于所述话音应用是透明的，其中所述原始模态和所述第二模态选自包括话音模态、文本交换模态以及包括话音模态和文本交换模态的多模模态的模态组，并且其中所述原始模态和所述第二模态之一是所述文本交换模态。
2.根据权利要求1所述的方法，其中所述文本交换模态包括在线聊天模态、即时消息传递模态以及文本消息传递模态之一。
3.根据权利要求1所述的方法，其中所述话音应用是缺少固有文本交换能力的基于VoiceXML的应用。
4.根据权利要求1所述的方法，其中在所述对话会话期间的通信涉及Chatbot服务器、文本交换客户机和语音客户机，其中在所述对话会话期间，所述文本交换客户机在第一通信信道上与所述Chatbot服务器交换文本交换消息，所述语音服务器在第二通信信道上与所述Chatbot服务器交换消息，以及所述语音客户机在第三通信信道上与所述Chatbot服务器交换基于语音的消息。
5.根据权利要求4所述的方法，其中所述改变步骤改变所述第一通信信道和所述第三通信信道至少之一的激活状态。
6.根据权利要求5所述的方法，其中在所述对话会话期间，所述第一通信信道和所述第三通信信道中一次只有一个是激活的。
7.根据权利要求1所述的方法，其中所述用户输入在原始模态中写入的消息中所提供的切换代码，其中所述切换代码使得所述模态切换触发器激发。
8.一种用于在涉及语音服务器的对话会话中动态切换模态的方法，包括：
识别文本交换客户机与话音应用之间的自动对话会话，其中在所述对话会话期间的通信涉及Chatbot服务器和语音服务器，其中在所述对话会话期间，所述文本交换客户机在第一通信信道上与所述Chatbot服务器交换文本交换消息，所述语音服务器在第二通信信道上与所述Chatbot服务器交换消息，其中所述语音服务器使用允许语音服务器直接使用文本输入的文本接口，其中所述Chatbot服务器将由语音服务器生成的语音标记动态地转换为被提供到所述文本交换客户机的文本；
所述Chatbot服务器检测模态切换触发器；以及
在所述Chatbot服务器与语音装置之间自动地建立第三通信信道，其中用于所述自动对话会话的双向语音消息此后在所述语音装置与所述话音应用之间传送。
9.根据权利要求8所述的方法，其中所述话音应用保持不知道用户输入的消息是来源于所述第一通信信道还是所述第二通信信道，并且保持不知道自动生成的输出是被传送到所述文本交换客户机还是被传送到所述语音装置。
10.根据权利要求8所述的方法，其中所述文本交换客户机是现成的未改装的客户机，并且其中所述话音应用是缺少固有文本交换能力的未改装的话音使能应用。
11.根据权利要求8所述的方法，还包括：
响应于检测所述模态切换触发器，自动地关闭所述第一通信信道。
12.根据权利要求8所述的方法，其中所述模态切换触发器是与所述语音装置的电话号码相关联的，所述方法还包括：
所述Chatbot服务器自动呼叫所述电话号码以建立所述第三通信信道。
13.根据权利要求12所述的方法，其中所述电话号码包含在通过所述文本交换客户机输入的文本交换消息内被传送到所述Chatbot服务器。
14.根据权利要求12所述的方法，其中在由所述Chatbot服务器维护的数据存储中自动查找所述电话号码，其中在所述数据存储内，所述电话号码涉及所述文本交换客户机的用户、与所述文本交换客户机相关联的唯一标识符、与所述文本交换客户机所驻留的计算设备相关联的唯一标识符以及与所述对话会话相关联的唯一标识符中的至少一个。
15.根据权利要求8所述的方法，其中所述话音应用的编程式动作启动所述模态切换触发器。
16.根据权利要求8所述的方法，还包括：
同时维持所述第一通信信道、所述第二通信信道和所述第三通信信道，其中来自所述第一通信信道的文本交换输入和来自所述第三通信信道的语音消息输入在所述第二通信信道上被传送到所述语音服务器。
17.根据权利要求16所述的方法，其中所述第一通信信道和所述第三通信信道是相同的信道，在该信道上多模信息被传送到包括文本模态和话音模态的多模装置。
18.根据权利要求16所述的方法，其中所述第一通信信道和所述第三通信信道是不同的信道，并且其中所述文本交换客户机相比于所述语音装置与不同的通信信道相关联。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US11/613,040 | 2006-12-19 | ||
| US11/613,040 US7921214B2 (en) | 2006-12-19 | 2006-12-19 | Switching between modalities in a speech application environment extended for interactive text exchanges |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN101207656A CN101207656A (zh) | 2008-06-25 |
| CN101207656B true CN101207656B (zh) | 2014-04-09 |
Family
ID=39528612
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN200710192735.9A Expired - Fee Related CN101207656B (zh) | 2006-12-19 | 2007-11-16 | 用于动态切换模态的方法和用于提供文本交换服务的系统 |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US7921214B2 (zh) |
| CN (1) | CN101207656B (zh) |
Families Citing this family (55)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8068595B2 (en) * | 2002-03-15 | 2011-11-29 | Intellisist, Inc. | System and method for providing a multi-modal communications infrastructure for automated call center operation |
| US8027839B2 (en) * | 2006-12-19 | 2011-09-27 | Nuance Communications, Inc. | Using an automated speech application environment to automatically provide text exchange services |
| US8204182B2 (en) * | 2006-12-19 | 2012-06-19 | Nuance Communications, Inc. | Dialect translator for a speech application environment extended for interactive text exchanges |
| US8000969B2 (en) | 2006-12-19 | 2011-08-16 | Nuance Communications, Inc. | Inferring switching conditions for switching between modalities in a speech application environment extended for interactive text exchanges |
| US8612230B2 (en) * | 2007-01-03 | 2013-12-17 | Nuance Communications, Inc. | Automatic speech recognition with a selection list |
| US7730161B2 (en) * | 2007-03-26 | 2010-06-01 | Husky Injection Molding Systems Ltd. | Information exchange system and method |
| CN101515278B (zh) * | 2008-02-22 | 2011-01-26 | 鸿富锦精密工业（深圳）有限公司 | 影像存取装置及其影像存储以及读取方法 |
| US8862681B2 (en) | 2008-06-25 | 2014-10-14 | Microsoft Corporation | Multimodal conversation transfer |
| US11487347B1 (en) * | 2008-11-10 | 2022-11-01 | Verint Americas Inc. | Enhanced multi-modal communication |
| JP5387044B2 (ja) * | 2009-02-25 | 2014-01-15 | セイコーエプソン株式会社 | 複数種類の通信モードが利用される通信システム、通信端末、コンピュータープログラム及び通信方法 |
| US9043407B1 (en) * | 2009-06-12 | 2015-05-26 | Avaya Inc. | Interactive user interface to communication-enabled business process platforms method and apparatus |
| FR2960730A1 (fr) * | 2010-05-31 | 2011-12-02 | France Telecom | Procedes de pilotage et de gestion d'un dialogue interactif, plateforme et serveur d'application les mettant en oeuvre |
| US10104230B2 (en) | 2011-02-25 | 2018-10-16 | International Business Machines Corporation | Systems and methods for availing multiple input channels in a voice application |
| US8572262B2 (en) * | 2011-03-17 | 2013-10-29 | Blackberry Limited | System and method for controlling connections to an application server |
| US8788269B2 (en) | 2011-12-15 | 2014-07-22 | Microsoft Corporation | Satisfying specified intent(s) based on multimodal request(s) |
| US10209954B2 (en) | 2012-02-14 | 2019-02-19 | Microsoft Technology Licensing, Llc | Equal access to speech and touch input |
| US9606767B2 (en) * | 2012-06-13 | 2017-03-28 | Nvoq Incorporated | Apparatus and methods for managing resources for a system using voice recognition |
| US9275642B2 (en) * | 2012-11-13 | 2016-03-01 | Unified Computer Intelligence Corporation | Voice-operated internet-ready ubiquitous computing device and method thereof |
| JP6642424B2 (ja) * | 2014-06-03 | 2020-02-05 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| US20160269349A1 (en) * | 2015-03-12 | 2016-09-15 | General Electric Company | System and method for orchestrating and correlating multiple software-controlled collaborative sessions through a unified conversational interface |
| US9820313B2 (en) * | 2015-06-24 | 2017-11-14 | Republic Wireless, Inc. | Mediation of a combined asynchronous and synchronous communication session |
| US9871835B2 (en) * | 2015-06-27 | 2018-01-16 | Avaya Inc. | System and method for managing multi-modal communication sessions |
| US10587708B2 (en) * | 2016-03-28 | 2020-03-10 | Microsoft Technology Licensing, Llc | Multi-modal conversational intercom |
| US10171410B2 (en) | 2016-03-28 | 2019-01-01 | Microsoft Technology Licensing, Llc | Cross-mode communiation |
| US11487512B2 (en) | 2016-03-29 | 2022-11-01 | Microsoft Technology Licensing, Llc | Generating a services application |
| JP6999580B2 (ja) | 2016-06-21 | 2022-01-18 | オラクル・インターナショナル・コーポレイション | インターネットクラウドでホストされる自然言語による対話型メッセージングシステムサーバ連携 |
| US10491547B2 (en) | 2016-06-21 | 2019-11-26 | Oracle International Corporation | Internet cloud-hosted natural language interactive messaging system user resolver |
| WO2017222615A1 (en) | 2016-06-21 | 2017-12-28 | Oracle International Corporation | Internet cloud-hosted natural language interactive messaging system sessionizer |
| WO2018031765A1 (en) * | 2016-08-11 | 2018-02-15 | TruVerse, Inc. | Systems and methods for providing cross-messaging application conversations |
| CN109691036B (zh) | 2016-09-16 | 2021-03-19 | 甲骨文国际公司 | 具有基于实体的通信的互联网云托管的自然语言交互式消息传送系统 |
| US10217453B2 (en) | 2016-10-14 | 2019-02-26 | Soundhound, Inc. | Virtual assistant configured by selection of wake-up phrase |
| US10777201B2 (en) | 2016-11-04 | 2020-09-15 | Microsoft Technology Licensing, Llc | Voice enabled bot platform |
| US11024304B1 (en) * | 2017-01-27 | 2021-06-01 | ZYUS Life Sciences US Ltd. | Virtual assistant companion devices and uses thereof |
| SE543061C2 (en) * | 2017-01-31 | 2020-09-29 | Telia Co Ab | Methods for providing continuity in chatbot communications |
| KR102471071B1 (ko) * | 2017-06-09 | 2022-11-25 | 구글 엘엘씨 | 오디오 기반 컴퓨터 프로그램 출력의 수정 |
| US10652170B2 (en) | 2017-06-09 | 2020-05-12 | Google Llc | Modification of audio-based computer program output |
| US10614122B2 (en) * | 2017-06-09 | 2020-04-07 | Google Llc | Balance modifications of audio-based computer program output using a placeholder field based on content |
| US10657173B2 (en) | 2017-06-09 | 2020-05-19 | Google Llc | Validate modification of audio-based computer program output |
| US10600409B2 (en) * | 2017-06-09 | 2020-03-24 | Google Llc | Balance modifications of audio-based computer program output including a chatbot selected based on semantic processing of audio |
| US10841755B2 (en) | 2017-07-01 | 2020-11-17 | Phoneic, Inc. | Call routing using call forwarding options in telephony networks |
| US10904169B2 (en) | 2017-08-08 | 2021-01-26 | International Business Machines Corporation | Passing chatbot sessions to the best suited agent |
| US10951552B2 (en) * | 2017-10-30 | 2021-03-16 | International Business Machines Corporation | Generation of a chatbot interface for an application programming interface |
| EP4123478A1 (en) | 2018-01-16 | 2023-01-25 | Google LLC | Systems, methods, and apparatuses for providing assistant deep links to effectuate third-party dialog session transfers |
| US11599565B2 (en) * | 2018-08-30 | 2023-03-07 | Ncr Corporation | Messaging-enabled travel integration processing |
| US20200099634A1 (en) * | 2018-09-20 | 2020-03-26 | XRSpace CO., LTD. | Interactive Responding Method and Computer System Using the Same |
| WO2020086107A1 (en) | 2018-10-26 | 2020-04-30 | Google Llc | Methods, systems, and computer program product for detecting automated conversation |
| US11138384B2 (en) * | 2018-10-26 | 2021-10-05 | Google Llc | Adaptive natural language steganography and watermarking for virtual assistants |
| US11175792B2 (en) | 2019-03-08 | 2021-11-16 | TruVerse, Inc. | Systems and methods for interactive conversational graphical user interfaces |
| JP7459470B2 (ja) * | 2019-09-20 | 2024-04-02 | 株式会社リコー | 情報処理システム、情報処理方法及びプログラム |
| US11316980B2 (en) * | 2019-11-26 | 2022-04-26 | International Business Machines Corporation | Agent to bot transfer |
| US11451498B2 (en) * | 2020-05-28 | 2022-09-20 | Messagebird Bidco B.V. | Omnichannel communication widget |
| US11082559B1 (en) * | 2020-07-31 | 2021-08-03 | Kore.Ai, Inc. | Methods for managing call traffic at a virtual assistant server |
| WO2022119942A1 (en) * | 2020-12-03 | 2022-06-09 | Interactive Media S.P.A. | Systems and methods of integrating legacy chatbots with telephone networks |
| CN114117020A (zh) * | 2022-01-21 | 2022-03-01 | 杭州一知智能科技有限公司 | 一种多渠道对话接续方法及系统 |
| KR20230159919A (ko) * | 2022-05-16 | 2023-11-23 | 주식회사 마인드웨어웍스 | 챗봇 서비스 및 컨택센터 서비스 연계 제공 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1379577A (zh) * | 2001-04-05 | 2002-11-13 | 诺基亚有限公司 | 短语音消息业务方法、装置及系统 |
| CN1427394A (zh) * | 2002-04-09 | 2003-07-02 | 北京无限商机通信技术有限公司 | 语音浏览网关 |
| CN1497931A (zh) * | 2002-10-23 | 2004-05-19 | 国际商业机器公司 | 复制和传送电话对话的系统和方法 |
| WO2005045806A1 (en) * | 2003-11-10 | 2005-05-19 | Philips Intellectual Property & Standards Gmbh | Audio dialogue system and voice browsing method |
| CN1713761A (zh) * | 2004-06-22 | 2005-12-28 | 乐金电子(中国)研究开发中心有限公司 | 一种短消息的语音输出方法 |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6012030A (en) * | 1998-04-21 | 2000-01-04 | Nortel Networks Corporation | Management of speech and audio prompts in multimodal interfaces |
| US6582475B2 (en) * | 1998-09-09 | 2003-06-24 | Ricoh Company Limited | Automatic adaptive document printing help system |
| US6792086B1 (en) * | 1999-08-24 | 2004-09-14 | Microstrategy, Inc. | Voice network access provider system and method |
| US7167830B2 (en) * | 2000-03-10 | 2007-01-23 | Entrieva, Inc. | Multimodal information services |
| US20030125958A1 (en) * | 2001-06-19 | 2003-07-03 | Ahmet Alpdemir | Voice-interactive marketplace providing time and money saving benefits and real-time promotion publishing and feedback |
| AU2001283579A1 (en) * | 2000-08-21 | 2002-03-04 | Yahoo, Inc. | Method and system of interpreting and presenting web content using a voice browser |
| US7174534B2 (en) * | 2001-01-22 | 2007-02-06 | Symbol Technologies, Inc. | Efficient system and method for running and analyzing multi-channel, multi-modal applications |
| US20030046316A1 (en) | 2001-04-18 | 2003-03-06 | Jaroslav Gergic | Systems and methods for providing conversational computing via javaserver pages and javabeans |
| JP2003067331A (ja) * | 2001-08-28 | 2003-03-07 | Matsushita Electric Ind Co Ltd | スケジュール作成方法、スケジュール作成装置及びスケジュール作成プログラム |
| US7711570B2 (en) | 2001-10-21 | 2010-05-04 | Microsoft Corporation | Application abstraction with dialog purpose |
| US6735287B2 (en) * | 2001-11-16 | 2004-05-11 | Sbc Technology Resources, Inc. | Method and system for multimodal presence detection |
| US7136909B2 (en) * | 2001-12-28 | 2006-11-14 | Motorola, Inc. | Multimodal communication method and apparatus with multimodal profile |
| US20030163311A1 (en) * | 2002-02-26 | 2003-08-28 | Li Gong | Intelligent social agents |
| FR2844127B1 (fr) | 2002-09-04 | 2004-10-22 | France Telecom | Systeme d'echange telephonique asynchrone de messages vocaux |
| US7275217B2 (en) * | 2002-09-09 | 2007-09-25 | Vijay Anand Saraswat | System and method for multi-modal browsing with integrated update feature |
| US8028023B2 (en) * | 2002-09-17 | 2011-09-27 | At&T Intellecutal Property I, L.P. | Extending functionality of instant messaging (IM) systems |
| US7103156B2 (en) * | 2002-12-04 | 2006-09-05 | International Business Machines Corporation | Telephony voice server |
| AU2003214512A1 (en) * | 2003-04-07 | 2004-11-01 | Nokia Corporation | Method and device for providing speech-enabled input in an electronic device having a user interface |
| KR100561228B1 (ko) * | 2003-12-23 | 2006-03-15 | 한국전자통신연구원 | 보이스엑스엠엘 문서를 엑스에이치티엠엘플러스보이스문서로 변환하기 위한 방법 및 이를 이용한 멀티모달서비스 시스템 |
| ATE400871T1 (de) * | 2004-01-29 | 2008-07-15 | Harman Becker Automotive Sys | Multimodale dateneingabe |
| US20060036770A1 (en) * | 2004-07-30 | 2006-02-16 | International Business Machines Corporation | System for factoring synchronization strategies from multimodal programming model runtimes |
-
2006
- 2006-12-19 US US11/613,040 patent/US7921214B2/en active Active
-
2007
- 2007-11-16 CN CN200710192735.9A patent/CN101207656B/zh not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN1379577A (zh) * | 2001-04-05 | 2002-11-13 | 诺基亚有限公司 | 短语音消息业务方法、装置及系统 |
| CN1427394A (zh) * | 2002-04-09 | 2003-07-02 | 北京无限商机通信技术有限公司 | 语音浏览网关 |
| CN1497931A (zh) * | 2002-10-23 | 2004-05-19 | 国际商业机器公司 | 复制和传送电话对话的系统和方法 |
| WO2005045806A1 (en) * | 2003-11-10 | 2005-05-19 | Philips Intellectual Property & Standards Gmbh | Audio dialogue system and voice browsing method |
| CN1713761A (zh) * | 2004-06-22 | 2005-12-28 | 乐金电子(中国)研究开发中心有限公司 | 一种短消息的语音输出方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20080147406A1 (en) | 2008-06-19 |
| US7921214B2 (en) | 2011-04-05 |
| CN101207656A (zh) | 2008-06-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN101207656B (zh) | 用于动态切换模态的方法和用于提供文本交换服务的系统 | |
| CN101207586B (zh) | 用于实时自动通信的方法和系统 | |
| US8239204B2 (en) | Inferring switching conditions for switching between modalities in a speech application environment extended for interactive text exchanges | |
| US7688805B2 (en) | Webserver with telephony hosting function | |
| US20210157989A1 (en) | Systems and methods for dialog management | |
| CN110442701A (zh) | 语音对话处理方法及装置 | |
| CN101207584B (zh) | 自动提供文本交换服务的方法和系统 | |
| JP2006146881A (ja) | 会話用合理的エージェント、このエージェントを用いるインテリジェント会話システム、インテリジェント会話を制御する方法、及びそれを用いるプログラム | |
| GB2603842A (en) | Generating summary and next actions in real-time for multiple users from interaction records in natural language | |
| CN105206273B (zh) | 语音传输控制方法及系统 | |
| US11900942B2 (en) | Systems and methods of integrating legacy chatbots with telephone networks | |
| US20070132834A1 (en) | Speech disambiguation in a composite services enablement environment | |
| US7451086B2 (en) | Method and apparatus for voice recognition | |
| EP3535752B1 (en) | System and method for parameterization of speech recognition grammar specification | |
| CN105118507B (zh) | 声控系统及其控制方法 | |
| Lee | Development of translation telephone system by using MQTT protocol | |
| Artola et al. | A Modular Architecture for Multi-Purpose Conversational System Development | |
| Hoang et al. | Design and implementation of a VoIP PBX integrated Vietnamese virtual assistant: a case study | |
| Baggia et al. | The role and importance of speech standards | |
| KR102448733B1 (ko) | 문맥 내 턴 구성을 고려하여 응답을 선택하는 대화 시스템 및 그 방법 | |
| JP4813798B2 (ja) | ネットワークのオーディオデータを処理する方法およびその方法を実行する装置 | |
| Demesticha et al. | Aspects of design and implementation of a multi-channel and multi-modal information system | |
| CN113782022A (zh) | 基于意图识别模型的通信方法、装置、设备及存储介质 | |
| Frattini et al. | Speech Driven Interaction in Mobile Multimodality |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| C06 | Publication | ||
| PB01 | Publication | ||
| C10 | Entry into substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| ASS | Succession or assignment of patent right |
Owner name: NIUAOSI COMMUNICATIONS LIMITED Free format text: FORMER OWNER: INTERNATIONAL BUSINESS MACHINE CORP. Effective date: 20090925 |
|
| C41 | Transfer of patent application or patent right or utility model | ||
| TA01 | Transfer of patent application right |
Effective date of registration: 20090925 Address after: Massachusetts, USA Applicant after: Nuance Communications, Inc. Address before: New York grams of Armand Applicant before: International Business Machines Corp. |
|
| C14 | Grant of patent or utility model | ||
| GR01 | Patent grant | ||
| CF01 | Termination of patent right due to non-payment of annual fee | ||
| CF01 | Termination of patent right due to non-payment of annual fee |
Granted publication date: 20140409 Termination date: 20211116 |