CN101010934B

CN101010934B - 用于机器学习的方法

Info

Publication number: CN101010934B
Application number: CN2005800297036A
Authority: CN
Inventors: D·R·威廉姆斯; J·希尔
Original assignee: Microsoft Corp
Current assignee: Microsoft Technology Licensing LLC
Priority date: 2004-09-10
Filing date: 2005-09-07
Publication date: 2010-09-29
Anticipated expiration: 2025-09-07
Also published as: KR20070055530A; KR101169113B1; JP2008512789A; US8000973B2; CA2826116C; US7606714B2; JP4901738B2; AU2005285108A1; RU2007108794A; US20090228264A1; RU2391791C2; CA2576605A1; BRPI0515169A; EP1787458A2; US20050105712A1; MX2007002880A; EP1787458A4; CA2826116A1; AU2005285108B2; WO2006031609A3

Abstract

一种自动化响应系统(例如，自动化语音响应系统)可采用学习策略来开发或改进自动化响应能力。学习策略可包括使用对话中一方(例如，顾客服务代理)的通信(例如，言语、文本消息等)来标识并归类对话中另一方(例如，呼叫者)的通信。分类器可从所归类的通信来构建。分类器可用来标识对话中一方(例如，代理)的常见通信模式。学习策略也可包括基于选择准则(例如，选择准则被选择来确保系统不向不可靠或无意义的示例学习)来选择通信作为学习机会以改进自动化响应能力。

Description

用于机器学习的方法

技术领域

本说明书涉及自动化响应系统中的机器学习。

背景技术

其中管理对话的一种应用是在顾客联系中心中。顾客联系中心，例如呼叫中心已作为新经济中企业的最重要和动态的区域之一而浮现。在当今严苛的经济环境中，成本有效地服务并保留顾客具有战略重要性。大多数公司认识到，与获取新顾客相比，留住满意的顾客较不昂贵。作为一半以上所有顾客交互的企业接触点，联系中心成为成功商业战略的基石。

联系中心日益增长的重要性是近期的现象。在历史上，顾客服务被大多数组织视为商业中昂贵但必需的成本，充满了问题和低效率。大量呼叫经常使训练不够的员工难以招架，导致顾客相当长的忙碌队列。不充分的信息系统需要大多数呼叫者多次重复基本信息。因此，估计百分之二十的购物者在面对必须呼叫组织的联系中心时会放弃网站，且当他们遇到保持队列或使人受挫的菜单选择时更多人会放弃呼叫。此外，顾客联系中心表现出惊人的运作成本，花费几乎平均交易收入的百分之十。劳动力成本主导这种花费，且行业异常高昂的周转率导致对新代理人的不断招聘和训练。

对企业而言，不幸的是，确保成本有效的顾客服务的目标变得更加难以达成。因特网驱使组织及其顾客之间的通信的爆发。顾客在因特网经济中将较高价值放在服务上，因为在线购买的产品和服务与经由传统销售渠道购买的产品和服务相比，生成更多的询问。联系中心的角色被扩大为包括服务新受众，诸如商业伙伴、投资者甚至是公司雇员。新的、高效的广告和营销创新(initiative)指导顾客与已经超负载的联系中心交互以获取信息。除电话呼叫以外，现在经由新的基于Web的文本渠道，包括电子邮件、web邮件和聊天进行询问，这些渠道对顾客服务操作施加了巨大的压力。

良好的顾客服务的日益增长的重要性与递送这种服务的障碍的组合构成了顾客服务的挑战。

发明内容

在一个方面中，本发明的特征在于，使用在一组之前记录的代理-呼叫者对话(例如，人工代理-呼叫者对话)中所捕捉的代理通信(例如，言语、文本消息等)来训练一组代理分类器。从代理分类器中，呼叫者言语可被定位并群集。所群集的呼叫者言语可用于训练一组呼叫者群集。

在另一方面中，本发明的特征在于，通过使用分类器(例如，代理或呼叫者分类器)来对之前记录的代理-呼叫者对话中的通信进行分类、将所分类的通信添加到相关联分类器的训练集、并重建该分类器以扩充呼叫者群集。

在另一方面中，本发明的特征在于，使用代理分类器来标识一组之前记录的代理与呼叫者之间的对话中的常见代理请求模式。这些常见代理请求模式可与某些呼叫类型(例如，与同一初始呼叫者请求有关的呼叫)相关联。这些代理请求模式可例如由应用程序开发员使用来设计自动化响应系统的对话流程。

在另一方面中，本发明的特征在于，使用呼叫者对代理询问相同信息的不同措辞的问题的响应的分布来确定自动化响应系统最有可能从呼叫者产生期望响应的一问题的用语。

在另一方面中，本发明的特征在于，一种方法包括接收第一方类型(例如，人工代理或软件代理)的成员与第二方类型(例如，人工呼叫者)的成员之间的一组对话，其中对话中的每一个包括第一方类型的成员的通信(例如，说出的请求)以及响应于第一方类型的成员的该通信的第二方类型的成员的通信(例如，说出的对该请求的响应)。该方法还包括将第一方类型的成员的通信分组到第一组群集内，然后基于第一方类型的成员的通信的分组将第二方类型的成员的响应通信分组到第二组群集内。该方法还包括由机器为第二组群集中的一个或多个群集生成一组第二方类型分类器(例如，支持向量机或决策树)。

本发明的这一方面的实现包括以下一个或多个特征。该方法可用于为自动化响应系统，诸如自动化语音响应系统或自动化文本消息通信响应系统开发初始应用程序。第一方类型的成员的通信可使用计算机被分组到第一组群集内。例如，计算机过程可首先确定通信的语义特征，然后基于该语义特征将通信分组到群集内。

第一组的成员的通信的多个组可基于其通信的意义来分组。换言之，通信可如此被分组，使得一组内的通信均具有相同的意义，但具有不同的用语。第二方类型的成员的通信被分组成对应于对来自第一方类型的成员的信息请求的响应的组。

该方法还可包括接收第一方类型的成员与第二方类型的成员之间的第二组对话集，应用第二方类型分类器来对第二方类型的成员的通信进行分组，且由机器使用与分组在第二组群集中的一个群集中的通信有关的数据为该群集重新生成第二方类型分类器。

在另一方面中，本发明的特征在于，应用一组分类器来对作为也包括响应通信的对话的一部分的发起通信(例如，来自代理的信息请求)进行归类，并使用所归类的通信来标识常见通信模式。

本发明的实现可包括以下一个或多个特征。该方法还可包括按主题(例如，呼叫者呼叫呼叫中心的目的的主题)对一组对话中的对话进行分组，以及使所标识的常见通信模式与组相关联。

在另一方面中，本发明的特征在于，应用一组分类器(例如，支持向量机)来对第一方类型的成员与第二类型的成员之间的对话中的第一方类型成员的通信进行归类，以及基于所归类的第一方类型的成员的通信的组合或序列确定该对话的主题。

本发明的实现可包括以下一个或多个特征。该方法还可包括将所归类的通信的序列同与具有已知主题的对话相关联的一已归类的通信的序列进行匹配。

在另一方面中，本发明的特征在于，使用在呼叫者与自动化响应系统(例如，自动化文本消息通信响应系统或自动化语音响应系统)之间发生的通信的示例来改进系统的性能。

在另一方面中，本发明的特征在于，基于某些选择准则为自动化响应系统选择用于学习机会的示例。选择准则可被选择(例如，由用户经由图形用户界面)来有助于确保系统所学习的示例是可靠的。选择准则也可被选来确保系统仅选择导致对系统有意义的改进的示例。通过丢弃不导致对系统有意义的改进的示例，系统有助于最小化对资源的负担(例如，任务为实现改进的处理资源或任务为审阅或批准学习示例的人力管理资源)。

在另一方面中，本发明特征在于，一种用于为与联系中心相关联的自动化响应系统选择学习机会的方法，它包括接收至少其中某一些包括个人同与联系中心相关联的代理(例如，人工代理或软件代理)之间的一连串通信(例如，言语、文本消息等)的对话的数字表示，以及如果满足一个或多个选择准则则选择通信作为学习机会。

实现可包括以下一个或多个特征。选择准则可以是对通信之后是个人与代理之间的通信交换的要求、对通信之后是个人与代理之间的多个成功的后继通信交换的要求、对通信被包括在其中个人肯定地响应由代理提出的满意与否问题的对话内的要求、对第一对话中的通信由在多个其它对话中发生的相似通信确认的要求、或者对通信不会导致使用该通信构建的一组分类器把之前的一组分类器已正确分类的通信误分类的要求。

在某些实现中，个人与代理之间的通信可包括其中人工代理从由自动化响应系统生成的建议响应的分级列表中选择对个人通信的响应的协助交互。对这些协助交互，选择准则可包括对协助交互中的所选响应排在一阈值之上的要求或对协助交互中的所选响应从可信人工代理选择的要求。

所选通信可用于通过使用所选通信重建分类器、使用所选通信为自动语音识别引擎生成语言模型、或使用所选通信修改有限状态网络来改进系统性能。

在语音响应实现中，该方法还可包括，使用离线语音识别引擎对选为学习机会的言语执行语音识别。该方法还可包括，在执行语音识别之前，基于与通信的数字表示相关联的言语的意义的置信度等级来确定是否要对所选言语执行语音识别。

在另一方面中，本发明的特征在于，一种用于为与联系中心相关联的自动化语音响应系统选择学习机会的方法，它包括接收在呼叫者同与该联系中心相关联的一个或多个代理之间发生的对话的数字表示，并基于一个或多个选择准则选择转录的对话的数字表示中所捕捉的言语。

实现可包括以下一个或多个特征。选择准则可包括对自动化语音响应系统的响应的置信度等级处于一值域内的要求，或对在对话期间对言语执行的语音识别过程的置信度等级处于一值域内的要求。该方法还包括，对言语执行语音识别，并将言语中所识别的单词添加到由系统使用以在对话期间识别言语的语音识别过程所使用的单词的词汇表。

在另一方面中，本发明的特征在于，一种包括基于个人同与自动化响应系统相关联的人工代理之间的交互来选择通信作为训练该自动化响应系统的示例的方法，其中代理从由该自动化响应系统建议的响应中选择对个人的通信的响应。

本发明的实现可包括以下一个或多个特征。对通信的选择可基于由代理选择的响应的置信度等级或选择响应的人工代理的信用等级。

在另一方面中，本发明的特征在于，一种标识导致响应由人工代理处理的联系自动化响应系统的个人之间的通信并修改该自动化响应系统以响应于来自联系系统的个人的相似的将来的通信的方法。

在一个特定实现中，修改自动化响应系统可包括修改与系统相关联的有限状态转移网络。

在另一方面中，本发明的特征在于，一种用于为自动化响应系统选择学习机会的方法，包括将通信添加到用于概念识别引擎中的分类器的训练示例集、使用包括所添加的通信的该训练示例集来生成新分类器、以及基于对新分类器的性能要求丢弃该新分类器。

实现可包括以下一个或多个特征。性能要求可以是对新分类器对至少预定数目的其它示例进行正确分类的要求，或者是对新分类器具有与之前分类器的示例的确定集有预定数目的不同的新示例确定集的要求。

在另一方面中，本发明的特征在于，为响应通信的至少一个群集生成一组分类器，该群集基于对话内与响应通信相关联的发起通信的一个或多个群集。

实现可包括以下一个或多个特征。发起对话可以来自第一方类型的成员(例如，顾客服务中心的代理)，响应对话可以来自第二方类型的成员(例如，联系顾客服务中心的顾客)。该方法还可包括接收其中至少某一些包括发起通信和相关联的响应通信的一组对话。响应通信的群集可包括与发起通信相关联的响应通信。

通过阅读以下描述和权利要求书，其它优点、特征和实现将是显而易见的。

附图说明

图1示出状态转移线形图，图1A示出状态转移图。

图2示出顾客、系统和人工代理之间的交互。

图3是流程图。

图4是软件体系结构系统的概观。

图5是图4的软件体系结构的更详细视图。

图6是工作流组件系统的框图。

图7是交互通道组件的框图。

图8是语音识别器的框图。

图9是概念识别引擎的框图。

图10是标记语言文档的组织的视图。

图11是示例图的状态转移图的子集的视图。

图12是迭代应用程序开发过程的视图。

图13是屏幕截图。

图14是另一屏幕截图。

图15是初始应用程序开发过程的视图。

图16A-16F是初始应用程序开发过程的视图。

图17是学习服务器的框图。

具体实施方式

诸如通过整体引用而包含的美国专利第6,401,061号中所述的技术等基于概念或意义的自然语言处理技术可被用来基于信息的意义或语义上下文而非其字面措辞来与该信息智能地交互。然后可构建用于管理通信，例如其中用户提出问题而系统提供答复的通信的系统。这样的系统是高度有效的、用户友好且容错的，因为它独立于字面措辞从用户查询中自动提取关键概念。概念识别引擎(美国专利第6,401,061号中所述的那种)允许基于当顾客经由基于语音或文本的通信信道而使底层系统参与对话时顾客所要求的来形成适当的响应。对话可以是与顾客的同步通信(诸如使用语音或即时消息通信的实时对话或经由网页进行的其它通信)或异步通信(诸如电子邮件或语音邮件消息)。在使用异步通信模式的对话中，响应在相对于顾客询问的稍后时间提供。

在顾客联系中心的示例中，在运行时之前，通信管理系统使用记入日志的顾客与顾客联系中心的人工代理之间的实际对话来创建知识库。以这种方式使用记入日志的对话而非试图为每个可能的顾客交互对系统编程使得设置变得简单、迅速且处于各种各样系统管理员的能力之内。

不同于不能迅速适应不断改变的商业情况的传统自服务系统，此处所述的系统可迅速对典型的问题和回答对建模，并自动化将来的对话。

由系统(在运行时之前构建知识库或在运行时处理实时通信中任一种)处理的每一对话被建模成状态以及向其它状态的转移的有序集合，其中从每一状态的转移包括顾客的问题或陈述以及人工代理的响应(或在某些情况中，响应于该问题要采取的动作，诸如反过来向用户提出问题)。来自所记录的交互的正被处理的对话的符号化状态-转移-状态序列在图1中示出。在某些实现中，每一顾客的陈述或通信或人工代理的响应的定界符是一段时间的沉默或口头打断。

这些陈述或响应中的每一个的文本从例如文本或语音等对话中所使用的任何通信介质中提取。例如，可使用在线自动语音识别(ASR)引擎将口头对话转换成文本。接着，系统从顾客的问题或陈述或者人工代理的响应中提取关键概念。这种提取如美国专利第6,401,061号中所述通过按照一组概念(语义因素)创建文本元素(S语子，S-Morph)及其意义的库作为供概念识别引擎使用的知识库来完成。概念识别引擎将来自顾客或代理的文本解析成这些S语子，然后收集匹配这些S语子的概念。通信(在所述示例中，即问题或响应)的这些关键概念可被存储为无序集合，且可被称为“概念包”。将概念组织成反映句法或接近程度的各种结构的更高级组织也是有可能的。当处理了记入日志的对话的整个集合(即谈话)之后，每一对话被表达为一状态-转移-状态序列。系统将所有对话状态转移序列累积成单个图，使得初始状态可转移到对话中的任一个。该聚集转移图然后使用替换重复的状态和转移的图论技术来压缩。系统通过将转移与其“概念”比较来递归地确定来自给定状态的哪一转移重复。来自同一状态的重复转移的后继状态然后可合并成具有来自该后继状态的所有转移的一个状态。重复转移的响应之一的文本被保存在知识库中作为标准响应。该文本可以按文本形式或转换成声音来被传回给顾客作为对话交换的一部分。所得的经压缩的状态转移图为系统形成知识库。经压缩的状态转移图的示例在图1A中示出。在某些实现中，该知识库中的所有信息使用良好定义的XML语法来存储。标记语言的示例包括超文本标记语言(HTML)和语音可扩展标记语言(VoiceXML)。在这种情况中，使用对话标记语言(CML)来为知识库存储的信息。

一旦知识库形成之后，系统可前进至操作(运行时)模式，其中系统被用于管理例如顾客联系中心中的通信。用于为给定顾客联系中心构建知识库的日志在某些实现中将从发生在同一顾客联系中心的对话或由相似种类的对话为特征的对话开始记录。使用该知识库，系统可基于顾客联系中心的状态转移图来跟踪运行时对话的当前状态。例如，当顾客与顾客联系中心进行了其第一通信(转换成文本)(例如，用户可能进行任意的自然语言口头查询)之后，系统使用概念识别引擎来从文本中提取概念。接着，系统试图将来自文本的概念与从联系中心的状态转移图中的初始状态的转移的文本进行匹配。这种匹配是通过将与当前通信相关联的一组概念与知识库中所存储的一组概念进行比较来完成的。这两组越接近，对匹配的准确性的置信度越高。如果知识库中的最佳匹配转移以某一阈值以上的置信度匹配顾客的文本，则系统假定它标识了正确的转移，在知识库中定位相应的响应，并将该相应的响应传达给顾客。系统前进至状态转移图中的下一状态，并等待顾客的下一通信。对状态和转移的序列的这一遍历可继续，直到用户终止对话或状态转移图到达结束状态中的任一情况。然而，概念识别引擎所接收的文本中的错误以及顾客的不标准(或非预期)问题或陈述可能需要人工代理的干涉。当顾客的通信为语音形式时，从语音到文本的转换可能会有这样的错误。由于这样的错误的可能性，在某些实现中，系统不依赖对顾客的响应的完全自动化，而是具有当自动化不成功时对人工代理进行的手动干涉的平滑转移。一般而言，这种类型的逐步自动化由图2示出，它示出顾客1、系统3和人工代理5之间的交互。(在系统的其它实现中，只在高置信度的情况下可给出自动化响应，否则没有响应(除了指示系统不能响应)向用户给出。)

在某些示例中，系统使用语音识别技术使用户经由电话参与对话。语音识别技术将顾客的语音转换成文本，该文本成为对概念识别引擎的输入。通过将概念识别引擎与语音识别集成，底层系统通过概念上理解用户的意思来识别用户所说的。这种组合允许通过使用户参与跨多个通道的直观、智能且建设性的交互来建立顾客服务中心中的新层次的自动化。而且这样允许组织卸下跨所有联系通道的大量常规顾客事务，从而节省了相当的费用并改进了服务水平。

在其它实现中，与顾客进行的这些对话可经由使用例如VoiceXML浏览器的音频界面、使用HTML浏览器的网络、使用IM应用程序的即时消息通信程序、使用邮件应用程序的电子邮件以及还未使用的其它通道来进行。

应注意，该系统允许联系中心的响应使用不同于顾客的通信的通信模式。例如，顾客可使用语音通信，而联系中心可以文本来响应，或者顾客可使用文本通信，而联系中心以计算机生成的语音来响应。这可通过直接使用所保存的响应文本或者通过将所保存的响应文本转换成计算机生成的语音中任一种来完成。

在某些实现中，系统提供三种类型或层次的对话管理，且系统可在给定对话期间在这三者之间切换。

1.自动化——系统能够产生对顾客请求的适当响应，并完全独立于人工代理自动化该事务。例如，顾客A呼叫公司的顾客联系中心以询问他们对新产品保修。顾客A由自动化系统问候，该系统介绍自己并给出关于自动化系统如何工作的简要解释，包括示例询问。然后他被提示来以其自己的话陈述其询问。顾客A以对话方式陈述其询问。自动化系统向该顾客告知公司的全面保修政策。系统询问顾客A解答是否有用以及他是否有其它问题。他的问题得到回答，顾客A结束呼叫。

2.混合代理协助——在此模式中，该系统通过向人工代理呈现该顾客的询问以及多个按置信度/相似度分级(“匹配分值”)的建议的响应而涉及到人工代理。人工代理选择所建议的响应之一，从而允许系统完成呼叫。人工代理也可通过向系统输入问题来在系统知识库中搜索替换响应。在混合代理协助模式中，代理不接听呼叫或与顾客直接交互。期望混合模式通过允许代理迅速将系统‘定向’到正确的解答来减少代理时间。人工代理然后可移至新事务。例如，顾客B呼叫公司的顾客服务组织以询问他可在夜间为服务付费的地址。顾客B由自动系统问候，该系统介绍自己并确认顾客的名字。当确认其名字之后，向顾客B给出关于自动系统如何工作的简要解释，包括示例询问。然后他被提示来以其自己的话陈述其询问。顾客B以对话方式陈述其询问。自动系统要求顾客稍等片刻，同时它寻找对其问题的回答。系统将呼叫转给下一可用代理。当顾客等待时，系统连接至可用人工代理，并低声播放顾客B的问题。人工代理接收弹出的带有该顾客问题的若干建议的响应的屏幕。人工代理选择适当的所建议的回答，并点击“响应”，从而允许系统来完成交互。系统通过提供夜间地址来恢复其与顾客B的交互。系统询问顾客B解答是否有用以及他是否有其它问题。他的问题得到回答，顾客B在不知道人工代理选择了响应中任何一个的情况下结束呼叫。

3.代理协助接管——在接管模型中，系统升级(escalate)到人工代理，该人工代理完全接管呼叫，从而使呼叫者参与到直接对话中。期望接管模型通过从呼叫中为顾客服务代理预先收集对话信息，并允许代理在呼叫期间在系统的知识库中查找信息，从而减少随后需要花费在呼叫上的时间量来改进代理生产率。例如，顾客C呼叫公司的顾客服务组织以关闭其帐户。顾客C由自动系统问候，该系统介绍自己并确认顾客的名字。当确认其名字之后，向顾客C给出关于自动系统如何工作的简要解释，包括示例询问。然后他被提示来以其自己的话陈述其询问。顾客C陈述他想要关闭他在该公司的帐户。自动系统要求顾客确认其帐户号。顾客C在电话键盘上打入其帐户号。系统告知顾客C等待，同时他被转给代理。系统将呼叫传递给该事务的适当代理池。下一可用代理接收顾客C的问题的记录，并接收弹出的带有其帐户信息的屏幕。代理通过询问顾客C想要在何时关闭其帐户来接管呼叫。

系统基于系统处理情况的能力在这三种对话管理模式之间切换。例如，在自动对话模式中，如果系统不能以足够的置信度使顾客的询问与标准问题/响应对匹配，则系统可切换至混合代理协助模式。而且，在混合代理协助模式中，如果人工代理确定在给定顾客询问的情况下计算机生成的响应中没有适当的，则系统可切换至代理协助接管对话模式，且人工代理完成该对话。在本发明的一个较佳实施例中，顾客也具有切换对话模式的能力。例如，顾客可能希望切换出自动对话模式。在另一实施例中，系统可基于人工代理有多忙碌来调节解释顾客通信时的置信度的阈值。这可向顾客给出尝试自动响应而非等待忙碌的人工代理的选项。

当人工代理具有足够的关于系统通信模式的经验时，发生一附加的对话管理模式。在这种情况中，如果顾客的通信以较低置信度等级与转移匹配，则人工代理可决定以替代文本改写顾客的问题，这可能导致更成功的匹配。如果这样，则对话可在自动模式中继续。

系统使用这三种对话模式来管理的顾客与联系中心之间的对话由图3中所示的流程图来建模。在该流程图中，首先，用户通过将问题或陈述传达给联系中心来发起对话(2)。接着，通信被转换成文本(4)。所标识的转移可包含与系统随后的响应相干的可变数据。该可变数据可以是顾客的名字或标识号，且具有特定数据类型(串、数字、日期等)。可变数据(当存在时)从顾客通信的文本中被提取(6)。特殊规则可用于标识可变数据。接着，概念识别引擎将其余的文本解析成S语子，并收集匹配这些S语子的“概念包”(8)。接着，系统标识其概念以最高的置信度等级匹配从顾客通信中所提取的概念的自当前状态的转移(10)。如果在转移中期望数据变量，则将在比较中包括将期望变量的数据类型与所提取变量的数据类型进行匹配。如果匹配的置信度高于设定阈值(12)，则系统假定顾客在所标识的转移中。在这种情况下，系统可能必须查找数据来找出匹配所标识的转移的响应(14)。例如，如果顾客的通信是询问关于企业的营业时间的问题，则系统可在数据库中查找营业时间。接着，系统向用户发送匹配响应以及如果是响应的一部分的额外数据(16)。该响应可以是众多形式的通信的其中之一。如果对话是通过电话进行的，则系统的响应可以是计算机生成的语音。如果对话是基于文本的，则响应可以是文本。当然，即使问题是语音的，响应也可以是文本的，反之亦然。如果系统以不足的置信度标识转移(12)，则处于联系中心的人工代理被提示来进行协助。人工代理查看具有迄今的对话呈现的图形用户界面(18)。系统还向人工代理示出自当前状态起按从具有与顾客通信的最佳匹配的转移到最差匹配的转移的顺序排列的一列预期转移。人工代理确定是否有预期转移的其中之一适于该对话的上下文(20)。如果一个转移适当，则人工代理向系统指示该转移，且系统以自动化模式继续该对话(14)。否则，如果人工代理确定没有转移适于该对话的上下文，则人工代理直接接管该对话直到它完成(28)。

系统在处于操作(运行时)模式中时可继续扩展其知识库。系统将其在处于代理协助接管模式中时人工代理与顾客之间的对话记入日志。每隔一定时间，这些对话如知识库初始创建时那样被处理，且新状态转移序列被添加到知识库。一个区别在于，代理协助接管模式通常以初始状态之后的状态开始。因此，新状态转移序列之一通常作为从非初始状态的转移被添加到聚集状态转移图。每当新状态转移序列被添加到知识库中的聚集状态转移图时，聚集状态转移图如前述被压缩。

该系统的一示例实现在图4中示出。对话服务程序30是该系统的运行时引擎。对话服务程序30是部署在J2EE应用程序服务器上的Java2企业版(J2EE)应用程序。该应用程序是为使用对话工作室32的对话服务程序开发和部署的。图4示出对话服务程序30与对话工作室32之间的关系。

该系统是多通道对话性应用程序。在对话服务程序30内，多组自动化软件代理执行系统应用程序。多通道，指的是例如软件代理能够经由多个交互通道：电话、网络、即时消息通信以及电子邮件来与呼叫者交互。对话性，指的是软件代理具有与人工代理所具有的与呼叫者之间的对话类似的与呼叫者之间的交互对话。系统使用迭代的应用程序开发和执行范例。如前所述，支持系统应用程序的呼叫者与代理谈话是基于呼叫者与联系中心内的人工顾客支持代理之间的实际谈话的。

图4还示出对话服务程序与系统的其它元素之间的关系。对话服务程序30与企业信息服务程序(34)交互，后者接受源自顾客的数据并为对顾客问题的响应提供数据。代理工作站36执行具有当对话处于混合代理协助模式中时允许人工代理为系统选择转移的图形用户界面的软件。当对话处于代理协助接管模式中时，代理电话38允许人工代理进入与顾客的实况口头对话。

该系统还包括实现有助于系统在部署系统之后向呼叫学习的过程的学习服务程序31。以下将参考图17更详细描述学习服务程序31。

将在图5中描述对话服务程序30的内部体系结构。对话服务程序30具有支持系统应用程序的逻辑的四层核心组。这些层是传统上可在web应用程序服务器上找到的四层。它们是表示40、工作流42、业务44和集成46。

表示层40负责向最终用户表示信息。诸如Java服务器页面(JSP)等服务器小程序是该层传统上采用的J2EE技术。表示层由两个子系统组成：交互通道子系统48和代理交互子系统50。交互通道子系统48处理对话服务程序30经由以下每一交互通道：网络52、VoiceXML 54、即时消息通信程序聊天56以及电子邮件58与顾客进行的交互。代理交互子系统处理对话服务程序30与联系中心内的人工代理进行的交互。

工作流层42处理动作的定序。这些动作包括针对业务层内的业务对象的事务以及与最终用户的交互。在对话服务程序30中，工作流层42由理解与顾客进行的对话的软件代理60来填充。此外，这些代理与业务层44内的业务对象交互。软件代理60是由对话工作室32(应用程序开发系统)产生的标记语言的解释程序。

业务层44保存应用程序域的业务对象。企业JavaBean(EJB)是在业务层中采用的传统技术。对话服务程序不将系统专用技术引入该层。相反，它采用J2EE应用程序服务器上部署的其它应用程序可用的同一组组件。

集成层46负责应用程序服务器对数据库和外部系统的接口。J2EE连接器和web服务是该层中采用的传统技术。如同业务层44一样，对话服务程序30不将系统专用技术引入该层。相反，它采用传统J2EE组件。公共集成层的价值在于，对集成外部系统的任何工作可用于J2EE服务器上所部署的其它应用程序。

围绕四层核心组的是便于对话服务程序30的操作的一组子系统。这些子系统是部署62、日志记录64、联系服务器接口66、统计68和管理70。

部署子系统支持系统应用程序的迭代、热(hot)部署。这适于其中对话被记入日志并反馈给对话工作室32的迭代应用程序开发，对话工作室中联系中心内的人员可使用系统应用程序不能理解的短语来增大应用程序。

日志记录子系统64维护软件代理60所具有的与顾客和顾客支持代理进行的对话的日志。该日志是对话工作室32所支持的迭代应用程序开发过程的输入。学习服务程序31使用这些记入日志的呼叫来为概念识别引擎(CRE)74生成一组学习机会。

联系服务器接口(CTI)66向多个CTI和联系服务器72提供统一接口。

统计子系统68为人工代理维护呼叫处理统计数据。这些统计数据等效于ACD和/或联系服务器72提供的统计数据。呼叫中心操作人员可使用这些统计数据来确保中心具有足够的人工代理劳动力来服务中心所预期的话务。

管理子系统70允许对话服务程序30由企业内的网络管理人员管理。子系统70支持诸如SNMP等标准网络管理协议，使得对话服务程序30可由诸如HP OpenView等网络管理系统管理。

图6示出该系统的工作流层40的组件。软件代理60是工作流层40内的主要实体。软件代理60是保存与顾客、联系中心内的人工代理以及后端系统进行的对话的自动化实体。所有这些对话都根据对话工作室32所开发和部署的应用程序来保存。工作流40上的功能性要求如下：

分配、汇集(poo1)能够处理对对话服务程序30部署的任何应用程序的软件代理并使其可用。该代理汇集能力类似于EJB的实例汇集能力。它也适于联系中心的劳动力管理模型。

交互通道分配软件代理60，并请求软件代理60处理特定应用程序。工作流层40与管理应用程序的应用程序管理器交互。应用程序管理器将选择要采用的应用程序的版本(如由应用程序开发员所指示的)。

软件代理60检查许可证管理器以确保交互在所请求的通道上是被允许的。如果否，则软件代理60返回适当的响应。

软件代理能够一次保存多个谈话。软件代理可在与人工代理进行对话的同时在响应解决期间保持与至少一个顾客进行的对话。这种能力可扩展为使代理一次经由多条通道与顾客交谈。

软件代理60根据在对话工作室32中开发的应用程序来保持对话。

软件代理60调用概念识别引擎(CRE)74以在它所接收的上下文中解释顾客的输入，并根据所返回的结果行动。

每一软件代理60维护它所具有的对话的转录本。该转录本最终经由对话日志记录子系统记入日志。转录本包含均适当标有时戳的以下信息：

● 应用程序正在运行

● 与顾客谈话所经过的路径包括：

○ 作为被识别的文本以及说出的短语两者的顾客输入。

○ 谈话的状态(上下文、转移等)

○ 意义识别的结果

○ 软件代理基于意义识别结果采取的动作。

○ 发送给顾客的输出。

软件代理60可采取的动作之一是请求人工代理的协助。这将导致与人工代理进行的谈话的子转录本。该转录本包含：

●呼叫开始处代理组的队列统计数据

●呼叫何时进行以及接听

●代理对呼叫的动作的子转录本，包括：

○代理是协助还是接管

○代理协助时所采取的动作；例如，从由软件代理60呈现的响应列表中选择、调整查询并搜索知识库、创建顾客响应。

○代理是否标记供审阅的特定响应以及代理置于响应上的注释。

○代理对软件代理60的指令。

●工作流层42将产生软件代理60池的统计数据。这些统计数据将经由统计子系统68发布。

●控制工作流层42的操作系统参数(例如最小和最大代理/应用程序、增长增量)将从经由管理子系统70管理的配置数据库中检索。

图6示出组成工作流层42的各组件——代理管理器76和代理实例。代理管理器76处理代理实例的汇集以及这些实例对特定应用程序的分配。代理管理器76负责与组成对话服务程序32的其它管理器/子系统交互(未示出代理管理器76与统计子系统68的交互)。每一代理实例60使用日志记录管理器78将对话转录本记入日志。

表示层由两个子系统组成：交互通道48和代理交互子系统50。

存在与由对话服务程序支持的交互模式，即HTML80、VoiceXML82、即时消息通信程序84和电子邮件86中的每一个相关联的交互通道。交互通道子系统48是在Cocoon XSP处理基础架构上构建的。在图7中示出交互通道48处理。交互通道的功能性要求有：

●为与顾客(最终用户)进行的每一对话启动、维护并终止交互会话。作为该会话的一部分，交互通道将保持管理与顾客进行的谈话的状态的代理实例。

●从传入的统一资源定位器(URL)确定通道类型和应用程序。URL可采用http://主机地址/应用程序名.MIME类型？参数的形式，其中主机地址＝IP地址和端口；应用程序名＝所部署的应用程序名；MIME类型＝指示通道类型(例如，html、vxml等)；参数＝请求参数。

●对HTML和VoiceXML通道，将HTTP请求传递给代理以便处理。对IM和电子邮件通道，执行等效请求处理步骤。

●使用适当的文档定义语言(HTML、VoiceXML、SIMPL、SMTP等)将独立于通道的响应转换成通道专用的响应。该转换由XSL样式表控制。响应和处理样式表的定义是应用程序定义的一部分，且由代理在对每一请求处理调用的答复中返回。

响应和XSL样式表的定义分成三种用例。交互通道不特别意识到这些用例。

响应文档和XSL样式表在通道基础上为应用程序定义。响应文档请求CML<output>标签的内容以及从CML生成的其它伪影(artifact) (例如，语法文件)。

在“文件”用例中，用户定义应用程序内的响应文档。响应文档使用在通道处定义的XSL样式表来处理。响应文档必须遵循控制响应文档的DTD。该DTD允许要定义的多字段形式。

在“开放”用例中，用户定义响应文档以及XSL样式表。既不对任一文档施加限制，且对话服务程序30也不负责关于响应处理的任何结果。

该转换处理到通道专用文档语言的变换以及对特定客户的响应打烙印(branding)两者。

对VoiceXML通道54，交互通道82负责将所记录的顾客请求记入日志并向代理告知记录的位置以便包括在对话日志中和/或低声传给人工代理。

如前所述，交互通道子系统48使用Cocoon基础架构来实现。Cocoon基础架构在web应用程序服务器基础架构的表示层40中提供模型视图控制器范例。

服务器小程序90(控制器)处理HTTP请求，并与代理实例60交互来处理该请求。代理实例60返回响应XSP文档和XSL样式表以应用于文档的输出。

XSP文档(模型)作为服务器小程序92被编译和执行。文档向代理实例请求参数以产生其输出——XML流。XSP文档等效于JSP文档。如同JSP处理一样，XSP编译仅当自从上一次XSP文档被编译以来它发生了改变才进行。

XML流根据XSL样式表(视图)被变换成交互通道专用的语言(例如，HTML、VXML)。

人工代理交互子系统(AIS)负责建立与联系中心内的人工代理进行的谈话以及管理软件代理与人工代理之间的协作以便解决不确定的响应。当在应用程序中请求应用程序的传送时也使用该子系统。代理交互子系统与CTI服务器接口交互以便在联系中心内执行连接。CTI服务器接口也向代理交互子系统提供可更改其关于至代理组的连接的行为的队列统计数据。

代理交互子系统(AIS)进行以下动作：

●启动、维护并终止与联系中心内的人工代理进行的谈话以解决所讨论的响应。人工代理是指定来处理该特定应用的解答的指定的代理组的成员。

●作为启动与代理进行的谈话的一部分，AIS分配句柄并将其传递给允许人工代理的桌面应用程序在响应的解答时协作的代理会话。

●AIS提供应用程序编程接口(API)，经该接口人工代理的桌面应用程序能够检索以下内容：当前要求解答的顾客的请求以及所建议的响应；通往解答请求以及确定解答请求是由于过多良好响应还是过少良好响应引起的阈值设定；顾客交互通道类型；迄今的对话的转录本；与该顾客对话相关联的工作流的当前状态，例如人工代理在该对话中协助的次数、顾客与软件代理交谈的时间长度、顾客关于对话所处的状态(上下文)以及潜在地，基于对话的状态和时间的进度的某种度量；以及当前应用程序(和网络)属性。

●AIS API也允许人工代理：选择响应以返回给顾客、修改请求并搜索MRE数据库、以及潜在地选择响应以返回给顾客、从软件代理接管呼叫；以及标记请求/响应交互以便在对话日志中审阅并使注释与该交互相关联。

●AIS API也展示JTAPI接口以允许人工代理登入/登出联系服务器72，并对于联系中心队列管理其工作状态。

●AIS API采用允许其从多个实现技术访问的独立于语言的格式。

●AIS支持将语音呼叫从VoiceXML服务器54路由到联系中心以及随后将这些语音呼叫与特定代理会话相关联。

●AIS允许应用程序设计员定义应用程序向人工代理的呈现。该呈现应使用交互通道(82、84、86或88)中所采用的相同的XSL处理。

人工代理交互子系统的一部分是允许联系中心代理处理解答呼叫的代理桌面应用程序。该应用程序采用两种形式：

●通用人工代理桌面。该桌面在非集成的顾客关系管理(CRM)环境中操作，并作为单独的进程在连接至CTI和CS服务器的代理桌面上运行。

●CRM组件。该桌面被打包成在CRM包的上下文内运行的组件(ActiveX组件或Applet)。

语音识别是将人说出的语言自动转换成文本的技术。存在语音识别系统的多个示例。在其中顾客经由电话对话的系统的实现中，语音识别(由在线ASR执行)是将顾客的通信与适当响应匹配的第一步。典型的语音识别需要将信号处理技术应用于语音以便提取有意义的音素。接着，使用软件搜索引擎以便从字典中搜索可能从这些音素构造的单词。系统的语音识别部分按对通信的可能的上下文的知识引导该搜索。系统的该语音识别部分的框图在图8中示出。如前所述，系统能访问由标记语言CML组成的知识库，该知识库定义顾客与联系呼叫中心进行的标准对话的状态转移图。因为软件代理跟踪对话的当前状态，因此它可查看自该状态的所有可能的转移。这些转移中的每一个具有“概念包”，即“S语子包”104。这些S语子104可被转换成匹配文本112。来自所有可能的转移的匹配文本的聚集是字典中所有单词的子集。一般，搜索来匹配组的子集而非整个组效率更高。因此，该语音识别器的搜索引擎102首先试图将顾客通信的音素与来自所有可能转移的文本112匹配。搜索引擎102在字典中搜索不与该文本匹配的任何其余的音素组合。

在某些系统实现中使用的概念识别引擎(图5中所示)是提供从文本和音频源两者理解用户的自然语言问题的健壮的、独立于语言的方式的高级自然语言处理技术。该技术基于信息的意义，即语义上下文而非字面措词来自动索引信息并与之交互。概念识别引擎理解人们实际讲话的方式以及类型，从而允许系统智能地使用户参与独立于短语或语言的复杂对话以便能访问所需信息。

概念识别引擎基于对短语的语素级分析，从而允许其产生对所封装的意义的主要成分的“理解”。该技术在计算上是高效的，比传统自然语言技术快速，且除非常准确和健壮以外还独立于语言。

应用自然语言处理的大多数其它系统使用句法分析来找到用户输入的同义短语。该分析首先使用非常大的语言学字典来标识短语中的每个单词，或单词的组分。接着，系统试图将这些元素与严格的列表(即，单词或关键字索引)中的特定条目匹配。结果，这些系统使用基于字符串级别的匹配；如果至少一个字符不同于目标索引条目，则匹配失败。使用在某些系统实现中所使用的概念引擎，映射不基于一组固定的单词、短语或词素，而基于一组固定的概念。

作为其对语义处理的强调的结果，概念识别处理内在是健壮的——它对“有噪音”的输入数据工作十分良好。这有助于系统使用语音识别软件来识别说出的单词的能力。虽然有常见的印刷上的错误、语音识别软件所生成的错误或脱离上下文的单词，但系统仍采用一进程来准确识别真实世界对话交互中的意义。用户可说出单词的任何组合，而系统足够灵活来理解用户的输入。

概念识别引擎基于创建并比较语义标志的算法。任何长度的一段文本的语义标志是捕捉其意义的最重要成分的短编码。当源数据存储中的各项以语义标签加上标志时，它们可通过选择性地将它们映射到独立于这些输入文本源中所使用的实际单词和标点的自由形式的语音或文本查询或其它输入文本源来按照其它方式检索或管理。例如，将向询问系统“How can I bring back pants that don′t fit？(我如何能退回不合身的裤子？)”的用户提供来自组织的退货政策数据库的相关信息，即使正确的信息内的任何地方都不包含单词“pants(裤子)”或“bring back(退回)”。独立于输入串中所使用的实际单词，寻找相同信息的替换措辞的用户查询在概念上被映射到相同的退货政策。

该方法架起了统计语言模型自动语音识别(SLM ASR)软件和有限状态语法ASR之间的差距上的桥梁。该技术被称为概念识别引擎(CRE)，它是一种自然语言处理算法。

概念识别引擎(CRE)提供从文本和音频源两者理解用户的自然语言问题的健壮的、独立于语言的方式。该技术是用于基于信息的意义，即语义上下文而非字面措词来索引、映射信息并与之交互的高级自然语言处理技术。与大多数其它自然语言工作形成对比，该技术不依赖于试图产生对文本的完全“理解”的短语的完整的形式语言分析。相反，该技术基于允许其产生对所封装的意义的主要成分的“理解”的短语的语素级分析。

语素被定义为包含意义，即文本上下文的最小语言单位。单词可包含一个或多个语素，其中的每一个均可具有单个或多个意义。对此的相对简单的示例使用单词geography(地理学)示出，它由意义为地球的语素geo和意义为图示的graph组成。这两个不同的语素在组合时形成意味着对地球的研究的概念。因此，意义的各个单位可被组合来形成能在正常通信中容易理解的新概念。

该技术基于创建并比较语义标志的算法。任何长度的给定一段文本的语义标志是捕捉其意义的最重要成分的短编码。当“数据库”中各项以语义标签加上标志时，它们可通过解析独立于输入串中所使用的实际单词和标点的用户生成的自由形式的文本查询或其它类型的输入文本串来被选择性地检索或映射。

CRE使用SLM ASR，通过分析得到的引擎输出并分配然后可与公司信息索引数据库比较的语义标志来接连地确定上下文。而且，CRE有助于通过忽略最常被误识别的那些单词(小单词)并在其分析中使用更着重上下文的单词来抑制语音识别错误的影响。CRE的这种效果从而允许自服务系统尽管有常见的印刷错误或语音识别软件所生成的错误仍能准确识别真实世界对话交互中的意义。简而言之，这两种技术的组合允许系统通过理解你的意思来识别你所说的话。

在设计时，CRE自动索引将由用户搜索和检索的数据。在对话应用中，该数据是顾客与呼叫中心代理进行的对话的转录的录音，但是文本信息的任何集合(文档、常见问题(FAQ)列表、数据库内的自由文本信息、聊天线索(thread)、电子邮件等)可使用CRE来索引。索引是CRE根据其概念相似性分组或“群集”数据的过程。不同于传统的字母顺序的索引，由CRE创建的群集是存储在称为概念空间的多维空间中的特殊概念性参考。它们使用一组基本原子概念(意义的基本构件块)加以“标志”，这些原子概念可被组合来生成任何概念的描述，而无需手动创建和维护专用且非常大的概念数据库。因为概念索引允许信息基于其意义而非单词来搜索或管理，因此可开发远更有效、容错和智能的谈话管理应用程序。通过该群集过程，CRE也提取群集(即，呼叫流)之间的转移，并生成稍后将自由形式的顾客查询映射到呼叫日志中所找到的代理响应的索引。

在运行时，在某些示例中，CRE实时对顾客询问执行该同一处理。它取得语音识别引擎的输出，并使用形态分析技术将其分解为其相关联的语素集。系统良好地处理杂乱的输入数据，包括拼写错误、标点错误以及脱离上下文或无序的单词，且对输入短语的长度没有预置的限制。

CRE然后使用概念分析将语素转换成上述基本原子概念，将这组原子概念汇编成单个概念码以便整个输入，然后将该码映射到其在索引数据内的等效码。在对话应用中，该过程基本上将用户输入“指向”系统谈话状态，后者可以是系统响应、现有交互语音响应(IVR)菜单树、或查询顾客帐户信息的事务系统的指令。

该过程产生在联系中心自服务应用程序的上下文内自动识别并“理解”高度含糊的对话性用户查询的健壮方式。

CRE和SLM语音识别的这种组合的效果在于增强了经由自动化使信息可供顾客使用的能力。不能精确适于五选项IVR菜单或预定义语音语法的公司信息可经由对话界面可用。因为得到的顾客输入具有与之相关联的上下文，因此对系统如何智能处理复杂交互而言，有更多选项变为可用。

将向量模型方法应用于语义因素空间而非单词空间提供以下好处：

1.从单词到概念的转移本身从更具统计性上移动到更具语义上。

2.传统向量模型通常被称为“单词包模型”以强调模型的组合特征，而忽视单词之间的句法或语义关系。照此类推，可将该向量模型称为“概念包模型”。在传统向量模型中，计算统计上与所关注的概念的内部参数相关联的一些外部参数(单词)。在该向量模型中，直接计算概念。

3.只要语义因素的数量远小于单词数量，则即使在基本语言中，该向量模型中的计算强度也是相当低的。可使用其它机器学习技术来形成基于置信度的匹配分级。例如，可使用决策树归纳或构造支持向量机。使用推动(boosting)的学习技术的组合也是可能的。

以上讨论了模型工作的整个两步骤循环的单独的部分：输入语言文本对象>语义标志>输出语言文本对象。重要的是在于看到该循环中的两个步骤是清楚地独立的。它们仅经由语义标志连接，语义标志是不与任何人类语言相关联的内部“语言”。这一特征使得在任何应用程序中改变输入和输出两侧上的语言成为可能且相对容易。

第一步基本上是依赖于语言的。它意味着切换到不同的语言需要为给定语言中的短语自动生成语义标志。以下将描述解决这个问题的两种可能的方式。第二步基于语义索引。索引本身不关心对象的语言，它仅指向它们，且与指针相关联的语义标志是独立于语言的。在语义索引中不存在语言专用的信息。

第一种方式是为新语言编译新的S语子字典。对每一人类编写的语言，可编译一组S语子。编译过程可基于对来自大型文本语料库或该语言的大型字典任一个中的词汇的分析。

具有一种语言(英语)的一组如此完整的S语子有助于创建另一种语言的一组类似的S语子。作为起始点，可试图仅寻找第二种语言中的语素等效物。这减少了在第二种语言中否则将是高劳动强度的语料库分析的努力。当从同一组语言的一种语言移至另一语言时，这尤为真实，因为这样的语言共享大量词汇“原料”。西班牙语的S语子集与英语的S语子集大约相同大小。西班牙语S语子的示例有：LENGU、FRAS、MULTI、ESPAN、SIGUI。

当这完成之后，可能需要对S语子标识的算法的某些调节。关于此算法的好消息是其大多数工作对同一组的语言是公共的。即使当在算法没有任何改变的情况下从英语切换成西班牙语时，结果也是令人满意的。对大多数印欧语言，如果需要改变，也是很少的。西班牙语的实验展示了系统的跨语言能力的力量：当编译了西班牙语语素之后，作为输入语言的西班牙语对之前为英语开发的所有应用程序变为可用。

使用语言知识库来存储概念识别引擎所需的信息。该知识库具有三个主要组成部分：语义因素字典、S语子字典和同义词字典。语义因素字典中的每一条目包括：

a)语义因素名；

b)语音因素定义/描述；

c)使用该语义因素的单词概念码的示例。

S语子字典中的每一条目包括：

a)S语子文本；

b)具有单独部分——多义(polisemic)语素的替换含义的义素的语义因素概念码；

c)在多因素码中，可对其应用修改的头因素。

概念识别引擎的功能性框图在图9中示出。该示意图的框描述如下。S语子字典122和语义因素字典124使用分析器128来产生一组概念码。

接着，在示例142的基础上生成CML文件。这导致作为在类属词典基础上驱动的数据的CML文件。下一步是查找和编辑CML文件。该查找和编辑由以下步骤组成：

a)显示串在不同搜索准则下的出现情况；

b)添加新的释义；

c)添加新的问题-回答对；

d)移除一个或多个释义；

e)移除一个或多个问题-回答对(以及所有的释义)；

f)合并两个问题-回答对(以及输入和输出短语的选择)；

g)将一对拆分成两对并分配输入和输出短语；

h)编辑短语(包括组编辑)。

接着，CML文件作为输入信息在任何编辑点取得，并构建索引。随后，匹配两个条目，并完成对指定CML/索引的相似性计算。这可对两个短语；对两个概念码；对一短语和一概念码；对两个短语、两个概念码或一短语一概念码以每次输入之一从供给文件中传入的循环模式；以及对每次输入之一从供给文件中传入且结果被存储在输出文件中的自动匹配和相似性计算进行。接着，通过创建名字的伪因素(pseudofactor)；处理单字和多字人名；处理企业和产品的单字和多字名；以及生成词性标签来进行预分析解析。

此时，执行应用程序控制和测试。这由以下步骤组成：

a)通过以之前对显示或发送的任一方式到输出文件的同一文件的处理的区别来以循环和自动两种方式分析输入对话的文件。

b)对相似性阈值的控制；

c)增量间距(第一与第二匹配之间的相似性的差距)；

d)对所返回的匹配个数的控制。

对话标记语言(CML)的主要目标在于向对话服务程序指定一组指令以便以自动化或半自动化的方式处理与顾客的“对话”。自动化对话是从头到尾完全由对话服务程序处理的那些对话。半自动化对话先由对话服务程序处理，然后连同所收集的任何信息一起被传给人工代理。

CML是指定以下内容的标记语言：

●顾客输入，包括对话服务程序能够处理的释义。

●对话服务程序响应的输出(例如，TTS和/或音频文件)

●对话的流程。该流程使用一组状态转移网络描述，该网络包括：

○其中每一输入和输出可能发生的上下文。

○到其它上下文的转移，基于顾客输入和来自Java对象的结果。

○对后端业务层对象的调用

○内联应用程序逻辑

除用于描述对话服务程序与用户之间的对话的CML语言之外，CMLApp语言允许从可重用组件构造应用程序。

在某些示例中，CML描述一般在特定顾客支持联系中心中找到的请求/响应交互，包括以下：

●一般信息请求，诸如股票报价、基金招股说明书请求等。

●顾客专用请求，诸如帐户余额、交易历史等。

●顾客发起的交易，诸如股票/基金交易等。

●中心发起的交互，诸如电话推销等。

CML被设计成由对话服务程序(CS)解释并执行。如前所述，CS具有解释基于CML的应用程序的一组软件代理。这些代理面对在诸如HTML、VoiceXML、SIMPL、SMTP等通道专用文档语言与CML的独立于通道的表示之间翻译以及进行反向翻译的一组交互通道。

CML文档(或被称为应用程序的一组文档)形成描述软件代理与用户进行的谈话的对话状态转移网络。用户一次总是处于一种对话状态，即上下文。一组转移定义谈话移动至新上下文的条件。这些条件包括来自用户的新请求、谈话内的特定状态或两者的组合。当到达最终上下文时，执行被终止。

使用以下四个元素来定义作为软件代理与用户之间的谈话的状态转移网络：网络、上下文、子上下文和转移。

网络是定义软件代理与用户的谈话的上下文(状态)和转移的集合。每个CML文档可以有一个或多个网络，每一网络具有引用其的唯一名字。除定义与用户的谈话的句法以外，网络还定义当网络活跃执行时活动的一组属性。这些属性保持正被呈现在对用户的输出中的数据以及控制网络执行的数据。例如，转移的前提条件和上下文的后置条件按照属性来定义。

上下文表示软件代理与用户之间的谈话内的状态。每个上下文具有将应用程序带向另一上下文(或循环回同一上下文)的一组定义的转移。上下文表示其中用户的请求被预期且将被解释的状态。某些上下文被标记为最终。最终上下文表示由网络表示的谈话的结束。

子上下文是其中在包含网络的上下文内调用另一网络的特殊上下文。子上下文是链接的子例程调用，且存在作出调用和被调用的网络的属性的绑定。子上下文可以是模态(modal)或非模态的。在模态子上下文中，其包含网络(或祖先)的转移是非活动的。在非模态子上下文中，其包含网络(和祖先)的转移是活动的。

转移定义从一个上下文到另一上下文的改变。如果其前提条件满足和/或用户的请求匹配与转移相关联的言语的群集，则进行转移。如果转移未定义前提条件，则仅需用户请求与转移的言语之间的匹配来触发转移。如果转移未定义言语的群集，则只要其前提条件为真就触发转移。如果前提条件和言语的群集均未被定义，则转移被自动触发。转移的触发导致对转移的脚本的执行以及到由转移指向的上下文的转移。

在某些示例中，CML应用程序需要单个CMLApp文档、单个CML文档以及群集文档。多文档应用程序需要单个CMLApp文档、单个群集文档和多个CML文档。图10示出CMLApp文档150、CML文档154、群集文档152、输出文档156、所引用的数据文件158和业务对象160之间的关系。

附录a描述了名为“abc12app.ucmla”的CMLApp文档、名为“abc12clusters.ucmlc”的CML群集文档以及名为“abc12ucml.ucml”的CML文档。CMLApp文档使用标记“clusterFile”来指定群集文件，并使用标记“document”来指定CML文件。CMLApp文档也使用标记“channel type(通道类型)”来指定与用户通信的通道。在该情况中，通道类型为“VXML”。首先，群集文档存储所有记录的来自顾客的通信的文本，它们被分组在一起成为自给定状态或上下文的给定转移的群集。在示例群集文档中，群集被命名为c1到c41。与群集相关联的数据变量使用标记“variable(变量)”来指定，它们具有诸如“properName”和“digitString”等类型。这些群集在示例CML文档中被引用。CML文档定义状态转移图(即网络)。示例CML文档定义一组状态(由标记“context name(上下文名)”表示)和转移(由标记“transition name(转移名)”表示)。例如，CML文档的第11-16行如下：

″<context name＝″s0″final＝″false″toToAgent＝″false″>.

<input cluster＝″c7″>yeah I′d like to check on the my account balance

please</input>

<output>do you have your account number sir</output>

</transition>

行11-16指定，存在具有到状态(即上下文)s1的转移t0的状态(即上下文)s0。转移t0具有“yeah I′d like to check on the my account balance please”的顾客通信以及“do you have your account number sir”的联系中心响应。图11示出了由示例CML文档定义的总的状态转移图的子集。该子集包括从初始状态到s0(162)到s1(164)到s2(166)到s3(168)到s4(170)到s5(172)到s6(174)最终到s7(176)的转移。

参考图12，为自动化语音响应系统开发CML应用程序的过程180包括两个主要的机器学习过程，即初始应用程序开发过程182和运行时学习过程190。初始应用程序开发过程182使用所记录的人工代理呼叫者对话的示例生成初始CML应用程序。运行时学习过程190使用所记录的系统呼叫者对话的示例来继续改进CML应用程序。

一组转录的人工代理呼叫者对话181被输入到初始应用程序开发过程182内。所转录的代理呼叫者对话181是使用手动转录或自动化转录处理(例如，常规语音识别处理)转录成文本的所记录的人工顾客支持代理与呼叫者之间的对话。在其中人工代理与呼叫者经由电话通信的联系中心中，代理呼叫者对话的示例可从联系中心的质量保证录音设施中获取。在一个实现中，示例人工代理呼叫者转录本在被提供给初始应用程序开发过程182时是导入标记语言(IML)文件的形式。

初始应用程序开发过程182使用示例转录本来构建初始CML应用程序。该初始应用程序开发过程(其一个示例将在图15-16中更详细描述)涉及以下三个阶段：

1.构建分类器。在该阶段中，使用所记录的人工代理呼叫者对话的示例来构建用于代理言语和呼叫者言语的两组分类器。当应用程序被部署并上线时，使用这些分类器来对呼叫者言语分类。当呼叫者言语被分类之后，软件代理可使用有限状态网络来确定适当的响应。在部署应用程序之前，这两组分类器也可用于生成有限状态网络以及标识并开发对信息的有效代理请求。

2.生成有限状态网络。在该阶段中，使用子上下文来将谈话捕捉为有限状态网络或上下文无关网络。CML元素，上下文(即状态)是主要状态定义构造。

3.代码插入阶段。在该阶段中，状态网络被结合到应用程序中以实现与谈话相关联的自动化。对于其中构建分类器的阶段，尤其在呼叫中心应用中，首先将代理言语群集成一组分类器然后使用这些代理分类器来定位呼叫者言语并对其进行分类可能是有利的。

在呼口中心应用中，呼叫者与人工代理之间的谈话一般由代理控制。实际上，代理通常被命令在与呼叫者对话期间遵循标准化脚本。这些脚本旨在指导并约束代理-呼叫者对话，使得呼叫者询问的回答以可靠且有效的方式提供。人工代理的公共规则是他们永远都不应丢失对对话流程的控制。

如果呼叫者和代理言语使用例如特征项频率反文档频率(TF-IDF)算法基于言语的意义来群集，则代理和呼叫者群集的分布将表现为相当地不同。

呼叫者言语群集的分布往往具有少许非常常见响应群集(例如，其中呼叫者说出号码或标识其自身的言语群集)，继之以相对较小数目的较不常见的响应的群集频率的迅速减少，然后是非常长的尾部的单群集。单群集一般占总呼叫者言语的一半，并构成总群集的大约90-95％。表示呼叫者对信息的初始请求的言语(例如，“What is my account balance？(我的帐户余额是？)”)，它表示用于设计自动化语音响应系统的呼叫者言语最重要的类型之一，一般构成总言语的非常小的百分比(取决于呼叫长度，大约为每20或30个言语中有一个)。因为存在可用特定短语来表达特定请求的多种方式，因此这些初始呼叫者请求言语类型一般在整个分布上排列，且众多言语落入其自己的单类别内。

代理言语群集的分布一般远不同于呼叫者言语群集的分布，这很大程度上是由于代理言语的脚本化本质。具体地，代理言语群集(使用TF-IDF算法来群集代理言语)的分布远比对呼叫者观察到的分布平坦，其中最常见言语群集总体频率较低，且群集频率的减少更渐进。因为代理通常参与与呼叫者的对话，因此代理言语群集的分布也具有长尾部的单集。呼叫中心环境中代理与呼叫者群集的分布的另一区别在于，高频率代理群集往往包含信息收集询问(例如，“Can I have your socialsecurity number，please？(能告诉我你的社会保障号吗？)”)，这是用于自动化语音响应系统的设计的最重要的言语。实际上，通常有可能通过分析群集最频繁的20％群集来特征化几乎所有最重要的代理行为(例如，代理对信息的请求)。

参考图15，初始应用程序开发过程182使用以代理为中心的数据挖掘技术，它首先生成一组代理分类器，然后使用这组代理分类器来标识并生成一组呼叫者分类器。

初始应用程序过程182接收统计上有效数量的已被转录成文本的预先录制的呼叫者代理对话181作为输入。预先录制的呼叫者-代理对话的所有代理言语被群集成一组代理群集(302)，然后有意义的代理群集(例如带有其中代理从呼叫者引出信息的言语的那些群集)被标识。这些有意义的代理群集然后被用于训练(即，作为输入)机器学习过程，例如支持向量机(SVM)，从中生成一组代理分类器(304)。

一旦生成了代理分类器之后，这些分类器被用于定位所转录的对话内的呼叫者响应(306)。这些呼叫者言语然后被群集成一组呼叫者群集(307)。这些所群集的呼叫者言语然后被用于训练(即，作为输入)机器学习过程，例如支持向量机，从中生成一组呼叫者分类器(308)。当这两组代理和呼叫者分类器被确定之后，它们可被用于将代理和呼叫者言语分类成新对话转录本。对重要代理查询的适当呼叫者响应然后从新转录本中自动提取，并被添加到呼叫者群集。这些扩充的呼叫者群集然后被用于构建新的、改进的一组呼叫者分类器(310)。

给定一组转录的对话，其中的言语已使用一组代理和呼叫者分类器来分类，规范代理对话模式可被标识(312)。规范对话模式是代理响应于特定类型的呼叫者请求所使用的信息请求和回答的常见模式。例如，如果呼叫者联系代理，并请求其帐户余额，则代理的常见响应模式是问问题X(例如，“What is your name？(你的名字是？)”)，继之以问题Y(例如，“What is your social security number？(你的社会保障号是？)”)，继之以问题Z(例如，“What is your mother′s maidenname？(你母亲的娘家姓是？)”)。另一方面，如果呼叫者请求印刷品，则代理的问题X可继之以问题A(例如，“What is your zip code？(你的邮政编码是？)”)和问题B(例如，“What is your street address？(你的街道地址是？)”)。这些规范对话模式可用于生成应用的有限状态网络314。

此外，转录对话中的所分类的代理和呼叫者言语对可用于标识对信息的成功代理请求(316)。检查对旨在引出相同信息的不同用语的代理问题的呼叫者响应的类型的分布可揭示，询问信息的一种方式比其它方式更有效。例如，措辞为“MayI have your social security number？(能告诉我你的社会保障号吗？)”的第一代理请求可能具有大量“yes(是)”的呼叫者响应，而没有提供呼叫者的社会保障号。然而，对措辞为“What is your social security number？”的代理请求进行分类的另一代理分类器可产生其中非常高百分比的呼叫者对问题的响应提供所请求的信息(即，呼叫者的社会保障号)的分布。

初始应用程序开发过程的一个示例在图16A-16E中更详细示出。

如图16A中所示，初始应用程序开发软件工具收集所记录的人工代理-呼叫者对话的两个相等大小的、随机选择的样本(318)，即训练集和测试集322。应用程序开发员然后根据呼叫者的初始呼叫者请求将来自每一样本的呼叫分类成一组桶324a、324b。例如，其中呼叫者请求其帐户余额的呼叫可置于一个桶中，而其中呼叫者请求地址改变的呼叫可置于一分开的桶中。

当应用程序开发员将呼叫分类成桶之后，应用程序开发员使用软件工具来检查每一呼叫集的初始呼叫者请求的分布(326)。如果呼叫的训练和测试集的分布不相似，则应用程序开发员获取随机选择的呼叫的更大的样本，并重复分桶处理直到训练和测试集产生相似的呼叫类型分布(330)。

一旦训练和测试集被确定为具有相似的呼叫类型分布之后，应用程序开发员使用软件工具来群集训练集中的呼叫的代理言语(332)。为了群集代理言语，软件工具经由概念识别引擎(在以上更详细描述)运行言语以确定每一言语的语义特征列表，然后使用TF-IDF算法基于其语义特征列表来群集言语。

参考图16B，应用程序开发员检查代理群集，合并任何重叠的群集(334)，并批准具有多于特定数量的言语(例如，多于4条言语)的代理群集以便分类时使用(336)。应用程序开发员一般不对每个代理群集进行分类，因为具有较低出现频率的群集不太可能是其中代理从呼叫者中引出实质信息的代理言语(例如，“Can I have your name，please(能告诉我你的名字吗)”)。相反，低频率的群集(例如，单群集)可能包含其中代理使呼叫者参与对话的代理言语(例如，“Howis the weather there today？(今天那里天气怎么样？)”)。

当应用程序开发员批准群集(例如，使用对软件工具的图形用户界面)之后，应用程序开发员命令软件工具来基于所批准的群集(即训练数据)中的言语的概念性特征来生成一组分类器。一组分类器是机器训练过程(例如，决策树、支持向量机)的输出。分类器被用于确定每一新的言语最类似于来自训练集中的哪一个群集。在一个较佳实现中，软件工具使用支持向量机(SVM)机器学习过程来构建一组分类器。该过程产生一组成对的鉴别器，对与所有其它群集比较的每一群集有一个鉴别器，它们然后被应用于新的言语。“赢得”最多数目的比较的群集被确定为其中新言语应属的群集。例如，如果使用SVM为三个群集构建分类器，则该分类器将具有用于比较群集1和群集2、群集1和群集3以及群集2和群集3的一组三个的成对鉴别器。当新言语被呈现给分类器时，对言语的语义因素(由对话识别引擎确定)应用这三个比较中的每一个。“赢得”最多次比较的任何群集被认为是其中该言语应属的群集。

一旦构建了一组代理分类器之后，呼叫训练集被供给分类器以验证分类器的完整性(340)。分类器的完整性是通过比较其中分类器使训练集的代理言语归属的群集与其中代理言语在生成代理分类器之前所分类的群集来检查的。如果分类器未对训练集分类，使得它们不满足某些确认准则(例如，分类器必须将训练集中的代理言语的至少98％分类到其合适的群集内)，则应用程序开发员调整原始群集(344)并重建代理分类器338。

一旦分类器满足确认准则，则呼叫测试集中的代理言语使用该分类器来注释(346)。这意味着代理言语已经被分类，且标识该言语被认为最相似的群集的标签已经与每一代理言语相关联。例如，代理言语“What is your social securitynumber？”可使用指示该代理言语被分类到对应于对呼叫者的社会保障号的代理请求的群集中的标签“REQ_SSN”来注释。

当注释测试集中的代理言语之后，应用程序开发员审阅注释并根据代理言语是否被正确分类来对所注释的测试集评分(348)。例如，如果代理言语“What isyour social security number？”被分类为“REQ_ADDRESS”，则应用程序开发员应将该分类评为不正确。如果应用程序开发员不满意评分(例如，正确分类的百分比)为可接受的(350)，则应用程序开发员调整原始群集344并重建代理分类器(338)。

一旦应用程序开发员满意该测试集获得了可接受的评分，则当前代理分类器被设置成“黄金”代理分类器。

参考图16C，示出了用于开发一组呼叫者初始请求分类器的过程。呼叫者初始请求指的是标识呼叫者进行呼叫的主要原因的言语(例如，对呼叫者当前帐户余额的请求、对地址改变的请求等。)

如图16C中所示，呼叫训练集的代理言语使用软件工具以“黄金”代理分类器来注释354。软件工具然后群集对对应于代理对呼叫者初始请求的请求的代理分类器(例如，对应于“How may I help you？(我能怎样帮你？)”的分类器)的呼叫者响应(356)。

所群集的呼叫者初始请求然后被用于构建用于呼叫者初始请求的一组分类器(例如，使用支持向量机)(358)。

因为对应于呼叫者初始请求的呼叫者言语的数目较小(通常每个呼叫仅一个初始请求)，因此应用程序开发员可选择通过例如阅读呼叫的文本并将每一呼叫的初始请求置于群集中来手动标识呼叫者请求言语(360)。

一旦构建了呼叫者初始请求分类器初始集之后，这些分类器通过经由分类器供给呼叫训练集并比较其中分类器使训练集的呼叫者初始请求言语归属的群集与其中呼叫者初始请求言语在呼叫者初始请求分类器生成之前所分类的群集来确认(362)。如果分类器未对训练集分类，使得它们不满足某些确认准则(例如，分类器必须将训练集中的呼叫者初始请求言语的至少95％分类到其合适的群集内)，则应用程序开发员调整原始群集(366)并重建呼叫者初始请求分类器(358)。

一旦满足确认准则之后，呼叫测试集以该呼叫者初始请求分类器来注释(368)，然后由应用程序开发员审阅并评分(370)。如果初始请求分类器未产生可接受的评分，则应用程序开发员调整群集并重建分类器。(注意，如果群集是基于从测试集收集的信息来调整的，则对从经调整的群集构建的SVM的评估应在新的测试数据集上测试)。一旦初始请求分类器产生可接受的评分之后，即形成呼叫者初始请求分类器的初步集(374)。

参考图16D，示出了用于构建对代理对信息的请求的非初始呼叫者响应集的过程。图16D中所示的过程类似于图16C中所示的过程。如图16C中所示的过程一样，图16D中所示的过程使用“黄金”代理分类器来定位呼叫者言语。然而，在图16D中所示的过程中，所分类的呼叫者言语是对应于代理对非初始请求信息的请求的那些言语(即，其中呼叫者响应于代理对信息的请求而非代理对呼叫者呼叫目的的请求的呼叫者言语)。呼叫者对代理对呼叫者名字、地址、社会保障号以及出生日期的请求的响应是对应于代理对非初始请求信息的请求的呼叫者言语的示例。

如图16D中所示，呼叫训练集的代理言语使用软件工具以“黄金”代理分类器来注释(376)。软件工具然后群集对对应于代理对信息而非呼叫者初始请求的请求的代理分类器(例如，对应于“What is your social security number？”的分类器)的呼叫者响应(378)。

所群集的呼叫者对代理非初始信息请求的响应然后被用于构建用于呼叫者非初始响应的一组分类器(例如，使用支持向量机)(380)。

一旦构建了呼叫者非初始响应分类器初始集之后，这些分类器通过经由分类器供给呼叫训练集并比较其中分类器使训练集的呼叫者非初始响应言语归属的群集与其中呼叫者非初始响应言语在呼叫者非初始响应分类器生成之前所分类的群集来确认(384)。如果分类器未对训练集分类，使得它们不满足某些确认准则(例如，分类器必须将训练集中的呼叫者言语的至少98％分类到其合适的群集内)，则应用程序开发员调整原始群集(386)并重建呼叫者非初始响应分类器。

一旦满足确认准则之后，呼叫测试集以该呼叫者非初始响应分类器来注释(388)，然后由应用程序开发员审阅并评分(390)。如果非初始响应分类器未产生可接受的评分，则应用程序开发员调整群集(386)并重建分类器。一旦非初始响应分类器产生可接受的评分之后，即形成呼叫者非初始响应分类器的初步集(394)。

非初始呼叫者响应分类器和初始呼叫者请求分类器的初步集被组合来形成初步呼叫者分类器的组合集(396)。

参考图16E，示出了用于扩充初步呼叫者分类器的过程。在该过程中，转录的人工代理呼叫者呼叫的训练和测试集的多个(N个)随机样本被用于改进分类器的性能。

随机样本的第一训练集(例如，1000个随机选择的样本)使用软件工具以“黄金”代理分类器和初步呼叫者分类器来注释(400)。软件工具然后将对应于代理对信息的请求(对呼叫者呼叫的理由的请求或者对代理对其它信息的请求的任一种)的呼叫者言语的数据(即，语义特征)添加到相应的分类器的呼叫者群集。例如，如果响应于代理对呼叫者社会保障号的请求给出“yeah，its 123-45-6789(嗯，是123-45-6789)”呼叫者言语，则该呼叫者言语的语义特征被添加到对应于社会保障号的响应的呼叫者群集。

一旦来自样本集中的呼叫者言语的所有数据被添加到相应的群集之后，呼叫者分类器(呼叫者初始请求和非初始响应分类器两者)使用例如支持向量机来重建(404)。

所重建的群集然后通过经由新构建的分类器供给呼叫训练集并比较其中分类器使训练集的呼叫者言语归属的群集与其中呼叫者言语在呼叫者分类器生成之前所分类的群集来确认(408)。如果新构建的分类器未对训练集分类，使得它们不满足某些确认准则(例如，新分类器必须比之前的分类器对更高百分比的呼叫者言语进行正确分类)，则应用程序开发员调整群集(410)并重建呼叫者分类器。

一旦确认准则满足之后，呼叫测试集以该呼叫者分类器来重新注释(410)，然后由应用程序开发员审阅并评分以便改进该分类器(412)。(不会进行对群集的调整，因为假定新数据将改进分类器。)图16E中所示的过程可继续，直到新分类器的评分逼近其上的某点处建立代理和呼叫者分类器最终集的渐近线。

代理和呼叫者分类器的最终集可被用于标识规范代理对话模式，应用程序开发员可用此来为该系统开发有限状态网络。例如，如图16F中所示，随机选择的代理呼叫者样本集(420)使用最终代理和呼叫者分类器以分类器标签来注释(422)。呼叫然后按呼叫类型来特征化(424)。这一步骤可通过应用程序开发员审阅所注释的代理呼叫者样本来手动执行，或者可由优化与每一呼叫者初始请求相关联的网络路径的软件进程来自动执行。

软件进程然后可通过为每一呼叫类型比较代理请求的序列来为每一呼叫类型标识常见代理请求模式(426)。例如，如果一种呼叫类型是对帐户余额的请求，则软件进程可检查用于响应于对帐户余额的请求的代理请求的每一序列，以便标识一个或多个常见请求模式(例如，大量代理进行请求“A”，继之以请求“B”，继之以请求“C”)。软件进程然后使用所标识的常见请求模式(例如，每一呼叫类型的最常见请求模式)来自动生成初步有限状态网络(428)。应用程序开发员一般将节点添加到该初步有限状态网络，以便例如允许对系统所不理解的响应重新提示或要求呼叫者在系统查找信息时等待等。

除使用常见代理请求模式来生成初步有限状态网络以外，应用程序开发员也可使用常见代理请求模式来标识呼叫类型。例如，一旦为不同的呼叫类型标识了一组常见代理请求模式之后，可将代理分类器应用于一组未经分析的呼叫者代理对话以标识该未经分析的组中的代理请求模式。如果该未经分析的组中的呼叫者代理对话中的代理请求模式匹配一已知呼叫类型的常见请求模式之一，则应用程序开发员(或由应用程序开发员使用的软件工具)可假定，该呼叫者代理对话具有对应于该常见呼叫者代理请求模式的呼叫类型。呼叫者代理对话的呼叫类型可基于对话中所存在的代理分类器集来确定，而独立于分类器的任何特定排序。或者，呼叫类型可基于对话中所存在的代理分类器序列来确定。

所转录对话中的经分类的代理和呼叫者言语对可用于标识对信息的成功代理请求。对旨在引出相同信息(因此处于同一群集中)的不同措辞的代理问题的呼叫者响应的分布可揭示，询问信息的一种方式比其它方式更有效。例如，措辞为“MayI have your social security number？”的第一代理请求可能具有大量“yes”的呼叫者响应，而没有提供呼叫者的社会保障号。然而，对措辞为“What is your socialsecurity number？”的代理请求进行分类的另一代理分类器可产生其中非常高百分比的呼叫者对该问题的响应提供所请求信息(即，呼叫者的社会保障号)的分布。通过标识哪些呼叫者响应类型是作出响应而哪些没有作出响应，有可能查看相关联的呼叫者言语，并确定那些代理言语的措辞是否应对呼叫者言语的响应性负责。

再次参考图12，一旦开发了初始CML应用程序描述184(例如，使用图16A-16F中所示的初始开发过程)之后，它被部署到对话服务程序(例如，图5-6中所示的对话服务程序30)(186)。对话服务程序较佳地支持CML应用程序的“热部署”，这意味着当CML应用程序描述的新版本已经在对话服务程序上运行时它可被重新部署。热部署较佳地确保：(i)已经活动的应用程序会话将被允许运行到完成；(ii)应用程序一版本所采用的所有资源(例如，提示文件等)将不被移除或替换直到不再需要；(iii)所有新应用程序会话将利用该应用程序的最新版本；以及(iv)应用程序的所有作废版本以及支持资源当不再由活动应用程序会话需要时将从对话服务程序中移除。

当CML应用程序描述被部署到对话服务程序上并开始处理呼叫之后，对话服务程序在媒体储存库187中记录所有系统呼叫者谈话，并在对话日志188中产生这些谈话的日志。

媒体储存库187包括来自系统呼叫者对话的原始数据(例如，所录制的呼叫者系统电话对话的音频文件、呼叫者系统即时消息通信对话的文本文件)。音频录制子系统(未示出)录制从开始时刻(当系统开始处理呼叫)到呼叫终止的所有顾客呼叫。对代理接管呼叫，音频子系统继续录制代理/顾客交互直到其结束。在一个较佳实现中，音频录制子系统在一个音频文件中录制呼叫者在对话中所说的每句话并在分开的文件中录制代理(软件和/或人工代理)所说的每句话。此外，音频录制子系统较佳地消除所录制的对话中的沉默部分。

对话日志188由日志记录子系统64(图5中所示)生成。日志记录子系统通过为由对话服务程序处理的每个呼叫创建会话对象来生成对话目志64。会话对象包括以下数据：

● 正在运行的应用程序(可存在对话服务器上使用的多个对话应用程序)

● 指示交互如何由系统处理的标志(例如，自动化、混合或代理接管对话)

● 通道指示符(电话、网络、聊天/IM、电子邮件)

● 到音频储存库中所存储的相关联音频文件的链接。

● 按年代顺序的整个对话的表示，包括：

○ (i)由语音引擎识别的顾客输入(所识别的输入)；

○ (ii)对全自动化交互(即，完全由软件代理处理的交互)，该表示还

包括：

■如果交互，对每一问题给出的回答以及其匹配的评分

○ (iii)对混合交互(即，人工代理从由系统呈现的回答列表中选择回答的交互)，该表示还包括：

■排在最前的所建议的回答以及相关匹配评分；

■代理所选的回答及其匹配评分以及在建议回答列表之中的级别

○ (iv)对接管交互，该表示还包括：

■人工代理与顾客之间的音频谈话。

● 指示呼叫起始时刻、呼叫被升级到人工代理(如果适用)的时间以及呼叫完成的时间的时戳。

● 代理和呼叫者遍历的对话的状态序列以及引起状态转移的事件；例如，人工代理选择特定的响应或软件代理选择响应。

● 协助呼叫或接管呼叫的人工代理(如果适用)的身份。

● 对后端系统(例如，包含响应于呼叫者请求的信息的系统)的所有请求和这些请求的结果的记录。例如，如果应用程序需要检索顾客的帐户余额，

这需要对后端系统的呼叫。

媒体储存库187和对话日志188可用于运行时学习过程190以便于对CML应用程序的调整。

运行时学习过程190使用自适应学习循环，其中系统的执行历史(在通讯日志188和媒体储存库187中所捕捉的)被用于进化CML应用程序以改进系统自动化对话的能力。更具体地，运行时学习过程从代理-呼叫者对话的历史中选择被确定为系统的“良好”学习机会的某些代理-呼叫者交互。所选的代理-呼叫者交互不必是整个代理-呼叫者对话，而可仅是代理-呼叫者对话的一部分。以下是可由运行时学习过程为改进系统而选的呼叫者-代理交互的示例：

1.在其中人工代理从由系统生成的对呼叫者言语的响应的分级列表中选择响应的对话中，呼叫者言语的意义可由系统从人工代理所选的响应中辨别。从而，呼叫者言语可作为学习机会被选择以改进系统所使用的分类器。因此，如果呼叫者在将来说出类似的言语，则系统更可能能够在无需来自人工代理的协助的情况下响应。而且，呼叫者言语的所识别的语音(可由在线ASR、离线ASR或手动转录识别)可用于改进在线ASR所使用的语言模块。因此，如果呼叫者在将来使用类似的语音说话，则在线ASR将更可能准确识别该语音。

2.在其中系统向呼叫者言语给出自动化响应的对话中，自动化响应之前的呼叫者言语可由系统选为学习机会以加强系统的行为。在这种情况中，呼叫者言语的所识别的语音(可由在线ASR、离线ASR或手动转录识别)可用于改进在线ASR所使用的语言模块和/或改进用于辨别呼叫者言语的意义的分类器。

3.在其中人工代理接管对话的对话中，人工代理-呼叫者交互可被选为学习机会。在这种情况中，系统管理员可分析系统未预期(因此不是系统的有限状态网络的一部分)的对话的人工代理-呼叫者交换。系统管理员可使用人工代理-呼叫者交换以便在系统的有限状态网络中添加节点并构建分类器，使得如果呼叫者在将来联系呼叫中心，则系统准备好处理该呼叫。例如，如果印刷错误导致在特定的月份将空白的帐单寄给顾客，则系统可接收询问关于空白帐单的多个呼叫。这可能是系统未预期的对话。当接收这些询问中的某一些之后，系统管理员可构建一组分类器，并更新有限状态网络(例如，使用以上在图15中所示的过程)，使得系统在将来可处理类似的呼叫。

运行时学习过程将所选代理-呼叫者交互供给给对话工作室32(图4-5中所示)，在那里它们被用于重建分类器、改进用于运行时语音识别的语言模块和/或修改状态转移网络。

在一个实现中，运行时学习过程扫描系统呼叫者对话以找出以下学习机会：

1.协助——在其中当软件代理不确定呼叫者陈述的正确解释时人工代理向软件代理告知该解释的对话中，代理对呼叫者陈述的解释被用于改进概念识别引擎所使用的分类器以理解呼叫者语音。其它实现使用代理对呼叫者陈述的解释以改进由在线ASR使用的语言模块。

2.接管——在其中人工代理从软件代理接管对话的对话中，人工代理-呼叫者交换由系统管理员分析以标识新对话。如果有新对话被标识，则可开发一组新的呼叫者分类器以及经更新的有限状态网络(例如，使用以上在图15中所述的过程)以将该新对话添加到应用程序。

3.加强——在其中软件代理成功识别一个或多个呼叫者言语的对话中，呼叫者言语被用于改进由在线ASR(它是语音识别引擎的组件)使用的语言模块以识别呼叫者语音。其它实现使用这些对话来改进由概念识别引擎使用的分类器以理解呼叫者语音的意义。

当运行时学习过程190使用代理呼叫者交互作为学习机会时，存在学习机会的交互不正确的风险。处理“不良”的交互(例如其中系统曲解呼叫者的问题并给出不正确响应的交互)呈现降低系统准确性和自动化程度的危险。从而，运行时学习过程较佳地包括有助于确保它仅从要学习的交互中选择“良好”交互的一个或多个保障措施。

在一个较佳实施例中，运行时学习过程由系统管理员或其它用户经由对话工作室32(图4-5中所示)处的图形用户界面配置以要求所选交互满足某些选择准则。在一个实现中，系统管理员可选择以下选择准则中的一个或多个来选择学习机会：

1.如果n个(例如，n＝2，3，4等)后续代理-呼叫者交互成功(例如，不导致呼叫者挂断或要求帮助或对人工代理说话的交互)，则选择代理-呼叫者交互作为加强学习机会。

2.仅当呼叫者肯定地响应于软件代理或人工代理所提出的满意与否问题(例如，“Did that answer your question？(这回答了你的问题了吗？)”、“Are you satisfiedwith the service you received？(你满意你受到的服务吗？)”)时，则选择代理-呼叫者交互作为加强和/或协助学习机会。

3.选择由m个(例如，m＝2，3，4等)其它示例确认的代理-呼叫者交互作为加强和/或协助学习机会。这避免系统从有限数目的示例外推。

4.如果代理协助交互由某些数目的不同代理确认，则选择代理协助交互作为学习机会。

5.如果协助由“可信”代理执行，则选择代理协助交互。可信代理可根据某些“信任”度量来确定，诸如个人作为代理的任期的长度或属于该代理的之前的协助学习示例的累积评分。

6.仅当代理协助交互位于由系统提出的排在最前的n个选择(例如，n＝1，2，3等)之中时，选择代理协助交互作为学习机会。

7.如果向群集添加新示例将从该群集中移出预定数目的之前的示例，则避免选择交互作为学习机会。例如，假定现有群集包含均意为“I want my account balance(我想要知道我的账户余额)”的100条示例言语，且来自所选交互的新呼叫者言语被添加到群集，且使用新的101条言语(原有100加上新的一条)的训练集重新生成新的一组分类器。这101条言语可应用于新的一组分类器以查看这新的一组分类器如何对它们进行分类。理想地，新分类器应将它们均分类为属于“I want myaccount balance”群集，因为分类器是被这样训练的。然而，如果发现某些数量(例如，1、2、3等)的原有言语现在被误分类为属于某个其它群集，或现在被含糊分类，则这是新学习的言语使分类器的准确性降低且先前不应被添加到该群集中的指示。该选择准则可与以上的选择准则3组合来要求更强的证据以便将新示例添加到群集，这导致预定数目的之前的示例将被去除。

除系统因向“不良”示例学习而降级的风险以外，限制学习机会以便节约处理和/或人力管理资源也可能是有利的。例如，普通的北美呼叫中心每年处理大约3百万个呼叫，假定对每个呼叫有10个呼叫者-代理交换，则这意味着普通的呼叫中心每天生成120,000个潜在的学习事件。众多组织将不(或法律上不可能)允许系统在没有某些负责人批准的情况下改变其行为。即使在那些期望自动系统进化的情况中，修剪(shear)数量的示例可能最终成为对处理资源的负担。因此，运行时学习过程确保仅相关或有用示例被处理和/或呈现来供人类审阅可能是有利的。在一个较佳实施例中，运行时学习过程可由系统管理员或其它用户经由对话工作室32(图4-5中所示)处的图形用户界面来配置以要求所选交互满足一个或多个选择准则以有助于避免系统和/或用户过载：

1.不选择不对至少n个(例如，n＝1，2，3等)其它交互进行分类的交互，因为仅解决其自身理解的交互一般不是非常有用。

2.按照它们对其它交互进行分类的数目对交互分级。仅添加这些最具生产性的示例中的前n＝1，2，3...个作为学习机会。

3.不添加不以至少某一阈值改变确定集(definite set)的交互。如上所述，分类器从示例的训练集创建。训练集中的有些示例匹配，有些不匹配。即，如果想要去除不匹配的示例并重建分类器，则会获得与之前相同的分类器。不匹配的示例被称为确定集(已知软件过程用于确定SVM分类器的确定集)。该选择准则意味着如果交互经由学习过程被添加到分类器的训练集，且使用该新训练集构建新分类器，但分类器的确定集没有以某一阈值改变(例如，其成员的大多数与之前相同)，则该分类器没有从添加的交互中学到很多，且它可被丢弃(在这种情况中，原有分类器可仍使用)。对学习有用的交互是对确定集具有值得注意的影响的那些交互。

4.通过在群集中的示例上设置数字或年限相关的阈值来限制系统所保持的示例的数目或种类。一个年限相关阈值是该示例最后一次被用于对某些其它示例进行分类的时间。这对一开始当以人对人数据训练的系统正学习当人对机器说话时可采用的不同方式时可能尤其重要。

尽管以上选择准则适用于任何形式的系统-呼叫者通信(即，语音、即时消息通信等)，但当交互媒体是语音或手写或者其中在线ASR(或在识别手写的情况中的在线光学字符识别(OCR)系统)中可能发生相当可能性的误识别的任何其它形式时，可能引起特殊的问题。

在某些情况中，对在对话日志中所捕捉的呼叫者语音(或笔迹)的识别可能不足够准确来用作有用的示例。这对其中人工代理在系统不能理解呼叫者所说或所写时提供正确解释的协助或接管学习尤其成问题。从未准确识别的语音或笔迹中学习可能降低系统的性能，至少会浪费系统的资源。运行时学习系统较佳地通过要求代理所选回答处于由系统所呈现的假设的前n个(例如，n＝1，2，3...)的集合之中来防护以便不向未准确识别的数据学习。系统也要求所识别的数据(由在线或离线ASR产生)的某些内部置信度度量超过一阈值以避免向误识别的示例学习。

对话日志中未准确识别的数据的威胁基本上是因为，当系统操作时，它一般面对呼叫者不愿意为响应等待多于几秒钟的时间的时间约束。这限制了在线ASR可使用来识别用户请求并对其进行分类的处理量。然而，运行时学习过程可为在没有这样的严格时间约束的情况下学习的目的而重新识别呼叫者输入。这种离线识别可通过使用更多资源甚至对相同和/相关用户输入进行多遍来使用不同的算法或模型或参数以达到更好的结果。例如，整个呼叫者对话(总共10轮)可被用作训练以便对每一轮重新识别。运行时学习过程可被设计成在业余时间期间使用超过高峰时间的容量来执行该任务。运行时过程也可经由网络(例如，因特网)使用计算资源以重新识别呼叫者输入。

识别呼叫者输入(例如语音)是计算密集型过程，且由此，运行时学习过程可能不具有可用的处理资源来处理以便重新识别每条用户言语。运行时学习过程可限制处理资源的一种方式是仅选择已使用以上略述的选择准则中的一个或多个而被选为学习机会的那些系统-呼叫者交互。除以上技术以外，该过程可使用交互的置信度等级作为过滤器。高置信度的交互可被认为是正确的，低置信度交互可被假定为成问题以至不可信(例如太多外部噪音)。适当的“高”和“低”阈值可由系统从训练示例中计算。

而且，识别技术通常假定它们了解系统词汇的范畴。特定的问题在于何时以及如何扩展系统的原词单元(primitive unit)的基本清单。运行时学习过程可使用离线识别，它可使用不同(通常更大)的词汇表来确定何时扩展概念识别系统的词汇表。如果更大的词汇表产生更好的内部和外部评分，则运行时学习过程可假定它是对于概念识别引擎的“更好”的词汇表。运行时学习过程可从例如新的供给中动态构造新的词汇表，使得它包含新的项目和组合。低等级置信度度量可标识可能的新项目的区域。当相似性分组的新项目超过某一阈值时，可向人要求对标识新项目的协助。

最后，众多识别系统对不同的任务级别具有分开的模型。例如，语音识别系统可具有对语音级别单位进行分类的高斯声学模型、将语音序列映射到单词的字典、评定单词序列的统计语言模型、以及将整个言语分类成等效语义组的SVM。运行时学习过程可使用所选学习示例来或者独立地或者在各个组合中联合地在各种级别上训练模型。

参考图17，学习服务器450实现运行时学习过程。在该具体实现中，学习服务器包括日志流化器(streamer)456、学习模块458、学习数据库460、音频取出器(fetcher)462、离线自动语音识别应用程序464以及应用程序存储466。

在操作中，系统-呼叫者对话的日志在日志由对话服务程序生成时被从对话日志452推入至日志流化器456。对话服务程序(例如，图4-5中所示的对话服务程序30)或另一机制(例如，另一服务程序)可被配置成将日志推入日志流化器。

当日志流化器接收对话日志时，它将日志路由至学习模块458a、458b之一用于分析。学习模块是将学习能力引入到学习服务器的模块化方法。例如，在一个实现中，一个学习模块专用于标识来自代理协助的学习机会，第二学习模块专用于标识加强学习机会，第三学习模块专用于标识接管学习机会。如果存在要添加到服务器的新学习能力，则开发新学习模块并将其引入到学习服务器中。因此，例如，词汇学习模块可被添加到学习服务器来检查呼叫者言语中所使用的单词以便扩展系统的词汇表。

学习模块也用于选择对话日志和音频文件中所捕捉的事件作为学习机会。系统学习模块根据由系统管理员指定的(上述)选择准则来选择对话日志/音频文件中所捕捉的事件。对某些选择准则，诸如如果某一数目的后继系统-呼叫者交互成功则选择系统-用户交互用于学习的准则，可从对应于候选系统-呼叫者交互的对话日志中确定。然而，其它选择准则要求学习模块检查多个对话日志来确定系统-呼叫者交互是否应被选择。例如，如果选择准则指定代理-呼叫者交互不应被选择，除非它由某一数目的其它示例确认，则学习模块将对该代理-呼叫者交互进行多遍。在第一遍中，学习模块标识并保存代理-呼叫者交互作为可能的学习机会。当保存了某一数量的候选交互或者在某一段时间之后，学习模块分析所保存的候选交互以选择最终选为学习机会的交互。

当学习模块选择系统-呼叫者交互作为学习机会时，所选的系统-呼叫者交互被存储在学习数据库460中。

除用于过滤系统-呼叫者交互的选择准则以外，学习模块还被配置成检查由概念识别引擎所报告的匹配评分等级(这被包括在对话日志中)以确定是否为离线ASR464或手动转录468发送所选系统-呼叫者交互。匹配评分的阈值范围可由用户(例如，系统管理员)配置或它可被预先编程。匹配评分的阈值范围较佳地排除非常低置信度的评分(指示言语太有问题以致于不可信)和非常高置信度的评分(指示原始识别正确)。如果转录本被定向到离线ASR464，则离线ASR464访问应用程序存储466内的应用程序定义以检索为特定识别状态使用的ASR语言模型(每一识别状态使用一单独的语言模型)。学习模块被配置成将所有代理接管交互路由到离线ASR或手动转录，因为概念识别引擎在代理接管期间不识别呼叫者或代理言语。在某些配置中，学习模块被配置成为手动转录而非由离线ASR进行自动化转录路由代理接管以获取对呼叫者-人工代理交互的高质量转录。

最后，应用程序开发员使用对话工作室32上的图形用户界面来检索已经准备好考虑的学习机会。应用程序开发员可任选地批准学习机会(例如，经由图形用户界面)并以所批准的学习机会更新应用程序。一旦应用程序被更新之后，新版本被置于应用程序存储466中并部署给对话服务程序。

协助学习机会产生被添加到适当概念性群集的新呼叫者言语，它们然后被用于重新生成用于概念识别的分类器。经更新的应用程序然后能够在下一次由呼叫者说出相似言语时对这些言语进行正确分类。加强学习机会产生被添加到用于语音识别的语言模块的新言语以便改进在线ASR。接管学习机会扩展有限状态网络来处理新话题和围绕现有话题的新交互。

图13示出图形用户界面208，它是允许人工代理登录到工作组内、管理其工作状态并接收和进行呼叫的通用代理桌面的组件；所有这些均通过与CTI服务的交互进行。用户界面208是代理经其启动包括桌面应用程序在内的采用CTI服务器的应用程序的控制面板。

界面208在Avaya IP代理桌面上建模。桌面的最常见功能经由工具条展示。图13中所示的工具条有：Phone(电话)200(提供对所选呼叫的控制)、Dial(拨打)202(提供进行呼叫的手段)、Agent(代理)204(提供针对ACD设置代理工作状态的手段)以及Application(应用程序)206(提供启动已被加载到界面208内的应用程序的手段)。

当人工代理登录之后，从服务器加载对桌面的配置。该配置的一部分是可从桌面启动的应用程序的定义。应用程序配置包括实现应用程序的类以及从中加载应用程序的网络位置。此外，配置将包括指示呼叫的目标是该应用程序的应用程序数据。

图14描述了解答应用程序或图形用户界面210。该应用程序在每当呼叫以指示该呼叫是解答呼叫的应用程序数据打入时触发。该应用程序用户界面被分成三个主要部分。所呈现的信息如下：Application(应用程序)212(正运行的CML应用程序)、Context(上下文)214(应用程序内的当前状态)、Channel(通道)216(顾客经其联系中心的通道)、Threshold(阈值)218(为上下文设置的阈值)、Over/Under(过多/过少)220(解答被呈现给代理的原因；即在阈值之上存在太多回答或阈值之上回答不够)、Assists(协助)222(顾客在该会话中协助的次数)以及Time(时间)224(顾客处于该会话中的时间长度)。

在问题解答面板226内，人工代理能够选择对顾客问题的正确回答。代理可在该面板中执行的动作有：Search KB(搜索知识库)228(修改查询并在知识库中搜索回答)、Respond(响应)230(指示软件代理以所选回答响应顾客。匹配查询的Answer(回答)232被显示在面板底部的表中。每一回答232指示它在上下文置信度阈值之上还是之下、其匹配等级以及其问题的概述)、Take Over(接管)234(从软件代理接管呼叫)、Whisper(低语)236(听顾客请求的录音)以及SubmitOriginal Question(提交原始问题)238(提交顾客的原始问题作为对知识库的查询。这是由应用程序执行的最初动作)。

图形用户界面210也允许人工代理在名为“Substitute Question(替代问题)”的框中输入用于顾客通信的替代文本。如果计算机生成的响应的置信度等级较低，则人工代理可决定以人工代理知道系统能够更好地匹配它的方式对顾客的通信重新措辞。

在用户界面的底部有两组控件：转录本和数据。Transcript(转录本)按钮240启动以聊天样式转录本示出软件代理与顾客的谈话的转录本的网页。该网页经由交互通道中所使用的同一Cocoon基础架构从软件代理的应用程序和网络属性生成。Data(数据)按钮242运行示出迄今为止由软件代理收集的应用程序数据的网页。该网页经由交互通道中所使用的同一Cocoon基础架构从软件代理的应用程序和网络属性生成。与交互通道一样，有可能定义该数据在应用程序层、网络层和/或上下文层处的表示，更具体层处的定义覆盖更一般层处的定义；例如，上下文层处的定义将覆盖网络或应用程序层处的定义。

Wrap-Up(包装)控件允许人工代理提供置于对话日志内的引导。Attach Note(附加注解)按钮244允许人工代理将注解附加到对话日志中的该交互。Mark forReview(标记审阅)复选框246用于指示该交互应被标记以便在对话日志中审阅。Done(完成)按钮248指示代理完成该解答。系统为质量保证、纠纷解决和市场研究目的主动索引、归类并监视所归档的基于语音和文本的对话。因为它是完全自动化的，因此系统可对顾客呼叫模式中的偏离主动监视呼叫存档，并经由常规报告机制更改管理人员。

例如，在对话挖掘的类别中，系统转录顾客音频以便稍后的数据挖掘(例如用于金融服务的质量控制)。这涉及从批识别处理、用来群集日志的CRE中取得所转录的对话，并提供在群集内搜索特定话题(即，促销、问题区等)的能力。系统也可按特定话题群集呼叫(子群集)、定位并标记子群集内呼叫模式的偏离，并允许管理员访问音频流内发生偏离的特定点。该功能提供对代理所说的话的音频跟踪。例如，关于产品退回的群集可指示不同代理指导顾客将产品退给不同的位置。为此，群集在多遍ASR之前保留与日志相关联的数据。作为另一示例，群集可示出某些代理使知识库中的现有回答与顾客问题关联(混合工作流)，而其他代理接听呼叫(接管工作流)并提供其自己的响应。

尽管描述了本发明的一些实现，包括对联系中心管理的具体应用，但各种其它实现落入所附权利要求书的范围内。

附录1

abc12app.ucmla文件

<？xml version＝″1.0″encoding＝″UTF-8″？>

<！DOCTYPE ucmlApp SYSTEM″http://dtd.unveil.com/dtd/ucmlApp.dtd″>

</documents>

<default-output src＝″default.xsp″/>

<default-template src＝″default.xsl″/>

</channel>

</channels>

</ucmlApp>

abc12clusters.ucmla文件

<？xml version＝″1.0″encoding＝″UTF-8″？>

<！DOCTYPE clusters SYSTEM″http://dtd.unveil.com/dtd/cluster.dtd″>

<utterance>oh okay thank you very much</utterance>

<utterance>okay thanks a lot</utterance>

<utterance>okay thanks</utterance>

<utterance>okay uh that sh that that′s it thank you</utterance>

<utterance>okay thank you very much</utterance>

<utterance>okay all right thank you</utterance>

</cluster>

<utterance>goodbye</utterance>

<utterance>all right goodbye</utterance>

</cluster>

</variables>

<utterance><instance variable＝″proper″>rick blaine</instance></utterance>

<utterance><instance variable＝″proper″>blaine</instance></utterance>

<utterance>yes<instance variable＝″proper″>victor lazlo</instance>

<instance variable＝″number″>zero seven four two eight five five two six

</instance>

</utteranee>

<utterance>yeah it′s louis renault atfive oh one five four zero two six six</utterance>

<utterance>sure ilsa lund one six three nine casablanca way berkley california nine

four seven one three</utterance>

<utterance>two four five four one blaine that′s blaine</utterance>

</cluster>

<utterance>eighteen fifty</utterance>

<utterance>eight two eight four seven eight one oh eight oh</utterance>

<utterance>three one six two eight six two one four</utterance>

<utterance>four one three eight three eight one six three</utterance>

<utterance>two five zero six six eight seven three four</utterance>

</cluster>

</cluster>

<utterance>okay eight zero zero two one seven zero five two nine</utterance>

<utterance>yeah it′s eight zero zero zero eight two four nine five eight</utterance>

</cluster>

</cluster>

<utterance>yeah i′d like to check on the my account balance please</utterance>

</cluster>

<utterance>that should do it</utterance>

</cluster>

<utterance>thank you</utterance>

</cluster>

<utterance>hi i′d like to check a account balance on select my social is three seven

seven five six one four one three</utterance>

</cluster>

<utterance>and the share value share share number</utterance>

</cluster>

</cluster>

<utterance>hi i′d like to check my account balance my account is eight hundred seven

nineteen eighty two fifty five</utterance>

</cluster>

</cluster>

</cluster>

</variables>

<utterance>i would like to know the closing price of

<instance variable＝″fund″>casablanca equity income</instance>

on

<instance variale＝″navDate″>january thirty first</instance>

</utterance>

</cluster>

</cluster>

<utterance>thank you kindly that is the information i needed</utterance>

</cluster>

<utterance>not today</utterance>

</cluster>

<utterance>i′ll do her thank you very much bye</utterance>

</cluster>

<utterance>yes we don′t have our 1099 on the casablanca fund yet</utterance>

</cluster>

<utterance>it is under louis renault</utterance>

</cluster>

<utterance>okay so wait a few more days before i yell again</utterance>

</cluster>

<utterance>hi could you please give me a cusip for your casablanca fund one one zero

</utterance>

</cluster>

<utterance>great thank you very much</utterance>

</cluster>

<utterance>hi just wanted to check is the select still closed</utterance>

</cluster>

<utterance>hi john my name′s rick blaine i was doing an ira transfer from another

fund and i wanted to see if it had arrived yet</utterance>

</cluster>

<utterance>ah yes do you have asection five twentt nine plan</utterance>

</cluster>

</cluster>

<utterance>yes i have a question the small cap fund did it pay any distributions in two

thousand and one this is for my taxes</utterance>

</cluster>

<utterance>hi i′m interested in casablanca one fund i wou1d like a prospectus and an

application perhaps</utterance>

</cluster>

<utterance>blaine and the zip code is four eight six three seven</utterance>

</cluster>

<utterance>no just plain blaine and that′s casablanca michigan</utterance>

</cluster>

<utterance>regular account</utterance>

</cluster>

<utterance>kiplinger′s</utterance>

</cluster>

<utterance>that′s all for now thank you</utterance>

</cluster>

<utterance>i just want to find out the total value of my account</utterance>

</cluster>

<uttexance>eight triple zero eight two nine two six four</utterance>

</cluster>

<utterance>victor lazlo</utterance>

</cluster>

<utterance>one zero eight three eight three two nine two</utterance>

<utterance>very good thank you</utterance>

</cluster>

</clusters>

abc12ucml.ucml文件

<？xml version＝″1.0″encoding＝″UTF-8″？>

<！DOCTYPE ucml SYSTEM″http://dtd.unveil.com/dtd/ucml.dtd″>

Thank you for calling the Casablanca Fund.

This is Natalie，your automated customer service representative.

How may I help you today？</output>

</initialTransition>

<input cluster＝″c7″>yeah i′d like to check on the my account balance please

</input>

<output> do you have your account number sir</output>

</transition>

<input cluster＝″c10″>hi i′d like to check a account balance on select my social

is three seven seven five two one four one three</input>

<output>thank you and can you please verify your name and mailing address

</output>

</transition>

<input cluster＝″c13″>hi i′d like to check my account balance my account is

eight hundred seven seventeen eighty nine fifty five</input>

<output>please verify your name and social security number for me</output>

</transition>

<input cluster＝″c16″>i would like to know the closing price of casablanca

equity income onjanuary thirty first</input>

<output>okay one moment sir</output>

</transition>

<input cluster＝″c21″>yes we don′t have our 1099 on the casablanca fund yet

</input>

<output>okay can i have your account number ma′am</output>

</transition>

<input cluster＝″c24″>hi could you please give me a cusip for your casablanca

fund one one zero</input>

<output>sure the cusip is four one three eight three eight one zero three

</output>

</transition>

<input chuster＝″c26″>hi i just wanted to check is the select still closed</input>

</transition>

<input cluster＝″c27″>hi john my name′s rick blaine i was doing an ira transfer

from another fund and i wanted to see if it had arrived yet</input>

<output>okay one moment please and what′s your social security number sir

</output>

</transition>

<input cluster＝″c28″>ah yes do you have a section five twenty nine plan

</input>

</transition>

<input cluster＝″c30″>yes i have a question the small cap fund did it pay any

distributions in two thousand and one this is for my taxes </input>

</transition>

<input cluster＝″c31″>hi i′m interested in casablanca one fund i would like a

prospectus and an application perhaps</input>

<output>may i have your last name please</output>

</transition>

<input cluster＝″c37″>i just want to find out the total value of my account

</input>

<output>what is your account number please</output>

</transition>

</transitions>

</context>

<input cluster＝″c5″size＝″2″>yeah it′s eight zero zero zero eight two four nine

five eight</input>

<output>and could you please verify name and social security number sir

</output>

</transition>

</transitions>

</context>

<input cluster＝″c2″size＝″6″>yes rick blaine zero seven four two eight five eight

three six</input>

<output>thank you sir one moment </output>

</transition>

</transitions>

</context>

<output>okay as of last night′s close the balance in your equity and income fund

traditional ira forty two thousand six hundred forty one dollars and thirty two cents

</output>

</transition>

</transitions>

</context>

<input cluster＝″c0″size＝″6″>okay thank you very much</input>

<output>you′re welcome is there anything else you need</output>

</transition>

</transitions>

</context>

<input cluster＝″c8″>that should do it</input>

</transition>

</transitions>

</context>

<input cluster＝″c9″>thank you</input>

<output>you′re welcome bye</output>

</transition>

</transitions>

</context>

</context>

<inputcluster＝″c2″size＝″6″>sure ilsa lund one six four nine cssablanca way

berkley califomia nine four seven zero three</input>

<output>thank you</output>

</transition>

</transitions>

</context>

<output>okay as oflast night′s close the value of your account was fifteen

thousand two hundred sixty seven dollars and thirty eight cents</output>

</transition>

</transititons>

</context>

<input cluster＝″c11″>and the share value share share number</input>

<output>the number of shares was five hundred fifty one point three six eight

</output>

</transition>

</transitions>

</context>

<input cluster＝″c0″size＝″6″>okay uh that sh that that′s it thank you</input>

<output>okay you′re welcome</output>

</transition>

</transitions>

</context>

</transition>

</transitions>

</context>

</transition>

</transitions>

</context>

<input cluster＝″c2″size＝″6″>yeah it′s louis renault at five oh one five five zero

zero six six</input>

<output>thanks</output>

</transition>

</transitions>

</context>

<output>i′m showing this account has a zero balance sir</output>

</transition>

</transitions>

</context>

<output>there was a transfer of assets that occurred yesterday</output>

</transition>

</transitions>

</context>

<output>the actual dollar amount on the check fifteen thousand five hundred

twenty four dollars</output>

</transition>

</transitions>

</context>

<input cluster＝″c0″size＝″6″>okay all right thank you</input>

<output>is there anything else</output>

</transition>

</transitions>

</context>

<output>if you need anything in the future please feel free to call back sir

</output>

</transition>

</transitions>

</context>

<output>okay on january thirty first two thousand two the equity and income

closing price was eighteen fifty</output>

</transition>

</transitions>

</context>

<input cluster＝″c3″size＝″5″>eighteen fifty</input>

</transition>

</transitions>

</context>

<input cluster＝″c18″>thank you kindly that is the information i needed</input>

<output>okay sir anything else you need today</output>

</transition>

</transitions>

</context>

<input cluster＝″c19″>not today</input>

<output>okay sir please call again if we can help you with anything in the future

</output>

</transition>

</transitions>

</context>

<input cluster＝″c20″>i′ll do her thank you very much bye</input>

<output>goodbye now</output>

</transition>

</transitions>

</context>

<input cluster＝″c5″size＝″2″>okay eight zero zero two one seven zero six three

nine</input>

<output>and your name please</output>

</transition>

</transitions>

</context>

<input cluster＝″c22″>it is under victor lazlo</input>

<output>and can you verify the social security number on the account</output>

</transition>

</transitions>

</context>

<input cluster＝″c3″ size＝″5″>two fivezero six six eight six zero four</input>

<output>okay you will be receiving a 1099 on this account the last of them went

out the beginning of last week aud you should receive that within the next day or two and

if not we can always reissue another one</output>

</transition>

</transitions>

</context>

<input cluster＝″c23″>okay so wait a few more days before i yell again</input>

<output>we can definitely reissue you another one</output>

</transition>

</transitions>

</context>

<input cluster＝″c0″size＝″6″>okay thank you very much</input>

<output>you′re welcome ma′am </output>

</transition>

</transitions>

</context>

<input cluster＝″c1″size＝″6″>goodbye</input>

</transition>

</context>

<input cluster＝″c3″size＝″5″> four one three eight three eight four zero three

</input>

<output>that′s correct</output>

</transition>

</context>

<input cluster＝″c25″>great thank you very much</input>

<output>you′re welcome bye bye</output>

</transition>

</transitions>

</context>

<input cluster＝″c3″size＝″5″>three one six two eight six five one four</input>

<output>and your name please</output>

</transition>

</transitions>

</context>

<input cluster＝″c2″size＝″6″>rick blaine</input>

<output>and your daytime telephone number please area code first</output>

</transition>

</transitions>

</context>

<input cluster＝″c3″size＝″5″>eight two eight four seven eight two oh eight oh

</input>

<output>let′s see no the amount the no no money has been received yet</output>

</transition>

</transitions>

</context>

<output>unfortunately no</output>

</transition>

</transitions>

</context>

<input cluster＝″c0″size＝″6″>okay thanks a lot</input>

<output>you′re welcome</output>

</transition>

</transitions>

</context>

<output>if you have any further questions ma′am please do not hesitate to call us

</output>

</transition>

</transitions>

</context>

<input cluster＝″c2″size＝″6″>blaine</input>

<output>may please have your first name and zip code</output>

</transition>

</transitions>

</context>

<input cluster＝″c32″>blaine and the zip code is four eight two two seven

</input>

<output>may i please have your street address</output>

</transition>

</transitions>

</context>

<input cluster＝″c2″size＝″6″>two four four one casablanca that′casabla

nca</input>

<output>drive</output>

</transition>

</transitions>

</context>

<input cluster＝″c33″>no just plain blaine and that′s vichy michigan</input>

<output>is this for an ira a regular account or both</output>

</transiticn>

</transitiohs>

</context>

<input cluster＝″c34″>regular account</input>

<output>how did you heard about casablanca sir</output>

</transition>

</transitions>

</context>

<input cluster＝″c35″>kiplinger′s</input>

<output>okay you should receive the information in the mail within the next five

to seven business days and is there anything else i can assist you with</output>

</transition>

</transitions>

</context>

<input cluster＝″c36″>that′s all for now thank you</input>

<output>you′re welcome sir you have a good day</output>

</transititon>

</transitions>

</context>

<input cluster＝″c38″>eight triple zero eight two nine six eight four</input>

</transition>

</transitions>

</context>

<input cluster＝″c39″>rick blaine</input>

<output>your social security number</output>

</transition>

</transitions>

</context>

<input cluster＝″c40″>one zero eight three eight three three five two </input>

<output>the balance on your account as of close last evening was two thousand

eight hundred and seventy six dollars and eighty one cents</output>

</transition>

</transitions>

</context>

<input cluster＝″c41″>very good thank you</input>

<output>anything else</output>

</transition>

</transitions>

</context>

<output>call back with any other questions</output>

</transition>

</transitions>

</context>

</contexts>

</network>

</ucml>

Claims

1.一种用于机器学习的方法，包括：

接收第一方类型的成员与第二方类型的成员之间的一组对话，其中所述对话中的每一个包括所述第一方类型的成员的通信以及响应于所述第一方类型的成员的通信的第二方类型的成员的通信；

将所述第一方类型的成员的通信分组到第一组群集内；

由机器为所述第一组群集中的一个或多个群集生成一组第一方类型分类器；

基于所述第一方类型的成员的通信的分组将所述第二方类型的成员的响应通信分组到第二组群集内；以及

由机器为所述第二组群集中的一个或多个群集生成一组第二方类型分类器；

其中所述机器是自动化响应系统；

其中所述第一方类型的成员的通信包括：呼叫中心处的人工顾客服务代理的通信和被配置成与呼叫中心联系的人的通信的软件代理的通信中的一种通信，而所述第二方类型的成员的通信包括联系了呼叫中心的人的通信。

2.如权利要求1所述的方法，其特征在于，所述通信包括言语。

3.如权利要求1所述的方法，其特征在于，所述通信包括文本消息。

4.如权利要求1所述的方法，其特征在于，所述分类器包括支持向量机。

5.如权利要求1所述的方法，其特征在于，所述分类器包括决策树。

6.如权利要求1所述的方法，其特征在于，所述第一方类型的成员的通信使用计算机被分组到第一组群集内。

7.如权利要求6所述的方法，其特征在于，所述将第一方类型的成员的通信分组到第一组群集内包括确定所述通信的语义特征。

8.如权利要求1所述的方法，其特征在于，所述将第一方类型的成员的通信分组到第一组群集内是基于所述第一方类型的成员的通信的意义。

9.如权利要求1所述的方法，其特征在于，所述将第一方类型的成员的通信分组到第一组群集内包括：

将对应于来自所述第一方类型的成员的信息请求的通信分组到第一组群集内。

10.如权利要求9所述的方法，其特征在于，所述基于所述第一方类型的成员的通信的分组将所述第二方类型的成员的响应通信分组到第二组群集内包括：

将所述第二方类型的成员的通信分组到对应于对来自所述第一方类型的成员的信息请求的响应的组。

11.如权利要求9所述的方法，其特征在于，基于所述第一方类型的成员的通信的分组将所述第二方类型的成员的响应通信分组到第二组群集内包括：

使用所述第一方类型分类器来将所述第二方类型的成员的响应通信分组到所述第二方类型的群集内。

12.如权利要求11所述的方法，其特征在于，所述第一方类型的群集与由所述第一方类型的成员作出的信息请求相关，所述第二方类型的群集与由所述第二方类型的成员给出的对所述信息请求的响应相关。

13.如权利要求1所述的方法，其特征在于，还包括：

接收所述第一方类型的成员与所述第二方类型的成员之间的第二组对话，其中所述对话中的每一个包括所述第一方类型的成员的通信以及响应于所述第一方类型的成员的通信的所述第二方类型的成员的通信；

应用第二方类型分类器来分组所述第二方类型的成员的通信；

由机器使用与分组在所述第二组群集中的一个群集中的通信相关的数据为所述群集重新生成第二方类型分类器。

14.一种用于机器学习的方法，包括：

将发起通信分组到第一组群集中；

基于所述发起通信的分组将响应通信分组到第二组群集内；以及

其中所述机器是自动化响应系统；

其中所述发起通信包括与顾客联系中心相关联的代理，而所述响应通信包括联系顾客联系中心的顾客。

15.如权利要求14所述的方法，其特征在于，还包括接收一组对话，所述对话的至少某一些包括发起通信和相关联的响应通信。

16.如权利要求14所述的方法，其特征在于，所述响应通信的群集包括与发起通信相关联的响应通信。