CN101297355A - 响应自然语言语音口头表达的系统和方法 - Google Patents

响应自然语言语音口头表达的系统和方法 Download PDF

Info

Publication number
CN101297355A
CN101297355A CNA2006800362006A CN200680036200A CN101297355A CN 101297355 A CN101297355 A CN 101297355A CN A2006800362006 A CNA2006800362006 A CN A2006800362006A CN 200680036200 A CN200680036200 A CN 200680036200A CN 101297355 A CN101297355 A CN 101297355A
Authority
CN
China
Prior art keywords
voice
user
context
agency
inquiry
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2006800362006A
Other languages
English (en)
Other versions
CN101297355B (zh
Inventor
P·迪克里斯托
柯敏
R·A·肯尼维克
L·E·阿姆斯特隆
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nuance Communications Inc
Original Assignee
VoiceBox Technologies Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=37718639&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101297355(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by VoiceBox Technologies Corp filed Critical VoiceBox Technologies Corp
Priority to CN201510205939.6A priority Critical patent/CN104778945B/zh
Publication of CN101297355A publication Critical patent/CN101297355A/zh
Application granted granted Critical
Publication of CN101297355B publication Critical patent/CN101297355B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/1822Parsing for meaning understanding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/335Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • G06F40/35Discourse or dialogue representation
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling
    • G10L15/183Speech classification or search using natural language modelling using context dependencies, e.g. language models
    • G10L15/19Grammatical context, e.g. disambiguation of the recognition hypotheses based on word sequence rules
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L15/18Speech classification or search using natural language modelling

Abstract

公开了响应自然语言语音口头表达的系统和方法。提供的系统和方法用于接收自然语言问题和/或命令的语音和非语音通信,将所述语音和非语音通信转录为文本消息,并且执行这些问题和/或命令。本发明应用了上下文、先验信息、领域知识和用户专用的概况数据,以便实现一位或多位用户跨越多个领域呈现问题或命令的自然环境。本系统和方法为每位用户创建、存储和使用了广泛的个人概况信息,因而改进了确定语音和非语音通信上下文的可靠性并为具体问题或命令呈现了所期待的结果。

Description

响应自然语言语音口头表达的系统和方法
相关申请的交叉引用
本申请要求以2005年8月5日提交的美国专利申请序列号11/197,504作为优先权基础,其全部内容在此引用作为参考。
技术领域
本发明涉及通过语音接口和/或语音接口与非语音接口的组合检索信息或处理命令。更确切地说,本发明提供了完全集成的环境,允许用户通过语音接口和非语音接口提交自然语言的问题和命令。可以从广泛的学科中获得信息,以自然方式进行本地和网络查询以获得信息并表达结果,即使在所询问的问题或所收到的响应不完全、多义或主观的情况下。本发明可以进一步地允许用户或者在本地或者远程地控制若干设备和若干系统。
背景技术
机器以自然方式与人类交流的能力仍然是难题。关于人类互动的认知研究显示,口头交流比如某人询问问题或给出命令,典型情况下很大地依赖于上下文和目标人员的领域知识。相反,基于机器的查询(查询可以是问题、命令、请求和/或其他类型的通信)可能是高度结构化的,并且对人类用户可能并非天性自然。因此,口头交流以及从口头交流所取得查询的机器处理可能从根本上就不相容。然而允许人们进行基于自然语言语音的查询仍然是所希望的目标。
语音识别的准确度已经不断改进,现今成功地使用在范围广泛的应用中。自然语言处理已经应用于语音查询的语法分析。然而,现在的系统无法可靠地为用户提供完整环境,以便通过经处理后提供自然应答的自然语言查询提交口头和/或文本交流。为了创建完整的基于语音的和/或基于非语音的自然语言查询和应答环境,仍然存在着许多重大障碍。
发明内容
根据本发明的某方面,本发明的一个目的是克服现有系统的这些和其他缺点。
根据本发明的一个方面,用户可以提供具有以自然语言格式口头表达和/或文本交流的系统,包括不完全的信息,比如不完整的想法、不完整的句子、不完整的短语、俚语术语、重复单词、单词变种、同义字或其他不完全的信息。为了使机器(如计算机设备)正确地响应以所述自然语言格式表达的问题和/或命令,可以对所述问题和/或命令进行语法分析和解释,表达为机器可处理的查询和算法。
在本发明的另一个方面中,提供的系统通过应用完整的基于语音的信息查询、检索、显示和命令环境或者基于语音和基于非语音的信息查询、检索、显示和命令环境的组合,克服现有系统的不足。这种环境最大限度地使用了上下文、先验信息、领域知识以及用户特定的概况数据,以完成使一位或多位用户向多个领域提交查询和命令的自然环境。通过这种整合的方案,就可以创建完整的基于语音的自然语言查询和应答环境。作为替代,也可以创建基于语音和基于非语音的自然语言查询和应答环境的组合。此外,在所述过程的每一个步骤都可以对全部或部分故障以及适度恢复进行调节。通过在所述过程的几个阶段使用概率和模糊推理,实现了对部分故障的稳健性。对部分故障的这种稳健性提升了对问题和命令的自然应答感觉。
根据本发明的另一个方面,所述系统可以包括语音单元接口设备,它接收口头表达,包括来自用户的口头自然语言查询、命令和/或其他口头表达;以及计算机设备或系统,它从所述语音单元接收输入并处理所述输入(如响应所述查询而检索信息,采取与所述命令一致的行动并执行如本文详述的其他功能)。所述系统可以进一步产生自然语言应答和/或在没有来自用户的任何提示时产生自然语言消息,比如报警消息。根据本发明的另一个实施例,可以提供非语音接口,以补充或替代所述语音单元接口。例如,所述非语音接口可以传达非语音信息,比如文本通信、图形或制表信息,或者其他非语音信息。
根据本发明的一个实施例,可以提供基础设施以便保存多模态互动期间的上下文信息,比如语音和/或非语音互动期间。根据本发明的一个示范实施例,通过在多模态设备或移动设备与所述系统之间提供通信信道,可以在多模态环境中保存上下文信息。所述通信信道允许所述系统接收多模态输入,比如基于文本的命令和问题以及/或者语音命令和问题。根据本发明的另一个实施例,所述多模态输入可以包括文本字符串,比如作为命令或问题所接收的关键字。根据本发明又一个实施例,所述系统可以使所述多模态设备与所述基于语音的单元之间的上下文同步。为了向对应设备发送应答,所述系统可以跟踪该来源并向对应的语音接口或非语音接口发送应答。
根据本发明的替代实施例,保存上下文信息时可以使用上下文管理器,它可以位于中心位置,以便从多个来源接收输入并向多个来源提供输出。根据一个实施例,与所述上下文管理器通信的设备可以通过注册模块进行注册,并且可以预订一种或多种事件。根据本发明的另一个实施例,所述上下文管理器可以接收例如Context XML形式的输入。通过上下文跟踪模块可以向其他已注册设备通报上下文的变化,以便在若干已注册模块之间使上下文能够同步。根据本发明的一个实施例,若干已注册模块可以添加到所述系统或从中去除。所述已注册模块可以包括专用于多模态设备的若干动态链接库(DLL)。
根据本发明又一个替代实施例,从以文本格式表示的命令或请求和/或呈现为口头表达的命令或请求中可以确定上下文信息,并且使用将所述口头表达转录为文本消息的多步式自动语音识别模块处理。所述命令或请求可以与上下文描述语法进行对比以识别出匹配。上下文描述语法中的任何有效语法都可以对所述命令或请求评分,并且可以将最佳的匹配发送到应答发生器模块。若干代理可以与对应的应答发生器模块相关联,并且可以为产生应答而检索所请求的信息。所述代理可以更新上下文堆栈以允许跟踪请求。
根据本发明的另一个方面,所述语音单元和/或多模态设备可以加入所述计算机设备或系统中,也可以是分离的构件。如果提供了分离的构件,所述语音单元和/或多模态设备就可以通过有线或无线连接与所述计算机设备相连。如果提供了无线连接,可以将基站单元内部地或外部地连接到所述计算机,以便与所述语音单元和/或多模态设备进行通信。
根据本发明的另一个方面,所述计算机设备或系统可以包括独立PC或网络PC、个人数字助理(PDA)、蜂窝电话或者其他计算机设备或系统。为了方便起见,这些和其他计算机替代品都称为计算机。本发明的一个方面包括可以安装在所述计算机上的软件,所述软件可以包括以下模块的一种或多种:非语音信息接收模块;捕获用户口头表达的语音识别模块;分析所述口头表达的语法分析器;将所述文本转录为语音的文本到语音引擎模块;使所述计算机能够与一个或多个网络对接的网络接口;非语音接口模块和管理事件的事件管理器。优选情况下,所述事件管理器联系着上下文描述语法、能够创建、修改和访问用户概况的用户概况模块、能够创建和使用多种个性的个性模块、代理模块、更新管理器、提供用户与所述系统互动模式统计摘要的认知模块、一个或多个数据库以及其他部件。
根据本发明的另一个方面,领域特定的行为和信息可以组织在数据管理器中。数据管理器是若干自主的可执行程序,它们接收、处理并答复用户的问题、查询和命令。所述数据管理器提供了完整、方便和可再分配的若干程序包即功能模块,典型情况下用于特定领域的应用。数据管理器可以是可执行代码、脚本、信息链接以及其他形式的通信数据的完整程序包,提供了特定的功能程序包,通常在某特定领域中。换言之,数据管理器包括了将所述功能扩展到新领域的若干组件。此外,当添加了新行为或新信息变得可用时可以经过网络远程地更新数据管理器及其相关联的数据。数据管理器可以使用系统资源和其他,典型情况下是更专业的,数据管理器的服务。数据管理器可以以许多方式分配和重新分配,包括在可拆卸存储介质上、通过网络传递或附在电子邮件和其他消息上。可以使用更新管理器将新的数据管理器添加到所述系统,或者更新现有的数据管理器。
根据本发明的另一个方面,可以提供许可证管理能力,它允许第三方将数据管理器以一次性或预订形式销售给一个或多个用户。另外,具有具体专长的用户可以创建数据管理器,通过添加新的行为和信息更新现有的数据管理器,以及使这些数据管理器成为其他用户的代理。
为了增强所述自然查询和应答的环境,所述系统可以编排结果的格式以增加用户的可理解性。编排结果的格式并呈现时可基于所述问题的上下文、所呈现应答的内容、与所述用户的互动历史、所述用户的偏爱和兴趣以及所述领域的性质。相反,很多用户可能认为苛刻的、高度格式化的或结构化的结果呈现是不自然的。
根据本发明的另一个实施例,所述系统可以仿真某些方面的人类“个性”。在某些情况下,所述应答表达和用于提供所述应答的术语可以随机化以避免出现苛刻地格式化的即呆板的应答。也期望使用其他仿真的个性化特征。例如,可以以表示同情的方式呈现可能使所述用户不安的应答。不仅如此,请求结果可能是长文本串、列表、表格或其他冗长的数据集。自然表现这种类型的信息带来了特定的挑战,因为简单读出长应答通常不是首选。相反,所述系统可以从所述应答中分析重要部分,并且最初可以仅提供报告。确定长应答的哪些部分要呈现时可以基于所述问题的上下文、所呈现应答的内容、与所述用户的互动历史、所述用户的偏爱和兴趣以及所述领域的性质。同时,所述系统可以给予所述用户互动控制权,以控制要呈现何种信息以及要呈现多少信息、一起停止所述应答或采取其他动作。
根据本发明的另一个方面,所述系统可以处理并响应若干问题、请求和/或命令。若干关键字和上下文可以用于判断所收到的口头表达和/或文本消息是否包括请求或命令。例如,口头表达可以包括问题、请求和/或命令的若干方面。例如,用户可以说出“录制我喜爱的TV节目”。对请求进行处理以确定所述用户喜爱TV节目的名称、频道和时间。为了设置录象机捕获这个节目,必须执行一条命令。
对于包括若干问题和/或请求的口头表达,所述系统可以执行多个步骤,可能包括以下的一个或多个:
●通过在多种多样真实环境中运行的语音识别组件,捕获所述用户的问题和/或请求;
●对所述问题和/或请求进行语法分析和解释;
●确定所述专长领域和上下文,调用适当的资源,包括若干代理;
●将一个或多个请求表达为一个或多个本地和/或网络数据源,或者向本地或远程设备或所述系统自身发送适当的命令;
●对显示进行格式编排、变量替换和变换以将所述请求修改为能够从所述可用源产生所期望结果的形式;
●以异步方式执行所述多个请求或命令并适度地处理故障;
●从可能以许多不同格式的任何一种返回的所述一个或多个结果中提取或分解所期望的信息;
●评估并解释所述结果,包括处理错误以提供一个或多个被判定为“最佳”的结果,即使所述结果是歧义、不完整或冲突的;
●进行格式编排、变量替换和变换以将所述结果修改为所述用户最容易理解的形式;以及
●通过文本到语音引擎或多模态接口,以有用和所期望的方式向所述用户呈现所复合的结果。
可以利用专长领域的知识、所述问题或命令的上下文、领域特定的信息、所述用户的互动历史、用户偏爱、可用信息源或命令以及从所述源获得的应答,执行以上若干步骤。
概率或模糊集决策和匹配的方法可以应用于处理不一致、歧义、冲突和不完全的信息或应答。此外,异步查询可以用于对请求或命令提供快速而适度的失效,允许所述系统稳健、快速地返回结果,而且以对所述用户似乎自然的方式。
许多日常问题本质上是主观的,并且产生的答案事实上是大致看法或民意。这些问题往往其本性也很特别。根据本发明的另一个方面,所述系统可以使用自适应、概率和模糊集决策和匹配的方法,以便识别出所述问题的主观本性并估计出若干可能答案的范围,其中可以选择最准确地表示所述用户所期望的结果类型的一种和多种答案。
具体问题的上下文和所期待的结果可能在很大程度上取决于询问所述问题的个人。所以,所述系统可以创建、存储和使用用于每个用户的个人概况信息。所述概况中的信息可以随着所述用户使用所述系统而自动地添加和更新,也可以由所述用户或其他人手工地添加或更新。领域特定的代理可以收集、存储和使用特定的概况信息,因为最佳运行可能需要它。对于有规律地使用的报告、自动产生的警报以及用于结果格式编排和呈现的其他请求,用户可以创建命令。所述系统可以在解释问题、请求格式编排、向所述用户解释请求结果和呈现答案时使用概况数据。用户概况中的信息实例包括,所询问问题的历史、通话历史、格式编排和显示偏爱、专用字的拼法、关注术语、关注的特殊数据源、年龄、性别、教育、位置即地址、商家地点、商家类型、投资、业余爱好、体育兴趣、新闻兴趣以及其他概况数据。
根据本发明的一个方面,为了提供自然的问题和应答环境,所述系统可以尝试提供若干快速应答。可以在不获得附加信息的情况下提供所述快速应答。所述系统可以使用实时评分系统或其他技术判断用户问题或命令的代理组成、上下文和/或领域。基于这种判断,所述系统可以触发一个或多个代理,以响应所述用户的问题或命令。所述代理可以产生一个或多个请求并迅速地返回格式化的应答。因此,用户可以收到对一组问题的直接应答,每个问题都具有不同的应答或上下文。在某些情况下,包括所述请求结果的可用信息可能不足以回答所提出的问题。在这样的情况下,可以向所述用户询问一个或多个后续问题以解决歧义性。然后可以提出若干附加请求,再提供适当的应答。在这些情况下,所述系统可以使用上下文信息、用户概况信息和/或领域特定的信息,以便使为了所需的与所述用户的互动最少。
如果所述领域或上下文得分的置信度不够高,无法确保可靠的应答,所述系统可以请求所述用户验证所述问题或命令被正确理解。一般来说,可以用短语表达所述问题以指明所述问题的上下文,包括全部准则或参数。如果所述用户证实所述问题是正确的,所述系统就可以开始产生应答。否则,或者所述用户能够将原始问题重新用短语表达,也许添加了附加信息以消除歧义性,或者所述系统可以询问一个或更多的问题以尝试解决所述歧义性也可以采取其他行动。
根据本发明的一个方面,所述系统可以接受任何自然语言的问题或命令,结果可能会招致歧义的请求。为了帮助用户阐明简洁的问题和命令,所述系统可以支持声音查询语言。所述语言可以帮助用户连同所述参数或准则一起清楚地指定所述问题或命令的若干关键字或上下文。所述系统可以提供内建的训练能力以帮助所述用户学习如何阐明其问题和命令的最好方法。
为了使对用户问题和命令的应答似乎更自然,所述系统可以采用一种或多种动态可调用的个性和/或情感模型。个性和情感模型具有特定的特征,仿真真实人类的行为特征。这些特征的实例包括同情、愤怒和帮助以及相关联的情绪。所述个性还会使应答的若干方面随机化,正如真实人类的行为。这种行为包括所用术语和使信息显示次序的随机化。调用所述个性和/或情绪的特征时使用了概率或模糊集决策和匹配的方法,使用了若干准则,包括所述问题的上下文、所述用户互动的历史、用户偏爱、可用的信息源、从所述源得到的应答。
根据本发明的另一个方面,可以采用专用过程,以长文本串、表格、列表或其他长应答集的形式表达信息。以罗列方式简单地表达长信息集也许认为不自然,或者不符合大多数用户的心意。所述系统可以使用概率或模糊集匹配的方法,提取有关信息并优先呈现这些子集。此外所述系统可以提供的命令允许用户浏览所述列表,找到所述列表中的关键字或关键信息,或者完全停止处理所述列表。
除了处理用户问题和命令的能力之外,本发明可以为所述系统或为其他设备提供本地或远程的控制功能。用户可以本地或远程地启动命令。可能有执行远程操作的几种技术,例如使用电话或其他声频连接。也可以使用其他远程命令技术。处理这些命令的方式可以与处理问题的方式几乎一致。一种差异是所述命令的结果通常是动作而不是应答。本发明支持的控制操作实例包括:找到并播放音乐、电影、游戏或其他娱乐媒体、控制家用电器或者其他电子或电子机械设备、安全系统控制、声频、文本和视频会议(包括IP语音会议)、操作集成的消息环境以及其他控制操作。
通过使用可选的模拟或数字电话接口或者数字网络接口,本发明能够提供对计算机或/和连接到所述计算机的辅助设备远程控制的能力。例如,如果所述计算机经过接口连接着一台或多台辅助设备,远程用户就能够使用这种能力远程地控制或编排所述辅助设备的操作。例如,这能够录制电视节目、检查家庭安全系统的状态、检查语音邮件消息、听取和响应电子邮件消息等等,不一而足。对于每位用户命令的口头表达,所述系统都可以执行许多步骤,可能包括:
●通过在多种多样真实环境中运行的语音识别,捕获所述用户的命令;
●对所述命令进行语法分析和解释;
●确定所述命令的领域和上下文,调用适当的资源,包括若干代理;
●为所述系统或外部设备制定设备专用的命令;
●将命令路由到所述系统或外部设备,包括连接到数据网络的外部设备;
●接收并处理命令的结果,包括错误;以及
●可选地向用户提供应答,指示所述命令的成功或失败,并且可能包括状态信息。
所述系统可以和范围广泛的平台环境结合使用。这些环境可以包括:作为PC、便携式或可佩戴计算机或其他计算机的外围设备、嵌入在PC或其他计算机中、在个人数字助理上比如带有无线网络功能的PDA、在专用的设备中比如条形码扫描器或支付终端、在无线电话上以及其他平台。如果本发明用于具有定位功能的移动或便携式设备,本发明就能够使用该位置数据作为用户问题上下文的一部分。用户可以在一台或多台设备上使用所述系统。在这种情况下,所述用户的历史和概况信息可以在多台设备之间定期地或以其他方式同步。
根据本发明的另一个方面,所述系统可以部署在使用代理、数据、信息、用户概况和历史的公共基础的若干设备的网络中。然后每个用户都能够在网络上配备所需设备的任何位置处互动并接收所述相同的服务和应用程序。例如,使用本发明并连接到网络的多台设备可以放置在遍及家庭、商家地点或其他位置的不同位置处。在这样的情况下,所述系统可以使用由所述用户所涉及具体设备的位置,作为所询问问题上下文的一部分。
根据本发明的一个实施例,所述系统可以支持在不同时间访问所述系统的多个用户。根据本发明的另一个实施例,所述系统可以支持以交错或重叠方式在同一对话期间访问所述系统的多个用户。所述系统可以依据名字、声音或其他特征识别出所述多名用户,并且可以调用每个用户的正确概况。如果多个用户正在重叠或交错对话中访问所述系统,所述系统可以识别出所述多个用户并可以调用一个或多个对应概况。对于需要安全保护的应用,验证所述多个用户时可以使用声波纹匹配、密码或许可证短语匹配以及其他安全保护。
当多个用户处于交错对话中时,所述系统可以使用概率或模糊集决策方法适度地为每个用户解决冲突。这种过程可以仿真人类对待来自多个源的多个问题时会采用的方式。例如,所述系统可以在时间上首先回答简短的问题,而在时间上随后回答较长的问题。作为替代,在其他配置之中,所述系统可以依据收到问题的次序回答问题。
给定了对领域特定行为、用户特定行为和领域特定信息的需要,根据本发明的另一个方面,所述系统可以允许用户和内容提供商双方扩展所述系统的能力、向本地数据源添加数据以及向网络数据源添加引用。为了允许覆盖尽可能广的论题范围,所述系统可以允许第三方内容开发商开发、发行和销售专门的即领域特定的系统程序和信息。通过创建新的数据管理器、改写现有数据管理器、向代理或数据库添加新数据以及添加或修改到信息源的链接,可以创建内容。这种信息的发行对所述用户兴趣和使用历史敏感,以及对他们是否愿意支付敏感。
根据本发明的另一个方面,所述系统可以允许用户传播他们的知识而不编程。所述系统包括的机制可以允许用户在他们具体专长领域中张贴和发行数据管理器和信息,以便改进系统性能。此外,用户可以按他们自己的偏爱扩展所述系统并进行配置、向他们的概况添加信息以定义新问题或查询、扩展和修改现有的问题和查询、添加新数据源、更新数据源、设置优先选择以及规定结果的显示参数。
由于本发明可以在许多环境中运行,包括具有背景噪声、点噪声源和人们持续会话的环境,所以可以对话音输入进行滤波。本发明可以使用例如或者一维或者二维的阵列话筒接收人类话音。所述阵列话筒可以是固定的,也可以采用动态射束形成技术。可以调整所述阵列模式以使所述用户方向上的增益最大并使点噪声源无效。然后可以利用模拟或数字滤波器处理所述话筒收到的话音,以便优化带宽、消去回声并陷波消除窄带噪声源。滤波之后,所述系统可以使用可变速率采样以使编码后话音的保真度最高,同时使所需带宽最小。在所述编码后话音经过无线网络或链接传输的情况下,这种过程尤其有用。
本发明的某些实例应用包括但是不限于以下各项:
●白页和黄页查找以找到商家和个人的电子邮件地址、电话号码、街道地址以及其他信息;
●每位用户的个人地址簿、日历本和待办事项本;
●通过话音和其他通信控制功能进行自动电话拨号、读取和发送电子邮件和页面;
●地图、定位和定向应用;
●电影或其他娱乐预告,评论信息以及购票;
●电视、广播或其他家庭娱乐时间表,评论信息和来自本地或远程用户的设备控制;
●本地区或其他地点的天气信息;
●股票和其他投资信息,包括价格、公司报告、概况、公司信息、商务新闻报道、公司报告、分析、价格警报、新闻警报、资产组合报告、资产组合计划等;
●航班或其他定期运输信息和售票;
●旅店预定,租车和其他旅行服务;
●本地、国内和国际新闻信息,包括按主题或地点的受关注标题、故事摘要、故事全文、故事的音频和视频检索和播放;
●体育成绩、新闻报道、时间表、警报、统计表、背景和历史信息等;
●交互预订多媒体信息频道的能力,包括体育、新闻、商务、不同类型的音乐和娱乐、使用用户特定偏爱提取并显示信息;
●对所使用或发表的信息或内容进行版权管理;
●占星术、每日笑话和喜剧、纵横拼字谜的检索和显示以及有关的娱乐或消费;
●食谱、进餐计划、营养信息和计划、购货单和与家庭组织有关的其他活动;
●作为拍卖和在线购物的接口,并且所述系统可以管理付款或电子钱夹;
●管理网络通信和会议,包括电信、电子邮件、即时消息、IP语音通信和会议、局域和广域视频音频会议、页面和警报传送话音;
●对播放列表的定位、选择、管理以及对来自本地或网络源互动娱乐的播放控制,包括:点播视频、数字音频比如MP3格式材料、互动游戏、网络广播和视频广播;
●对家庭、商家和其他用户团体的组织和日程表管理,包括:会议、约会和事件的管理;以及
●使用本地和网络资料的互动教育节目,课程资料等级基于用户概况设置,并且包括互动多媒体课程、宗教指导、计算器、字典和拼写、语言训练、外语翻译、百科全书以及其他参考资料。
应当认识到,对于本发明若干特点的以上陈述并非试图囊括或限制由参考本全部公开材料所认识到的其适当范围以及其合理地显而易见的若干变种和扩展。
附图说明
将要连同附图参考本发明的若干优选和替代实施例介绍本发明,其中:
图1是根据本发明一个实施例的总图解视图;
图2是一幅示意框图,显示了根据本发明一个实施例的代理架构;
图3是根据本发明一个实施例的高级别过程,用于接收基于自然语言语音的查询和/或命令并产生应答;
图4A是根据本发明一个实施例的过程,用于接收基于自然语言语音的查询和/或命令并产生应答;
图4B是根据本发明一个实施例的过程,用于接收基于自然语言语音的命令,以便在本地或远程地控制设备功能;
图5是根据本发明一个实施例的过程,用于正确地解释用户的口头表达;
图6是根据本发明一个实施例的过程,用于确定要调用的恰当领域代理以及将要提交到该代理的恰当格式化的查询和/或命令;
图7展示了根据本发明一个实施例,集中地保持上下文的图。
具体实施方式
对于在人与机器之间的自然人请求-应答互动的障碍包括:自然语言询问可能在其定义上不完整。不仅如此,为了恰当地解释若干问题和/或命令,可能需要先前问题的上下文、领域知识和/或用户的兴趣和偏爱历史。因此,自然语言问题无法容易地转录为机器可处理的形式。混合了这个难题时,自然语言问题可能会模糊或主观。在这些情况下,可能难以形成机器可处理的查询并返回自然语言应答。
为了使机器(如计算机设备)正确地响应以自然语言形式所提交的问题和命令,在已经对自然形式的问题或命令进行了语法分析和解释之后,可以表达为机器可处理的查询和算法。若干算法描述这些机器应当如何集合数据以响应这些问题或命令。取决于这些问题或命令的性质,也许没有一组简单的查询和算法将返回适当的应答。为了实现完整应答可能需要启动几种查询和算法,甚至可能需要将这些查询和算法环环相扣即连接起来。此外,任何单一可用源都不会包含产生完整应答所需要的完全结果集。因此,为了访问有的位于本地有的位于远程的多个数据源,可以产生多个查询和/或算法,也许分为几个部分。有的数据源、查询和/或算法可能不返回有用的结果,或者根本不返回任何结果。
返回的有用结果往往嵌入在其他信息中,并且可能需要从所述其他信息中提取。例如,可能需要从文本字符串、表格、列表、页面、视频流或其他信息中的大量其他信息里“分解出”几个关键字或数字。与此同时,为了处理该应答可以去除包括图形或图片的无关信息。在任何情况下都必须评估和组合多个结果以形成最好的可能应答,即使在某些查询没有返回有用的结果或者完全无法产生结果的情况下。在判定所述问题有歧义或所述结果本质上主观的情况下,确定在应答中要呈现的结果是复杂的过程。最后,为了保持自然互动,需要向用户迅速地返回应答。管理和评估复杂而不确定的查询,同时保持实时性能是重大的挑战。
以下详细说明涉及附图,介绍了本发明的示范实施例。其他实施例也是可能的并且可以对示范实施例做出若干修改而不脱离本发明的实质、功能和范围。所以,以下详细说明不意味着限制本发明。
本发明提供了完全基于语音的信息查询、检索、处理和显示的环境,或者基于语音和基于非语音结合的信息查询、检索、处理和显示的环境。另外,本发明可用于控制系统自身和/或外部设备。这种集成环境最大限度地使用了上下文、先验信息以及领域和用户专用的概况数据,以便实现使一个和多个用户提交多个领域中请求或命令的自然环境。通过这种集成方案,就可以创建完全基于语音的或者基于语音和基于非语音结合的自然语言查询、算法和应答环境。图1显示了根据本发明实施例的系统90的一幅示范示意视图。
系统90可以包括主单元98、语音单元128和多模态设备155。作为替代,系统90也可以由主单元98、语音单元128和多模态设备155都是完全分开的系统组成。事件管理器100可以仲裁主单元98的其他组件之间的互动。事件管理器100提供的多线程环境允许系统90以高效方式对来自多个用户会话多条命令或问题操作而没有冲突,保持着实时响应的能力。
代理106可以包括语法、准则处理器和算法的集合,在响应一组请求和/或命令时受到访问。代理106可以进一步包含若干软件包,适合于系统90的一般行为和领域特定行为的都有。代理106可以使用非易失性存储器存储数据、参数、历史信息以及在系统数据库102和其他本地源中提供的本地存储的内容。可以提供一个或多个用户概况110,它包括用户专用数据、参数以及会话和历史信息,用于确定代理106的行为。在数据判断系统中可以提供一个或多个个性模块108,它包括代理106所用的若干个性特征。更新管理器104管理着代理106的自动和手工加载和更新以及它们的相关联数据,它们通过网络接口116来自因特网146或其他网络。
根据本发明的一个实施例,系统90基于语音的接口可以包括一个或多个语音单元128。语音单元128可以包括一个或多个话筒,例如阵列话筒134,接收用户口头表达。话筒134收到的语音可以由滤波器132处理并传递到语音编码器138进行编码和压缩。在一个实施例中,收发器模块130将编码后语音传送到主单元98。从主单元98收到的编码后语音由收发器模块130检测,然后由语音编码器138解码和解压缩,并且由扬声器136宣告。
根据本发明的一个实施例,系统90基于非语音的接口可以包括一台或多台多模态设备155,它们可以包括移动设备、独立或网络计算机、个人数字助理(PDA)、便携式计算机设备或其他多模态设备。
语音单元128、多模态设备155和主单元98可以通过通信链路进行通信。通信链路可以包括有线或无线链接。根据一个实施例,通信链路可以包括RF链接。语音单元上的收发器130可以与主单元98上的收发器126经过通信链路双向地传递编码后语音数据。根据另一个实施例,RF链接可以使用任何标准的局域无线数据协议,包括IEEE802.11、蓝牙或其他标准。作为替代,也可以使用符合任何合适标准的红外线数据链接,比如IrDA或其他红外线标准。在替代实施例中,导线连接着语音单元128和主单元98,不再需要一台语音编码器138。也可以使用其他有线或无线的模拟或数字传输技术。
根据本发明的一个实施例,主单元98上收发器126收到的编码后语音可以传递到语音编码器122进行解码和解压缩。解码后语音可以由语音识别引擎120使用上下文描述语法模块112与其他信息进行处理。识别后的任何信息都可以由语法分析器118进行处理,它使用知识代理所提供的数据将信息转录为完整的算法和问题。使用语法堆栈可以从多个代理106中选出若干知识代理,这些知识代理提供的信息用于产生对于问题或命令的响应。这些知识代理然后可以处理这些命令或问题,创建若干查询,提交到本地数据库102或通过网络接口116经过因特网146或外部其他网络提交到外部数据源。典型情况下,算法将导致系统90自身采取行动(即暂停或停止),或者经过到因特网的网络接口或其他数据接口,对远程设备或数据源采取行动(即下载数据或程序或者控制远程设备)。
根据本发明的一个实施例,知识代理可以返回问题的结果作为对用户的应答。创建所述应答时可以使用信息查询结果、系统的个性108、用户偏爱、用户概况110中的其他数据和/或其他信息。代理106可以使用语音单元128呈现这些结果。代理106可以创建应答串,它将被发送到文本到语音引擎124。文本到语音引擎124产生若干口头表达,可以由语音编码器122进行编码和压缩。一旦编码后,收发器126就将这些口头表达从主单元98传递到语音单元128上的收发器130。这些口头表达然后由语音编码器138进行解码和解压缩并由扬声器136输出。作为替代,代理106也可以使用多模态设备155呈现这些结果。
非语音接口114可以是多模态设备155的一部分也可以与其分开,并且可用于代替或补充所述语音接口。例如,非语音接口114可用于以用户更容易领会的方式呈现非语音(如图形或表格)信息并与之互动。根据本发明的一个实施例,可以提供多模态支持以便在语音互动和经过非语音接口114的互动期间都保存上下文。在一个示范实施例中,在多模态设备155与主用户接口系统90之间可以开放通信通道,以便允许多模态设备155输入文本命令和问题。多模态设备155可以接收和/或提供一种或多种类型的通信,包括语音、文本、数字音频文件以及其他通信。根据本发明的另一个实施例,多模态设备155可以发送命令或问题所用的文本或关键字的字符串。主接口系统90可以使多模态设备155与语音单元128之间的上下文同步。为了向对应的设备发送应答,主用户接口系统90可以跟踪输入来自何方,以便应答可以发送到TTS或多模态设备155。
根据图7展示的本发明替代实施例,可以集中地保持着上下文管理器702以允许来自多台移动设备36的输入以及向它们的输出。每台移动设备都可以与上下文管理器702通信以便通过注册模块712进行注册,其中注册可以表明移动设备36可以预订的事件。上下文管理器702可以以例如Context XML的形式接收输入。通过上下文跟踪模块714可以通知其他已注册移动设备36上下文的变化,从而在若干已注册移动设备36之间使上下文同步。根据本发明的一个实施例,可以添加或去除已注册的移动设备36。已注册移动设备36可以是专用于该移动设备36的动态链接库(DLL)。
根据本发明的另一个替代实施例,从表示为文本消息的命令或请求以及/或者表示为口头表达的命令或请求中可以确定上下文信息,并且使用多步式自动语音识别模块进行处理,它将口头表达改编为文本消息。多步式自动语音识别模块可以使用听写语法或大词汇语法与其他资源,将口头表达改编为文本消息。在无听写语法可用的平台上,多步式自动语音识别可以使用虚拟听写语法,对于词汇表之外的词它使用饵词。饵词包括实用词、无意义词、孤立音节、孤立独特音和其他饵词。
根据本发明的一个实施例,在文本消息中可以搜索具体字符、字符组、词、词组和其他文本组合。所述文本组合可以与每个代理106相关联的上下文描述语法中的条目进行对比。如果识别出了上下文描述语法中有效语法与该命令和/或请求之间的匹配,那么该匹配可以评分。根据所确定的分数可以对代理106定级。根据从代理106中收到一个或多个应答而产生聚集应答时,根据代理106的等级可以确定来自各个代理的应答的次序。聚集应答可以由应答发生器模块产生。代理106可以更新上下文堆栈,它包括命令上下文的有序列表,以便能够跟踪请求。
根据本发明的另一个实施例,如果在文本消息与有效语法之间未发现匹配,或者仅仅发现了部分匹配,那么知识强化的语音识别系统可以用于扩大语义搜索。知识强化的语音识别系统可以用于判断请求的意图和/或改正错误的识别。知识强化的语音识别可以访问上下文堆栈中存储的一组预期上下文以确定最合适的上下文。知识强化的语音识别可以使用上下文专用的匹配程序,它们能够识别出上下文,比如时间、位置、数字、日期、种类(如音乐、电影、电视、地址等)和其他上下文。进行匹配过程时可以通过比较字符、字符组、词、词组和其他文本组合。作为替代,或者对基于文本匹配的补充,进行匹配过程时可以使用语音学匹配与其他技术。任何匹配的结果都可用于产生命令和/或请求,被传达到代理106做另外的处理。根据本发明的一个实施例,非语音接口114可以显示系统、状态和历史信息,其方式比通过语音接口可能的方式更简洁。为了创建或扩展代理106的能力,可以访问非语音接口114。这些操作可以包括把代理编排为脚本、向代理或该代理所用的数据库102添加数据、添加到信息源的链接以及其他操作。
根据本发明的另一个实施例,系统90可以包括不同类型的代理106。例如,一般的和领域专用的行为和信息可以组织到领域代理中。相反,系统代理可以提供默认功能和基本服务。领域代理为每个应用领域提供了完整、方便和可重新分配的软件包或模块。换言之,领域代理包括了在现有或新领域中扩展或修改系统90功能所需要的数据。此外,在添加了新行为或新信息变为可用时,领域代理及其相关联的数据能够经过网络远程地更新。领域代理可以使用其他的、典型情况下更专业化的数据管理器和系统代理150的服务。代理以许多方式分配和重新分配,包括在可拆卸存储介质上、通过网络传递或附在电子邮件和其他消息上。本发明可以提供许可证管理能力,它允许第三方将数据管理器以一次性或预订形式销售给一个或多个用户。另外,具有具体专长的用户可以创建数据管理器,通过添加新的行为和信息更新现有的数据管理器,以及使这些数据管理器成为其他用户的代理。图2显示了根据本发明实施例的代理架构的框图。
代理106可以从事件管理器100中接收若干事件以及向其返回事件。系统代理150和领域代理156都可以从语法分析器118中接收问题和命令。根据问题和命令中的关键字以及问题和命令的结构,语法分析器可以调用所选定的代理。代理使用非易失性存储器存储数据、参数、历史信息以及在系统数据库102中提供的本地内容。
根据本发明的一个实施例,当系统启动或自举时,代理管理器154可以加载和初始化系统代理150和一个或多个领域代理156。代理管理器154包括代理106的知识,并且将代理106映射到代理库158。关闭时,代理管理器可以卸载代理106。代理管理器154还对领域代理156和数据库102中的内容执行许可证管理功能。
系统代理150管理着若干准则处理器152,它们处理用于确定问题和命令上下文的特定参数或数值(准则)。根据本发明的一个实施例,准则处理器152包括若干语法分析例程,专用于识别语音的特定部分,比如时间、位置、电影名称以及语音的其他部分。准则处理器152可以从若干短语中识别出匹配短语并从其提取出若干语义属性。系统代理150和领域代理156都可以使用准则处理器152。多种领域代理156都可以使用系统代理150的服务,以及其他典型情况下更专用的领域代理156的服务。系统代理150和领域代理156可以使用代理库158的服务,它含有公用功能的实用程序。根据本发明的一个实施例,代理库可以是执行一个或多个代理的动态链接库。代理库可以包括若干实用程序,用于文本和字符串处理、网络通信、数据库查找和管理、模糊和概率评估、文本到语音的格式转录以及其他实用程序。
领域代理156可以是数据驱动的、脚本化的或以编译代码创建的。类属代理的基础可以用作数据驱动或脚本化代理起点。以编译代码创建的代理典型情况下建立在动态可链接即可加载的库中。代理开发商能够根据需要向代理库158添加新功能。在以下段落中将讨论代理分配和更新的细节以及代理创建或修改。
根据本发明的另一个实施例,提供的若干性能使用更新管理器104通过无线或有线网络136,包括拨号上网,分配和更新系统代理150、领域代理156、代理库158组件、数据库102以及上下文描述语法112。网络接口116可以提供到一个或多个网络的连接。更新管理器104还可以管理核心系统更新的下载和安装。代理管理器154可以对领域代理和数据库执行许可证管理功能。更新管理器104和代理管理器154可以对全部的代理和数据库内容执行这些功能,包括对全部用户都可用的代理和内容,或者对所选定用户可用的代理和/或内容。定期添加或更新的代理和数据库组件的实例包括:
●新领域的代理;
●代理的附加领域知识;
●领域的新关键字,可以包括新近知名的政治家、运动员、专业演员的名字、新电影或歌曲的名称等;
●对所覆盖领域的优选信息源组的链接,包括对娱乐、新闻、体育、天气等的链接;
●根据例如税法变化、公司合并、政治边界变化而对领域信息的更新;
●对内容的更新,包括字典、百科全书和年鉴;以及
●其他内容和数据库组件。
当用户需要或选择新领域代理156或数据库组件102时,更新管理器104可以通过网络接口116连接到网络146上它们的资源,下载并安装代理或数据。为了节省系统资源并遵守所有的许可证条件,更新管理器104可以卸载不再使用的代理。在本发明的一个实施例中,更新管理器104可以定期查询受许可代理和数据库组件的一个或多个源,以便当代理可执行程序、脚本或数据变为可用时定位并下载若干更新。作为替代,当已注册即受许可代理的代理更新变为可用时,代理源可以启动将其下载到更新管理器。
代理管理器154可以提供许可证管理客户,它们能够执行几乎任何许可证条款和条件。根据提交的命令选择具体代理106和/或数据库组件102时,代理管理器154验证使用的代理或数据分量在所允许的条款和条件之内,并且假若如此,调用该代理或允许访问该数据分量。通过代理管理器154能够实现的许可证管理模式包括即时购买、预约更新、一次或有限时间使用。代理管理器154还可以管理共享的代理和数据分量的使用(比如从由若干领域专家组所维护网站下载的代理和数据分量)。
如果问题或命令与系统上当前加载的代理不匹配,代理管理器154可以通过网络接口116搜索网络146以发现合适的代理源。一旦定位后,就能够在更新管理器104的控制下、在许可证协定的条款和条件之内加载该代理,正如由代理管理器所实施的。
通过改变代理数据和脚本能够向任何领域代理156添加新的命令、关键字、信息或信息源。这些配置能力可以允许用户和内容开发商扩展和修改现有领域代理156的行为,或者从类属代理创建新的领域代理156,而不需要创建新的编译代码。因此,修改领域代理156的范围可以从甚至最不经意的用户进行的较小的数据驱动更新,比如指定词的拼法,到使用脚本语言的复杂行为的开发,正如典型情况下会由领域专家所完成的。通过语音接口命令或使用非语音接口114,用户可以创建和管理对领域代理156的修改。领域代理156的用户特定修改连同用户概况110一起存储并由领域代理156在运行时访问。
配置数据驱动代理156所用的数据以易于高效评估和帮助开发商组织的方式构造。这些数据不仅由代理156使用,而且由语音识别引擎120、文本到语音引擎124和语法分析器118使用。某些主要种类数据的实例包括:
1.内容数据包包括问题或命令。每个命令或问题或者命令或问题组都包括创建一个或多个请求所用的若干上下文。领域代理156将上下文描述语法表达传递给语法分析器118以进行上下文或问题的评估。典型情况下为每个命令或问题都提供了初始的即默认的上下文。命令或问题可以包括管理和评估上下文堆栈所用的语法。
2.页面列表或指针,指向其他本地或网络内容源。对于每个页面或内容源都有指向该页面或源的指针(如URL、URI或其他指针)。每个页面都有特定的分解信息,用于提取所关注的数据。分解信息包括匹配模式、HTML或其他格式的语法分析信息。
3.应答列表,给定了上下文、用户概况和检索信息后,确定领域代理156对具体命令或问题的应答。应答可以包括诊断的错误消息或请求更多信息,用从已知信息还不能解决该问题或命令时。应答可以基于或取决于变量的阈值或者概率或模糊权重。
4.代入列表,包含变量替换和变换,往往由代理150在查询和结果的格式编排中应用。例如,股票领域的专用代理156将使用公司交易符号、公司名称和共用缩写的代入列表。可以对命令和问题执行代入和变换以创建精确的查询,这些查询能够对一个或多个信息源或者对结果进行,以便为用户创建更有意义的输出。代入列表包括的信息也用于最理想地处理结构化信息,比如HTTP格式网页的语法分析和评估。
5.应答所用的个性。以加权方式结合多种特质构造个性。对每个代理的领域范围都可以规定权重以创建一种或多种特定个性。个性特质的实例包括讽刺、幽默、愤怒和同情以及其他特质。
6.信息源、替换、变换、变量或准则的公共和用户专用参数。公共参数表是代理数据包156的一部分。用户专用参数包含在用户概况110中。
根据用户个性或用户概况110的数值解释命令和问题、表达查询、创建应答并呈现结果。个人概况包括的信息可以专用于个人、他们的兴趣、他们专门使用的术语、他们与系统互动的历史以及所关注领域。个人概况数据可以由代理106、语音识别引擎120、文本到语音引擎124以及语法分析器118使用。偏爱可以包括特殊的(修改过的)命令、过去的行为即历史、问题、信息源、格式、报告和警告。用户概况数据可以由该用户手工输入和/或由系统90根据用户行为学得。用户概况值可以包括:
●拼写偏爱;
●用户、家人和朋友的出生日期;
●收入水平
●性别
●职业
●位置信息,比如家庭地址、邻域和商家地址;
●轿车车型
●电信和其他服务的提供商和服务;
●财务和投资信息;
●别名(即某人的昵称);
●专用拼法
●关键字
●变换和替换变量;
●所关注领域;以及
●其他值
最终用户可以使用数据驱动代理156的扩展和修改程序以及用户概况110中存储的数值,创建专用报告、查询包、警告和输出格式。单一报警或报告也可以配置为使用多个数据源和其他变量值(即时间、位置)以确定何时应当发送警报。例如,通过每隔15分钟对股票价格采样可以产生警报,并且如果该价格下跌至某个值以下便发送警报。为了创建报告,用户首先指定一组命令或问题。下一步,用户为该报告创建或选择格式。最后用户可以为该报告命名。报告可以具有若干可变的参数。例如,用户可以创建公司股票报告,并且通过陈述其名称和公司名称执行该报告,它给出了用户选择的信息并且以适合于这个公司的指定格式。在另一个实例中,用户可以创建“上午”报告,它以所期望的次序和格式呈现了从不同信息源(新闻、体育、交通、天气)选出的多媒体信息。仅仅使用语音命令和应答、通过非语音接口114使用命令和应答或者两者的组合,都能够创建警报和报告。为了创建报告、警报或其他专门化的行为,用户执行了许多步骤,包括:
●指定命令以运行报告或报警;
●指定问题或若干问题,包括查询所使用的若干关键字;
●设置运行报告的准则,比如立即或者当满足了某具体条件时;
●定义优选的信息源;
●定义由信息源、数值等进行结果评估的次序偏爱;
●指定报告或报警的呈现介质,比如电子邮件、文本的语音引擎、寻呼机消息,或者文本和图形显示;以及
●指定报告的优选格式,比如要呈现的信息、要呈现信息的次序、优选的缩写或其他变量代人。
滤波和噪声消除在促进系统90的多种功能中可能很重要。向语音识别引擎120输入高信噪比信号,进行用户语音的识别和语法分析。为了提供可接受的结果,可以使用一组声学模型、阵列话筒134、滤波器132或其他组件。如果不能实现高信噪比,可以使用噪声识别算法,可以选择适当的声学模型,例如,在类似于所识别噪声条件下已经训练的模型。根据本发明的实施例,话筒阵列、滤波器和语音编码器138都从主单元98物理地分离到语音单元128中,并且使用无线链接相连。由于无线连接带宽非常珍贵,所以语音编码器动态地适应所捕获语音的数字化速率和压缩。
语音单元128可以使用话筒阵列134,以便使提供的定向信号捕获和噪声消除优于用单话筒所能够达到的程度。话筒阵列可以是一维的(线性阵列)也可以是二维的(圆、正方形、三角形或其他适宜形状)。所述阵列的方向特性可以固定,也可以通过使用模拟或数字相移电路使其自适应。有源阵列的模式被调向一位或多位用户谈话的方向。与此同时,可以向该模式添加零点,对点或有限区域噪声源进行陷波。使用阵列话筒也有助于减少从文本到语音引擎124通过扬声器136的输出与用户语音检测之间的串音。
可以用模拟或数字(即IP语音)语音接口补充话筒。这种接口允许远程用户连接系统并与系统互动,方式与他们本身就在现场的可能方式相同。
根据本发明的实施例,语音单元128可以使用阵列话筒134与语音编码器138之间的模拟或数字滤波器132。设置滤波器的通带以使向语音识别引擎120的输入的信噪比最优。在某些实施例中,滤波器是自适应的,使用与陷波组合的频带整形技术滤除窄带噪声。在本发明的一个实施例中,系统90可以使用滤波器中的自适应回声消除技术。回声消除技术有助于防止文本到语音引擎的输出与用户语音检测之间的串音以及压制环境导致回声。为了比较背景噪声与从用户语音收到的信号进行了若干计算,并用于使自适应滤波器的频带整形参数最优。本领域技术人员应当熟悉构建适宜的数字或模拟滤波器所用的多种技术。
由阵列话筒134收到并通过滤波器132传递的语音可以发送到语音数字化器或编码器138。为了使带宽要求最优化,语音编码器138可以使用自适应有损音频压缩,以便经过无线链接向语音识别引擎120传输编码后语音。所述有损编码可以优化以仅仅保存最佳识别所需要的语音信号分量。此外,可以使用的有损压缩算法可以设计为预防信号流中的均匀瞬时间隙,它能够导致语音识别引擎中的严重错误。在编码器中可以缓冲数字化的语音,并且该编码器可以适应输出数据速率,以便最优地使用可用的带宽。在编码器和语音识别引擎之间使用有限频带的无线链接时,使用自适应语音编码器尤其有利。
在替代实施例中,阵列话筒可以由一组物理上分布的话筒或用户佩戴的耳麦取代。分布的话筒可以放置在房间的不同部分或在不同房间中。分布的话筒能够创建三维阵列以改进信噪比。耳麦可以使用无线或有线连接。
虽然本发明力图能够接受几乎所有自然语言的问题或命令,但是歧义性仍是难题。为了帮助用户表达简洁的问题和命令,系统90可以支持语音查询语言。为了允许歧义性最小的多种查询而构造了所述语言。因此,语音查询语言帮助用户连同参数和准则一起清楚地指定问题或命令的关键字或上下文。所述语言提供的语法清楚地规定了确定上下文所用的关键字和一组准则或参数。用户以语音查询语言提出问题或陈述命令时几乎总保证能够收到应答。
语音查询语言对上下文堆栈的内容敏感,其中上下文定义了在会话期间可能是活动的或不活动的一组问题。根据一个实施例,每个代理都可以将一个上下文指定为根上下文,它定义了该代理实施的基本算法。因此,使用简化语法能够提出后续问题,因为从上下文堆栈能够继承关键字和准则。例如,如果问题的准则保持不变,用户可以简单地提出另一个关键字。
系统90可以提供若干内建的训练功能,以便帮助用户学习表达其问题和命令的最佳方法。互动训练允许用户可听地或可视地了解机器对其查询的解释,并且提供如何更好构建查询的建议。使用互动训练用户可以快速地变得适应于语音查询语言,同时学到如何使对话中每个步骤所需要的信息量最优化。
语音编码器122的输出可以提供给语音识别引擎120。语音识别引擎120使用上下文描述语法112中的信息识别出词和短语,并且将这些结果传递到语法分析器118进行解释。语音识别引擎120可以通过每个口头表达的语音和名字确定用户的身份。识别出的词和短语可以在全部进一步处理中以这个身份标记。因此,当多名用户处于交迭会话中时,由语音识别引擎120向每个口头表达添加的标记将允许系统90的其他组件将这个口头表达结合到正确的用户和对话。用户识别功能可以进一步用作若干应用的安全措施,比如需要安全措施的拍卖或在线购物。每名用户的语音特征可以包含在用户概况110中。
根据本发明的一个实施例,当用户初次与系统90说话时,他们便开始了与其的会话。这能够由讲出普通单词(“计算机”)或陈述出具体名字(“Fred”)完成,通常可以将其结合到系统的个性108。一旦用户开始了对话,它就能够被语音识别引擎120使用用户语音的若干独特特征识别出。会话结束或中断会话时,用户可以说出撤退的词(“再见”)。
根据本发明的另一个实施例,系统90采用的语音识别引擎124可以使用来自上下文描述语法112、用户概况110、代理106以及其他组件的数据,改进词识别准确度。与此同时,这些词在上下文描述语法中的模糊集可能性即先验概率可以动态更新,以便使每个会话阶段正确识别的概率最大。所述概率或可能性可以根据许多准则动态更新,包括应用领域、问题或命令、上下文、用户概况和偏爱、用户对话历史、识别器字典和短语表、词拼写以及其他准则。
对于不常见词或词汇表中新词,可以给用户拼写该词的选择。通过讲出名称或字母,或者使用音标可以完成拼写。音标可以是默认的或用户选择的。
作为替代,如果语音识别引擎120根本未识别出或者未正确识别出用户提交的词,那么可以请求用户拼写该词。语音识别引擎120基于评分过程的置信度确定这种条件。该词可以在字典中查找,并且有该词的发音或者添加到字典、代理106中或者添加到用户的概况110中。然后该词的发音可以与领域、问题、上下文和用户相关联。经过这种过程,语音识别引擎随时学习并改进了准确度。为了帮助用户拼写词,可以使用个性化的音标。每位用户都能够用词修改标准的音标,他们可以更容易地记住它。
一旦语音识别引擎120已经识别出了若干词和短语,就会向语法分析器118传递标记和用户身份。语法分析器118检查用于问题或命令、上下文和准则的标记。语法分析器118通过对关键字匹配、用户概况110和对话历史应用先验概率或模糊可能性,确定口头表达的上下文。问题或命令的上下文决定领域,进而决定要调用的领域代理156,如果有的话。例如,带有关键字“温度”的问题暗示着该问题的上下文值天气。语法分析器从系统代理150或已经活动的领域代理156中动态地接收关键字和相关联的先验概率或模糊可能性更新。根据这些概率即可能性,对这些可能的上下文评分,最高分的一个或几个用于进一步处理。
对于用户的问题和/或命令,语法分析器118使用评分系统确定最可能的上下文或领域。该得分通过对许多因子的加权确定,所述因子包括用户概况110、领域代理的数据内容以及先前上下文。基于这种评分,系统90调用正确的代理。如果所述分数的置信度不足以确保可靠的应答,系统90可以要求用户验证是否正确地理解了问题和/或命令。
一般来说,由系统90询问的问题可以用短语表达以指明问题的上下文,包括全部准则或参数。例如,问题的形式可以是“我是否理解了你想要某物“。如果用户确认该问题是正确的,系统继续产生应答。否则,用户可以将原始问题重新构词,也许添加另外的信息以消除歧义性,系统也可以询问一个或多个问题以尝试解决歧义性。
一旦问题或命令的上下文已经确定,语法分析器118就可以调用正确的代理156、150。为了以代理所用的规则语法表达问题或命令,语法分析器118对若干准则或参数可以确定所需的和可选的数值。这些准则可能已经由用户显式地提供了,也可能需要进行推理。语法分析器118可以利用系统代理150提供的准则处理器152。准则处理器152可以提供上下文敏感的过程,从用户的问题或命令中提取若干准则或参数。某些准则由执行所述代理中的若干算法而确定,而其他准则可以由对可能数值的若干表应用模糊推理概率而确定。先验概率或模糊可能性以及相关联数值从许多数据源收到,包括对话历史、用户概况110和代理。根据用户的应答,先验概率或模糊可能性随着系统学习所期望的行为而更新。对于天气上下文,准则实例包括位置、日期和时间。其他准则可以包括命令准则(即是/不是、接通/关闭、暂停、停止)以及拼写。特殊准则处理器可以来自系统代理,用于处理列表、表格、插嘴命令、文本长串和系统命令。
准则处理器152对提取的准则进行迭代或递归操作以消除歧义性。这种处理有助于减少用户问题或命令中的歧义性。例如,假若用户在其口头表达中有地名(或者其他专有名词),语法分析器118就能够使用领域代理156的服务在数据库102的表中查找地名,也能够尝试确定哪个词是来自口头表达句法的专有名词。在另一个实例中,用户询问“航班一百二十又如何?”。语法分析器和领域代理连同上下文使用数据库和网络信息中的航班信息在以下诸项中确定看似最可信的解释:航班100还有航班20、航班100和航班22、航班122等。
一旦确定了上下文和准则,语法分析器118就可以以代理150、156进行处理所用的标准格式或分层数据结构形成所述问题或命令。语法分析器118可以为上下文的语法填写全部需要的和某些可选的标记。这些标记往往必须转录为代理可接受的数值和形式。语法分析器从代理、对话历史或用户概况110获得所需要的变换。由语法分析器对标记执行的变换或替换的实例包括:
●用股票符号代替公司名称或缩写;
●用数值代替某个词或若干词;
●将邮政编码添加到地址;以及
●将地方或其他名称改变为公用的标准缩写。
只要语法分析器118已经将命令或问题置于所需的标准格式中,代理150、156就可以接收它。基于所述上下文,语法分析器118调用正确的代理处理问题或命令。
命令可以导向系统90或外部实体。系统命令一般导向系统代理150。用于外部实体的命令一般由领域代理156处理,它包括命令上下文和外部实体的行为。
具体问题一般导向领域代理156之一。基于问题或上下文以及参数或准则,领域代理创建对一个或多个本地或外部信息源的一个或多个查询。问题在性质上可以是客观的也可以是主观的。客观问题的结果常常可以利用对一个或多个本地或网络信息源进行结构化查询而得到。即使对客观问题,系统90也可能需要应用概率或模糊集分析,以便应对信息冲突或信息不完整的情况。回答主观问题的信息一般利用对本地或网络数据源进行一个或多个特别查询而得到,继之以对一个或多个结果进行概率或模糊集评估以确定最佳答案。
一旦领域代理156已经表达了一个或多个查询,就可以将其发送给本地和/或网络信息源。针对信息源以不同速度响应或根本未能响应的事实,以异步方式执行查询。完全相同的查询被发送到不同的信息源以确保至少一个信息源及时地以有用结果响应。此外,如果以及时方式收到了多个结果,系统可以对它们评分以确定哪个数据最可靠或最适宜。所接纳的数据源实例包括:HTTP数据源、具有多种格式包括XML元数据的数据源、娱乐音频、视频和游戏文件包括MP3、使用查询语言和结构化响应比如SQL的数据库,以及其他数据源。
本地信息源可以存储在一个或多个系统数据库102中,也可以在任何本地数据存储器上,比如播放机中的一组CD或DVD或者其他本地数据存储器。网络信息源可以连接到因特网136或其他网络,并且可以通过网络接口116中称为可插入源的一系列插卡或适配器进行访问。网络接口116中的可插入源能够执行若干协议并解释所关注数据源的数据格式。可插入源可以提供信息、将每个数据源的数据和过程分解到领域代理156。如果要使用新类型的数据源,可以向网络接口116添加新的插卡或适配器。
领域代理156在一个或多个查询的结果到达时评估它们。领域代理156根据已经收到的结果、上下文、准则、对话历史、用户概况110和领域专用信息,使用概率或模糊评分技术的对这些结果的相关性评分。部分对话历史被保存在上下文堆栈中。评分时每个上下文权重基于一个上下文与另一个上下文的相关性,以及这些上下文的已存在时间。其他评分变量可以通过上下文堆栈相关联。上下文也可以是唯一的,所以先前的上下文在评分中没有权重。
根据连续的评分过程,领域代理156可以判断是否可以提取单一的最佳答案。对于大多数问题,所期望的结果具有要表达答案时必须找到的一组标记。只要为这些标记的每一个都找到了的数值,向用户呈现的结果就准备好了。例如,对于天气问题,所述标记可以包括日期、星期几、预报高温、预备低温、降水的可能性、预期云量、预期降水类型以及其他标记。以这种方式处理的结果包括错误消息。对于主观问题,在由所收到结果进行匹配而提取的答案中,通过确定最可能答案或若干答案而做出这种决定。如果从查询结果不能推理出令人满意的答案,代理可以实行以下步骤之一:
1.询问用户更多信息,典型情况下通过语音接口,并且基于得到的结果表达新的查询。如果在表达应答时出现了不能解决的歧义性则应用这种方式。
2.基于从最初查询组收到的结果表达新的查询,典型情况下,在收到的应答不包含全部所需信息时应用这种方式。从已经得到的结果(即在HTML文档中的链接)或从其他信息源中可以推理出要查询的信息源。使用这种方式时一组或多组查询和应答能够环环相扣而不需要用户动作。
3.等待另外的查询返回结果。
在任何情况下,领域代理156都可以继续进行请求并评估结果,直到构造出令人满意的应答。这样做时,代理可以起动几个重叠查询通道即询问线程,典型情况下由事件管理器100仲裁。这种技术与使用从多个数据源异步查询结合,提供了与用户自然互动所需要的实时应答性能。
领域代理156可以在收到每个查询应答时对其实施条件分解操作。条件分解动作依赖于上下文、准则、用户概况110和领域代理编码和数据。对于要提取的每个标记,都可以使用系统代理150的若干服务创建分解准则152。所述分解准则使用格式专用的分解方法,包括:表格、列表、文本和其他分解方法。一种或多种分解准则可以应用于页面或结果组。一旦收到了另外的结果,领域代理156就可以创建新的分解准则以应用于已经获取的结果。条件分解过程删除了无关系的信息,比如图形,不必对其做进一步处理或存储,改进了系统性能。
领域代理156可以强烈地影响如何呈现结果。例如,一旦领域代理156对问题已经创建了令人满意的应答,代理156就可以对该应答进行格式编排以便呈现。典型情况下,领域代理156将该应答格式编排为文本到语音引擎124所用的置标格式。领域代理156还可以使用可用的格式模版并基于上下文、准则和用户概况110对结果表达进行格式编排。代理156可以执行变量替换和变换以产生用户最容易理解和最自然的应答。此外,代理156可以改变标记的表达次序和所用的提取技术以创建对用户更自然的应答。领域代理156也可以选择要使用的表达个性108。
领域代理156可以选择表达模版、确定标记的表达次序和使用概率或模糊集决策方法确定变量替换和变换。形成表达所用的模版可以来自领域代理自身也可以来自用户概况110。用户概况110完全能够指定表达格式,也能够用于选择、然后修改现有的表达格式。表达模板的选择和格式编排还可以依赖于表达个性模块108。与此同时,使用从上下文、准则、领域代理自身和用户概况110导出的概率或模糊可能性动态地确定用于应答的个性特征。
领域代理156可以先对标记实施许多变换,再呈现给用户。这些变量替换和变换从许多信息源导出,包括由代理携带的领域信息、上下文、标记值、准则、要使用的个性模块108和用户概况110。
变量替换和变换的实例包括:
●用单词代替数字;
●用名称代替首字母缩写词或符号(即交易符号);
●使用从信息源(即HTML标签)导出的格式编排信息;
●响应的性质,包括文本、长文本、列表、表格;
●可能的丢失信息或错误;
●度量单位(即英制的或公制的);以及
●来自用户概况110或表达个性108的优选术语。
根据本发明的另一个实施例,系统90可以提供特殊目的的表达能力,用于长文本字符串、表格、列表和其他大结果集。领域代理156可以对这样的结果使用特殊的格式编排模版。系统代理150可以提供特殊的准则处理器152,用于大结果集的表达和用户命令。由领域代理156对大结果集所用的表达模板典型情况下包括若干方法,用于归纳若干结果然后允许用户更详细地查询结果。例如,最初仅仅呈现了简短的摘要,比如标题行或关键数字。然后用户能够进一步查询结果集。准则处理器152为用户提供了浏览大结果集的能力。准则处理器152为大结果集提供的命令包括:停止、暂停、跳过、反绕、开始以及向前移动。
某些信息,格式为比如视频、图片和图形,以显示格式可以表现得最好。在这些情况下领域代理156可以应用合适的表达模版,并且通过图形用户界面114呈现该信息。为了显示表达和控制,系统代理150提供的特殊准则处理器152用于表达和用户命令。
图3展示了根据本发明一个实施例的高级别过程300,用于接收基于自然语言语音的查询和/或命令并产生应答。过程300包括若干单独的步骤,其中的几步可以重复,以容纳部分故障。当在302收到用户的口头表达并处理时,过程300便开始。用户的口头表达可以是查询和/或命令并可以是基于自然语言语音的形式。收到了该自然语言查询和/或命令后,可以处理该查询和/或命令,使得该数据为机器更容易理解的格式,比如数字格式。只要该口头表达已经被转录为可理解的格式,就可以处理该口头表达,使得在304至少能够确定该口头表达的大致意义。例如利用存储的字典、短语、用户概况、领域代理数据以及其他数据可以完成这个步骤。根据口头表达的大致意义,可以产生一个或多个正确地格式编排的查询和/或命令。
用户创建的查询和/或命令可能要求为了产生所期望的应答或动作可以需要多条请求和/或命令。此外,取决于其中已经提交了查询和/或命令的上下文(如用户是谁、查询和/或命令指向的主题是什么、查询和/或命令指向什么时间或什么地点,以及定义查询和/或命令时所使的其他参数),查询和/或命令可能需要特定格式。例如,领域代理156的每一个都可以要求以特定方式对请求和/或命令进行格式编排。因此在306,可以产生一条或多条适当格式编排的查询和/或命令。操作304和306可以重复以便得到用户口头表达的正确解释,并且产生所期望的应答和/或动作。一旦产生了适当格式编排的查询和/或命令,就可以在308采取适合的动作。这可能要求将适当格式编排的查询和/或命令发送到能够满足所述查询和/或命令要求的特定领域代理、信息源、设备或者其他适当目的地。一旦适当的动作已经执行,就可以在310把这个事件记录到例如用户概况、数据库和/或一个或多个代理中。这样的数据对于未来的用户询问和命令可能有用。在动作已经执行之后,在312如果需要可以产生应答并转发到用户和/或第三方。
在为了检索数据而查询的情况下,应答会包含所请求的信息。在命令的情况下,应答可以是已经执行了特定动作的确认。应答的形式可以是自然语言格式。应答还可以格式编排为反映应答的具体个性或声调,以便使应答更加“人性化”。应答可以作为音频消息和/或用户界面上显示的可视消息传递给用户和/或第三方。
图4A是根据本发明另一个实施例的过程400,使用系统90接收基于自然语言语音的查询和/或命令并产生应答。在402通过在多种真实世界环境中运行的语音识别捕获了用户口头表达(即用户查询和/或命令)时,过程400便开始。一旦捕获了口头表达,就在404对其进行语法分析和解释以确定在口头表达中包含的查询和/或命令。下一步,在406调用适宜的资源包括例如若干代理评审该查询和/或命令以确定所需要的专长领域和查询的上下文。用户提交的原始查询和/或命令可能需要产生多条查询和/或命令。
例如,假设用户对检索她股票资产组合的数值有兴趣。用户会说出“请获得我的股票资产组合数值”。系统90可以连同存储的数据比如用户概况评审这个请求,并且确定关键字比如“获得数值”和“我的股票资产组合”。然后系统90可以产生查询以确定用户资产组合中的股票、股票数量和用于当前价格信息的信息源。这些查询然后可以发送到一个或多个代理领域,比如可以访问其中包含用户概况的数据库的领域和访问股票价格数据源的领域,以确定这些问题答案。
为了得到所期望的数据,可以向这些领域代理或数据源发送查询。因此,在操作408,可以表达一个或多个查询并发送到一个或多个本地和/或网络数据源,并且/或者将适宜的命令发送到本地或远程设备或系统自身。这些查询然后被发送到所指定的代理。这些代理然后又产生它们自己的查询和/或命令,发送到例如本地或远程信息源以检索所需数据。在410根据目标源的需求可以表达代理所产生的查询和/或命令,并且执行变量替换和变换,将查询的形式修改为最可能从这些可用信息源中产生所期望的结果。一旦正确地表达了这些查询,在412就可以以异步的方式执行它们并适度地处理故障。作为执行查询的结果,这些结果可以由领域代理和/或数据源返回。然后在414系统90可以从一个或多个结果中提取或分解所期望的信息,这些结果可能以许多不同格式的任何一种返回。也就是说,用户寻求的结果可以是汇总即从例如几个信息源所得到的信息进一步处理的结果。
下一步,在416可以评估和解释这些结果,包括处理错误,并且将它们汇集和结合为被判定“最佳的”的单一最佳结果,即使这些结果是歧义的、不完整的或矛盾的。一旦确定了最佳结果,就进行所有需要的格式编排。在操作418,可以使用变量替换和变换修改结果。最后,在操作420,可以通过文本到语音引擎124以有用和预期的方式向用户呈现该复合的结果。在执行过程400的同时可以考虑到可用的所需专长领域、在其中呈现问题或命令的上下文、可用的领域专用信息、用户互动历史、用户偏爱、信息源或命令以及从这些信息源得到的应答。
在过程400的每个阶段,概率或模糊集决策与匹配的方法都可以应用于处理不一致、歧义、冲突和不完整的信息或响应。另外,使用可能导致某些查询或命令出现快速和适度故障的异步查询,可以准许系统90稳健地快速返回结果并且方式对用户看起来自然。
图4B展示了根据本发明另一个实施例的过程450,用于接收基于自然语言语音的命令,以便在本地或远程地控制系统90或其他设备的功能。在452通过在多种真实世界环境中运行的语音识别捕获了用户口头表达(即用户查询和/或命令)时,过程450便开始。一旦捕获了口头表达,就在操作454对其进行语法分析和解释以确定在口头表达中包含的命令。
下一步,在操作456调用包括若干代理的适宜的资源评审该命令以确定领域和上下文。用户提交的原始命令将往往需要产生多条查询和/或命令。例如,假设用户对录制他喜爱的电视节目有兴趣。用户会说出“请录制我喜爱的TV节目”。系统90可以连同存储的数据比如用户概况评审这个请求,并且确定关键字比如“录制”和“我喜爱的TV节目”。然后系统90可以产生查询以确定用户喜爱TV节目的名称、频道和时间。这些查询然后可以发送到代理领域,它可以访问包含用户概况的数据库并确定这些问题的答案。然后可以向录像机发送命令,命令该录像机录制所选定的TV节目。因此,在操作458,可以表达一个或多个查询并将其发送到一个或多个本地和/或网络数据源。将适宜的命令发送到本地或远程设备或系统自身。下一步,在操作460,可以将产生的命令路由到适合的系统和/或外部设备。只要已经执行了这些命令,在462就可以接收包括错误的结果并处理。在操作464可以有选择地向用户呈现执行命令的结果。
图4A描述的某些操作可以使用能够重复的多个步骤执行。例如在操作404中,为了判断用户的口头表达的意义,对口头表达进行了语法分析和解释。系统90可以根据例如上下文描述语法模块112、用户概况110、代理106和数据库104中存储的数据,对口头表达进行初始解释。为了产生领域或上下文的得分,对解释结果可以应用实时的评分系统或其他技术。如果所述领域或上下文得分的置信度不足以确保可靠的应答,系统90可以请求用户验证是否正确地理解了问题或命令。一般来说,问题可以用短语表达以指明问题的上下文,包括全部准则或参数。如果用户确认该问题是正确的,系统继续产生应答。否则,或者用户可以将原始问题重新构词,也许添加另外的信息以消除歧义性,或者系统可以询问一个或多个问题以尝试解决歧义性或可以采取其他行动。
图5展示了根据本发明一个实施例的过程500,用于正确地解释用户的口头表达。过程500一般地表示了过程400的操作402和404。一开始在操作502将用户的口头表达输入到系统90中。然后使用例如多种存储的数据比如用户概况、代理数据、字典和短语以及其他相关数据对输入进行解释。然后在506使用例如先前介绍的加权评分系统对解释评分。一旦获得了得分,在508就可以分析解释的置信度以判断它是否令人满意。换言之,对解释给定的得分是否超过了某个数值做出判断。如果判定置信度不令人满意,那么在510和512就可以向用户提交请求,请求用户验证该解释。如果用户对该解释不满意,在514可以要求他/她重新用短语表示该口头表达和/或提供另外的信息。一旦用户提供了重新用短语表达的口头表达和/或另外的信息,过程500就返回到操作502的起点。相反,如果用户对该解释满意,那么用于接收基于自然语言语音的查询和/或命令并产生应答的过程400就可以在操作516继续。一旦已经确定了该口头表达的意义,就可以为适当的领域代理恰当地进行代理以及查询和/或命令格式编排。
图6展示的过程600用于确定要调用的适当领域代理以及将要提交到代理106的查询和/或命令的适当格式,正如在图4A的步骤406至步骤408中一般描述过的。为了以代理106所用的规则语法表达问题或命令,对于问题和/或命令的准则或参数的必需和可选值可以做出判断。用户可能已经显式地提供了这些准则,也可能需要进行推理。因此在操作602,对于例如由图4A的操作404和图4B的操作454所产生的恰当解释的查询和/或命令进行语法分析。
然后在604分析已恰当解释的查询和/或命令的内容以确定已恰当解释的查询和/或命令的准则和/或参数。为了从已恰当解释的查询和/或命令中提取准则或参数,可以使用上下文敏感的过程。某些准则通过执行代理中的算法确定,而其他的却可以通过对可能值的若干表应用概率或模糊推理确定。先验概率或模糊可能性以及相关联的数值从许多数据源收到,包括对话历史、用户概况110和代理。
基于用户的响应,随着系统学习所期望的行为而更新先验概率或模糊可能性。对于天气上下文,准则实例包括位置、日期和时间。其他准则可以包括命令准则(即,是/否、接通/关闭、暂停、停止)以及拼写。确定准则的过程可以是迭代的或递归的以便消除用户问题或命令中的歧义性。例如,假若用户在其口头表达中有地名(或者其他专有名词),就可以在数据库102的若干表中查找地名,或者对从口头表达句法确定哪个单词是专有名词进行尝试。在另一个实例中,用户询问“航班一百二十又如何?”。在这样的情况下,数据库和网络信息中的航班信息连同上下文可以用于在以下诸项中确定看似最可信的解释:航班100还有航班20、航班100和航班22、航班122等。只要已经建立了用于查询和/或命令的参数和准则,在606就可以选择适当的代理106。
在选定了适当的代理106后,在操作608可以确定将提交给代理106的恰当地表达的查询和/或命令。查询和/或命令可以是标准的格式也可以是代理106进行处理所用的分层数据结构。为了向代理106提交恰当地表达的查询和/或命令,上下文语法的全部必需的和某些可选的标记都可以填入。这些标记往往必须转录为代理可接受的数值和形式。可以从代理、对话历史或用户概况110中获得所需要的变换。以上提供了可以进行的变换或替换的实例。一旦产生了恰当地表达的查询和/或命令,在610该过程(如过程400)就可以继续。
虽然以上已经介绍了本发明的若干特定实施例,但是应当认识到,可以以不同于介绍的方式实践本发明。例如,本发明可以采取计算机程序的形式,包含机器可读指令的一个或多个序列,描述以上公开的方法,也可以采取数据存储介质(如半导体存储器、磁盘或光盘)的形式,使这样的计算机程序存储其中。
以上说明旨在展示而非限制。因此,对于本领域的技术人员显而易见,对所介绍的本发明可以做出若干修改而不脱离以下阐述的权利要求书的范围。

Claims (29)

1.一种用于处理语音和非语音通信的系统,包括:
终端设备,接收所述语音和所述非语音通信;
转录模块,转录所述语音和所述非语音通信以创建基于语音的文本消息和基于非语音的文本消息;
合并模块,将所述基于语音的文本消息和所述基于非语音的文本消息合并以产生查询;
搜索模块,搜索所述查询中的文本组合;
比较模块,将所述文本组合与上下文描述语法中的条目进行比较;
多个领域代理,它们与所述上下文描述语法相关联;
评分模块,基于来自所述比较模块的结果提供相关得分;
领域代理选择器,基于来自所述评分模块的结果选择领域代理;以及
应答产生模块,与所述选择的领域代理通信以得到由所述选择的领域代理所汇集的内容,并且从所述内容产生应答,其中所述内容以基于来自所述评分模块的结果所选择的次序排列。
2.根据权利要求1的系统,其中,所述应答产生模块产生聚集应答,包括由所述选择的领域代理所汇集的内容。
3.根据权利要求1的系统,其中,所述终端设备包括(i)个人数字助理,(ii)蜂窝电话,(iii)便携式计算机,(iv)台式计算机,或者(i)至(iv)的任何组合。
4.根据权利要求1的系统,其中,所述终端设备接收后续的语音和非语音通信,并且所述转录模块转录所述后续的语音和非语音通信以创建基于后续语音的文本消息和基于后续非语音的文本消息。
5.根据权利要求4的系统,其中,合并模块将所述基于后续语音的文本消息和所述基于后续非语音的文本消息合并以产生后续的查询。
6.根据权利要求1的系统,进一步包括便于所述应答格式编排的个性模块。
7.根据权利要求1的系统,进一步包括上下文堆栈,它包括基于所述查询所选择的一个或多个上下文。
8.根据权利要求7的系统,其中,所述评分模块确定所述一个或多个上下文时,基于对以下各项至少应用先验概率或模糊可能性:(i)关键字匹配,(ii)用户概况,  (iii)对话历史,或者(i)至(iii)的任何组合。
9.根据权利要求1的系统,其中,所述领域代理至少其中之一创建请求,并且将其导向本地信息源和网络信息源至少其中之一。
10.根据权利要求1的系统,其中,所述领域代理至少其中之一创建命令,并且将其导向远程或本地设备。
11.根据权利要求5的系统,其中,所述领域代理至少其中之一评估来自多个数据源的多个查询。
12.根据权利要求5的系统,其中,所述后续的查询与所述查询相同的上下文相关联。
13.一种处理语音和非语音通信的方法,包括:
接收所述语音和非语音通信;
转录所述语音和非语音通信以创建基于语音的文本消息和基于非语音的文本消息;
将所述基于语音的文本消息和所述基于非语音的文本消息合并以产生查询;
搜索所述查询中的文本组合;
将所述文本组合与上下文描述语法中的条目进行比较;
访问多个领域代理,它们与所述上下文描述语法相关联;
基于所述文本组合与所述上下文描述语法中条目比较的结果产生相关得分;
基于来自所述相关得分的结果选择一个或多个领域代理;
得到由所述选择的领域代理所汇集的内容;以及
从所述内容产生应答,其中所述内容以基于来自所述相关得分的结果所选择的次序排列。
14.根据权利要求13的方法,进一步包括产生聚集应答,包括由所述选择的领域代理所汇集的内容。
15.根据权利要求13的方法,进一步包括:
接收后续的语音和非语音通信;
转录所述后续的语音和非语音通信以创建基于后续语音的文本消息和基于后续非语音的文本消息;以及
将所述基于后续语音的文本消息和所述基于后续非语音的文本消息合并以产生后续的查询。
16.根据权利要求13的方法,进一步包括向用户传递所述应答的个性模块。
17.根据权利要求13的方法,进一步包括产生上下文堆栈,它包括基于所述查询所选择的一个或多个上下文。
18.根据权利要求17的方法,其中,产生所述一个或多个上下文时,基于对以下各项应用先验概率或模糊可能性:(i)关键字匹配,(ii)用户概况,(iii)对话历史,或者(i)至(iii)的任何组合。
19.一种用于处理语音和非语音通信的多模态系统,包括:
终端设备,接收一种或多种类型的输入;
转录模块,将所述一种或多种类型的输入转录为一条或多条文本消息;
合并模块,将所述一条或多条文本消息合并以产生查询;
搜索模块,搜索所述查询中的文本组合;
比较模块,将所述文本组合与上下文描述语法中的条目进行比较;
多个领域代理,它们与所述上下文描述语法相关联;
评分模块,基于来自所述比较模块的结果提供相关得分;
领域代理选择器,基于来自所述评分模块的结果选择领域代理;以及
应答产生模块,与所述选择的领域代理通信以得到由所述选择的领域代理所汇集的内容,并且从所述内容产生应答,其中所述内容以基于来自所述评分模块的结果所选择的次序排列;
所述终端设备使用一种或多种类型的输出传递所述应答。
20.根据权利要求19的多模态系统,其中,所述一种或多种类型的输入包括:(i)语音,(ii)文本,(iii)数字音频文件,或者(i)至(iii)的任何组合。
21.根据权利要求19的多模态系统,其中,所述一种或多种类型的输出包括:(i)语音,(ii)文本,(iii)数字音频文件,或者(i)至(iii)的任何组合。
22.根据权利要求19的多模态系统,其中,所述应答产生模块产生聚集应答,包括由所述选择的领域代理所汇集的内容,并且所述终端设备使用所述一种或多种类型的输出传递所述聚集应答。
23.根据权利要求19的多模态系统,其中,所述终端设备包括(i)个人数字助理,(ii)蜂窝电话,(iii)便携式计算机,(iv)台式计算机,或者(i)至(iv)的任何组合。
24.根据权利要求19的多模态系统,其中,所述终端设备接收一种或多种类型的后续输入,所述转录模块转录所述一种或多种类型的后续输入以创建一条或多条后续的文本消息,并且所述一种或多种类型的后续输入不同于所述一种或多种类型的输入。
25.根据权利要求24的多模态系统,其中,接收所述一种或多种类型后续输入的所述终端设备不同于接收所述一种或多种类型输入的所述终端设备。
26.根据权利要求24的多模态系统,其中,所述合并模块将所述一条或多条后续的文本消息合并以产生后续的查询。
27.根据权利要求19的多模态系统,进一步包括便于所述应答格式编排的个性模块。
28.根据权利要求19的多模态系统,进一步包括上下文堆栈,它包括基于所述查询所选择的一个或多个上下文。
29.根据权利要求28的多模态系统,其中,所述评分模块确定所述一个或多个上下文时,基于对以下各项至少应用先验概率或模糊可能性:(i)关键字匹配,(ii)用户概况,(iii)对话历史,或者(i)至(iii)的任何组合。
CN200680036200.6A 2005-08-05 2006-08-04 响应自然语言语音口头表达的系统和方法 Expired - Fee Related CN101297355B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN201510205939.6A CN104778945B (zh) 2005-08-05 2006-08-04 响应自然语言语音口头表达的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/197,504 US7640160B2 (en) 2005-08-05 2005-08-05 Systems and methods for responding to natural language speech utterance
US11/197,504 2005-08-05
PCT/US2006/030458 WO2007019318A2 (en) 2005-08-05 2006-08-04 Systems and methods for responding to natural language speech utterance

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN201510205939.6A Division CN104778945B (zh) 2005-08-05 2006-08-04 响应自然语言语音口头表达的系统和方法

Publications (2)

Publication Number Publication Date
CN101297355A true CN101297355A (zh) 2008-10-29
CN101297355B CN101297355B (zh) 2015-05-13

Family

ID=37718639

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201510205939.6A Expired - Fee Related CN104778945B (zh) 2005-08-05 2006-08-04 响应自然语言语音口头表达的系统和方法
CN200680036200.6A Expired - Fee Related CN101297355B (zh) 2005-08-05 2006-08-04 响应自然语言语音口头表达的系统和方法

Family Applications Before (1)

Application Number Title Priority Date Filing Date
CN201510205939.6A Expired - Fee Related CN104778945B (zh) 2005-08-05 2006-08-04 响应自然语言语音口头表达的系统和方法

Country Status (4)

Country Link
US (5) US7640160B2 (zh)
EP (1) EP1922723A4 (zh)
CN (2) CN104778945B (zh)
WO (1) WO2007019318A2 (zh)

Cited By (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101847406A (zh) * 2010-05-18 2010-09-29 中国农业大学 语音识别查询方法及系统
CN102549567A (zh) * 2009-07-29 2012-07-04 施耐德电气美国股份有限公司 用于电力监控系统的自然语言导航
CN102750311A (zh) * 2011-03-31 2012-10-24 微软公司 扩充的对话理解体系结构
CN103092887A (zh) * 2011-11-07 2013-05-08 联想(北京)有限公司 电子设备及其语音信息提供方法
CN103268315A (zh) * 2012-12-31 2013-08-28 威盛电子股份有限公司 自然语言对话方法及其系统
CN103279508A (zh) * 2012-12-31 2013-09-04 威盛电子股份有限公司 修正语音应答的方法及自然语言对话系统
CN103309846A (zh) * 2013-06-26 2013-09-18 北京云知声信息技术有限公司 一种自然语言信息的处理方法及装置
CN103365836A (zh) * 2012-04-01 2013-10-23 郭佳 一种采用自然语言的分布式智能交互的实现方法及其系统
CN104699236A (zh) * 2013-12-05 2015-06-10 联想(新加坡)私人有限公司 利用境况解释自然语言语音识别命令
CN104766497A (zh) * 2013-11-14 2015-07-08 霍尼韦尔国际公司 降低和检测复诵和复听错误的飞行器系统及方法
CN105469789A (zh) * 2014-08-15 2016-04-06 中兴通讯股份有限公司 一种语音信息的处理方法及终端
US9454962B2 (en) 2011-05-12 2016-09-27 Microsoft Technology Licensing, Llc Sentence simplification for spoken language understanding
CN105989840A (zh) * 2009-11-10 2016-10-05 声钰科技 自然语言语音服务环境中的混合处理的系统及方法
CN106250508A (zh) * 2012-09-10 2016-12-21 谷歌公司 使用环境上下文回答问题
CN106850403A (zh) * 2011-08-15 2017-06-13 微软技术许可有限责任公司 一种用户终端及操作用户终端的方法
CN107111611A (zh) * 2014-12-30 2017-08-29 微软技术许可有限责任公司 区分歧义表达以增强用户体验
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US9858343B2 (en) 2011-03-31 2018-01-02 Microsoft Technology Licensing Llc Personalization of queries, conversations, and searches
CN107871502A (zh) * 2016-09-28 2018-04-03 丰田自动车株式会社 语音对话系统以及语音对话方法
CN108109618A (zh) * 2016-11-25 2018-06-01 宇龙计算机通信科技(深圳)有限公司 语音交互方法、系统以及终端设备
US10049667B2 (en) 2011-03-31 2018-08-14 Microsoft Technology Licensing, Llc Location-based conversational understanding
US10061843B2 (en) 2011-05-12 2018-08-28 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
CN108573702A (zh) * 2017-03-10 2018-09-25 声音猎手公司 具有域歧义消除的启用语音功能的系统
CN109559754A (zh) * 2018-12-24 2019-04-02 焦点科技股份有限公司 一种针对摔倒识别的语音救援方法及系统
CN110050303A (zh) * 2016-12-07 2019-07-23 谷歌有限责任公司 基于第三方代理内容的语音到文本转换
CN110060670A (zh) * 2017-12-28 2019-07-26 夏普株式会社 操作辅助装置、操作辅助系统以及操作辅助方法
CN110459214A (zh) * 2014-01-20 2019-11-15 华为技术有限公司 语音交互方法及装置
CN110688466A (zh) * 2018-07-05 2020-01-14 国际商业机器公司 在用户对话系统中集成多个领域问题解决
CN110942764A (zh) * 2019-11-15 2020-03-31 北京达佳互联信息技术有限公司 一种流式语音识别方法
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
US11562741B2 (en) * 2019-09-30 2023-01-24 Samsung Electronics Co., Ltd. Electronic device and controlling method using non-speech audio signal in the electronic device

Families Citing this family (504)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6630800A (en) 1999-08-13 2001-03-13 Pixo, Inc. Methods and apparatuses for display and traversing of links in page character array
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
ITFI20010199A1 (it) 2001-10-22 2003-04-22 Riccardo Vieri Sistema e metodo per trasformare in voce comunicazioni testuali ed inviarle con una connessione internet a qualsiasi apparato telefonico
US7398209B2 (en) 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7693720B2 (en) 2002-07-15 2010-04-06 Voicebox Technologies, Inc. Mobile systems and methods for responding to natural language speech utterance
US8181205B2 (en) 2002-09-24 2012-05-15 Russ Samuel H PVR channel and PVR IPG information
US7669134B1 (en) 2003-05-02 2010-02-23 Apple Inc. Method and apparatus for displaying information during an instant messaging session
US7386443B1 (en) 2004-01-09 2008-06-10 At&T Corp. System and method for mobile automatic speech recognition
WO2005109399A1 (ja) * 2004-05-11 2005-11-17 Matsushita Electric Industrial Co., Ltd. 音声合成装置および方法
US20060271520A1 (en) * 2005-05-27 2006-11-30 Ragan Gene Z Content-based implicit search query
WO2007013521A1 (ja) * 2005-07-26 2007-02-01 Honda Motor Co., Ltd. ユーザと機械とのインタラクションを実施するための装置、方法、およびプログラム
US7640160B2 (en) 2005-08-05 2009-12-29 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7620549B2 (en) * 2005-08-10 2009-11-17 Voicebox Technologies, Inc. System and method of supporting adaptive misrecognition in conversational speech
US7949529B2 (en) 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US7634409B2 (en) 2005-08-31 2009-12-15 Voicebox Technologies, Inc. Dynamic speech sharpening
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
US7633076B2 (en) 2005-09-30 2009-12-15 Apple Inc. Automated response to and sensing of user activity in portable devices
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US20070124147A1 (en) * 2005-11-30 2007-05-31 International Business Machines Corporation Methods and apparatus for use in speech recognition systems for identifying unknown words and for adding previously unknown words to vocabularies and grammars of speech recognition systems
DE102005061365A1 (de) * 2005-12-21 2007-06-28 Siemens Ag Verfahren zur Ansteuerung zumindest einer ersten und zweiten Hintergrundapplikation über ein universelles Sprachdialogsystem
US8996385B2 (en) * 2006-01-31 2015-03-31 Honda Motor Co., Ltd. Conversation system and conversation software
US8719005B1 (en) * 2006-02-10 2014-05-06 Rusty Shawn Lee Method and apparatus for using directed reasoning to respond to natural language queries
US7756708B2 (en) 2006-04-03 2010-07-13 Google Inc. Automatic language model update
US8510109B2 (en) 2007-08-22 2013-08-13 Canyon Ip Holdings Llc Continuous speech transcription performance indication
DE102006036338A1 (de) * 2006-08-03 2008-02-07 Siemens Ag Verfahren zum Erzeugen einer kontextbasierten Sprachdialogausgabe in einem Sprachdialogsystem
US8589869B2 (en) 2006-09-07 2013-11-19 Wolfram Alpha Llc Methods and systems for determining a formula
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US7957976B2 (en) * 2006-09-12 2011-06-07 Nuance Communications, Inc. Establishing a multimodal advertising personality for a sponsor of a multimodal application
KR20090068263A (ko) * 2006-09-21 2009-06-25 액티브스 바이오사이언시즈, 인크. 세린 가수분해효소 억제제
EP1914639A1 (en) * 2006-10-16 2008-04-23 Tietoenator Oyj System and method allowing a user of a messaging client to interact with an information system
US8073681B2 (en) 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
US7644060B2 (en) * 2006-11-06 2010-01-05 Kadri Faisal L Artificial psychology dialog player with aging simulation
US8027946B1 (en) * 2006-12-22 2011-09-27 Avaya Inc. Higher order logic applied to expert systems for alarm analysis, filtering, correlation and root cause
US7818176B2 (en) 2007-02-06 2010-10-19 Voicebox Technologies, Inc. System and method for selecting and presenting advertisements based on natural language processing of voice-based input
US7801728B2 (en) * 2007-02-26 2010-09-21 Nuance Communications, Inc. Document session replay for multimodal applications
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9973450B2 (en) * 2007-09-17 2018-05-15 Amazon Technologies, Inc. Methods and systems for dynamically updating web service profile information by parsing transcribed message strings
US9794348B2 (en) 2007-06-04 2017-10-17 Todd R. Smith Using voice commands from a mobile device to remotely access and control a computer
JP5025353B2 (ja) * 2007-07-03 2012-09-12 ニュアンス コミュニケーションズ,インコーポレイテッド 対話処理装置、対話処理方法及びコンピュータ・プログラム
US20090018818A1 (en) * 2007-07-10 2009-01-15 Aibelive Co., Ltd. Operating device for natural language input
ITFI20070177A1 (it) 2007-07-26 2009-01-27 Riccardo Vieri Sistema per la creazione e impostazione di una campagna pubblicitaria derivante dall'inserimento di messaggi pubblicitari all'interno di uno scambio di messaggi e metodo per il suo funzionamento.
US8694310B2 (en) * 2007-09-17 2014-04-08 Qnx Software Systems Limited Remote control server protocol system
US8392192B2 (en) * 2007-09-18 2013-03-05 Samuel Seungmin Cho Method and apparatus for improving transaction success rates for voice reminder applications in E-commerce
US9053089B2 (en) 2007-10-02 2015-06-09 Apple Inc. Part-of-speech tagging using latent analogy
US8165886B1 (en) 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
US8595642B1 (en) 2007-10-04 2013-11-26 Great Northern Research, LLC Multiple shell multi faceted graphical user interface
US8364694B2 (en) 2007-10-26 2013-01-29 Apple Inc. Search assistant for digital media assets
US8620662B2 (en) 2007-11-20 2013-12-31 Apple Inc. Context-aware unit selection
US8140335B2 (en) 2007-12-11 2012-03-20 Voicebox Technologies, Inc. System and method for providing a natural language voice user interface in an integrated voice navigation services environment
US10002189B2 (en) 2007-12-20 2018-06-19 Apple Inc. Method and apparatus for searching using an active ontology
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US8327272B2 (en) 2008-01-06 2012-12-04 Apple Inc. Portable multifunction device, method, and graphical user interface for viewing and managing electronic calendars
US8065143B2 (en) 2008-02-22 2011-11-22 Apple Inc. Providing text input using speech data and non-speech data
US8289283B2 (en) 2008-03-04 2012-10-16 Apple Inc. Language input interface on a device
US8255224B2 (en) * 2008-03-07 2012-08-28 Google Inc. Voice recognition grammar selection based on context
US20090234638A1 (en) * 2008-03-14 2009-09-17 Microsoft Corporation Use of a Speech Grammar to Recognize Instant Message Input
US8676577B2 (en) * 2008-03-31 2014-03-18 Canyon IP Holdings, LLC Use of metadata to post process speech recognition output
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
KR20090107365A (ko) * 2008-04-08 2009-10-13 엘지전자 주식회사 이동 단말기 및 그 메뉴 제어방법
US8315876B2 (en) * 2008-05-09 2012-11-20 Plantronics, Inc. Headset wearer identity authentication with voice print or speech recognition
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8589161B2 (en) * 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
US9305548B2 (en) 2008-05-27 2016-04-05 Voicebox Technologies Corporation System and method for an integrated, multi-modal, multi-device natural language voice services environment
US8831948B2 (en) 2008-06-06 2014-09-09 At&T Intellectual Property I, L.P. System and method for synthetically generated speech describing media content
US8464150B2 (en) 2008-06-07 2013-06-11 Apple Inc. Automatic language identification for dynamic text processing
JP5200712B2 (ja) * 2008-07-10 2013-06-05 富士通株式会社 音声認識装置、音声認識方法及びコンピュータプログラム
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US20100049692A1 (en) * 2008-08-21 2010-02-25 Business Objects, S.A. Apparatus and Method For Retrieving Information From An Application Functionality Table
US8793135B2 (en) * 2008-08-25 2014-07-29 At&T Intellectual Property I, L.P. System and method for auditory captchas
US8768702B2 (en) 2008-09-05 2014-07-01 Apple Inc. Multi-tiered voice feedback in an electronic device
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
US8583418B2 (en) 2008-09-29 2013-11-12 Apple Inc. Systems and methods of detecting language and natural language strings for text to speech synthesis
US8352268B2 (en) 2008-09-29 2013-01-08 Apple Inc. Systems and methods for selective rate of speech and speech preferences for text to speech synthesis
US8352272B2 (en) 2008-09-29 2013-01-08 Apple Inc. Systems and methods for text to speech synthesis
US8712776B2 (en) 2008-09-29 2014-04-29 Apple Inc. Systems and methods for selective text to speech synthesis
US8355919B2 (en) 2008-09-29 2013-01-15 Apple Inc. Systems and methods for text normalization for text to speech synthesis
US8396714B2 (en) 2008-09-29 2013-03-12 Apple Inc. Systems and methods for concatenation of words in text to speech synthesis
US8676904B2 (en) 2008-10-02 2014-03-18 Apple Inc. Electronic devices with voice command and contextual data processing capabilities
US9978365B2 (en) * 2008-10-31 2018-05-22 Nokia Technologies Oy Method and system for providing a voice interface
WO2010067118A1 (en) * 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US20100191658A1 (en) * 2009-01-26 2010-07-29 Kannan Pallipuram V Predictive Engine for Interactive Voice Response System
US8862252B2 (en) 2009-01-30 2014-10-14 Apple Inc. Audio user interface for displayless electronic device
US8326637B2 (en) 2009-02-20 2012-12-04 Voicebox Technologies, Inc. System and method for processing multi-modal device interactions in a natural language voice services environment
US8380507B2 (en) 2009-03-09 2013-02-19 Apple Inc. Systems and methods for determining the language to use for speech generated by a text to speech engine
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US10540976B2 (en) 2009-06-05 2020-01-21 Apple Inc. Contextual voice commands
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10255566B2 (en) 2011-06-03 2019-04-09 Apple Inc. Generating and processing task items that represent tasks to perform
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US20110010179A1 (en) * 2009-07-13 2011-01-13 Naik Devang K Voice synthesis and processing
US20110040555A1 (en) * 2009-07-21 2011-02-17 Wegner Peter Juergen System and method for creating and playing timed, artistic multimedia representations of typed, spoken, or loaded narratives, theatrical scripts, dialogues, lyrics, or other linguistic texts
US9502025B2 (en) 2009-11-10 2016-11-22 Voicebox Technologies Corporation System and method for providing a natural language content dedication service
US8358747B2 (en) * 2009-11-10 2013-01-22 International Business Machines Corporation Real time automatic caller speech profiling
US8682649B2 (en) 2009-11-12 2014-03-25 Apple Inc. Sentiment prediction from textual data
US20110110534A1 (en) * 2009-11-12 2011-05-12 Apple Inc. Adjustable voice output based on device status
US8914396B2 (en) * 2009-12-30 2014-12-16 At&T Intellectual Property I, L.P. System and method for an iterative disambiguation interface
US8600743B2 (en) 2010-01-06 2013-12-03 Apple Inc. Noise profile determination for voice-related feature
US8381107B2 (en) 2010-01-13 2013-02-19 Apple Inc. Adaptive audio feedback system and method
US8311838B2 (en) 2010-01-13 2012-11-13 Apple Inc. Devices and methods for identifying a prompt corresponding to a voice input in a sequence of prompts
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US8626511B2 (en) * 2010-01-22 2014-01-07 Google Inc. Multi-dimensional disambiguation of voice commands
WO2011089450A2 (en) 2010-01-25 2011-07-28 Andrew Peter Nelson Jerram Apparatuses, methods and systems for a digital conversation management platform
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US9613103B1 (en) * 2010-05-28 2017-04-04 Amazon Technologies, Inc. Unified publication search and consumption interface
US8639516B2 (en) 2010-06-04 2014-01-28 Apple Inc. User-specific noise suppression for voice quality improvements
US8713021B2 (en) 2010-07-07 2014-04-29 Apple Inc. Unsupervised document clustering using latent semantic density analysis
US9104670B2 (en) 2010-07-21 2015-08-11 Apple Inc. Customized search or acquisition of digital media assets
US8731939B1 (en) 2010-08-06 2014-05-20 Google Inc. Routing queries based on carrier phrase registration
US8719006B2 (en) 2010-08-27 2014-05-06 Apple Inc. Combined statistical and rule-based part-of-speech tagging for text-to-speech synthesis
US9594845B2 (en) 2010-09-24 2017-03-14 International Business Machines Corporation Automating web tasks based on web browsing histories and user actions
US8719014B2 (en) 2010-09-27 2014-05-06 Apple Inc. Electronic device with text error correction based on voice recognition data
CN102023644A (zh) * 2010-11-10 2011-04-20 新太科技股份有限公司 一种基于语音识别技术的云台控制的方法
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US10515147B2 (en) 2010-12-22 2019-12-24 Apple Inc. Using statistical language models for contextual lookup
US8781836B2 (en) 2011-02-22 2014-07-15 Apple Inc. Hearing assistance system for providing consistent human speech
EP2498250B1 (en) * 2011-03-07 2021-05-05 Accenture Global Services Limited Client and server system for natural language-based control of a digital network of devices
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
CN102156544B (zh) * 2011-04-18 2012-11-07 湘潭大学 多模态码字无序交融密码输入装置
US9263045B2 (en) * 2011-05-17 2016-02-16 Microsoft Technology Licensing, Llc Multi-mode text input
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
US10672399B2 (en) 2011-06-03 2020-06-02 Apple Inc. Switching between text data and audio data based on a mapping
US8812294B2 (en) 2011-06-21 2014-08-19 Apple Inc. Translating phrases from one language into another using an order-based set of declarative rules
US20130018659A1 (en) * 2011-07-12 2013-01-17 Google Inc. Systems and Methods for Speech Command Processing
US20130030789A1 (en) * 2011-07-29 2013-01-31 Reginald Dalce Universal Language Translator
US8706472B2 (en) 2011-08-11 2014-04-22 Apple Inc. Method for disambiguating multiple readings in language conversion
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information
EP2768640B1 (en) 2011-10-20 2019-03-27 Vangura, Albert Method for cutting laminated glass
US10182787B2 (en) * 2011-10-20 2019-01-22 Koninklijke Philips N.V. System and method for characterizing an upper airway using speech characteristics
US9851950B2 (en) 2011-11-15 2017-12-26 Wolfram Alpha Llc Programming in a precise syntax using natural language
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9257115B2 (en) 2012-03-08 2016-02-09 Facebook, Inc. Device for extracting information from a dialog
US8776086B1 (en) * 2012-03-08 2014-07-08 Emc Corporation Agent management framework
US9317605B1 (en) 2012-03-21 2016-04-19 Google Inc. Presenting forked auto-completions
US20130262967A1 (en) * 2012-04-03 2013-10-03 American Greetings Corporation Interactive electronic message application
US10489433B2 (en) 2012-08-02 2019-11-26 Artificial Solutions Iberia SL Natural language data analytics platform
US8346563B1 (en) 2012-04-10 2013-01-01 Artificial Solutions Ltd. System and methods for delivering advanced natural language interaction applications
AU2013251457A1 (en) * 2012-04-27 2014-10-09 Interactive Intelligence, Inc. Negative example (anti-word) based performance improvement for speech recognition
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US10417037B2 (en) 2012-05-15 2019-09-17 Apple Inc. Systems and methods for integrating third party services with a digital assistant
US8775442B2 (en) 2012-05-15 2014-07-08 Apple Inc. Semantic search using a single-source semantic model
US10019994B2 (en) 2012-06-08 2018-07-10 Apple Inc. Systems and methods for recognizing textual identifiers within a plurality of words
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9536528B2 (en) 2012-07-03 2017-01-03 Google Inc. Determining hotword suitability
US8554559B1 (en) * 2012-07-13 2013-10-08 Google Inc. Localized speech recognition with offload
US9786281B1 (en) * 2012-08-02 2017-10-10 Amazon Technologies, Inc. Household agent learning
CN104704797B (zh) 2012-08-10 2018-08-10 纽昂斯通讯公司 用于电子设备的虚拟代理通信
KR102081925B1 (ko) * 2012-08-29 2020-02-26 엘지전자 주식회사 디스플레이 디바이스 및 스피치 검색 방법
US8762134B2 (en) 2012-08-30 2014-06-24 Arria Data2Text Limited Method and apparatus for situational analysis text generation
US9135244B2 (en) 2012-08-30 2015-09-15 Arria Data2Text Limited Method and apparatus for configurable microplanning
US9405448B2 (en) 2012-08-30 2016-08-02 Arria Data2Text Limited Method and apparatus for annotating a graphical output
US9336193B2 (en) 2012-08-30 2016-05-10 Arria Data2Text Limited Method and apparatus for updating a previously generated text
US8762133B2 (en) 2012-08-30 2014-06-24 Arria Data2Text Limited Method and apparatus for alert validation
US9424840B1 (en) 2012-08-31 2016-08-23 Amazon Technologies, Inc. Speech recognition platforms
US9809185B2 (en) 2012-09-04 2017-11-07 Ford Global Technologies, Llc Method and apparatus for subjective command control of vehicle systems
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
US10042603B2 (en) 2012-09-20 2018-08-07 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
KR102070196B1 (ko) * 2012-09-20 2020-01-30 삼성전자 주식회사 사용자 디바이스에서 상황 인식 서비스 제공 방법 및 장치
US8935167B2 (en) 2012-09-25 2015-01-13 Apple Inc. Exemplar-based latent perceptual modeling for automatic speech recognition
US9135231B1 (en) * 2012-10-04 2015-09-15 Google Inc. Training punctuation models
US8983849B2 (en) * 2012-10-17 2015-03-17 Nuance Communications, Inc. Multiple device intelligent language model synchronization
US9600471B2 (en) 2012-11-02 2017-03-21 Arria Data2Text Limited Method and apparatus for aggregating with information generalization
WO2014076524A1 (en) 2012-11-16 2014-05-22 Data2Text Limited Method and apparatus for spatial descriptions in an output text
WO2014076525A1 (en) 2012-11-16 2014-05-22 Data2Text Limited Method and apparatus for expressing time in an output text
KR102211595B1 (ko) * 2012-12-07 2021-02-04 삼성전자주식회사 음성 인식 장치 및 그 제어 방법
US9070366B1 (en) 2012-12-19 2015-06-30 Amazon Technologies, Inc. Architecture for multi-domain utterance processing
US20140180671A1 (en) * 2012-12-24 2014-06-26 Maria Osipova Transferring Language of Communication Information
US20140180695A1 (en) * 2012-12-25 2014-06-26 Microsoft Corporation Generation of conversation to achieve a goal
WO2014102568A1 (en) 2012-12-27 2014-07-03 Arria Data2Text Limited Method and apparatus for motion detection
US9990360B2 (en) 2012-12-27 2018-06-05 Arria Data2Text Limited Method and apparatus for motion description
KR101892734B1 (ko) * 2013-01-04 2018-08-28 한국전자통신연구원 음성 인식 시스템에서의 오류 수정 방법 및 그 장치
US10776561B2 (en) 2013-01-15 2020-09-15 Arria Data2Text Limited Method and apparatus for generating a linguistic representation of raw input data
KR102112742B1 (ko) * 2013-01-22 2020-05-19 삼성전자주식회사 전자장치 및 그 음성 처리 방법
KR102072826B1 (ko) * 2013-01-31 2020-02-03 삼성전자주식회사 음성 인식 장치 및 응답 정보 제공 방법
KR102516577B1 (ko) 2013-02-07 2023-04-03 애플 인크. 디지털 어시스턴트를 위한 음성 트리거
DE102013101871A1 (de) * 2013-02-26 2014-08-28 PSYWARE GmbH Wortwahlbasierte Sprachanalyse und Sprachanalyseeinrichtung
WO2014137341A1 (en) * 2013-03-07 2014-09-12 Nuance Communications, Inc. Method for training an automatic speech recognition system
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US10572476B2 (en) 2013-03-14 2020-02-25 Apple Inc. Refining a search based on schedule items
US9977779B2 (en) 2013-03-14 2018-05-22 Apple Inc. Automatic supplementation of word correction dictionaries
US10642574B2 (en) 2013-03-14 2020-05-05 Apple Inc. Device, method, and graphical user interface for outputting captions
US9733821B2 (en) 2013-03-14 2017-08-15 Apple Inc. Voice control to diagnose inadvertent activation of accessibility features
KR102057795B1 (ko) 2013-03-15 2019-12-19 애플 인크. 콘텍스트-민감성 방해 처리
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
US10748529B1 (en) 2013-03-15 2020-08-18 Apple Inc. Voice activated device for use with a voice-based digital assistant
AU2014227586C1 (en) 2013-03-15 2020-01-30 Apple Inc. User training by intelligent digital assistant
AU2014233517B2 (en) 2013-03-15 2017-05-25 Apple Inc. Training an at least partial voice command system
US20140337009A1 (en) * 2013-05-07 2014-11-13 International Business Machines Corporation Enhancing text-based electronic communications using psycho-linguistics
US9431008B2 (en) * 2013-05-29 2016-08-30 Nuance Communications, Inc. Multiple parallel dialogs in smart phone applications
US9178933B1 (en) * 2013-05-31 2015-11-03 Google Inc. Content recommendation based on context
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
CN110442699A (zh) 2013-06-09 2019-11-12 苹果公司 操作数字助理的方法、计算机可读介质、电子设备和系统
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
WO2014200731A1 (en) 2013-06-13 2014-12-18 Apple Inc. System and method for emergency calls initiated by voice command
US9728184B2 (en) 2013-06-18 2017-08-08 Microsoft Technology Licensing, Llc Restructuring deep neural network acoustic models
US10474961B2 (en) 2013-06-20 2019-11-12 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on prompting for additional user input
US9633317B2 (en) * 2013-06-20 2017-04-25 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on a natural language intent interpreter
US9519461B2 (en) 2013-06-20 2016-12-13 Viv Labs, Inc. Dynamically evolving cognitive architecture system based on third-party developers
US9589565B2 (en) 2013-06-21 2017-03-07 Microsoft Technology Licensing, Llc Environmentally aware dialog policies and response generation
US9311298B2 (en) 2013-06-21 2016-04-12 Microsoft Technology Licensing, Llc Building conversational understanding systems using a toolset
US20150006261A1 (en) 2013-06-28 2015-01-01 Healthtap, Inc. Systems and method for evaluating and selecting a healthcare professional
US9997160B2 (en) * 2013-07-01 2018-06-12 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for dynamic download of embedded voice components
US9646606B2 (en) 2013-07-03 2017-05-09 Google Inc. Speech recognition using domain knowledge
US9305554B2 (en) 2013-07-17 2016-04-05 Samsung Electronics Co., Ltd. Multi-level speech recognition
US10535330B2 (en) 2013-08-05 2020-01-14 Crackle, Inc. System and method for movie karaoke
AU2014306221B2 (en) 2013-08-06 2017-04-06 Apple Inc. Auto-activating smart responses based on activities from remote devices
US9940927B2 (en) 2013-08-23 2018-04-10 Nuance Communications, Inc. Multiple pass automatic speech recognition methods and apparatus
US9946711B2 (en) 2013-08-29 2018-04-17 Arria Data2Text Limited Text generation from correlated alerts
US9396181B1 (en) 2013-09-16 2016-07-19 Arria Data2Text Limited Method, apparatus, and computer program product for user-directed reporting
US9244894B1 (en) 2013-09-16 2016-01-26 Arria Data2Text Limited Method and apparatus for interactive reports
JP5996603B2 (ja) * 2013-10-31 2016-09-21 シャープ株式会社 サーバ、発話制御方法、発話装置、発話システムおよびプログラム
US9779722B2 (en) * 2013-11-05 2017-10-03 GM Global Technology Operations LLC System for adapting speech recognition vocabulary
US9485543B2 (en) 2013-11-12 2016-11-01 Google Inc. Methods, systems, and media for presenting suggestions of media content
US9552395B2 (en) 2013-11-13 2017-01-24 Google Inc. Methods, systems, and media for presenting recommended media content items
WO2015073019A1 (en) * 2013-11-15 2015-05-21 Intel Corporation System and method for maintaining speach recognition dynamic dictionary
US10296160B2 (en) 2013-12-06 2019-05-21 Apple Inc. Method for extracting salient dialog usage from live data
US10534623B2 (en) 2013-12-16 2020-01-14 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
WO2015094169A1 (en) * 2013-12-16 2015-06-25 Nuance Communications, Inc. Systems and methods for providing a virtual assistant
US10224056B1 (en) * 2013-12-17 2019-03-05 Amazon Technologies, Inc. Contingent device actions during loss of network connectivity
US9503413B2 (en) * 2013-12-31 2016-11-22 Linkedin Corporation Techniques for exchanging contact information and establishing a connection via a social networking service
US10990362B1 (en) * 2014-01-17 2021-04-27 Tg Llc Converting programs to visual representation with reading complied binary
US9978375B2 (en) * 2014-02-20 2018-05-22 Samsung Electronics Co., Ltd. Method for transmitting phonetic data
US9324321B2 (en) 2014-03-07 2016-04-26 Microsoft Technology Licensing, Llc Low-footprint adaptation and personalization for a deep neural network
US9529794B2 (en) 2014-03-27 2016-12-27 Microsoft Technology Licensing, Llc Flexible schema for language model customization
US10503773B2 (en) 2014-04-07 2019-12-10 Sony Corporation Tagging of documents and other resources to enhance their searchability
WO2015159133A1 (en) 2014-04-18 2015-10-22 Arria Data2Text Limited Method and apparatus for document planning
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US9520127B2 (en) 2014-04-29 2016-12-13 Microsoft Technology Licensing, Llc Shared hidden layer combination for speech recognition systems
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
CN105096942A (zh) * 2014-05-21 2015-11-25 清华大学 语义分析方法和装置
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
AU2015266863B2 (en) 2014-05-30 2018-03-15 Apple Inc. Multi-command single utterance input method
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10037202B2 (en) 2014-06-03 2018-07-31 Microsoft Technology Licensing, Llc Techniques to isolating a portion of an online computing service
US9953640B2 (en) 2014-06-05 2018-04-24 Interdev Technologies Inc. Systems and methods of interpreting speech data
CN104966513B (zh) * 2014-06-09 2018-09-04 腾讯科技(深圳)有限公司 语言命令处理方法和装置
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
US9691379B1 (en) * 2014-06-26 2017-06-27 Amazon Technologies, Inc. Selecting from multiple content sources
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9530412B2 (en) 2014-08-29 2016-12-27 At&T Intellectual Property I, L.P. System and method for multi-agent architecture for interactive machines
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9626703B2 (en) 2014-09-16 2017-04-18 Voicebox Technologies Corporation Voice commerce
US9898459B2 (en) 2014-09-16 2018-02-20 Voicebox Technologies Corporation Integration of domain information into state transitions of a finite state transducer for natural language processing
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
EP3207467A4 (en) 2014-10-15 2018-05-23 VoiceBox Technologies Corporation System and method for providing follow-up responses to prior natural language inputs of a user
CN104360897B (zh) * 2014-10-29 2017-09-22 百度在线网络技术(北京)有限公司 对话处理方法和对话管理系统
US9530408B2 (en) 2014-10-31 2016-12-27 At&T Intellectual Property I, L.P. Acoustic environment recognizer for optimal speech processing
KR102329333B1 (ko) * 2014-11-12 2021-11-23 삼성전자주식회사 질의를 처리하는 장치 및 방법
KR102245747B1 (ko) * 2014-11-20 2021-04-28 삼성전자주식회사 사용자 명령어 등록을 위한 디스플레이 장치 및 방법
US10431214B2 (en) * 2014-11-26 2019-10-01 Voicebox Technologies Corporation System and method of determining a domain and/or an action related to a natural language input
US10614799B2 (en) 2014-11-26 2020-04-07 Voicebox Technologies Corporation System and method of providing intent predictions for an utterance prior to a system detection of an end of the utterance
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9304747B1 (en) * 2014-12-12 2016-04-05 Sap Se Automated evaluation of grammars
CN104484426A (zh) * 2014-12-18 2015-04-01 天津讯飞信息科技有限公司 一种多模式音乐搜索方法及系统
US20160196490A1 (en) * 2015-01-02 2016-07-07 International Business Machines Corporation Method for Recommending Content to Ingest as Corpora Based on Interaction History in Natural Language Question and Answering Systems
US9767091B2 (en) 2015-01-23 2017-09-19 Microsoft Technology Licensing, Llc Methods for understanding incomplete natural language query
US9508339B2 (en) * 2015-01-30 2016-11-29 Microsoft Technology Licensing, Llc Updating language understanding classifier models for a digital personal assistant based on crowd-sourcing
US10048934B2 (en) 2015-02-16 2018-08-14 International Business Machines Corporation Learning intended user actions
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US10152299B2 (en) 2015-03-06 2018-12-11 Apple Inc. Reducing response latency of intelligent automated assistants
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US11231826B2 (en) * 2015-03-08 2022-01-25 Google Llc Annotations in software applications for invoking dialog system functions
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US9472196B1 (en) 2015-04-22 2016-10-18 Google Inc. Developer voice actions system
US9953648B2 (en) * 2015-05-11 2018-04-24 Samsung Electronics Co., Ltd. Electronic device and method for controlling the same
US10460227B2 (en) 2015-05-15 2019-10-29 Apple Inc. Virtual assistant in a communication session
US10446142B2 (en) * 2015-05-20 2019-10-15 Microsoft Technology Licensing, Llc Crafting feedback dialogue with a digital assistant
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10200824B2 (en) 2015-05-27 2019-02-05 Apple Inc. Systems and methods for proactively identifying and surfacing relevant content on a touch-sensitive device
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10360902B2 (en) * 2015-06-05 2019-07-23 Apple Inc. Systems and methods for providing improved search functionality on a client device
US11423023B2 (en) 2015-06-05 2022-08-23 Apple Inc. Systems and methods for providing improved search functionality on a client device
US9578173B2 (en) 2015-06-05 2017-02-21 Apple Inc. Virtual assistant aided communication with 3rd party service in a communication session
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US10769184B2 (en) 2015-06-05 2020-09-08 Apple Inc. Systems and methods for providing improved search functionality on a client device
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10275522B1 (en) * 2015-06-11 2019-04-30 State Farm Mutual Automobile Insurance Company Speech recognition for providing assistance during customer interaction
US20160378747A1 (en) 2015-06-29 2016-12-29 Apple Inc. Virtual assistant for media playback
US20170024680A1 (en) * 2015-07-21 2017-01-26 Oracle International Corporation Multi-dimensional approach to agent assignment
US10424293B1 (en) * 2015-07-21 2019-09-24 Amazon Technologies, Inc. Using audio input and output to interact with text-based interactive content
US9473637B1 (en) * 2015-07-28 2016-10-18 Xerox Corporation Learning generation templates from dialog transcripts
CN105138588B (zh) * 2015-07-31 2018-09-28 南开大学 一种基于多标签传播的数据库重叠模式摘要生成方法
US10255921B2 (en) * 2015-07-31 2019-04-09 Google Llc Managing dialog data providers
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10331312B2 (en) * 2015-09-08 2019-06-25 Apple Inc. Intelligent automated assistant in a media environment
US10740384B2 (en) 2015-09-08 2020-08-11 Apple Inc. Intelligent automated assistant for media search and playback
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US10236017B1 (en) * 2015-09-29 2019-03-19 Amazon Technologies, Inc. Goal segmentation in speech dialogs
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10379808B1 (en) * 2015-09-29 2019-08-13 Amazon Technologies, Inc. Audio associating of computing devices
US10366158B2 (en) * 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
CN105242556A (zh) * 2015-10-28 2016-01-13 小米科技有限责任公司 智能设备的语音控制方法、装置、控制设备及智能设备
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10956666B2 (en) 2015-11-09 2021-03-23 Apple Inc. Unconventional virtual assistant interactions
WO2017090954A1 (en) * 2015-11-24 2017-06-01 Samsung Electronics Co., Ltd. Electronic device and operating method thereof
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US9471064B1 (en) * 2015-12-08 2016-10-18 International Business Machines Corporation System and method to operate a drone
US10796693B2 (en) * 2015-12-09 2020-10-06 Lenovo (Singapore) Pte. Ltd. Modifying input based on determined characteristics
US9940929B2 (en) * 2015-12-09 2018-04-10 Lenovo (Singapore) Pte. Ltd. Extending the period of voice recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10002607B2 (en) 2016-01-05 2018-06-19 Microsoft Technology Licensing, Llc Cross device companion application for phone
CN105721199B (zh) * 2016-01-18 2019-06-07 中国石油大学(华东) 一种基于核密度估计与模糊推理系统的实时云服务瓶颈检测方法
US9740751B1 (en) 2016-02-18 2017-08-22 Google Inc. Application keywords
US9779735B2 (en) * 2016-02-24 2017-10-03 Google Inc. Methods and systems for detecting and processing speech signals
US9922648B2 (en) * 2016-03-01 2018-03-20 Google Llc Developer voice actions system
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US10095691B2 (en) 2016-03-22 2018-10-09 Wolfram Research, Inc. Method and apparatus for converting natural language to machine actions
EP3452964A1 (en) 2016-05-04 2019-03-13 Johnson Controls Technology Company Systems and methods for agent interaction with building management system
US11226597B2 (en) 2016-07-11 2022-01-18 Johnson Controls Technology Company Systems and methods for interaction with a building management system
US11774920B2 (en) 2016-05-04 2023-10-03 Johnson Controls Technology Company Building system with user presentation composition based on building context
US11226598B2 (en) * 2016-05-04 2022-01-18 Johnson Controls Technology Company Building system with user presentation composition based on building context
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US11227589B2 (en) 2016-06-06 2022-01-18 Apple Inc. Intelligent list reading
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179588B1 (en) 2016-06-09 2019-02-22 Apple Inc. INTELLIGENT AUTOMATED ASSISTANT IN A HOME ENVIRONMENT
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10504041B2 (en) * 2016-06-22 2019-12-10 International Business Machines Corporation System, method, and recording medium for geolocation data discovery in streaming texts
CN106909600A (zh) * 2016-07-07 2017-06-30 阿里巴巴集团控股有限公司 用户背景信息的收集方法及装置
US20180032884A1 (en) * 2016-07-27 2018-02-01 Wipro Limited Method and system for dynamically generating adaptive response to user interactions
US10331784B2 (en) 2016-07-29 2019-06-25 Voicebox Technologies Corporation System and method of disambiguating natural language processing requests
US9691384B1 (en) 2016-08-19 2017-06-27 Google Inc. Voice action biasing system
US10445432B1 (en) 2016-08-31 2019-10-15 Arria Data2Text Limited Method and apparatus for lightweight multilingual natural language realizer
US10474753B2 (en) 2016-09-07 2019-11-12 Apple Inc. Language identification using recurrent neural networks
US10210147B2 (en) * 2016-09-07 2019-02-19 International Business Machines Corporation System and method to minimally reduce characters in character limiting scenarios
US10540513B2 (en) 2016-09-13 2020-01-21 Microsoft Technology Licensing, Llc Natural language processor extension transmission data protection
US10503767B2 (en) 2016-09-13 2019-12-10 Microsoft Technology Licensing, Llc Computerized natural language query intent dispatching
US10043516B2 (en) 2016-09-23 2018-08-07 Apple Inc. Intelligent automated assistant
JP2018054850A (ja) * 2016-09-28 2018-04-05 株式会社東芝 情報処理システム、情報処理装置、情報処理方法、及びプログラム
JP6515897B2 (ja) * 2016-09-28 2019-05-22 トヨタ自動車株式会社 音声対話システムおよび発話意図理解方法
US10853747B2 (en) * 2016-10-03 2020-12-01 Google Llc Selection of computational agent for task performance
US11663535B2 (en) 2016-10-03 2023-05-30 Google Llc Multi computational agent performance of tasks
US10311856B2 (en) 2016-10-03 2019-06-04 Google Llc Synthesized voice selection for computational agents
US10467347B1 (en) 2016-10-31 2019-11-05 Arria Data2Text Limited Method and apparatus for natural language document orchestrator
US11416593B2 (en) * 2016-11-11 2022-08-16 Asahi Kasel Kabushiki Kaisha Electronic device, control method for electronic device, and control program for electronic device
US11281993B2 (en) 2016-12-05 2022-03-22 Apple Inc. Model and ensemble compression for metric learning
US10559309B2 (en) * 2016-12-22 2020-02-11 Google Llc Collaborative voice controlled devices
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US11204787B2 (en) 2017-01-09 2021-12-21 Apple Inc. Application integration with a digital assistant
US10424297B1 (en) * 2017-02-02 2019-09-24 Mitel Networks, Inc. Voice command processing for conferencing
US10423649B2 (en) 2017-04-06 2019-09-24 International Business Machines Corporation Natural question generation from query data using natural language processing system
KR101924852B1 (ko) * 2017-04-14 2018-12-04 네이버 주식회사 네트워크에 연결된 음향기기와의 멀티모달 인터렉션 방법 및 시스템
US10796088B2 (en) 2017-04-21 2020-10-06 International Business Machines Corporation Specifying a conversational computer agent and its outcome with a grammar
KR102388539B1 (ko) * 2017-04-30 2022-04-20 삼성전자주식회사 사용자 발화를 처리하는 전자 장치
DK201770383A1 (en) 2017-05-09 2018-12-14 Apple Inc. USER INTERFACE FOR CORRECTING RECOGNITION ERRORS
US10417266B2 (en) 2017-05-09 2019-09-17 Apple Inc. Context-aware ranking of intelligent response suggestions
DK201770439A1 (en) 2017-05-11 2018-12-13 Apple Inc. Offline personal assistant
US10395654B2 (en) 2017-05-11 2019-08-27 Apple Inc. Text normalization based on a data-driven learning network
US10726832B2 (en) 2017-05-11 2020-07-28 Apple Inc. Maintaining privacy of personal information
US11301477B2 (en) 2017-05-12 2022-04-12 Apple Inc. Feedback analysis of a digital assistant
DK201770428A1 (en) 2017-05-12 2019-02-18 Apple Inc. LOW-LATENCY INTELLIGENT AUTOMATED ASSISTANT
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770432A1 (en) 2017-05-15 2018-12-21 Apple Inc. Hierarchical belief states for digital assistants
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US20180336892A1 (en) 2017-05-16 2018-11-22 Apple Inc. Detecting a trigger of a digital assistant
US10403278B2 (en) 2017-05-16 2019-09-03 Apple Inc. Methods and systems for phonetic matching in digital assistant services
DK179560B1 (en) 2017-05-16 2019-02-18 Apple Inc. FAR-FIELD EXTENSION FOR DIGITAL ASSISTANT SERVICES
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US10311144B2 (en) 2017-05-16 2019-06-04 Apple Inc. Emoji word sense disambiguation
US11074280B2 (en) * 2017-05-18 2021-07-27 Aiqudo, Inc Cluster based search and recommendation method to rapidly on-board commands in personal assistants
US10418033B1 (en) * 2017-06-01 2019-09-17 Amazon Technologies, Inc. Configurable output data formats
US10657328B2 (en) 2017-06-02 2020-05-19 Apple Inc. Multi-task recurrent neural network architecture for efficient morphology handling in neural language modeling
WO2018232147A1 (en) 2017-06-15 2018-12-20 Johnson Controls Technology Company Building management system with artificial intelligence for unified agent based control of building subsystems
US10847148B2 (en) * 2017-07-14 2020-11-24 International Business Machines Corporation Dynamic personalized multi-turn interaction of cognitive models
EP3655826A1 (en) 2017-07-17 2020-05-27 Johnson Controls Technology Company Systems and methods for agent based building simulation for optimal control
US9946514B1 (en) * 2017-07-27 2018-04-17 Huma.Ai Systems and methods for generating functional application designs
US11294898B2 (en) * 2017-07-31 2022-04-05 Pearson Education, Inc. System and method of automated assessment generation
US10497370B2 (en) * 2017-08-18 2019-12-03 2236008 Ontario Inc. Recognition module affinity
JP6972770B2 (ja) * 2017-08-23 2021-11-24 富士通株式会社 対話制御システム、プログラム、及び方法
US20190065583A1 (en) * 2017-08-28 2019-02-28 International Business Machines Corporation Compound q&a system
US10515625B1 (en) 2017-08-31 2019-12-24 Amazon Technologies, Inc. Multi-modal natural language processing
US20190073994A1 (en) * 2017-09-05 2019-03-07 Microsoft Technology Licensing, Llc Self-correcting computer based name entity pronunciations for speech recognition and synthesis
CN117112761A (zh) * 2017-09-05 2023-11-24 声音猎手公司 域间通过语法槽的分类
US10445429B2 (en) 2017-09-21 2019-10-15 Apple Inc. Natural language understanding using vocabularies with compressed serialized tries
US10755051B2 (en) 2017-09-29 2020-08-25 Apple Inc. Rule-based natural language processing
CN110741347B (zh) * 2017-10-03 2023-08-01 谷歌有限责任公司 车辆环境中的多个数字助理协调
EP3686758A4 (en) * 2017-10-09 2020-12-16 Huawei Technologies Co., Ltd. VOCAL AND TERMINAL INFORMATION PROCESS AND DEVICE
US11423280B2 (en) 2017-10-27 2022-08-23 International Business Machines Corporation Cognitive commuter assistant
EP3483811A1 (de) * 2017-11-09 2019-05-15 Tchibo GmbH Verfahren zum herstellen eines produktes mittels einer getränkezubereitungsmaschine, system zur durchführung des verfahrens und maschinen-backend für eine getränkezubereitungsmaschine
CN107967308B (zh) * 2017-11-16 2021-04-23 百度在线网络技术(北京)有限公司 一种智能交互的处理方法、装置、设备和计算机存储介质
US10636424B2 (en) 2017-11-30 2020-04-28 Apple Inc. Multi-turn canned dialog
US10733982B2 (en) 2018-01-08 2020-08-04 Apple Inc. Multi-directional dialog
US10733375B2 (en) 2018-01-31 2020-08-04 Apple Inc. Knowledge-based framework for improving natural language understanding
CN110209776B (zh) * 2018-02-13 2023-10-27 鼎捷软件股份有限公司 操作虚拟助理的方法及系统
US10789959B2 (en) 2018-03-02 2020-09-29 Apple Inc. Training speaker recognition models for digital assistants
US10592604B2 (en) 2018-03-12 2020-03-17 Apple Inc. Inverse text normalization for automatic speech recognition
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
US10909331B2 (en) 2018-03-30 2021-02-02 Apple Inc. Implicit identification of translation payload with neural machine translation
CN108877811B (zh) * 2018-04-24 2022-05-06 中国地质大学(武汉) 一种基于声纹选择词汇的方法、设备及存储设备
US10997359B2 (en) 2018-04-27 2021-05-04 International Business Machines Corporation Real-time cognitive modifying a mark-up language document
US11094316B2 (en) * 2018-05-04 2021-08-17 Qualcomm Incorporated Audio analytics for natural language processing
US11145294B2 (en) 2018-05-07 2021-10-12 Apple Inc. Intelligent automated assistant for delivering content from user experiences
US10928918B2 (en) 2018-05-07 2021-02-23 Apple Inc. Raise to speak
CN110489517B (zh) * 2018-05-09 2023-10-31 鼎捷软件股份有限公司 虚拟助理的自动学习方法及系统
US10984780B2 (en) 2018-05-21 2021-04-20 Apple Inc. Global semantic word embeddings using bi-directional recurrent neural networks
US11386266B2 (en) 2018-06-01 2022-07-12 Apple Inc. Text correction
DK179822B1 (da) 2018-06-01 2019-07-12 Apple Inc. Voice interaction at a primary device to access call functionality of a companion device
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
DK201870355A1 (en) 2018-06-01 2019-12-16 Apple Inc. VIRTUAL ASSISTANT OPERATION IN MULTI-DEVICE ENVIRONMENTS
US10892996B2 (en) 2018-06-01 2021-01-12 Apple Inc. Variable latency device coordination
US10504518B1 (en) 2018-06-03 2019-12-10 Apple Inc. Accelerated task performance
CN112470216A (zh) * 2018-06-05 2021-03-09 声音有限责任公司 语音应用平台
US10832678B2 (en) 2018-06-08 2020-11-10 International Business Machines Corporation Filtering audio-based interference from voice commands using interference information
WO2020017166A1 (ja) * 2018-07-20 2020-01-23 ソニー株式会社 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
US11436215B2 (en) 2018-08-20 2022-09-06 Samsung Electronics Co., Ltd. Server and control method thereof
US10885079B2 (en) * 2018-09-19 2021-01-05 Salesforce.Com, Inc. Voice-activated events management system
US11010561B2 (en) 2018-09-27 2021-05-18 Apple Inc. Sentiment prediction from textual data
US11462215B2 (en) 2018-09-28 2022-10-04 Apple Inc. Multi-modal inputs for voice commands
US10839159B2 (en) 2018-09-28 2020-11-17 Apple Inc. Named entity normalization in a spoken dialog system
US10979379B2 (en) 2018-09-28 2021-04-13 Ringcentral, Inc. Destination addressing communications environment
US11170166B2 (en) 2018-09-28 2021-11-09 Apple Inc. Neural typographical error modeling via generative adversarial networks
US11475898B2 (en) 2018-10-26 2022-10-18 Apple Inc. Low-latency multi-speaker speech recognition
US11404058B2 (en) * 2018-10-31 2022-08-02 Walmart Apollo, Llc System and method for handling multi-turn conversations and context management for voice enabled ecommerce transactions
US11238850B2 (en) 2018-10-31 2022-02-01 Walmart Apollo, Llc Systems and methods for e-commerce API orchestration using natural language interfaces
US11638059B2 (en) 2019-01-04 2023-04-25 Apple Inc. Content playback on multiple devices
US11455982B2 (en) * 2019-01-07 2022-09-27 Cerence Operating Company Contextual utterance resolution in multimodal systems
US10978069B1 (en) * 2019-03-18 2021-04-13 Amazon Technologies, Inc. Word selection for natural language interface
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
US11423908B2 (en) 2019-05-06 2022-08-23 Apple Inc. Interpreting spoken requests
US11475884B2 (en) 2019-05-06 2022-10-18 Apple Inc. Reducing digital assistant latency when a language is incorrectly determined
US11217251B2 (en) 2019-05-06 2022-01-04 Apple Inc. Spoken notifications
US11140099B2 (en) 2019-05-21 2021-10-05 Apple Inc. Providing message response suggestions
US11496600B2 (en) 2019-05-31 2022-11-08 Apple Inc. Remote execution of machine-learned models
US11289073B2 (en) 2019-05-31 2022-03-29 Apple Inc. Device text to speech
DK201970510A1 (en) 2019-05-31 2021-02-11 Apple Inc Voice identification in digital assistant systems
DK180129B1 (en) 2019-05-31 2020-06-02 Apple Inc. USER ACTIVITY SHORTCUT SUGGESTIONS
US11360641B2 (en) 2019-06-01 2022-06-14 Apple Inc. Increasing the relevance of new available information
CN110136697B (zh) * 2019-06-06 2021-03-30 深圳市数字星河科技有限公司 一种基于多进程/线程并行运算的英语朗读练习系统
US11438452B1 (en) 2019-08-09 2022-09-06 Apple Inc. Propagating context information in a privacy preserving manner
CN110459217B (zh) * 2019-08-21 2022-03-08 中国第一汽车股份有限公司 一种车载问答方法、系统、车辆及存储介质
US11184298B2 (en) * 2019-08-28 2021-11-23 International Business Machines Corporation Methods and systems for improving chatbot intent training by correlating user feedback provided subsequent to a failed response to an initial user intent
US11176940B1 (en) * 2019-09-17 2021-11-16 Amazon Technologies, Inc. Relaying availability using a virtual assistant
WO2021056255A1 (en) 2019-09-25 2021-04-01 Apple Inc. Text detection using global geometry estimators
US11037571B2 (en) * 2019-10-04 2021-06-15 Motorola Solutions, Inc. Speech-based two-way radio assistant
US11664044B2 (en) 2019-11-25 2023-05-30 Qualcomm Incorporated Sound event detection learning
KR20210066644A (ko) * 2019-11-28 2021-06-07 삼성전자주식회사 단말 장치, 서버 및 그 제어 방법
US11762937B2 (en) * 2019-11-29 2023-09-19 Ricoh Company, Ltd. Information processing apparatus, information processing system, and method of processing information
CN113127609A (zh) * 2019-12-31 2021-07-16 华为技术有限公司 语音控制方法、装置、服务器、终端设备及存储介质
IN202041005143A (zh) * 2020-02-06 2021-08-13 Samsung Electronics Co Ltd
EP4100864A4 (en) * 2020-02-07 2024-03-06 Royal Bank Of Canada SYSTEM AND METHOD FOR MIDDLEWARE CONVERSATION PLATFORM
WO2021162489A1 (en) 2020-02-12 2021-08-19 Samsung Electronics Co., Ltd. Method and voice assistance apparatus for providing an intelligence response
US11038934B1 (en) 2020-05-11 2021-06-15 Apple Inc. Digital assistant hardware abstraction
US11810578B2 (en) 2020-05-11 2023-11-07 Apple Inc. Device arbitration for digital assistant-based intercom systems
US11755276B2 (en) 2020-05-12 2023-09-12 Apple Inc. Reducing description length based on confidence
US11783133B2 (en) * 2020-05-23 2023-10-10 Teachers Insurance And Annuity Association Of America Supervised machine learning for automated assistants
CN111863009B (zh) * 2020-07-15 2022-07-26 思必驰科技股份有限公司 上下文信息预测模型的训练方法及系统
US11829720B2 (en) 2020-09-01 2023-11-28 Apple Inc. Analysis and validation of language models
US11875819B2 (en) * 2020-09-15 2024-01-16 Jpmorgan Chase Bank, N.A. Method for real-time redaction of sensitive information from audio stream
US11705111B2 (en) * 2020-11-12 2023-07-18 Samsung Electronics Co., Ltd. Methods and systems for predicting non-default actions against unstructured utterances
US11410677B2 (en) 2020-11-24 2022-08-09 Qualcomm Incorporated Adaptive sound event classification
US11663421B2 (en) * 2021-04-27 2023-05-30 Jpmorgan Chase Bank, N.A. Systems and methods for intent-based natural language processing
WO2023086229A1 (en) * 2021-11-10 2023-05-19 Google Llc Providing related queries to a secondary automated assistant based on past interactions

Family Cites Families (532)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4430669A (en) * 1981-05-29 1984-02-07 Payview Limited Transmitting and receiving apparatus for permitting the transmission and reception of multi-tier subscription programs
US4829423A (en) 1983-01-28 1989-05-09 Texas Instruments Incorporated Menu-based natural language understanding system
US5208748A (en) 1985-11-18 1993-05-04 Action Technologies, Inc. Method and apparatus for structuring and managing human communications by explicitly defining the types of communications permitted between participants
US4910784A (en) 1987-07-30 1990-03-20 Texas Instruments Incorporated Low cost speech recognition system and method
CA1268228A (en) 1987-09-14 1990-04-24 Gary Lennartz Voice interactive security system
JP2557915B2 (ja) * 1987-11-20 1996-11-27 東芝機械株式会社 主軸駆動装置
US5027406A (en) 1988-12-06 1991-06-25 Dragon Systems, Inc. Method for interactive speech recognition and training
SE466029B (sv) * 1989-03-06 1991-12-02 Ibm Svenska Ab Anordning och foerfarande foer analys av naturligt spraak i ett datorbaserat informationsbehandlingssystem
JPH03129469A (ja) 1989-10-14 1991-06-03 Canon Inc 自然言語処理装置
JPH0771106B2 (ja) * 1989-12-30 1995-07-31 株式会社日立製作所 通信システム
JP3266246B2 (ja) * 1990-06-15 2002-03-18 インターナシヨナル・ビジネス・マシーンズ・コーポレーシヨン 自然言語解析装置及び方法並びに自然言語解析用知識ベース構築方法
US5164904A (en) 1990-07-26 1992-11-17 Farradyne Systems, Inc. In-vehicle traffic congestion information system
US5722084A (en) * 1990-09-28 1998-02-24 At&T Corp. Cellular/PCS handset NAM download capability using a wide-area paging system
DE69116167D1 (de) 1990-11-27 1996-02-15 Gordon M Jacobs Digitaler datenumsetzer
US5274560A (en) 1990-12-03 1993-12-28 Audio Navigation Systems, Inc. Sensor free vehicle navigation system utilizing a voice input/output interface for routing a driver from his source point to his destination point
EP0543329B1 (en) 1991-11-18 2002-02-06 Kabushiki Kaisha Toshiba Speech dialogue system for facilitating human-computer interaction
US5608635A (en) 1992-04-14 1997-03-04 Zexel Corporation Navigation system for a vehicle with route recalculation between multiple locations
CA2102077C (en) * 1992-12-21 1997-09-16 Steven Lloyd Greenspan Call billing and measurement methods for redirected calls
US5465289A (en) 1993-03-05 1995-11-07 E-Systems, Inc. Cellular based traffic sensor system
EP0692135B1 (en) 1993-03-12 2000-08-16 Sri International Method and apparatus for voice-interactive language instruction
US5471318A (en) 1993-04-22 1995-11-28 At&T Corp. Multimedia communications network
US5377350A (en) 1993-04-30 1994-12-27 International Business Machines Corporation System for cooperative communication between local object managers to provide verification for the performance of remote calls by object messages
US5537436A (en) * 1993-06-14 1996-07-16 At&T Corp. Simultaneous analog and digital communication applications
US5983161A (en) 1993-08-11 1999-11-09 Lemelson; Jerome H. GPS vehicle collision avoidance warning and control system and method
EP0645757B1 (en) * 1993-09-23 2000-04-05 Xerox Corporation Semantic co-occurrence filtering for speech recognition and signal transcription applications
US5475733A (en) 1993-11-04 1995-12-12 At&T Corp. Language accommodated message relaying for hearing impaired callers
CA2118278C (en) * 1993-12-21 1999-09-07 J. David Garland Multimedia system
US5748841A (en) 1994-02-25 1998-05-05 Morin; Philippe Supervised contextual language acquisition system
US5533108A (en) 1994-03-18 1996-07-02 At&T Corp. Method and system for routing phone calls based on voice and data transport capability
US5488652A (en) 1994-04-14 1996-01-30 Northern Telecom Limited Method and apparatus for training speech recognition algorithms for directory assistance applications
US5652570A (en) 1994-05-19 1997-07-29 Lepkofker; Robert Individual location system
US5752052A (en) * 1994-06-24 1998-05-12 Microsoft Corporation Method and system for bootstrapping statistical processing into a rule-based natural language parser
JP2674521B2 (ja) 1994-09-21 1997-11-12 日本電気株式会社 移動体誘導装置
US5539744A (en) * 1994-10-17 1996-07-23 At&T Corp. Hand-off management for cellular telephony
US5696965A (en) 1994-11-03 1997-12-09 Intel Corporation Electronic information appraisal agent
JP2855409B2 (ja) * 1994-11-17 1999-02-10 日本アイ・ビー・エム株式会社 自然言語処理方法及びシステム
US6571279B1 (en) 1997-12-05 2003-05-27 Pinpoint Incorporated Location enhanced information delivery system
US5499289A (en) * 1994-12-06 1996-03-12 At&T Corp. Systems, methods and articles of manufacture for performing distributed telecommunications
US5748974A (en) 1994-12-13 1998-05-05 International Business Machines Corporation Multimodal natural language interface for cross-application tasks
US5774859A (en) * 1995-01-03 1998-06-30 Scientific-Atlanta, Inc. Information system having a speech interface
US5794050A (en) * 1995-01-04 1998-08-11 Intelligent Text Processing, Inc. Natural language understanding system
US5892900A (en) 1996-08-30 1999-04-06 Intertrust Technologies Corp. Systems and methods for secure transaction management and electronic rights protection
US5918222A (en) * 1995-03-17 1999-06-29 Kabushiki Kaisha Toshiba Information disclosing apparatus and multi-modal information input/output system
US6965864B1 (en) * 1995-04-10 2005-11-15 Texas Instruments Incorporated Voice activated hypermedia systems using grammatical metadata
AU5738296A (en) 1995-05-26 1996-12-11 Applied Language Technologies Method and apparatus for dynamic adaptation of a large vocab ulary speech recognition system and for use of constraints f rom a database in a large vocabulary speech recognition syst em
JP3716870B2 (ja) 1995-05-31 2005-11-16 ソニー株式会社 音声認識装置および音声認識方法
US5708422A (en) * 1995-05-31 1998-01-13 At&T Transaction authorization and alert system
US20070061735A1 (en) 1995-06-06 2007-03-15 Hoffberg Steven M Ergonomic man-machine interface incorporating adaptive pattern recognition based control system
US5721938A (en) * 1995-06-07 1998-02-24 Stuckey; Barbara K. Method and device for parsing and analyzing natural language sentences and text
US5617407A (en) 1995-06-21 1997-04-01 Bareis; Monica M. Optical disk having speech recognition templates for information access
US5794196A (en) * 1995-06-30 1998-08-11 Kurzweil Applied Intelligence, Inc. Speech recognition system distinguishing dictation from commands by arbitration between continuous speech and isolated word modules
US6292767B1 (en) 1995-07-18 2001-09-18 Nuance Communications Method and system for building and running natural language understanding systems
US5963940A (en) 1995-08-16 1999-10-05 Syracuse University Natural language information retrieval system and method
US5675629A (en) 1995-09-08 1997-10-07 At&T Cordless cellular system base station
US5855000A (en) 1995-09-08 1998-12-29 Carnegie Mellon University Method and apparatus for correcting and repairing machine-transcribed input using independent or cross-modal secondary input
US5911120A (en) * 1995-09-08 1999-06-08 At&T Wireless Services Wireless communication system having mobile stations establish a communication link through the base station without using a landline or regional cellular network and without a call in progress
US6192110B1 (en) * 1995-09-15 2001-02-20 At&T Corp. Method and apparatus for generating sematically consistent inputs to a dialog manager
US5774841A (en) 1995-09-20 1998-06-30 The United States Of America As Represented By The Adminstrator Of The National Aeronautics And Space Administration Real-time reconfigurable adaptive speech recognition command and control apparatus and method
US5799276A (en) * 1995-11-07 1998-08-25 Accent Incorporated Knowledge-based speech recognition system and methods having frame length computed based upon estimated pitch period of vocalic intervals
US5960447A (en) 1995-11-13 1999-09-28 Holt; Douglas Word tagging and editing system for speech recognition
DE69631955T2 (de) 1995-12-15 2005-01-05 Koninklijke Philips Electronics N.V. Verfahren und schaltung zur adaptiven rauschunterdrückung und sendeempfänger
US6567778B1 (en) * 1995-12-21 2003-05-20 Nuance Communications Natural language speech recognition using slot semantic confidence scores related to their word recognition confidence scores
US5742763A (en) * 1995-12-29 1998-04-21 At&T Corp. Universal message delivery system for handles identifying network presences
US5832221A (en) 1995-12-29 1998-11-03 At&T Corp Universal message storage system
US5633922A (en) * 1995-12-29 1997-05-27 At&T Process and apparatus for restarting call routing in a telephone network
US5802510A (en) 1995-12-29 1998-09-01 At&T Corp Universal directory service
US5987404A (en) 1996-01-29 1999-11-16 International Business Machines Corporation Statistical natural language understanding using hidden clumpings
US6314420B1 (en) 1996-04-04 2001-11-06 Lycos, Inc. Collaborative/adaptive search engine
US5848396A (en) 1996-04-26 1998-12-08 Freedom Of Information, Inc. Method and apparatus for determining behavioral profile of a computer user
US5878386A (en) * 1996-06-28 1999-03-02 Microsoft Corporation Natural language parser with dictionary-based part-of-speech probabilities
US5953393A (en) 1996-07-15 1999-09-14 At&T Corp. Personal telephone agent
US6009382A (en) 1996-08-19 1999-12-28 International Business Machines Corporation Word storage table for natural language determination
US5867817A (en) 1996-08-19 1999-02-02 Virtual Vision, Inc. Speech recognition manager
US6385646B1 (en) * 1996-08-23 2002-05-07 At&T Corp. Method and system for establishing voice communications in an internet environment
US6470315B1 (en) 1996-09-11 2002-10-22 Texas Instruments Incorporated Enrollment and modeling method and apparatus for robust speaker dependent speech models
US5878385A (en) * 1996-09-16 1999-03-02 Ergo Linguistic Technologies Method and apparatus for universal parsing of language
US6085186A (en) 1996-09-20 2000-07-04 Netbot, Inc. Method and system using information written in a wrapper description language to execute query on a network
US6961700B2 (en) 1996-09-24 2005-11-01 Allvoice Computing Plc Method and apparatus for processing the output of a speech recognition engine
JP3212618B2 (ja) 1996-09-26 2001-09-25 三菱電機株式会社 対話処理装置
US5892813A (en) * 1996-09-30 1999-04-06 Matsushita Electric Industrial Co., Ltd. Multimodal voice dialing digital key telephone with dialog manager
US5995928A (en) 1996-10-02 1999-11-30 Speechworks International, Inc. Method and apparatus for continuous spelling speech recognition with early identification
US5902347A (en) * 1996-11-19 1999-05-11 American Navigation Systems, Inc. Hand-held GPS-mapping device
US5839107A (en) 1996-11-29 1998-11-17 Northern Telecom Limited Method and apparatus for automatically generating a speech recognition vocabulary from a white pages listing
US6154526A (en) 1996-12-04 2000-11-28 Intellivoice Communications, Inc. Data acquisition and error correcting speech recognition system
US5960399A (en) 1996-12-24 1999-09-28 Gte Internetworking Incorporated Client/server speech processor/recognizer
US6456974B1 (en) 1997-01-06 2002-09-24 Texas Instruments Incorporated System and method for adding speech recognition capabilities to java
US6009355A (en) 1997-01-28 1999-12-28 American Calcar Inc. Multimedia information and control system for automobiles
US6122613A (en) 1997-01-30 2000-09-19 Dragon Systems, Inc. Speech recognition using multiple recognizers (selectively) applied to the same input sample
JPH10254486A (ja) 1997-03-13 1998-09-25 Canon Inc 音声認識装置および方法
GB2323693B (en) 1997-03-27 2001-09-26 Forum Technology Ltd Speech to text conversion
US6167377A (en) 1997-03-28 2000-12-26 Dragon Systems, Inc. Speech recognition language models
FR2761837B1 (fr) 1997-04-08 1999-06-11 Sophie Sommelet Dispositif d'aide a la navigation ayant une architecture distribuee basee sur internet
US6014559A (en) * 1997-04-10 2000-01-11 At&T Wireless Services, Inc. Method and system for delivering a voice mail notification to a private base station using cellular phone network
US6078886A (en) * 1997-04-14 2000-06-20 At&T Corporation System and method for providing remote automatic speech recognition services via a packet network
US6058187A (en) * 1997-04-17 2000-05-02 At&T Corp. Secure telecommunications data transmission
US5895464A (en) 1997-04-30 1999-04-20 Eastman Kodak Company Computer program product and a method for using natural language for the description, search and retrieval of multi-media objects
US6173266B1 (en) 1997-05-06 2001-01-09 Speechworks International, Inc. System and method for developing interactive speech applications
US6128369A (en) 1997-05-14 2000-10-03 A.T.&T. Corp. Employing customer premises equipment in communications network maintenance
US5960397A (en) 1997-05-27 1999-09-28 At&T Corp System and method of recognizing an acoustic environment to adapt a set of based recognition models to the current acoustic environment for subsequent speech recognition
US5995119A (en) 1997-06-06 1999-11-30 At&T Corp. Method for generating photo-realistic animated characters
FI972723A0 (fi) 1997-06-24 1997-06-24 Nokia Mobile Phones Ltd Mobila kommunikationsanordningar
US6199043B1 (en) 1997-06-24 2001-03-06 International Business Machines Corporation Conversation management in speech recognition interfaces
US6101241A (en) * 1997-07-16 2000-08-08 At&T Corp. Telephone-based speech recognition for data collection
US5926784A (en) * 1997-07-17 1999-07-20 Microsoft Corporation Method and system for natural language parsing using podding
US5933822A (en) * 1997-07-22 1999-08-03 Microsoft Corporation Apparatus and methods for an information retrieval system that employs natural language processing of search results to improve overall precision
US6275231B1 (en) 1997-08-01 2001-08-14 American Calcar Inc. Centralized control and management system for automobiles
US6044347A (en) * 1997-08-05 2000-03-28 Lucent Technologies Inc. Methods and apparatus object-oriented rule-based dialogue management
US6144667A (en) 1997-08-07 2000-11-07 At&T Corp. Network-based method and apparatus for initiating and completing a telephone call via the internet
US6192338B1 (en) * 1997-08-12 2001-02-20 At&T Corp. Natural language knowledge servers as network resources
US6360234B2 (en) 1997-08-14 2002-03-19 Virage, Inc. Video cataloger system with synchronized encoders
US5895466A (en) * 1997-08-19 1999-04-20 At&T Corp Automated natural language understanding customer service system
US6707421B1 (en) 1997-08-19 2004-03-16 Siemens Vdo Automotive Corporation Driver information system
US6081774A (en) * 1997-08-22 2000-06-27 Novell, Inc. Natural language information retrieval system and method
US6018708A (en) 1997-08-26 2000-01-25 Nortel Networks Corporation Method and apparatus for performing speech recognition utilizing a supplementary lexicon of frequently used orthographies
US5898985A (en) * 1997-08-26 1999-05-04 Chrysler Corporation Bushing removal tool
US6076059A (en) 1997-08-29 2000-06-13 Digital Equipment Corporation Method for aligning text with audio signals
US6650747B1 (en) 1997-09-18 2003-11-18 At&T Corp. Control of merchant application by system monitor in virtual contact center
US6049602A (en) * 1997-09-18 2000-04-11 At&T Corp Virtual call center
DE19742054A1 (de) 1997-09-24 1999-04-01 Philips Patentverwaltung Eingabesystem wenigstens für Orts- und/oder Straßennamen
US6134235A (en) 1997-10-08 2000-10-17 At&T Corp. Pots/packet bridge
US5897613A (en) 1997-10-08 1999-04-27 Lucent Technologies Inc. Efficient transmission of voice silence intervals
US6272455B1 (en) 1997-10-22 2001-08-07 Lucent Technologies, Inc. Method and apparatus for understanding natural language
JPH11126090A (ja) 1997-10-23 1999-05-11 Pioneer Electron Corp 音声認識方法及び音声認識装置並びに音声認識装置を動作させるためのプログラムが記録された記録媒体
US6021384A (en) * 1997-10-29 2000-02-01 At&T Corp. Automatic generation of superwords
US6498797B1 (en) 1997-11-14 2002-12-24 At&T Corp. Method and apparatus for communication services on a network
US6188982B1 (en) 1997-12-01 2001-02-13 Industrial Technology Research Institute On-line background noise adaptation of parallel model combination HMM with discriminative learning using weighted HMM for noisy speech recognition
US5970412A (en) * 1997-12-02 1999-10-19 Maxemchuk; Nicholas Frank Overload control in a packet-switching cellular environment
US6219346B1 (en) * 1997-12-02 2001-04-17 At&T Corp. Packet switching architecture in cellular radio
US6614773B1 (en) 1997-12-02 2003-09-02 At&T Corp. Packet transmissions over cellular radio
US6195634B1 (en) * 1997-12-24 2001-02-27 Nortel Networks Corporation Selection of decoys for non-vocabulary utterances rejection
US6301560B1 (en) 1998-01-05 2001-10-09 Microsoft Corporation Discrete speech recognition system with ballooning active grammar
US6278377B1 (en) 1999-08-25 2001-08-21 Donnelly Corporation Indicator for vehicle accessory
US5950167A (en) 1998-01-26 1999-09-07 Lucent Technologies Inc. Screen-less remote voice or tone-controlled computer program operations via telephone set
US6226612B1 (en) 1998-01-30 2001-05-01 Motorola, Inc. Method of evaluating an utterance in a speech recognition system
US6385596B1 (en) 1998-02-06 2002-05-07 Liquid Audio, Inc. Secure online music distribution system
US6160883A (en) 1998-03-04 2000-12-12 At&T Corporation Telecommunications network system and method
WO1999046763A1 (en) * 1998-03-09 1999-09-16 Lernout & Hauspie Speech Products N.V. Apparatus and method for simultaneous multimode dictation
US6119087A (en) 1998-03-13 2000-09-12 Nuance Communications System architecture for and method of voice processing
US6233559B1 (en) * 1998-04-01 2001-05-15 Motorola, Inc. Speech control of multiple applications using applets
US6420975B1 (en) * 1999-08-25 2002-07-16 Donnelly Corporation Interior rearview mirror sound processing system
US6173279B1 (en) * 1998-04-09 2001-01-09 At&T Corp. Method of using a natural language interface to retrieve information from one or more data resources
US6144938A (en) 1998-05-01 2000-11-07 Sun Microsystems, Inc. Voice user interface with personality
US6574597B1 (en) * 1998-05-08 2003-06-03 At&T Corp. Fully expanded context-dependent networks for speech recognition
US6236968B1 (en) 1998-05-14 2001-05-22 International Business Machines Corporation Sleep prevention dialog based car system
US20070094223A1 (en) 1998-05-28 2007-04-26 Lawrence Au Method and system for using contextual meaning in voice to text conversion
CN1311881A (zh) 1998-06-04 2001-09-05 松下电器产业株式会社 语言变换规则产生装置、语言变换装置及程序记录媒体
US6219643B1 (en) * 1998-06-26 2001-04-17 Nuance Communications, Inc. Method of analyzing dialogs in a natural language speech recognition system
US6175858B1 (en) 1998-07-13 2001-01-16 At&T Corp. Intelligent network messaging agent and method
US6553372B1 (en) * 1998-07-13 2003-04-22 Microsoft Corporation Natural language information retrieval system
US6393428B1 (en) * 1998-07-13 2002-05-21 Microsoft Corporation Natural language information retrieval system
US6269336B1 (en) 1998-07-24 2001-07-31 Motorola, Inc. Voice browser for interactive services and methods thereof
WO2000011576A1 (en) * 1998-08-24 2000-03-02 Virtual Research Associates, Inc. Natural language sentence parser
US6208964B1 (en) 1998-08-31 2001-03-27 Nortel Networks Limited Method and apparatus for providing unsupervised adaptation of transcriptions
US6434524B1 (en) 1998-09-09 2002-08-13 One Voice Technologies, Inc. Object interactive user interface using speech recognition and natural language processing
US6499013B1 (en) 1998-09-09 2002-12-24 One Voice Technologies, Inc. Interactive user interface using speech recognition and natural language processing
US6049607A (en) 1998-09-18 2000-04-11 Lamar Signal Processing Interference canceling method and apparatus
US6606598B1 (en) 1998-09-22 2003-08-12 Speechworks International, Inc. Statistical computing and reporting for interactive speech applications
US6405170B1 (en) 1998-09-22 2002-06-11 Speechworks International, Inc. Method and system of reviewing the behavior of an interactive speech recognition application
US7003463B1 (en) 1998-10-02 2006-02-21 International Business Machines Corporation System and method for providing network coordinated conversational services
KR100459299B1 (ko) 1998-10-02 2004-12-03 인터내셔널 비지네스 머신즈 코포레이션 대화식 브라우저 및 대화식 시스템
WO2000021074A1 (en) 1998-10-05 2000-04-13 Lernout & Hauspie Speech Products N.V. Speech controlled computer user interface
JP2002527829A (ja) 1998-10-09 2002-08-27 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 自動照会方法およびシステム
US6928614B1 (en) 1998-10-13 2005-08-09 Visteon Global Technologies, Inc. Mobile office with speech recognition
US6185535B1 (en) * 1998-10-16 2001-02-06 Telefonaktiebolaget Lm Ericsson (Publ) Voice control of a user interface to service applications
WO2000024131A1 (en) 1998-10-21 2000-04-27 American Calcar, Inc. Positional camera and gps data interchange device
US6453292B2 (en) 1998-10-28 2002-09-17 International Business Machines Corporation Command boundary identifier for conversational natural language
US6028514A (en) 1998-10-30 2000-02-22 Lemelson Jerome H. Personal emergency, safety warning system and method
US6477200B1 (en) 1998-11-09 2002-11-05 Broadcom Corporation Multi-pair gigabit ethernet transceiver
US8121891B2 (en) 1998-11-12 2012-02-21 Accenture Global Services Gmbh Personalized product report
US6208972B1 (en) * 1998-12-23 2001-03-27 Richard Grant Method for integrating computer processes with an interface controlled by voice actuated grammars
US6195651B1 (en) * 1998-11-19 2001-02-27 Andersen Consulting Properties Bv System, method and article of manufacture for a tuned user application experience
US6246981B1 (en) * 1998-11-25 2001-06-12 International Business Machines Corporation Natural language task-oriented dialog manager and method
US7881936B2 (en) 1998-12-04 2011-02-01 Tegic Communications, Inc. Multimodal disambiguation of speech recognition
US6430285B1 (en) 1998-12-15 2002-08-06 At&T Corp. Method and apparatus for an automated caller interaction system
US6721001B1 (en) * 1998-12-16 2004-04-13 International Business Machines Corporation Digital camera with voice recognition annotation
US6233556B1 (en) * 1998-12-16 2001-05-15 Nuance Communications Voice processing and verification system
US6754485B1 (en) 1998-12-23 2004-06-22 American Calcar Inc. Technique for effectively providing maintenance and information to vehicles
US6570555B1 (en) * 1998-12-30 2003-05-27 Fuji Xerox Co., Ltd. Method and apparatus for embodied conversational characters with multimodal input/output in an interface device
US6742021B1 (en) * 1999-01-05 2004-05-25 Sri International, Inc. Navigating network-based electronic information using spoken input with multimodal error feedback
US6851115B1 (en) * 1999-01-05 2005-02-01 Sri International Software-based architecture for communication and cooperation among distributed electronic agents
US7036128B1 (en) 1999-01-05 2006-04-25 Sri International Offices Using a community of distributed electronic agents to support a highly mobile, ambient computing environment
US6757718B1 (en) * 1999-01-05 2004-06-29 Sri International Mobile navigation of network-based electronic information using spoken input
US6523061B1 (en) * 1999-01-05 2003-02-18 Sri International, Inc. System, method, and article of manufacture for agent-based navigation in a speech-based data navigation system
JP3822990B2 (ja) 1999-01-07 2006-09-20 株式会社日立製作所 翻訳装置、記録媒体
US6429813B2 (en) 1999-01-14 2002-08-06 Navigation Technologies Corp. Method and system for providing end-user preferences with a navigation system
US6567797B1 (en) * 1999-01-26 2003-05-20 Xerox Corporation System and method for providing recommendations based on multi-modal user clusters
GB2361339B (en) 1999-01-27 2003-08-06 Kent Ridge Digital Labs Method and apparatus for voice annotation and retrieval of multimedia data
US6556970B1 (en) 1999-01-28 2003-04-29 Denso Corporation Apparatus for determining appropriate series of words carrying information to be recognized
US6278968B1 (en) 1999-01-29 2001-08-21 Sony Corporation Method and apparatus for adaptive speech recognition hypothesis construction and selection in a spoken language translation system
US6873837B1 (en) 1999-02-03 2005-03-29 Matsushita Electric Industrial Co., Ltd. Emergency reporting system and terminal apparatus therein
US6430531B1 (en) 1999-02-04 2002-08-06 Soliloquy, Inc. Bilateral speech system
US6643620B1 (en) 1999-03-15 2003-11-04 Matsushita Electric Industrial Co., Ltd. Voice activated controller for recording and retrieving audio/video programs
JP4176228B2 (ja) 1999-03-15 2008-11-05 株式会社東芝 自然言語対話装置及び自然言語対話方法
US6631346B1 (en) 1999-04-07 2003-10-07 Matsushita Electric Industrial Co., Ltd. Method and apparatus for natural language parsing using multiple passes and tags
US6233561B1 (en) 1999-04-12 2001-05-15 Matsushita Electric Industrial Co., Ltd. Method for goal-oriented speech translation in hand-held devices using meaning extraction and dialogue
US6408272B1 (en) * 1999-04-12 2002-06-18 General Magic, Inc. Distributed voice user interface
US6570964B1 (en) * 1999-04-16 2003-05-27 Nuance Communications Technique for recognizing telephone numbers and other spoken information embedded in voice messages stored in a voice messaging system
US6434523B1 (en) 1999-04-23 2002-08-13 Nuance Communications Creating and editing grammars for speech recognition graphically
US6314402B1 (en) 1999-04-23 2001-11-06 Nuance Communications Method and apparatus for creating modifiable and combinable speech objects for acquiring information from a speaker in an interactive voice response system
US6804638B2 (en) * 1999-04-30 2004-10-12 Recent Memory Incorporated Device and method for selective recall and preservation of events prior to decision to record the events
US6356869B1 (en) 1999-04-30 2002-03-12 Nortel Networks Limited Method and apparatus for discourse management
US6505155B1 (en) 1999-05-06 2003-01-07 International Business Machines Corporation Method and system for automatically adjusting prompt feedback based on predicted recognition accuracy
US6308151B1 (en) 1999-05-14 2001-10-23 International Business Machines Corp. Method and system using a speech recognition system to dictate a body of text in response to an available body of text
US6604075B1 (en) 1999-05-20 2003-08-05 Lucent Technologies Inc. Web-based voice dialog interface
US6584439B1 (en) 1999-05-21 2003-06-24 Winbond Electronics Corporation Method and apparatus for controlling voice controlled devices
GB9911971D0 (en) 1999-05-21 1999-07-21 Canon Kk A system, a server for a system and a machine for use in a system
US7787907B2 (en) 1999-05-26 2010-08-31 Johnson Controls Technology Company System and method for using speech recognition with a vehicle control system
US20020032564A1 (en) 2000-04-19 2002-03-14 Farzad Ehsani Phrase-based dialogue modeling with particular application to creating a recognition grammar for a voice-controlled user interface
US20020107694A1 (en) 1999-06-07 2002-08-08 Traptec Corporation Voice-recognition safety system for aircraft and method of using the same
US6374214B1 (en) 1999-06-24 2002-04-16 International Business Machines Corp. Method and apparatus for excluding text phrases during re-dictation in a speech recognition system
DE60026637T2 (de) 1999-06-30 2006-10-05 International Business Machines Corp. Verfahren zur Erweiterung des Wortschatzes eines Spracherkennungssystems
US6321196B1 (en) 1999-07-02 2001-11-20 International Business Machines Corporation Phonetic spelling for speech recognition
US7069220B2 (en) 1999-08-13 2006-06-27 International Business Machines Corporation Method for determining and maintaining dialog focus in a conversational speech system
US6377913B1 (en) 1999-08-13 2002-04-23 International Business Machines Corporation Method and system for multi-client access to a dialog system
US6901366B1 (en) * 1999-08-26 2005-05-31 Matsushita Electric Industrial Co., Ltd. System and method for assessing TV-related information over the internet
US6513006B2 (en) 1999-08-26 2003-01-28 Matsushita Electronic Industrial Co., Ltd. Automatic control of household activity using speech recognition and natural language
US6415257B1 (en) * 1999-08-26 2002-07-02 Matsushita Electric Industrial Co., Ltd. System for identifying and adapting a TV-user profile by means of speech technology
EP1083545A3 (en) 1999-09-09 2001-09-26 Xanavi Informatics Corporation Voice recognition of proper names in a navigation apparatus
US6658388B1 (en) 1999-09-10 2003-12-02 International Business Machines Corporation Personality generator for conversational systems
US7340040B1 (en) 1999-09-13 2008-03-04 Microstrategy, Incorporated System and method for real-time, personalized, dynamic, interactive voice services for corporate-analysis related information
US6850603B1 (en) 1999-09-13 2005-02-01 Microstrategy, Incorporated System and method for the creation and automatic deployment of personalized dynamic and interactive voice services
US6631351B1 (en) 1999-09-14 2003-10-07 Aidentity Matrix Smart toys
US6601026B2 (en) 1999-09-17 2003-07-29 Discern Communications, Inc. Information retrieval by natural language querying
US20020049535A1 (en) 1999-09-20 2002-04-25 Ralf Rigo Wireless interactive voice-actuated mobile telematics system
US6587858B1 (en) 1999-09-30 2003-07-01 Steven Paul Strazza Systems and methods for the control of dynamic data and request criteria in a data repository
US6963759B1 (en) 1999-10-05 2005-11-08 Fastmobile, Inc. Speech recognition technique based on local interrupt detection
US6937977B2 (en) 1999-10-05 2005-08-30 Fastmobile, Inc. Method and apparatus for processing an input speech signal during presentation of an output audio signal
US6868385B1 (en) 1999-10-05 2005-03-15 Yomobile, Inc. Method and apparatus for the provision of information signals based upon speech recognition
US6442522B1 (en) 1999-10-12 2002-08-27 International Business Machines Corporation Bi-directional natural language system for interfacing with multiple back-end applications
US6721697B1 (en) 1999-10-18 2004-04-13 Sony Corporation Method and system for reducing lexical ambiguity
CA2387079C (en) 1999-10-19 2011-10-18 Sony Electronics Inc. Natural language interface control system
US6581103B1 (en) 1999-10-22 2003-06-17 Dedicated Radio, Llc Method for internet radio broadcasting including listener requests of audio and/or video files with input dedications
US6594367B1 (en) 1999-10-25 2003-07-15 Andrea Electronics Corporation Super directional beamforming design and implementation
AU1039301A (en) 1999-10-29 2001-05-08 British Telecommunications Public Limited Company Method and apparatus for processing queries
US6622119B1 (en) 1999-10-30 2003-09-16 International Business Machines Corporation Adaptive command predictor and method for a natural language dialog system
US6522746B1 (en) 1999-11-03 2003-02-18 Tellabs Operations, Inc. Synchronization of voice boundaries and their use by echo cancellers in a voice processing system
US6681206B1 (en) 1999-11-05 2004-01-20 At&T Corporation Method for generating morphemes
US8482535B2 (en) 1999-11-08 2013-07-09 Apple Inc. Programmable tactile touch screen displays and man-machine interfaces for improved vehicle instrumentation and telematics
US7392185B2 (en) 1999-11-12 2008-06-24 Phoenix Solutions, Inc. Speech based learning/training system using semantic decoding
US6615172B1 (en) 1999-11-12 2003-09-02 Phoenix Solutions, Inc. Intelligent query engine for processing voice based queries
US9076448B2 (en) 1999-11-12 2015-07-07 Nuance Communications, Inc. Distributed real time speech recognition system
US6633846B1 (en) 1999-11-12 2003-10-14 Phoenix Solutions, Inc. Distributed realtime speech recognition system
US6751612B1 (en) 1999-11-29 2004-06-15 Xerox Corporation User query generate search results that rank set of servers where ranking is based on comparing content on each server with user query, frequency at which content on each server is altered using web crawler in a search engine
US6418210B1 (en) * 1999-11-29 2002-07-09 At&T Corp Method and apparatus for providing information between a calling network and a called network
GB9928420D0 (en) 1999-12-02 2000-01-26 Ibm Interactive voice response system
US6288319B1 (en) 1999-12-02 2001-09-11 Gary Catona Electronic greeting card with a custom audio mix
US6591239B1 (en) 1999-12-09 2003-07-08 Steris Inc. Voice controlled surgical suite
US6598018B1 (en) * 1999-12-15 2003-07-22 Matsushita Electric Industrial Co., Ltd. Method for natural dialog interface to car devices
US6976229B1 (en) 1999-12-16 2005-12-13 Ricoh Co., Ltd. Method and apparatus for storytelling with digital photographs
US6832230B1 (en) 1999-12-22 2004-12-14 Nokia Corporation Apparatus and associated method for downloading an application with a variable lifetime to a mobile terminal
US6920421B2 (en) 1999-12-28 2005-07-19 Sony Corporation Model adaptive apparatus for performing adaptation of a model used in pattern recognition considering recentness of a received pattern data
US6678680B1 (en) 2000-01-06 2004-01-13 Mark Woo Music search engine
US6701294B1 (en) 2000-01-19 2004-03-02 Lucent Technologies, Inc. User interface for translating natural language inquiries into database queries and data presentations
US6829603B1 (en) 2000-02-02 2004-12-07 International Business Machines Corp. System, method and program product for interactive natural dialog
US6560590B1 (en) 2000-02-14 2003-05-06 Kana Software, Inc. Method and apparatus for multiple tiered matching of natural language queries to positions in a text corpus
US6434529B1 (en) 2000-02-16 2002-08-13 Sun Microsystems, Inc. System and method for referencing object instances and invoking methods on those object instances from within a speech recognition grammar
CA2400161C (en) 2000-02-22 2015-11-24 Metacarta, Inc. Spatially coding and displaying information
US7110951B1 (en) 2000-03-03 2006-09-19 Dorothy Lemelson, legal representative System and method for enhancing speech intelligibility for the hearing impaired
US6466654B1 (en) 2000-03-06 2002-10-15 Avaya Technology Corp. Personal virtual assistant with semantic tagging
US6510417B1 (en) 2000-03-21 2003-01-21 America Online, Inc. System and method for voice access to internet-based information
US7974875B1 (en) 2000-03-21 2011-07-05 Aol Inc. System and method for using voice over a telephone to access, process, and carry out transactions over the internet
US6868380B2 (en) 2000-03-24 2005-03-15 Eliza Corporation Speech recognition system and method for generating phonotic estimates
DE60143797D1 (de) 2000-03-24 2011-02-17 Eliza Corp Spracherkennung
WO2001075676A2 (en) 2000-04-02 2001-10-11 Tangis Corporation Soliciting information based on a computer user's context
AU2001251354A1 (en) 2000-04-06 2001-10-23 One Voice Technologies, Inc. Natural language and dialogue generation processing
US6980092B2 (en) 2000-04-06 2005-12-27 Gentex Corporation Vehicle rearview mirror assembly incorporating a communication system
US7177798B2 (en) 2000-04-07 2007-02-13 Rensselaer Polytechnic Institute Natural language interface using constrained intermediate dictionary of results
US7734287B2 (en) 2000-04-10 2010-06-08 I/O Controls Corporation System for providing remote access to diagnostic information over a wide area network
US6726636B2 (en) 2000-04-12 2004-04-27 Loran Technologies, Inc. Breathalyzer with voice recognition
US6578022B1 (en) 2000-04-18 2003-06-10 Icplanet Corporation Interactive intelligent searching with executable suggestions
US6556973B1 (en) * 2000-04-19 2003-04-29 Voxi Ab Conversion between data representation formats
US7502672B1 (en) 2000-04-24 2009-03-10 Usa Technologies, Inc. Wireless vehicle diagnostics with service and part determination capabilities
US6560576B1 (en) * 2000-04-25 2003-05-06 Nuance Communications Method and apparatus for providing active help to a user of a voice-enabled application
US20010054087A1 (en) 2000-04-26 2001-12-20 Michael Flom Portable internet services
US6912498B2 (en) 2000-05-02 2005-06-28 Scansoft, Inc. Error correction in speech recognition by correcting text around selected area
CN1252975C (zh) 2000-05-16 2006-04-19 约翰·塔歇罗 提供地理目标信息和广告的方法和系统
JP2003535510A (ja) 2000-05-26 2003-11-25 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 適応ビームフォーミングと結合される音声エコーキャンセレーションのための方法と装置
US6487495B1 (en) 2000-06-02 2002-11-26 Navigation Technologies Corporation Navigation applications using related location-referenced keywords
US7082469B2 (en) 2000-06-09 2006-07-25 Gold Mustache Publishing, Inc. Method and system for electronic song dedication
WO2001097558A2 (en) 2000-06-13 2001-12-20 Gn Resound Corporation Fixed polar-pattern-based adaptive directionality systems
AU2001268674B2 (en) * 2000-06-22 2007-04-26 Microsoft Technology Licensing, Llc Distributed computing services platform
JP3567864B2 (ja) 2000-07-21 2004-09-22 株式会社デンソー 音声認識装置及び記録媒体
US7143039B1 (en) 2000-08-11 2006-11-28 Tellme Networks, Inc. Providing menu and other services for an information processing system using a telephone or other audio interface
US6636790B1 (en) 2000-07-25 2003-10-21 Reynolds And Reynolds Holdings, Inc. Wireless diagnostic system and method for monitoring vehicles
DE10036851A1 (de) 2000-07-28 2002-02-28 Mannesmann Vdo Ag Verfahren zur Auswahl einer Ortsbezeichnung in einem Navigationssystem durch Spracheingabe
US6968311B2 (en) 2000-07-28 2005-11-22 Siemens Vdo Automotive Corporation User interface for telematics systems
US7092928B1 (en) * 2000-07-31 2006-08-15 Quantum Leap Research, Inc. Intelligent portal engine
US7027975B1 (en) * 2000-08-08 2006-04-11 Object Services And Consulting, Inc. Guided natural language interface system and method
US7653748B2 (en) 2000-08-10 2010-01-26 Simplexity, Llc Systems, methods and computer program products for integrating advertising within web content
US6574624B1 (en) 2000-08-18 2003-06-03 International Business Machines Corporation Automatic topic identification and switch for natural language search of textual document collections
WO2002017069A1 (en) 2000-08-21 2002-02-28 Yahoo! Inc. Method and system of interpreting and presenting web content using a voice browser
CN1226717C (zh) 2000-08-30 2005-11-09 国际商业机器公司 自动新词提取方法和系统
US7062488B1 (en) * 2000-08-30 2006-06-13 Richard Reisman Task/domain segmentation in applying feedback to command control
US6813341B1 (en) 2000-08-31 2004-11-02 Ivoice, Inc. Voice activated/voice responsive item locator
EP1184841A1 (de) 2000-08-31 2002-03-06 Siemens Aktiengesellschaft Sprachgesteuerte Anordnung und Verfahren zur Spracheingabe und -erkennung
JP2004508636A (ja) 2000-09-07 2004-03-18 テレフオンアクチーボラゲット エル エム エリクソン(パブル) 情報提供システム及びその制御方法
US20040205671A1 (en) 2000-09-13 2004-10-14 Tatsuya Sukehiro Natural-language processing system
KR100838804B1 (ko) 2000-09-21 2008-06-17 아메리칸 캘카어 인코포레이티드 차량을 효과적으로 그리고 안전하게 운전하는 기술
US7085708B2 (en) 2000-09-23 2006-08-01 Ravenflow, Inc. Computer system with natural language to machine language translator
US6362748B1 (en) 2000-09-27 2002-03-26 Lite Vision Corporation System for communicating among vehicles and a communication system control center
US6704576B1 (en) 2000-09-27 2004-03-09 At&T Corp. Method and system for communicating multimedia content in a unicast, multicast, simulcast or broadcast environment
AU2001295080A1 (en) 2000-09-29 2002-04-08 Professorq, Inc. Natural-language voice-activated personal assistant
JP2003044708A (ja) 2000-10-02 2003-02-14 Omron Corp 情報仲介システムとそれに用いられる情報仲介方法
US7451085B2 (en) 2000-10-13 2008-11-11 At&T Intellectual Property Ii, L.P. System and method for providing a compensated speech recognition model for speech recognition
US6922670B2 (en) 2000-10-24 2005-07-26 Sanyo Electric Co., Ltd. User support apparatus and system using agents
US6795808B1 (en) 2000-10-30 2004-09-21 Koninklijke Philips Electronics N.V. User interface/entertainment device that simulates personal interaction and charges external database with relevant data
US6721706B1 (en) * 2000-10-30 2004-04-13 Koninklijke Philips Electronics N.V. Environment-responsive user interface/entertainment device that simulates personal interaction
US6934756B2 (en) 2000-11-01 2005-08-23 International Business Machines Corporation Conversational networking via transport, coding and control conversational protocols
GB0027178D0 (en) 2000-11-07 2000-12-27 Canon Kk Speech processing system
US7158935B1 (en) 2000-11-15 2007-01-02 At&T Corp. Method and system for predicting problematic situations in a automated dialog
US6735592B1 (en) * 2000-11-16 2004-05-11 Discern Communications System, method, and computer program product for a network-based content exchange system
US7013308B1 (en) 2000-11-28 2006-03-14 Semscript Ltd. Knowledge storage and retrieval system and method
US20020065568A1 (en) * 2000-11-30 2002-05-30 Silfvast Robert Denton Plug-in modules for digital signal processor functionalities
US6973429B2 (en) 2000-12-04 2005-12-06 A9.Com, Inc. Grammar generation for voice-based searches
US20020067839A1 (en) 2000-12-04 2002-06-06 Heinrich Timothy K. The wireless voice activated and recogintion car system
US7016847B1 (en) 2000-12-08 2006-03-21 Ben Franklin Patent Holdings L.L.C. Open architecture for a voice user interface
US6456711B1 (en) 2000-12-12 2002-09-24 At&T Corp. Method for placing a call intended for an enhanced network user on hold while the enhanced network user is unavailable to take the call using a distributed feature architecture
US7170993B2 (en) 2000-12-19 2007-01-30 Lucent Technologies Inc. Methods and apparatus for automated monitoring and action taking based on decision support mechanism
US20020082911A1 (en) * 2000-12-22 2002-06-27 Dunn Charles L. Online revenue sharing
US6973427B2 (en) 2000-12-26 2005-12-06 Microsoft Corporation Method for adding phonetic descriptions to a speech recognition lexicon
US20020087312A1 (en) 2000-12-29 2002-07-04 Lee Victor Wai Leung Computer-implemented conversation buffering method and system
US20020087326A1 (en) 2000-12-29 2002-07-04 Lee Victor Wai Leung Computer-implemented web page summarization method and system
DE10101282A1 (de) 2001-01-12 2002-07-18 Siemens Ag Notrufmeldung mittels mobiler Telekommunikationsgeräte
US7085723B2 (en) 2001-01-12 2006-08-01 International Business Machines Corporation System and method for determining utterance context in a multi-context speech application
US6751591B1 (en) 2001-01-22 2004-06-15 At&T Corp. Method and system for predicting understanding errors in a task classification system
US7069207B2 (en) 2001-01-26 2006-06-27 Microsoft Corporation Linguistically intelligent text compression
US7487110B2 (en) 2001-01-30 2009-02-03 International Business Machines Corporation Automotive information communication exchange system, method, and program product
US6964023B2 (en) 2001-02-05 2005-11-08 International Business Machines Corporation System and method for multi-modal focus detection, referential ambiguity resolution and mood classification using multi-modal input
US20020107873A1 (en) 2001-02-07 2002-08-08 Bandag Licensing Corporation System and method for data collection, reporting, and analysis of fleet vehicle information
EP1231788A1 (en) 2001-02-12 2002-08-14 Koninklijke Philips Electronics N.V. Arrangement for distributing content, profiling center, receiving device and method
US7206418B2 (en) 2001-02-12 2007-04-17 Fortemedia, Inc. Noise suppression for a wireless communication device
US6549629B2 (en) 2001-02-21 2003-04-15 Digisonix Llc DVE system with normalized selection
GB2372864B (en) 2001-02-28 2005-09-07 Vox Generation Ltd Spoken language interface
US6754627B2 (en) 2001-03-01 2004-06-22 International Business Machines Corporation Detecting speech recognition errors in an embedded speech recognition system
US7024364B2 (en) 2001-03-09 2006-04-04 Bevocal, Inc. System, method and computer program product for looking up business addresses and directions based on a voice dial-up session
US20020173961A1 (en) 2001-03-09 2002-11-21 Guerra Lisa M. System, method and computer program product for dynamic, robust and fault tolerant audio output in a speech recognition framework
US20020133402A1 (en) 2001-03-13 2002-09-19 Scott Faber Apparatus and method for recruiting, communicating with, and paying participants of interactive advertising
US7516076B2 (en) 2001-03-14 2009-04-07 At&T Intellectual Property Ii, L.P. Automated sentence planning in a task classification system
US7729918B2 (en) 2001-03-14 2010-06-01 At&T Intellectual Property Ii, Lp Trainable sentence planning system
US7574362B2 (en) 2001-03-14 2009-08-11 At&T Intellectual Property Ii, L.P. Method for automated sentence planning in a task classification system
US6801897B2 (en) 2001-03-28 2004-10-05 International Business Machines Corporation Method of providing concise forms of natural commands
US6487494B2 (en) 2001-03-29 2002-11-26 Wingcast, Llc System and method for reducing the amount of repetitive data sent by a server to a client for vehicle navigation
US8175886B2 (en) 2001-03-29 2012-05-08 Intellisist, Inc. Determination of signal-processing approach based on signal destination characteristics
US7472075B2 (en) 2001-03-29 2008-12-30 Intellisist, Inc. System and method to associate broadcast radio content with a transaction via an internet server
US7406421B2 (en) 2001-10-26 2008-07-29 Intellisist Inc. Systems and methods for reviewing informational content in a vehicle
FR2822994B1 (fr) 2001-03-30 2004-05-21 Bouygues Telecom Sa Assistance au conducteur d'un vehicule automobile
EP1451679A2 (en) 2001-03-30 2004-09-01 BRITISH TELECOMMUNICATIONS public limited company Multi-modal interface
JP2002358095A (ja) 2001-03-30 2002-12-13 Sony Corp 音声処理装置および音声処理方法、並びにプログラムおよび記録媒体
US6996531B2 (en) * 2001-03-30 2006-02-07 Comverse Ltd. Automated database assistance using a telephone for a speech based or text based multimedia communication mode
US6885989B2 (en) 2001-04-02 2005-04-26 International Business Machines Corporation Method and system for collaborative speech recognition for small-area network
US6856990B2 (en) 2001-04-09 2005-02-15 Intel Corporation Network dedication system
JP2002318132A (ja) 2001-04-23 2002-10-31 Hitachi Ltd 音声対話型ナビゲーションシステムおよび移動端末装置および音声対話サーバ
US7437295B2 (en) 2001-04-27 2008-10-14 Accenture Llp Natural language processing for a location-based services system
US7970648B2 (en) 2001-04-27 2011-06-28 Accenture Global Services Limited Advertising campaign and business listing management for a location-based services system
US6950821B2 (en) 2001-05-04 2005-09-27 Sun Microsystems, Inc. System and method for resolving distributed network search queries to information providers
US6804684B2 (en) 2001-05-07 2004-10-12 Eastman Kodak Company Method for associating semantic information with multiple images in an image database environment
US20020173333A1 (en) 2001-05-18 2002-11-21 Buchholz Dale R. Method and apparatus for processing barge-in requests
US6944594B2 (en) 2001-05-30 2005-09-13 Bellsouth Intellectual Property Corporation Multi-context conversational environment system and method
JP2003005897A (ja) * 2001-06-20 2003-01-08 Alpine Electronics Inc 情報入力方法および装置
US6801604B2 (en) 2001-06-25 2004-10-05 International Business Machines Corporation Universal IP-based and scalable architectures across conversational applications using web services for speech and audio processing resources
US20020198714A1 (en) 2001-06-26 2002-12-26 Guojun Zhou Statistical spoken dialog system
US20100029261A1 (en) 2001-06-27 2010-02-04 John Mikkelsen Virtual wireless data cable method, apparatus and system
US20050234727A1 (en) 2001-07-03 2005-10-20 Leo Chiu Method and apparatus for adapting a voice extensible markup language-enabled voice system for natural speech recognition and system response
US6983307B2 (en) * 2001-07-11 2006-01-03 Kirusa, Inc. Synchronization among plural browsers
US7123727B2 (en) 2001-07-18 2006-10-17 Agere Systems Inc. Adaptive close-talking differential microphone array
US7283951B2 (en) 2001-08-14 2007-10-16 Insightful Corporation Method and system for enhanced data searching
US6757544B2 (en) 2001-08-15 2004-06-29 Motorola, Inc. System and method for determining a location relevant to a communication device and/or its associated user
US7920682B2 (en) 2001-08-21 2011-04-05 Byrne William J Dynamic interactive voice interface
US7305381B1 (en) 2001-09-14 2007-12-04 Ricoh Co., Ltd Asynchronous unconscious retrieval in a network of information appliances
US6959276B2 (en) 2001-09-27 2005-10-25 Microsoft Corporation Including the category of environmental noise when processing speech signals
US6721633B2 (en) 2001-09-28 2004-04-13 Robert Bosch Gmbh Method and device for interfacing a driver information system using a voice portal server
US7289606B2 (en) 2001-10-01 2007-10-30 Sandeep Sibal Mode-swapping in multi-modal telephonic applications
JP3997459B2 (ja) 2001-10-02 2007-10-24 株式会社日立製作所 音声入力システムおよび音声ポータルサーバおよび音声入力端末
US7640006B2 (en) 2001-10-03 2009-12-29 Accenture Global Services Gmbh Directory assistance with multi-modal messaging
US7254384B2 (en) 2001-10-03 2007-08-07 Accenture Global Services Gmbh Multi-modal messaging
US20030069734A1 (en) 2001-10-05 2003-04-10 Everhart Charles Allen Technique for active voice recognition grammar adaptation for dynamic multimedia application
JP4065936B2 (ja) 2001-10-09 2008-03-26 独立行政法人情報通信研究機構 機械学習法を用いた言語解析処理システムおよび機械学習法を用いた言語省略解析処理システム
US6501834B1 (en) 2001-11-21 2002-12-31 At&T Corp. Message sender status monitor
US20030101054A1 (en) 2001-11-27 2003-05-29 Ncc, Llc Integrated system and method for electronic speech recognition and transcription
US7174300B2 (en) 2001-12-11 2007-02-06 Lockheed Martin Corporation Dialog processing method and apparatus for uninhabited air vehicles
US7165028B2 (en) 2001-12-12 2007-01-16 Texas Instruments Incorporated Method of speech recognition resistant to convolutive distortion and additive distortion
GB2383247A (en) 2001-12-13 2003-06-18 Hewlett Packard Co Multi-modal picture allowing verbal interaction between a user and the picture
US7231343B1 (en) 2001-12-20 2007-06-12 Ianywhere Solutions, Inc. Synonyms mechanism for natural language systems
US20030120493A1 (en) 2001-12-21 2003-06-26 Gupta Sunil K. Method and system for updating and customizing recognition vocabulary
EP1324274A3 (en) 2001-12-28 2005-11-02 Matsushita Electric Industrial Co., Ltd. Vehicle information recording system
US7203644B2 (en) 2001-12-31 2007-04-10 Intel Corporation Automating tuning of speech recognition systems
US7493259B2 (en) 2002-01-04 2009-02-17 Siebel Systems, Inc. Method for accessing data via voice
US7493559B1 (en) * 2002-01-09 2009-02-17 Ricoh Co., Ltd. System and method for direct multi-modal annotation of objects
US7117200B2 (en) 2002-01-11 2006-10-03 International Business Machines Corporation Synthesizing information-bearing content from multiple channels
US7111248B2 (en) * 2002-01-15 2006-09-19 Openwave Systems Inc. Alphanumeric information input method
US7536297B2 (en) 2002-01-22 2009-05-19 International Business Machines Corporation System and method for hybrid text mining for finding abbreviations and their definitions
US7054817B2 (en) 2002-01-25 2006-05-30 Canon Europa N.V. User interface for speech model generation and testing
US20030144846A1 (en) 2002-01-31 2003-07-31 Denenberg Lawrence A. Method and system for modifying the behavior of an application based upon the application's grammar
US7130390B2 (en) 2002-02-01 2006-10-31 Microsoft Corporation Audio messaging system and method
ATE390668T1 (de) * 2002-02-07 2008-04-15 Sap Ag Multimodus-synchronisation
US7177814B2 (en) * 2002-02-07 2007-02-13 Sap Aktiengesellschaft Dynamic grammar for voice-enabled applications
US7058890B2 (en) 2002-02-13 2006-06-06 Siebel Systems, Inc. Method and system for enabling connectivity to a data system
US8249880B2 (en) 2002-02-14 2012-08-21 Intellisist, Inc. Real-time display of system instructions
US7587317B2 (en) 2002-02-15 2009-09-08 Microsoft Corporation Word training interface
JP3974419B2 (ja) 2002-02-18 2007-09-12 株式会社日立製作所 音声入力を用いた情報取得方法及び情報取得システム
WO2003073235A2 (en) 2002-02-27 2003-09-04 Sater Neil D System and method that facilitates customizing media
US6704396B2 (en) 2002-02-27 2004-03-09 Sbc Technology Resources, Inc. Multi-modal communications method
US7016849B2 (en) 2002-03-25 2006-03-21 Sri International Method and apparatus for providing speech-driven routing between spoken language applications
US7136875B2 (en) 2002-09-24 2006-11-14 Google, Inc. Serving advertisements based on content
US7072834B2 (en) 2002-04-05 2006-07-04 Intel Corporation Adapting to adverse acoustic environment in speech processing using playback training data
US7197460B1 (en) 2002-04-23 2007-03-27 At&T Corp. System for handling frequently asked questions in a natural language dialog service
US6877001B2 (en) 2002-04-25 2005-04-05 Mitsubishi Electric Research Laboratories, Inc. Method and system for retrieving documents with spoken queries
US7167568B2 (en) 2002-05-02 2007-01-23 Microsoft Corporation Microphone array signal enhancement
US20030212558A1 (en) 2002-05-07 2003-11-13 Matula Valentine C. Method and apparatus for distributed interactive voice processing
US6915126B2 (en) 2002-05-08 2005-07-05 General Motors Corporation Method of activating a wireless communication system in a mobile vehicle
US20030212550A1 (en) 2002-05-10 2003-11-13 Ubale Anil W. Method, apparatus, and system for improving speech quality of voice-over-packets (VOP) systems
US20030212562A1 (en) 2002-05-13 2003-11-13 General Motors Corporation Manual barge-in for server-based in-vehicle voice recognition systems
JP2003329477A (ja) 2002-05-15 2003-11-19 Pioneer Electronic Corp ナビゲーション装置及び対話型情報提供プログラム
US7107210B2 (en) 2002-05-20 2006-09-12 Microsoft Corporation Method of noise reduction based on dynamic aspects of speech
US7127400B2 (en) 2002-05-22 2006-10-24 Bellsouth Intellectual Property Corporation Methods and systems for personal interactive voice response
US7546382B2 (en) 2002-05-28 2009-06-09 International Business Machines Corporation Methods and systems for authoring of mixed-initiative multi-modal interactions and related browsing mechanisms
US20040140989A1 (en) 2002-05-28 2004-07-22 John Papageorge Content subscription and delivery service
US7398209B2 (en) * 2002-06-03 2008-07-08 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7143037B1 (en) 2002-06-12 2006-11-28 Cisco Technology, Inc. Spelling words using an arbitrary phonetic alphabet
US7548491B2 (en) 2002-06-13 2009-06-16 General Motors Corporation Personalized key system for a mobile vehicle
US7502737B2 (en) * 2002-06-24 2009-03-10 Intel Corporation Multi-pass recognition of spoken dialogue
US20050021470A1 (en) 2002-06-25 2005-01-27 Bose Corporation Intelligent music track selection
US7177815B2 (en) 2002-07-05 2007-02-13 At&T Corp. System and method of context-sensitive help for multi-modal dialog systems
US7177816B2 (en) 2002-07-05 2007-02-13 At&T Corp. System and method of handling problematic input during context-sensitive help for multi-modal dialog systems
US20040010358A1 (en) 2002-07-12 2004-01-15 General Motors Corporation Vehicle personalization through web portal
US7693720B2 (en) 2002-07-15 2010-04-06 Voicebox Technologies, Inc. Mobile systems and methods for responding to natural language speech utterance
EP1391830A1 (fr) 2002-07-19 2004-02-25 Albert Inc. S.A. Système d'extraction d'informations dans un texte en langage naturel
EP1394692A1 (en) * 2002-08-05 2004-03-03 Alcatel Method, terminal, browser application, and mark-up language for multimodal interaction between a user and a terminal
US7236923B1 (en) 2002-08-07 2007-06-26 Itt Manufacturing Enterprises, Inc. Acronym extraction system and method of identifying acronyms and extracting corresponding expansions from text
US6741931B1 (en) * 2002-09-05 2004-05-25 Daimlerchrysler Corporation Vehicle navigation system with off-board server
US7184957B2 (en) 2002-09-25 2007-02-27 Toyota Infotechnology Center Co., Ltd. Multiple pass speech recognition method and system
US7328155B2 (en) 2002-09-25 2008-02-05 Toyota Infotechnology Center Co., Ltd. Method and system for speech recognition using grammar weighted based upon location information
US20030115062A1 (en) 2002-10-29 2003-06-19 Walker Marilyn A. Method for automated sentence planning
US8793127B2 (en) 2002-10-31 2014-07-29 Promptu Systems Corporation Method and apparatus for automatically determining speaker characteristics for speech-directed advertising or other enhancement of speech-controlled devices or services
US6739556B1 (en) 2002-11-20 2004-05-25 Raytheon Company Method and apparatus for providing an aircraft emergency safety control system
WO2004053836A1 (en) 2002-12-10 2004-06-24 Kirusa, Inc. Techniques for disambiguating speech input using multimodal interfaces
US6834265B2 (en) 2002-12-13 2004-12-21 Motorola, Inc. Method and apparatus for selective speech recognition
US7890324B2 (en) 2002-12-19 2011-02-15 At&T Intellectual Property Ii, L.P. Context-sensitive interface widgets for multi-modal dialog systems
US20040158555A1 (en) 2003-02-11 2004-08-12 Terradigtal Systems Llc. Method for managing a collection of media objects
DE10306022B3 (de) * 2003-02-13 2004-02-19 Siemens Ag Dreistufige Einzelworterkennung
GB2398913B (en) 2003-02-27 2005-08-17 Motorola Inc Noise estimation in speech recognition
JP4103639B2 (ja) 2003-03-14 2008-06-18 セイコーエプソン株式会社 音響モデル作成方法および音響モデル作成装置ならびに音声認識装置
US7146319B2 (en) 2003-03-31 2006-12-05 Novauris Technologies Ltd. Phonetically based speech recognition system and method
US20050021826A1 (en) 2003-04-21 2005-01-27 Sunil Kumar Gateway controller for a multimodal system that provides inter-communication among different data and voice servers through various mobile devices, and interface for that controller
US7421393B1 (en) 2004-03-01 2008-09-02 At&T Corp. System for developing a dialog manager using modular spoken-dialog components
US20050015256A1 (en) 2003-05-29 2005-01-20 Kargman James B. Method and apparatus for ordering food items, and in particular, pizza
JP2005003926A (ja) * 2003-06-11 2005-01-06 Sony Corp 情報処理装置および方法、並びにプログラム
JP2005010691A (ja) 2003-06-20 2005-01-13 P To Pa:Kk 音声認識装置、音声認識方法、会話制御装置、会話制御方法及びこれらのためのプログラム
KR100577387B1 (ko) * 2003-08-06 2006-05-10 삼성전자주식회사 음성 대화 시스템에서의 음성 인식 오류 처리 방법 및 장치
US20050043940A1 (en) 2003-08-20 2005-02-24 Marvin Elder Preparing a data source for a natural language query
US20070162296A1 (en) 2003-10-06 2007-07-12 Utbk, Inc. Methods and apparatuses for audio advertisements
US7428497B2 (en) 2003-10-06 2008-09-23 Utbk, Inc. Methods and apparatuses for pay-per-call advertising in mobile/wireless applications
US7454608B2 (en) 2003-10-31 2008-11-18 International Business Machines Corporation Resource configuration in multi-modal distributed computing systems
GB0325497D0 (en) 2003-10-31 2003-12-03 Vox Generation Ltd Automated speech application creation deployment and management
US7697673B2 (en) 2003-11-17 2010-04-13 Apptera Inc. System for advertisement selection, placement and delivery within a multiple-tenant voice interaction service system
JP2005157494A (ja) 2003-11-20 2005-06-16 Aruze Corp 会話制御装置及び会話制御方法
JP4558308B2 (ja) 2003-12-03 2010-10-06 ニュアンス コミュニケーションズ,インコーポレイテッド 音声認識システム、データ処理装置、そのデータ処理方法及びプログラム
US20050137877A1 (en) 2003-12-17 2005-06-23 General Motors Corporation Method and system for enabling a device function of a vehicle
US7027586B2 (en) 2003-12-18 2006-04-11 Sbc Knowledge Ventures, L.P. Intelligently routing customer communications
US20050137850A1 (en) * 2003-12-23 2005-06-23 Intel Corporation Method for automation of programmable interfaces
US7386443B1 (en) * 2004-01-09 2008-06-10 At&T Corp. System and method for mobile automatic speech recognition
JP3924583B2 (ja) 2004-02-03 2007-06-06 松下電器産業株式会社 ユーザ適応型装置およびその制御方法
US7542903B2 (en) 2004-02-18 2009-06-02 Fuji Xerox Co., Ltd. Systems and methods for determining predictive models of discourse functions
US20050216254A1 (en) 2004-03-24 2005-09-29 Gupta Anurag K System-resource-based multi-modal input fusion
US20050246174A1 (en) 2004-04-28 2005-11-03 Degolia Richard C Method and system for presenting dynamic commercial content to clients interacting with a voice extensible markup language system
US20050283752A1 (en) 2004-05-17 2005-12-22 Renate Fruchter DiVAS-a cross-media system for ubiquitous gesture-discourse-sketch knowledge capture and reuse
US20060206310A1 (en) 2004-06-29 2006-09-14 Damaka, Inc. System and method for natural language processing in a peer-to-peer hybrid communications network
DE102004037858A1 (de) 2004-08-04 2006-03-16 Harman Becker Automotive Systems Gmbh Navigationssystem mit sprachgesteuerter Angabe von Sonderzielen
US7480618B2 (en) 2004-09-02 2009-01-20 Microsoft Corporation Eliminating interference of noisy modality in a multimodal application
FR2875919A1 (fr) 2004-09-27 2006-03-31 France Telecom Agent rationnel dialoguant, systeme de dialogue intelligent l'utilisant, procede de pilotage d'un dialogue intelligent, et programme pour sa mise en oeuvre
US20060074660A1 (en) 2004-09-29 2006-04-06 France Telecom Method and apparatus for enhancing speech recognition accuracy by using geographic data to filter a set of words
US7925506B2 (en) 2004-10-05 2011-04-12 Inago Corporation Speech recognition accuracy via concept to keyword mapping
US7376645B2 (en) * 2004-11-29 2008-05-20 The Intellection Group, Inc. Multimodal natural language query system and architecture for processing voice and proximity-based queries
US20070214182A1 (en) 2005-01-15 2007-09-13 Outland Research, Llc Establishment-based media and messaging service
US7873654B2 (en) 2005-01-24 2011-01-18 The Intellection Group, Inc. Multimodal natural language query system for processing and analyzing voice and proximity-based queries
US7437297B2 (en) 2005-01-27 2008-10-14 International Business Machines Corporation Systems and methods for predicting consequences of misinterpretation of user commands in automated systems
US7606708B2 (en) 2005-02-01 2009-10-20 Samsung Electronics Co., Ltd. Apparatus, method, and medium for generating grammar network for use in speech recognition and dialogue speech recognition
US7831433B1 (en) 2005-02-03 2010-11-09 Hrl Laboratories, Llc System and method for using context in navigation dialog
US7461059B2 (en) 2005-02-23 2008-12-02 Microsoft Corporation Dynamically updated search results based upon continuously-evolving search query that is based at least in part upon phrase suggestion, search engine uses previous result sets performing additional search tasks
US7283829B2 (en) 2005-03-25 2007-10-16 Cisco Technology, Inc. Management of call requests in multi-modal communication environments
US7668716B2 (en) 2005-05-05 2010-02-23 Dictaphone Corporation Incorporation of external knowledge in multimodal dialog systems
US7813485B2 (en) 2005-05-26 2010-10-12 International Business Machines Corporation System and method for seamlessly integrating an interactive visual menu with an voice menu provided in an interactive voice response system
US7917365B2 (en) * 2005-06-16 2011-03-29 Nuance Communications, Inc. Synchronizing visual and speech events in a multimodal application
US7873523B2 (en) 2005-06-30 2011-01-18 Microsoft Corporation Computer implemented method of analyzing recognition results between a user and an interactive application utilizing inferred values instead of transcribed speech
US20070043868A1 (en) 2005-07-07 2007-02-22 V-Enable, Inc. System and method for searching for network-based content in a multi-modal system using spoken keywords
WO2007008248A2 (en) 2005-07-11 2007-01-18 Voicedemand, Inc. Voice control of a media player
US7640160B2 (en) 2005-08-05 2009-12-29 Voicebox Technologies, Inc. Systems and methods for responding to natural language speech utterance
US7620549B2 (en) 2005-08-10 2009-11-17 Voicebox Technologies, Inc. System and method of supporting adaptive misrecognition in conversational speech
US20070043569A1 (en) 2005-08-19 2007-02-22 Intervoice Limited Partnership System and method for inheritance of advertised functionality in a user interactive system
US7949529B2 (en) 2005-08-29 2011-05-24 Voicebox Technologies, Inc. Mobile systems and methods of supporting natural language human-machine interactions
US7634409B2 (en) 2005-08-31 2009-12-15 Voicebox Technologies, Inc. Dynamic speech sharpening
US7672852B2 (en) 2005-09-29 2010-03-02 Microsoft Corporation Localization of prompts
US20070078708A1 (en) 2005-09-30 2007-04-05 Hua Yu Using speech recognition to determine advertisements relevant to audio content and/or audio content relevant to advertisements
US8626588B2 (en) 2005-09-30 2014-01-07 Google Inc. Advertising with audio content
JP4849662B2 (ja) 2005-10-21 2012-01-11 株式会社ユニバーサルエンターテインメント 会話制御装置
US7477909B2 (en) 2005-10-31 2009-01-13 Nuance Communications, Inc. System and method for conducting a search using a wireless mobile device
US7587308B2 (en) 2005-11-21 2009-09-08 Hewlett-Packard Development Company, L.P. Word recognition using ontologies
US20070135101A1 (en) 2005-12-08 2007-06-14 Comverse, Ltd. Enhanced visual IVR capabilities
US8325398B2 (en) 2005-12-22 2012-12-04 Canon Kabushiki Kaisha Image editing system, image management apparatus, and image editing program
US20070186165A1 (en) 2006-02-07 2007-08-09 Pudding Ltd. Method And Apparatus For Electronically Providing Advertisements
US20070203736A1 (en) 2006-02-28 2007-08-30 Commonwealth Intellectual Property Holdings, Inc. Interactive 411 Directory Assistance
JP5649303B2 (ja) 2006-03-30 2015-01-07 エスアールアイ インターナショナルSRI International メディア・ストリームに注釈を付ける方法および装置
US7533089B2 (en) 2006-06-27 2009-05-12 International Business Machines Corporation Hybrid approach for query recommendation in conversation systems
WO2008008729A2 (en) 2006-07-10 2008-01-17 Accenture Global Services Gmbh Mobile personal services platform for providing feedback
US7620551B2 (en) 2006-07-20 2009-11-17 Mspot, Inc. Method and apparatus for providing search capability and targeted advertising for audio, image, and video content over the internet
US8145493B2 (en) 2006-09-11 2012-03-27 Nuance Communications, Inc. Establishing a preferred mode of interaction between a user and a multimodal application
US8086463B2 (en) 2006-09-12 2011-12-27 Nuance Communications, Inc. Dynamically generating a vocal help prompt in a multimodal application
WO2008032329A2 (en) 2006-09-13 2008-03-20 Alon Atsmon Providing content responsive to multimedia signals
US7788084B2 (en) 2006-09-19 2010-08-31 Xerox Corporation Labeling of work of art titles in text for natural language processing
US8073681B2 (en) 2006-10-16 2011-12-06 Voicebox Technologies, Inc. System and method for a cooperative conversational voice user interface
WO2008057268A2 (en) 2006-10-26 2008-05-15 Mobile Content Networks, Inc. Techniques for determining relevant advertisements in response to queries
WO2008056251A2 (en) 2006-11-10 2008-05-15 Audiogate Technologies Ltd. System and method for providing advertisement based on speech recognition
JP4833043B2 (ja) 2006-11-30 2011-12-07 ヤフー株式会社 ブログ又はクエリ・クリックを利用したアフィニティ装置
US7640272B2 (en) 2006-12-07 2009-12-29 Microsoft Corporation Using automated content analysis for audio/video content consumption
US20080154604A1 (en) 2006-12-22 2008-06-26 Nokia Corporation System and method for providing context-based dynamic speech grammar generation for use in search applications
US7818176B2 (en) 2007-02-06 2010-10-19 Voicebox Technologies, Inc. System and method for selecting and presenting advertisements based on natural language processing of voice-based input
US8909532B2 (en) 2007-03-23 2014-12-09 Nuance Communications, Inc. Supporting multi-lingual user interaction with a multimodal application
US8060367B2 (en) 2007-06-26 2011-11-15 Targus Information Corporation Spatially indexed grammar and methods of use
US8219399B2 (en) 2007-07-11 2012-07-10 Garmin Switzerland Gmbh Automated speech recognition (ASR) tiling
DE102007044792B4 (de) 2007-09-19 2012-12-13 Siemens Ag Verfahren, Steuergerät und System zur Steuerung oder Bedienung
US8140335B2 (en) 2007-12-11 2012-03-20 Voicebox Technologies, Inc. System and method for providing a natural language voice user interface in an integrated voice navigation services environment
US8077975B2 (en) 2008-02-26 2011-12-13 Microsoft Corporation Handwriting symbol recognition accuracy using speech input
US8255224B2 (en) 2008-03-07 2012-08-28 Google Inc. Voice recognition grammar selection based on context
US20090276700A1 (en) 2008-04-30 2009-11-05 Nokia Corporation Method, apparatus, and computer program product for determining user status indicators
US8560033B2 (en) * 2008-05-16 2013-10-15 Eth Zurich Magnetically controlled wireless optical oxygen sensor for intraocular measurements
US8589161B2 (en) 2008-05-27 2013-11-19 Voicebox Technologies, Inc. System and method for an integrated, multi-modal, multi-device natural language voice services environment
US8909810B2 (en) 2008-08-05 2014-12-09 Isabella Products, Inc. Systems and methods for multimedia content sharing
US8224652B2 (en) 2008-09-26 2012-07-17 Microsoft Corporation Speech and text driven HMM-based body animation synthesis
US8326637B2 (en) 2009-02-20 2012-12-04 Voicebox Technologies, Inc. System and method for processing multi-modal device interactions in a natural language voice services environment
US9171541B2 (en) 2009-11-10 2015-10-27 Voicebox Technologies Corporation System and method for hybrid processing in a natural language voice services environment
US9502025B2 (en) 2009-11-10 2016-11-22 Voicebox Technologies Corporation System and method for providing a natural language content dedication service
US8762156B2 (en) 2011-09-28 2014-06-24 Apple Inc. Speech recognition repair using contextual information

Cited By (54)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102549567B (zh) * 2009-07-29 2015-07-08 施耐德电气美国股份有限公司 用于电力监控系统的自然语言导航
CN102549567A (zh) * 2009-07-29 2012-07-04 施耐德电气美国股份有限公司 用于电力监控系统的自然语言导航
CN105989840A (zh) * 2009-11-10 2016-10-05 声钰科技 自然语言语音服务环境中的混合处理的系统及方法
CN101847406A (zh) * 2010-05-18 2010-09-29 中国农业大学 语音识别查询方法及系统
US10642934B2 (en) 2011-03-31 2020-05-05 Microsoft Technology Licensing, Llc Augmented conversational understanding architecture
CN102750311A (zh) * 2011-03-31 2012-10-24 微软公司 扩充的对话理解体系结构
US10049667B2 (en) 2011-03-31 2018-08-14 Microsoft Technology Licensing, Llc Location-based conversational understanding
CN102750311B (zh) * 2011-03-31 2018-07-20 微软技术许可有限责任公司 扩充的对话理解体系结构
US9858343B2 (en) 2011-03-31 2018-01-02 Microsoft Technology Licensing Llc Personalization of queries, conversations, and searches
US10585957B2 (en) 2011-03-31 2020-03-10 Microsoft Technology Licensing, Llc Task driven user intents
US9842168B2 (en) 2011-03-31 2017-12-12 Microsoft Technology Licensing, Llc Task driven user intents
US9760566B2 (en) 2011-03-31 2017-09-12 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
US10296587B2 (en) 2011-03-31 2019-05-21 Microsoft Technology Licensing, Llc Augmented conversational understanding agent to identify conversation context between two humans and taking an agent action thereof
CN102750270B (zh) * 2011-03-31 2017-06-09 微软技术许可有限责任公司 扩充的对话理解代理
CN102750270A (zh) * 2011-03-31 2012-10-24 微软公司 扩充的对话理解代理
US9454962B2 (en) 2011-05-12 2016-09-27 Microsoft Technology Licensing, Llc Sentence simplification for spoken language understanding
US10061843B2 (en) 2011-05-12 2018-08-28 Microsoft Technology Licensing, Llc Translating natural language utterances to keyword search queries
CN106850403A (zh) * 2011-08-15 2017-06-13 微软技术许可有限责任公司 一种用户终端及操作用户终端的方法
CN106850403B (zh) * 2011-08-15 2020-02-14 微软技术许可有限责任公司 一种用户终端及操作用户终端的方法
CN103092887B (zh) * 2011-11-07 2016-10-05 联想(北京)有限公司 电子设备及其语音信息提供方法
CN103092887A (zh) * 2011-11-07 2013-05-08 联想(北京)有限公司 电子设备及其语音信息提供方法
CN103365836B (zh) * 2012-04-01 2016-05-11 郭佳 一种采用自然语言的分布式智能交互的实现方法及其系统
CN103365836A (zh) * 2012-04-01 2013-10-23 郭佳 一种采用自然语言的分布式智能交互的实现方法及其系统
CN106250508A (zh) * 2012-09-10 2016-12-21 谷歌公司 使用环境上下文回答问题
CN106250508B (zh) * 2012-09-10 2019-07-23 谷歌有限责任公司 使用环境上下文回答问题
CN103268315B (zh) * 2012-12-31 2016-08-03 威盛电子股份有限公司 自然语言对话方法及其系统
CN103279508B (zh) * 2012-12-31 2016-08-03 威盛电子股份有限公司 修正语音应答的方法及自然语言对话系统
CN103268315A (zh) * 2012-12-31 2013-08-28 威盛电子股份有限公司 自然语言对话方法及其系统
CN103279508A (zh) * 2012-12-31 2013-09-04 威盛电子股份有限公司 修正语音应答的方法及自然语言对话系统
CN103309846B (zh) * 2013-06-26 2016-05-25 北京云知声信息技术有限公司 一种自然语言信息的处理方法及装置
CN103309846A (zh) * 2013-06-26 2013-09-18 北京云知声信息技术有限公司 一种自然语言信息的处理方法及装置
CN104766497A (zh) * 2013-11-14 2015-07-08 霍尼韦尔国际公司 降低和检测复诵和复听错误的飞行器系统及方法
CN104699236A (zh) * 2013-12-05 2015-06-10 联想(新加坡)私人有限公司 利用境况解释自然语言语音识别命令
US11138971B2 (en) 2013-12-05 2021-10-05 Lenovo (Singapore) Pte. Ltd. Using context to interpret natural language speech recognition commands
US11380316B2 (en) 2014-01-20 2022-07-05 Huawei Technologies Co., Ltd. Speech interaction method and apparatus
CN110459214A (zh) * 2014-01-20 2019-11-15 华为技术有限公司 语音交互方法及装置
CN105469789A (zh) * 2014-08-15 2016-04-06 中兴通讯股份有限公司 一种语音信息的处理方法及终端
US11386268B2 (en) 2014-12-30 2022-07-12 Microsoft Technology Licensing, Llc Discriminating ambiguous expressions to enhance user experience
CN107111611A (zh) * 2014-12-30 2017-08-29 微软技术许可有限责任公司 区分歧义表达以增强用户体验
CN107871502A (zh) * 2016-09-28 2018-04-03 丰田自动车株式会社 语音对话系统以及语音对话方法
CN108109618A (zh) * 2016-11-25 2018-06-01 宇龙计算机通信科技(深圳)有限公司 语音交互方法、系统以及终端设备
CN110050303A (zh) * 2016-12-07 2019-07-23 谷歌有限责任公司 基于第三方代理内容的语音到文本转换
US11626115B2 (en) 2016-12-07 2023-04-11 Google Llc Voice to text conversion based on third-party agent content
CN110050303B (zh) * 2016-12-07 2023-08-22 谷歌有限责任公司 基于第三方代理内容的语音到文本转换
US11922945B2 (en) 2016-12-07 2024-03-05 Google Llc Voice to text conversion based on third-party agent content
CN108573702A (zh) * 2017-03-10 2018-09-25 声音猎手公司 具有域歧义消除的启用语音功能的系统
CN108573702B (zh) * 2017-03-10 2023-05-26 声音猎手公司 具有域歧义消除的启用语音功能的系统
CN110060670A (zh) * 2017-12-28 2019-07-26 夏普株式会社 操作辅助装置、操作辅助系统以及操作辅助方法
CN110688466A (zh) * 2018-07-05 2020-01-14 国际商业机器公司 在用户对话系统中集成多个领域问题解决
CN109559754B (zh) * 2018-12-24 2020-11-03 焦点科技股份有限公司 一种针对摔倒识别的语音救援方法及系统
CN109559754A (zh) * 2018-12-24 2019-04-02 焦点科技股份有限公司 一种针对摔倒识别的语音救援方法及系统
US11562741B2 (en) * 2019-09-30 2023-01-24 Samsung Electronics Co., Ltd. Electronic device and controlling method using non-speech audio signal in the electronic device
CN110942764A (zh) * 2019-11-15 2020-03-31 北京达佳互联信息技术有限公司 一种流式语音识别方法
CN110942764B (zh) * 2019-11-15 2022-04-22 北京达佳互联信息技术有限公司 一种流式语音识别方法

Also Published As

Publication number Publication date
CN104778945B (zh) 2018-07-17
US20150019217A1 (en) 2015-01-15
US7917367B2 (en) 2011-03-29
CN101297355B (zh) 2015-05-13
US8849670B2 (en) 2014-09-30
US7640160B2 (en) 2009-12-29
US9263039B2 (en) 2016-02-16
WO2007019318A3 (en) 2007-11-29
EP1922723A2 (en) 2008-05-21
US20110131045A1 (en) 2011-06-02
EP1922723A4 (en) 2010-09-29
US20070033005A1 (en) 2007-02-08
CN104778945A (zh) 2015-07-15
US20100057443A1 (en) 2010-03-04
US20130297293A1 (en) 2013-11-07
WO2007019318A2 (en) 2007-02-15
US8326634B2 (en) 2012-12-04

Similar Documents

Publication Publication Date Title
CN101297355B (zh) 响应自然语言语音口头表达的系统和方法
US9626959B2 (en) System and method of supporting adaptive misrecognition in conversational speech
US9734825B2 (en) Methods and apparatus for determining a domain based on the content and context of a natural language utterance
CN101030368B (zh) 在保持情感的同时跨通道进行通信的方法和系统
US20030078779A1 (en) Interactive voice response system
CN101292282A (zh) 支持自然语言人机交互的移动系统和方法
Fang et al. Sounding board–university of washington’s alexa prize submission
WO2001050453A2 (en) Interactive voice response system
Pearah The Voice Web: a strategic analysis
Miyazaki Discussion Board System with Multimodality Variation: From Multimodality to User Freedom.

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
TR01 Transfer of patent right

Effective date of registration: 20200224

Address after: Massachusetts, USA

Patentee after: Nuance Communications, Inc.

Address before: Washington, USA

Patentee before: Vois Box Technology

CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20150513

CF01 Termination of patent right due to non-payment of annual fee