CN101495965A - 语义富对象的动态用户体验 - Google Patents

Abstract

用于动态用户体验的语义富对象。进程中的一个或多个动作由语义富对象(SRO)表示，以曝露该进程的功能。每一个SRO包括与一动作以及其执行环境相关联的元数据。响应于来自用户的用于选择至少一个SRO的交互手势，在该进程中执行期望的动作，从所选择的SRO中提取元数据以判定所期望的动作在该进程的执行环境中是否可用。

Description

语义富对象的动态用户体验

背景

用户经常通过一系列基于表单的操作或者动作来与计算机应用程序交互以访问该应用程序的功能。例如，使用诸如鼠标的输入设备选择在计算机显示器上的一图标对象后，可向用户展示一选项菜单。用户于是可使用该应用程序的功能选择其中一个选项以与所选的图标对象交互(例如，“复制”高亮的文本或者“发送”所选择的文本给一电子邮件接收者)。由此，这组菜单变成了对于该应用程序的用户体验中的一个进入点。因为应用程序一般包括没有显示给用户的其他功能，目前可用的用户接口设计不利地将用户限制在仅仅是那些被显示的选项上。因此，用户不能看见设计者/开发者没有编码或者显示在当前用户接口设计上的表单。为了示出应用程序全部的或者大多数的功能，用户接口设计者或者开发者目前需要硬编码这些功能。

例如，商业应用程序使用表单、导航、查询接口以及其他特定用户接口(UI)产物来创建所期望的用户体验。该UI产物的设计确定了使得用户进入到应用程序状态和行为的进入点。然而，该UI产物的设计同时也限制了这些进入点。除了示例之外，工作流应用程序通常在专用于特定任务实例的表单(例如，用于“批准该命令”任务的表单)向用户曝露任务。因此，用户可能无法如他们所希望的那样多得了解一个特定的任务(例如，如果跳过这个任务会发生什么？是不是还存在和这个任务相关的其他没有完成的任务？)，这使得协作和共享信息变得复杂。

一些现存的系统试图通过提供一快捷键列表或者提示来允许用户进一步与应用程序交互而增强选项的标准或者默认菜单。然而，这些增强的选项通常在一分开的列表上显示并且仅仅是静态地扩展了该默认选项，并且强迫用户记忆更多的非用户友好快捷键。

目前可用的工作流应用程序在他们的专用任务UI中提供有限的默认选项。一些其他的为特定目的构造的系统的特定用途进程和UI通过定制代码或者定制来提供对于应用程序的其他功能的访问。在该工作流的示例中，附加信息可以是用于专用任务UI的定制代码，但是UI设计者并不可能预见到与该专用任务UI相关的每一个可能的组合或者用户可能希望探索的方向。因此，除了有时过度麻烦之外，这些定制代码或者定制通常不能覆盖所有可能的功能，并且它们是静态的，因此定制只有特定的和有限的用途。

向用户展现足够的功能有部分的问题是出在设备上，比如具有小的表单因素的移动设备，无法支持传统的“详细的”表单(即，头部和框架具有相对大量空间及文本信息的表单)。例如，详细的表单包括按钮、导航条、子表随着在父表中的选择同步移动的父-子表，等等。因此，难以同时向用户通知他们正在进行交互的信息的特征以及该信息周围的潜在的商业应用程序可用的行为。通过语音命令来解决信息的能力变得越来越重要。

语音命令允许用户处理比传统的可视表单更大数量的可能性(即，句子)。尽管音频接口系统，例如语音识别系统提供基本功能组，但用户并不需要知道哪些功能对于他们是可用的。例如，在传统的自动客户服务系统中，用户可通过一组预先录制的人类的语音来接收一组选项。用户可被要求对着一电话听筒说出他或她需要访问什么类型的客户服务。作为说明，假设用户希望与客户代表通话询问有关她的账单。一开始，用户可由一自动语音系统提示而选择她所呼叫的服务区域：“账户账单”、“附加服务”、“技术支持”或者“其他”服务。在该实例中，用户可通过声明所希望的服务而响应该语音提示。在这开始的选择之后，用户会在她被引导向直接与真实的客户代表通话之前接收到呈现给用户的进一步的或者后续的选项组。在许多的实例中，现存的音频接口系统允许用户通过说出“代理”、“代表”或者“与代理通话”而绕过这些所呈现的选项并接到真实的人工客户服务。然而，尽管该音频系统具有执行这个动作的能力，这个“隐藏”的捷径对于用户来说通常不是明显的。

概述

本发明的实施例通过数据源和应用程序使用元数据通过语义富对象(SROs)向用户曝露可用的能力，从而克服了先前系统的缺陷。除了通过单个的SRO对于一用户可用的内容之外，元数据包括经由同样的或者不同的应用程序和数据源所曝露的SRO的不同组合确定哪些是对于用户可用的信息。可选的实施例还允许用户确定如何在组合中使用SRO。动作的曝露功能可被用户以方便的方式结合或者使用，以进一步地曝露应用程序的动作和功能。依照本发明的一方面，SRO中的元数据可被提取并与来自另一个SRO的元数据结合以使得可以在不连续的、单个的动作(例如，复制、粘贴等等)之外向用户呈现符合语义规则的动作(例如，“和约翰共享该文件并在他的日程上将其放置在2005年7月1日上午10:00)。

有利地，通过SRO中曝露的元数据，本发明的实施例无格式语句用无格式语句向用户提供应用程序的动作，以使得应用程序中的进程对于用户来说是透明的。本发明的实施例同样曝露具有元数据的SRO实例，以使得应用程序可以确定合适的和可用的动作，而不需要遵照标准或者静态用户接口(UI)的配置。

换而言之换而言之，本发明的一些方面提供了对于下述问题的完整的解决方案：UI中关于确定和限制用户完全访问来自商业应用程序的可用的丰富的行为和理解的能力的客户逻辑。本发明的一些方面同样通过增加由基本的应用程序和数据源所投影出的行为的语义丰富程度来降低传统基于表单UI设计中所需要的代码量。

或者，本发明可包括各种其他方法和装置。

其他特征将在下文中部分地变得明显、部分地被指出。

本概述是用于以简化的形式引入对概念的选择，这些概念将在下面的详细描述中被进一步描述。本概述并非旨在标识所作权利要求的主题的关键特征或者是基本特征，也不是旨在被用作确定所作权利要求的主题的范围。

附图说明

图1是示出依照本发明的一实施例在利用语义富对象(SRO)的进程中提供动态用户体验的系统的示例图；

图2是示出依照本发明的一实施例示出包括元数据的SRO的数据结构的示例框图；

图3是示出依照本发明的一实施例由SRO的元数据表示的功能的示例框图；

图4是示出依照本发明的一实施例从SRO中提取元数据的动态用户体验的示例框图；

图5是示出依照本发明的一实施例在使用语义富对象(SRO)的进程中提供动态用户体验的示例流程图；

图6A-6C是示出依照本发明的一实施例响应于来自用户使用指点设备(例如，鼠标)的交互动作而提供可用动作组的框图；

图7是示出其中可实现本发明的适当的计算系统环境的示例的框图；

附件A描述了依照本发明的一实施例的语音动作的示例。

在所有的附图中，相应的附图符号指示对应的部分。

详细描述

首先参考图1，框图示出了依照本发明的一实施例在使用语义富对象(SRO)的进程中提供动态用户体验的系统100。例如，系统100可以是诸如图7中的计算机130的计算系统、计算设备、计算机服务器、多个计算机服务器、或者其他能够执行计算机可执行指令、应用、应用程序软件、应用程序112、计算机可执行线程或者代码的计算设备。在另一个实施例中，系统100包括在分布式系统中的计算设备，在该分布式系统中，计算设备通过诸如内联网、互联网等的公共通信网络连接。

继续参考图1，系统100包括与接口104相关联的处理器102。处理器102处理用户106通过接口104发送的指令或者命令，还执行计算机可执行指令、线程、应用、应用程序等等。接口104从用户106接收交互手势。例如，接口104可以是显示器，比如图7中所示的显示器，而用户106可以使用输入设备，比如鼠标182或者键盘180来选择显示在显示器上的一个或多个对象。在另一个实施例中，接口104可以是与语音识别系统耦合的音频设备，以提供与用户106之间的交互音频对话，以使得用户106能够以音频的形式响应音频提示。

系统100还包括的存储器108，其可以是易失性的或者非易失性的，图7中系统存储器134或者非易失性的存储器接口166，或者其他用于存储数据的计算机可读介质，所述数据可以通过诸如内联网、互联网或其他类型的通信网络的公共通信网络发送。

在一个实施例中，存储器108存储多个语义富对象(SRO)110，该SRO包括作为应用程序112中的动作和数据状态的影射出投影的元数据。例如，应用程序112可包括动作、函数、操作等等以执行一任务或者处理一个事件，还可以保留有关于该任务(例如，该任务是关于为某个客户处理特定的订单)的主题的数据(见有关图2的进一步讨论)。作为说明，一工作流管理应用程序处理工作流进程，包括分配任务、委托任务等等。一通信软件可包括诸如促进两方之间的通信(例如，发送电子邮件、在各方之间共享文件等等)或者提供消息传送服务的动作。作为另一个说明，一多媒体软件可包括诸如组织媒体对象(例如，音频文件、静态图片文件、或者动态图片文件)或者与另一人传送媒体对象的动作。

目前，一组静态的基于表单的用户接口向用户呈现这些应用程序或者进程中的动作。例如，许多已知的UI具有诸如“文件、编辑、工具或者帮助”的标准的高层菜单选项组以供用户选择。这些高层菜单选项中的每一个进一步提供附加的选项。进一步参考该示例，高层“文件”菜单选项可包括“打开、存储、退出、打印”，或者其他的子选项。总的来说，用户需要学习这些不同的离散的菜单选项以熟悉应用程序112或者进程，或者与它们交互。该学习的体验将和学习一门新的语言类似；在与应用程序112交互之间先学习词汇和语法或者逻辑规则(比如，“打开”选项是“文件”而不是“编辑”的子菜单，等等)。

有利地，本发明的实施例使用元数据表示应用程序112或者进程中的动作，以使得一组可用的或者合适的动作可以根据用户的选择而呈现给用户，并且是以无格式语句或者语义格式。在一个替换实施例中，一组可用的或者合适的动作基于应用程序112的环境或者执行环境而选择性地提供或者呈现给用户。再次参考图1，SRO是提供给用户用于在一诸如系统100的执行环境中直接操作、检查或者共享的项目或者对象。或者，一SRO可通过诸如表单的媒介而提供给用户，该表单能够限制或者丰富来自SRO的可用行为。在一个实施例中，SRO可特定于由用户106直接控制的环境或者执行环境。例如，计算机网络系统的管理员可被呈现一组完整的可用功能以管理该计算机网络。另一方面，工作站用户A可仅仅被呈现一小组选项，因为工作站用户A的角色是工作站用户。

应该理解基于表单的UI设计可与SRO一起使用或者在SRO的顶部使用。例如，UI开发者可以提供带有对用户的选项的表单，通过接收SRO中丰富的信息，UI的开发者不需要编码表单中呈现的所有或者一些选项。或者，本发明的实施例使用SRO来降低表单中的逻辑编码量，这些逻辑编码是以UI开发者通常提供用于向用户呈现并使得功能对于用户可用的形式的。

在一个替换实施例中，系统100存储数据，该数据包括与执行进行或应用程序112的性能历史相关的数据、先前用户与进程执行的交互以及存储器108中的进程执行模型，以使得系统100在从SRO 110中提取元数据时能够向用户106展示一组习惯的或者常用的动作。

现在参考图2，框图是示出依照本发明的一实施例的包括元数据的数据结构202。第一数据字段204包括表示与一进程相关联的动作的元数据。例如，第一数据字段204可包括与动作可用代码206相关的元数据、与动作执行代码208相关的元数据、与手势进程标识号(PIN)210相关的元数据、与可扩展性方法212相关的元数据、以及与对象模型214相关的元数据。

数据结构202还包括第二数据字段216，包括表示的进程执行环境的元数据，其中第一数据字段与所述第二数据字段相关以定义一组将在进程的执行环境中执行的可用动作。例如，第二数据字段216可包括与应用程序环境218相关的元数据以及与周围服务定义220相关的元数据。例如，周围服务定义220包括与将一交互手势匹配到进程或者应用程序112的动作的实现的数据相关的元数据。例如，假设应用程序112或者SRO的环境是用汇编编程语言执行的计算机可执行指令的网络应用服务。在该示例中，该周围服务定义220可提供与给定的交互手势相关的元数据以及相应的将由该网络应用服务执行的汇编语言。

在另一个实施例中，应用程序环境218还包括SRO试图投影其动作影射出的应用程序的环境或者执行环境相关的数据。例如，包括在应用程序环境218中的数据可包括用户名、用户类型、用户执行环境(诸如计算机标识号、操作系统版本等等)，或者有关用户对于一个或多个选项的接入性的约束或者限制。

在一个实施例中，数据结构202还包括第三数据字段222，其包括表示一组语义规则的元数据，其中该语义规则定义一个或多个与第一数据字段中的元数据和第二数据字段中的元数据相关联的交互手势。例如，第三数据字段222可包括与手势图224相关的元数据、与语音动作图226相关的元数据、以及与一组环境规则228相关的元数据。作为说明，用户106可通过交互手势与系统100中的SRO交互，包括在计算机桌面上使用鼠标选择并拖动一个图标、以音频的方式响应一音频提示、或者其他方式(比如，在电话键盘或者键盘上按键)。这些交互手势使得系统100可以将从所选择的SRO中提取的元数据映射到一组对于用户可用的动作以便与所述包括工作流的进程交互。

在一个实施例中，一组语义规则基于与包括在应用程序环境218中的应用程序执行环境或者环境相关的元数据和数据进行解释或者评价。例如，当将SRO被应用程序/进程/数据源中影射出时，其包括一些初始数据作为环境。UI环境(或者是包括在SRO内曝露SRO的UI，或者在SRO的顶部提供附加层，诸如表单)可以将数据声明到环境中或者从中撤销。比如，一组语义规则可评价所述用户名称/类型数据并在应用语义规则组解释用户的交互手势以从所选择的SRO中提取对于用户可用的一组动作之前在该UI中声明这些数据。在另一个示例中，一组语义规则可评价一动作并确定这样的动作只能被使用一次。由此，UI不会将该动作提供给用户。

当数据结构202包括具有图示类型的元数据的数据字段时，还可包括具有和应用程序112中的进程的执行或者进程的执行环境相关的信息的其他元数据类型或者数据而不脱离本发明的范围。此外，当本发明的实施例使用元数据作为示例数据类型时，可使用其他数据配置或者组织而不脱离本发明的范围，所述数据配置或者组织描述该数据被执行时所管理和/或执行的每一个元素，以使得不需要在执行之前重新编译该数据。

为了进一步说明SRO，图3是示出依照本发明的一实施例由SRO的元数据表示的功能的框图。在所示实施例中，诸如聚集应用程序302、网络服务应用程序304、任务流应用程序306、环境空间应用程序308和文档应用程序310的进程包括一个或多个动作。此外，使用一个或多个SRO 312、314、316、318和320以使得可曝露应用程序的各个方面和动作可。有利地，本发明的各个方面通过使用SRO曝露在各个应用程序中的功能。例如，任务流应用程序306可通过箭头322向SRO 318发送一任务事件，其可通过用户创建一任务来表示。当用户在SRO 318中创建所述任务事件并分配该任务给一个体以执行该任务后，SRO 318经由箭头324产生一任务事件至SRO 320，该SRO 320于是经由箭头326产生动作事件至SRO 312。由此，根据本发明，每一个SRO都是通用的，并且可响应于不同的事件或者动作由不同的和各个应用程序使用。

还是参考图3，在图3中示出的应用程序和SRO之间的箭头表示SRO和应用程序之间的示例语义关系。例如，从网络服务应用程序304至SRO 312的箭头328可表示网络服务应用程序304通过SRO 312曝露动作或者事件给用户(例如，用户106)。在另一个示例中，从SRO 318至SRO 320的箭头可表示任务被分配给商店的区域经理。由此，通过SRO的类型来表示进程中的一个或多个动作，以曝露应用程序的进程的功能，系统100向用户提供动态用户体验。

为了说明一个相对简单的动态用户体验，图4是示出依照本发明的一实施例从SRO中提取元数据的框图。例如，如图4所示，地图类型SRO 402包括与位置相关的元数据。在所示示例中，地图类型402表示西雅图的地图。还是参考图4，天气类型的SRO 404包括与时间相关的元数据。如所示的，天气类型的SRO表示2005年6月3日上午10点西雅图的天气状况是多云，气温华氏67度。

当用户106选择或者获取西雅图著名的旅游景点“Space Needle”的照片时，“Space Needle”的照片由照片类型SRO 406表示，其包括与照片质量、时间和位置相关的元数据。由此，通过使用元数据表示照片类型SRO 406以及通过从照片类型SRO 406、地图类型SRO 402和天气类型SRO 404中提取元数据，可用对话框或者窗口408向用户106呈现，其包括Space Needle相对于西雅图的位置的地图、Space Needle相对于西雅图的位置全球定位卫星(GPS)位置、SpaceNeedle周边的当前天气状况、和/或Space Needle周边的天气预报。在一个替换实施例中，通过对于SRO的使用使得用户能够对于Space Needle采取附加的动作，比如要求旅行细节或者购买Space Needle的地图。

现在参考图5，流程图示出依照本发明的一实施例在使用语义富对象(SRO)的进程中提供动态用户体验的方法。具体而言，图5示出了使用键盘的用户交互手势的示例。一开始，在502，通知类型的SRO 506表示进程中的一个或多个动作，包括与动作以及该动作的执行环境相关联的元数据。在504，接口104从用户106接收用于选择至少一个SRO以执行进程中所期望的动作的交互手势。在所示出的示例中，用户106根据通知类型的SRO 506通过键盘输入文本“Jennifer‘Finding Neverland”。用户106所期望的动作是与Jennifer一起观看“FindingNeverland”。在508，系统100响应于所接收的交互手势从通知类型SRO 506中提取元数据以判定期望的动作是否在该进程的执行环境中可用。

在该判定中，处理器102首先在510定义一组语义规则以评价或者解释所述交互手势“Jennifer‘Finding Naverland‘”。如上文所讨论的，每一个SRO携带有一些用于评价一组语义规则的数据(诸如在第二数据字段216中的应用程序环境218中的)。在一个示例中，应用程序环境218中的一些数据可由应用程序影射出，一些可由UI环境(例如，通过持有SRO的表单)声明/撤销。所定义的语义规则可标识“Jennifer”指向角色类型SRO，而“Finding Neverland”指向位置类型SRO。在确定了“Finding Neverland”不是指向位置之后，所定义的语义规则进一步标识“Finding Neverland”是对象的名字，比如文本、文件的题目等等。由此，系统100可在存储器108所存储的可用文件中进行搜索，或者从应用程序访问数据以确定“Finding Neverland”的语义含义是文本或者是媒体对象类型的SRO。系统100继续在514使用语义规则解析“Jennifer”和“FindingNeverland”，系统100在516提供一组可用的动作以执行所期望的动作。在一个实施例中，SRO中包括代码、线程、或者第一数据字段204中的计算机可执行指令，诸如动作可用代码206、动作执行代码208等等。例如，代码可用于使得动作被执行。在另一个实施例中，代码可以是复杂的代码，诸如，如果动作是由网络服务所提供，这种情况下动作执行代码会需要知道如何与该网络服务通信。

在该示例中，系统100确定Jennifer是用户个人联系人列表(例如，地址簿、电子邮件联系人列表、或者其他通信联系人列表)中的角色类型SRO的一个实例，而“Finding Neverland”是电影的题目。由此，在518，系统100提供一组可用动作，诸如“Jennifer的联系方式342-4-3-3323，从VideoRental商店租借电影“Finding Neverland”或者“在剧院A购买Finding Neverland的电影票，并且根据用户的日程安排和剧院A的上映时间用户在周六和周日的4:00-10:00是有空的”。换而言之，用户106不必要从用户电话簿中选择Jennifer以查找她的电话，浏览互联网以确定片名为“Finding Neverland”是可用的，或者寻找剧院A的位置并且确定可用的上映时间，系统100向用户106提供动态的、具有语境的、有趣的用户体验。因此，用户106并不被限制于由应用程序提供的标准的或者甚至是定制编码的动作。相反的，SRO使用元数据曝露应用程序中的进程的功能和动作，并以简单的无格式语言向用户106提供动作。

在一个实施例中，包括语音动作(参考附件A的进一步详细说明)的用户的交互手势被映射到SRO的元数据，以使得系统100可响应于视觉和音频的交互手势的组合从所选择的SRO中提取元数据以确定所期望的动作。

在另一个替换实施例中，用户通过交互手势产生一个或多个事件，比如鼠标点击、鼠标在显示器上的移动等等。系统100从用户处接收或者截获事件，并按照一组语义规则通过SRO的元数据将这些事件映射到曝露的动作。当元数据从系统100中被提取时，响应于所述交互手势，一组可用动作被呈现给用户。系统100可选择性地执行或者运行该可用动作。

图6A至图6C是进一步示出依照本发明的一实施例响应于来自用户的通过指点设备(例如，鼠标)输入的交互手势而提供一组可用动作的框图。在该示例中，通过指点设备输入的交互手势包括：

点击激活事项；

将一个对象拖/放至另一个对象上以执行某些操作；

右击以学习与某事件相关的更多或合获得更多的选项；

对于组对象“拉框”或者对其整体执行共用操作；或者

通过非分级的隐喻查找一些内容，并且滚读结果以及可能地导航到它们。

图6A示出了用于向用户106提供一组可用动作的显示区域602和可操作空间604。图标或者事件对象606表示SRO。在该示例中，事件对象606表示“命令123”。显示区域602还包括搜索条目字段608和610，当用户按下“查找”按钮612时可执行查询。

现在参考图6B，用户106使用指点设备首先选择事件对象606，拖动事件对象606(虚构的事件对象614指示用户106的拖拉移动)，并将事件对象606放置在可操作空间604内作为事件对象616。在一个实施例中，该拖-放交互手势可根据下述规则映射至SRO的元数据：

规则1：<主题、UI手势、对象、环境、默认动作组>

在该规则下，交互手势(例如“拖/放”)被绑定至执行环境(例如，可操作空间604)中的主题SRO(例如，销售报告)和对象SRO(例如，商业学院)。

或者，用户106的该拖-放交互手势可按照下述的规则映射至SRO的元数据：

规则2<主题、动作、语音动作>

在该示例中，在主题SRO上可用的动作被映射至诸如请求、通知或者命令的语音动作。

在另一个替换实施例中，用户106可使用诸如拖-放鼠标动作的交互手势来将一SRO与一个或多个其它的SRO相关联以将一组可用的动作组合成包括一个SRO和一个或多个其它SRO的动作或者行为语义句子。例如，用户106可选择SROX，可能是响应于该用户106的交互手势，以使得由该元数据所曝露的动作或者行为能被组合成为一个句子，例如“分配任务A给用户B并在用户B完成改任务之后发送提醒给用户B的直接主管。”

在图6C中，一组可用动作618在从用户106接收到拖-放交互手势之后被显示或者提供给用户106。在该涉及工作流的示例中，该组可用的动作618包括“处理历史”(下拉的箭头620指示当用户106用该指点设备指示该下拉箭头620或者用户106使用该指点设备选择该下拉箭头时可用的附加动作。在所显示的“处理历史”中，当系统100从“命令123”中提取元数据时，向用户106呈现一组与“命令123”相关的信息以判定“处理历史”中所包括的信息对于用户106是否可用。

例如，处理历史显示2005年3月4日由用户1在西雅图做出的对于“命令123”的购买订单的确认的信息。注意到用户106没有在图6A中初始选择诸如“显示互利历史”或者“显示购买订单确认”的动作。相反的，用户106仅仅拖-放事件对象606至可操作空间604上，而系统100从表示“命令123”的事件对象中提取元数据，以响应于这样对可操作空间604的拖-放交互手势向用户106提供一组可用的动作。由此，实施例有利地提供通用的SRO以增强用户体验，但是并不要求用户记住或者记忆基于表单的菜单上的快捷键或者选项。

在另一个实施例中，根据规则1，系统100在从源和目标SRO提取元数据后提供一可用动作的列表。如果默认的动作组是可用的，系统100可根据性能历史在用户的交互之前修改一先前的列表等等。或者，系统100可从主题和对象SRO向用户106呈现整个的可用动作列表。

在根据规则2的另一个实施例中，系统100根据一组语音动作翻译可用动作。在该示例中，假设有3个SRO：一个SRO表示“用户1”、另一个SRO表示“用户2”(一个学院)，第三个表示与“由商业单元过滤的西部区域的销售数量”)相关的商业对象。在选择了商业对象之后，用户1在表示用户2的SRO上拖动商业类型SRO，并将该商业类型SRO放置在表示用户2的SRO上。在接收到该种视觉交互手势后，系统100从三个SRO中提取元数据并映射到用户106可能提供的诸如下述语音动作的音频交互手势：

A.与用户2共享该商业对象；

B.关于该商业对象进行通信，比如询问用户2关于该商业对象的有效性的问题；或者

C.使得用户2成为该商业对象的管理员/拥有者(或者允许用户2具有访问该商业对象的特定权利)。

在一个实施例中，用户106还可以通过在搜索条目字段608和610中输入搜索术语将该拖-放交互手势与文本查询相结合。例如，如果用户106对于具体主题/对象对的特定实例经常使用特定的语音动作，系统100能提议这些组合是在该主题/对象对的所有实例上可用的新的语音动作。由此，与语音动作相关的元数据可基于先前用户的交互习惯或者历史使用新的语音动作更新。因此，本发明的实施例消除了对于为用户设计一动作的定制代码或者定制序列的需求。

在另一个替换实施例中，在用户对进程的执行做出交互之前，该进程的执行的性能历史、以及进程执行模型可被表示为具有与该应用程序中的进程的动作相关的SRO而展现。由此，诸如搜索的动作可对于先前用户交互SRO可用，使得该组可用动作对于用户106是可管理、可查询、可升级的。

图7是形式为计算机130的通用计算设备的一个示例。在本发明的一实施例中，诸如计算机130的计算机可用于其他在此处所示和描述的附图中。计算机130具有一个或多个处理单元132和系统存储器134。在所示的实施例中，系统总线136把包括系统存储器134在内的各种系统组件耦合至处理单元132。总线136表示多种类型总线结构的任一种的一种或多种，包括存储器总线或存储器控制器、外围设备总线、加速图形接口及使用多种总线体系结构的任一种的处理器或本地总线。通过示例但非限制，这种结构包括工业标准结构(ISA)总线、微通道结构(MCA)总线、增强型ISA(EISA)总线、视频电子标准联盟(VESA)本地总线、及外围组件互连(PCI)总线(也称为Mezzanine总线)。

计算机130一般包括至少一些形式的计算机可读介质。计算机可读介质可以是能由计算机130访问的任何可用介质并包括易失性和非易失性的介质、可移动和不可移动介质。通过示例但非限制，计算机可读介质可以包括计算机存储介质和通信介质。计算机存储介质包括易失性和非易失性、可移动和不可移动介质，它们以用于存储诸如计算机可读指令、数据结构、程序模块或其它数据这样的信息的任意方法或技术来实现。例如计算机存储介质包括RAM、ROM、EEPROM、闪存或其它存储技术、CD-ROM、数字化通用光盘(DVD)或其它光盘存储器、磁带盒、磁带、磁盘存储器或其它磁性存储设备、或用于存储期望信息并能由计算机130访问的任意其它介质。通信介质通常具体化为诸如载波或其它传输机制的已调制数据信号中的计算机可读指令、数据结构、程序模块或其它数据，并包括任一信息传送介质。介质介质本领域的技术人员对于已调数据信号是熟知的，意指以对信号内信息进行编码的方式设置或改变其一个或多个特征的信号。通过示例但非限制，通信介质包括诸如有线网络或直接线连接这样的有线介质、以及诸如声音、RF、红外这样的无线介质及其它无线介质。上述的任一组合应该也包含在计算机可读介质的范围内。

系统存储器134包括计算机存储介质，其形式为易失性和/或非易失性存储器。在所示的实施例中，该系统存储器134包括只读存储器(ROM)138和随机存取存储器(RAM)140。基本输入/输出系统142(BIOS)通常存储在ROM 138内，它包含例如启动期间帮助在计算机130内的元件间传输信息的基本例程。RAM 140通常包含处理单元132可以立即访问和/或当前正在操作数据和/或程序模块，。通过示例但非限制，图7说明了操作系统144、应用程序146、其它程序模块148和程序数据150。

计算机130还可以包括其它可移动/不可移动、易失性/非易失性计算机存储介质。仅作为示例，图7示出了对不可移动、非易失性磁性介质进行读写的硬盘驱动器154。图7还图示了对可移动、非易失性磁盘158进行读写的磁盘驱动器156、以及对可移动、非易失性光盘162，如CD ROM或其它光学进行读写的光盘驱动器160，介质。在示例性操作环境中可用的其它可移动/不可移动、易失性/非易失性计算存储介质包括、但不限于：磁带盒、闪存卡、数字通用盘、数字视频磁带、固态RAM、固态ROM等等。硬盘驱动器154、磁盘驱动器156和光盘驱动器160一般通过如接口166这样的不可移动存储器接口与系统总线136相连。

上面讨论并在图7中示出的驱动器和它们的相关联计算机存储介质为计算机130提供了计算机可读指令、数据结构、程序模块和其它数据的存储。在图7中，例如，示出硬盘驱动器154存储操作系统170、应用程序172、其它程序模块174和程序数据176。注意到这些组件可与操作系统144、应用程序146、其它程序模块148和程序数据150相同，或者与它们不同。这里为操作系统170、应用程序172、其它程序模块174和程序数据176给出不同标号以说明它们至少是不同的副本。

用户可以通过诸如键盘180和指点设备182(例如鼠标、跟踪球或触摸板)这样的输入设备把命令和信息输入到计算机110中。其它输入设备(未示出)可以包括麦克风、游戏杆、游戏垫、圆盘式卫星天线、扫描仪等等。这些和其它输入设备通常通过与系统总线136耦合的用户输入接口184与处理单元132相连，但也可以用其它接口和总线结构连接，如并行端口、游戏端口或通用串行总线(USB)。监视器188或其它类型的显示设备也通过诸如视频接口190这样的接口与系统总线136相连。除了监视器188之外，计算机还可以包括其它外围输出设备(未示出)，如扬声器和打印机，它们可以通过输出外围接口(未示出)连接。

计算机130可以使用到一个或多个远程计算机，如远程计算机194的逻辑连接在网络化环境中操作。远程计算机194可以是个人计算机、服务器、路由器、网络PC、对等设备或其它公共网络节点，并且通常包括许多或所有相对于计算机130所描述的元件。图7所述的逻辑连接包括局域网(LAN)196和广域网(WAN)198，但可以还包括其它网络。LAN 136或者WAN 138可以是有线的网络、无线网络或者它们的组合。这种联网环境常见于办公室、企业范围计算机网络、内联网和全球型计算机网络(例如因特网)。

当用于LAN联网环境中时，计算机130通过网络接口或适配器186与LAN 196相连。当用于WAN联网环境中时，计算机130通常包括调制解调器178或用于通过WAN 198，如因特网建立通信的其它装置。调制解调器178可以是内置或外置的，它可以通过用户输入接口184或其它适当机制与系统总线136相连。在网络化环境中，关于计算机130所描述的程序模块或其部分可以存储在远程存储器存储设备中。通过示例但非限制，图7示出了远程应用程序192驻留在存储器设备上。可以理解，所示网络连接是示例性的，也可以使用在计算机间建立通信链路的其它手段。

通常，计算机130的数据处理器由不同时间存储于该计算机的各个计算机可读存储介质中的指令进行编程。程序和操作系统一般是分开的，例如，在软盘或者CD-ROM上。从那里，它们被安装或者载入到计算机的辅助存储器中。在执行时，它们至少被部分地载入到计算机的主电子存储器中。当这些介质包含用于实现下面结合微处理器或者其他数据处理器而实现的步骤的指令或者程序时，此处描述的发明包括这些以及其他各种类型的计算机可读存储介质。当计算机被按照此处所描述的方法和技术进行编程时，本发明还包括计算机本身。

为了说明的目的，程序和其他可执行的程序组件，比如操作系统在此处被示为分离的块。然而，应该认识到这些程序和组件在各种时间驻留在计算机的不同存储器组件中，并且被计算机的数据处理器所执行。

尽管是结合包括计算机130的示例性计算系统环境进行描述，本发明可以用多种其它通用或专用计算系统环境或配置来操作。该计算系统环境不是为了提出任何对于本发明的使用或者功能的范围的限制。此外，计算系统环境不应被解释为对与示例性操作环境中所述的组件的任一或组合有任何依赖或要求。可以适合与本发明一起使用的公知计算系统、环境和/或配置的示例包括、但不限于：个人计算机、服务器计算机、手持式或膝上设备、多处理器系统、基于微处理器的系统、机顶盒、可编程消费者电子设备、网络PC、小型计算机、大型计算机、包括任一上述系统或设备的分布式计算环境等等。

本发明可以在诸如由计算机执行的程序模块等计算机可执行指令的一般上下文来描述。一般而言，程序模块包括例程、程序、对象、组件、数据结构等，它们执行特定任务或实现特定的抽象数据类型。本发明还可以在分布式计算环境中实践，其中由通过通信网络连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储器存储设备的本地和远程存储介质中。

软件体系结构环境中的接口包括软件模块、组件、代码部分、或者计算机可执行指令的其他序列。接口包括，例如第一模块访问第二模块以代表第一模块执行计算任务。在一个示例中，第一和第二模块包括，诸如由操作系统提供的应用程序接口(API)、组件对象模型(COM)接口(例如，对于端对端应用程序通信)、以及可扩展标记语言元数据交换格式(XMI)接口(例如，用于在网络服务之间通信)。

接口可以是牢固耦合的同步实现，诸如在Java 2平台企业版(J2EE)、COM、或者分布式COM(DCOM)示例中。或者或此外，接口还可以是松散耦合的异步实现，诸如在网络服务中(例如，使用简单对象访问协议)。一般而言，接口包括下列特征的任一组合：牢固耦合、松散耦合、同步以及异步。此外，该接口可符合标准协议、专用协议或者标准协议和专用协议的任意组合。

此处描述的接口可以全部都是单个接口的部分、或者是被实现为独立的接口或者任何它们的组合。这些接口可被本地执行或者远程执行以提供功能。此外，接口可包比此处所图示或者描述的更多或者更少的功能。

在操作中，计算机130执行诸如在图4中所示出的计算机可执行指令。例如，计算机130通过语义富对象(SRO)表示进程中的一个或多个动作以曝露该进程的功能。每一个SRO包括与动作及其执行环境相关的元数据。计算机130还从用户接收交互手势用于选择至少一个SRO以执行该进程中期望的动作。计算机130还从所选择的SRO中提取元数据以判定该期望的动作是否在该进程的执行环境中可用。此处所示或者描述的方法的执行顺序或者性能并非必需如此，除非另有指明。即，本发明的要素可以任何的顺序执行，除非另有指明，并且该方法可包括比此处揭示的更多或者更少的要素。例如，期望在另一要素之前、同时或者之后执行或者履行特定的要求是在本发明的范围之内。

当引入本发明或者其实施例的要素时，冠词“一”、“一个”、、“该”、“所述”是为了表示一个或多个要素。术语“包括”、“包含”和“具有”旨在意为包括的，并且意味着还可以具有除了被列出的要素之外其他的要素。

根据以上内容，可以看出实现了本发明的若干个目的，并获得了其他有利结果。由于可对上述系统和方法进行各种改变而不脱离本发明的范围，上述描述中包含的以及在附图中示出的所有事物被解释为示例性而非限制性的。

附件A

语音动作的示例：

语音动作具有若干个特点和特征。在形式上，它们包括扬声器、收听器以及它们之间的通信动作。例如，J.L.Austin和John.R.Searle开发了一种相当严格的技术词汇来描述语音动作理论(SAT)-涉及语音动作的三个方面的区别(例如，Searle、John.R.，Speech Acts_(语音动作，)，语言哲学中的论文，剑桥：剑桥大学出版社1969)：

A.非语内表现行为动作(字面上的意思)；

B.语内表现行为动作(所执行的动作，例如：请求)；以及

C.言语表达效果动作(通过表现所完成的，社会效果)。

使用语义规则和手势代数学操作器，人A可点击代表人B的SRO并且给出一个更具有含义，但是是普通的语音动作的列表：

A.请求人B做什么事...；

B.问人B问题；

C.向人B承诺做什么事...；

D.通知人B什么事...；或者

E.与人B共享资源/对象。

Claims (20)

1.一种在进程内提供动态用户体验的计算机化的方法，所述计算机化的方法包括：

使用多个语义富对象(SRO)表示所述进程中的一个或多个动作以曝露所述进程的功能，所述多个SRO各自包括与一个动作相关联的元数据和与所述动作的执行环境有关的数据；

从用户接收选择所述多个SRO中的至少一个以在所述进程中执行期望的动作的交互手势；以及

响应于所接收的交互手势从所选择的SRO中提取所述元数据，以确定所期望的动作在所述进程的执行环境中是否可用。

2.如权利要求1所述的计算机化的方法，其特征在于，所述多个SRO中的每一个还包括用于执行所述动作的代码，并且其中提取所述元数据包括响应于所接收的交互手势执行所包括的代码以确定所期望的动作在所述进程的执行环境中是否可用。

3.如权利要求1所述的计算机化的方法，还包括响应于所接收的交互手势，基于所提取的元数据提供一组可用的动作以供用户与所述进程交互。

4.如权利要求3所述的计算机化的方法，其特征在于，提供一组可用的动作包括下列至少之一：在基于表单的用户接口中显示通过所述多个SRO曝露的所述一组可用的动作，以及生成用于选择性地显示所述一组可用的动作以供用户与所述进程交互的用户接口，并且其中所述进程包括下列中的一个或多个：应用程序、应用软件、以及工作流处理应用程序。

5.如权利要求1所述的计算机化的方法，还包括基于所提取的元数据和所接收的交互手势执行所期望的动作，并且还包括定义一组语义规则以解释从用户接收的交互手势。

6.如权利要求1所述的计算机化的方法，还包括响应于来自用户的询问提供多个SRO，并且还包括将所提取的元数据与下列中的一个或多个相关：所述进程的执行的性能历史、先前用户与所述进程的执行的交互、以及进程执行模型。

7.如权利要求1所述的计算机化的方法，还包括将所述交互手势映射到所述多个SRO中的每一个的元数据，并且还包括将所选择的SRO的所提取的元数据与一个或多个其它SRO的元数据相关联以将一组可用的动作组合成包括由所选择的SRO和所述一个或多个其它SRO所表示的动作的语义句子。

8.如权利要求1所述的计算机化的方法，其特征在于，一个或多个计算机可读介质包括用于执行如权利要求1所述的计算机化的方法的计算机可执行指令。

9.一种用于主动生成行为以供用户与一进程交互的系统，该系统包括：

存储器，用于存储一个或多个语义富对象(SRO)，所述SRO中的每一个包括对应于一行为和其执行环境的元数据，所述SRO中的每一个还包括与所述行为的执行相关的数据；

接口，用于从用户接收对于一个或多个SRO的选择；

处理器，用于执行通过将从所述接口接收的选择与所选择的SRO中存储的元数据相关联而生成对用户可用的一组行为的计算机可执行指令；以及

其中所述接口向用户提供所生成的一组行为以供在所述执行环境中与所述进程交互。

10.如权利要求9所述的系统，还包括具有用于从用户接收对于所述一个或多个SRO的选择的用户选择设备的用户接口。

11.如权利要求9所述的系统，其特征在于，所述处理器被进一步配置成将从所述接口接收的选择映射到所述SRO中的每一个的存储的元数据。

12.如权利要求11所述的系统，还包括将一组语音动作映射至所述SRO中的每一个的存储的元数据的数据库。

13.如权利要求9所述的系统，其特征在于，所述接口从用户接收对于要与一个或多个其它SRO相关联的一个SRO的选择，并且其中所述处理器被配置成基于所接收的选择和所述一个SRO以及所述一个或多个其它SRO中的存储的元数据生成一组对用户可用的将所述一个SRO与所述一个或多个其它SRO相关联的行为。

14.如权利要求9所述的系统，其特征在于，所述处理器进一步被配置成执行所存储的与所述行为的执行相关的数据，以基于所存储的元数据和从所述接口接收的选择生成所述一组行为。

15.如权利要求9所述的系统，其特征在于，

所述接口被配置成响应于来自用户的查询提供一个或多个SRO，基于所述进程的执行环境选择性地提供所生成的所述SRO的一组行为，并通过基于表单的用户接口从用户接收对于一个或多个SRO的选择，以及

所述处理器进一步配置成将所存储的元数据与下列中的一个或多个相关：所述进程的执行的性能历史、先前用户与所述进程的执行的交互、以及进程执行模型。

16.如权利要求9所述的系统，其特征在于，所述处理器被进一步配置成定义一组语义规则来解释通过所述接口从用户接收的选择，并且其中所述处理器通过基于所定义的一组语义规则来确定所述一组期望的行为在所述进程的执行环境中是否可用来生成所述一组可用的行为。

17.一种其上存储有语义富对象的数据结构的计算机可读介质，所述计算机可读介质包括：

第一数据字段，包括表示一个或多个与一进程相关联的动作的元数据；以及

第二数据字段，包括表示所述进程的执行环境的元数据，所述第一数据字段与所述第二数据字段相关联以定义一组将在所述进程的执行环境中被执行的可用动作。

18.如权利要求17所述的计算机可读介质，还包括第三数据字段，所述第三数据字段包括表示一组语义规则的元数据，所述语义规则定义一个或多个与所述第一数据字段中的元数据以及所述第二数据字段中的元数据相关联的交互手势。

19.如权利要求18所述的计算机可读介质，其特征在于，所述第三数据字段中的元数据包括表示一组交互手势和一组语音动作的元数据，所述一组交互手势和所述一组语音动作被映射到所述第一数据字段中的元数据以及所述第二数据字段中的元数据。

20.如权利要求17所述的计算机可读介质，还包括一个或多个数据字段，所述一个或多个数据字段包括与下列中的一个或多个相关联的元数据：一组进程周围服务定义、交互手势号、进程可扩展性方法、进程对象模型、进程的执行的性能历史、先前用户与进程的执行的交互、行为的执行、以及进程执行模型。

Images