CN100422966C

CN100422966C - 内容创建系统和方法

Info

Publication number: CN100422966C
Application number: CNB2004800111884A
Authority: CN
Inventors: 高木启伸; 浅川智惠子
Original assignee: International Business Machines Corp
Current assignee: Nuance Communications Inc
Priority date: 2003-04-30
Filing date: 2004-04-28
Publication date: 2008-10-01
Anticipated expiration: 2024-04-28
Also published as: EP1619587A1; KR20060015494A; US20080276163A1; US7877260B2; KR100919738B1; US20060095252A1; EP1619587A4; WO2004097656A1; CN1781086A; US8244541B2

Abstract

本发明涉及网页的创建和网页的听取。更具体地说，有可能有效且有保证地改善通过合成音频听取网页的可访问性。根据本发明的内容创建系统(20)包括：数据库(22)，用于创建可以通过合成音频来听取的内容，并且存储结构化文档；以及信息处理部件(24)，用于从结构化文档创建朗读节点串(18)，并且计算从朗读节点串(18)的音频合成的开始时刻到作为合成音频输出各个节点的时刻的到达时间。信息处理部件(24)包括支持处理部件(36)，以便确定对应于到达时间的图形显示，并且使显示部件(26)的屏幕可视地显示基于音频合成到预定节点的到达时间。

Description

内容创建系统和方法

技术领域

本发明涉及创建网页和该网页的语音浏览，特别涉及一种用于通过合成语音来改善用户对内容的可访问性的内容创建系统、内容创建方法、用于执行上述内容创建方法的程序、存储了上述程序的计算机可读存储介质、图形用户接口系统、以及显示控制方法。

背景技术

近年来，随着网络技术和因特网基础设施变得普及，计算机用户必须通过因特网在计算机屏幕上可视地显示网页并且获得各种信息。在现有网页创建方法中，首先考虑的是网页向用户可视地提供信息。

然而，关于个人计算机中的信息可处理性、信息可获性及其快速性，旨在提供图形用户接口的现有网页被认为具有各种困难。例如，典型地，网页作为图形用户接口被显示在计算机屏幕上。在这种情况下，不能可视地识别网页的用户(在本发明中，以下被称作非视觉访问用户)不能充分地访问作为网页而显示的图形用户接口，或者根本无法对其进行任何访问，从而可能产生这样的缺点，即非视觉访问用户不能获得重要内容，例如通过网页所提供的主要内容。

如上所述，从非视觉访问用户的视点考虑现有网页的可用性，很难说现有网页具有足够的可访问性。其原因可能包括，例如，非视觉访问用户不能通过使用指针和图标来直接访问内容，其中，通过指针装置如鼠标、输入笔、键盘操作和游戏棒来控制该指针和图标的位置，并且将其显示为诸如箭头等的形状；二维到一维的空间识别完全不同于视觉访问用户的空间识别；以及即使重要的主要内容被高亮显示，它也不能被非视觉访问用户识别，等等。

为了即使部分地改善上述缺点，传统地，已经提出了语音响应系统，其通过语音合成系统将结构化文档例如文本、HTML(超文本置标语言)、DHTML(动态超文本置标语言)、SGML(标准通用置标语言)和XML(可扩展置标语言)生成为语音，并且通过麦克风将其提供给非视觉访问用户。然而，仅仅通过语音导航存在这样的缺点，即它不能确保主要内容的可获性，这是因为上述用户需要花费很长时间才能到达显示在网页上的内容中的主要内容，或者因为用户最终不能到达所需内容。

另外，为了上述目的，在语音浏览系统、语音响应系统等中，使用VoiceXML等来创建包括适于每个系统的内容的网页，以便提供服务。然而，由于在这样的服务中仅仅提供有限的信息，因此该系统不能使万维网上的大量信息可被非视觉访问用户有效地获得。

对于非视觉访问用户，在传统上提出的语音浏览系统通过在用户场所处安装的语音浏览器或屏幕阅读器，使用相同于普通用户所使用的浏览器(Internet

或Netscape

)来访问网页。传统的语音浏览系统通过仅仅提取可通过语音输出的文本信息以及例如从其开头顺序地朗读包括词如“HTML”的文件，向用户提供了语音导航。

因此，可能存在这样的缺点，即对于传统的语音浏览系统访问为可视表示的目的而创建的网页上所显示的信息是十分困难的。例如，如果没有预先准备具有图像数据的数据或到图像数据的链接的相应可替换文本，则这样的数据将会缺少一些其要被朗读的信息。而且，近年来，在网页中，各种信息包括在单个页面中，并且通过各种可视效果如背景颜色或文本颜色来布局。然而，语音浏览系统不能传达诸如高亮显示的可视表示和诸如着色的布局。

在这种情况下，如在传统上所公知的那样，对于到主要内容的跳转，如果链接命令被插入在网页的开头，则可显著改善非视觉可访问性。通过选择该链接，跳过存在于网页的开始部分中的“与主要内容具有较少关系”的信息如标题等，从而有可能快速地到达网页中的最重要信息。然而，在目前环境下，很少有网页包括上述命令。另外，例如，存在这样的网页，其中该网页的模板包括用于提示从头进行非视觉访问的结构。然而，因为仅仅存在考虑非视觉访问的链接，所以这没有意义，并且在每个内容创建者没有完全描述每个网页上的链接的情况下不能实现其目的。

在目前环境下，通常情况是被提供了到主要内容的链接的网页没有该链接自身的描述，从而这样的网页不能完全实现提供链接的功能。因此，也是可知的是，即使输入对用于非视觉访问的链接执行非视觉访问的请求，也存在这样的问题，即用户被返回到网页的开头，或者由于写入了跳转目的地的错误URL而导致发生错误。如果上述用于非视觉访问的链接不能正确工作，则它甚至可能降低可访问性。

本质上，可以认为上述缺点起因于视觉访问用户创建网页的事实。在此，在本发明中，视觉访问用户是指能够可视地识别网页以便输入并获得信息的计算机用户。换句话说，由于视觉访问用户能够毫无麻烦地使用普通浏览器软件来查看网页，因此可以认为他几乎没有通过语音合成来访问网页的经验。因此，在某种意义上，视觉访问用户很自然地意识不到在语音浏览系统中经常出现的缺点。虽然创建目前可被认为满足视力受损人员需要的所有万维网内容是困难的，但是随着近年来网络技术如因特网变得普及，鉴于可以在因特网上获得甚至重要信息这一事实，因此期望通过改善对现有万维网内容的语音导航来改善对主要内容的可访问性。

然而，基于为非视觉访问用户改善可访问性的必要性和重要性，如果有可能更有效地支持处理网页的修改以便由非视觉访问用户访问的主页创建者的工作，就可以认为大幅度地改善可能成为网页创建者的视觉访问用户的任务。

发明内容

本发明是鉴于现有技术的上述问题而提出的，并且基于这样的概念而提出，其中，如果有可能向视觉访问用户可视地提供针对非视觉访问用户的可访问性，则有可能让作为视觉访问用户的主页创建者或网页创建者容易地向非视觉访问用户提供具有改善可访问性的网页。

在本发明的网页创建中，为了上述目的，如果以正常的语音速度执行语音合成，则计算到结构化文档中的节点的到达时间，并且将该到达时间与网页上该节点的显示位置相关联，然后向主页创建者或网页创建者可视地显示。

在本发明的一个具体实施例中，到内容的到达时间可以通过语音合成软件中的正常词语音速度以及采用适当描述语言如文本、HTML、DHTML、SGML和XML的直到指定上述内容为止的词数来估算。另外，向所估算的到内容的到达时间分配对应于到达时间的显示格式，并且例如将其显示在正被创建的网页或主页的屏幕显示上。主页或网页的创建者可以利用屏幕上的显示来估计非视觉访问用户的访问。

另一方面，在本发明提供的内容创建系统中，不是以根据预定规则从结构化文档的DOM树结构获得的语音节点系列的顺序来发送通过由主页或网页的创建者(在本发明中，以下被简称为创建者)参考图形显示而确定的节点，而是响应于创建者的输入而对其进行编辑，并且将其发送到非视觉访问用户的语音合成系统。所发送的结构化文档通过语音合成系统以由创建者指定的顺序重新生成语音节点序列，并且作为合成语音将其提供给非视觉访问用户。在本发明的一个具体实施例中，有可能可以通过在非视觉访问用户场所处安排的用户终端以由创建者指定的顺序来导航网页，而无需较大地改变网页的可视配置，也就是，例如为视觉访问用户保持网页的相同可视显示。

此外，在本发明中，还有可能使用和修改曾经创建的网页或主页，并且还有可能通过准备几种语音速度和语音导航来针对熟悉语音浏览的非视觉访问用户和不熟悉语音浏览的非视觉访问用户容易地提供不同的可访问性。

具体地说，根据本发明，提供了一种用于创建可以通过合成语音来查看的内容的内容创建系统，该内容创建系统包括：

数据库，用于存储结构化文档；以及

信息处理部件，包括支持处理部件，该部件包括：到达时间计算装置，用于从所述结构化文档创建语音节点系列，计算从开始语音节点系列的语音合成直到作为合成语音输出每个节点为止的到达时间；以及转换确定装置，用于响应于所述到达时间而在预定节点的显示位置处显示图形显示。

本发明的信息处理部件包括支持处理部件，其用于编辑语音节点系列和结构化文档中的对应部分。另外，支持处理部件包括：到达时间计算装置，用于计算从创建语音节点系列直到执行预定节点的语音合成为止的到达时间；转换确定装置，用于响应于到达时间而修改预定节点的显示位置处的图形显示，并且接收用于指示修改到预定节点的到达时间的修改命令；以及转换装置，用于从转换确定装置接收输出，创建并且向外界输出时间显示映射表。

本发明的时间显示映射表包括节点、对应于节点的到达时间、节点的显示位置、以及节点的图形显示值。本发明的转换确定装置包括用于接收用来指示修改到预定节点的到达时间的修改命令，并且在该修改命令所指定的节点的紧邻前面位置处修改语音节点系列和结构化文档。

根据本发明，提供了一种计算机可执行内容创建方法，其用于使计算机创建可以通过合成语音来查看的内容，该方法包括以下步骤：

读取存储在数据库中的结构化文档；

从结构化文档创建语音节点系列；

计算从开始语音节点系列的语音合成直到执行预定节点的语音合成为止的到达时间，并且将节点与到达时间关联以存储它们；以及

读取到达时间，并且向显示部件提供与节点的到达时间对应的图形显示。

本发明的存储步骤包括以下步骤：对于节点，将节点的显示位置与节点的图形显示值相关联以存储它们。本发明的提供图形显示的步骤包括以下步骤：根据到达时间在节点的显示位置处修改图形显示。本发明的根据到达时间修改图形显示的步骤包括以下步骤：接收针对到预定节点的到达时间的修改命令；响应于修改命令，修改语音节点系列和对应的结构化文档；重新计算修改后的语音节点系列中的到达时间；以及根据重新计算的到达时间，修改节点的图形显示。此外，修改步骤包括以下步骤：在用于指示修改到预定节点的到达时间的修改命令的节点的紧邻前面位置处修改语音节点系列。

根据本发明，提供了一种用于执行内容创建方法的计算机可执行程序。此外，提供了一种其中记录了用于执行上述内容创建方法的计算机可执行程序的计算机可读存储介质。

根据本发明，提供了一种用于创建可以通过合成语音来查看的内容的图形用户接口系统，该图形用户接口系统包括：

解析器装置，用于解析结构化文档以生成文档对象模型树结构中的节点；

用于从文档对象模型树结构中的节点创建语音节点系列，并且计算从开始语音节点系列的语音合成直到执行预定节点的语音合成为止的到达时间的装置；以及

用于响应于到达时间而确定预定节点的显示位置处的图形显示的装置。

在本发明中，该系统还包括：

用于接收用来指示修改到预定节点的到达时间的修改命令的装置；以及

用于在该修改命令所指定的节点的紧邻前面位置处修改语音节点系列和结构化文档中的对应部分的装置。

在本发明中，用于计算到达时间的装置使用修改后的语音节点系列重新计算到达时间；用于确定图形显示的装置响应于重新计算的到达时间而重新确定图形显示，并且与重新确定的图形显示一起显示修改后的到达时间。

根据本发明，提供了一种显示控制方法，其用于使计算机用作图形用户接口系统，以便显示对可以通过合成语音来查看的内容的语音可访问性，该显示控制方法包括以下步骤：

通过解析器装置解析结构化文档以生成文档对象模型树结构中的节点；

从文档对象模型树结构中的节点创建语音节点系列，并且计算从开始语音节点系列的语音合成直到执行预定节点的语音合成为止的到达时间；以及

响应于到达时间而确定包括预定节点的显示位置的数据，并且通过网络将该数据发送到信息终端。

在本发明中，该方法还包括以下步骤：

从网络接收用于指示修改到预定节点的到达时间的修改命令；以及

在该修改命令所指定的节点的紧邻前面位置处修改语音节点系列和结构化文档中的对应部分。

此外，计算到达时间的步骤使用修改后的语音节点系列重新计算到达时间；确定数据的步骤响应于重新计算的到达时间而重新确定图形显示，并且与重新确定的图形显示一起发送与修改后的到达时间对应的经过编辑的数据。

附图说明

图1是本发明的内容创建方法的示意性流程图；

图2是示出本发明的到达时间计算部件中的处理的流程图；

图3示出本发明中的结构化文档的实施例和用于创建节点到达时间表的示意性实施例；

图4示出本发明的内容创建系统的示意性功能方框图；

图5示出本发明的支持处理部件的详细功能块；

图6示出在使用如图3所示的DHTML文档的情况下本发明中的要用于到达时间-显示位置映射中的集合的数据结构以及屏幕上与其对应的显示；

图7示出本发明的网页创建支持方法的示意性流程图；

图8示出本发明中的以图形方式显示用于选择或确定显示格式的菜单的实施例；

图9示出本发明的到预定元素词(element word)的到达时间的图形显示的实施例；

图10是本发明的网页创建支持方法中对结构化文档的编辑处理的示例性过程的流程图；

图11示出通过执行如图10所示的本发明的内容创建方法而由本发明的内容创建系统显示在显示部件的屏幕上的图形用户接口的实施例；

图12示出创建者选择创建链接以便编辑的情况下的屏幕显示；

图13示出根据本发明的用于以图形方式显示其中创建了到主要内容的适当链接的网页的到达时间的图形显示的实施例；

图14是可以在本发明的网页创建支持中采用的到达时间的另一显示模式的实施例；

图15示出在上述编辑处理被模块化为网页创建系统的创作工具的情况下本发明的内容创建系统的实施例；

图16示出可以提供使用本发明的万维网应用的实施例；

图17示出在由本发明的内容创建系统通过网络提供万维网服务的情况下显示在创建者的终端的显示部件上的图形用户接口的实施例；以及

图18示出包括服务日志分析装置的本发明的网页创建支持系统的实施例。

具体实施方式

虽然下面将参照本发明的附图中所示的特定实施例来描述本发明，但是本发明并不局限于下面将描述的特定实施例。图1示出本发明的内容创建方法的示意性流程图。在步骤S10，本发明的内容创建方法从适当的存储装置例如数据库读取要向非视觉访问用户显示的内容。本发明中，虽然内容可以采用各种结构化语言如HTML、DHTML、XML和SGML来编写。但是为了更特定地描述本发明起见，下面将内容描述成采用DHTML编写作为一个具体实施例。在步骤S12，将所读取的结构化文档输入到到达时间计算装置中，并且从根据标记、标识符等获得的结构化文档中的节点、以及到节点的链接等，计算到预定节点的到达时间。在本发明的所述实施例中，例如根据诸如具体语音合成软件所使用的正常语音速度或正常交谈速度，直到预定节点为止的词数等，到达时间计算装置计算直到执行所获得的节点的语音合成为止的时间。将所获得的到达时间临时存储在适当的存储区中。

在步骤S14，该方法通过从创建者接收命令，对所获得的节点确定响应于算出的到达时间的显示格式。更具体地说，在本发明中，作为采用伪代码说明的由创建者输入的命令，为了指定颜色，有可能输入“获得颜色[]”以便使得能够输入颜色代码，然后输入“#000000”(黑色)来指定颜色。虽然除此之外，这样的命令还包括用于指定显示格式如灰度、半色调点网(half-tone dot meshing)、亮度和文本显示的命令，但是本发明并不局限于上述实施例。另外，在本发明中，有可能预先登记标准显示格式。下一步，内容创建方法的处理以步骤S16继续，其中它将节点、各个节点的到达时间和结构化文档读入到转换装置中，映射节点、到达时间和节点在由结构化文档指定的屏幕上的显示位置，以创建时间显示映射表，并且将其存储在适当的存储区中。该时间显示映射表用来向屏幕上网页节点的显示区域分配显示格式。

随后，在步骤S18，该方法通过浏览装置显示其中反映了到达时间的网页，并且可视地将到节点的到达时间提供给网页创建者。从而，该方法使得关于非视觉访问用户的语音浏览可访问性能够可视地理解。

图2示出由本发明的到达时间计算装置执行的处理的示意性流程图。在步骤S20，本发明到达时间计算装置使目标结构化文档被读入到解析器装置中。在步骤S22，到达时间计算装置从所读取的结构化文档获得DOM(文档对象模型)树结构，并且将所获得的DOM树结构存储在适当的存储区中。需要注意的是，作为可以在本发明中使用的DOM，除了各种浏览器软件如Netscape

或Internet的规范中的DOM之外，也可以使用适用于由W3C给出的规范的DOM。

下一步，在步骤S24，将所存储的DOM树结构的数据读入到语音节点系列生成装置和页内链接分析装置中。在步骤S26，语音节点系列生成装置以适当的顺序对DOM树结构中的节点进行排序，生成要被输入到语音合成软件中的语音节点系列，并且将其存储在适当的存储区中。在步骤S28，分析用于指定页内链接的标记，然后例如考虑诸如通过链接的跳转或跳跃的效果，计算页内链接的存在对到达时间的贡献度，并且将它们存储在适当的存储区中。

在步骤S30，从存储区读取所存储的语音节点系列和页内链接的贡献度，并且同时地例如从该存储区读出由语音合成软件正常使用的语音速度、通过经验获得的交谈速度等。在步骤S32，计算给定语音节点系列中关于各个预定节点的到达时间。在步骤S34，将所获得的节点与关于节点的到达时间相关联，并且例如作为节点到达时间表将它们存储在存储区中。

图3示出本发明中的结构化文档的实施例和用于创建节点到达时间表的示意性实施例。在图3中，结构化文档是以DHTML描述的。由解析器装置12读取并解析图3所示的DHTML文档10，并且生成DOM树结构14。对于在DOM树结构14中获得的节点，通过使用从存储器如适当的存储器、RAM和ROM读取的正常语音速度，在本发明的到达时间计算装置16中计算针对各个节点的到达时间。登记对各个节点算出的到达时间，例如t1到t5，使得其对应于DOM树结构14中的节点，并且生成节点到达时间表18并将其存储在适当的存储区中。

图4示出本发明的内容创建系统的示意性功能方框图。如图4所示，本发明的内容创建系统20包括：数据库22，存储了通常以HTML、DHTML、XML和SGML编写的结构化文档；信息处理部件24，用于创建本发明的网页；以及具有屏幕的显示部件26，用于向网页的创建者显示所创建的网页和使用语音浏览情况下到元素词的到达时间。在本发明中，上述信息处理部件可被配置为包括存储区、中央处理单元(CPU)、输入/输出接口等的计算机。

除了结构化文档之外，数据库22还存储了图像数据、音频数据等，以便生成要作为网页提供的内容，并且响应于来自用户的请求，通过未示出的万维网服务器例如经由网络如因特网将内容发送给用户。此外，有可能在结构化文档中嵌入各种链接如JSP、Servlet(小服务程序)、Applet(小应用程序)和CGI，以便向用户提供WYSIWYG(所见即所得)功能。在所述实施例中，如图4所示的本发明的内容创建系统20被配置成与万维网服务器相分离，并且被描述为用于独自地支持网页的创建或编辑的专用处理设备。然而，本发明的内容创建系统20可以包括在万维网服务器28中，作为万维网服务器28的部分功能。

如图4所示的信息处理部件24还包括：存储器区域30，包括适当的存储器、硬盘等；源文档编辑器32；WYSIWYG编辑器34；支持处理部件36；以及浏览处理部件38。存储区30临时地存储在数据库22中所存储的结构化文档，并且还临时地或者在所需的时长内存储由各种功能块执行的处理的结果。

例如，源文档编辑器32被配置为可以创建和编辑结构化文档如HTML、DHTML、XML和SGML的软件块。WYSIWYG编辑器34使得能够使用在结构化文档中写入的各种链接来链接图像数据、音频数据、其它文档等，然后以用户所期望的格式创建并提供内容。

浏览处理部件38从存储区30读取临时存储的结构化文档，并且将参考WYSIWYG编辑器34所创建的内容显示在显示部件26的屏幕上。创建者可视地识别显示在屏幕上的内容，并且交互地创建或编辑该内容。

此外，本发明的支持处理部件36具有关于创建者的支持功能，其用于可视化针对非视觉访问用户的可访问性。支持处理部件36从存储区30读取并分析结构化文档，以获得DOM树结构中的节点，并且使用正常语音速度等来估计直到由安装在用户终端处的语音合成软件等以合成语音朗读节点为止的时间。在这种情况下，如果支持处理部件36可以使用与用户终端所使用的相同的语音合成软件，则可以更准确地估计到达时间。

如下面将要进一步描述的那样，支持处理部件36使用节点、为各个节点算出的到达时间和屏幕上的显示位置执行映射，生成时间显示映射表并且将其存储在存储区30中。

图5示出支持处理部件36的详细功能块。如图5所示，支持处理部件36包括到达时间计算装置40、转换确定装置42和转换装置44。此外，到达时间计算装置40包括解析器装置46、语音节点系列生成装置48、页内链接分析装置50和计算装置52。到达时间计算装置40首先从存储区30读取结构化文档，在解析器装置46中对其进行解析，获得结构化文档中的节点，以节点分层结构生成DOM树结构，并且将其存储到适当的存储区30中。语音节点系列生成装置48读取所生成的DOM树结构以提取节点，通过预定的标准对节点系列进行排序以创建语音节点系列，并且将其存储到适当的存储区30中。另一方面，页内链接分析装置50确定结构化文档中的页内链接结构，针对对语音节点系列作出贡献的链接计算必要时间，并且将它们存储到存储区30中。

计算装置52从存储区30读取所生成的语音节点系列和链接的贡献，以及从例如存储器或存储区30读取由语音合成软件使用的正常语音速度，然后计算从开始语音合成直到执行节点的语音合成为止的时间，即，到达时间。作为上述节点到达时间表来存储为各个节点算出的到达时间，这是通过分别将它们与对应的节点一起存储在存储区30中。

转换确定装置42确定用于以图形方式显示每个节点的到达时间的显示模式和显示格式。在本发明中，在屏幕上显示到达时间的情况下以不同模式显示到达时间被称作显示模式，并且预定显示模式下关于到达时间的可视格式如灰度和显示颜色被称作显示格式。另外，转换确定装置42接收由创建者输入的用于指示显示模式的命令、用于指示显示格式的命令、用于指示修改到达时间的修改命令(到达时间修改命令)等，并且使到达时间计算装置40和转换装置44分别执行对应于各个命令的处理。

此外，在本发明的一个具体实施例中，转换确定装置42可以包括显示格式-到达时间关联数据。显示格式-到达时间关联数据可以被配置为表，其中直到预定到达时间为止透明度为100％，并且随着到达时间变迟，透明度降低，或者显示颜色的亮度逐渐降低等。在图5中，显示格式-到达时间关联数据的上述实施例被示出为到达时间和透明度的图。

转换装置44获得用于在选定显示模式中显示的屏幕区域，也就是，从以结构化文档中例如<BODY>标记的标识符开始的结构化文档中的第一节点的显示位置到要被显示的最后节点的显示位置。同时，转换装置44从转换确定装置42接收用于指定显示格式的命令，并且参考时间显示映射表获得灰度，从而例如可以采用由节点的到达时间定义的灰度来显示对应的节点。在这个阶段，通过读取先前创建和登记的节点到达时间表并且使用附于节点的节点标识符等作为键，转换装置44映射节点、到达时间和显示位置，以创建时间显示映射表。

接着，转换装置44执行处理，其用于向结构化文档插入必要的标记，以创建经过编辑的结构化文档，并且将其存储到例如存储区30中。该经过编辑的结构化文档被认为是当在内容创建中提供语音浏览功能时所要使用的暂时数据，并且用来确定通过语音合成针对非视觉访问用户的可访问性。

将被插入了与显示模式对应的标识符的经过编辑的结构化文档输入到浏览处理部件38中。然后，向作为视觉访问用户的网页创建者显示例如在由浏览处理部件38在显示部件26的屏幕上以伪方式执行语音浏览的情况下对网页的可访问性。应该注意的是，本发明中所创建的经过编辑的结构化文档也可被创建为其中仅仅写入了用于提供适当显示格式的标记的结构化文档，并且在这种情况下，通过经过编辑的结构化文档的显示也可以被覆盖并显示在此时正被处理的原始结构化文档的显示上。应该注意的是，本发明的显示位置可以以屏幕上的位置坐标或者用于执行显示的光标移动单位来表示。

图6示出在使用如图3所示的DHTML文档的情况下要用于如上所述的到达时间-显示位置映射中的集合的数据结构以及屏幕上与其对应的显示。图6(a)示出语音节点系列的实施例，并且图6(b)示出通过本发明显示的屏幕显示的示意性实施例。如图6(a)所示，例如，虽然由于使用了相对简单的DOM树结构，因此语音节点系列具有很少的词，但是假定语音合成软件执行电子邮件地址“japanibm@sin-seihin.co.jp”的语音合成。另外，假定由转换确定装置向这个范围内的灰度给予透明度100％的灰度。图6(b)示出显示部件26的屏幕60、以及在屏幕60上显示的节点62。

如图6(b)所示，在语音合成中，向在预定到达时间执行语音合成的节点给予黑灰度，使得该节点被隐藏显示。另一方面，在预定到达时间之前完成语音合成的节点不被给予任何灰度，使得该节点被清楚地显示。屏幕上的阴影对应于直到非视觉访问用户获得信息以便进行外部使用为止的时间。因此，如图6所示，根据本发明，对于在整个屏幕上所显示的节点，根据黑色区域是大还是小，有可能可以可视地识别非视觉访问用户在何时获得目标语音合成。

除上之外，在本发明的另一实施例中，如果改善内容的语音顺序的可理解性并且使用页面索引将页面划分成多个区域，则有可能采用有助于确定哪个页内链接影响哪个元素的配置。具体地说，例如，也有可能使用这样的实施例，其中在屏幕上显示页内链接和内容之间的关系，并且通过颜色将页面中的页内链接之间的部分作为“有意义的内容块”分开显示。在这种情况下，灰度可以不是被着色成黑色，而是可以针对“有意义的内容块”的各个区域进行不同的着色，并且还可以用线显示这些区域之间的边界部分。

另外，在本发明的另一实施例中，除了使用颜色或颜色灰度的方法之外，还有可能使用如下所述的可视化方法，或者适当地组合这些方法并使用它们。下面将更具体地描述可视化方法的特定实施例。

图7示出本发明的网页创建支持方法的示意性流程图。在步骤S50，如图7所示的本发明的网页创建支持方法从数据库读取结构化文档如DHTML，并且在解析器装置中生成DOM树结构。在步骤S52，该方法通过使用所生成的DOM树结构在显示部件的屏幕上显示通过HTML提供的网页。

在步骤S54，该方法使创建者输入用于选择到达时间的显示模式或显示格式的信号。为此，例如，当通过点击作为工具栏提供的“修改模拟”菜单来显示菜单并且创建者选择“到主要部分的到达时间(Reachingtime to main)”时，将对应的命令发送到转换确定装置。

接下来，本发明的方法以步骤S56的处理继续，其中它从所输入的命令确定显示模式或显示格式，并且将由转换装置创建的经过编辑的结构化文档显示到屏幕上，以显示到达时间。在步骤S58，根据所显示的到达时间，例如，当创建者从菜单栏选择“再编辑”时，再编辑命令被发送到转换确定装置，以便使信息处理部件开始再编辑处理。当信息处理部件接收到再编辑命令时，它开始执行再编辑。作为再编辑处理的一个特定实施例，例如，也有可能指示启动源文档编辑器并且直接编辑此时正被显示的结构化文档，以将链接插入到主要内容。

此外，在本发明中，考虑主要通过语音节点系列确定的到达时间，也有可能将语音节点系列和结构化文档从存储区30读入到源文档编辑器中，然后向语音节点系列插入包含到主要内容的链接的字符串“想要停止朗读下面内容并且跳转到主要内容吗？”，同时将该链接插入到结构化文档中的对应位置。如果存在如上所述的页内链接，则对这些链接进行排序，使得与语音节点系列中的链接目的地的内容对应的节点的顺序对应于结构化文档中的位置。

在步骤S60，该方法在屏幕上显示经过编辑的结构化文档，并且以图形方式显示到达时间，并且在步骤S62，它重复上述处理直到它接收到由创建者输入的表示满足了可访问性的命令为止。在本发明中，表示满足了可访问性的信号可以包括：结束编辑命令(E)、存储命令(S)等、或者用于提供与上述命令对应的等效功能的命令。在步骤S64，该方法将经过编辑的DHTML文档存储在数据库等中，并且使得能够提供具有改善的针对非视觉访问用户的可访问性的网页。

图8示出用于根据步骤S52和S54的处理来选择或确定显示格式的菜单的显示。如图8所示，在步骤S54，当创建者点击“修改模拟”菜单并且输入时，转换确定装置显示修改菜单。然后，如果创建者选择“到主要部分的到达时间”时，显示用于从“显示颜色的灰度”等中选择显示格式的弹出式菜单。此外，如果创建者选择“显示颜色的灰度”，则显示用于输入“颜色选择”的菜单项，并且将用于确定显示格式的命令发送到转换确定装置。

图9示出如果创建者在如图8所示的过程中选择本发明的方法的步骤S56的处理则要被显示的到预定节点的到达时间的图形显示的实施例。在图9中，在通过语音浏览器(语音处理软件如主页朗读器)从其开始处朗读页面的情况下，按顺序计算到各个节点的到达时间。在图9中，通过改变各个节点的灰度显示到各个节点的到达时间。在图9所示的实施例中，选择黑色作为显示颜色，并且示出了黑色越黑，则到达时间越长。

由于图9没有“到主要部分的直接链接”，因此例如在图9中，最重要的信息头条新闻和最近新闻位于页面中部，并且示出了这种情况下语音浏览的可访问性。在图9中，由于头条新闻和最近新闻被排在语音节点系列的后端，因此以最黑的灰度显示主要内容，这表示对其的可访问性不足。如图9所示，通过使用本发明的图形显示，有可能可视地检查在显示在屏幕上的各部分中哪个部分最难以访问。

图10示出如步骤S58所示的本发明的网页创建支持方法中的结构化文档的编辑处理的示例性过程的流程图。图10所示的实施例说明了创建者或管理者的编辑处理，其用于改善针对非视觉访问用户的可访问性而无需较大地修改网页。在如图10所示的本发明的内容创建方法的处理中，在步骤S70，信息处理部件首先读取结构化文档如DHTML并且对其进行显示。接下来在步骤S72，创建者选择安排在显示部件的屏幕上的“修改模拟”菜单，然后选择“缩短到主要部分的到达时间”。

在上面描述的步骤S72的处理中，例如，有可能已经在区域“缩短到主要部分的到达时间”中登记了用伪代码说明的命令，即用于编辑语音节点系列的命令“编辑语音节点系列[]”或用于编辑结构化文档的命令“编辑源文档[]”。从而，有可能按照网页创建者的意图编辑语音节点系列或直接编辑DHTML。

在步骤S74，该处理在屏幕上显示到达时间，并且等待创建者选择并输入先前准备好的编辑处理。在步骤S74，先前准备好的编辑处理可以包括在网页的开始处插入链接使得首先执行提供到目标主要内容的链接的元素词的语音合成的处理、创建页索引的处理等等。然而，在本发明中，只要有可能改善到主要内容的到达时间，就可以采用任何编辑处理。

例如，对于ALT属性，其用于向非视觉访问用户说明即使被表现也不能被非视觉访问用户识别的内容如图像数据，编辑处理可以包括如下编辑过程：检索并提取在其中提供了到没有ALT属性的图像数据的链接的情况下的节点，不必要的ALT属性附于分隔图像的情况下的节点，所提供的ALT属性可能导致不适当的朗读或者引起非视觉访问用户混淆的情况下的节点等等，以将它们显示在屏幕上等等。

接下来，本发明的内容创建方法以步骤S76的处理继续，其中该方法启动源文档编辑器，从创建者接收输入，响应于该输入执行编辑处理，创建经过编辑的结构化文档，并且在步骤S78将其存储在适当的存储区中。在步骤S80，该方法通过浏览处理部件将经过编辑的结构化文档显示在屏幕上，并且将该处理返回到图7的步骤S62，其中，它允许根据编辑结果是否反映到网页上或者编辑结果是否可以提供足够的可访问性来再编辑结构化文档。

图11示出通过执行如图10所示的本发明的内容创建方法而由本发明的内容创建系统在显示单元的屏幕上显示的图形用户接口的实施例。在图11中，由于根本没有为了改善可访问性而处理过网页，并且到达时间以语音节点系列的顺序来安排，因此将用于使得能够链接到主要内容的元素词安排在被填充了黑色从而表示到达时间较迟的区域中，例如，用反色参考字符EC示出的区域。

然后，如图11所示，本发明的内容创建方法显示如下消息：“在该页的开始处不存在链接。从而，访问到该主要内容的链接将花费大约220秒。可以用如下两种方法来修改该页：

1：插入跳到主要部分的链接；以及

2：创建页面索引(内容表)。”

图12示出创建者选择1以便编辑的情况下的屏幕显示。在图12中，创建者期望通过插入到主要内容的链接来进行编辑。在这种情况下，本发明的具体实施例中的内容创建系统参考与此时正被处理的结构化文档对应的时间显示映射表等，自动选择多个适当的链接位置。随后，该系统修改与所选的链接位置对应的后面节点的显示区域的颜色和高亮显示，并且将它们向创建者显示。在图12所示的实施例中，信息处理部件分析创建时间显示映射表等，以提供关于主要部分的位置的选项，以反色显示后面节点的区域。

同时，信息处理部件在显示部件的屏幕上显示如下消息：“存在任何适当的主要部分的开始位置吗？如果存在，则点击该位置。如果不存在，则点击页面中的适当主要内容链接位置”。然后，在等待创建者输入例如“点击”等的状态下控制信息处理部件。随后，例如，显示出诸如“输入链接目的地数据或URL地址。”的屏幕显示，并且以弹出方式显示用于输入链接目的地数据或URL地址的区域。

当创建者点击如图12所示的显示屏幕上的预定节点的显示位置时，信息处理部件获得与屏幕上的该位置对应的节点，然后紧邻在结构化文档中所获得的节点的描述位置之前向语音节点系列插入用于指示执行跳转到主要部分的链接的语句，例如，“跳过下面的说明并且查看主要内容”，并且同时紧邻在结构化文档中的对应节点之前插入用于允许链接的链接命令、链接目的地数据、URL地址等。使用上述处理使得能够以适当的到达时间插入链接，以及防止创建者遗漏链接目的地等的描述。

另外，在本发明中，创建者可以指定主要内容的显示位置，并且通过将主要内容拖放到期望位置来插入对应的到主要内容的链接。而且，作为上述编辑的结果，还有可能的是，在信息处理部件中已经实现了语音合成软件并且执行语音节点系列的朗读，以便以合成语音实际上检查其结果已被反映。

图13示出以图形方式显示网页的到达时间的图形显示的实施例，其中在该网页中，已经形成了适当的到主要内容的链接。如图13所示，作为根据本发明编辑头条新闻和最近新闻的结果，其可访问性被改善并且以较亮的灰度示出。如图11到13所示，有可能可以让创建者在屏幕上检查可访问性时交互地创建其中改善了不适当的ALT属性设置和对重要的主要内容的可访问性的内容。

图14示出可以在本发明的网页创建方法中采用的到达时间的另一显示模式的实施例。图14所示的显示模式针对各个节点提取要被显示的节点、图像数据、URL地址等，以时间序列安排对应的到达时间和所提取的屏幕显示并且显示它们。在图14所示的显示模式中，将时间轴设置成竖轴，并且将各种页内链接表示为树的分支，使得以树的高度和宽度表示它们。

另外，图14(a)所示的到达时间例如是到尚未编辑的结构化文档中的节点的到达时间，其中由于不存在“跳到主要部分的链接”而将信息排在一行上，。另一方面，图14(b)示出根据本发明提供了到主要内容的链接并且插入该链接的情况下的到达时间。如图14(b)所示，可以实时地显示包括用户到头条新闻或最近新闻的链接的可访问性，此外，可以更可视地检查包括针对非视觉访问用户的方式上的分支的可访问性。

此外，在采用本发明的图形用户接口可视化到达时间的另一实施例中，还将需要执行非视觉访问用户不可到达的“未到达区域”的可视化显示。在本发明中，可以通过用灰度显示非视觉访问用户已经到达的区域或通过用另一颜色显示未到达区域来显示上述未到达区域。而且，有可能单独安排未到达区域的区域，而不是如图14所示将它们显示在时间树上。例如，在本发明中，可以安排无限框(infinity box)64，以表示明显地不能以时间序列到达该框。在本发明中，可以采用在无限框64内显示不可到达节点的配置。在图14(b)中，无线框符64如图所示被安排在图14(b)的右下端，并且在其中显示了不可到达节点例如“更新通知”。

图15示出在上述编辑处理被模块化为网页创建系统的创作工具的情况下本发明的内容创建系统的实施例。在该内容创建系统中，通常为创作工具提供几种模式。在图15所示的实施例中，例如，提供对应于WYSIWYG编辑器的“设计”模式、用于编辑HTML源文档的“源”模式，以及不可被编辑的“预览”模式，并且可以将它们配置为如图4所示的信息处理部件中的功能模块。在如图15所示的本发明的实施例中，作为一个这样的节点，例如，可以在信息处理部件中实现“盲”模式。在图15所示的实施例中，有可能通过使用设计模式或源模式来创建页面，并且通过预览在类似于检查视觉访问用户对在该操作期间正被创建的页面的可访问性的操作中作为用于执行上述处理的向导程序(wizard)而启动“盲”模式。在图15所示的实施例中，有可能可以在创建一个内容的流程中改善针对非视觉访问用户的可访问性。

另外，在本发明的内容创建系统的另一实施例中，还可以将用于执行本发明的编辑处理的信息处理部件作为万维网应用而非向导程序配置在万维网服务器28中。图16示出可以提供使用本发明的万维网应用的实施例。在图16中，作为万维网服务器70的模块包括本发明的内容创建系统。服务器70通过网络72连接到创建者的终端74。服务器70使用浏览处理部件，以通过网络72建立与创建者的终端74的事务处理，并且执行用于修改针对非视觉访问用户的期望可访问性的任务。创建者的终端74管理或维护由创建者创建和管理的网页或主页。假定管理者或创建者期望启用对其管理的网页或主页的语音浏览。

图17示出在由本发明的内容创建系统通过网络提供万维网服务的情况下在创建者的终端的显示部件上显示的图形用户接口的实施例。如图17所示，在屏幕的左边显示原始内容，并且在屏幕的右边显示从经过编辑的结构化文档生成的可访问性。此外，在图17的屏幕的上方，针对初级用户或高级用户显示非视觉访问用户的到达时间。虽然在关于初级用户的处理和关于高级用户的处理之间没有本质上的区别，但是有可能向它们给予一些考虑，以便例如加长语音合成中的词间间隔，或者当编辑页面时采用链接命令来插入详细说明文档插入等等。

同时，类似于图11和12的实施例，在屏幕上显示了需要被修改的不适当的ALT属性“空白”。另外，在图17所示的实施例中，考虑用于提供万维网服务等的通信量等，不是打开向导程序来执行该处理，而是安排诸如“修改设置”的有效区域，以将其与编辑屏幕一起显示。

将描述图17所示的用于提供万维网服务的操作，其中假定创建者期望评价或修改对其创建的网页或主页的语音可访问性。首先，创建者在根据本发明提供的网页上的表单中输入要被评价的网页或主页的URL地址，并且提交该表单。当服务器70接收到他的请求时，它访问该URL地址以获得结构化文档并且计算可访问性。服务器70根据本发明呈现该结果，以创建用于提供图形显示的数据，并且将它发送到操作员的终端74。在这种情况下，如图17所示，可以对齐原始内容和经过编辑的结构化文档以便比较。

另外，本发明的网页创建支持系统将信息处理部件配置为服务器，并且可以包括用于在语音浏览器中记录语音节点系列(页面中的显示位置-节点标识符)和时间作为服务日志的装置。图18示出包括服务日志分析装置的本发明的网页创建支持系统的实施例。图18所示的实施例包括用于提供网页的服务器70、连接到服务器70的网络72如因特网、以及多个用户终端74。

例如，服务器70管理并存储在数据库76中存储的结构化文档如DHTML文档，并且响应于来自用户终端74的请求而提供内容。在图18所示的实施例中，服务器70还包括如图4和5所示的信息处理部件80和访问日志分析模块78。访问日志分析模块78读取在访问日志中累积的结果，以将该访问日志传递到包括在本发明的信息处理部件80中的支持处理部件，然后可视化元素词和直到访问它为止的到达时间，从而有可能可以了解实际用户的访问。

此外，在本发明的另一实施例中，有可能可以分析多个用户测试结果(例如，取它们的平均数)，并且通过执行它们的可视化显示在一个视图中查看测试结果。这可以用作在进入测试处理而非创作时检查实际可用性的工具。

到此为止已经描述了关于单页的可视化显示。在本发明中，还有可能通过对多个页面进行类似的分析来跨越多个页面例如在线购物中用于诸如登录、购买和结帐的处理的多个网页显示可访问性。例如，这种情况下的可视化实施例可以包括根据以下处理的可视化方法：

1.在使用颜色(灰度)的情况下，在空间上安排多个页面，并且通过灰度执行它们的可视化显示；

2.在空间安排的情况下，通过跨越多个页面集成各个时间轴并且对树进行扩展，执行多个页面的可视化显示；以及

3.在时间图的情况下，首先计算包括其它页面的到达时间，并且集成它们以配置该图。

此外，在本发明的另一实施例中，可到达时间已被认为是用于确定网页的方便性的因素。除此之外，还有可能执行包括与到达时间不同的表示“麻烦度”的其它因素的可视化显示。其它因素例如可以包括空间安排与标记结构之间的脱节程度，其包括ALT属性的适当性，例如不适当关键词等的词典、以及词数等、布局表的嵌套结构等。由于这些量度不是如同可到达时间一样具有逐渐增大的值，因此采用这样的实施例是有效的，即除了颜色、时间图和空间安排之外，通过与借助于例如鱼眼查看方法仅仅扩展有问题的部分的方法相结合显示这些因素。

有可能通过提供具有交互性的上述可视化显示来向管理者或创建者提供更特定的检查功能。例如，在如图12所示的可视化显示中，计算起始于页面开始处(BODY标记开始位置)的到达时间，并且静态地执行其可视化显示。另外，还有可能采用动态地执行到达时间的可视化显示的实施例，其通过借助于弹出式显示等，参考时间显示映射表，实时地计算起始于依照定点设备如鼠标(用其点击)而指向的显示位置的到达时间。

此外，通过连同允许创建者组合任意内容以便创建页面的软件如现有软件Websphere Portal

一起在信息处理部件中实现本发明的内容创建方法，还有可能在被称作每个小门户程序(portlet)的内容块的开始处创建“移到下一个小门户程序”链接。在该实施例中，有可能仅仅通过用指针装置将光标移到每个小门户程序来创建到下一个小门户程序的到达时间，并且计算到该链接位置的到达时间。

通过在网页创作工具中包括本发明的可视化功能而无需添加其它软件，有可能可以容易地在普通的网页创作处理中考虑语音浏览的可用性。此外，本发明将在很多创作工具中被称作“视图”的各种外观和功能集成到被称作“视图”的概念中，并且提供它。本发明也可以被配置为上述“视图”功能的一个模块。因此，根据本发明，有可能在其外观中编辑一个内容(HTML、JSP等)(WYSIWYG编辑器)、在标记级别微调内容(源文档编辑器)，并且检查内容的实际操作(万维网浏览器)。从而，通过提供根据本发明的图形用户接口作为这些视图之一，有可能可以实现创作处理中的语音可用性的改善。

到此为止，虽然根据在本发明的附图中示出的具体实施例描述了本发明，但是本发明不局限于所述具体实施例。另外，本发明的系统和各个功能部分可以被配置为通过使计算机执行程序而实现的功能装置，因此不一定要求将它们实现为如附图所示的功能配置。另外，关于本发明的程序的编程语言可以包括C语言、C++语言、

等。另外，可以将本发明的计算机可执行程序存储在ROM、EEPROM、闪存、CD-ROM、DVD、软盘、硬盘等中并且对其进行分发。

Claims

1. 一种内容创建系统，用于创建可以通过合成语音来查看的内容，包括：

数据库，用于存储结构化文档；以及

信息处理部件，包括支持处理部件，该部件包括：

到达时间计算装置，用于从所述结构化文档创建语音节点系列，计算从开始语音节点系列的语音合成直到作为合成语音输出每个节点为止的到达时间；以及

转换确定装置，用于响应于所述到达时间而在预定节点的显示位置处显示图形显示。

2. 根据权利要求1所述的内容创建系统，其中，所述支持处理部件还用于编辑所述语音节点系列和所述结构化文档中的对应部分。

3. 根据权利要求2所述的内容创建系统，其中所述支持处理部件还包括：

转换装置，用于从所述转换确定装置接收输出，创建并且向外界输出时间显示映射表；其中所述到达时间计算装置还用于计算从创建语音节点系列直到执行预定节点的语音合成为止的到达时间；所述转换确定装置还用于响应于到达时间而修改所述预定节点的显示位置处的图形显示，并且接收用于指示修改到预定节点的到达时间的修改命令。

4. 根据权利要求3所述的内容创建系统，其中，所述时间显示映射表包括所述节点、对应于所述节点的到达时间、所述节点的显示位置、以及所述节点的图形显示值。

5. 根据权利要求3所述的内容创建系统，其中，所述转换确定装置包括用于接收用来指示修改到预定节点的到达时间的修改命令，并且在所述修改命令所指定的节点的紧邻前面位置处修改语音节点系列和结构化文档。

6. 一种计算机可执行的内容创建方法，用于使计算机创建可以通过合成语音来查看的内容，所述方法包括以下步骤：

读取存储在数据库中的结构化文档；

从所述结构化文档创建语音节点系列；

存储步骤，计算从开始语音节点系列的语音合成直到执行预定节点的语音合成为止的到达时间，并且将所述节点与到达时间关联以存储它们；以及

读取所述到达时间，并且向显示部件提供与所述节点的到达时间对应的图形显示。

7. 根据权利要求6所述的内容创建方法，其中，所述存储步骤还包括以下步骤：对于所述节点，将所述节点的显示位置与所述节点的图形显示值相关联以存储它们。

8. 根据权利要求6所述的内容创建方法，其中，提供所述图形显示的步骤包括以下步骤：根据到达时间在所述节点的显示位置处修改图形显示。

9. 根据权利要求8所述的内容创建方法，其中，根据到达时间修改所述图形显示的步骤包括以下步骤：

接收用于指示修改到预定节点的到达时间的修改命令；

响应于所述修改命令，修改语音节点系列和对应的结构化文档；

重新计算所述修改的语音节点系列中的到达时间；以及

根据重新计算的到达时间，修改节点的图形显示。

10. 根据权利要求9所述的内容创建方法，其中，所述修改步骤包括以下步骤：

在所述修改命令所指定的节点的紧邻前面位置处修改语音节点系列。

11. 一种图形用户接口系统，用于创建可以通过合成语音来查看的内容，所述图形用户接口系统包括：

用于从文档对象模型树结构中的所述节点创建语音节点系列，并且计算从开始语音节点系列的语音合成直到执行预定节点的语音合成为止的到达时间的装置；以及

用于响应于所述到达时间而确定所述预定节点的显示位置处的图形显示的装置。

12. 根据权利要求11所述的图形用户接口系统，还包括：

用于接收用来修改预定节点的到达时间的修改命令的装置；以及

用于在所述修改命令所指定的节点的紧邻前面位置处修改语音节点系列和结构化文档中的对应部分的装置。

13. 根据权利要求11所述的图形用户接口系统，其中，所述用于计算到达时间的装置使用所述修改的语音节点系列重新计算到达时间；所述用于确定图形显示的装置响应于重新计算的到达时间而重新确定图形显示，并且与所述重新确定的图形显示一起显示修改后的到达时间。

14. 一种显示控制方法，用于使计算机用作图形用户接口系统，以便显示对可以通过合成语音来查看的内容的语音可访问性，所述显示控制方法包括以下步骤：

从文档对象模型树结构中的所述节点创建语音节点系列，并且计算从开始语音节点系列的语音合成直到执行预定节点的语音合成为止的到达时间；以及

响应于所述到达时间而确定包括所述预定节点的显示位置的数据，并且通过网络将所述数据发送到信息终端。

15. 根据权利要求14所述的显示控制方法，还包括以下步骤：

在所述修改命令所指定的节点的紧邻前面位置处修改语音节点系列和结构化文档中的对应部分。

16. 根据权利要求14所述的显示控制方法，其中，计算到达时间的所述步骤使用所述修改的语音节点系列重新计算到达时间；确定数据的所述步骤响应于重新计算的到达时间而重新确定图形显示，并且与所述重新确定的图形显示一起发送与修改后的到达时间对应的经过编辑的数据。