CN1324524C - 应用程序间的数据链接支持方法 - Google Patents

Abstract

显示屏插件(22)从目标APL(23)中取入显示画面的画面图像数据，从该画面图像数据中取得要链接的数据。然后，将所取出的数据输出给链接APL(21)。由此，显示屏插件(22)实现链接APL(21)和目标APL(23)之间的数据链接。

Description

应用程序间的数据链接支持方法

技术领域

本发明涉及在应用程序间进行数据链接的技术。

背景技术

有时候为了能够将某应用程序(下面，称为目标APL)的显示画面中所显示的信息在别的应用程序(下面，称为链接APL)中进一步使用，必须改造系统。在这种情况下，根据以往技术进行以下的步骤。

1)首先，将显示目标APL的数据项目的画面输出到纸等上，并且手工将该画面中所需的数据项再输入给链接APL。

2)为了能够在目标APL和链接APL之间进行数据链接，对两方的APL进行改造。

根据该以往技术，由于在步骤1)中进行作业时必须要手工进行，所以存在的问题是，产生数据输入的负担，并且可能会发生误输入。在步骤2)中，不仅要改造链接APL还必须改造目标APL，所以存在的问题是，系统开发的规模变大，随之，开发预算和周期增大。另外，在目标APL的开发者和链接APL的开发者不同等情况下，存在的问题是，有时必须要公开机密信息，必须得到双方开发者的一致同意，有时根本无法对目标APL进行改造。

并且，根据公开专利公报特开平8-83285号，公开了这样的系统，即，使用扫描仪读入输出到纸上的数据来作为图像数据，从该图像数据中识别出显示字符的区域，根据识别出的区域中的图像数据生成字符码，将该字符码登录到数据库中。

另外，根据公开专利公报特开平10-240901号，公开了这样的系统，即，预先存储文档结构的版面规则，而且，积蓄文档的图像数据，根据上述版面规则解析所积蓄的图像数据的版面，根据解析结果从上述图像数据中切出字符图案，根据该切出的字符图案来识别字符，把字符识别的结果存储到文件中。

两个发明可以省去上述步骤1)中的使用手工进行的再输入，但是，对于两个发明依然存在着这样的问题，即，为了能够实现程序间的数据链接，必须将画面输出到纸上，以及必须对目标APL和链接APL进行改造。

发明内容

本发明的目的是在对系统进行改造以能够在目标APL和链接APL之间进行数据链接时，不需要进行画面向纸介质的输出、手工的数据项的输入、以及目标APL与链接APL的改造。

为了达到上述目的，根据本发明的1实施方式，在支持程序间的数据链接的数据链接支持装置中，具有：显示画面取入单元，其从第1程序(目标APL)中取入显示画面的画面图像数据；项目信息取得单元，其从所取入的上述画面图像数据中取得要输出给第2程序(链接APL)的链接数据；项目信息输出单元，其将所取得的上述链接数据输出给上述第2程序。

在上述结构中，没有将第1程序中的显示画面输出到纸等上，而是从第1程序中取入显示画面作为画面图像数据，从所取入的画面图像数据取得链接数据，把所取得的链接数据输出给第2程序。这样，达到了上述目的。

另外，上述数据链接支持装置还包括画面类别判断单元，其根据表示显示画面中的区域的坐标信息和包含上述区域中所显示的图像数据的画面类别判断信息，从上述画面图像数据中切出上述区域中所显示的图像数据，通过判断所切出的图像数据和包含于上述画面类别判断信息中的图像数据是否一致来识别显示画面，上述项目信息取得单元也可以从识别出的显示画面的画面图像数据中取得链接数据。

这样，可以根据图像数据自动地进行显示画面的识别。

另外，上述项目信息取得单元也根据表示显示画面中的区域的坐标信息以及包含表示上述区域中所显示的数据的数据属性的数据属性信息的识别项信息，从上述画面图像数据中切出上述区域中所显示的数据，根据上述数据属性信息来识别所切出的数据，作为识别结果取得上述链接数据。

另外，上述数据链接支持装置还可以具有项目信息输出单元，其把由上述第2程序处理的上述链接数据输出给上述第1程序。由此，可以将第2程序的链接数据的处理结果返回给第1程序。

并且，上述项目信息输出单元也可以根据包含表示显示画面中的区域的坐标信息的输出方法信息，把上述第2程序处理后的上述链接数据输出到上述第1程序的显示画面中的上述区域。

另外，根据本发明的另一实施方式，在支持程序间的数据链接的数据链接支持装置中，具有：显示画面取入单元，其从第1程序中取入显示画面的画面图像数据；画面类别判断单元，其根据表示显示画面中的区域的坐标信息和包含上述区域中所显示的图像数据的画面类别判断信息，从上述画面图像数据中切出上述区域中所显示的图像数据，通过判断所切出的图像数据和包含于上述画面类别判断信息中的图像数据是否一致来识别显示画面；项目信息输出单元，其将第2程序处理过的链接数据输出给上述第1程序。

在上述结构中，可以取入第1程序中的显示画面作为画面图像数据，根据所取入的画面图像数据识别所取入的显示画面，将第2程序处理过的数据输出到识别出的显示画面中。这样，即使不改造第1和第2程序，也能够在第1和第2程序间实现数据链接，达到上述目的。

另外，通过执行和上述数据链接支持装置所执行的处理相同的步骤的数据链接支持方法，也可以取得和上述计算机同样的作用、效果。因此，上述数据链接支持方法也能够达到上述目的。

另外，使处理器执行和在上述数据链接支持方法中所执行的步骤相同的控制的程序，通过使处理器执行该程序，也能够达到上述目的。而且，通过使处理器从记录有上述程序的记录介质(记录装置)中读出该程序并执行，也能够达到上述目的。

附图说明

图1是计算机的结构图。

图2是第1实施方式的系统的结构图。

图3是显示屏插件的功能结构图。

图4是说明画面定义处理的概要的图。

图5是说明数据链接处理的概要的图。

图6是表示显示画面取入处理的步骤的流程图。

图7是表示画面类别定义处理的步骤的流程图。

图8是表示上述画面类别判断定义子程序的步骤的流程图。

图9是表示识别项目定义子程序的步骤的流程图。

图10是表示链接方法定义子程序的步骤的流程图。

图11是表示定义重复确认处理的步骤的流程图。

图12是表示画面类别判断处理的步骤的流程图。

图13是表示图像比较子程序的步骤的流程图。

图14是表示项目信息取得/识别处理的步骤的流程图。

图15是表示链接处理的步骤的流程图。

图16是项目信息输出处理的步骤的流程图。

图17是表示目标APL的显示画面的一例的图。

图18是表示画面类别判断信息的一例的图。

图19是表示识别项目信息的一例的图。

图20是表示链接方法信息的一例的图。

图21是表示输出方法信息的一例的图。

图22是对从画面图像数据中切出的区域进行说明的图。

图23是对在图像比较子程序中被屏蔽的部分进行说明的图。

图24是对从画面图像数据中取出要链接的数据并进行识别的处理进行说明的图。

图25是表示根据图19所示的识别项目信息而从图24所示的画面中取得的识别项目的图。

图26是表示从图24所示的画面中取得的识别项目的确认画面的一例的图。

图27是表示链接APL所进行的印章核对处理的结果的画面的一例的图。

图28是表示链接处理的结果的确认画面的一例的图。

图29是表示将链接结果信息输出到目标APL的画面的一个画面示例图。

图30是说明第1实施方式的1个变形例中的数据链接处理的概要的图。

图31是第2实施方式的系统的结构图。

具体实施方式

参照附图对本发明的实施方式进行说明。并且，对于相同装置等赋予相同的标号，并省略说明。

本发明是使用计算机来实现的。首先，使用图1对计算机的结构进行说明。

图1所示的计算机具有CPU 11、存储器12、输入装置13、输出装置14、外部存储装置15、介质驱动装置16和网络连接装置17，这些通过总线18相互连接。

存储器12包括例如ROM(只读存储器)、RAM(随机存取存储器)等，存储在处理中使用的程序和数据。使计算机执行对程序间的数据链接进行支持的控制的数据链接支持程序(后面叙述)被存储在计算机的存储器12的特定的程序代码段中。另外，存储器12实现后面叙述的画面图像写入部228。

CPU 11通过利用存储器12执行上述的程序，进行必要的处理。存储器12中存储着数据链接支持程序，通过使CPU 11执行该程序，可以使计算机作为数据链接支持装置来发挥功能。

输入装置13例如是键盘、指向设备、触摸板等，用于输入来自用户的指示和信息。输出装置14例如是显示器和打印机等，用于输出计算机向用户的询问、处理结果等。

外部存储装置15例如是磁盘装置、光盘装置、磁光盘装置等。外部存储装置15实现后面叙述的画面信息DB 229。而且，也可以事先将上述程序保存在计算机的外部存储装置15中，根据需要，将它们载入到存储器12中使用。

介质驱动装置16驱动可移动型记录介质19，访问其记录内容。作为可移动型介质19，可以使用存储卡、存储盘、软盘、CD-ROM(光盘只读存储器)、光盘、磁光盘、DVD(数字多用光盘)等任意的计算机可读的记录介质。也可以事先在该可移动型记录介质19中存储上述数据链接支持程序，根据需要，将其载入到计算机的存储器12中使用。

网络连接装置17通过LAN、WAN等任意的网络(线路)和外部的装置进行通信，进行伴随着通信的数据转换。另外，根据需要，也可以从外部的装置接收上述程序，将其载入到计算机的存储器12中使用。

接着，使用图2，对本发明的第1实施方式的系统的结构进行说明。

如图2所示，在计算机20中，安装有链接APL 21、数据链接支持程序(以下，称为显示屏插件(screen plug))22、目标APL 23和操作系统(以下，称为OS)24。

链接APL 21通过显示屏插件22从目标APL 23中接收要链接的数据，使用该数据根据规定的算法进行处理。

显示屏插件22从目标APL 23中取入显示画面的画面图像数据，从该画面图像数据中获取数据。然后，把所取出的数据输出给链接APL 21。由此，显示屏插件22实现链接APL 21和目标APL 23之间的数据链接。另外，根据需要，显示屏插件22将链接APL 21的处理结果返回到目标APL23。

目标APL 23根据预定的算法处理数据。OS 24向链接APL 21、显示屏插件22和目标APL 23等应用程序提供系统管理功能。

并且，由显示屏插件2链接数据的链接APL 21和目标APL 23所进行的处理可以是任意的处理。在图2中，作为示例，示出了计算机20和计算机30通过网络连接，计算机20内的目标APL 23通过检索系统32从计算机30的数据库31中取得数据，使用该数据进行处理的情况。这里，网络N可以是1个网络，也可以是多个网络的组合。作为网络N，可以考虑采用英特网、电话线路网、无线线路网等WAN(广域网)和LAN(局域网)。

下面，使用图3，对显示屏插件22的功能结构进行说明。

如图3所示，显示屏插件22具有显示画面取入部221、画面类别定义部222、定义重复确认部223、画面类别判断部224、项目信息取得/识别部225、链接处理部226、项目信息输出部227、画面图像写入部228、画面信息数据库(下面，把数据库简写为DB)229。

显示屏插件22所进行的处理大致分为画面定义处理和数据链接处理。前者是在进行数据链接之前进行的处理，是对要从目标APL 23中取得的数据在哪个显示画面的哪个位置上以什么样的数据形式存在、将所取得的数据怎样输出到哪个程序等进行定义的处理。由显示画面取入部221、画面类别定义部222和定义重复确认部223进行该处理，该处理结果被写入到画面信息DB 229中。后者是根据画面定义处理的结果，使链接APL 21链接从目标APL 23取出的数据的处理。由显示画面取入部221、画面类别判断部224、项目信息取得/识别部225、链接处理部226和项目信息输出部227来执行该处理。在进行该处理时，使用写入在画面信息DB 229中的画面定义处理的结果。

下面，对各部分所进行的处理进行说明。

显示画面取入部221从目标APL 23中取入显示画面的画面图像数据，写入到画面图像写入部228。

画面类别定义部222根据写入在画面图像写入部228中的画面图像数据，作成对要从目标APL 23中取出的数据在画面中的位置和数据的属性进行定义的画面定义信息。关于画面定义信息所包含的信息的详细内容将在后面叙述。定义重复确认部223确认由画面类别定义部222所作成的画面定义信息和画面信息DB 229中所存储的画面定义信息是否重复，在确认出没有重复的情况下，将所作成的画面定义信息存储到画面信息DB 229中。

画面类别判断部224根据存储在画面信息DB 229中的画面定义信息和写入在画面图像写入部228中的画面图像数据，识别所取入的画面。在对画面进行了识别的情况下，项目信息取得/识别部225根据画面定义信息，从画面图像数据中取出要在链接APL 21中链接的数据。

链接处理部226利用预定的链接方法，将所取出的数据输出到作为数据链接目的地的链接APL 21的预定数据区域。并且，通过链接目的地识别信息预先指定成为数据的链接目的地的链接APL 21，通过链接方法指定信息预先定义数据的链接方法。链接目的地识别信息和链接方法指定信息被一起包含在画面定义信息中。另外，链接处理部226从链接APL 21中接收处理后的数据，并输出给项目信息输出部227。项目信息输出部227将被链接APL 21处理过的数据输出给目标APL 23或其它的应用程序。利用画面定义信息中所包含的输出目的地定义信息来指定链接APL 21的处理结果的输出目的地。并且，在图2中，示出了将链接APL 21的处理结果返回到目标APL 23的情况。

在画面图像写入部228中写入有由显示画面取入部221所取入的画面图像数据。在该画面图像写入部228中，原则上，写入当前成为画面定义处理或数据取出处理的对象的画面的画面图像数据。

在画面信息DB 229中，存储由画面类别定义部222作成的画面定义信息。

下面，使用图4和图5，对上述画面定义处理和数据链接处理的概要进行说明。在图4和图5中，由显示屏插件22进行的处理用虚线包围起来。关于各处理的详细情况在后面叙述。

首先，对画面定义处理的概要进行说明。当以来自键盘等输入装置13的输入为契机开始画面定义处理时，首先，显示画面取入部221进行从目标APL 23中取入显示画面的显示画面取入处理。所取入的画面的画面图像数据被写入到画面图像写入部228中。画面类别定义部222根据被写入到画面图像写入部228中的画面图像数据和用户的指示，作成画面定义信息，将作成的画面定义信息写入到画面信息DB 229中。定义重复确认部223进行确认画面信息DB 229中所存储的画面定义信息中是否有相互重复的信息的定义重复确认处理。在确认的结果是有重复的情况下，定义重复确认部223输出表示有重复的意思的信息。

接着，对数据链接处理的概要进行说明。当以来自键盘等输入装置13的输入为契机开始数据链接处理时，首先，显示画面取入部221进行从目标APL 223取入显示画面的显示画面取入处理。把所取入的画面的画面图像数据写入到画面图像写入部228中。画面类别判断部224从画面信息DB 229中读出画面定义信息，根据该画面定义信息识别在画面图像写入部228中写入了画面图像数据的画面。项目信息取得/识别部225根据识别结果以及与该画面对应的画面定义信息，从画面图像数据中取出要输出给链接APL 21的数据，并在输出装置14上显示用于确认所取出的数据的确认画面。用户可以根据该确认画面对所取出的数据进行确认。并且，可以省略该确认画面的显示处理。

接着，链接处理部226根据画面定义信息中所包含的链接方法信息，利用预定的链接方法将所取出的数据输出给预定的链接APL 21。而且，链接处理部226从链接APL 21中接收处理后的数据，并在输出装置14上显示用于确认该数据的链接结果的确认画面。并且，可以省略该链接结果的确认画面的显示处理。

项目信息输出部227根据画面定义信息中所包含的输出方法信息，将所得到的作为链接结果的数据输出到目标APL 23的预定区域。而且，项目信息输出部227在输出装置14上显示用于确认该数据链接处理的结果确认画面。并且，可以省略所得到的作为链接结果的数据的输出处理和该确认画面的显示处理。另外，和图2相同，在图5中，也示出了将链接APL 21的处理结果返回到目标APL 23的情况。

下面，用图6～图29对各处理进行详细说明。并且，在下面的说明中，将目标APL 23假定为金融汇款业务用程序，将链接APL 21假定为印章核对程序。并且，以使链接APL 21根据从目标APL 23的“汇款处理”画面中取出的数据项目进行印章核对处理，并将该核对处理结果返回到目标APL 23的情况为例。另外，在说明时，使用具体的汇款处理画面的例子。这些假定是为了通过使说明具体化而容易理解，并不是限定目标APL 23和链接APL 21，或限定本发明的应用范围。

首先，使用图6，对显示画面取入处理的步骤进行说明。如图6所示，首先，显示画面取入部221从目标APL 23中取入显示画面，使该画面中的插入符号或光标处于非显示状态(步骤S1)。接着，显示画面取入部221取得该画面的画面图像数据所存在的存储器中的区域(步骤S2)，从该区域复制该画面的画面图像数据(步骤S3)。然后，显示画面取入部221使该显示画面中的插入符号或光标回到显示状态(步骤S4)。显示画面取入部221将所复制的画面图像数据写入到画面图像写入部228中(步骤S5)。

图17表示由显示画面取入部221所取入的显示画面的一例。图17所示的显示画面在金融汇款业务用程序的汇款处理中显示。在该画面上，在图17的左上方显示“发送处理”作为表示在该画面上进行的处理的字符信息，而且，在图17的右上方显示“Menu 00201”作为画面识别编号。并且，画面识别编号不需要与画面类别定义部222所设定的画面ID相一致。

另外，在该画面上，作为交易信息，显示有输入顾客数据库编号(CIF编号、CIF：顾客交互文件)、顾客名、汇款金额、印章核对结果的栏以及从汇款处理的申请用纸中读取的印章的图像(下面，称为读取印章)。

下面，一边参照图17所示的该显示画面的画面图像数据，一边使用图7～图10，对画面类别定义处理的步骤进行说明。该画面类别定义处理包含于画面定义处理中。首先，如图7所示，在画面类别定义处理中，画面类别定义部222从画面图像写入部228中读出画面图像数据(步骤S11)。接着，画面类别定义部222设定用于识别画面的画面ID(步骤S12)。进而，画面类别定义部222执行画面类别判定定义子程序(步骤S13)、识别项目定义子程序(步骤S14)、和链接方法定义子程序(步骤S15)，结束处理。关于各子程序的详细情况在后面叙述。

对应于包含要链接的数据的画面，作成画面定义信息。画面定义信息包含画面类别判断信息、识别项目信息和链接方法信息。在将链接APL 21的处理结果输出给预定的应用程序的情况下，画面定义信息还包含输出方法信息。画面类别判断信息在画面类别判断定义子程序中作成，识别项目定义信息在识别项目定义子程序中作成，链接方法信息和输出方法信息在链接方法定义子程序中作成。

下面，使用图8和图18，对上述画面类别判断定义子程序的步骤进行说明。如图8所示，当画面类别定义部222接收到要从所取入的画面中作为画面类别判断信息而取出的项目的指定时，将项目ID赋予该项目(步骤S21)。接着，当画面类别定义部222接收到要取出的项在画面图像中所显示的区域(识别部分)的指定(步骤S22)时，根据其坐标从画面图像数据中切出图像数据(步骤S23)。画面类别定义部222作成包含项目ID、坐标及所切出的图像数据的画面识别判断信息。在对要作为画面类别判断信息而取出的全部项目进行了步骤S21到步骤S23的处理的情况下(步骤S24：是)，结束处理。否则(步骤S24：否)，返回到步骤S21。

图18表示关于图17所示的画面的画面类别判断信息的一例。如图18所示，关于图17所示的画面的画面类别判断信息有2个。1个是包含表示图17左上方所显示的“发送处理”这样的字符在画面中的区域的坐标信息、以及根据该坐标信息所切出的图像数据的画面类别判断信息，1个是包含表示“Menu 00201”这样的编号在画面中的区域的坐标信息、以及根据该坐标信息所切出的图像数据的画面类别判断信息。并且，在图18中，作为示例，使用形成矩形的4个顶点中相对的2个顶点的坐标来表示区域。另外，在图18中，虽然在画面类别判断信息中包含“项目名”以代替“项目ID”，但使用任意一个都可以。画面类别判断信息在后面叙述的数据链接处理中，在识别从目标APL 23所取入的画面时使用。

接着，使用图9和图19，对识别项目定义子程序的步骤进行说明。如图9所示，首先，画面类别定义部222接收要从显示画面取入部221所取入的画面中取出作为识别项目的数据项目名的指定。并且，可以使该项目名与画面中的项目名一致(步骤S31)。接着，画面类别定义部222接收在该画面中显示识别项目的区域的指定(步骤S32)。而且，画面类别定义部222接收该区域所显示的数据的属性的指定(步骤S33)。画面类别定义部222根据从步骤S31到步骤S33的指定，作成包含项目名、表示所指定的区域的坐标信息、以及表示数据属性的数据属性信息的识别项目信息。作为数据属性，例如可列举字符数据、编辑控件(edit control)、静态控件(staticcontrol)、以及图像数据等。在对要取出的作为识别项目的全部项目进行了从步骤S31到S33的处理的情况下(步骤S34：是)，结束处理。否则(步骤S34：否)，返回到步骤S31。识别项信息是在后面叙述的数据链接处理中，在从目标APL 23取入的画面中取出要链接到链接APL 21的数据时使用的。

图19示出了关于图17所示的画面的识别项目信息的一例。如图19所示，关于图17所示的画面的识别项目信息有4个。第1个是与CIF编号的输入栏对应的识别项目信息，第2个是与顾客名的输入栏对应的识别项目信息，第3个是与汇款金额的输入栏对应的识别项目信息，第4个是与读取印章的图像对应的识别项信息。另外，如图19所示，各识别项目信息包含项目名、表示在画面上显示该项目的区域的坐标信息、该项目的数据属性信息。和图18相同，在图19中，也使用形成矩形的相对的2个顶点的坐标来表示区域。

接着，使用图10、图20、图21，对链接方法定义子程序的步骤进行说明。如图10所示，首先，画面类别定义部222接收链接APL 21的指定和链接方法的指定(步骤S41)。画面类别定义部222根据指定，作成包含用于识别链接APL 21的链接目的地识别信息和用于指定链接方法的链接方法指定信息的链接方法信息。作为链接方法，例如可列举TCP/IP(传输控制协议/网际协议)、HTTP(超文本传输协议)、API(应用程序接口)、DLL(动态链接库)等。

图20表示链接方法信息的一例。在图20所示的示例中，链接方法信息中包含有作为识别链接APL 21的链接目的地识别信息的链接APL 21的程序名。另外，作为链接APL 21和目标APL 23间的数据的链接方法指定了TCP/IP、套接字(socket)通信。

接着，画面类别定义部222接收指定是否将所得到的作为链接APL 21对被链接的数据进行处理后的结果的信息(下面，称为链接结果信息)从链接APL 21输出给目标APL 23的信息(步骤S42)。根据指定，在判断为将链接结果信息输出给目标APL 23的情况下(步骤S42：是)，进入步骤S43。否则(步骤S42：否)，进入步骤S46。

在步骤S42中为“是”的情况下，在步骤S43中，画面类别定义部222根据用户的指定，作成包含链接结果信息的项目名和表示画面中要显示该链接结果信息的输出目的地区域的坐标信息的输出方法信息(步骤S43和S44)。并且，在输出多个项目来作为链接结果信息的情况下，对应各项目作成多个输出方法信息。

画面类别定义部222在对要输出链接结果信息的全部项目进行了从步骤S41到S43的处理的情况下(步骤S45：是)，结束处理。否则(步骤S45：否)，返回到步骤S43。该输出方法信息在后面叙述的数据链接处理中，在将链接结果信息输出到目标APL 23的画面中时使用。

在步骤S42中为“否”的情况下，因为在步骤S46中不需要作成输出方法信息，所以结束处理。

图21示出了输出方法信息的一例。如图21所示，输出方法信息包含链接结果信息的项目名和表示要输出该链接结果信息的画面上输出目的地区域的坐标信息。在图21的情况下，因为作为链接结果信息被输出的项目为1个，所以所作成的输出方法信息也是1个。根据该输出方法信息，在图17所示的画面中的核对结果的输入栏显示链接结果信息。

在上述的画面类别定义处理中所作成的画面定义信息被写入画面信息DB 229。接着，在定义重复确认处理中，确认所作成的画面定义信息是否和之前所作成的画面定义信息重复。该定义重复确认处理包含在画面定义处理中。下面，使用图11，对定义重复确认处理的步骤进行说明。如图11所示，首先，定义重复确认部223从图像信息DB 229中读出还未进行重复确认处理的画面定义信息(步骤S51)。在已经对图像信息DB 229中的全部的画面定义信息进行了重复确认处理的情况下(步骤S52：是)，进入步骤S58。否则(步骤S52：否)，进行步骤S53后面的处理。

画面定义信息中包含1个或1个以上的画面类别判断信息。各画面类别判断信息中包含表示画面上的区域的坐标信息和图像数据。在步骤S53中，定义重复确认部223从在步骤S51中读出的画面定义信息中的、还没有进行重复判断处理的画面类别判断信息中取得图像数据。在已经对在步骤S51中读出的画面定义信息中的全部的画面类别判断信息进行了重复确认处理的情况下(步骤S54：是)，进入步骤S57。否则(步骤S54：否)，执行步骤S55和S56。

在步骤S55中，定义重复确认部223根据与在步骤S53中所取得的图像数据对应的坐标信息，从被写入到画面图像写入部228中的画面图像数据中切出图像数据。然后，定义重复确认部223将在步骤S53中所取得的图像数据和所切出的图像数据进行比较，根据图像数据的比较结果，判断两者是否一致。关于比较该图像的步骤，作为图像比较子程序，在后面详细叙述。然后，定义重复确认部223将针对在步骤S53中所取得的图像数据的判断结果记录到临时记忆存储区域(步骤S56)，返回到步骤S53。

在步骤S57中，定义重复确认部223判断临时记忆存储区域中所记录的判断结果是否表示“在全部的判断中为一致”，将针对在步骤S51所读出的画面定义信息的判断结果作为“一致”存储到临时记忆存储区域，返回到步骤S53。

在步骤S58中，定义重复确认部223计算判断结果为“一致”的画面定义信息的数量。而且，定义重复确认部223在该数量为“1”的情况下判断为“没有重复”，在该数量为“大于等于2”的情况下判断为“有重复”。定义重复确认部223将判断结果通知给用户，结束处理。

并且，在上面叙述中，对每作成一个画面定义信息就进行定义重复确认处理的情况进行了说明。但是，也可以在对要定义的全部的画面作成了画面定义信息，并写入到画面信息DB 229中后，进行定义重复确认处理，判断画面信息DB 229中是否存储了重复的画面定义信息。

下面，使用图12和图22，对画面类别判断处理的步骤进行说明。该画面类别判断处理包含于数据链接处理中。首先，在画面类别判断处理之前，如参照图6所说明的那样，进行显示画面取入处理。然后，画面类别判断部224从画面图像写入部228中取得画面图像数据(步骤S61)，而且，从画面信息DB 229中取出1个还没有进行画面类别判断处理的画面定义信息(步骤S62)。

在已经对画面信息DB 229中的全部的画面定义信息进行了画面类别处理的情况下(步骤S63：是)，进入步骤S69。否则(步骤S63：否)，执行步骤S64以后的处理。

画面定义信息中包含有1种或1种以上的画面类别判断信息，各画面类别判断信息中包含表示画面图像数据中的区域的坐标信息和图像数据。对在步骤S62中所取得的画面定义信息中所包含的全部的画面类别判断信息进行从步骤S64到S66的处理。

在步骤S64中，画面类别判断部224从步骤S62中所取得的画面定义信息中取得1个画面类别判断信息。而且，画面类别判断部224根据该画面类别判断信息中的坐标信息，从在步骤S61所取得的画面图像数据中切出图像数据。

下面，使用图22，对从画面图像数据中切出的区域进行说明。

在图22中，用箭头表示图18所示的画面类别判断信息中的坐标所表示的区域。如图22所示，为了进行画面类别判断处理，根据图18所示的画面类别判断信息从画面图像数据中将显示字符“汇款处理”的区域和显示画面识别编号“Menu 00201”的区域切出。

接着，画面类别判断部224进行对在步骤S64所取得的画面类别判断信息中的图像数据和从画面图像数据中切出的图像数据进行比较的图像比较子程序(步骤S65)。关于该图像比较子程序，在后面详细叙述。

接着，画面类别判断部224根据图像比较子程序的结果，判断画面类别判断信息中所包含的图像数据和在步骤S64中所切出的图像数据是否一致(步骤S66)。在两者不一致的情况下(步骤S66：否)，返回到步骤S62。在两者一致的情况下(步骤S66：是)，进入步骤S67。

在步骤S67中，画面类别判断部224判断是否对在步骤S62中所取得的画面定义信息中的全部的画面类别判断信息进行了从步骤S64到S66的处理。在对全部的画面类别判断信息进行了从步骤S64到S66的处理的情况下(步骤S67：是)，进入步骤S68。否则(步骤S67：否)，返回到步骤S64。

在步骤S68中，画面类别判断部224判断为在步骤S52中所取得的画面定义信息和在步骤S61中所取得到的画面图像数据相对应(步骤S68)，结束处理。

在步骤S69中，画面类别判断部224判断为在画面信息DB 229中没有存储与在步骤S61中所取得的画面图像数据对应的画面定义信息。由于所取入的画面没有被登录在数据库中，所以画面类别判断部224将发生了处理错误的意思通知给用户，结束处理。

下面，使用图13和图23对图像比较子程序的步骤进行说明。如图13所示，首先，画面类别判断部224针对在步骤S64中所取得的画面类别判断信息中的图像数据和从画面图像数据中切出的图像数据，检测每1个像素的颜色的分布(步骤S71)。接着，画面类别判断部224针对各个画面类别判断信息中的图像数据和从画面图像数据中切出的图像数据，根据颜色的分布决定成为背景颜色的颜色，将该颜色屏蔽(步骤S72)。

而且，画面类别判断部224对画面类别判断信息中的图像数据中没有被屏蔽而残留的部分的图像图案和从画面图像数据中切出的图像数据中的没有被屏蔽而残留的部分的图像图案进行比较，进行两者的匹配(步骤S73)。该匹配结果在上述步骤S66的判断中使用(步骤S74)。

下面，使用图23，对在图像比较子程序中被屏蔽的部分进行说明。

图23中示出了图18所示的2个画面类别判断信息中所包含的图像数据、和根据各画面类别判断信息中所包含的坐标而切出的图像数据。例如，项目名为“处理名”的2个图像数据表示字符“汇款处理”。在这些图像数据中，网格部分被判断为背景颜色，被屏蔽。其结果，在两图像数据中，显示字符“汇款处理”的图像图案没有被屏蔽而残留，由画面类别判断部224进行相互比较。

接着，使用图14和图24，对项目信息取得/识别处理的步骤进行说明。该项目信息取得/识别处理包含于数据链接处理中。画面定义信息中包含有1种或1种以上的识别项目信息。分别对与在步骤S61中所取得的画面图像数据对应的画面定义信息中所包含的识别项目信息进行下面的从步骤S81到S93的处理。

首先，项目信息取得/识别部225从画面定义信息中取得1个识别项目信息，根据表示在该识别项目信息中所包含的数据属性的信息，判断项目识别的处理模式(步骤S81)。例如，在数据属性表示“字符数据”的情况下，项目信息取得/识别部225将处理模式判断为使用OCR(光学字符读取器)等的字符识别(步骤S81：识别)，进入步骤S82。另外，例如，在数据属性表示“编辑控件”或“静态控件”的情况下，项目信息取得/识别部225将处理模式判断为数据项目的读出(步骤S81：读出项目)，进入步骤S89。在数据属性表示“图像数据”的情况下，进入步骤S93。

在步骤S82中，项目信息取得/识别部225根据该识别项目信息中所包含的坐标信息，从所取入的画面图像数据中切出图像数据，通过逐个地扫描构成该图像数据的像素来进行颜色的判断，从而判断表示字符的颜色和表示背景的颜色(步骤S82)。

接着，项目信息取得/识别部225通过使用使背景图像和字符分离的阈值将图像数据二值化，分离表示字符的颜色和表示背景的颜色(步骤S83)。在通过二值化使表示字符的颜色成为白色、表示背景图像的颜色成为黑色的情况下，项目信息取得/识别部225将表示两者的颜色的值(位)取反(步骤S84)。

而且，项目信息取得/识别部225通过取得连续的黑色像素组(标签信息)，抽出每1个字符的标签信息(步骤S85)。项目信息取得/识别部225根据抽出标签信息的结果判断1个字符的大小，在该1个字符的大小不适合于进行文字识别处理的情况下，将字符放大或缩小使其变成适当的大小(步骤S86)。

项目信息取得/识别部225进行字符的识别(步骤S87)，并将该识别结果通知给用户。并且，在画面定义信息中包含有2或2个以上的识别项目信息的情况下，在结束了对全部的识别项目信息的识别处理后，也可以通过显示确认画面将识别结果通知给用户。

在步骤S89中，项目信息取得/识别部225根据识别项目信息中所包含的坐标取得要识别的数据项目的控件句柄。而且，根据识别项目信息中所包含的表示数据属性的信息，判断控件是编辑控件还是静态控件(步骤S90)。

在控件是编辑控件的情况下(步骤S90：编辑控件)，项目信息取得/识别部225例如使用类成员函数GetLine()等，从控件中读出并取得数据，作为识别结果(步骤S91)，进入步骤S88。在控件是静态控件的情况下(步骤S90：静态控件)，项目信息取得/识别部225例如使用类成员函数GetText()等，从控件中读出并取得数据，作为识别结果(步骤S92)，进入步骤S88。

在步骤S93中，项目信息取得/识别部225根据识别项目信息中所包含的坐标信息，从画面图像数据中切出图像数据，进入步骤S88。

下面，使用图24，对从画面图像数据中取出要链接的数据并进行识别的处理进行说明。

图24中示出了根据图19所示的4个识别项目信息所取出的画面图像数据中的4个识别项目。例如，项目名为“CIF编号”的识别项目从图形图像数据中作为图像数据而被切出、经过字符识别处理作为字符数据而被取得。另外，例如，项目名为“顾客名”的识别项目及项目名为“汇款金额”的识别项目分别从图像数据中的输入栏直接作为数据而被取得。另外，项目名为“读取印章”的识别项目从图像数据中作为图像数据而被切出、并直接被取得。并且，在图24中，虽然记载了具体的类成员函数，但这只不过是示例而已。图25中示出了根据图19所示的识别项目信息从图24所示的画面中取得的识别项目。

图26示出了从图24所示的画面中取得的识别项目的确认画面的一例。在图26中，对于数据属性为“图像数据”的识别项目以外的识别项目，被显示成能够对从画面图像数据中切出的还没有被进行识别处理的数据，和得到识别处理的结果的数据的两方数据进行比较。图中，针对每个识别项目，在上层显示被切出后尚未进行识别处理的数据，在下层显示识别处理所得到的结果。对于数据属性为“图像数据”的识别项目，显示从画面图像数据中切出的图像数据。用户根据该确认画面，判断是否正在适当地进行识别处理，根据需要，在该确认画面中校正识别结果。在确认和校正的结果是判断为可以进行数据链接处理的情况下，用户按下图26所示的“链接开始”按钮。由此，将识别结果从项目信息取得/识别部225中输出到链接处理部226中，开始链接处理。并且，可以省略向用户通知识别结果和显示确认画面。

下面，使用图15对链接处理的步骤进行说明。该链接处理包含于数据链接处理中。如图15所示，首先，链接处理部226从项目信息取得/识别部225中接收识别结果作为要链接的数据(步骤S101)。而且，链接处理部226从与所取入的图像数据对应的图像定义信息中取出链接方法信息(步骤S102)。

链接方法信息中包含用于识别成为要链接数据的输出目的地的链接APL 21的链接目的地识别信息以及用于指定链接方法的链接方法指定信息。链接处理部226根据链接方法信息，利用所指定的链接方法，将要链接的数据输出给所指定的链接APL 21(步骤S103)。作为其响应，链接处理部226从链接APL 21接收处理后的数据(链接结果信息)，输出该链接处理结果的确认画面(步骤S104)。然后，结束处理。并且，可以省略链接处理结果的确认画面的输出。

下面，使用图27和图28，对在该说明中被假定为链接APL 21的印章核对程序所执行的处理进行说明。如上所述，从作为目标APL 23的金融汇款业务用程序的画面中取得4个项目“CIF编号”、“顾客名”、“汇款金额”和“读取印章”，并输出给链接APL 21。链接APL 21从记录有未作图示的呈报印章的DB中取得与该CIF编号和顾客名对应的呈报印章的图像，判断该呈报印章的图像和从目标APL 23中取得的读取印章的图像是否一致。并且，省略了关于印章的核对处理的详细情况。

图27示出表示链接APL 21的印章核对处理的结果的画面的一例。图27所示的画面中，显示了从目标APL 23的画面中所取得的CIF编号、顾客名、读取印章的图像，以及从DB中取得的呈报印章的图像。而且，画面中作为核对结果，显示了将两者重叠的图像。根据图27所示的画面，可以看出印章核对的结果是判断为读取印章和呈报印章的图像数据一致。

图28示出链接处理的结果的确认画面的一例。图28表示印章核对的结果是判断为读取印章和呈报印章的图像数据一致的情况下的确认画面。用户根据该确认画面，判断是否良好地执行了链接处理，在良好地执行了链接处理的情况下，通过按下“处理继续”按钮，可以指示后续的处理的执行。

下面，使用图16和图29，对项目信息输出处理的步骤进行说明。并且，该项目信息输出处理是在必须将链接结果信息输出给目标APL 23的情况下执行的。在不需要将链接结果信息输出给目标APL 23的情况下，可以省略该处理。

首先，如图16所示，项目信息输出部227从链接处理部226中接收链接结果信息(步骤S111)，而且，从与当前处理中的画面对应的画面定义信息中取得输出方法信息(步骤S112)。画面定义信息中包含有1个或1个以上的输出方法信息，各输出方法信息中包含有链接结果信息的项目名以及表示画面中要显示该链接结果信息的输出目的地区域的坐标的信息。

针对每个输出方法信息进行下面的处理。

首先，项目信息输出部227取出1个输出方法信息，根据输出方法信息中所包含的坐标信息，从成为目标APL 23中的输出目的地的画面的画面数据中取得关于输出目的地区域的控件信息(步骤S113)，根据该控件信息，在画面中的输出目的地区域显示该链接结果信息(步骤S114)。

而且，项目信息输出部227判断是否结束了对全部的输出方法信息的输出处理(步骤S115)。在没有结束对全部的输出方法信息进行输出处理的情况下(步骤8115：否)，项目信息输出部227将已完成输出处理的输出方法信息的数量增加1，取出1个未处理的输出方法信息(步骤S116)。而且，项目信息输出部227从链接结果信息中取出输出处理还没有完成的项目(步骤S117)，返回到步骤S114。

在计数值成为与输出方法信息的总数相同的值的情况下，项目信息输出部227判断为对全部的输出方法信息结束了输出处理(步骤S115：是)，结束处理。

图29示出了将链接结果信息输出给目标APL 23的画面的画面的一例。在图29中，将“确认印章的核对”作为链接结果信息输出到记载了“核对结果”的输入栏里。

接着，对第1实施方式的变形例进行说明。在第1实施方式中，说明了从目标APL 23的画面中取出要链接的数据，将取出的数据输出给链接APL 21。但是，也可以识别目标APL 23的画面，将在链接APL 21中进行了处理的数据作为要链接的数据输出到该被识别的画面。下面，对这种情况进行说明。

根据该变形例，虽然识别了目标APL 23的画面，但不需要从该被识别的画面中取出要链接的数据，也不需要将该数据输出给链接APL 21。因此，上述第1实施方式和第1实施方式的变形例在以下各点上不同。

·根据第1实施方式的变形例，显示屏插件22不需要项目信息取得/识别部225。因此，第1实施方式的变形例的显示屏插件22可以具有从图3的功能结构图中除去项目信息取得/识别部225的结构。

·根据第1实施方式的变形例，画面定义信息不包含识别项目信息。

·根据第1实施方式的变形例，画面类别定义部222在画面类别定义处理中不进行识别项目定义子程序。

·根据第1实施方式的变形例，在数据链接处理中不进行项目信息取得/识别处理。

下面，使用图30，对第1实施方式的变形例的情况下的数据链接处理的概要进行说明。并且，由于在第1实施方式中已经进行了说明，所以这里省略重新对各处理的详细说明。

如图30所示，根据第1实施方式的变形例，当以来自键盘等输入装置13的输入为契机开始数据链接处理时，首先，显示画面取入部221进行从目标APL 23中取入显示画面的显示画面取入处理。所取入的显示画面的画面图像数据被写入到画面图像写入部228中。画面类别判断部224从画面信息DB 229中读出画面定义信息，根据该画面定义信息识别将画面图像数据写入到画面图像写入部228中的画面。画面类别判断部224在输出装置14上显示用于确认画面的识别结果的确认画面。用户可以根据该确认画面确认所取出的数据。并且，可以省略该确认画面的显示处理。链接处理部226根据链接方法信息，利用所指定的方法从所指定的链接APL 21中接收处理后的数据，并将用于确认该数据的链接结果的确认画面显示在输出装置14上。并且，可以省略该链接结果的确认画面的显示处理。项目信息输出部227根据画面定义信息中所包含的输出方法信息，将所得到的数据输出到目标APL 23的预定的区域。而且，项目信息输出部227在输出装置上显示用于确认该数据链接处理的结果的结果确认画面。并且，可以省略确认画面的显示处理。这样，和第1实施方式不同，在第1实施方式的变形例中，不进行从目标APL 23的画面中取得信息的项目信息取得/识别处理。这两个不同点通过比较图5和图30可明确。

下面，假定目标APL 23是金融汇款业务用程序，链接APL 21是发票处理及印章核对程序，对第1实施方式的变形例进行具体说明。链接APL 21记载帐户编号和汇款金额，使用扫描仪将盖章了读取印章的存款单作为图像数据来读入，从该图像数据中切出读取印章的图像，把帐户编号和汇款金额作为字符数据进行识别。而且，链接APL 21从未作图示的DB中取得与帐户编号对应的CIF编号、顾客名和呈报印章的图像，根据读取印章的图像和呈报印章的图像对印章进行核对。

另一方面，显示屏插件22识别目标APL 23的“汇款处理”画面，从链接APL 21中接收CIF编号、顾客名、汇款金额、核对结果及读取印章的图像，将所接收的这些信息输出到所识别的画面上。图17示出了“汇款处理”的画面的例子。在第1实施方式的变形例的情况下，目标APL 23的“汇款处理”画面中的“CIF编号”、“顾客名”、“汇款金额”、“核对结果”及“读取印章”的各输入栏，在画面的识别初期是“空(开始)”，显示屏插件22将链接APL 21的处理数据输出到该画面上。

由此，可以将具有使用扫描仪将存款单作为图像数据读入、从该图像数据中取得必要的信息的功能的链接APL 21的处理结果提供给不具有该功能的目标APL 23。从而，能够不对目标APL 23进行改造，而将新功能嵌入到目标APL 23中。

并且，作这些假定是因为通过使说明具体化可以更容易地理解，并不是限定目标APL 23和链接APL 21，或限定本发明的应用范围。接着，对第1实施方法的进一步变形例进行说明。在第1实施方式中，目标APL 23和链接APL 21被安装在同一个计算机上，但也可以将两者安装在不同的计算机上。在这种情况下，安装目标APL 23计算机上具备显示屏插件22。在该情况下，处理的步骤也和上面所述一样。

另外，在上述说明中，对链接结果数据被输出到与从目标APL 23中取出了要链接的数据的画面相同的画面上的情况进行了说明，但也可以输出到与取出了目标APL 23中的数据的画面不同的画面上。在这种情况下，必须预先定义输出链接结果信息的画面。

另外，链接结果信息也可以被输出到目标APL 23以外的第3程序中。在这种情况下，输出方法信息中还包含用于识别第3程序的信息。另外，链接结果信息也可以在该程序中进行进一步的处理。

接着，对第2实施方式进行说明。在第1实施方式中，对从目标APL23中取出的数据被输出给链接APL 21，进行链接处理，并将该链接处理结果返回到目标APL 23的情况进行了说明。在这种情况下，数据从目标APL 23向链接APL 21的方向输出。在第2实施方式中，对目标APL和链接APL能够双方向地取出数据、进行链接处理的结构进行说明。

图31表示第2实施方式的系统的结构。如图31所示，目标APL 23-1和23-2被安装在相同的计算机上。显示屏插件22-1从目标APL 23-1的画面上取出要链接的数据，将该数据输出给目标APL 23-2。作为其响应，显示屏插件22-1从目标APL 23-2接收链接处理的结果，并输出给目标APL23-1。另一方面，显示屏插件22-2从目标APL 23-2的画面上取出要链接的数据，将该数据输出给目标APL 23-1。作为其响应，显示屏插件22-2从目标APL 23-1中接收链接处理的结果，并输出给目标APL 23-2。即，目标APL 23-2成为目标APL 23-1的链接APL，目标APL 23-1成为目标APL 23-2的链接APL。由此，可以在2个程序间双方向地对数据进行链接使用。在这种情况下，也不需要为了数据链接而改造两程序。

并且，和第1实施方式的变形例同样，目标APL 23-1和目标APL 23-2也可以安装在不同的2台计算机上。在这种情况下，目标APL 23-1和显示屏插件22-1被安装在一台计算机上，目标APL 23-2和显示屏插件22-2被安装在另一台计算机上。

上面，对本发明的实施方式进行了说明，但本发明不限于上述实施方式，可以进行其它的各种变更。

如上所述，根据本发明的数据链接技术，达到了下述的效果：不用改造已有的应用程序，而可以将已有的应用程序的显示画面上所显示的信息在别的应用程序中使用。而且，还达到了不需要将数据输出到纸介质上以及使用手工的输入作业的效果。

如上所述，本发明的数据链接技术对于使用计算机进行处理的系统是有用的。

Claims (7)

1.一种数据链接支持方法，由计算机来支持程序间的数据链接，其特征在于，包括：

从第1程序中取入该第1程序的显示画面的画面图像数据，其中在该显示画面中显示了与一个或多个项目对应的一个或多个数据；

从上述画面图像数据中取得要输出给第2程序的链接数据；

将上述链接数据输出给上述第2程序，

其中，所述链接数据是与所述一个或多个项目中的一部分或全部对应的数据，所述链接数据包括各与所述一个或多个项目中的一个项目对应的一个或多个数据。

2.根据权利要求1所述的数据链接支持方法，其特征在于，还包括：

根据表示显示画面中的区域的坐标信息和包含上述区域中所显示的图像数据的画面类别判断信息，从上述画面图像数据中切出上述区域中所显示的图像数据，通过判断所切出的图像数据和上述画面类别判断信息中包含的图像数据是否一致来识别显示画面，

上述链接数据从所识别出的显示画面的画面图像数据中取得。

3.根据权利要求1所述的数据链接支持方法，其特征在于，还包括：

根据表示显示画面中的区域的坐标信息以及包含表示上述区域中所显示的数据的数据属性的数据属性信息的识别项目信息，从上述画面图像数据中切出上述区域中所显示的数据，根据上述数据属性信息来识别所切出的数据，

上述链接数据作为识别结果而取得。

4.根据权利要求1所述的数据链接支持方法，其特征在于，还包括：

将上述第2程序处理过的上述链接数据输出给上述第1程序。

5.根据权利要求1所述的数据链接支持方法，其特征在于，还包括：

根据包含表示显示画面中的区域的坐标信息的输出方法信息，将上述第2程序处理过的上述链接数据输出到上述第1程序的显示画面中的上述区域。

6.一种数据链接支持方法，由计算机来支持程序间的数据链接，其特征在于，包括：

从第1程序中取入该第1程序的显示画面的画面图像数据，其中在该显示画面中显示了与一个或多个项目对应的一个或多个数据；

根据上述画面图像数据识别上述显示画面的类型；

从第2程序中取得链接数据；

将上述链接数据输出到识别了类型后的显示画面上，

其中，所述链接数据是与所述一个或多个项目中的一部分或全部对应的数据，所述链接数据包括各与所述一个或多个项目中的一个项目对应的一个或多个数据。

7.一种数据链接支持装置，支持程序间的数据链接，其特征在于，具有：

显示画面取入单元，其从第1程序中取得该第1程序的显示画面的画面图像数据，其中在该显示画面中显示了与一个或多个项目对应的一个或多个数据；

项目信息取得单元，其从所取得的上述画面图像数据中取得要输出给第2程序的链接数据；

链接处理单元，其将所取得的上述链接数据输出给上述第2程序，

其中，所述链接数据是与所述一个或多个项目中的一部分或全部对应的数据，所述链接数据包括各与所述一个或多个项目中的一个项目对应的一个或多个数据。

Images