CN1783933A

CN1783933A - 图像处理装置及其方法

Info

Publication number: CN1783933A
Application number: CNA2005101261387A
Authority: CN
Inventors: 木虎正和
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-11-30
Filing date: 2005-11-30
Publication date: 2006-06-07
Anticipated expiration: 2025-11-30
Also published as: JP4502385B2; US20060114484A1; US7551753B2; JP2006155381A; CN100448257C

Abstract

一种图像处理装置及其方法。当复制通过自由编辑和处理图像数据打印的文档图像时，用户可能想复制编辑/处理后的图像，或复制编辑和处理前的原始图像。为此，输入文档图像，并从输入图像提取用于指定原始图像存储位置的指示信息、及表示是否通过编辑和处理原始数据获取输入图像的图像处理信息。获取表示使用输入图像还是使用原始图像的优先数据信息。当未提取指示信息、图像处理信息表示原始图像未被编辑或处理过、或优先数据信息表示使用输入图像时，将输入图像转换为矢量数据。当提取出指示信息、图像处理信息表示原始图像已被编辑或处理过、及优先数据信息表示使用原始图像时，基于指示信息输入原始图像，并基于矢量数据或原始数据形成图像。

Description

图像处理装置及其方法

技术领域

本发明涉及一种图像处理装置及其方法，尤其涉及一种选择性地使用输入图像数据及其原始数据的图像处理。

背景技术

近年来，在环境问题的需求中，无纸化办公已取得了快速发展。

作为第一种无纸化方法，由扫描仪等读取存储在活页夹等中的文档。将该文档图像的光栅数据或经编码的数据(在下文通称为“图像数据”)转换为便携式文档格式(PDF)的压缩文件等。然后将该PDF文件存储在存储装置中(参见，例如日本特开2001-358863号公报)。

作为第二种方法，通过使用功能扩展的打印装置或多功能外围设备(MFP)，将文档和图像的原始数据文件存储在存储装置中。在打印原始数据文件时，在该原始数据文件存在的存储装置中的存储区域的指示(pointer)信息被作为附加信息打印在所打印文档的封面上或打印信息中(参见，例如日本特开平10-285378号公报)。可以从所打印文档的指示信息来访问该原始数据文件，并利用该原始数据文件进行打印。无需读取所打印的文档，并且可以防止图像数据的不必要的增加。

根据第一种方法，由扫描仪所读取的文档图像可被保存为压缩PDF文件。然而，不能从通过打印出该PDF文件而获取的所打印的文档来搜索所保存的PDF文件，并且难以重复使用所保存的PDF文件。

根据第二种方法，可以根据指示信息来搜索并打印原始数据文件。然而，第二种方法不能对该原始数据文件信息进行编辑和再处理。

为了容易地重复使用所打印的文档和作为图像数据保存的信息，输入图像数据被转换为矢量格式的数据(在下文被称为“矢量数据”)(在下文将被称为“矢量转换”)，从而增强可重复使用性。在矢量转换中，对文档图像的图像数据或作为图像数据保存的电子数据的每页图像执行图像分割。该图像被分割为块例如文本、表格、照片、及线条图像(line image)。

当该块为例如文本块时，执行字符识别。通过从整个图像中提取表示文本的像素，并将其转换为轮廓矢量(outline vector)，来进行矢量转换。轮廓矢量转换能提供分辨率独立的数据，该数据的图像质量即使放大/缩小文本也不会改变。至于表格，从整个图像中提取表示格线的像素，将其转换为轮廓矢量，从而将其转换为分辨率独立的数据。该数据进一步经过模式识别来识别表格结构。同样地，从整个图像中提取照片、线条图像等，并分别进行转换。

从整个图像中提取的并分别经过最优处理的数据可以被编辑，以改变布局，并且可以打印所编辑的数据。还可以任意选择所提取的数据，并作为另一数据保存或传送。

除了图像数据的矢量转换之外，可以通过添加包含原始数据文件的指示信息的元数据来生成图像数据。该图像数据允许用户访问、打印或传送该原始数据文件。当原始数据是矢量数据时，可以直接编辑和处理所接收到的原始数据。对于原始数据没有经过矢量转换的图像数据，将所接收到的原始数据转换为矢量，然后进行编辑和处理。

如果执行通过矢量转换对图像数据的处理和编辑，则原始数据中的字符大小可被放大到任意大小，然后将该数据打印在分发给视力差的人的材料上。从而可实现考虑材料的分发目标的打印，以分发即使视力差的人也能容易阅读的打印文档。

作为处理和编辑的例子，由MFP扫描文档图像，显示预览，操作触摸面板，可以任意放大并打印由图像分割所获取的每一对象。考虑到由视力差的人来执行这些操作的情况，文本被自动放大到任意大小，一系列的布局操作也被自动化，并且可提供对视力差的人更友好的功能。没有任何计算机等的介入，通过对MFP的简单操作提供用户所期望的打印结果的方法对不习惯计算机操作的用户是非常友好的。

假定将通过如上所述的自由编辑和处理图像数据而打印的文档图像或作为图像数据新存储的文档图像再次输入到MFP、打印、并使用，即重复使用。在这种情况下，用户可能想要使用编辑和处理前的原始数据，或使用编辑后/处理后的图像数据。例如，当重新分发为视力差的人改变其布局后打印的文档时，他期望接收改变其布局后打印的文档。当该重新分发的目标是视力正常的人时，他期望接收具有原始数据布局的文档。考虑到这些情况，MFP必须处理原始数据的输出和编辑后/处理后的图像数据的输出。

发明内容

本发明的第一方面公开一种图像处理装置，该图像处理装置包括：第一输入部分，用于输入图像数据；提取器，用于从该图像数据中提取指示信息和图像处理信息，该指示信息用于指定该图像数据的原始数据的存储位置，该图像处理信息表示该图像数据是否是作为对该原始数据进行图像处理的结果而获取的；获取器，用于获取表示是使用图像数据还是使用原始数据的选择信息；转换器，用于当没有提取出指示信息时、当图像处理信息表示还没有进行处理时、或者当选择信息表示使用图像数据时，将该图像数据转换为矢量数据；第二输入部分，用于当提取了指示信息、图像处理信息表示已经进行了处理、以及选择信息表示使用原始数据时，基于该指示信息输入原始数据；以及图像处理器，用于基于矢量数据或原始数据形成图像。

本发明的第二方面公开一种图像处理方法，该方法包括以下步骤：输入图像数据；从该图像数据提取用于指定该图像数据的原始数据的存储位置的指示信息；提取图像处理信息，该图像处理信息表示该图像数据是否是作为对该原始数据进行图像处理的结果而获取的；获取表示是使用图像数据还是使用原始数据的选择信息；当没有提取出指示信息时、当图像处理信息表示还没有进行处理时、或者当选择信息表示使用该图像数据时，将该图像数据转换为矢量数据；当提取了指示信息、图像处理信息表示已经进行了处理、以及选择信息表示使用该原始数据时，基于该指示信息输入原始数据；以及基于该矢量数据或原始数据形成图像。

本发明的第三方面公开一种图像处理方法，该方法包括以下步骤：从输入图像数据提取用于指定该图像数据的原始数据的存储位置的指示信息；获取图像处理信息，该图像处理信息表示该图像数据是否是作为对原始数据进行图像处理的结果而获取的；以及当提取了指示信息、并且图像处理信息表示已经进行了图像处理时，提示用户选择使用图像数据还是使用原始数据。

根据本发明，可以通过选择性地使用输入图像数据及其原始数据来形成图像。例如，当输入及重复使用通过矢量转换和元信息自由编辑和处理输入图像所打印的图像时，能够自由选择处理前的原始数据和处理后的图像数据中所期望的一个。

通过下面结合附图的说明，本发明的其它特征和优点将会显而易见，其中，在整个附图中相同的附图标记表示相同或相似的部分。

附图说明

图1是示出根据第一实施例的图像处理系统的结构的框图；

图2是示出MFP的结构的框图：

图3是用于说明由图像处理系统执行的处理的流程图：

图4A是用于说明原始数据的例子的视图：

图4B是用于说明编辑后/处理后的图像数据的例子的视图：

图5是用于说明块选择的视图：

图6A和6B是示出块选择的结果的例子的表格：

图7是示出从分割的图像数据提取指示信息和图像处理信息的处理的流程图：

图8是详细示出矢量转换的流程图：

图9是用于说明矢量转换中的拐角提取处理的视图：

图10是用于说明矢量转换中的结合轮廓的处理的视图：

图11是示出对通过矢量转换生成的矢量数据进行分组的处理的流程图；

图12是示出检测图形要素的处理的流程图；

图13是示出表示矢量转换结果的中间数据的格式的视图；以及

图14是用于说明由根据第二实施例的图像处理系统执行的处理的流程图。

具体实施方式

下面将参考附图来详细说明根据本发明实施例的图像处理。

第一实施例

图像处理系统

图1是示出根据第一实施例的图像处理系统的结构的框图。

在通过广域网(WAN)104例如因特网连接多个区域例如办公室10和20的环境下，来实现该图像处理系统。

在办公室10中构建的局域网(LAN)107被连接到例如多功能外围设备100、控制该MFP 100的管理PC 101、客户端PC 102、文档管理服务器106、以及由该文档管理服务器106管理的数据库服务器105。办公室20具有几乎与办公室10相同的配置。在办公室20中构建的LAN 108至少被连接到另一文件管理服务器106、以及由该文件管理服务器106管理的另一数据库服务器105。通过连接到LAN 107的代理服务器103、WAN 104、以及连接到LAN 108的另一代理服务器103，来使办公室10中的LAN 107和办公室20中的LAN 108相互连接。

MFP 100执行读取文档图像及处理所读取的图像的一些图像处理。从MFP 100输出的图像信号通过通信线109输入到管理PC101。管理PC 101是普通个人计算机(PC)，其包括：存储图像的存储器(例如，硬盘)；由硬件或软件形成的图像处理单元；监视器(例如，CRT或LCD)；以及输入单元(例如，鼠标或键盘)。这些单元中的某些被集成到MFP 100中。在下面的说明中，管理PC 101执行搜索处理等。然而，由管理PC 101执行的处理可以由MFP 100来执行。

MFP

图2是示出MFP 100的结构的框图。

包括自动进稿器(ADF)的图像读取单元110用光源照射一个或多个堆叠的文档薄片的图像，并通过镜头在固态图像传感元件上形成该文档的反射图像。图像读取单元110按光栅顺序从该固态图像传感元件获取图像读取信号(例如，对于600dpi为8位)。为了复制文档，由数据处理单元115将该图像读取信号转换为打印信号。为了在多个打印薄片上复制，一页的打印信号被临时存储在存储单元111中，并被重复输出到打印单元112以在多个打印薄片上形成图像。

从客户端PC 102输出的打印数据通过LAN 107输入到网络接口(I/F)114。由数据处理单元115将该打印数据转换为可打印的光栅数据，并由打印单元112在打印薄片上形成为图像。

包括MFP 100的按键操作单元和管理PC 101的键盘及鼠标的输入单元113接收从操作者到MFP 100的指令。显示单元116显示操作输入及图像处理的状态。

由数据处理单元115中的例如单片微控制器形成的控制单元115a控制MFP 100的操作。

存储单元111也可以由管理PC 101来控制。通过网络I/F 117及直接连接MFP 100和管理PC 101的通信线109来执行MFP 100和管理PC 101之间的数据传送/接收及控制。

注意，该MFP 100可包括：图像传感装置(例如，数字摄像机或数字视频摄像机)、便携式终端装置(例如，便携式数字助理：PDA)、以及用于从传真装置等获取图像数据的接口作为输入单元113的一部分。

处理概要

图3是用于说明由图像处理系统执行的处理的流程图。

MFP 100操作图像读取单元110以光栅扫描一个文档的图像，并获取图像读取信号。由数据处理单元115对该图像读取信号进行预处理，并作为输入图像的1页图像数据保存在存储单元111中(S301)。

管理PC 101执行块选择(BS)处理，并将存储在存储单元111中的图像数据分割为包含文本或线条图像的文本和线块、半色调照片块、不确定的图像块、以及其它块。该文本和线块被分割为主要包含文本的文本块、以及主要包含表格、图形等的线块。该线块被分割为表格块和图片块(S302)。在第一实施例中，检测所连接的像素，并基于所连接像素的外接矩形块的例如形状、大小、及像素密度将图像数据分割为各属性的块。然而，还可以采用其它块分割方法。

文本块被分割为矩形块(文本块的矩形块)，每个矩形块由文本群例如段落形成。线块被分割为矩形块(表格块的矩形块和线块的矩形块)，每个矩形块由对象例如表格或图形形成。由半色调所表示的照片块被分割为矩形块，例如图像块的矩形块和背景块的矩形块。这些矩形块的信息被称作“块分割信息”。

为了提取嵌入在每个图块(segment)中的原始数据文件指示信息，执行光学字符识别(OCR)和光学标记识别(OMR)(S303)。更具体地，检测作为附加信息在输入图像上打印的二维码(two-dimensional code)或者与统一资源定位器(URL)对应的对象。由OCR识别该URL，由OMR分析该二维码，并且检测每个图块的原始数据文件指示信息。添加指示信息的方式不局限于二维码。相反，本发明可以采用使用不能直接从视觉上识别的所谓数字水印的方法，例如，在相邻字符串之间的间隔中嵌入作为变化的信息的方法，或者嵌入半色调图像的方法。

从OCR和OMR处理的结果或数字水印信息中提取指示信息(S304)。如果在步骤S305中判定已经提取指示信息，则处理进入步骤S306；如果没有提取指示信息，则处理进入步骤S310。

如果已经提取指示信息，则提取包含在OCR和OMR处理的结果或数字水印信息中的图像处理信息(S306)。判断当前图块的图像是否是从原始数据编辑和处理的(S307)。

原始数据的编辑和处理对应于布局的改变、色彩的校正、字体类型的改变等。例如，将图4A中所示的原始数据改变为图4B中所示的图像数据。通过使用矢量数据等、放大文本块、并由MFP100改变打印布局来获取图4B中所示的图像数据，以便用户可以容易地读取该文本。

通过由MFP 100改变原始数据的打印布局来获取图4B中所示的图像，以便用户可以容易地读取该文本。更具体地，放大作为矢量数据获取的原始数据的文本块以增大字体大小。相反，通过转换图像数据的分辨率来缩小照片块。注意，改变后的字体大小信息、缩小比率信息等也作为图像处理信息的一部分来记录。

除了在图4A和图4B中所示的例子外，可以由MFP 100在打印中转换字体，或者可以由单色MFP 100来打印彩色原始数据。同样在这种情况下，结果数据可以被认为是原始数据的编辑后/处理后的图像数据。

如果基于图像处理信息判定该图块是通过编辑和处理原始数据而获取的，则从MFP 100的控制单元115a获取表示对该图块是使用原始数据还是使用输入图像数据的优先数据信息(S308)。

如果该图块的图像数据和原始数据是相同的，即原始数据还没有被编辑或处理，或者如果优先数据信息表示原始数据优先，则根据指示信息搜索存储单元111，以获取原始数据(S311)。注意，该原始数据文件可能不只存储在存储单元111中，还可能存储在客户端PC 102、办公室10或20的数据库服务器105等的硬盘中。即使在这种情况下，仍可基于指示信息来搜索原始数据文件。

如果没有提取指示信息或者优先数据信息表示输入图像数据优先，则对该图块执行矢量转换，以将该图块的图像数据转换为矢量数据(S310)。

判断是否已经对所有图块进行了处理(S312)。如果还有未处理的图块，则处理返回步骤S303。如果已经对所有图块进行了处理，则MFP 100基于矢量数据和/或所获取的原始数据打印文档(S313)。除打印文档之外，可以将该文档传送到客户端PC 102，或传送到办公室10或20的文档管理服务器106并将其存储在数据库服务器105中。

下面将详细说明图3中所示的主要步骤的处理。

块选择(S302)

在块选择中，将图5中所示的1页图像识别为一组对象。每个对象的属性被判定为文本、图片、照片、线、或表格，并将该图像分割为具有不同属性的图块(块)。下面将说明块选择的例子。

目标图像被二进制化为单色图像，并通过轮廓跟踪来提取由黑色像素所包围的像素群。在具有预定面积或更大面积的黑色像素群中，对内部白色像素执行轮廓跟踪，以提取白色像素群。此外，从具有预定面积或更大面积的白色像素群中提取黑色像素群。以这种方式，递归地提取黑色像素群和白色像素群。

生成外接所获取的像素群的矩形块，并基于该矩形块的大小和形状来判定属性。例如，具有高宽比近似为1及预定范围大小的像素群被定义为文本属性的像素群。当文本属性的相邻像素群整齐排列并且可以被分组时，将其定义为文本块。具有低高宽比的平像素群被定义为线块。具有预定大小或更大并近似为矩形形状、且包含整齐排列的白色像素群的黑色像素群的范围，被定义为表格块。其中不确定的像素群分散的块被定义为照片块。具有其它任意形状的像素群被定义为图片块。

图6A和6B是示出块选择的结果的例子的表格。图6A示出每个所提取的矩形块的块信息。块信息包括：每个块的属性、位置坐标X和Y、宽度W、高度H、OCR信息等。由数值1到5给出该属性。“1”表示文本属性；“2”表示图片属性；“3”表示表格属性；“4”表示线属性；“5”表示照片属性。坐标X和Y表示输入图像中的每个矩形块的起点的X和Y坐标(左上角的坐标)。宽度W和高度H分别表示矩形块在X方向的宽度和在Y方向的高度。OCR信息表示指示信息的有/无。

图6B示出输入文件信息，并表示由块选择所提取的矩形块的总数。

每个矩形块的块信息被用于图块的矢量转换。该块信息可以指定矢量转换后的图块和光栅数据之间的位置关系。在不改变输入图像的布局的情况下，可以合成矢量转换后的块和光栅数据块。

指示信息和图像处理信息的提取(S304和S306)

图7是示出从图块的图像数据提取指示信息和图像处理信息的处理的流程图。在将所提取的图像数据存储在数据处理单元115的页存储器(未示出)中之后，由数据处理单元115(或管理PC 101)执行该处理。如图4B所示，假定被提取的图像包含文本块、图片块、以及二维码的符号。将以作为典型二维码的QR码为例进行说明。

从用作块选择的处理结果的块信息中检测QR码^符号的位置(S701)。特定的位置检测要素模式(element pattern)位于QR码^符号的四个角中的三个角处。通过检测该位置检测要素模式可以检测该QR码^符号。

恢复与位置检测要素模式相邻的格式信息，以获取应用于该符号的纠错级别和掩模(mask pattern)(S702)，并判定该符号的模型(S703)。对所获取的掩模和编码后的QR码^符号的区域位模式进行异或(XOR)，以不掩蔽该QR码^符号(S704)。

基于所判定的模型获取布局规则，基于该布局规则读取符号字符，并恢复消息和纠错码字(S705)。基于该纠错码字从所恢复的消息中检测错误(S706)。如果检测到错误，则校正所恢复的消息(S707)。

根据所恢复消息基于方式(mode)指示符和字符计数指示符，将数据码字分割为图块，并恢复该数据码字(S708)。基于所检测到的规范方式对数据码字符进行解码，并将其作为指示信息和图像处理信息输出(S709)。

嵌入在二维码中的数据表示原始数据文件的指示信息和图像处理信息。该指示信息由例如包括文件服务器名和文件名的路径名，或表示相应文件的URL形成。当已经进行图像处理时，该图像处理信息为“1”，而当没有进行图像处理时，该图像处理信息为“0”。

第一实施例已举例说明了将指示信息和图像处理信息作为二维码添加到图像数据的图像数据。然而，可以采用各种方法作为指示信息和图像处理信息的记录形式。例如，根据预定的规则(例如，加密)，可将指示信息和图像处理信息直接记录为字符串，并且可通过块选择来检测该字符串的矩形块。通过识别(例如，解密)所检测到的字符串，可以提取指示信息和图像处理信息。可选地，可对文本块中相邻字符串之间的间隔进行不易觉察的调制，并且可由字符串之间的间隔的调制信息来表示指示信息和图像处理信息。当执行字符识别处理(将在后面说明)时，通过检测字符之间的间隔可检测数字水印，并可提取指示信息和图像处理信息。不用说，指示信息和图像处理信息可以作为数字水印添加到照片块和图片块。

电子文件的获取(S311)

管理PC 101基于包含在指示信息中的路径名或URL来指定文件服务器。管理PC 101访问该文件服务器(对应于MFP 100的数据处理单元115、客户端PC 102、或文档管理服务器106)，并请求该文件服务器传送原始数据文件。在接收到请求时，该文件服务器基于附加在该请求上的路径名或URL来搜索原始数据文件。

如果文件服务器检测到原始数据文件，则它将该原始数据文件传送到MFP 100的数据处理单元115。如果文件服务器没能检测到任何原始数据文件，则它将该结果消息通知给管理PC 101(或数据处理单元115)。

矢量转换(S310)

通过下面的方法来实现矢量转换

(a)对于文本属性的图块，通过OCR处理将文本模式转换为字符代码。可选地，识别该字符的大小、样式、及字体，并将文本模式转换为忠实于视觉的字体数据。

(b)当不可能对线或文本属性的图块通过OCR处理进行字符识别时，跟踪线条图像或字符的轮廓，并将其转换为将轮廓信息表示为线段连接的形式。

(c)对于图片属性的图块，跟踪图片对象的轮廓，并将其转换为将轮廓信息表示为线段连接的形式。

(d)通过Bezier函数等来拟合由方法(b)或(c)获取的线段形式的轮廓信息，并将其转换为函数信息。

(e)从由方法(c)获取的图片对象的轮廓信息来识别图形的形状，并将其转换为图形定义信息例如圆、矩形、或多边形。

(f)对于表格属性的图块，识别格线和框，并将其转换为预定格式的形式信息。

除上述方法之外，还有用命令定义信息例如代码信息、图形信息、或函数信息来代替图像数据的各种矢量转换方法。

文本块的矢量转换

图8是详细示出矢量转换(S310)的流程图，该处理由数据处理单元115(或管理PC 101)来执行。

通过参考块信息来判断图块是否具有文本属性(S901)。如果该图块具有文本属性，则处理进入步骤S902，以使用给定的模式匹配方法来执行字符识别，并获取对应的字符代码。

如果该图块具有除文本属性以外的属性，则执行基于图像的轮廓的矢量转换(S912)，稍后将对其详细说明。

如果该图块具有文本属性，则计算像素值的水平和垂直投影(S902)，并且为了判断排版的方向是垂直书写还是水平书写，而估计投影的分布(S903)。如果水平投影的分布较大，则判定排版的方向是水平书写；如果垂直投影的分布较大，则判定排版的方向是垂直书写。基于该判定结果来提取行，然后提取字符以获取字符图像(S904)。

在分解为字符串或字符时，在水平书写中使用水平投影来提取行，并从所提取的行的垂直投影来提取字符。在垂直书写中使用垂直投影来提取行，并从所提取的行的水平投影来提取字符。在提取行和字符时，还可以检测字符大小。

通过将从字符图像所获取的特征转换为几十维的数值串，来生成每个所提取字符的观测特征矢量(S905)。各种已知的方法可用于特征矢量提取。例如将字符分割为网格模式，并将各网格的字符线作为依赖于其方向的线要素来计数，以获取(网格数)维的矢量作为特征。

将观测特征矢量与对每个字符类型提前获取的并存储在特征字典中的特征矢量进行比较，并计算特征矢量之间的距离(S906)。估计所计算的距离，并将具有最短距离的字符作为识别结果输出(S907)。将作为距离估计结果的最短距离和阀值进行比较。如果该最短距离小于该阀值，则判定相似性高；如果该最短距离等于或大于该阀值，则判定相似性低(S908)。如果该最短距离等于或大于该阀值(相似性低)，则该字符很可能被错误地识别为具有相似形状的另一字符。因此，不采用步骤S907中的识别结果，如线条图像一样来处理该字符图像，并将该字符图像的轮廓转换为矢量(S911)。换句话说，对于很可能被错误识别的字符图像，生成忠实于视觉的轮廓的矢量数据。

如果相似性高，则采用步骤S907中的识别结果，将字体信息和字符代码一起输出，识别该字符字体(S909)。通过对字符识别中使用的各字符类型按照字符形状类型即字体类型编制多个特征字典，来执行字体识别。通过参考由字符识别和字体识别获取的字符代码和字体信息，并使用按照该字符代码和字体信息提前编制的轮廓数据，将每个字符转换为矢量数据(S910)。对于彩色图像数据，提取字符的颜色，并将其与矢量数据一起记录。

通过上述处理，包含在文本属性的图块中的字符图像可被转换为具有基本忠实的形状、大小、及颜色的矢量数据。

除文本块之外的块的矢量转换(S912)

至于被判定具有除文本属性外的图片属性、线属性、及表格属性的图块，提取黑色像素群，并将其轮廓转换为矢量数据。注意，照片属性的图块不被转换为矢量，并保持图像数据不变。

在除文本块以外的块的矢量转换中，为了将线条图像等表示为线和/或曲线的结合，检测将曲线分为多个部分(像素串)的“拐角”。图9是用于说明矢量转换中的拐角提取处理的视图。拐角是指对应于最大曲率的点，并通过如下方法来判断图9中的曲线上的像素Pi是否为拐角。

像素Pi被定义为起点，从像素Pi通过预定的像素数k沿线条图像曲线的相反方向分开的像素Pi-k和Pi+k通过线段L连接。d1为像素Pi-k和Pi+k之间的距离，d2为从像素Pi画出与线段L垂直相交的线段的长度(像素Pi和线段L之间的距离)。然后，当d2最大化或者当像素Pi-k和Pi+k之间的弧长A与距离d1的比率d1/A等于或小于预定的阀值时，像素Pi被判定为拐角。

在检测到拐角之后，在该拐角处分割的线条图像曲线的像素串由直线或曲线来近似。通过最小二乘法等来执行近似为直线，而使用三次样条函数等来执行近似为曲线。分割像素串的拐角处的像素用作近似直线或近似曲线的起点或终点。

判断在矢量转换后的轮廓中是否存在白色像素群的内部轮廓。如果内部轮廓存在，则将该轮廓转换为矢量，并将其定义为内部轮廓内的内部轮廓。以这种方式，将黑色和白色像素群的内部轮廓递归转换为矢量。

通过使用将轮廓近似为直线或曲线的方法，可将任意形状的图形的轮廓转换为矢量。当输入图像为彩色时，从该彩色图像中提取该图形的颜色，并将其与矢量数据一起记录。

图10是用于说明矢量转换中的结合轮廓的处理的视图。

当轮廓的感兴趣部分中的外部轮廓PRj靠近内部轮廓PRj+1或另一外部轮廓时，可将两个或更多个轮廓进行结合，以表示具有给定宽度的线。例如，计算轮廓PRj+1上的像素Pi和轮廓PRj上与像素Pi具有最短距离的像素Qi之间的距离PQi。当该像素间的距离PQi变化很小时，通过沿各线段PQ中点M的点序列的直线或者曲线来近似轮廓PRj和PRj+1之间的感兴趣部分。沿中点M的点序列的近似直线或近似曲线的宽度由例如距离PQi的平均值给出。

为线或者一组线的表格的格线被表示为具有宽度的一组线，并可将其高效转换为矢量。

图的识别

在将线图形等的轮廓转换为矢量之后，对每个图形对象分组矢量转换后的划分线(partial line)。

图11是示出对通过矢量转换生成的矢量数据进行分组的处理的流程图。图11示出对每个图形对象分组矢量数据的处理。

计算每个矢量数据的起点和终点(步骤S1401)。通过使用该起点和终点的信息，检测图形要素(步骤S1402)。该图形要素是由划分线形成的闭合图形。在检测中，在用作起点和终点的拐角像素处连接矢量。即应用形成闭合形状的矢量具有连接到两个端点的矢量的原理。

判断在目标图形要素中是否存在另一图形要素或划分线(S1403)。如果另一图形要素或划分线存在，则递归重复步骤S1401和S1402。将所检测到的图形要素或划分线分组到一个图形对象中(S1404)。如果在图形要素中既不存在图形要素也不存在划分线，则将目标图形要素定义为图形对象(S1405)。

图11仅示出对一个图形对象的处理。如果另一图形对象存在，则重复图11中的处理。

图形要素的检测(S1402)

图12是示出检测图形要素的处理的流程图。

从排除没有连接在两个端点的矢量的矢量数据中，提取形成闭合图形的矢量(S1501)。

将形成闭合图形的矢量中的感兴趣矢量的任一端点(起点或终点)设置为起点，并沿预定的方向(例如，顺时针)依次搜索矢量。即，在感兴趣矢量的其它端点处搜索另一矢量的端点，并将预定距离内的最近的端点设置为将要连接的矢量的端点。在跟踪形成闭合图形的全部矢量而到达起点之后，所有经过的矢量被分组为形成一个图形要素的闭合图形(S1502)。在该闭合图形内形成闭合图形的所有矢量还进行递归分组。此外，还没有被分组的矢量的起点被设置为起点，并重复上述处理。

在所排除的矢量中，检测端点和被分组为闭合图形的矢量相邻的矢量(连接到闭合图形的矢量)，并且也被一起分组(S1503)。

数据格式

在图3中所示的块选择(S302)之后，通过使用矢量转换(S310)的结果数据，在步骤S313中执行转换为应用程序数据的处理。图13是示出表示矢量转换的结果的中间数据的格式的视图。中间数据以所谓的文档分析输出格式(DAOF)保存。

DAOF包括：头1601、布局描述数据字段1602、字符识别描述数据字段1603、表格描述数据字段1604、及图像描述数据字段1605。该头1601保持将被处理的输入图像的信息。

该布局描述数据字段1602保持表示输入图像中的矩形图块的属性信息(例如，文本、题目、标题、线、图片、框、表格、及照片)，以及该矩形图块的位置信息。

该字符识别描述数据字段1603保持字符识别结果，该字符识别结果是通过对在文本属性例如文本、题目、或标题的矩形图块中由用户所指定的块执行字符识别而获取的。

该表格描述数据字段1604保持表格属性的矩形图块的表格结构的细节。该图像描述数据字段1605保持从图片属性或线属性的矩形图块中的输入图像数据中提取的图像数据。

对于经过矢量转换的块，该图像描述数据字段1605保持由矢量转换所获取的图块的内部结构，以及表示图像形状、字符代码等的一组数据。对于不是所指定的块而是未经过矢量转换的块中的矩形图块，该图像描述数据字段1605保持输入图像数据。

通过上述处理，可以将图形块作为可重复使用的独立的图形对象来对待。

优先数据信息的提取(S309)

在图3所示的步骤S309中，获取用于判断是使用输入图像数据还是使用原始数据来处理输出图像的优先数据信息。下面将说明该优先数据信息。

用户操作MFP 100的输入单元113以指定获取由文档管理服务器106等管理的输入图像数据还是原始数据作为输出图像。MFP100的控制单元115a在优先数据信息中设置该指定。所设置的优先数据信息被存储在控制单元115a中，并在步骤S308的优先数据信息的获取中将其从控制单元115a读出。

为了容易地读取图4A中所示的原始数据的文本部分，由MFP100以放大文本部分的布局打印的结果(图4B)在外表上看与由文档管理服务器106等管理的原始数据很不相同。如果用户可以容易地选择使用哪一个布局来打印，他就可以容易地获取所期望的输出结果。

在上面说明中，当通过网络I/F 117(或114)打印或输出输入图像数据时，选择使用输入图像数据还是使用原始数据。当MFP100可以在显示单元116上预览图像，在步骤S305中指示信息存在，并在步骤S307中进行编辑和处理时，MFP 100预览输入图像数据和原始图像数据，以便用户可以对其进行比较。在步骤S308中，用户从MFP 100的输入单元113输入优先数据。用户可以在预览时确认输入图像数据和原始数据，然后选择其中之一，提供对用户友好的结构。

根据第一实施例，当再次复制为视力差的人改变其布局后打印的文档时，同样差视力的人接收具有改变后的布局的文档的副本。视力正常的人可以接收原始数据布局的副本。从而可以实现一种便利的系统。

另外，该系统允许自由复制，以便甚至将曾以单色打印的彩色文档复制为高分辨率的彩色文档或者为了大量分发而进行单色复制。

第二实施例

将说明根据本发明第二实施例的图像处理系统。在第二实施例中，和第一实施例中相同的附图标记表示相同的部分，并省略其详细说明。

在第一实施例中，基于优先数据信息来选择是使用输入图像数据还是使用原始数据。在第二实施例中，即使当将使用输入图像数据时，仍获取并处理原始数据，以获取与输入图像数据的输出结果相同的输出结果，而不使用输入图像数据本身。

图14是用于说明由根据第二实施例的图像处理系统执行的处理的流程图。和图3中所示的处理中相同的附图标记表示相同的步骤，并省略其详细说明。

如果在步骤S305中判定没有提取指示信息，则处理进入步骤S310；如果提取了指示信息，则根据该指示信息搜索存储单元111等，以获取原始数据(S1506)。

提取包含在OCR及OMR处理结果中的图像处理信息和数字水印信息(S1507)。判断当前图块的图像是否已经从原始数据编辑和处理过(S1508)。如果该图块保持原始数据(图像没有被编辑或处理过)，则处理进入步骤S312以利用原始数据来打印该图块。

如果判定该图块已经被编辑和处理过，则从MFP 100的控制单元115a获取优先数据信息，该优先数据信息表示是使用该图块中的原始数据还是使用对原始数据编辑/处理过的数据。如果该优先数据信息表示原始数据优先，则处理进入步骤S312，以利用原始数据来打印该图块。

如果该优先数据信息表示输入图像优先，则基于从图像处理信息获取的图像处理内容，由数据处理单元115对该原始数据执行图像处理，以设置与输入图像的布局相同的布局(S1510)。

由于即使在给出输入图像优先的输出格式中，也获取、编辑、和处理原始数据，因此可以获取比第一实施例更忠实于原始图像的输出。当MFP 100具有预览功能时，还可以在预览时设置输入图像优先或原始图像优先。

实施例的修改

优先数据信息的设置定时不局限于图3或图14中所示处理开始之前的定时。例如，如果判定在图3或图14中所示处理开始之后，已经处理了输入图像，则可以在显示单元116上显示提示用户判断哪个图像优先的消息，以提示用户选择任一图像。

用于执行图像处理的装置不局限于图1和图2中所示的图像处理系统的结构，可以采用各种装置例如专用的图像处理装置和通用的计算机。当通用的计算机执行图像处理时，向该通用计算机提供可以由计算机执行的、并包含用于使该通用计算机执行图像处理步骤的程序代码的程序。更具体地，从包含在通用计算机中的ROM、通用计算机可读的存储介质、或者通过网络的服务器等读入该程序。

其它实施例

注意，本发明可应用于包括单个设备的装置或者由多个设备构成的系统。

而且，可以通过将实现前述实施例功能的软件程序直接或间接地提供给系统或装置，由该系统或装置的计算机读取所提供的程序代码，然后执行该程序代码，来实现本发明。在这种情况下，只要该系统或装置具有该程序的功能，实现的方式无需依赖于程序。

因此，由于通过计算机来实现本发明的功能，因此安装在计算机中的程序代码也实现本发明。换句话说，本发明的权利要求还覆盖用于实现本发明的功能的计算机程序。

在这种情况下，只要该系统或装置具有该程序的功能，可以以任意形式来执行该程序，例如目标代码、由解释程序执行的程序、或者提供给操作系统的脚本数据。

能用于提供程序的存储介质的例子包括：软盘、硬盘、光盘、磁光盘、CD-ROM、CD-R、CD-RW、磁带、非易失性存储卡、ROM、以及DVD(DVD-ROM及DVD-R)。

至于提供程序的方法，可以使用客户端计算机的浏览器将客户端计算机连接到因特网上的网站，并将本发明的计算机程序或该程序的可自动安装的压缩文件下载到记录介质例如硬盘。此外，可以通过将构成该程序的程序代码分割为多个文件并从不同的网站下载这些文件来提供本发明的程序。换句话说，本发明的权利要求还覆盖将由计算机实现本发明的功能的程序文件下载到多个用户的WWW(万维网)服务器。

还可能对本发明的程序进行加密并将其存储在存储介质例如CD-ROM上，将该存储介质分发给用户，允许满足确定要求的用户通过因特网从网站下载解密密钥信息，并允许这些用户通过利用该密钥信息来解密被加密的程序，从而将该程序安装在用户计算机上。

除了由计算机执行所读取的程序来实现根据实施例的前述功能的情况外，运行在计算机上的操作系统等可以执行全部或部分实际处理，使得可通过该处理来实现前述实施例的功能。

而且，在从存储介质读取的程序被写入到插入在计算机中的功能扩展板或连接在计算机上的功能扩展单元提供的存储器中之后，安装在功能扩展板或功能扩展单元上的CPU等执行全部或部分实际处理，使得通过该处理实现前述实施例的功能。

由于在不脱离本发明的精神和范围的情况下，可以做出本发明的许多明显不同的实施例，因此应该理解，除了在所附权利要求中定义的以外，本发明不局限于其特定的实施例。

Claims

1.一种图像处理装置，包括：

第一输入部分，用于输入图像数据；

提取器，用于从该图像数据中提取指示信息和图像处理信息，该指示信息用于指定该图像数据的原始数据的存储位置，该图像处理信息表示该图像数据是否是作为对该原始数据进行图像处理的结果而获取的；

获取器，用于获取表示是使用图像数据还是使用原始数据的选择信息；

转换器，用于当没有提取出指示信息时、当图像处理信息表示还没有进行处理时、或者当选择信息表示使用图像数据时，将该图像数据转换为矢量数据；

第二输入部分，用于当提取了指示信息、图像处理信息表示已经进行了处理、以及选择信息表示使用原始数据时，基于该指示信息输入原始数据；以及

图像处理器，用于基于矢量数据或原始数据形成图像。

2.根据权利要求1所述的图像处理装置，其特征在于，该指示信息和图像处理信息被作为二维码或数字水印添加到该图像数据。

3.根据权利要求1所述的图像处理装置，其特征在于，所述第一输入部分包括读取文档图像的图像读取装置，或者从该图像读取装置接收图像数据的接口。

4.根据权利要求1所述的图像处理装置，其特征在于，还包括用于存储图像数据的存储器；以及网络接口，

其中所述第二输入部分从所述存储器或者通过所述网络接口从外部装置接收原始数据。

5.根据权利要求1所述的图像处理装置，其特征在于，还包括用于设置选择信息的设置器。

6.根据权利要求1所述的图像处理装置，其特征在于，还包括设置器，该设置器用于当提取了指示信息、并且图像处理信息表示已经进行了处理时，提示用户设置选择信息，并根据来自用户的指令设置选择信息。

7.根据权利要求1所述的图像处理装置，其特征在于，还包括分割部分，该分割部分用于从所述第一输入部分输入的图像数据中分割块，

其中所述提取器、所述转换器、以及所述第二输入部分对每个块进行处理。

8.根据权利要求7所述的图像处理装置，其特征在于，该图像处理包括放大或缩小每个块、和/或移动每个块、以及改变图像的布局的处理。

9.根据权利要求7所述的图像处理装置，其特征在于，该图像处理包括改变具有文本属性的块的字符大小和/或字体类型的处理。

10.根据权利要求1所述的图像处理装置，其特征在于，该图像处理包括将彩色图像转换为单色图像的处理。

11.一种图像处理方法，包括以下步骤：

输入图像数据；

从该图像数据提取用于指定该图像数据的原始数据的存储位置的指示信息；

提取图像处理信息，该图像处理信息表示该图像数据是否是作为对该原始数据进行图像处理的结果而获取的；

获取表示是使用图像数据还是使用原始数据的选择信息；

当没有提取出指示信息时、当图像处理信息表示还没有进行处理时、或者当选择信息表示使用该图像数据时，将该图像数据转换为矢量数据；

当提取了指示信息、图像处理信息表示已经进行了处理、以及选择信息表示使用该原始数据时，基于该指示信息输入原始数据；以及

基于该矢量数据或原始数据形成图像。

12.一种图像处理方法，包括以下步骤：

从输入图像数据提取用于指定该图像数据的原始数据的存储位置的指示信息；

获取图像处理信息，该图像处理信息表示该图像数据是否是作为对原始数据进行图像处理的结果而获取的；以及

当提取了指示信息、并且图像处理信息表示已经进行了图像处理时，提示用户选择使用图像数据还是使用原始数据。