CN1280772C - 图像处理设备 - Google Patents

Abstract

一个域块提取单元从一个原始图像提取一个域块图像。一个范围块提取单元从该域块图像附近的区域提取一个范围块图像。该范围块图像的大小比域块大并比放大块小。一个缩小范围块形成单元将范围块图像缩小到域大小以生成一个缩小范围块图像。一个类似度判断单元比较缩小范围块图像与域块图像以选择最高类似度的范围块图像。一个放大范围块形成单元通过将最高类似度范围块图像的大小放大到其放大大小来形成一个放大范围块图像。一个放大图像获取单元使用各个放大范围块图像生成一个原始图像的放大图像。

Description

图像处理设备

技术领域

本发明涉及一种用于对以多灰度方式表现的图像进行放大处理的图像处理设备，还涉及一种用于利用计算机执行图像放大处理操作的程序。

背景技术

数字图像的信号处理操作之一是放大处理操作。例如，在数据库领域和高精度彩色印刷领域都需要具有高图像质量的各种图像处理功能。在这些图像处理功能中，需要图像放大功能。图像放大处理操作对于能够编辑、填充、显示、和印刷图像的系统来说可能构成了其基本处理操作之一。例如，在从外部源输入的数字图像以放大方式被具有不同分辨率的打印机打印出来，或者被显示在显示单元上的情况下，需要对这些数字图像进行放大处理操作。例如，在以全屏幕模式把720(水平方向)×480(垂直方向)像素规格的图像数据显示在一个具有800×600像素的显示单元上时，需要这种图像放大操作。而且，这种放大处理操作还可以构成一种非常重要的功能，作为在连接具有不同分辨率的媒体时所需要使用的分辨率转换功能，例如这些媒体可以是HDTV(高清晰度电视)系统、NTSC型电视、电子静物摄像机、医学成像系统和印刷成像系统。此外，近来，由于主要以约75[dpi]的较低分辨率(显示分辨率)显示的图像数据正在普及，这些低分辨率图像数据(例如因特网网页和数字视频的图像)由高分辨率打印机打印出来，以便获得具有高图像质量的印出结果，在这种情况下，肯定需要具有高图像质量的放大处理操作。

作为用于对以多灰度模式表现的多值图像进行放大处理的方法，即用于获得放大后的各个像素位置的值的方法，已经提出了很多方法，例如已经知道有基本上采用内插的放大系统(此后称为“内插放大系统”)，例如最近邻域法、双线性法、和三次卷积法。

最近领域法对应于这样一种方法，即当把像素逆映射到原始图像时，把位于其最近距离的像素的像素值用作放大后的每个像素值。例如，现在假设沿x方向的放大率是“a”，沿y方向的放大率是“b”，计算原始图像上的逆映射点，其中放大后的相应坐标点(X，Y)分别被放大1/a和1/b，然后，把原始图像上位于最近距离的像素值设置为像素值(X，Y)。

双线性法对应于以下方法。即，现在假设以线性方式改变像素中的像素值，参考位于一个放大后像素所逆映射的点附近的像素(例如4个相邻像素)，对沿着x方向和y方向由像素点(四个相邻像素中的4个点)围绕的区域进行线性近似(线性内插)，以便获得在该逆映射点的像素值。在该双线性法中，尽管其处理负载变得高于最近邻域法的负载，但是其计算量相对小于最近邻域法的计算量。而且，由于线性内插法自身具有平滑效果，与最近邻域法相比，很难出现锯齿。

三次卷积法对应于这样一种方法。即，当基于抽样理论定义一个用于近似一sinc函数{sinc(x)＝sin(x)/x}的内插函数时，利用上述近似内插函数对放大后像素所逆映射的点的相邻像素进行卷积，以便获得放大后的像素值。例如，这些相邻像素是由沿着x方向和y方向的4像素构成的16个像素。

该三次卷积法是基于以下概念建立的。即，当利用这样一种理想特性，即sinc函数的频率特性在Nyquist频率内等于“1”而在Nyquist频率外等于“0”时，由相似操作(resembling operation)造成的折叠失真(folding distortion)被抑制。由于三次卷积法可以产生清晰图像，所得的图像质量变得好于上述两种其它方法的图像质量。

但是，这些内插/放大方法具有一种倾向，即本质上会发生模糊现象。尽管最近邻域法由于其简单的处理操作和小的计算量而可以执行高速处理操作，但是因为原始图像的一个像素被直接在一个矩形形状中放大，会发生大规模的可见的图像质量降低。例如，在原始图像中存在斜线或边界线的情况下，在一个放大图像中包含的边沿部分和斜线部分中，和/或当放大率较大时，可能产生Z字形缺陷(称为“锯齿”)，并且放大的图像成为马赛克形(块图像状)。在双线性法中，由于强调平滑(低通滤波)效果，整个图像可能变得模糊。即，边沿部分主要由低通滤波效果进行平滑，而图像以线性方式改变的假设不能应用于边沿部分。由于三次卷积法的计算量变得大于其它两种方法的计算量并且其参考范围变得较大，当需要高速处理操作时，该三次卷积法不适用。而且，由于sinc函数对应于一个无限连续函数，该三次卷积法具有高频范围被强调的特性，这是由于该无限连续函数在预定范围(即，在16个像素的情况下，-2到+2)内被切断造成的。结果，在边沿部分可能产生少量的所谓“锯齿”，并且噪声分量可能被强调，这些都比最近邻域法中的程度轻。

相反地，近来，作为与上述内插/放大方法完全不同的方式，已经提出了一种放大方法，其能够通过利用重复转换编码操作来防止模糊现象、锯齿、和块失真的发生。例如，有些放大方法在这些重复转换编码操作中使用分形概念思想(fractal conceptional idea)(例如，美国专利No.5,065,447等)。而且，采用普通IFS(叠函数系统)以便利用分形概念思想。现在将把通过使用分形概念思想、基于重复转换编码操作建立的放大系统称为“分形放大方式”。

分形概念思想意味着在以下一种初始条件下一个图像的自相似特性，即，当从整个图像中导出图像的一部分时，在该图像中存在更相似于该导出图像、但是大小不同的另一个图像。那么，该分形放大方法具有这样一个优点，即，由于块图像失真不出现，并且在图像内使用在具有不同大小的块图像之间建立的自相似特性，因此分形放大的图像在解码操作期间不依赖于分辨率。而且，该分形放大方法甚至在较大放大率时也能获得具有高图像质量的放大图像。例如，上述美国专利No.5,065,447已经提出用于如下获得放大图像的方法。即，对于一个具有放大尺寸的初始图像，把一个由于该放大的初始图像而被以相同放大率放大的范围块图像(range block image)进行坐标变换和像素值变换。而且，重复这种处理操作，以把范围块图像的变换位置替换为以相同放大率放大的域块图像(domain block image)的位置。在该分形放大方法中，当利用分形概念的特征时，通过抑制锯齿的发生可以获得具有较少模糊成分的放大图像。

但是，在使用重复转换编码操作的放大方法中，由于通过重复预定的处理操作来产生放大的图像，其处理时间明显变得比内插/放大方法更长。例如，在分形放大方法中，搜索范围块图像会增加处理时间。此外，仅通过对域块图像执行仅一次代入处理操作将难以产生在视觉上可容忍的放大图像。结果，由于这些处理操作被重复进行以便获得放大的图像，用于获得视觉上可容忍的放大图像所需的处理时间将变长。而且，该分形放大方法还有另一个图像质量恶化问题。即，对于一个文件图像和一个台阶状边沿部分，可能发生块失真，可能产生噪声状干扰(拖影)，并且可能发生裂片状像素值的渗出。而且，常规分形放大方法具有这样一个问题，即，杂乱部分的再现性变差(即，模糊现象和噪声)。

为了能够解决分形放大方法具有的涉及图像质量的问题，例如，在美国专利No.6,141,017，日本专利申请公开No.HEI 11-331595，和日本专利申请公开No.HEI 11-8758中已经提出了一些尝试性方法。

上述美国专利No.6,141,017已经提出了以如下方式抑制在块图像之间的边界中发生的不连续特性的方法，即，以重叠方式产生域块图像，并且当代入范围块图像时，仅用范围块图像的内侧部分代替对应于域块图像的内侧部分。而且，该美国专利已经提出了执行放大处理操作的方法，该放大处理操作能够以如下方式通过分形放大方法、在更好的条件下再现边沿部分，即，根据在计算像素值变换系数时需要的在块图像中包含的像素值的分散，把块图像划分为边沿部分和平坦部分，同时通过对平坦部分采用另一个方法来对平坦部分变为图像色调加以抑制。但是，该常规方法仍然能够解决以下的图像质量恶化问题，即，在台阶状边沿部分发生的噪声状干扰，以及裂片状像素值渗出。

而且，上述日本专利申请公开No.HEI-11-331595已经提出了这样一种方法，其能够以如下方式抑制在块图像之间的边界发生的不连续特性。即，同时把分形放大方法和双线性放大方法应用于该图像，当其差别较小时，采用由分形放大方法获得的处理结果，而当其差别较大时，采用双线性法获得的结果。或者，根据差别的大小，把两个结果相互混合。但是，该常规方法具有一个倾向，即，在线性放大方法和分形放大方法之间的差别较大时在边沿部分选择双线性法。因此，该常规方法的一个缺陷是，不能实现清楚的边沿再现(即，分形放大方法所获得的特征)，使得得到的图像变模糊。

而且，上述日本专利申请公开No.HEI-11-8758已经提出这样一种方法，其在被提供了用于存储范围块图像的使用频率的频率分布手段时，在搜索操作中不使用其使用频率低的范围块图像，使得能够以高速执行搜索操作。但是，由于基于使用频率的范围块图像搜索范围中的限制从该方法的图像质量考虑是没有理由的，因此存在的一个缺陷是，该限制可能造成图像质量恶化。

如前所述，能够改善分形放大方法的常规方法已经分别提出了针对图像质量问题和处理时间问题的改进措施。这些图像质量问题是在产生放大图像时可能发生的锯齿、模糊现象、和块失真。但是，仍然不能以综合方式解决这些问题。

发明概述

本发明是为了解决上述常规问题，因此，本发明的目的是提供一种图像处理设备和程序，它们能够放大一个图像，同时保证相对于处理时间的平衡，并防止出现诸如模糊现象、锯齿和块失真等图像劣化。

也就是说，根据本发明的图像处理设备是用于放大处理一个用大量像素表示的原始图像以获得一个放大图像的图像处理设备，包括：一个域块提取单元，用于以第一块单位划分原始图像以从原始图像提取多个域块图像；和一个范围块提取单元，用于从原始图像中以第二块单位提取一个范围块图像，该第二块单位大于第一块单位，同时小于以预先设置的放大率放大第一块单位所获得的一个放大块单位。该图像处理设备还包括：一个放大范围块形成单元，用于以这样的方式形成一个放大范围块图像，即，由范围块提取单元提取的范围块图像以放大块单位被放大，根据域块图像和范围块图像之间的关系转换以放大块单位所放大的图像的每个像素值；和一个放大图像获取单元，用于以这样的方式获取一个放大图像，即，使用由放大范围块形成单元形成的每个放大范围块图像，以预先设置的放大率放大原始图像。

而且，根据本发明的另一方面，本发明可以定义根据本发明的图像处理设备的其它有利的具体例子。另外，根据本发明的一个程序适合于以软件方式利用计算机实现根据本发明的图像处理设备。该程序显然可以通过存储在计算机可读存储介质上来提供。这个程序也可以通过有线通信装置或无线通信装置来发布。

[操作]

在使用上述结构的图像处理设备中，范围块提取单元从原始图像中以第二块单位提取范围块图像，第二块单位大于第一块单位，同时小于以预先设置放大率放大第一块单位而获得的放大块单位。换句话说，范围块提取单元设置这样一个具有合适大小的范围块，其大小大于域块大小，同时小于所希望的放大块大小。

放大范围块形成单元以这样的方式形成放大范围块图像，即，所提取的范围块图像以放大块单位被放大，并根据域块图像和范围块图像之间的关系(例如相似关系)转换以放大块单位放大的图像的每个像素值。换句话说，放大范围块形成单元将所设置的范围块放大到所希望的大小(此时，显然需要预先确定的像素值转换)，然后根据域块图像(原始图像)和范围块图像之间的关系获得一个新像素值(即像素值被再次转换)。应当指出，对于同时设置域块和范围块以获得放大图像的这样一个技术要点，可以通过有效地使用常规分形概念思想的技术特征来获得这样一个放大图像。

附图简要说明

图1是一个方框图，用于表示安装有根据本发明的图像处理设备的图像处理系统；

图2是用于表示在图像处理设备中使用的第一实施例的图像放大处理单元细节的方框图；

图3用于解释在缩小范围块形成单元中使用投影方法的情况下所执行的处理操作；

图4用于解释在放大范围块形成单元中使用投影方法的情况下所执行的处理操作；

图5用于表示在重叠处理操作情况下放大像素值的重叠量的一个例子；

图6用于解释考虑图像放大处理操作在根据第一实施例的图像处理设备中的处理顺序操作；

图7用于表示根据第一实施例直到重叠处理操作之前的处理操作的一个实施例；

图8是表示第二实施例的图像放大处理操作的方框图；

图9用于表示由放大率分割单元在放大率再分中使用的放大率组合的例子；

图10是一个流程图，用于描述在根据第二实施例的图像处理设备中执行的处理顺序操作；

图11是图示第三实施例的图像放大处理单元的方框图；

图12是一个流程图，用于解释在根据第三实施例的图像处理设备中执行的处理顺序操作；

图13用于解释在第三实施例的处理顺序操作中分析一个块图像特性的具体处理操作；

图14是图示根据第四实施例的图像放大处理单元的方框图；

图15用于解释在第四实施例中图像分析单元的操作；

图16是图示根据第五实施例的图像放大处理单元的方框图；

图17是图示根据第六实施例的图像放大处理单元的方框图；

图18是一个流程图，用于描述在根据第六实施例的图像处理设备中执行的处理顺序操作；

图19用于表示在使用计算机配置图像处理设备的情况下一个硬件结构的例子。

优选实施例的详细描述

现在参见附图，将详细描述本发明的各个实施例。

图1是用于表示安装有根据本发明的图像处理设备的图像处理系统(在下文中将简称为“系统”)的方框图。系统1包括图像输入终端3、图像处理设备5和图像输出终端7。

图像输入终端3可以包括任意数目的图像源，用于执行处理操作以形成数字文件(在下文将简称为“文件”)DOC并编辑该文件DOC，例如个人计算机31、彩色扫描仪32、数字照相机33和诸如硬盘单元的存储介质。例如，该图像输入终端3可以是具有能够通过一个通信网络(未图示)获取图像的通信功能的终端设备。在这些终端设备的每个设备中安装有用于形成文件DOC的应用程序。代表文件DOC的图像数据已经以能够由图像处理设备5处理的一种图像格式(例如JPEG、BMP、PNG等)描述。图像输入终端3将文件DOC输入给构成系统1一部分的图像处理设备5。

图像处理单元5包括图像数据获取单元52、图像数据存储单元54、扩展处理单元55、图像放大处理单元56和图像数据输出单元59。图像数据获取单元52获取代表文件DOC的数字图像数据。图像数据存储单元54在其中临时存储图像数据。当图像数据获取单元52所获取的图像对应于一个压缩图像时，扩展处理单元55扩展该压缩图像。图像放大处理单元56以任意设置的分辨率放大处理一个图像。图像数据输出单元59将已经被放大处理的代表一个图像的放大图像数据“D10”输入给图像输出终端7。

图像数据存储单元54在其中存储由图像数据获取单元52获取的输入图像数据、已经由图像放大处理单元56放大处理的放大图像数据或者中途获取的各种计算结果以及在图像放大处理操作56中执行放大处理操作时使用的处理参数。

图像输出终端7包括基于光栅输出扫描(ROS)的打印引擎70和显示设备80等。这个基于光栅输出扫描的打印引擎70可以与图像处理设备5的各种功能组合操作，并使系统1作为一个数字打印系统操作。显示设备80用于作为图像显示系统操作。

打印引擎70包括打印输出处理单元72、激光器光源74、激光器驱动单元76和多角镜(旋转多面镜)78。打印输出处理单元72为打印出图像处理设备5所输出的放大图像数据D10执行一个预定处理操作。激光器光源74发射一个激光束。激光器驱动单元76根据打印处理单元72输出的数据来控制(即调制)激光器光源74。多角镜78将激光器光源74所发射的激光束反射到一个光敏元件79。打印输出处理单元72根据公知技术针对代表放大图像的放大图像数据D10生成代表多种(最好至少三种)不同颜色的数据，然后转换(render)所生成的数据(即扩展成光栅数据)。例如，根据用扩展颜色校正数字数据D10表示的YCrCb颜色系统生成至少三组(最好四组)光栅数据。例如生成这样的光栅数据，该数据已经映射到CMY颜色系统或CMYK颜色系统之一，并且随后为了打印进行颜色分离。而且，当打印输出处理单元72执行该光栅数据处理操作时，该打印输出处理单元72执行底层颜色删除(UCR)操作，或者执行灰度分量替换(GCR)。在该底层颜色删除操作(UCR)中，一个彩色图像的CMY颜色分量在颜色上被减去。在灰度分量替换(GCR)中，颜色被减去的CMY分量被部分地用一个K分量替代。而且，打印输出处理单元72可以执行颜色分离的线性化或者类似的处理操作以调整响应于输出数据(CMYK等)形成的输出图像的调色剂图像。

使用这种结构，打印引擎70使由激光器光源74所生成的激光束反射在多面镜78的多个平面(表面)上，从而曝光光敏元件79，并以扫描方式在光敏元件79上形成一个潜像。当潜像形成时，打印引擎70根据在本技术领域中公知的多种显影方法中适当选择的任意一种显影方法来显影这个潜像，然后输出一个作为可视图像的已经由图像处理设备5放大处理的彩色图像。还应当指出，当一个彩色图像作为可视图像输出时，代表彩色图像的数据包含至少三个(最好四个)彩色分离数据(例如C、M、Y和K等)，这些颜色被分别作为一个图像平面单独处理，或者以一种亮度-色度格式被处理。

显示设备80包括显示输出处理单元82和显示单元84。显示输出处理单元82根据图像处理设备5所输出的放大图像数据D10执行一个预定的输出处理操作。显示单元84由CRT(阴极射线管)、液晶显示器(LCD)或有机EL(电致发光)构成，并根据显示输出处理单元82输出的数据显示一个可视图像。该显示输出处理单元82最好安装在例如个人计算机主机86内，它以软件方式或硬件方式与显示单元84结合使用。显示输出处理单元82根据公知技术针对图像处理设备5所输入的放大图像数据D10生成代表多个(最好至少三个)独立颜色的数据，然后转换所生成的数据(即扩展成光栅数据)。例如，从放大颜色图像数据D10所指示的YCrCb颜色系统生成光栅数据。即，生成这样的光栅数据，它已经被映射到例如RGB显示颜色系统，并随后已经为了显示目的被进行颜色分离。而且，当显示输出处理单元82执行这样一个光栅数据处理操作时，这个显示输出处理单元82可以响应于一个操作者所希望的内容执行一个颜色校正处理操作。使用这种结构，显示设备80把已经由图像处理设备5进行放大处理的彩色图像作为一个可视图像显示。很明显，该显示设备80也可以把未被放大处理的彩色图像作为一个可视图像显示。

诸如个人计算机(PC)等设备显然可以用作打印输出处理单元72和/或显示输出处理单元82。而且，可以与在图像输入终端3一侧上提供的个人计算机共用显示设备80。

图2是一个方框图，用于图示上述图像处理设备5的图像放大处理单元56的详细内部结构。图像放大处理单元56包括域块提取单元562、范围块提取单元564和缩小范围块形成单元566。域块提取单元562从一个原始图像提取一个其大小“D”(主扫描方向×次扫描方向＝MD×ND像素；MD也可以等于ND)对应于第一块单位的域块图像。范围块提取单元564提取多个其大小“R”(主扫描方向×次扫描方向＝MR×NR像素；MR也可以等于NR)对应于第二块单位的范围块图像。缩小范围块形成单元566将范围块提取单元564所提取多个范围块图像中的每个图像缩小到与上述域块图像相同大小，从而生成多个缩小范围块图像。因此假定对应于第二块单位的大小“R”大于对应于第一块单位的大小“D”，并小于通过以预设放大率放大大小“D”(即第一块单位)而获得的放大块单位。

图像放大处理单元56还包括一个类似度判断单元568，和一个放大范围块形成单元570。类似度判断单元568判断每个缩小范围块图像和由域块提取单元562通过采用多个由缩小范围块形成单元566产生的缩小范围块图像提取的域块图像之间的类似度。放大范围块形成单元570对如下的一个范围块图像执行放大处理操作，该范围块图像被类似度判断单元568判断为在多个范围块图像中相对于域块图像具有较高类似度(在本例中意味着“最高类似度”)。然后，放大范围块形成单元570产生一个放大范围块图像，该图像大小等于以相对于域块图像指定的放大率“r”放大的放大域块图像的大小(大小“r*D”)。而且，图像放大处理单元56包括一个放大图像获取单元576。放大图像获取单元576采用由放大范围块形成单元570产生的每个放大范围块图像，通过以预设放大率放大原始图像来获取这样一个放大图像。

图像放大处理单元56还包括一个复杂度判断单元569，用于判断一个范围块图像的复杂度。该复杂度判断单元569判断例如在一个范围块图像中是否包含大量峰值和谷值。换句话说，该复杂度判断单元569判断该范围块图像是否包含大量高频分量。这个复杂度判断单元569也可以具有与块图像分析单元563(将在下文中讨论)类似的功能。类似度判断单元568参考复杂度判断单元569所判断的范围块图像复杂度来判断类似度。而且，放大范围块形成单元570参考复杂度判断单元569所判断的范围块图像复杂度来确定一个放大范围块图像的像素值。

放大图像获取单元576包括一个块图像合成单元578和一个重叠处理单元586。块图像合成单元578获得已经由放大范围块形成单元570放大处理的每个放大范围块图像，并相互合成所获取的这些放大范围块图像，从而生成一个已经相对于原始图像以预先设置放大率放大的放大后图像。重叠处理单元586获取一个重叠部分(叠加部分)的像素的像素值，该重叠部分已经在重叠处理操作中根据该重叠部分各个像素的像素值被进行重叠处理。通过例如将所获取的每个放大范围块存储在图像数据存储单元54的预定区域内，块图像合成单元578生成一个放大图像。重叠处理单元586例如获取重叠部分像素值的平均值和中间值，然后将所获取的这个值设置为这个像素的值。

域块提取单元562将原始图像划分成大小为“MD×ND”的多个域块图像，然后从这多个域块图像中选择任意一个域块图像作为所需要的一个块图像。范围块提取单元564从包含从域块提取单元562所提取的域块图像的大小为“G×G”的块图像中选择大小为“MR×NR”的所有范围块图像。通过使用公知方法，例如线性内插法和投影法，缩小范围块形成单元566缩小由范围块提取单元564所生成的所有范围块图像以获得分别与域块图像大小MD×ND相同的缩小范围块图像。类似度判断单元568从缩小范围块形成单元566所生成的缩小范围块图像中选择与域块提取单元562所提取的主块图像具有最大类似度的一个缩小范围块图像，将这个所选择的缩小范围块图像设置为“最大类似度范围块图像(最佳范围块图像)”。例如，类似度判断单元568选择这样一个缩小范围块图像，作为整个缩小范围块其像素值和图形以最高类似度相似于所提取的域块图像。

放大范围块形成单元570通过使用诸如线性内插法和投影法的公知方法形成一个放大范围块图像，以便对于由域块提取单元562所提取的域块图像，由类似度判断单元568所选择的最高类似度范围块图像的大小被放大为“rD”(即放大块单位)，而且，根据域块图像和范围块图像之间的关系(即在这个例子中的相似关系)再次转换其像素值。结果，放大范围块形成单元570分配这个所形成的放大范围块图像作为相对于域块图像的放大块图像。换句话说，当图像放大处理单元56对于放大率“r”具有这样的关系rD＞R＞D时，该图像放大处理单元56通过使用每个域块图像和位于该域块图像附近的范围块图像之间的关系放大该范围块图像来获得一个放大的范围块。然后，图像放大处理单元56用放大域块图像替换这个放大范围块图像，从而放大处理该块图像。

首先，作为这个实施例的第一个例子，现在将进行下述解释。即，域块提取单元562在每个处理操作都提取一个大小为MD×ND＝2×2(域大小D＝2)的域块图像，并在每次执行重叠处理操作时沿着主扫描方向或次扫描方向将域块图像移位一个象素，而范围块提取单元564形成这样一个范围块图像，其大小为MR×NR＝3×3(范围大小R＝3)，小于以相对于所提取域块图像的放大率r＝2形成的放大域块图像(MD2×ND2＝4×4)。换句话说，为所有的重叠部分执行四次这样的处理操作，其中放大大小为2×2(域大小D＝2)的域块图像以获得一个大小为4×4的块图像，并将这个放大的块图像分配给一个两倍放大图像的对应位置。应当指出，下述第一至第五实施例更适合对于灰度图像的放大方法。也可以针对一个彩色图像执行类似的处理操作。在这种情况下，可以使用下述方法，其中对于表示这个彩色图像的各个彩色数据(例如R、G、B)，形成对应于一个具有例如256个等级的灰度图像的彩色图像，然后放大这些彩色图像中的每个图像，最后，相互组合所放大的彩色图像。

图3是一个示意图，用于解释在缩小范围块形成单元566中执行的处理操作的一个例子(在使用投影法的情况下)。缩小范围块形成单元566使用投影法将由范围块提取单元564生成的大小为3×3的所有范围块图像缩小成大小与每个域块图像大小2×2相同的缩小范围块图像。如图所示，利用投影法根据将大小3×3投影成大小2×2时的面积比加权相加一个像素值来缩小范围块图像。在大小3×3的像素值是P11、P21、P31、P12、P22、P32、P13、P23和P33和缩小后的大小为2×2的像素值是Q11、Q21、Q12和Q22的情况下，Q11、Q21、Q12和Q22的这些缩小像素值由下述等式(1)给出。还应当指出当像素大小3×3缩小成像素大小2×2时，在投影法和线性积分法中将获得相同的像素值。

Q11＝(4×P11+2×P21+2×P12+P22)/9

Q21＝(2×P21+4×P31+P22+2×-P32)/9

Q12＝(2×P12+P22+4×P13+2×P23)/9

Q22＝(P22+2×P32+2×P23+4×P33)/9                 (1)

图4是一个示意图，用于解释在放大范围块形成单元570中执行的处理操作的一个例子(在使用投影法的情况下)。放大范围块形成单元570使用投影法执行一个放大计算，以便当放大范围块形成单元570使用一个面积比时，在由类似度判断单元568选择的大小为3×3的最高类似度范围块图像被投影成大小为rD＝4×4时，如该图所示，在3×3的像素大小投影成4×4的像素大小的情况下，根据一个面积比把像素值加权相加。在大小为3×3的像素值是P11、P21、P31、P12、P22、P32、P13、P23和P33而大小为4×4的像素值是Q11、Q21、Q31、Q41、Q12、Q22、Q32、Q42、Q13、Q23、Q33、Q43、Q14、Q24、Q34、Q44的情况下，放大操作之后的像素值由下面的等式(2)给出：

Q11＝P11

Q21＝(3×P11+6×P21)/9

Q31＝(6×P21+3×P31)/9

Q41＝P31

Q12＝(3×P11+6×P12)/9

Q22＝(P11+2×P21+2×P12+4×P22)/9

Q32＝(2×P21+P31+4×P22+2×P32)/9

Q42＝(3×P31+6×P32)/9

Q13＝(6×P12+3×P13)/9

Q23＝(2×P12+4×P22+P13+2×P23)/9

Q33＝(4×P22+2×P32+2×P23+P33)/9

Q43＝(6×P32+3×P33)/9

Q14＝P13

Q24＝(3×P13+6×P23)/9

Q34＝(6×P23+3×P33)/9

Q44＝P33                            (2)

图5表示在执行重叠处理操作的情况下在放大操作之后像素值重叠量的一个例子。在这个例子中，执行这样一个重叠处理操作，其中沿着主扫描操作或者次扫描操作将域块图像移位一个像素。根据这个例子的重叠处理操作，当提取一个域块图像，然后针对所有的域块图像执行一个处理操作(后面将进行解释)时，原始图像中域块图像的重叠量在图5中图示。重叠处理单元586将这些值投影到放大图像中的相应位置，并将作为最终放大图像的一个图像输出给图像数据输出单元59，而这幅图像是通过将图像数据存储单元54的放大图像存储区中存储的值除以这些值获得的。

图6是一个示意图，用于解释根据上述第一实施例在图像处理设备5中执行的一个处理顺序，更具体地说，所关心的是在图像放大处理操作56中执行的图像放大处理操作的处理顺序。图6(A)图示域块图像、范围块图像、缩小范围块图像和放大范围块图像的一个例子，而图6(B)是描述处理顺序的第一个例子的流程图。

首先，作为开始放大处理操作的初始条件，假定已经由图像数据获取单元52获取并将被放大处理的目标图像数据已经被预先存储在图像数据存储单元54中。在这样一个初始条件下，图像放大处理单元56首先保证图像数据存储单元54中用于准备放大处理操作的存储器区域，并用“0”初始化这个存储器区域，它用于存储被放大“r”倍的图像(在这个例子中为2倍)(步骤S100)。

而且，图像放大处理单元56设置一个初始参数。对于这个初始参数，例如有放大率、读取一个图像的块图像大小、执行一个重叠处理操作的总计算处理次数、和每次处理操作的图像读出开始偏移。在这个实施例中，设置下述各项：放大率＝2倍；域块图像大小＝2×2像素；范围块图像大小＝3×3像素；开始图像读取操作的水平方向偏移＝1像素；开始图像读取操作的垂直方向偏移＝1像素；以及主/次扫描方向的总重叠计算处理次数＝各2次。

接着，域块提取单元562从原始图像中提取大小为2×2的所有域块图像(步骤S120)，然后，从这些被提取的域块图像中选择一个任意块图像以将所选择的这个块图像设置为所关心的块图像(步骤S140)。

随后，针对所关心的块图像，范围块提取单元564从所关心块图像(即一个域块图像)的附近区域提取一个大小为3×3的范围块图像(步骤S160)。在这种情况下，范围块提取单元564提取大小为3×3的这个范围块图像，以便在该范围块图像所包含的多个像素中至少一个像素包含在该域块图像中，即域块图像与范围块图像重叠。具体地说，如图6(A)所示，范围块提取单元564从围绕域块图像(所关心的块图像)的大小为6×6的周边块图像中选择包含所关心块图像中至少一个像素的所有范围块图像(在这个例子中总共16个范围块图像)。

接着，缩小范围块形成单元566使用投影法或线性内插法处理已经被范围块提取单元564选择的大小为3×3的所有范围块图像，以生成每个大小为2×2的缩小范围块图像(步骤S180)。

随后，类似度判断单元568比较域块图像与每个缩小范围块以判断类似度。例如，类似度判断单元568转换与缩小范围块形成单元566所形成的缩小范围块图像有关的像素值，从而选择一个其像素值和图形最类似于域块图像的缩小范围块图像，然后将一个对应于这个所选择的缩小范围块图像的范围块图像(即作为这个所选择的缩小范围块图像的原始图像的范围块图像)设置为最高类似度范围块图像(步骤S200)。例如，针对域块图像的像素值d11、d21、d12和d22，计算像素平均值Dv＝(d11+d21+d12+d22)/4和像素标准偏差VDv＝Σ(dij-Dv)²(符号“i”和“j”表示像素位置)。随后，针对所有缩小范围块图像的像素值r11k、r21k、r12k、r22k(符号“k”表示一个缩小范围块图像；k＝1，……，16)，计算像素平均值Rvk＝(r11k+r21k+r12k+r22k)/4和像素平均偏差VRvk＝Σ(rijk-Rvk)²。

接着，计算转换系数“ak”和“bk”和转换误差Ek＝Σ(dij-ak×rijk-bk)²。当通过线性转换“az+b”使缩小范围块图像的各个像素值最小二乘地近似于相应域块图像的像素值时使用上述转换系数“ak”和“bk”。在最小二乘法中，可以根据下述计算式(3)直接计算转换系数“ak”、“bk”和转换误差“Ek”：

ak＝(Σ(rijk-Rvk)×(dijk-Dv))/VRvk

bk＝Dv-ak×Rvk

Ek＝VDv-ak×ak×VRvk                      (3)

在这种情况下，对于该转换系数“ak”的值，可以使用一个统一的恒定范围，而不考虑大小为3×3的范围块内图像的复杂度。类似度判断单元568也可以参考复杂度判断单元569所判断的范围块图像的复杂度来判断类似度。例如，可以响应于范围块图像内一个图像的复杂度，提供转换系数“ak”的允许值范围内的一个限制。下面说明其原因。即，当范围块图像内所包含的图像很复杂并包含大量高频分量时，如果这幅图像被用作一个范围块图像，则在放大图像内产生假象分量。因此，图像变得越复杂，则该复杂图像的参考度最好被降得越低。因此，在进行限制的情况下，例如，可以使用下述限制。换句话说，当用(q11，q12，q13，q21，q22，q23，q31，q32，q33)表示3×3像素时，如果建立关于各个m＝1，2，3和qm1，qm2和qm3的下述等式(4-1)，则在每次建立等式(4-1)时将“1”添加给计数器“C”。类似的，如果建立关于各个q1m，q2m和q3m的下述等式(4-2)，则在每次建立等式(4-2)时将“1”添加给计数器“C”。这种方法对应于一种能够检查是否出现了在3×3像素中包含的大量峰值和谷值的方法。也可以使用其它类似方式。

(qm1-qm2)×(qm2-qm3)＜0                 (4-1)

(q1m-q2m)×(q2m-q3m)＜0                 (4-2)

在这种情况下，利用所获取的值“C”判断先前计算的转换变量“ak”是否位于可允许的范围内。在这个例子中，作为一个实例，使用下述条件公式(5)。

在C＝0的情况下               -1.8  ak  2.2

在C＝1，2的情况下            -1.0  ak  2.0

在C＝3的情况下               0     ak  2.0

在C＝4，5，6的情况下         0＜ak＜0                 (5)

在这种情况下，类似度判断单元568以下述方式判断类似度，即，范围块图像包含的高频分量越大，则这个范围块图像的影响度被降得越小。例如，在值“C”和转换系数“ak”都不满足条件式(5)的情况下，类似度判断单元568从用于比较最小二乘误差的对象中排除这个范围块图像。而且，在这种情况下，当值C＝4、5和6时，因为“a”的任何值都不被允许，可以在一开始就排除这样一个范围块图像，而不计算转换系数“ak”。

接着，类似度判断单元568计算对应于每个转换系数“ak”(k＝1，……，16)的范围块图像的值“C”，并检查该转换系数“ak”是否在所允许的范围内，然后仅收集所允许范围内的那些转换系数“ak”以将它们定义为一个组“G”。然后，现在假设E＝min{Ek|k∈G}，相对于这样一个“k”设置a＝ak和b＝bk，其中E＝Ek。用这个“k”表示的范围块图像构成一个最类似于域块图像的范围块图像。

应当理解因为实际上确定“Ek”并不需要转换系数“bk”，获得使Ek变得最小的“k”，并最终确定转换系数“ak”，此后，可以计算该转换系数“bk”。而且，因为转换系数“bk”代替了等式(3)所示的恒定值，可以使用下式(6)给出的值。等式(6)产生这样一个效果，即在缩小范围块图像中所包含的每个像素和域块图像之间的误差分量被校正(即在这个例子中被重叠)。在这种情况下，域块图像的对应像素的像素值是“dij”，缩小范围块图像的对应像素的像素值是“rijk”。当根据该等式(6)计算转换系数“bk”时，能够抑制每个细微像素的误差，因此能够进一步改善放大图像中原始图像的再现性。应当指出写为“bijk”的原因是域块图像中包含的每个像素的值相互不同。

bk＝bijk＝dij-ak×rijk               (6)

在简单比较域块图像和缩小范围块图像的情况下，不总是考虑有关原始范围块图像的信息。因此，在所使用的范围块图像中包含不适合于放大的高频凹面/凸面图像部分时，由于像素值转换加重了其噪声，因此噪声将被增加。另一方面，如上面所解释的，当响应于范围块图像的复杂度限制所允许的转换系数“ak”时，可以防止出现噪声。

随后，通过使用例如线性内插法和投影法，放大范围块形成单元570将类似度判断单元568所选择的大小为3×3的最高类似度范围块图像放大到放大域大小，即4×4(步骤S220)。接着，通过根据域块图像和范围块图像之间的关系重新转换已经转换成4×4大小的图像的像素值，放大范围块形成单元570形成一个放大范围块图像，结果，通过以放大率“r”倍(在这个例子中为两倍)放大大小为2×2的域块图像，产生一个大小为4×4的块图像(放大域块图像)。例如，放大范围块形成单元570针对大小为4×4的放大图像的所有像素“z”，根据在类似度判断单元568中获得的转换系数“a”和“b”执行像素值转换“az+b”，并将结果图像设置为放大域块图像(等于放大范围块图像)。此时，放大范围块形成单元570最好可以参考复杂度判断单元569所判断的范围块图像的复杂度来确定放大范围块图像的像素值。例如，可以对在像素值转换中所使用的系数“a”的数值范围设置一个限制。范围块图像包含的高频分量越大，则可以将这个范围块图像的影响度设置得越小。

此后，放大范围块形成单元570将大小为4×4的该放大域块图像的所有像素值加到用于在图像数据存储单元54内存储放大图像数据的存储区内的域块图像的对应位置。在类似度判断单元568中执行的类似度判断处理操作中在误差分量叠加到值“bk”的情况下，已经被分配给域块图像各个点位置的转换系数“bk”被投影并在该放大过程中的每个点被切换。

接着，图像放大处理单元56判断是否已经针对所有域块图像执行了上述处理操作(步骤240)。然后，当有一个域块图像尚未被执行处理操作时，该处理操作返回到先前的步骤S140，将所关心的块图像设置为另一个域块图像。然后，重复地执行从步骤S160到步骤S220定义的处理操作(在步骤S240为“否”)。反之，当已经针对所有的域块图像完成了上述处理操作时(在步骤S240为“是”)，将一个对应于原始图像的放大图像存储在放大图像数据存储单元58中。

当已经针对所有块图像完成上述处理操作时(在步骤S240为“是”)，图像放大处理单元56检查重叠处理操作的总计算次数(步骤S300)。然后，如果所检查的计算次数未达到所设置的计算次数，则从图像读出开始偏移被添加给一个图像的首部地址的位置再次开始执行从步骤S120定义的处理操作(在步骤S300为“否”)。换句话说，每次处理操作返回到步骤S120，域块提取单元562顺序地将图像读出开始偏移添加给该图像的首部地址，并从偏移被添加给图像数据存储单元54中所存储图像的首部地址的一个位置以所设置的域块图像大小读出域块图像，然后将这些所读取的域块图像中的任意一个图像设置为所关心的块图像。随后，其它单元重复地执行与上面解释的处理操作相类似的处理操作。

另一方面，在将重叠处理操作的总计算次数设置为两次或更多次数时，上述一系列处理操作的总次数达到所设置的重叠计算次数的情况下(在步骤S300为“是”)，重叠处理单元586执行这样一个平均处理操作，使该重叠处理单元585参考图5所示各个像素的加权值、计算在重叠处理操作中已经被处理/重复的图像(重复部分)的平均值，并将所计算的平均值设置为这个像素的值(步骤S320)。

应当指出，当将“1”设置为重叠处理操作的总计算次数时，即当设置不执行重叠处理操作时，则不再需要上述平均处理操作，并直接输出从放大图像数据存储单元58中读出的一个放大图像。换句话说，仅当设置为执行重叠处理操作时，图像放大处理单元56可以以下述方式获取一个最终的放大图像，即图像放大处理单元56通过相对于原始图像移位块图像的读出开始位置来多次执行放大处理操作，并对于重复的像素，将其平均值设置为像素数据。因此，可以降低块图像失真。

在上面解释的例子中，每次执行重叠处理操作，重复地执行从步骤S120定义的处理操作。也可以再次重复地执行从步骤S100定义的处理操作。在这种可选择的情况下，在图像数据存储单元54中确保对应于每个重叠处理操作的用于存储一个放大图像的存储区。然后，当获取每个放大图像时，在执行平均处理操作时从放大图像数据存储单元58读出各个放大图像，图像放大处理单元56可以参考图5所示各个像素的加权值，计算在重叠处理操作中已经被处理/重叠的图像(重叠部分)的平均值，然后，可以将所计算的这个平均值设置为这个像素的值。

图7图示根据上述第一实施例的处理操作的一个实施例，并表示直到步骤S240结束的对应于重叠处理操作之前阶段的处理操作。即，在这个处理操作中，以放大率2对大小为2×2像素(域大小D＝2)的域块图像和大小为3×3像素(范围大小R＝3)的范围块图像执行放大处理操作；

r×D＝2×2＝4

R＝3，D＝2

并可以满足这样一个关系r×D＞R＞D。

根据第一实施例的图像处理设备5，结果放大图像可以具有通过分形法获得的陡峭的边沿，以及当获得放大图像的像素值时使用内插计算(在上述例子中为线性内插法)实现的平滑，因此生成高图像质量的放大图像。换句话说，在常规内插/放大方法中，例如，所关心的大小为2×2像素的块图像被不停止地放大成大小为4×4像素的块图像，而在第一实施例中，位于所关心的大小为2×2像素的块图像附近的大小为3×3像素的范围块图像被放大成大小为4×4像素的范围块图像，它被用作所关心块图像的放大图像。结果，降低了实际放大处理操作中的倍率，因此与使用常规内插/放大法相比，能够减少图像模糊现象。而且，这样一个使用域块和范围块的技术要点对应于类似于常规分形放大法的处理操作。因此，在可以使用分形概念特征的同时，通过抑制锯齿和块失真的出现能够产生模糊现象较少的放大图像。另外，因为大小为3×3像素的范围块图像被放大成大小为4×4像素的范围块图像，可以稍微利用模糊效果。因此，能够避免在常规分形放大法中在台阶边沿部分上出现的噪声状干扰和裂片状像素值渗出。

而且，因为维持D＜R＜rD的关系即判断大小3×3相对于大小2×2的类似度来执行处理操作，与常规分形放大处理操作相比，能够改善杂乱部分的可再现性。这种可再现性基于这样一个事实，例如，对于D＝2，R＝3可以寻求接近“D”而非R＝4的图形。该可再现性并不局限于杂乱部分。然而，可以在类似于杂乱部分的纹理相互交错的部分中预期更好的效果。

而且，在第一实施例中，因为位于所关心块图像附近的大小为3×3像素的范围块图像被放大成大小为4×4像素的范围块图像，并根据域块和范围块之间的关系执行像素值转换以获得最终放大范围块图像的像素值，可以仅通过执行一次放大图像的像素值计算处理操作来生成足以观看的一个放大图像。另外，将域块附近的区域选择为范围块的寻找范围，即范围块的选择范围很小，因此可以进一步加快处理速度。换句话说，在使用分形编码系统的放大方法中，执行重复处理操作以获得放大图像，因此需要非常长的处理时间。相反，根据第一实施例的图像放大处理单元56，与分形编码系统相比，能够显著缩短获得放大图像所需要的处理时间。

而且，该第一实施例的技术要点的特征在于，因为范围块图像的寻找范围被限制在域块附近的区域，能够减少范围块的寻找处理时间。该技术特征与日本公开专利申请No.HEI-118758中公开的方法大不相同。换句话说，基于图像连续特性的假定即类似于一个域块图像的范围块图像位于沿着相同方向非常靠近域块的位置上以及图像质量在范围块图像寻找范围限制内的根据，建立根据第一实施例的范围块的设置范围。因此，能够显著地降低导致图像质量变差的风险。

如上所述，根据第一实施例的图像处理设备5，在使获得可视放大图像所需要的处理时间不太长的同时，能够抑制锯齿的出现并且获得具有更少模糊分量的放大图像。同时，因为使用针对范围块图像的放大处理操作，对于诸如文件图像的二进制图像，有可能避免噪声状干扰的出现和裂片状像素值渗出。换句话说，在考虑与处理时间的平衡的同时，能够防止可视图像的图像质量恶化，并可以在避免生成噪声状干扰和出现裂片状像素值渗出的情况下放大图像。

图8是一个方框图，表示根据本发明第二实施例的图像处理设备5的图像放大处理单元56的详细结构。在第二实施例中，执行这样的放大重复处理操作，即，分割一个指定的放大率(每个分割放大率大于或等于“1”)从而生成一个再分放大率的组合，并顺序应用各个再分放大率(放大/重复处理)。而且，当执行这个放大处理操作时，响应于每个放大率改变域块图像和范围块图像中至少一个的大小，然后根据各个放大率执行上述放大处理操作。因此，第二实施例的图像放大处理单元56包括一个放大率分割单元561，用于将指定放大率分割成更小的分割放大率的组合。在将指定放大率分割成更小的分割放大率的情况下，图像放大处理单元56执行这样的放大重复处理操作，即预定图像处理方法(将在下文中讨论)顺序地应用每个分割放大率。

图9图示由放大率分割单元561所分割的放大率组合的一个例子。在图9所示的这个例子中，对于可以用指定放大率中两个值的乘积表示的一个指定放大率(例如指定放大率是6、8和9等)，将其分割成两个放大率。在放大率分割单元561中，这个放大率的组合被预先准备为表格数据，以便放大率分割单元561能够使用该表格数据。放大率分割单元561也可以在每次需要时计算这些放大率的这种组合。尽管在这个所举的例子中将指定放大率分割成两个放大率，也可以将这个指定放大率分割成三个或更多的放大率。例如，当指定放大率等于“12”时，这个指定放大率并不被划分成两个放大率“3”和“4”，而可以划分成三个放大率“2”、“2”和“3”。而且，在这个实施例中，当将图像基本上两倍放大时，能够实现最有效的效果。当将一个图像放大2ⁿ倍时，重复n次的两倍放大的处理操作是最佳处理操作。应当指出将参考第五实施例详细解释“实现最高图像质量的倍率组合”。如前面所解释的，在由用户等指定的放大率“K”很大的情况下，如果执行这样一个放大重复处理操作，其中将一个放大率“K”分割成更小放大率的组合，并连续地应用各个分割放大率，则可以降低当倍率很大时可能出现的马赛克状(块图像状)图像失真。

图10是一个流程图，用于描述在第二实施例的图像处理设备5中执行的处理顺序操作。图像放大处理单元56首先分割一个指定的放大率“r”，从而生成一个分割放大率的组合(步骤S102)，然后设置第一放大率，并执行与上述第一个例子类似的处理操作(步骤S104)。例如，在指定的放大率中，将能够用两个值的乘积表示的一个放大率(例如指定放大率是6、8和9等)分割成两个放大率。

接着，将参考这样一个例子解释图像处理设备5的处理操作，即在利用上述第一实施例形成了两倍放大图像(放大两倍的图像)之后，这个放大图像以两倍放大率被再次放大以获得原图像的四倍放大图像(放大四倍的图像)。换句话说，为了获得四倍放大图像，执行两次两倍放大处理操作。而且，将描述另外一个例子，即响应于每个放大率同时改变域大小和范围大小。

图像放大处理单元56执行与重叠处理操作有关的平均处理操作(步骤S320)，此后，检查是否已经根据所有的放大率组合完成了放大处理操作(步骤S360)。如果放大处理操作尚未结束，则图像放大处理操作56设置下一个放大率(在步骤S360中为“是”和步骤S380)。使用在第一放大处理操作中获得的图像和已经设置的下一个放大率，图像放大处理操作56执行与第一实施例基本相同的放大处理操作。此时，同时针对域块图像和范围块图像放大其大小。例如，域块图像的大小被放大成3×3像素(域大小D2＝3；后缀2表示第二次)，而且，范围块图像的大小被放大成4×4像素(范围大小R2＝4)，然后，处理操作返回先前的步骤S120(S390)。应当指出在各个处理操作中，结合在各个块图像中的大小变化准备与其相应的线性转换表。而且，虽然确定在第二处理操作中不执行响应于范围块图像复杂度的像素值转换参数的限制，可以使用这样一个范围“-1.8≤a≤2.2”。显然，类似于第一实施例(即第一处理操作)，也可以进行该参数限制。

下面给出在第二处理操作中将域块图像大小放大成3×3像素的原因。即，对于已经在第一处理操作中获得的两倍放大图像，基本上没有小于或等于2×2像素的高频分量叠加在该图像上。然而，即使当这样的高频分量叠加在这个图像时，则假设这些高频分量是以两倍放大率在放大处理操作中生成的噪声。而且，当使用大小为3×3像素的域块图像时，存在这样的趋势，即小于或等于3×3像素大小的高频块图像在放大处理之后变得模糊，所述放大处理可以实现减轻噪声的效果。

另一方面，当完成基于所有组合放大率的放大处理操作时，利用图像放大处理操作的放大处理操作结束(在步骤S360中为“否”)。在放大图像数据存储单元58中存储的放大图像以文件的形式经图像数据输出单元59输出给打印引擎70和显示设备80。

根据第二实施例的上述图像放大方法，可以在不出现图像质量恶化的情况下执行图像的高质量放大处理操作，例如即使放大率很大，图像的平坦部分变成不正常的图画色；在窄边延集中的杂乱区域中清晰边延和模糊边延相互混合。例如，当在第二放大处理操作中将图像放大两倍以形成四倍大于原始图像的放大图像时，与第一实施例的放大处理操作相比，可以形成更高图像质量的放大图像。在执行基于分形压缩方法的常规放大方法的情况下，当放大率增加时，必需增加重复次数以提高清晰度。相反，在第二个例子的方式中，可以仅重复多次基本上类似于第一个例子的放大处理操作，所述多次等于总再分次数。因此，如在分形压缩方法中所解释的，完全不需要增加重复处理操作。换句话说，当希望增加放大率时，如在第二个例子中所解释，分割指定的放大率以获得一个更小放大率的组合，根据这些分割的放大率顺序地放大图像，从而能够获得可视的放大图像。

而且，在第二个例子第二次执行两倍放大操作时，因为大小为3×3像素(域大小D2＝3)的域块图像被放大两倍，大小为4×4像素(范围大小R2＝4)的范围块图像被放大两倍，r×D2＝2×3＝6，R2＝4和D2＝3，因此可以满足关系r×D2＞R2＞D2。结果，同样在第二次的两倍放大操作中，类似于第一次的两倍放大操作，图像处理设备5可以具有这样的特征，即通过分形放大操作获得的边沿清晰特性和当计算放大图像的像素值时执行内插计算获得的平滑，并可以形成高图像质量的放大图像。

应当指出在第二实施例中，在第二次放大处理操作中使用的范围大小被选择为“4(4×4像素)”。然而，本发明并不限制于这个范围大小，也可以使用更大的范围大小。例如，在使用大小为3×3像素的域块图像的情况下，也可以与该大小组合使用5×5像素大小的范围块图像。

图11是一个方框图，表示根据本发明第三实施例的图像放大处理单元56的详细内部结构。该第三实施例对应于这样一种方法，即通过根据将要处理图像的局部特征改变放大处理方法可以进一步改善图像质量。对于根据第一个例子和第二个例子放大的图像，存在这样的情况，即根据域大小“D”和范围大小“R”的选择，被放大图像可能变得不自然，即平坦图像部分进一步平坦化而变成绘画色调；清晰边沿和模糊边沿在细微边沿集中的杂乱部分相互混合，导致一个不自然的图像。因此，通过根据图像特征切换放大方法或者通过混合结果图像可以生成更自然的图像。

为此，第三实施例的图像放大处理单元56包括第一放大转换单元580和第二放大转换单元582。第一放大转换单元580包括域块提取单元562、范围块提取单元564、放大范围块形成单元570和放大图像获取单元576。第一放大转换单元580的结构类似于第一实施例，并通过分形放大法执行一个放大转换处理操作。第二放大转换单元582根据不同于上述分形放大法的第二放大法执行一个放大转换处理操作。而且，图像放大处理操作单元56包括一个块图像分析单元563和一个放大处理方法选择单元574。块图像分析单元563分析在由第一放大转换单元580的域块提取单元562提取/设置的所关心块图像中包含的图像(块图像)是否对应于边沿特性和不同于该边沿特性的第二特性中的任一个。放大处理方法选择单元574从第一放大转换单元580和第二放大转换单元582的输出中选择任一个输出，即选择放大处理方法。放大处理方法选择单元574根据块图像分析单元563的图像分析结果选择第一放大转换单元580的分形放大方法和第二放大转换单元582的第二放大方法中的任一种放大方法，然后，可以由对应于该选定放大方法的一个放大转换单元执行放大处理操作。因此，可以消除由实际上并不使用的第一放大转换单元580和第二放大转换单元582中任一个执行自己的放大处理操作所导致的无用工作。

块图像分析单元563分析由域块提取单元562提取的域块图像的特性是否对应于下述任意一个特性：包含一个较强边沿的边沿特性、对应于第二特性第一个例子的强度较弱边沿集中部分的杂乱特性(纹理特性)和基本上不包含边沿并对应于第二特性第二个例子的平坦特性。对应这个块图像分析单元563，第二放大转换单元582包括杂乱特性放大转换单元582a和平坦特性放大转换单元582b。杂乱特性放大转换单元582a通过适合于对应于第二放大方法第一个例子的杂乱特性的方式执行一个放大转换处理操作。平坦特性放大转换单元582b通过适合于对应于第二放大方法第二个例子的平坦特性的方式执行一个放大转换处理操作。放大处理方法选择单元574在块图像分析单元563的分析结果表示域块图像特征是杂乱特性时，选择杂乱特性放大转换单元582a的输出，并在块图像分析单元563的分析结果表示块图像特征是平坦特性时，选择平坦特性放大转换单元582b的输出。杂乱特性放大转换单元582a例如根据适合于杂乱部分的放大处理操作的三阶卷积方法执行一个放大处理操作。平坦特性放大转换单元582b例如根据适合于平坦部分的放大处理操作的线性内插方法执行一个分析处理操作。

图12是一个流程图，用于描述第三实施例的图像处理设备5所执行的处理顺序操作。当域块提取单元562设置所关心的块图像时(步骤S140)，块图像分析单元563分析在所关心的这个块中包含的图像的特征(步骤S400)。然后，例如，块图像分析单元563将所关心块图像的特性分类成边沿特性、平坦特性和杂乱特性(纹理特性)中的任意一种。例如，存在一个非常清楚边沿(高强度边沿)的所谓“台阶边沿”部分，例如面部轮廓部分，被分类成边沿特性。而且，例如细微边沿密集的部分被分类成纹理特性。然后，其余部分被分类成平坦特性。应当理解随后将讨论分析这个块图像特性的详细处理操作。

接着，放大处理方法选择单元574根据块图像分析单元563的图像分析结果确定分析处理操作的方式(步骤S410)。例如，在块图像分析单元563的图像分析结果表示块图像特性是边沿特性的情况下，放大处理方法选择单元574控制第一放大转换单元580以执行第一放大处理操作或第二放大处理操作(步骤S420)。而且，在块图像分析单元563的图像分析结果表示块图像特性是平坦特性的情况下，放大处理方法选择单元574控制平坦特性放大转换单元582b使用线性内插方法执行放大处理操作，所述线性内插方法是一个轻处理操作，一般不会导致细微噪声(步骤S430)。

而且，在块图像分析单元563的图像分析结果表示块图像的特性是杂乱特性的情况下，放大处理方法选择单元574控制杂乱特性放大转换单元582a以便例如使用三阶卷积方法执行放大处理操作(步骤S440)。各个放大转换单元580、582、584将执行相应放大处理操作获得的放大图像数据存储在图像数据存储单元54中(步骤S450)。随后，重复执行从步骤S140到S450定义的处理操作，直到已经针对所有的域块图像执行了上述处理操作(步骤S240)。因此，当已经针对所有域块图像完成了上述一系列处理操作时，已经根据域块图像中所包含图像的特征执行放大处理操作的放大图像数据被存储在放大图像数据存储单元58中。

图13用于解释根据第三实施例在处理顺序操作的步骤S400中执行的分析块图像特性的详细处理操作。图13(A)图示在图像分析中使用的掩码(数字滤波器)的一个例子，和图13(B)是描述这个处理顺序操作的流程图。

首先，块图像分析单元563对由域块提取单元562设置的所关心块图像执行一个边沿提取处理操作(步骤S402)。在这个边沿提取处理操作中，例如针对一个原始图像应用图13(A)所示的边沿检测掩码(即边沿检测滤波器)，而将所关心的块图像设置为中心，从而获得一个边沿提取图像。应当指出，用于提取一个边沿的掩码并不限制于图13(A)所示的掩码例子，还可以使用其它的边沿提取掩码，例如拉普拉斯型边沿检测掩码、Sobel型边沿提取掩码和Kirsh型边沿提取掩码来实现。

接着，块图像分析单元563根据边沿检测结果计算在域块图像中所包含像素值的绝对和(步骤S404)。然后，块图像分析单元536判断所计算的绝对和是否超过预先设置的第一阈值“TH1”(步骤S406)。当这个绝对和并不超过第一阈值“TH1”时，即当这个绝对和小于第一阈值TH1时，块图像分析单元563判断这个所关心的块图像是平坦部分，即块图像的特征是平坦特性(在步骤S406中为“否”，和步骤S408)。

而且，块图像分析单元563针对未判断为平坦特性的块图像计算在域块图像中所包含的像素值的正值/负值的总反转次数(在步骤S406中为“是”和步骤S410)。然后，块图像分析单元563比较所计算的反转次数和预先设置的第二阈值“TH2”(步骤S412)。在总反转次数小于第二阈值“TH2”的情况下，块图像判断单元563判断这个所关心的块图像是边沿部分，即块图像的特征对应于边沿特性(步骤S414)。相反，在总反转次数大于第二阈值“TH2”的情况下，块图像判断单元563判断这个所关心的块图像是纹理部分，即该块图像的特征对应于杂乱特性(步骤斯416)。因此，块图像分析单元563能够区分一个其边沿较清楚的部分(例如面部轮廓部分)和另一个集中细微边沿的部分。因为使用这样一种方式，第三实施例的图像放大处理单元56可以执行放大处理操作，同时维持原始图像特征的自然特性和高图像质量。

从上述解释显然可以看出，块图像分析单元563能够根据这个块图像的边沿强度和复杂度区分块图像的不同特性。这一功能也可以被用于在第一实施例中解释的复杂度判断单元569。例如，如果范围块图像包含大量高频分量，则块图像分析单元563可以判断出这个范围块图像对应于杂乱部分。

应当理解在上述描述中使用边沿检测滤波器判断块图像特征。如在第一实施例中所解释的，因为类似度判断单元568获得域块图像的标准偏差，该类似度判断单元568也可以使用这个标准偏差进行判断。即，在标准偏差小于不同于上述第一阈值“TH1”的第一阈值的情况下，类似度判断单元568可以判断出所关心的块图像是平坦部分。在标准偏差大于这个第一阈值的情况下，类似度判断单元568可以沿着改变方向针对相邻像素值计算其自身像素值的总反转次数，并且当这个计数值小于不同于上述第二阈值“TH2”的第二阈值时，类似度判断单元568可以判断出所关心的块图像是边沿部分。反之，在这个计数值大于第二阈值的情况下，类似度判断单元568可以判断出所关心的块图像是杂乱部分。在域块图像较小的情况下，类似度判断单元568可以在将这个小域块图像设置为中央的同时根据大小为3×3像素的块图像判断中央块图像的特性。不使用根据阈值清楚地区分块图像特征(即根据阈值划分区域)的上述判断操作，也可以例如以下述方式增加放大处理操作组合的变型，即混合使用平坦部分的放大方式和边沿部分放大方式或杂乱部分放大方式中任一个的结果。如上所述，通过执行各种不同方式将图像划分成平坦部分、边沿部分或杂乱部分，然后，改变放大处理操作的方式，从而能够进一步改善部分图像质量。

应当指出这个第三实施例的放大方式在技术观点上或多或少地类似于在上述日本专利申请公开文本No.HEI-11-331595中所述的方式，即根据图像特性切换放大方式或混合使用。然而，在日本专利申请公开文本No.HEI-11-331595中描述的这种常规方式存在下述缺点。即因为存在这样的趋势，在边沿部分选择线性内插方法，在该边沿部分上线性内插和分形放大不同，不能再现作为分形放大特征的清晰边沿，所以边沿部分变得模糊。相反，根据第三实施例的放大方式，因为通过类似于第一实施例的方式能够确保在边沿部分执行放大处理操作，不存在边沿部分变模糊的问题。

图14是一个方框图，用于表示根据本发明第四实施例的图像处理设备5的图像放大处理单元56的详细内部结构。在第四实施例中，根据在原始图像中包含的块图像的边沿部分的强度和复杂度改变域块大小和范围块大小中的至少一个。为此，第四实施例的图像放大处理单元56包括一个图像分析单元565，用于分析在原始图像中包含的块图像的边沿分量的强度和复杂度。该图像分析单元565可以具有边沿强度判断单元和复杂度判断单元两者的功能。边沿强度判断单元判断在原始图像中包含的边沿分量的强度。复杂度判断单元将原始图像划分成多个具有预定大小的块图像，然后判断这些划分后的块图像的复杂度。然后，域块提取单元562参考由图像分析单元565判断的块图像的边沿分量的强度和/或复杂度设置第一块单位的大小。而且，范围块提取单元564参考由图像分析单元565判断的块图像的边沿分量的强度和/或复杂度设置第二块单位的大小。

关于图像分析单元565的复杂度判断单元的功能部分，在原始图像被划分成分别具有预定大小的多个块图像时，针对这些块图像的每个图像计算一个块内的像素值的标准偏差，然后，复杂度判断单元根据该计算的标准偏差判断具有预定大小的块图像是否对应于一部分包含一个边沿的块图像。换句话说，检查这个块图像是否对应于基本上不包含边沿的基本上平坦部分的一个块图象。而且，对于包含一个边沿的块图象，获取具有预定大小的块图像的局部连续特性，然后，复杂度判断单元根据这个所计算的局部连续特性判断具有预定大小的块图像是否对应于包含一个较强边沿的台阶边沿部分的图像，还是对应于包含强度较弱边沿集中部分的杂乱部分的图像。

图15是用于解释图像分析单元565操作的示意图。这个图像分析单元565首先设置缺省域大小“D”和范围大小“R”，例如D＝4和R＝7。然后，图像分析单元565(具体而言，复杂度判断单元的功能部分)测量一个块图像每个域块的复杂度。例如，块图像分析单元565在下述条件“A”和“B”下测量块图像的复杂度。条件“A”是在域块中所包含的像素值的标准偏差大于或等于一个恒定值，即是否包含其边沿强度较大的一部分。条件“B”是4×4大小的缩小块“D’i”和域块之间的距离(块间隔距离；即各个像素值之差的最大值“max|Di-D’i|”)在一个恒定值内。通过以投影方式缩小大小为8×8的包含这个域块Di的周围块获得这个缩小块D’i。图像分析单元565可以在条件“A”下切掉所有的边沿部分，而且可以判断这个被切掉的边沿部分是否对应于杂乱部分或台阶边沿部分。在这种情况下，条件“B”用于利用台阶边沿部分具有强局部连续特性和杂乱部分具有弱局部连续特性。当局部连续特性强时，即使缩小包含大小为4×4的块的大小为8×8的周围块，也生成类似的图形。

图像放大处理单元56根据图像分析单元56获得的判断结果执行下述处理操作：

1)台阶边沿部分(可满足条件“A”和“B”)：维持D＝4和R＝7执行放大处理操作。

2)杂乱部分(仅满足条件“A”)：在将相应大小改变成D＝3、R＝4(也可以是D＝2和R＝3)之后执行放大处理操作。

3)其它部分，平坦部分(平滑部分)(不满足条件A)：在将相应大小改变成D＝2和R＝3之后执行放大处理操作。

当执行这样一个处理操作时，在最好通过比局部连续特性强的台阶边沿部分的块大小更大的块大小执行放大处理操作的情况下，可以针对更大的块图像执行放大处理操作。例如，可以以高图像质量执行放大处理操作，同时使例如模糊现象、边沿附近的振荡、锯齿和块边界的块失真等可视图像质量恶化尽可能少地出现。换句话说，可以以自然方式和对应于原始图像特性的高图像质量执行放大处理操作。

如上所述，可以以这样的方式执行放大处理操作，即将块图像划分成台阶边沿部分/杂乱部分/其它部分(划分成三个特性部分的块图像特性)，并切换域大小D和范围大小R。另外，也可以使用另一种方法。即，例如，当形成在D＝4和R＝7条件下的一个放大图像和D＝2和R＝3条件下的另一个放大图像时，可以根据条件“A”和条件“B”的数值函数相互组合这些放大图像。而且，计算条件“A”下主块的标准偏差。如在第一实施例中所解释的，因为此计算还对应于在类似度判断单元568中执行的一个处理操作，因此可以使用这个值。在实际情况下，虽然这个标准偏差被预先存储在存储器中，最好在提取域块时计算一个类似度。

当执行这样一个放大处理操作时，如果在台阶边沿部分中，在关系公式D＜R＜rd(r＝2倍)中考虑在放大范围块形成单元570中从“R”到“rD”的“放大处理操作”，那么将放大率从7改变成8。结果，因为仅涉及小线性放大，台阶边沿变得清晰。而且，因为在D＝4条件下不能再现杂乱部分中的细微纹理(即杂乱部分变得模糊)，当前条件被改成D＝2和R＝3，从而可以增加杂乱部分的可再现性。尽管可以通过任一条件处理其它部分，但是将条件改成处理速度快的D＝2和R＝3。

应当说明，对于条件“A”和条件“B”的强度值，在条件A的强度值变得越高和条件B的强度变得越低的状态下边沿强度变得很高。因此，在这种情况下，当边沿强度高时，可以在D＝4和R＝7的条件下执行放大处理操作，而当边沿强度不太高时，可以在D＝4和R＝6的条件下执行放大处理操作。换句话说，可以通过根据边沿强度切换域大小D和范围大小R来执行放大处理操作。

例如，根据块图像的复杂度和边沿强度，可以根据边沿强度高的部分、边沿强度低的部分(即区分边沿强度不同的部分)、杂乱部分和其它部分来切换域大小D和范围大小R。当执行这样一个处理操作时，在最好可以以较大块大小执行块的处理操作的情况下，当块图像复杂并且其边沿强度高时，可以通过将块图像划分成较大块来执行放大处理操作。例如，可以以高图像质量执行放大处理操作，同时可视图像质量恶化尽可能少地出现，例如模糊现象、边沿附近的振荡、锯齿和块边界的块失真。换句话说，可以以自然方式和对应于原始图像特性的高图像质量执行放大处理操作。反之，对于没有复杂形状、边沿强度弱和在放大处理操作中并不导致图像恶化问题的块，因为以较小块执行放大处理操作，可以将处理速度考虑为顶级优先级。

还应当指出，已经在第四实施例中描述的台阶边沿部分、杂乱部分和其它(平坦)部分的区别方式可以被类似地应用于上述第三实施例。在第四实施例中解释的条件“A”基本上等同于在第三实施例中所述的条件。

而且，在第四实施例的解释中，根据条件A和条件B的强度值判断边沿部分的强度。判断边沿部分强度的方式并不局限于这个判断方式，也可以使用其它公知的判断方式。

图16是一个方框图，用于表示根据本发明第五实施例的图像处理设备5的图像放大处理单元56的详细内部结构。在第五实施例中，通过缩小已经根据第一实施例到第四实施例的上述放大方法放大的图像，可以消除放大图像中生成的噪声。为此，第五实施例的图像放大处理单元56包含放大率改变单元587、域块提取单元562、范围块提取单元564、放大范围块形成单元570和放大图像获取单元576。这个放大率改变单元587将预先指定的放大率改变成比该指定放大率更大的放大率，并将这个改变后的放大率定义成一设定放大率。图像放大处理单元56还包括第一放大转换单元580和图像缩小单元588。第一放大转换单元580以与第二实施例类似的方式构成，并通过分形放大方法执行一个放大/转换处理操作。图像缩小单元588缩小第一放大转换单元580所输出的一个放大图像以便以一个指定放大率生成一个放大图像。应当理解图16图示这样一个例子，图像缩小处理单元588安装有在第二实施例的图像放大处理单元56中使用的放大图像获取单元576。这个图像缩小处理单元588也可以类似地应用于第一、第三或第四实施例。图像放大处理单元56将图像缩小处理单元588的输出作为最终放大图像输入给图像数据输出单元59。

图像缩小处理单元588例如使用线性内插法来缩小一个图像。根据线性内插法的图像缩小操作与参考图3所述的图像缩小法相同。具体地说，当执行这个图像缩小操作时，如果将放大图像的大小缩小成放大操作之前的原始图像大小，则可以基本上实现将“抗混叠技术”应用于原始图像的效果。而且，因为已经根据第二实施例的放大方法放大四倍的图像被缩小1/2，可以消除放大两倍的图像的噪声，这在第一实施例中已经获得，并可以实现更高的信号质量。换句话说，在将预定大小的图像临时放大成比所需大小更大的放大图像之后，将这个更大的图像缩小到所需大小，从而可以对边沿部分执行“抗混叠技术”处理操作。

而且，在诸如JPEG图像的原始图像中原本包含噪声(块图像失真和蚊式噪声等)的情况下，重复执行这对放大和缩小操作，从而减轻该噪声。通常，当放大一个JPEG图像时，该噪声可能变得很明显。根据第五实施例的方法，因为在消除噪声的情况下放大JPEG图像，可以获得更高图像质量的图像。

而且，例如，如图9的“放大率组合”所示，在用户指定素数倍率，例如5倍和7倍的情况下，因为不能进一步再分这个指定的倍率值，不能应用第二实施例，其中放大率被分割，并使用分割的放大率执行放大处理操作从而改善图像质量。相反，根据第五实施例，例如重复执行三次两倍放大操作从而以8倍放大率放大原始图像。然后，将放大图像缩小到所需大小。因此，尽管牺牲了处理速度，与常规放大方法相比，第五实施例的放大方法能够显著改善图像质量。这一特征不仅可以应用于素数倍率，而且可以应用于除2ⁿ倍之外的其它倍率(例如6倍)。考虑到图像质量，下述方法是最佳方法。即，在重复2倍放大操作时，当放大大小变得比所需大小大时，将这个放大大小缩小到所需大小。

换句话说，如“能够实现最高图像质量的放大率组合”所表示，当组合第二实施例和第五实施例时，用户指定的放大率“K”被首先改变成最接近于指定放大率“K”的2ⁿ倍(K≤2ⁿ)，然后重复n次2倍放大操作。对于K＜2ⁿ，可以将放大率缩小到K/2ⁿ，从而等于指定的放大率“K”。在组合第二实施例和第五实施例的情况下，存在处理时间和图像质量之间的折衷关系。因此，可以根据处理时间和图像质量中的任一个具有顶级优先级来合理地组合倍率。例如，对于9至15倍的倍率，能够将一个原始图像放大四倍的放大处理操作被重复两次以获得16倍。此后，可以将放大的大小缩小到预定大小。

图17是一个方框图，用于表示根据本发明第六实施例的图像处理设备5的图像放大处理单元56的详细内部结构。在第六实施例中，这个放大方法尤其适用于彩色图像。也就是说，该第六实施例的图像放大处理单元56安装有准灰度图像生成单元59。该准灰度图像生成单元59对应于一个相应图像生成单元的例子。根据对应于用多个彩色分量表示的彩色图像的各个彩色分量的彩色图像，这个相应图像生成单元生成一个对应于一彩色图像的相应图像。而且，放大图像获取单元576包含一个彩色放大图像生成单元592。这个彩色放大图像生成单元592合成(组合)被放大的每种颜色的图像。应当指出尽管图17表示这样一个例子，即准灰度图像生成单元590安装有第一实施例的图像放大处理单元56，这个准灰度图像生成单元590可以类似地应用于第二至第五实施例。

在准灰度图像生成单元590中，例如以合理选择的相加比彼此相加表示一个彩色图像的各个彩色数据(例如R、G和B彩色数据)，以便生成一个准灰度图像“Y”，并且是对应于彩色图像的一个相应图像的例子。例如，准灰度图像生成单元590例如以相同的相加比彼此相加各个R、G和B彩色数据以获得准灰度图像Y(＝R+G+B)。还应当指出，不仅可以使用相同的相加比，而且可以使用这样的相加比“0.3R+0.6G+0.1B”生成这个准灰度图像Y以便基本上等于照度分量。

域块提取单元562提取对应于彩色分量的每个彩色图像的域块图像。域块提取单元564以这样的方式提取每个彩色图像的范围块图像，即，从对应于从域块提取单元562提取的每个彩色图像的域块图像的一个图像部分附近的图像部分中提取其范围块大小对应于一个范围块的对应范围块图像，然后，所提取对应范围块图像的位置被分配给各个彩色图像的相应位置。

图18是一个流程图，用于描述在第六实施例的图像处理设备5中执行的处理顺序操作。应当指出在这个流程图中，对于类似于第一实施例的、并针对各个彩色数据执行的处理操作，为第一实施例中所述的相同步骤号的最后一个数字提供后缀“a”，而对于为准灰度图像执行的处理操作，为第一实施例中所述的相同步骤号的最后一个数字提供后缀“y”。

在确保用于存储放大图像数据的存储区并将其初始化之后(步骤S100a)，准灰度图像生成单元590根据合理选择的相加比彼此相加表示一个彩色图像的彩色数据R、G和B以生成一个准彩色图像“Y”(步骤S100y)。还应当指出可以恰在步骤S160之前执行这个准灰度图像Y的生成。

类似于第一实施例的上述步骤S100至S200，图像放大处理单元56针对每个域块图像计算大小为3×3的最高类似度相应范围块图像的位置(步骤S120a至S200y)。该最高类似度相应范围块图像是以最高类似度类似于主块图像的一个相应范围块图像。范围块提取单元564以下述方式针对每个彩色图像设置最高类似度范围块图像，即，将由类似度判断单元568定义的最高类似度相应范围块图像的位置设置为各个R、G和B图像的相应位置(步骤S210a)。

接着，放大范围块形成单元570使用准灰度图像Y针对每个R、G和B彩色图像放大所选择的大小为3×3的最高类似度相应范围块图像，以便通过使用诸如线性内插法和投影法的公知方法形成大小为4×4的最高类似度相应范围块图像(步骤S220a)。随后，类似于第一实施例，与重叠处理操作结合执行平均处理操作，以便获得每个彩色分量的放大图像(步骤S240y至S320a)。然后，彩色放大图像生成单元592合成(组合)每种颜色的放大彩色图像以生成一个放大彩色图像(步骤S330)。

如上所述，第一至第五实施例尤其适合用作能够放大灰度图像的方法。对于表示一个彩色图像的彩色数据(例如R、G和B彩色数据)，也可以形成例如等同于一个具有256灰度等级的灰度图像的每个彩色图像。然后，根据第一至第五实施例放大处理各个彩色图像以生成放大的彩色图像，并最终相互合成这些放大彩色图像，从而可以获得这个彩色图像的放大图像。然而，在使用这种方法的情况下，存在一些边沿部分上的R、G和B彩色数据的边沿位置被移位的情况。而且，可能生成这些R、G和B彩色数据的噪声或混合彩色数据的噪声。通过在域块图像的各个R、G和B平面上使用相同的范围块图像位置可以减轻这个问题。

因此，在第六实施例中，例如针对通过求和R、G和B信号生成的一个R+G+B信号，以类似于第一实施例的方式针对每个域块图像计算一个最佳范围块图像(最高类似度相应范围块图像)的位置。此后，在每个R、G和B中，例如类似于第一实施例，在位于域块图像和最高类似度相应范围块图像的相同位置上的各个R、G和B范围块图像中计算最小二乘系数“a”和“b”。然后，各个彩色图像被最佳化/近似以获得一个放大彩色图像。换句话说，当共同使用准灰度图像时，在确定范围块图像关于R、G和B的位置之后，针对各个彩色分量执行放大处理操作。

当使用在第六实施例中解释的方法时，在为每种颜色计算上述最佳范围块图像位置的情况下，基本上不会产生噪声。而且，尽管对于R、G和B彩色数据使范围块图像的位置彼此相同，因为根据为每个R、G和B范围块图像最佳化的最小二乘系数执行像素值转换，原始图像可以被忠实地维持。而且，在使用第六实施例的放大方法的情况下，因为寻找块图像所需要的时间可以被降低1/3，能够缩短处理时间。

在上述描述中，已经使用了准灰度图像“Y”，其中已通过以适当的相加比彼此相加表示彩色图像的各个彩色数据来获得该准灰度图像。在仅非常接近于所关心块图像的图像区域被用作寻找范围，并且在该寻找范围内不再有大的彩色变化的初始条件下建立这种方法。然而，当扩大寻找范围时，因为可能出现一个彩色变化，存在在放大图像内产生一个人工(伪)信号的风险。在这种情况下，如果根据彩色空间中的距离判断类似度，然后根据该判断结果校正准灰度图像Y，即使寻找范围如此，也不会存在在放大图像中生成人工图像的风险。

如上所述，基于图像连续特性的假定建立根据各个实施例的放大处理操作。即，假定类似于域块图像的范围块图像在相同方向上出现并非常接近这个域块图像。因此，这个放大处理操作的技术思想从广义上说不同于图像自相似的常规分形压缩方法。而且，用于根据与域块图像的对应关系排除包含峰值和谷值的范围块图像的、在类似度判断单元568中执行的这样一个处理操作可能暗示当放大一个原始图像时，在原始图像中不包含的细微峰值和细微谷值不被恢复。在这一方面，上述处理操作具有与具有无限细微细节的分形思想不同的技术思想。

而且，在根据常规分形压缩方法进行放大处理操作的情况下，因为根据缩小映射的固定点理论重复地映射一个图像以收敛，必须基本上通过-1＜a＜1来定义像素值转换的转换系数“a”(对应于缩小比率)。反之，因为上述实施例的放大处理操作并不使用相应的收敛步骤，并不要求这个条件。如在类似度判断单元568的类似度判断操作中所述的，可以在更宽的条件下允许像素值转换参数。结果，能够显著改善图像质量。

因此，尽管该第一至第五实施例的上述放大处理方法使用分形概念思想，最终的放大图像并不属于分形理论的吸引子定义(attractor definition)，因此，这些放大处理方法可以具有与常规分形放大方法不同的含义。如上所述，各个实施例的放大处理方法可以具有与常规分形放大方法的概念思想不同的技术思想。不过，本发明的这个放大处理方法的特征在于分形放大方式的概念思想构成了它的一个非常重要的方面，更具体地说，这个分形概念思想可以显著地影响边沿清晰特性的可再现性。

图19示意性地图示使用一个CPU和一个存储器以软件方式构建图像处理设备5的情况下一个硬件结构的例子，即，使用一个计算机构建这个图像处理设备5。

这个图像处理设备5安装有CPU 902、ROM(只读存储器)904、RAM 906和通信I/F(接口)908。而且，这个图像处理设备5可以安装有一个记录/读取设备，用于从诸如硬盘设备914、软盘(FD)驱动器916和CD-ROM(光盘ROM)驱动器918记录/读取数据。硬盘设备914、FD驱动器916和CD-ROM驱动器918用于记录例如使CPU 902执行软件处理操作的程序数据。通信接口908可以与诸如互联网的通信网络进行通信数据的发送和接收。

可以使图像处理设备5的这种结构类似于在上述实施例中表示的基本结构和操作。而且，通过诸如CD-ROM 922的记录介质分配用于使计算机执行上述处理操作的程序。上述程序也可以不存储在CD-ROM 922中，而存储在FD 920中。而且，在使用一个MO驱动器时，上述程序可以被存储在一个MO中。而且，上述程序可以存储在其它存储介质中，例如非易失性半导体卡924，例如闪存卡。而且，可以经诸如互联网的通信网络从另一个服务器下载上述程序以获取或更新。还应当指出，作为记录介质，也可以使用除了FD 920和CD-ROM 922之外的许多其它存储介质，例如诸如DVD的光记录介质、诸如MD的磁记录介质、诸如PD的光磁记录介质、磁带介质、磁记录介质和诸如IC卡和微型卡的半导体存储器。

作为上述记录介质一个例子的FD 920和CD-ROM 922可以在其中存储在各个实施例中已经描述的由图像处理设备5执行的处理操作中所包含的部分或所有功能。因此，可以提供在其中已经存储下述程序和相关程序的记录介质。例如，对于用于图像处理设备5的程序，即在RAM 906中安装的软件，类似于在各个实施例中表示的图像处理设备5，以软件形式提供各个功能单元。各个功能单元被定义为放大率分割单元561、域块提取单元562、块图像分析单元563、范围块提取单元564、图像分析单元565、缩小范围块形成单元566、类似度判断单元568、放大范围块形成单元570、放大图像获取单元576、块图像合成单元578或重叠处理单元586。虽然这个软件被实现为例如一个打印机驱动器程序和一个显示器驱动器程序，这个软件可以被存储在诸如CD-ROM和FK的便携式存储介质中，或者可以经一个网络来发布。

因此，例如，在用一台计算机构成图像处理设备5的情况下，CD-ROM驱动器918从CD-ROM 922读取数据或程序并将所读取的数据或程序提供给CPU902。然后，将软件从CD-ROM 922安装到硬盘设备914。硬盘设备91在其中存储从FD驱动器916或CD-ROM驱动器918读取的数据和/或程序，并在其中存储通过由CPU 902执行程序形成的数据，并进一步从其中读取所存储的数据或程序以将所读取的数据/程序提供给CPU 902。在硬盘设备914中存储的软件被读取到RAM 906，此后由CPU 902来执行。例如，CPU 902根据在对应于一个记录介质例子的ROM 904和RAM 906中存储的程序执行上述处理操作，以便可以实现能够执行图像放大处理操作的功能。

虽然已经使用实施例描述了本发明，本发明的技术范围和精神并不仅限制于通过上述实施例描述的发明范围。因此，在不脱离本发明技术范围和精神的情况下，可以修改、变化和替换本发明。而且，上述实施例不用于限制所要求保护的发明，在本发明的解决方法中并不必需在这些实施例中所述特征的所有可能组合。

例如，在第一至第五实施例中，在处理一个图像时有足够大的存储容量的情况下，当预先执行有关缩小范围块图像的平均值计算和标准偏差计算，并预先执行范围块图像的C值计算时，将计算结果存储在一个表格中。因此，在每次寻找一个范围块图像时不再需要这样的计算，并可以仅通过参考该表来执行图像处理操作，从而可以缩短总计算时间并可以进一步提高处理速度。

而且，类似度判断单元568通过比较缩小范围块图像和域块图像判断类似度。当一个域块被放大到与一个范围块大小相同时，类似度判断单元568也可以通过比较这个域块图像与范围块图像来判断类似度。

而且，当在域块附近设置范围块时，在域块附近预先提取多个范围块，然后，从多个范围块中选择与域块具有较高类似度的范围块。也可以使用其它方式在域块附近设置范围块。例如，在预先分析一个图像的特征时，可以根据这个图像每个域块的特征获取将被设置的范围块方向。

而且，在第二实施例中，当在第二处理之后执行放大处理操作时，改变域块和范围块的大小(更大)。也可以使各个块大小每次都相同。

而且，在第三实施例中，将域块图像的特征划分成三种不同类型，例如边沿特性、杂乱特性和平坦特性，然后根据各种特性执行放大处理操作。也可以将域块图像的特征划分成两种不同类型，即边沿特性和另一种特性，然后，可以根据这两种类型执行放大处理操作。也就是说，当域块图像特征对应于杂乱特性或平坦特性时，可以执行相同的放大处理操作。其原因如下：即，在杂乱特性(纹理特性)中，尽管生成振荡噪声，这个循环噪声的电平很低并可以被隐藏在纹理特性中，因此并不明显。反之，如果通过适合于这个杂乱部分的放大处理操作，例如三阶卷积法处理该杂乱部分，则可以将将重点放在处理操作上，并可能对改善图像质量的贡献很小。

在各个实施例中，已经解释了这样一种结构，其中通过使用放大图像数据执行并显示打印处理操作。然而，本发明并不限制于此，但是可以被应用于用于处理图像的各种设备和系统。例如，本发明思想可以被应用于这样一个复印设备，其中可以组合彩色扫描仪32、图像处理设备5和打印引擎70。

如先前详细描述的，根据本发明的图像处理设备，因为以放大块单位放大范围块图像以形成放大图像，能够获得具有较小模糊分量的放大图像，同时实现分形概念思想的特征，并抑制锯齿和块失真的出现。而且，以大于域大小并小于所希望大小的范围大小提取范围块图像，而且，针对这个被提取的范围块图像执行放大处理操作。因此，该图像处理设备可以避免噪声状干扰(托影)和裂片状像素值渗出的出现。

而且，在范围块图像已经被放大之后，根据域块图像和范围块图像之间的关系再次转换放大后的像素值，可以在单个处理操作中高速生成一个可视的放大图像。

如上所述，根据本发明的图像处理设备，在确保与处理时间的平衡的同时，通过使用分形概念思想防止了诸如模糊现象、锯齿和块失真等图像恶化的出现，能够实现高图像质量的图像放大处理操作。

Claims (25)

1.一种图像处理设备，用于放大处理一个用大量像素表示的原始图像以获得一个放大图像，该图像处理设备包括：

一个域块提取单元，用于以第一块单位划分原始图像以从原始图像中提取多个域块图像；

一个范围块提取单元，用于以第二块单位从原始图像中提取一个范围块图像，该第二块单位大于第一块单位，同时小于以预先设置的放大率放大第一块单位获得的一个放大块单位；

一个放大范围块形成单元，用于以这样的方式形成一个放大范围块图像，即，由范围块提取单元提取的范围块图像被放大成放大块单位，并且根据域块图像和范围块图像之间的关系转换被放大成放大块单位的图像的每个像素值；和

一个放大图像获取单元，用于以这样的方式获取一个放大图像，即，使用由放大范围块形成单元所形成的每个放大范围块图像，以预先设置的放大率放大原始图像。

2.根据权利要求1的图像处理设备，其中范围块提取单元从域块图像的附近区域中提取范围块图像，该域块图像是由域块提取单元从原始图像提取的。

3.根据权利要求2的图像处理设备，其中范围块提取单元提取范围块图像，使得范围块图像中所包含的多个像素中的至少一个像素包含在域块图像中。

4.根据权利要求1的图像处理设备，还包括：

一个类似度判断单元，用于判断由范围块提取单元所提取的多个范围块图像中的每个图像与由域块提取单元所提取的域块图像之间的类似度；

其中范围块提取单元划分由域块提取单元所提取的域块图像附近的区域以提取多个范围块图像；和

其中放大范围块形成单元通过将类似度判断单元所判断的范围块图像放大成放大块单位来形成放大范围块图像，其中由类似度判断单元判断的该范围块和域块图像的类似度在多个范围块图像中是较高的。

5.根据权利要求4的图像处理设备，还包括：

一个缩小范围块形成单元，用于将由范围块提取单元提取的多个范围块图像缩小成第一块单位以形成多个缩小范围块，

其中类似度判断单元使用由缩小范围块形成单元形成的多个缩小范围块来判断与由域块提取单元所提取的域块图像之间的类似度。

6.根据权利要求5的图像处理设备，

其中类似度判断单元根据主转换式“az+b”执行像素值转换，其中符号“a”和“b”是关于由缩小范围块形成单元所形成的多个缩小范围块图像中每个缩小范围块图像的像素值“z”的系数，并从像素值已经被转换的多个缩小范围块图像中选择一个最类似于域块图像的缩小范围块图像；和

其中放大范围块形成单元将作为由类似度判断单元选择的缩小范围块图像的原始图像的范围块图像放大成放大块单位，并根据与放大图像的像素值有关的主转换式“az+b”执行像素值转换以形成放大的范围块图像。

7.根据权利要求6的图像处理设备，

其中类似度判断单元使用一个公式“bp＝dp-a×rp”，其中“bp”是关于像素位置“p”的主转换式的系数，“dp”是域块图像的对应像素的像素值，和“rp”是缩小范围块图像的对应像素的像素值。

8.根据权利要求6的图像处理设备，

其中放大范围块形成单元使用一个公式“bp＝dp-a×rp”，其中“bp”是关于像素位置“p”的主转换式的系数，“dp”是域块图像的对应像素的像素值，和“rp”是缩小范围块图像的对应像素的像素值。

9.根据权利要求4的图像处理设备，还包括一个复杂度判断单元，用于判断范围块图像的复杂度，

其中类似度判断单元参考由复杂度判断单元所判断的范围块图像的复杂度来判断类似度。

10.根据权利要求4的图像处理设备，还包括一个复杂度判断单元，用于判断范围块图像的复杂度，

其中放大范围块形成单元参考由复杂度判断单元所判断的范围块图像的复杂度来确定放大范围块图像的像素值。

11.根据权利要求1的图像处理设备，

其中域块提取单元顺序地切换图像读取开始位置，并以第一块单位划分原始图像以提取域块图像；和

其中放大图像获取单元包括一个重叠处理单元，用于获取通过根据重叠部分各个像素的像素值顺序地切换图像读取开始位置所生成的重叠部分的像素值，该重叠部分是通过顺序地切换图像读取开始位置获取的对应于原始图像的每个放大图像的重叠部分。

12.根据权利要求1的图像处理设备，还包括一个放大率分割单元，用于将预先指定的放大率分割成比预先指定的放大率更小的放大率的组合以将每个所分割的更小放大率确定为预先设置的放大率，

其中在执行放大重复处理操作过程中顺序地应用由放大率分割单元分割的每个放大率。

13.根据权利要求12的图像处理设备，其中域块提取单元在每次顺序地应用由放大率分割单元分割的每个放大率时改变第一块单位的大小。

14.根据权利要求12的图像处理设备，其中范围块提取单元在每次顺序地应用由放大率分割单元分割的每个放大率时改变第二块单位的大小。

15.根据权利要求1的图像处理设备，

其中原始图像是一个用多个彩色分量表示的彩色图像，

该图像处理设备还包括一个相应图像生成单元，用于根据与表示彩色图像的各个彩色分量相对应的彩色图像来生成对应于该彩色图像的一个相应图像，

其中域块提取单元为对应于彩色分量的每个彩色图像提取域块图像；和

其中范围块提取单元为由域块提取单元提取的每种彩色图像，从由相应图像生成单元所生成的相应图像中的域块图像附近的图像部分中以第二块单位提取对应于范围块的相应范围块图像，并将所提取相应范围块图像的位置分配给对应于每个彩色分量的每个彩色图像中的相应位置以提取每种彩色图像的范围块图像。

16.根据权利要求1的图像处理设备，还包括：

第一放大转换单元，用于根据第一放大方法执行放大转换处理操作，其中，所述域块提取单元、范围块提取单元、放大范围块形成单元和放大图像获取单元被包括在该第一放大转换单元中；

第二放大转换单元，用于根据与第一放大方法不同的第二放大方法执行放大转换处理操作；

一个块图像分析单元，用于分析由域块提取单元所提取的域块图像的特征；和

一个放大处理方法选择单元，用于根据块图像分析单元所分析的图像分析结果选择第一放大转换单元和第二放大转换单元的输出之一。

17.根据权利要求16的图像处理设备，

其中块图像分析单元分析由域块提取单元所提取的域块图像具有边沿特性还是具有不同于边沿特性的第二特性，作为域块图像的一个特征；

其中放大处理方法选择单元在块图像分析单元的分析结果代表对应于边沿特性的域块图像特征时选择第一边沿转换单元的输出；和

其中放大处理方法选择单元在块图像分析单元的分析结果代表对应于第二特性的块图像特征时选择第二放大转换单元的输出。

18.根据权利要求17的图像处理设备，

其中块图像分析单元分析从域块提取单元提取的域块图像具有下述哪种特性；包含强度较强边沿的边沿特性、包含强度较弱边沿集中部分并且是第二特性第一个例子的杂乱特性、或者基本上不包含边沿并且是第二特性第二个例子的平坦特性；

其中第二放大转换单元包括：

杂乱特性放大转换单元，用于根据一种适合于作为第二放大方法第一个例子的杂乱特性的方式执行一个放大转换处理操作；和

平坦特性放大转换单元，用于根据一种适合于作为第二放大方法第二个例子的平坦特性的方式执行一个放大转换处理操作；

其中当块图像分析单元的分析结果表示对应于杂乱特性的域块图像特征时，放大处理方法选择单元选择杂乱特性放大转换单元的输出；和

其中当块图像分析单元的分析结果表示对应于平坦特性的块图像特征时，放大处理方法选择单元选择平坦特性放大转换单元的输出。

19.根据权利要求1的图像处理设备，还包括一个边沿强度判断单元，用于判断在原始图像中所包含的一个边沿分量的强度，

其中域块提取单元参考由边沿强度判断单元所判断的边沿分量的强度来设置第一块单位的大小。

20.根据权利要求1的图像处理设备，还包括一个边沿强度判断单元，用于判断在原始图像中所包含的一个边沿分量的强度，

其中范围块提取单元参考由边沿强度判断单元所判断的边沿分量的强度来设置第二块单位的大小。

21.根据权利要求1的图像处理设备，还包括一个复杂度判断单元，用于将原始图像划分成每个具有预定大小的块图像，并用于判断所划分块图像的复杂度；

其中域块提取单元参考由复杂度判断单元判断的复杂度来设置第一块单位的大小。

22.根据权利要求1的图像处理设备，还包括一个复杂度判断单元，用于将原始图像划分成每个具有预定大小的块图像，并用于判断所划分块图像的复杂度；

其中范围块提取单元参考由复杂度判断单元判断的复杂度来设置第二块单位的大小。

23.根据权利要求21的图像处理设备，

其中复杂度判断单元计算具有预定大小的块图像的像素值的标准偏差；和

其中复杂度判断单元根据所计算的标准偏差来判断具有预定大小的块图像是对应于一个包含一个边沿的部分的块图像还是一个基本上不包含边沿的部分的块图像。

24.根据权利要求23的图像处理设备，

其中复杂度判断单元针对包含一边沿的块图像获取该具有预定大小的块图像的局部连续特性；和

其中复杂度判断单元判断包含边沿的部分的块图像是对应于一个包含一强度较强边沿的台阶边沿部分的图像还是一个包含一强度较弱边沿集中的部分的杂乱部分的图像。

25.根据权利要求1的图像处理设备，还包括一个放大率改变单元，用于将预先指定的放大率改变成大于预先指定放大率的一个放大率；

一个放大转换单元，用于根据一个分形放大方法执行一个放大转换操作，所述域块提取单元、范围块提取单元、放大范围块形成单元和放大图像获取单元被包括在该放大转换单元中；和

一个图像缩小单元，用于缩小由放大转换单元输出的放大图像以生成一个用指定放大率放大的放大图像。

Images