CN1534547A - 处理图像的装置和方法 - Google Patents

Abstract

当输入的图像显示在显示器上时，通过使用至少有关包括在输入图像中的主题的信息和有关显示器显示输入图像的信息之一确定作为增强输入图像清晰度的参数的增强度。通过使用所确定的增强度，在由根据彩色空间中的主要分量分析而得的第一主要分量轴上来控制彩色分配。而且，主题的纹理尺寸放大并再次被映射到主题上。由此，输入图像可加以增强处理为易于观看的良好纹理感。

Description

处理图像的装置和方法

技术领域

本发明涉及用于处理图像的装置，它将输入图像处理成高纹理质量并在显示器屏幕上显示它的处理图像的装置和方法。

发明背景

近来，因特网上的在线购物随着非对称数字用户线路(ADSL)、诸如光纤的高速线路以及进入一般家庭的个人计算机的扩展而变得相当常见。

因特网购物很便利，可以呆在家里从广泛的各种商品中选择想要的东西，这个过程从下订单到货物接收都能容易地进行。同时，从销售商考虑，没有必要拥有实际的商铺。此外，消费者广布在世界各地。

但是，在因特网购物中，用户不可能用他/她自己的眼睛确定真实的产品。由于这个原因，大多数销售商网站都发布一个启事“图片可能不同于实物，请确认”或诸如此类。然而，实际上有不少来自用户的抱怨和退货。因而，存在着在用户显示器上将具有良好纹理感的产品图像显示到尽可能高的程度的要求。

同时，用户所使用的显示器大小是用于个人计算机的15到17英寸左右，以及用于PDA或蜂窝电话的几英寸。

图像处理技术，用于图像在用户显示器上显示，包括分辨率转换、减色转换和格式转换，适应于作为输出目标的显示器特征。

同时，JP-A-2002-108757描述了一种技术，考虑长宽比来在便携式数字助理的低分辨率屏幕上放置内容图像，图像转换通过旋转图像及进一步降低同一图像的大小完成。

图1是示出以往技术的图像处理系统的布置图，它在服务器和客户间发送和接收图像。客户端1具有显示设备3、分辨率/色数信息数据库4和信息发送/接收部分5。服务器型图像处理装置2具有分配部分6、图像数据库7、分辨率转换单元8、减色转换单元9和格式转换单元10。二者由因特网等连接在一起。

通过客户端1的信息发送/接收部分5，想要在显示设备3上显示的图像的请求信号发送到服务器型图像处理装置2。这时，同时发送的还有有关在显示设备3上可显示颜色的分辨率和数量的信息。在服务器型图像处理装置2中，分配部分6从信息发送/接收部分5接收图像请求并从存于图像数据库7的图像中读取所请求的图像。分辨率转换单元8按照所请求的在显示设备3的尺寸，完成关于有关所请求图像的分辨率和高宽信息的转换。同时，减色转换单元9进行将所请求图像的颜色数量调整到显示设备3上可显示颜色的转换。格式转换单元10将图像转换成在客户端1的应用软件上处理的格式。

这样处理过的图像从分配部分6送往客户端1，在那里由信息发送/接收部分5接收，然后在显示设备3上显示。

在图1布置中，因为分辨率转换单元8只将图像大小转换成显示设备3上的尺寸，产品图像由于分辨率不足而失去清晰度。因而，不可能把产品的纹理感正确地传递给用户。尤其是存在一个问题，即从图像了解产品的准确纹理(texture)和材料粒感是相当困难的。

因此，为了在低分辨率显示设备3上再现高分辨率图像，存在一种需要来实现输入图像上的清晰度增强过程。同时，为了向观察者传递实际产品的纹理感需要这种吸引用户的变形。因而，需要实现变形增强过程。

改善纹理感的常规方法包括，例如，模糊蒙片来加强图像清晰度(参见例如，Hiroyaki Kodera的″Digital Image Technology III-Image DigitalProcessing in Printing(1)″，p39-47，日本出版协会，Vol.25，No.3，1988)。模糊蒙片是一滤光器，首先模糊化原始图像以计算模糊图像与原始图像之间的微分(differential)，并调整微分图像以进一步将原始图像和调整后的微分图像结合在一起，从而实现清晰度增强过程。

但是，关于针对常规清晰度增强过程的模糊蒙片，没有考虑有关清晰度增强的方向。由此，由输入设备获得图像的情况由于噪声的影响而恶化，某些情况下的噪声可能是显著的。

图2A是通过虚拟添加噪声至诸如毛线衫的纺织品的纹理图像上而制备的输入图像上的彩色分配(color distribution)，由每个象素RGB颜色上的8位数字数据示出在彩色空间中。图2B是依靠模糊蒙片在清晰度上增强的图2A输入图像的彩色分配。

如图2B所示，由于彩色分配的全部扩展，清晰度增强过程产生的噪声问题比清晰度增强过程之前的更显著。

图3A示出作为在低分辨率输入图像上基于主要分量分析结果的RGB彩色空间中的彩色分配，同时图3B示出作为在高分辨率输入图像上基于主要分量分析结果的RGB彩色空间中的彩色分配。这里，假设作为主要分量分析结果可获得的第一原色分量轴1701为输入图像的彩色分量的方向。

从图3B能够看见关于图像彩色分配，高分辨率的输入图像比低分辨率的在彩色分量方向中有更明朗的分配，不用在其他方向上扩展。因而，如图3B所示，可考虑理想的清晰度增强过程来获得与分辨率提高相同的彩色分配。

同时，用常规模糊蒙片，通过加权高频分量来控制增强度(enhancingdegree)，以便抑制亮度变化和局部饱和出现。还有，高频分量的加权值由增强处理以经验为主地确定，因此又带来了处理复杂的问题。

同时，在计算机图形(CG)情况下，用的是要映射到形状上的三维形状信息和纹理信息。但是，要在没有图像处理主题的纹理的情况下，映射使用中的纹理。由此，图像在小尺寸终端设备的显示器上显示的情况下，存在由于分辨率不足纹理不易于直观感受的问题。

还有，在显示器分辨率确保情况下，当主题减小尺寸完整显示时，还碰到由于分辨率不足纹理不易于直观感受的问题。

概述

本发明是考虑到以下几点而完成的，而且其目标是提供处理图像的装置和方法，它用来实现能够从输入到显示设备的图像获得易于观看的带有良好纹理感的图像的增强过程，同时减少如以往技术中观察到的由增强过程引起的噪声，其中增强过程可按照输入图像和有关显示设备的信息进行。

在本发明中，当输入的图像显示在显示器上，通过使用有关包括在输入图像中的主题的信息和有关显示输入图像的显示器的信息的至少一个确定参数。通过使用所确定的参数，通过根据彩色空间中主要分量的分析所获得的第一基本分量轴上控制彩色分配。而且，通过放大主题的纹理尺寸并将其映射回主题，输入图像可增强处理为易于观看的良好纹理感。

同时，在压缩输入图像的情况下，将输入图像分成形状数据和纹理数据并压缩。纹理数据的压缩过程通过一次性降低输入图像的分辨率来实现。另一方面，在低分辨率上重构纹理数据后，对于低分辨率纹理数据，在彩色空间中的第一基本分量轴上控制彩色分配，从而完成具有良好纹理感的增强过程。

另外，用户在显示设备上观察显示图像允许选择输入图像中感兴趣的部分作为感兴趣部分，由此增强过程可针对感兴趣部分进行。

通过上述布置，甚至有可能在低分辨率显示器上再现具有等同于高分辨率显示器上所再现图像的纹理感的图像。实际产品的纹理感可在显示器上再现。而且能够实现有效的图像压缩。

附图说明

图1是一方框图，示出以往技术中的图像处理系统的布置；

图2A和2B是彩色分配图，说明由于常规的模糊蒙片导致的增强结果；

图3A和3B是背景技术中具有分辨率上不同的纹理的彩色空间分配图；

图4是一方框图，示出用于依照本发明第一实施例的图像处理装置的布置；

图5A和5B是彩色分配，说明由依照本发明第一实施例的图像处理方法而得的彩色分配扩展；

图6是一流程图，说明在依照本发明第一实施例的图像处理方法中的图像增强过程；

图7是一波形图，说明在依照本发明第一实施例的图像处理方法中的清晰度增强过程；

图8是一流程图，说明在依照本发明第一实施例的图像处理方法中的清晰度增强过程；

图9A-9E是波形图，示出在依照本发明第一实施例的图像处理方法中的主题信息；

图10是示出在依照本发明第一实施例的图像处理方法中分辨率和标准偏差之间关系的曲线图；

图11是一个表，说明在依照本发明第一实施例的图像处理方法中的分辨率；

图12是示出在依照本发明第一实施例的图像处理方法中增强参数和分辨率之间关系的曲线图；

图13是客户服务器装置的方框图，示出依照本发明第一实施例的图像处理装置的应用示例；

图14是概念图，示出在依照本发明第一实施例的图像处理装置中基于CC/PP的终端设备信息描述示例；

图15是一方框图，示出包括用于依照本发明第一实施例的图像处理装置的数码静态像机的布置；

图16是一方框图，示出用于依照本发明第二实施例的图像处理装置的布置；

图17是一概念图，示出在依照本发明第二实施例的图像处理装置中用户界面；

图18是一方框图，示出用于在依照本发明第三实施例的图像处理装置的布置。

详细说明

本发明的示例实施例在下文中参考附图予以说明。

第一示例实施例

图4是示出用于依照本发明实施例1的图像处理装置的布置图。

图4中，图像数据库101存有要在显示器103上显示的一组图像。图像数据库101输出由请求要在显示器103上显示的图像的图像显示请求信号所请求的图像，并将它输入到主题信息获取单元104和增强处理单元107中。图像处理装置102配置为包括主题信息获取单元104、显示信息获取单元105、增强参数确定单元106和增强处理单元107。

主题信息获取单元104获取包含在从图像数据库101输入的图像中的主题信息。在这个实施例中，假设主题信息先前已存在图像标题上。附带提一下，尽管未示出，可使布置通过进一步添加图像识别设备而直接从图像获取主题信息。主题信息将在后面详述。

显示信息获取单元105从用户使用的显示器103获取显示信息。显示信息包括最大亮度、对比度、分辨率和可显示的色数。特别地，这个实施例将显示信息的分辨率解释为图像清晰度最具决定作用的因素。

增强参数确定单元106为在清晰度增强过程中使用确定增强参数值，通过使用来自主题信息获取单元104的主题信息和来自显示信息获取单元105的显示信息。增强参数将在后面详述。

增强处理单元107通过使用由增强参数确定单元106确定的增强参数执行增强输入图像中清晰度的清晰度增强过程，并将它输出为显示器103上的显示图像。

现在说明的是增强处理单元107的详细操作。在这个实施例中，要在增强处理单元107中实现的清晰度增强过程包括第一和第二方法。第一方法是通过考虑清晰度要在彩色空间内增强的颜色方向，不产生显著噪声而进行增强。第二方法是在降低彩色空间中低频分量后依照第一方法实现清晰度增强过程。

首先，说明第一清晰度增强过程。

如在以往技术中所说明的，通过提高分辨率，输入图像的彩色分配在颜色分量方向中的第一基本分量轴上扩展。因而，可以看出，显示器在分辨率上低，彩色分配可在第一基本分量轴的方向上扩展，以弥补分辨率缺陷。

现在通过使用图5A和5B说明的是在以第一基本分量轴方向作为一个颜色分量的方向中扩展输入图像的彩色分配的操作。图5A是扩展输入图像的彩色分配前的彩色分配图，而图5B是在第一基本分量轴201方向中扩展图5A输入图像的彩色分配后的彩色分配图。扩展彩色分配包括在输入图像像素的第一基本分量值上乘以一常量的方法，以及向每个输入图像像素上的第一基本分量增加一常量的方法。在这个实施例中，随机数乘以每个输入图像像素的第一基本分量值，来只扩展颜色分量方向中的第一基本分量。彩色分配要是在第二基本分量轴202或第三基本分量轴203的方向上扩展而不是以第一基本分量轴201的方向作为颜色方向分量，图像就会成为在噪声上增强的图像。从而，对于第二和第三基本分量值，转换是对没有乘以随机数的以前的彩色空间。

现在使用图6说明的是本发明上述说明的清晰度增强过程方法的具体过程。

倘若输入图像具有像素分量gi，且控制该微粒的函数是G(x)，清晰度增强过程后的图像具有由公式1定义的像素分量fi。

    f_i＝G(g_i)                     公式1

其中i是像素数(1≤i≤X×Y：X是图像水平方向上的像素数而Y是图像垂直方向上的像素数)。假设公式1中的每个像素分量fi具有由公式2表示的元素R、G和B值。

$g_i=\left[\begin{array}{c}{g}_{\mathrm{Ri}}\\ g_{\mathrm{Gi}}\\ g_{\mathrm{Bi}}\end{array}\right]$

$f_i=\left[\begin{array}{c}{f}_{\mathrm{Ri}}\\ f_{\mathrm{Gi}}\\ f_{\mathrm{Bi}}\end{array}\right]$ 公式2

在图6中，在S301，根据主要分量分析输入图像，来生成每个像素上的第一到第三基本分量值。明确地，取图像的平均像素向量为gave及协方差矩阵为Cgg，输入图像的协方差矩阵Cgg通过使用公式3确定。在公式3中，{}T表示转置。

$C_{\mathrm{gg}}=(g_i-g_{\mathrm{ave}}){(g_i-g_{\mathrm{ave}})}^T$

$=\frac{1}{n}\left[\begin{array}{ccc}\underset{i=1}{\overset{n}{\mathrm{\Σ}}}(g_{\mathrm{Ri}}-g_{\mathrm{Rave}})(g_{\mathrm{Ri}}-g_{\mathrm{Rave}})& \underset{i=1}{\overset{n}{\mathrm{\Σ}}}(g_{\mathrm{Ri}}-g_{\mathrm{Rave}})(g_{\mathrm{Gi}}-g_{\mathrm{Gave}})& \underset{i=1}{\overset{n}{\mathrm{\Σ}}}(g_{\mathrm{Ri}}-g_{\mathrm{Rave}})(g_{\mathrm{Bi}}-g_{\mathrm{Bave}})\\ \underset{i=1}{\overset{n}{\mathrm{\Σ}}}(g_{\mathrm{Gi}}-g_{\mathrm{Gave}})(g_{\mathrm{Ri}}-g_{\mathrm{Rave}})& \underset{i=1}{\overset{n}{\mathrm{\Σ}}}(g_{\mathrm{Gi}}-g_{\mathrm{Gave}})(g_{\mathrm{Gi}}-g_{\mathrm{Gave}})& \underset{i=1}{\overset{n}{\mathrm{\Σ}}}(g_{\mathrm{Gi}}-g_{\mathrm{Gave}})(g_{\mathrm{Bi}}-g_{\mathrm{Bave}})\\ \underset{i=1}{\overset{n}{\mathrm{\Σ}}}(g_{\mathrm{Bi}}-g_{\mathrm{Bave}})(g_{\mathrm{Ri}}-g_{\mathrm{Rave}})& \underset{i=1}{\overset{n}{\mathrm{\Σ}}}(g_{\mathrm{Bi}}-g_{\mathrm{Bave}})(g_{\mathrm{Gi}}-g_{\mathrm{Gave}})& \underset{i=1}{\overset{n}{\mathrm{\Σ}}}(g_{\mathrm{Bi}}-g_{\mathrm{Bave}})(g_{\mathrm{Bi}}-g_{\mathrm{Bave}})\end{array}\right]$

$=\left[\begin{array}{ccc}{\mathrm{\σ}}_{g_R}^2& {\mathrm{\σ}}_{g_R{g}_G}& {\mathrm{\σ}}_{g_R{g}_B}\\ {\mathrm{\σ}}_{g_R{g}_G}& {\mathrm{\σ}}_{g_G}^2& {\mathrm{\σ}}_{g_G{g}_B}\\ {\mathrm{\σ}}_{g_R{g}_B}& {\mathrm{\σ}}_{g_G{g}_B}& {\mathrm{\σ}}_{g_B}^2\end{array}\right]$

                                        公式3然后，协方差矩阵通过奇异值分解扩展，如公式4。

$C_{\mathrm{gg}}=P_g{\mathrm{\Λ}}_g{P_g}^T$

$=\left[\begin{array}{c}{P}_{g1}\\ P_{g2}\\ P_{g3}\end{array}\right]\left[\begin{array}{ccc}{\mathrm{\σ}}_{g1}^2& 0& 0\\ 0& {\mathrm{\σ}}_{g2}^2& 0\\ 0& 0& {\mathrm{\σ}}_{g3}^2\end{array}\right]{\left[\begin{array}{c}{P}_{g1}\\ P_{g2}\\ P_{g3}\end{array}\right]}^T$ 公式4

在公式4中，g是具有Cgg特征值(g1)2、(g2)2和(g3)2的对角元素的对角矩阵，Pg是具有Cgg特征向量Pg1、Pg2和Pg3的元素的矩阵。

通过使用这样确定的特征向量Pg，所有像素向量gi都由公式5转换成基本分量像素向量wi。

    w_i＝P_g(g_i-g_ave)                     公式5

其中，wi由第一、第二和第三基本分量值组成，并可表示为wi＝[wi1，wi2，wi3JT。

在S302，为了控制图像的微粒感，每个像素上计算出的第一基本分量值wi1乘以通过用随机数“random”乘上在增强参数确定单元106中获得的增强度R而获得的值r，如公式6所示。这加在第一基本分量值wi1上，因而获得新的基本分量值wi1。增强度R在后面提及。

    v_i1＝(1+r)·w_i1；r＝R×random                公式6

然后，在S303，输出基本分量像素向量vi＝[vi1，vi2，vi3]T，由新由公式6计算出的第一基本分量值wi1和未经处理的第二和第三基本分量值组成，转换为以前的RGB空间的值。明确地，以前的RGB值由公式7确定。

    f_i＝P_g ^Tv_i+g_ave                               公式7

通过以上过程，计算出显示图像，它增强了清晰度而没有增加噪声。

现在使用图7说明的是第二清晰度增强过程。与背景技术中的模糊蒙片同样，计算的是输入图像401和输入图像被模糊了的模糊化图像402之间的差值，因而去掉了图像的低分辨率部分，随后在剩余的高频分量403上实现第一清晰度增强过程。这个方法能够弥补高频分量403由于分辨率的降低从图像中消失，这样使清晰度增强过程更合适。

顺便提及，在这个实施例中，模糊化图像402通过补偿一半输入图像分辨率而提供。通过降低分辨率，只根据低频分量制作图像是可能的。

使用图8说明的是第二清晰度增强过程方法的具体过程。

首先，在S501，模糊化像素向量值gi*从输入图像的像素向量gi获得。将输入图像的像素向量gi和模糊化像素向量gi*代进公式3至5，因此进行主要分量的分析。

在S502，计算的是输入图像像素向量gi的第一基本分量值wi1和模糊图像像素向量gi*的第一基本分量值wi1*。wi1*只是wi1低频成分的像素值。

通过计算两者的差值，只能获得wi1的高频分量。在S503，在S502计算出的每个像素上的高频分量乘以值r，它是通过用随机数“random”乘上在增强参数确定单元106中获得的增强度R而获得的，如公式8所示。然后，加上模糊化图像的第一基本分量值的低频分量wi1*以计算只在高频分量中增强的第一基本分量值vi1。顺便地，增强度R在后面提及。

    v_i1＝w_i1+(1+r)·(w_i1-w^* _i1)；r＝R×random    公式8

在S504，输出基本分量像素向量vi＝[vi1，vi2，vi3]T，由新由公式8计算出的第一基本分量值vi1和未经处理的第二和第三基本分量值组成，转换成以前的RGB空间中的值。注意用r代替(1+r)能获得类似的效果。

在第二清晰度增强过程中，由于只增强高频部分而与低频分量的像素值无关，所以只增强了高频波，以提供不会发生亮度变化和局部饱和的优点。

现在说明的是增强参数确定单元106的操作。

增强参数确定单元106将确定增强度R，一个将在增强处理单元107中的清晰度增强过程中使用的参数，基于主题信息和显示信息的至少一个。

能够使用主题信息，例如，表示材料纹理图像中高频分量比率的统计量。此外，它能通过使用表示微分图像的像素值变化的标准偏差值“sdev”计算，其中模糊化图像的微分图像从第一基本分量值获取。

图9A是编织线的微分图像的像素值的频率表示。图9B是粗斜纹棉布的微分图像的像素值的频率表示。图9C是地毯-a的微分图像的像素值的频率表示。图9D是地毯-b的微分图像的像素值的频率表示。图9E是塑料的微分图像的像素值的频率表示。如此，由于微分图像的像素值的频率假设为正态分布，标准偏差值可用作主题信息。

同时，图10是示出视角基准分辨率和标准偏差之间关系的一幅图。这里，参量是编织线701、粗斜纹棉布702、地毯-a703、地毯-b704和塑料705，其中纵坐标表示标准偏差，而横坐标表示视角基准分辨率。可从图10中确认，相对于输入图像分辨率中的变化，标准偏差值的变化不大。因而，标准偏差值能够用作有关主题信息的信息。

在上面，主题信息是用表示材料纹理图像中高频分量比率的统计量的例子说明的。但是，有可能使用主题的功率谱、与功率谱的高频分量有关的统计量、主题纹理的功率谱、与主题纹理的功率谱的高频分量有关的统计量、主题纹理的尺寸中的至少一个。通过使用主题信息的这些部分(piece)，相对于主题分辨率的变化，使主题信息的变化不大。因而，易于设置增强度。

现在说明的是显示信息使用显示器103的分辨率的情况。

观察显示器103的距离根据显示器103的大小而不同。图11示出表示台式显示器和蜂窝电话显示器的分辨率的数字。提供了蜂窝电话显示器有大约2英寸的尺寸，基于像素大小的分辨率为4.125[pixs/mm(像素/毫米)]。提供了台式显示器有大约17英寸的尺寸，基于像素大小的分辨率为3.8[pixs/mm]。因而，蜂窝电话显示器在分辨率上较高。

但是，在使用的一般状态中，台式显示器是在距观察者将近50[cm]的距离上，而蜂窝电话显示器是在距观察者大约30[cm]的距离上。观察者的距离是不同的，也就是说，蜂窝电话显示器相对于观察者更近。因而，在能被观察者观看的图像尺寸在台式显示器和蜂窝电话显示器上相同的情况下，观察者将觉得蜂窝电话显示器比台式显示器具有较低的分辨率。

这可通过根据视角考虑分辨率的基准来理解。视角基准分辨率“resolution”，考虑视角，由公式9表示，并根据[cycles/degree(周/度)]单位。

resolution＝基于像素的分辨率×实际图像尺寸/对于显示器上图像的视角                                                 公式9

例如，观察者将在具有1.6cm宽的图像显示在位于30cm距离的大约2英寸尺寸的蜂窝电话显示器上的情况下和在具有宽2.66cm的图像显示在位于50cm距离的大约17英寸的台式显示器上的情况下观察同一图像。这时的视角对于显示器上的图像是3.05度。

用公式9计算图11的台式显示器和蜂窝电话显示器上的视角基准分辨率，由于3.8[pixs/mm]的像素大小的分辨率、2.66[cm]的实际图像大小和3.05[degree]的相对显示器上图像的视角，台式显示器上的视角基准分辨率“resolution”是32.7[cycles/degree]。另一方面，蜂窝电话显示器上的视角基准分辨率“resolution”是21.6[cycles/degree]。观察者感觉到的分辨率比在台式显示器上的分辨率高。

现在说明的是如何确定增强度R，通过使用“sdev”值作为主题信息及视角基准分辨率“resolution”作为显示信息。增强度R可由公式10确定。

    R＝-0.14·resolution+sdev           公式10

通过取“sdev”值的总计值上的增强度R作为主题信息及显示信息“resolution”，增强度能近似地线性表示显示信息。因而，增强度变得易于设置。即，由于分辨率“resolution”，增强度R几乎线性地变化。

根据下列主观评估(subjective evaluation)实验，认为公式10是正确的，尽管主题纹理变化很大。在主观评估实验中，对于审查者，高分辨率图像显示在作为台式显示器的液晶显示器的左半边区域中，同时在右半边区域中显示在具有六种低分辨率的增强度中不同的33级图像。对于这些，提示用户选择增强度，由它将相同地感知高分辨率图像和低分辨率图像。

同时，实验使用半暗(semi-darkness)下50cm的观察距离的Haproscopic方法。这是因为人眼有适合视野中最亮颜色的天性，因此左右眼间划分的构造将左右眼的适应彼此隔开了。

主观评估实验的结果示于图12。图12图形的横坐标表示视角基准分辨率，而纵坐标表示增强度R。参量是编织线901、粗斜纹棉布902、地毯-a903、地毯-b904和塑料905。可以看出，尽管编织线901是在不同于其它材料的曲线上，但其它材料在几乎线性于增强度变化。图10是这种主观评估实验的公式化。

因而，增强参数确定单元106可使用公式10或图12所示的主观评估实验的结果来确定增强度R。

增强度R能通过使用至少作为主题信息的“sdev”和视角基准分辨率“resolution”二者之一来确定。

同时，为了确定实际产品的纹理感能在显示器上再现的增强度R，实际产品可放在主观评估实验的左边。

图13示出了客户服务器装置的布置图，该装置允许采用实施例1的图像处理装置102的图像服务器1001通过网络的使用与用户终端1006通信。

在图13中，图像服务器1001配有图4中说明的图像数据库和图像处理装置102，以及服务器发送/接收部分1003。用户终端1006配有在图4中说明的显示器103、用户输入部分1005和发送/接收部分1004。

服务器发送/接收部分1003通过网络1002发送其清晰度已由图像处理装置102增强处理过的图像至用户终端1006。同时，服务器发送/接收部分1003通过用户终端1006接收有关显示器103的显示信息和图像显示请求信号。

用户输入部分1005是选择用户要显示在显示器103上的图像和输出图像显示请求信号的设备。发送/接收部分1004通过网络1002发送有关显示器103的显示信息和图像显示请求信号至图像服务器1001，并从图像服务器1001接收其清晰度已增强处理过的图像。

现在说明操作。当用户通过用户输入部分1005输入关于用户想要在用户终端上显示的图像的图像显示请求信号时，图像显示请求信号和显示信息输出到发送/接收部分1004。发送/接收部分1004通过网络1002发送图像显示请求信号和显示信息至图像服务器1001。

在图像服务器1001内的服务器发送/接收部分1003接收图像显示请求信号和显示信息，并输出显示信息到图像处理装置102和图像显示请求信号到图像数据库101。

图像数据库101读取所请求的图像并将它提供给图像处理装置102。图像处理装置102在从图像数据库101输入的图像上执行清晰度增强过程，之前指出的，通过有关从服务器发送/接收部分1003接收的有关用户终端1006的显示信息的使用，并输出清晰度增强过程后的图像至服务器发送/接收部分1003。服务器发送/接收部分1003通过网络1002发送清晰度增强过程后的图像至用户终端1006。

在用户终端1006中，发送/接收部分1004接收清晰度增强过程后的图像并输出到显示器103上，从而在其上显示清晰度增强过程后的图像。

顺便提及，从用户终端1006获取的显示信息能以向http标题添加信息添加技术所需的信息标记的形式实现，例如Cookie和CC/PP(合成能力/首选项轮廓(Composite Capability/Preference Profiles))。图14示出由CC/PP方式描述的终端信息例子。这里，描述了第4行的制造商信息以及第8行的显示器尺寸信息。

如上，这个实施例的图像处理装置102的使用使能够再现清晰度增强过程的图像，而不依赖于用户所用的显示器103的分辨率。

这个实施例的图像处理装置102，如果用于数码照像机，使在数码照像机的显示器103上能够以更高的纹理感显示图像。

图15示出了显示利用这个实施例的图像处理装置102的数码照像机的布置图。

拍照单元1201摄取主题照片，并将它转换成数字化数据的图像。由拍照单元1201摄取照片的图像存于图像数据库101。这种布置类似于背景技术中的数码照像机。

图像处理装置102以与显示器103特征匹配的方式在存于图像数据库101中的图像上执行清晰度增强过程。这增强了图像的清晰度并弥补了图像的分辨率缺陷。这使提供能够在显示器103上更高纹理感显示的数码照像机成为可能。

如上，本发明，当在显示器上显示输入图像时，通过使用至少包含在输入图像中的主题信息和作为有关输入图像要显示在上面的显示器信息的显示信息之一来确定增强度，并在输入图像上执行清晰度增强过程。这能生成最适合于显示并且高纹理感的图像。

同时，通过获取在主题信息和显示信息的总计值上的增强度，增强度能够近似于显示信息的线性表示，使增强度易于设置。

同时，通过由彩色空间中的第一基本分量值扩展输入图像的彩色分配，能减少噪声以便甚至能在图像质量恶化的输入图像中控制纹理感。图像，具有甚至等同于在高分辨率显示器上再现的图像那样的纹理感，能够在低分辨率显示器上再现。因此，实现让实际产品的纹理感再现在显示器上的图像处理是可能的。

第二示例实施例

第一实施例当在显示器上显示图像时，通过获取包含在输入图像中的主题信息和显示输入图像的显示信息的至少一个作为参数来确定增强度，并通过在彩色空间的第一基本分量轴上取彩色空间中的一个增强方向来执行图像处理以在彩色空间中增强清晰度。

与这个相反，这个实施例揭示了在尺寸上放大主题纹理并将它映射回主题的方法，作为立体地增强由诸如计算机图形的三维形状信息和映射在形状上的纹理信息设定的图像的纹理感的方法。

这个实施例具有增加到第一实施例中揭示的清晰度增强过程上的映射纹理，因而纹理能在变形的尺寸上放大并映射。使用户能够容易地领会主题的信息。

同时，允许观察图像的用户输入一个输入图像的感兴趣的部分作为感兴趣部分。图像的处理只对感兴趣部分进行。

图16是示出用于依照第二实施例的图像处理装置1304的布置图。与图4相同的部件附以相同的参考资料，以在这里省略说明。感兴趣部分输入部分1301是用于用户输入图像感兴趣部分的单元。控制部分1302是用于接收由感兴趣部分输入部分1301的输入的设备并选择图像要增强的区域，从而确定要在所选区域上进行的增强处理。纹理-尺寸增强处理单元1303是在尺寸上放大纹理并在其上执行增强处理的设备。

现在说明操作。首先，当用户向图像数据库101要求要显示在显示器103上的图像时，图像数据库101读取用户所要求的图像并将它输出到控制部分1302。然后，当用户输入输入图像感兴趣部分至感兴趣部分输入部分1301时，感兴趣部分输入部分1301输出给控制部分1302一表示感兴趣部分为用户要求的输入图像上的感兴趣区域的感兴趣部分选择信号。控制部分1302通过使用从感兴趣部分输入部分1301输入的感兴趣部分选择信号从输入图像选择感兴趣部分，并将它输出至纹理-尺寸增强处理单元1303。

纹理-尺寸增强处理单元1301在尺寸上放大关于所选感兴趣部分的纹理并进行它的映射再到输入图像，如此输出纹理-尺寸增强处理后的输入图像到主题信息获取单元104和增强处理单元107。纹理-尺寸增强处理后的输入图像输出到显示器103并在必需时显示在其上。

主题信息获取单元104、显示信息获取单元105、增强参数确定单元106和增强处理单元107在纹理-尺寸增强处理后的输入图像上执行清晰度增强过程并将它输出到显示器103，类似于图4中说明的第一实施例。

图17是感兴趣部分输入部分1301的用户接口示例。在图14中，显示器窗口1401将显示用户想要显示的图像处理前的输入图像。感兴趣部分选择按钮1402是允许用户在选择输入图像的感兴趣部分时查对的按钮。在查对后，感兴趣部分可通过使用鼠标等从输入图像中选出。清晰度增强按钮1403将在要在所选感兴趣部分上执行清晰度增强过程时查对。纹理-尺寸增强按钮1404将在要对所选感兴趣部分执行纹理-尺寸增强过程时查对。增强信息显示部分1405将显示处理后的图像，在所选感兴趣部分上所做的增强处理再映射回输入图像。

在用户要求图像显示的情况下，指定的图像显示在显示窗口1401中。

然后，当用户查对感兴趣部分选择按钮时，选择框1406显示在显示窗口1401中。用户能通过鼠标等改变选择框1406的大小和位置，来选择感兴趣部分。感兴趣部分选择按钮1402，当查对时，转换颜色。这可确认查对是否存在。

在清晰度增强过程对所选感兴趣部分进行的情况下，查对清晰度增强按钮1403。当进行纹理-尺寸增强处理时，查对纹理-尺寸增强按钮1404。顺便提及，纹理的放大能够，例如，由如实施例1所示的左右双眼上的主观评估实验来确定。同时，放大可这样确定，即纹理假设增强信息显示部分1405内的最大尺寸。附带地，在图17中，纹理由点表示，因此纹理尺寸的放大能由增加点的间隔来表示。

感兴趣部分选择信号由查对感兴趣部分选择按钮1402引起，同时增强处理方法的信号表示由查对清晰度增强按钮1403和/或纹理-尺寸增强查对按钮1404引起。这些信号输出至控制部分1302。

附带地，增强信息显示部分1405显示增强处理后的图像。允许用户确认关于放大的纹理尺寸或清晰度增强过程的情况。

如上，这个实施例可提供图像处理装置和信息处理方法，它们能够显示提高主题的材料微粒感的图像，这是通过在除清晰度增强过程之外的立体增强清晰度的处理中，在尺寸上放大主题纹理并将它映射回主题上。同时，纹理能通过在小尺寸终端的显示器上显示输入图像变得易于观察。

同时，通过输入作为感兴趣部分的、观察图像的用户在输入图像中有兴趣的一部分并选择一组增强处理，提供能够为用户提供优化图像的图像处理装置是可能的。

第三示例实施例

这个实施例揭示了压缩图像并从压缩中重构同一图像的图像处理系统。在这个实施例中要处理的图像是针对那些可被分害割成诸如计算机图形的三维形状数据和要映射到形状数据上的纹理数据的图像。但是，类似的处理对于那些分割成两维形状数据和要映射到两维形状数据上的纹理数据的图像是可能的，而不仅限于三维。

图18是示出用于依照本发明的第三实施例的图像处理装置的布置图。

图像处理装置1501，用于压缩和发送输入图像，配有数据分离单元1502、形状数据压缩单元1503、纹理数据压缩单元1504以及图像传送部分1505。数据分离单元分离输入图像为形状数据和纹理数据。分离的形状数据在形状数据压缩单元1503中压缩，同时分离的纹理数据在纹理数据压缩单元1504中压缩。二者在图像传送部分1505中结合在一起，并作为数据压缩图像通过网络1506发送。

图像处理装置1507，用于重构和增强处理所收到的压缩图像，通过在图4说明的包括主题信息获取单元104、显示信息获取单元105、增强参数确定单元106和增强处理单元107的装置上添加图像接收部分1508、纹理数据重构单元1509、形状数据重构单元1510和映射单元1509来配置。

图像接收部分1508从，网络1506接收压缩图像。纹理数据重构单元1509从由图像接收部分1508接收的压缩图像重构纹理数据。形状数据重构单元1510从由图像接收部分1508接收的压缩图像重构形状数据。映射单元1511进行由纹理数据重构单元1509重构的纹理数据到由形状数据重构单元1510重构的形状数据的映射，从而形成图像。

现在说明的是依照第三实施例的图像处理系统的操作。

数据分离单元1502分离从图像数据库101读取的输入图像为相关于形状的一部分和相关于纹理的一部分。图像为两维时，图像由图像识别之类的技术分离为形状和纹理。附带地，在存于图像数据库101的阶段中存储的是由以前分离出的关于形状部分和关于纹理部分的情况下，数据分离单元1502可省略。

然后，分离的形状数据由形状数据压缩单元1503压缩并输出压缩后的形状数据至图像传送部分1505。这里，形状数据由自由曲率表面参数描述，诸如三角面片(triangular-patched)的三维坐标值、二维坐标值、样条或神经(nerve)，组成形状。对于压缩方法，这样的数据，不同的形式是可用的，例如Huffman编码的可逆压缩方法。关于如何压缩的信息附在后压缩的形状数据上。

同时，分离的纹理数据由纹理数据压缩单元1504压缩并输出压缩后的纹理数据至图像传送部分1505。由于纹理数据是描述纹理的二维图像，数据通过还原成低分辨率来压缩。而且，低分辨率的二维图像由诸如JPEG的普通图像压缩方法压缩。这能实现高程度的数据压缩。关于压缩的信息附在后压缩的纹理上。

从形状数据压缩单元1503压缩的形状数据和从纹理数据压缩单元1504压缩的纹理数据供给图像传送部分1505。图像传送部分1505以分离的状态通过网络1506发送压缩的形状数据和压缩的纹理数据至图像处理装置1507。

在图像处理装置1507中，图像接收部分1508接收压缩形状数据和压缩纹理数据，并输出接收到的压缩形状数据至形状数据重构单元1510和压缩纹理数据至纹理数据重构单元1509。

形状数据重构单元1510按照附在后压缩形状数据上的如何压缩来执行重构处理。

纹理数据重构单元1509查找附在纹理数据上的压缩信息，并按照在纹理数据压缩单元1504中执行的图像压缩方法进行重构处理。由于重构的纹理数据是分辨率较低的图像，重构纹理数据输出到主题信息获取单元104和增强处理单元107，从而执行在第一实施例中揭示的清晰度增强过程。在主题信息获取单元104、显示信息获取单元105、增强参数确定单元106和增强处理单元107中的清晰度增强过程类似于第一实施例中的清晰度增强过程，且因此省略说明。顺便提及，增加第二实施例中说明的纹理-尺寸增强处理是可能的。

附带地，重构的纹理数据在分辨率上是低的，且因此不与前压缩纹理数据相同。获得的是具有近似于极端程度的纹理感的结果。从而，本压缩模式是不可逆压缩。

然后，用于显示的图像通过由映射单元1511使用重构的形状数据和纹理数据而生成。在这里，使用一诸如在普通计算机图形中使用的纹理映射或块形映射(bump mapping)的方法是令人满意的。生成的用于显示的图像在显示器上显示。

如上，依照本实施例，输入图像分离成形状数据和纹理数据。通过在纹理数据上使用较低分辨率的图像压缩处理，在图像压缩比上改进并在效率上较高地实现图像压缩是可能的。

同时，当重构分离为形状数据和纹理数据的压缩数据时，重构后的纹理数据由用于提高纹理感增强过程应用，为此，清晰度增强过程恢复了由压缩丢失的输入图像的信息。甚至对于低分辨率纹理数据，重构拥有高分辨率水平上的纹理和材料感的纹理是可能的。

因此，在显示器上显示输入图像中，生成的是供显示的在纹理感优化方面提升的图像，其中增强处理对抑制噪声发生是可能的。

Claims (19)

1.用于处理图像的装置，包括：

主题信息获取单元，用于从输入图像抽取包含在输入图像中的主题信息；

显示信息获取单元，用于为显示输入图像，获取表示显示器性能的显示信息；

增强参数确定单元，用于通过使用主题信息和显示信息的至少一个来确定增强度作为增强输入图像清晰度的参数；以及

增强处理单元，用于通过使用增强度在输入图像上执行清晰度增强过程。

2.如权利要求1所述处理图像的装置，其特征在于，清晰度增强过程是要通过使用增强值，扩展根据基本分量分析输入图像的部分或者全部所计算出的第一主要分量值的分配。

3.如权利要求1所述的处理图像的装置，其特征在于，清晰度增强过程是要生成模糊化图像，输入图像全部或部分被模糊，并进一步通过使用增强度，扩展通过输入图象第一主要分量值计算的输入图像第一主要分量值的高频分量的分配，所述输入图像第一主要值是通过根据主要分量分析输入图像的全部或部分来计算的，以及模糊化图象第一主要分量值是通过根据主要分量分析模糊化图象来计算的，将模糊化图象第一基本分量值加到模糊化图象。

4.如权利要求1所述的处理图像的装置，其特征在于，所述增强度是主题信息和显示器信息的总计值。

5.如权利要求1所述的处理图像的装置，其特征在于，所述主题信息是主题的功率谱、与功率谱的高频分量有关的统计量、主题的纹理的功率谱、与主题的纹理的功率谱的高频分量有关的统计量以及主题的纹理的尺寸中的至少一个。

6.如权利要求1所述的处理图像的装置，其特征在于，所述显示信息使用最大亮度、对比度、分辨率和显示彩色的数量中的至少一个。

7.如权利要求1所述的处理图像的装置，还包括图像接收部分，用于接收压缩的形状数据和压缩的纹理数据，形状数据重构单元，用于重构压缩的形状数据，纹理数据重构单元，用于重构压缩的纹理数据到在输入图像中，以及映射单元，将输入图像或由清晰度增强过程处理的输入图像映射到重构的形状数据上。

8.用于处理图像的装置，包括：

数据分离单元，用于将输入图像分成形状数据和纹理数据；

形状数据压缩单元，用于将形状数据和关于压缩的附属数据压缩到压缩的数据；

纹理数据压缩单元，用于压缩纹理数据；以及

图象传送单元，用于发送压缩的形状数据和纹理数据。

9.如权利要求8所述的处理图像的装置，其特征在于，纹理压缩单元是要降低纹理数据的分辨率。

10.用于处理图像的系统，包括图像处理装置和图像压缩装置，其特征在于：

所述图像处理装置包括：

图像接收部分，用于接收压缩的形状数据和压缩的纹理数据；

形状数据重构单元，用于重构压缩的形状数据；

纹理数据重构单元，用于重构压缩的纹理数据到输入图像中；以及

映射单元，用于将输入图像或由清晰度增强过程处理的输入图像映射到重构的形状数据；以及

所述图像压缩装置包括：

数据分离单元，用于将输入图像分成形状数据和纹理数据；

形状数据压缩单元，用于将形状数据和关于压缩的附属数据压缩到压缩的数据；

纹理数据压缩单元，用于压缩纹理数据；以及

图象传送单元，用于发送压缩的形状数据和纹理数据。

11.一种处理图像的方法，包括：

第一步，从图像图像中取出包含在输入图像中的主题信息；

第二步，输入代表显示图像的显示器功能的显示信息；

第三步，通过使用主题信息和显示信息的至少一个信息来测定作为增强输入图像清晰度的参数的增强度；和

第四步，通过使用增强度对输入图像进行清晰度增强处理。

12.如权利要求11所述的处理图像的装置，其特征在于，所述清晰度提高过程是要扩展第一主要分量分析值的分配，第一主要分量分析值是通过使用增强值，根据主要分量分析输入图像的部分或全部来计算的。

13.如权利要求11所述的处理图像的装置，其特征在于，清晰度提高过程是要生成模糊化图像，输入图像全部或部分被模糊，并进一步通过使用提高度，扩展通过输入图象第一主要分量值计算的输入图像第一主要分量值的高频分量的分配，所述输入图像第一主要值是通过根据主要分量分析输入图像的全部或部分来计算的，以及模糊化图象第一主要分量值是通过根据主要分量分析模糊化图象来计算的，将模糊化图象第一基本分量值加到模糊化图象。

14.如权利要求11所述的处理图像的方法，其特征在于，增强度是主题信息和显示信息的所增加的值。

15.如权利要求11所述的处理图像的方法，其特征在于，主题信息是至少一个主题功率谱，一个有关功率谱的高频分量的统计量，主题纹理的功率谱，一个有关主题纹理的功率谱的高频分量的统计量，和主题纹理的尺寸。

16.如权利要求11所述的处理图像的方法，其特征在于，此显示信息使用至少一个最大照明度，对比度，分辨率和显示采色数。

17.如权利要求11所述的处理图像的方法，其特征在于，此输入图像由下列步骤组成：第五步，用于接收压缩的形状数据和压缩的纹理数据；第六步，用于重构压缩的形状数据；和第七步，用于重构此压缩的纹理数据于输入图像中；并且还包含第八步，把输入图像或通过清晰度增强处理的输入图像映射至重构的形状数据。

18.如权利要求17所述的处理图像的方法，其特征在于，此压缩的形状数据和此压缩的纹理数据是那些即，输入图像被分开为形状数据和纹理数据和此形状数据和此纹理数据是各自压缩的。

19.如权利要求18所述的图像的方法，其特征在于，压缩此纹理数据是通过降低此纹理数据的分辨率而进行的。

Images