CN101038595A - 用于彩色图像表示与检索的方法和装置 - Google Patents

Abstract

本发明涉及一种彩色图像的表示方法，该方法包括选择图像区，选择一种或者更多种颜色作为该区的代表色，以及，对于具有两种或者更多代表色的区，为每一种代表色计算至少二个涉及与各自代表色相关的颜色分布的参数并且利用所述参数为该图像区导出描述符。

Description

用于彩色图像表示与检索的方法和装置

本申请是申请号为00809556.6的专利申请的分案申请。

技术领域

本发明涉及用于以检索为目的的进行彩色图像或者图像区表示的方法和装置，以及用于检索彩色图像或者图像区的方法和装置。

背景技术

已知基于图像内容的用于恢复来自例如多媒体数据库的静止图像和视频图像的检索技术。许多图像特点包括颜色、纹理、边沿信息、形状和运动，已经为这种技术所采用。这种技术的应用包括互联网搜索引擎、交互式电视、远距离治疗和远距离购物。

为对来自图像数据库的图像进行恢复，用描述符包括基于图像中颜色的描述符表示图像或者图像区。已知许多不同类型的基于颜色的描述符，包括图像区的平均颜色、基于图像区范围内颜色变化的统计矩、代表颜色诸如覆盖图像区中最大区域的颜色，以及颜色直方图，其中的直方图是通过对一组预设颜色中的每一种颜色区中的像素进行计数导出的。

一种已知的基于内容的图像恢复系统是QBIC(图像内容查询：query by image content)(见US 5579471，MPEG文件MPEGM4582/P165：用于MPEG-7的颜色描述符，IBM公司Almaden研究中心)。在该系统的运行模式中的一个模式中，数据库中的每一个图像被分成块。每一块被分成具有相似颜色的子集并且选择这种最大的子集。将所选子集的平均颜色选作各自块的代表颜色。该代表颜色信息被存储在数据库中。可以通过选择查询图像进行数据库中的查询。采用上述相同的方式导出针对该查询图像的代表颜色信息。然后利用一种算法将该查询信息与存储在该数据库中的图像的信息进行比较以确定最接近的匹配。

MPEG文件M4582/P437和US 5586197公开了一种相似的方法，但采用的是一种更为灵活的将图像分成块和不同的比较图像的方法。在MPEG文件M4582/P576中所述的另一变型中：视觉目标的颜色表示，对每区两种代表色中的每一种颜色采用一个单一值。

一些基于颜色直方图的图像表示方法已经得到开发，诸如MPEG文件M4582/P76：一种针对MPEG-7的颜色描述符：可变方块的颜色直方图。其它技术采用了图像区中颜色分布的统计描述。例如，MPEG文件M4582/P549：利用视频序列中子区的图片信息测度的颜色描述符，公开了一种技术，该技术将图像分成高熵和低熵区并且对每一类区计算颜色分布特点。MPEG文件M4852/P319：MPEG-7颜色描述符建议对采用一个平均值和一个协方差值作为图像区的描述符进行了描述。

所有上述方法都有严重的缺点。它们中的一些方法精度高，具体指颜色直方图技术，但是需要相对大量的存储和处理时间。其它方法诸如采用一种或者两种代表颜色的方法有高的存储和计算效率，但是精度不够高。这些统计描述符在这两类技术之间进行折衷，但是它们都缺乏灵活性，特别是当出现像素颜色在一个区内进行大范围变化的情况。

发明内容

本发明提供了一种通过利用若干分量分布进行近似彩色分布以导出图像区的描述符来表示图像的方法，每一个该分量分布对应于图像区中的一种代表颜色。

本发明还提供一种利用这种描述符检索图像的方法。

本发明还提供一个计算机程序用于实施所述方法以及计算机可读的存储这种计算机程序的介质。该计算机可读介质可以是可分离介质诸如软盘或者CD-ROM或者诸如RAM的存储器。

附图说明

将参照以下附图对本发明的一个实施方案进行描述：

图1是根据本发明的一个实施方案的系统的方框图；

图2是第一检索方法的流程图；和

图3是第二检索方法的流程图。

具体实施方式

图1展示出根据本发明的一个实施方案的系统。该系统包括控制单元2例如用于控制系统运行的计算机、与控制单元2相连接用于显示包括图像和文字的输出的显示单元4例如监视器、以及给控制单元2输入指令的指示装置6例如鼠标。该系统还包括存储多个视频序列的数字版本的图像数据库8以及存储描述符信息的描述符数据库10，这将在下文中针对出现在存储图像数据库8中的图像中的每一个进行更详细的描述。图像数据库8和描述符数据库10中的每一个数据库都与控制单元2相连接。该系统还包括一个检索引擎12，检索引擎12是一个受控制单元2控制的计算机程序并且运行在描述符数据库10上。

在该实施方案中，系统元在一个单一位置例如图像库被提供，在该位置上系统部件被永久链接。

描述符数据库10存储存储在图像数据库中所有图像的描述符。更具体而言，在该实施方案中，描述符数据库10包含针对每一图像的多个区中的每一个的描述符。对该描述符的导出将在下文中进行描述。

将数据库8中的每一个图像分成若干不重叠的像素的矩形块。然后针对每一个块，通过选择预设数目的颜色并且对每一种颜色的块中的像素数目进行计数来导出颜色直方图。

所获得的颜色直方图展示了该块范围内像素的颜色分布。通常该区拥有一种或者更多的主导颜色，并且该直方图具有对应于这些颜色的峰。

对这些块的描述符是基于从该直方图中确认的主导颜色。针对每一个块的描述符包含以下元素：

(1)主导颜色的数目，n，被称为描述符的度，其中n≥1；并且对于每一种主导颜色：

(2)(a)表示块中的各自主导颜色的相对显著性的加权。这里，该加权是相关颜色的块中像素的数目与块中像素的总数之比。

(b)平均值， $m=\left(\begin{array}{c}{m}_x\\ m_y\\ m_z\end{array}\right)$

其中x，y和z是索引颜色分量，例如RGB颜色空间中的红、绿和蓝颜色分量。这里，该平均值对应于各自主导颜色的颜色分量

(c)协方差矩阵 $C=\left(\begin{array}{ccc}{c}_{\mathrm{xx}}& c_{\mathrm{xy}}& c_{\mathrm{xz}}\\ c_{\mathrm{yx}}& c_{\mathrm{yy}}& c_{\mathrm{yz}}\\ c_{\mathrm{zx}}& c_{\mathrm{zy}}& c_{\mathrm{zz}}\end{array}\right)$

其中c_ij表示颜色分量i的变量以及c_ij表示分量i与分量j之间的协方差。该协方差矩阵是对称矩阵(c_ij＝c_ji)，所以只需存储6个数。

在进行上述获取该描述符的过程中，该颜色分布被作为n个不同的子分布处理，其中n是主导颜色的数目，每一个子分布以各自主导颜色为中心作为平均。这些子分布的范围可以很好地重叠，并且如同本领域技术人员所理解的那样采用合适的算法来确定每一个分布的范围以计算加权、平均和协方差矩阵。一个估算描述符分量的方法是将位于直方图峰中心的高斯函数(Gaussian function)与直方图进行拟合，这种拟合是通过将实际直方图计数与从高斯函数的混合中估计的值之差减少到最小来进行的。

该描述符数据库10为存储在图像数据库8中的每一个图像的每一个块存储一个如上文所定义的描述符。采用上述描述符结构的每一块范围内的颜色分布的表示包含大量的描述信息，但是例如与全直方图信息相比需要较小的存储空间。

作为一个实例，对于一个具体块的彩色直方图可以有对应于三种主导颜色的三个峰。如同三种颜色的子分布对直方图颜色分布进行分析并且导致产生一个描述符包括指明主导颜色的数目、三个加权、对应针对三个峰的颜色矢量的三个平均矢量和三个对应的协方差矩阵。

通过存储在描述符数据库中的描述符，利用本系统在图像数据库中进行图像检索。本实施方案提供两种检索方法：基于单一颜色的检索方法和基于区域的检索。

参照图2所示的流程图对基于单一颜色的检索方法进行描述。

在该基于单一颜色的检索中，用户使用指示装置6和被显示在显示单元4上诸如调色轮或者调色板的菜单通过选择要检索的颜色来输入查询(步骤102)。然后控制单元2针对该查询颜色获得相应的颜色矢量，该颜色矢量具有针对该查询颜色的各自颜色分量的分量，即红、绿和蓝分量(步骤104)。

然后控制单元2利用搜索引擎12在包括该查询颜色的图像库8中检索图像。该搜索引擎12利用该查询颜色矢量和针对在描述符数据库10中图像块的描述符实施匹配过程(步骤106)。

通过采用下面的公式计算匹配值M来实施该匹配过程。

$M=\exp [-\frac{1}{2}{(q-m)}^T{C}^{-1}(q-m)]$

其中q是该查询矢量。利用针对该块的描述符中的m和C的每一个值为每一个块中的每一种主导颜色计算匹配值。所以，对于一个n度的描述符，获得了n个匹配值。

该匹配值可以被认为是对应于在由查询颜色值定义的点处的块中的每一种颜色子分布的几率函数值，将该几率密度函数模型化为一个高斯函数。

对一个给定的描述符，匹配值M越大，则该对应块与所选颜色就越接近。

当已经对数据库10中的每一个描述符计算了匹配值时，该搜索引擎12按照M的大小从最大的M值开始对该结果进行排序，对任何度大于1的描述符仅考虑最大的M值(步骤108)。

该控制单元2从搜索引擎12中得到该匹配过程的结果，并且从该图像数据库中对一个预设数目的K个具有最接进匹配，即对应于K个具有最高M值的图像进行恢复。然后将这些图像显示在显示单元4上(步骤110)。控制单元2的装置确定有多少最接近的匹配被显示在该显示单元上。用户可以改变该数目。

从上文的描述中将会理解到，基于单一颜色的检索对来自数据库8的图像进行恢复，这些图像具有一个包含一种主导颜色的块，该主导颜色与用户开始选择的颜色相同或者接近。

参照图3将要对基于区的检索进行描述。

在基于区的检索中，控制单元2在显示单元4上显示一组预设的来自图像数据库的检索图像(步骤202)。该检索图像可以完全由控制单元的装置确定，或者依赖于用户输入的要求。例如，在较大的支持基于键盘检索的系统中，用户可能会输入字“leaves(叶)”这会导致产生一组预设的描述叶的图像作为基于颜色检索的图像。

该检索图像中的每一个图像通过利用网格将图像划分成块的形式显示出来，这些块对应于导出描述符的块。然后，用户利用指示装置6在所显示感兴趣的颜色分布的图像上选择一个块(步骤204)。

然后控制单元2对针对从描述符数据库10中选出的图像的描述符进行恢复并且将其用作查询描述符(步骤206)。因为从图像数据库8中采用了检索图像，所以该描述符已经可以被获得。然后该检索引擎利用匹配函数将查询描述符与存储在描述符数据库中的其它描述符比较来进行检索(步骤208)。

对于具有针对该主导颜色中的一种的平均值m_a和协方矩阵C_a的查询描述符以及具有针对该主导颜色中的一种的平均值m_b和协方矩阵C_b的其它描述符，匹配函数被定义为：

$m_s(a,b)=\∫\exp [-\frac{1}{2}{(q-m_a)}^T{C}_a^{-1}(q-m_a)]\exp [-\frac{1}{2}{(q-m_a)}^T{C}_b^{-1}(q-m_b)]\mathrm{dq}$

其中q是一个类似于颜色矢量的三维矢量以及其中的积分是在从(0，0，0)到(255，255，255)的范围内进行的其中的255是一个颜色分量的最大值。在其它的实施方案中该积分范围将依赖于颜色坐标系和所使用的表示。

这等效于对针对该图像块的相应的颜色子分布以高斯函数的形式模型化作为几率质量函数，并且确定它们的重叠程度，或者换言之确定它们之间的相似性。上述的计算结果越大，则这些相应的颜色分布就越接近。在这种情况下，该函数确定在查询图像块中的颜色子分布与所存储的图像中的颜色子分布的重叠程度。

用于将一个描述符与其它进行匹配的全匹配描述符被定义为：

$m_f=\underset{i.j}{\mathrm{\Σ}}{v}_i{w}_j{m}_s(i,j)$

其中v和w是子分布的加权，以及该求和是在二个区的所有子分布范围进行的。

所以，对于在查询图像块的描述符中被描述的每一种主导颜色，计算一个关于来自描述符数据库10的描述符中的每一种主导颜色的匹配值。对得到的匹配值进行加权并且然后求和给出一个对应于m_f的最终匹配值。

如上所述，对关于查询描述符的数据库中的所有的描述符计算全匹配值。作为在基于单一颜色的检索中，对该结果进行排序(步骤210)，并且为用户将具有最高匹配值即表明最接近匹配的K个图像，显示在显示单元上(步骤212)。

通过在先前的检索中发现的图像中选择一个图像区来进行另一次检索迭代。

可以利用不同于如上所述的其它的相似测度进行匹配。下面给出了另外一个实例。

对于针对二个区的一对描述符F₁和F₂，相似测度D被定义如下：

$D(F_1,F_2)=\underset{j=1}{\overset{N_1}{\mathrm{\Σ}}}\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}{p}_{1i}{p}_{1j}{f}_{1i1j}+\underset{i=1}{\overset{N_2}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_2}{\mathrm{\Σ}}}{p}_{2i}{p}_{2j}{f}_{2i2j}-\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_2}{\mathrm{\Σ}}}2p_{1i}{p}_{2j}{f}_{1i2j},$

其中

$f_{\mathrm{xiyj}}=\frac{1}{2\mathrm{\π}\sqrt{v_{\mathrm{xiyjl}}{v}_{\mathrm{xiyju}}{v}_{\mathrm{xiyjv}}}}\exp [-(\frac{c_{\mathrm{xiyjl}}}{v_{\mathrm{xiyjl}}}+\frac{c_{\mathrm{xiyju}}}{v_{\mathrm{xiyju}}}+\frac{c_{\mathrm{xiyjv}}}{v_{\mathrm{xiyjv}}})/2]$

和

c_xiyjl＝(c_xil-c_yjl)²，v_xiyjl＝(v_xil+v_yjl)，

c_xiyju＝(c_xiu-c_yju)²，v_xiyju＝(v_xiu+v_yju)，

c_xiyjv＝(c_xiv-c_yjv)²，v_xiyjv＝(v_xiv+v_yjv).

这里，i和j指示各自颜色；

x和y指示描述符；

N₁是第一描述符中代表颜色的数目；

N₂是第二描述符中代表颜色的数目；

P_1i是第一描述符中的第i个加权；

P_2j是第二描述符中的第j个加权；

l、u和v表示颜色分量，例如在本具体实例中为红、绿和蓝颜色分量；以及

c和v分别是主导颜色值(平均值)和颜色变量，所以c_xij是第x描述符的第i种代表颜色值的第1个分量，以及v_xij是第x描述符的第i种代表颜色的该变量的第1个分量等等。

与先前描述的匹配函数相反，对描述符F₁和F₂，D值越小，则对应于描述符F₁和F₂的区之间的匹配就越接近。相应地，按照从最小D值开始的递增顺序对由如上所述的检索过程产生的D值进行排序。不然的化，考虑不同的相似测度，通过对如上所述的过程进行适当修改来进行基本相同地检索和匹配过程。应当注意到：该相似测度采用了该变量而不需要该协方矩阵。所以针对一个区的描述符包括该变量但不需要该协方矩阵。相应地，与先前所述的描述符相比降低了存储要求。

根据本发明的系统可以被提供给，例如图像库。另一种情况，该数据库与系统控制单元的距离可以很远，该数据库通过临时连接如电话线或者一个网络诸如互联网与控制单元相连接。可以在永久存储或者便携式数据存储介质诸如，CD-ROM或者DVD中提供图像和描述符数据库。

在上面的描述中，按照红、绿和蓝颜色分量对颜色表示进行了描述。当然，可以采用其它表示诸如采用色调、饱和度和强度，或者YUV坐标系，或者在其它颜色空间的颜色分量的子集，例如在HIS中仅用色调和饱和度。

如上所述的本发明的实施方案采用了对图像的矩形块导出的描述符。其它图像的子区被用作描述符的基。例如，可以采用不同形状和尺寸的区。另一种情况，可以为对应于目标的图像的区导出描述符，例如，汽车、房屋或者人。在其中任何一种情况下，可以为所有图像或者部分图像导出描述符。

在该检索过程中，用户例如可使用指示装置不是用来输入一个简单的颜色查询或者选择一个图像块，通过绕其旋转来描述图像的一个区，由此该控制单元为该区导出一个描述符并且利用它通过上述的类似方式进行检索。并且不是利用已经存储在图像数据库中的图像来引发检索，而是采用例如图像扫描仪或者数码像机来将图像输入到系统中。为了在这样的情形下进行检索，该系统又会首先自动地或者由用户来确定为该图像或者图像区导出描述符。

可以采用硬件或者软件来实施本发明的适当方面。

在上文的实施方案中，采用高斯函数对针对每一种代表颜色的分量子分布进行近似，并且这些函数的平均值和协方差被用作描述符值。但是，可以采用其它函数或者参数对分量分布进行近似，例如，采用诸如正弦和余弦函数作为基函数，描述符基于这些函数。

Claims (23)

1.一种表示彩色图像的方法，包括：

选择两个或多个彩色作为对于图像或所述图像的区域的代表性彩色；

对于每个代表性彩色计算与关于具有两个或多个代表性彩色的所述图像或图像区域的各个代表性彩色的彩色方差有关的参数；以及

对于每个代表性彩色，根据相应于在图像或图像区域中的代表性彩色的像素的数目，计算代表在图像或图像区域中的代表性彩色的相对重要性的加权参数；以及

使用所述参数得出用于所述图像或图像区域的描述符，所述描述符包括与相应的彩色变量有关的参数和加权参数。

2.如权利要求1中要求的方法，其中选择代表性彩色的步骤包括得出对于图像或图像区域的彩色直方图。

3.如权利要求1中要求的方法，其中选择代表性彩色的步骤包括识别在彩色直方图中的局部峰值和选择相应的彩色作为代表性彩色。

4.如权利要求3中要求的方法，其中局部峰值作为平均值对待，并相对于所述平均值计算方差。

5.如权利要求1到4的任一项中要求的方法，其中图像或图像区域相应于目标。

6.任一前述的权利要求的方法，还包括：

选择图像或图像区域。

7.任何前述的权利要求的方法，其中加权参数是基于相应于代表性彩色的像素数目与图像或图像区域中的像素数目的比值。

8.权利要求7的方法，其中每个加权参数规定在图像或图像区域中具有相关的代表性彩色值的像素的百分数。

9.一种用于搜索在数据存储装置中的彩色图像的方法，包括：

输入与图像的彩色有关的询问，

比较所述询问与通过使用匹配函数按照如权利要求1中要求的方法得出的、对于存储的图像的描述符，以及

选择和显示对于其匹配函数表示在询问与图像的至少一部分之间的紧密的匹配的至少一个图像。

10.如权利要求9中要求的方法，其中输入询问包括选择询问图像或所述图像的区域和获取为所述图像或图像区域所得到的描述符，以及其中匹配函数使用用于询问和用于所存储的图像的描述符。

11.如权利要求9或权利要求10中要求的方法，其中匹配函数是基于M＝exp[(-)(q-m)^TC^-1(q-m)]，

其中q是相应于询问的彩色向量，以及m和C是代表对于代表性彩色的彩色分布的第一和第二中心矩的描述符数值。

12.如权利要求9到12的任一项中要求的方法，其中匹配函数是基于mf＝∑_i，j v_iw_jm_s(i，j)，

其中

m_s(a，b)＝∫exp[(-)(q-m_s)(^TC_a ^-1(a-m_a)]exp[(-)(q-m_b)(^TC_b ^-1(q-m_b)]dq

以及其中m和C是代表对于代表性彩色的彩色分布的第一和第二中心矩的描述符数值。

13.如权利要求9到12的任一项中要求的方法，其中输入询问包括选择单个彩色数值。

14.一种用于实施按照任一前述权利要求的方法的设备。

15.一种被编程来执行如权利要求1到13的任一项中要求的方法的控制设备。

16.一种包括如权利要求15中要求的控制设备的设备。

17.一种用于传播信号的方法，包括：

生成包括多个图像的信号，

通过使用描述语言把所述图像编码到所述信号上，以便规定通过使用预定的算法生成的至少一个彩色描述符，包括用于至少一个所选择的图像的多个区，其中所述区包括代表对于所述图像的彩色空间描述、主导彩色描述、彩色方差描述和主导彩色加权描述的区。

18.一种用于表示图像的系统，包括：

检测器，用于确定对于图像或所述图像的区域的至少两个主导彩色；

控制器，用于对于每个主导彩色，根据相应于主导彩色的像素的数目与在图像或图像区域中的像素的数目的比值，确定彩色方差和代表主导彩色相对于图像或图像区域内其它彩色的重要性的加权参数，以便根据在所述图像或图像区域内的像素生成彩色描述符；以及

存储器，用于把所述彩色描述符作为对于所述图像或图像区域的描述存储在存储器中。

19.一种用于搜索图像的系统，包括：

输入装置，用于输入至少一个图像；

检测器，用于确定对于所述输入图像或所述输入图像的区域的至少两个主导彩色；

控制器，用于根据相应于主导彩色的像素的数目与在图像或图像区域中的像素的数目的比值，确定对于每个主导彩色的彩色方差和代表每个主导彩色相对于图像或图像区域内其它彩色的重要性的加权参数，以便根据在所述图像或图像区域内的像素生成彩色描述符；

比较器，用于比较对于所述输入图像的所述彩色描述符与被存储在存储器中的图像的彩色描述符，以便找出至少一个基本上匹配的图像；以及

显示器，用于显示所述至少一个基本上匹配的图像。

20.一种其上存储多个可执行的指令的机器可读的媒体，该多个指令包括用来执行以下步骤的指令：

确定对于图像或所述图像的区域的至少两个主导彩色；

根据相应于主导彩色的像素的数目与在图像或图像区域中的像素的数目的比值，确定对于每个主导彩色的彩色方差和代表每个主导彩色相对于图像或图像区域内其它彩色的重要性的加权参数，以便根据在所述图像或图像区域内的像素生成彩色描述符；以及

把所述彩色描述符作为对于所述图像或图像区域的描述存储在存储器中。

21.一种其上存储多个可执行的指令的机器可读的媒体，该多个指令包括用来执行以下步骤的指令：

接收包括至少一个图像的输入；

确定对于所述输入图像或所述输入图像的区域的至少两个主导彩色；

根据相应于主导彩色的像素的数目与在图像或图像区域中的像素的数目的比值，确定对于每个主导彩色的彩色方差和代表每个主导彩色相对于图像或图像区域内其它彩色的重要性的加权参数，以便根据在所述图像或图像区域内的像素生成彩色描述符；

比较对于所述输入图像的所述彩色描述符与被存储在存储器中的图像的彩色描述符，以便找出至少一个基本上匹配的图像；以及

显示所述至少一个基本上匹配的图像。

22.一种表示彩色图像的方法，包括选择图像的区域，选择一个或多个彩色作为对于该区域的代表性彩色，以及对于具有两个或多个代表性彩色的区域，计算对于每个代表性彩色的与相对于各个代表性彩色的彩色分布有关的至少两个参数，以及使用所述参数得出用于图像区域的描述符。

23.一种用于搜索被存储在数据存储装置中的彩色图像的方法，包括输入与图像的彩色有关的询问，通过使用匹配函数来比较所述询问与按照如在权利要求22中要求的方法得出的存储的图像的描述符，以及选择和显示至少一个图像，对于该至少一个图像，匹配函数表示在该询问与图像的至少一部分之间的紧密的匹配。

Images