CN1322457C - 用于彩色图像表示与检索的方法和装置 - Google Patents

Abstract

本发明涉及一种彩色图像的表示方法，该方法包括选择图像区，选择一种或者更多种颜色作为该区的代表色，以及，对于具有两种或者更多代表色的区，为每一种代表色计算至少二个涉及与各自代表色相关的颜色分布的参数并且利用所述参数为该图像区导出描述符。

Description

用于彩色图像表示与检索的方法和装置

技术领域

本发明涉及用于以检索为目的的进行彩色图像或者图像区表示的方法和装置，以及用于检索彩色图像或者图像区的方法和装置。

背景技术

已知基于图像内容的用于恢复来自例如多媒体数据库的静止图像和视频图像的检索技术。许多图像特点包括颜色、纹理、边沿信息、形状和运动，已经为这种技术所采用。这种技术的应用包括互联网搜索引擎、交互式电视、远距离治疗和远距离购物。

为对来自图像数据库的图像进行恢复，用描述符包括基于图像中颜色的描述符表示图像或者图像区。已知许多不同类型的基于颜色的描述符，包括图像区的平均颜色、基于图像区范围内颜色变化的统计矩、代表颜色诸如覆盖图像区中最大区域的颜色，以及颜色直方图，其中的直方图是通过对一组预设颜色中的每一种颜色区中的像素进行计数导出的。

一种已知的基于内容的图像恢复系统是QBIC(图像内容查询：query by image content)(见US5579471，MPEG文件MPEGM4582/P165：用于MPEG-7的颜色描述符，IBM公司Almaden研究中心)。在该系统的运行模式中的一个模式中，数据库中的每一个图像被分成块。每一块被分成具有相似颜色的子集并且选择这种最大的子集。将所选子集的平均颜色选作各自块的代表颜色。该代表颜色信息被存储在数据库中。可以通过选择查询图像进行数据库中的查询。采用上述相同的方式导出针对该查询图像的代表颜色信息。然后利用一种算法将该查询信息与存储在该数据库中的图像的信息进行比较以确定最接近的匹配。

MPEG文件M4582/P437和US 5586197公开了一种相似的方法，但采用的是一种更为灵活的将图像分成块和不同的比较图像的方法.在MPEG文件M4582/P576中所述的另一变型中：视觉目标的颜色表示，对每区两种代表色中的每一种颜色采用一个单一值。

一些基于颜色直方图的图像表示方法已经得到开发，诸如MPEG文件M4582/P76：一种针对MPEG-7的颜色描述符：可变方块的颜色直方图。其它技术采用了图像区中颜色分布的统计描述。例如，MPEG文件M4582/P549：利用视频序列中子区的图片信息测度的颜色描述符，公开了一种技术，该技术将图像分成高熵和低熵区并且对每一类区计算颜色分布特点。MPEG文件M4852/P319：MPEG-7颜色描述符建议对采用一个平均值和一个协方差值作为图像区的描述符进行了描述。

所有上述方法都有严重的缺点。它们中的一些方法精度高，具体指颜色直方图技术，但是需要相对大量的存储和处理时间。其它方法诸如采用一种或者两种代表颜色的方法有高的存储和计算效率，但是精度不够高。这些统计描述符在这两类技术之间进行折衷，但是它们都缺乏灵活性，特别是当出现像素颜色在一个区内进行大范围变化的情况。

发明内容

本发明提供了一种表示彩色图像的方法，包括为一个图像选择两种或者更多的颜色作为主导颜色，并且为每种主导颜色计算与该主导颜色有关的颜色空间中的图像的颜色分布的方差(variance)，并且根据每种主导颜色的颜色空间值和相应颜色方差的值来表示该图像。

本发明提供了一种表示彩色图像的设备，包括：

用于控制所述设备操作的控制装置，其特征在于控制装置为一个图像选择两种或者更多的颜色作为主导颜色，并且为每种主导颜色计算与该主导颜色有关的颜色空间中的图像的颜色分布的方差，并且根据每种主导颜色的颜色空间值和相应颜色方差的值来表示该图像。

本发明还提供了一种用于导出图像的表示的设备，包括：

控制装置，控制装置为一个图像选择两种或者更多的颜色作为主导颜色，并且为每种主导颜色计算与该主导颜色有关的颜色空间中的图像的颜色分布的方差，并且根据每种主导颜色的颜色空间值和相应颜色方差的值来表示该图像；

用于存储图像和/或图像的表示的存储装置。

本发明提供了一种通过利用若干分量分布进行近似彩色分布以导出图像区的描述符来表示图像的方法，每一个该分量分布对应于图像区中的一种代表颜色。

本发明还提供一种利用这种描述符检索图像的方法。

本发明还提供一个计算机程序用于实施所述方法以及计算机可读的存储这种计算机程序的介质。该计算机可读介质可以是可分离介质诸如软盘或者CD-ROM或者诸如RAM的存储器。

附图说明

将参照以下附图对本发明的一个实施方案进行描述：

图1是根据本发明的一个实施方案的系统的方框图；

图2是第一检索方法的流程图；和

图3是第二检索方法的流程图。

具体实施方式

图1展示出根据本发明的一个实施方案的系统。该系统包括控制单元2例如用于控制系统运行的计算机、与控制单元2相连接用于显示包括图像和文字的输出的显示单元4例如监视器、以及给控制单元2输入指令的指示装置6例如鼠标。该系统还包括存储多个视频序列的数字版本的图像数据库8以及存储描述符信息的描述符数据库10，这将在下文中针对出现在存储图像数据库8中的图像中的每一个进行更详细的描述。图像数据库8和描述符数据库10中的每一个数据库都与控制单元2相连接。该系统还包括一个检索引擎12，检索引擎12是一个受控制单元2控制的计算机程序并且运行在描述符数据库10上。

在该实施方案中，系统元在一个单一位置例如图像库被提供，在该位置上系统部件被永久链接。

描述符数据库10存储存储在图像数据库中所有图像的描述符。更具体而言，在该实施方案中，描述符数据库10包含针对每一图像的多个区中的每一个的描述符。对该描述符的导出将在下文中进行描述。

将数据库8中的每一个图像分成若干不重叠的像素的矩形块。然后针对每一个块，通过选择预设数目的颜色并且对每一种颜色的块中的像素数目进行计数来导出颜色直方图。

所获得的颜色直方图展示了该块范围内像素的颜色分布.通常该区拥有一种或者更多的主导颜色，并且该直方图具有对应于这些颜色的峰。

对这些块的描述符是基于从该直方图中确认的主导颜色。针对每一个块的描述符包含以下元素：

(1)主导颜色的数目，n，被称为描述符的度，其中n≥1；并且对于每一种主导颜色：

(2)(a)表示块中的各自主导颜色的相对显著性的加权。这里，该加权是相关颜色的块中像素的数目与块中像素的总数之比。

(b)平均值， $m=\left(\begin{array}{c}{m}_x\\ m_y\\ m_z\end{array}\right)$

其中x，y和z是索引颜色分量，例如RGB颜色空间中的红、绿和蓝颜色分量。这里，该平均值对应于各自主导颜色的颜色分量

(c)协方差矩阵 $C=\left(\begin{array}{ccc}{c}_{\mathrm{xx}}& c_{\mathrm{xy}}& c_{\mathrm{xz}}\\ c_{\mathrm{yx}}& c_{\mathrm{yy}}& c_{\mathrm{yz}}\\ c_{\mathrm{zx}}& c_{\mathrm{zy}}& c_{\mathrm{zz}}\end{array}\right)$

其中c_ij表示颜色分量i的方差以及c_ij表示分量i与分量j之间的协方差。该协方差矩阵是对称矩阵(c_ij＝c_ji)，所以只需存储6个数。

在进行上述获取该描述符的过程中，该颜色分布被作为n个不同的子分布处理，其中n是主导颜色的数目，每一个子分布以各自主导颜色为中心作为平均。这些子分布的范围可以很好地重叠，并且如同本领域技术人员所理解的那样采用合适的算法来确定每一个分布的范围以计算加权、平均和协方差矩阵。一个估算描述符分量的方法是将位于直方图峰中心的高斯函数(Gaussian function)与直方图进行拟合，这种拟合是通过将实际直方图计数与从高斯函数的混合中估计的值之差减少到最小来进行的。

该描述符数据库10为存储在图像数据库8中的每一个图像的每一个块存储一个如上文所定义的描述符。采用上述描述符结构的每一块范围内的颜色分布的表示包含大量的描述信息，但是例如与全直方图信息相比需要较小的存储空间。

作为一个实例，对于一个具体块的彩色直方图可以有对应于三种主导颜色的三个峰。如同三种颜色的子分布对直方图颜色分布进行分析并且导致产生一个描述符包括指明主导颜色的数目、三个加权、对应针对三个峰的颜色矢量的三个平均矢量和三个对应的协方差矩阵。

通过存储在描述符数据库中的描述符，利用本系统在图像数据库中进行图像检索。本实施方案提供两种检索方法：基于单一颜色的检索方法和基于区域的检索。

参照图2所示的流程图对基于单一颜色的检索方法进行描述。

在该基于单一颜色的检索中，用户使用指示装置6和被显示在显示单元4上诸如调色轮或者调色板的菜单通过选择要检索的颜色来输入查询(步骤102)。然后控制单元2针对该查询颜色获得相应的颜色矢量，该颜色矢量具有针对该查询颜色的各自颜色分量的分量，即红、绿和蓝分量(步骤104)。

然后控制单元2利用搜索引擎12在包括该查询颜色的图像库8中检索图像。该搜索引擎12利用该查询颜色矢量和针对在描述符数据库10中图像块的描述符实施匹配过程(步骤106)。

通过采用下面的公式计算匹配值M来实施该匹配过程。

$M=\exp \[-\frac{1}{2}{{(q-m)}^{T}C}^{-1}(q-m)\]$

其中q是该查询矢量。利用针对该块的描述符中的m和C的每一个值为每一个块中的每一种主导颜色计算匹配值。所以，对于一个n度的描述符，获得了n个匹配值。

该匹配值可以被认为是对应于在由查询颜色值定义的点处的块中的每一种颜色子分布的几率函数值，将该几率密度函数模型化为一个高斯函数。

对一个给定的描述符，匹配值M越大，则该对应块与所选颜色就越接近。

当已经对数据库10中的每一个描述符计算了匹配值时，该搜索引擎12按照M的大小从最大的M值开始对该结果进行排序，对任何度大于1的描述符仅考虑最大的M值(步骤108)。

该控制单元2从搜索引擎12中得到该匹配过程的结果，并且从该图像数据库中对一个预设数目的K个具有最接近匹配，即对应于K个具有最高M值的图像进行恢复。然后将这些图像显示在显示单元4上(步骤110)。控制单元2的装置确定有多少最接近的匹配被显示在该显示单元上。用户可以改变该数目。

从上文的描述中将会理解到，基于单一颜色的检索对来自数据库8的图像进行恢复，这些图像具有一个包含一种主导颜色的块，该主导颜色与用户开始选择的颜色相同或者接近。

参照图3将要对基于区的检索进行描述。

在基于区的检索中，控制单元2在显示单元4上显示一组预设的来自图像数据库的检索图像(步骤202)。该检索图像可以完全由控制单元的装置确定，或者依赖于用户输入的要求。例如，在较大的支持基于键盘检索的系统中，用户可能会输入字“leaves(叶)”这会导致产生一组预设的描述叶的图像作为基于颜色检索的图像。

该检索图像中的每一个图像通过利用网格将图像划分成块的形式显示出来，这些块对应于导出描述符的块。然后，用户利用指示装置6在所显示感兴趣的颜色分布的图像上选择一个块(步骤204)。

然后控制单元2对针对从描述符数据库10中选出的图像的描述符进行恢复并且将其用作查询描述符(步骤206)。因为从图像数据库8中采用了检索图像，所以该描述符已经可以被获得.然后该检索引擎利用匹配函数将查询描述符与存储在描述符数据库中的其它描述符比较来进行检索(步骤208)。

对于具有针对该主导颜色中的一种的平均值m_a和协方矩阵C_a的查询描述符以及具有针对该主导颜色中的一种的平均值m_b和协方矩阵C_b的其它描述符，匹配函数被定义为：

$m_s(a,b)=\∫\exp \[-\frac{1}{2}{\left({q-m}_a\right)}^T{C}_a^{-1}\left({q-m}_a\right)\]\exp \[-\frac{1}{2}{\left({q-m}_b\right)}^T{C}_b^{-1}\left({q-m}_b\right)\]\mathrm{dq}$

其中q是一个类似于颜色矢量的三维矢量以及其中的积分是在从(0，0，0)到(255，255，255)的范围内进行的其中的255是一个颜色分量的最大值。在其它的实施方案中该积分范围将依赖于颜色坐标系和所使用的表示。

这等效于对针对该图像块的相应的颜色子分布以高斯函数的形式模型化作为几率质量函数，并且确定它们的重叠程度，或者换言之确定它们之间的相似性。上述的计算结果越大，则这些相应的颜色分布就越接近。在这种情况下，该函数确定在查询图像块中的颜色子分布与所存储的图像中的颜色于分布的重叠程度。

用于将一个描述符与其它进行匹配的全匹配描述符被定义为：

$m_f=\underset{i,j}{\mathrm{\Σ}}{v}_i{w}_j{m}_s(i,j)$

其中v和w是子分布的加权，以及该求和是在二个区的所有子分布范围进行的。

所以，对于在查询图像块的描述符中被描述的每一种主导颜色，计算一个关于来自描述符数据库10的描述符中的每一种主导颜色的匹配值。对得到的匹配值进行加权并且然后求和给出一个对应于m_f的最终匹配值。

如上所述，对关于查询描述符的数据库中的所有的描述符计算全匹配值。作为在基于单一颜色的检索中，对该结果进行排序(步骤210)，并且为用户将具有最高匹配值即表明最接近匹配的K个图像，显示在显示单元上(步骤212)。

通过在先前的检索中发现的图像中选择一个图像区来进行另一次检索迭代。

可以利用不同于如上所述的其它的相似测度进行匹配。下面给出了另外一个实例。

对于针对二个区的一对描述符F₁和F₂，相似测度D被定义如下：

$D\left(F_{1,}{F}_2\right)=\underset{j=1}{\overset{N_1}{\mathrm{\Σ}}}\underset{i=j}{\overset{N_1}{\mathrm{\Σ}}}{P}_{1i}{p}_{1j}{f}_{1i1j}+\underset{i=1}{\overset{N_2}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_2}{\mathrm{\Σ}}}{P}_{2i}{P}_{2j}{f}_{2i2j}-\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_2}{\mathrm{\Σ}}}{2P}_{1i}{p}_{2j}{f}_{1i2j},$

其中

$f_{\mathrm{xiyj}}=\frac{1}{2\mathrm{\π}\sqrt{v_{\mathrm{xiyjl}}{v}_{\mathrm{xiyju}}{v}_{\mathrm{xiyjv}}}}\exp \[-(\frac{c_{\mathrm{xiyjl}}}{v_{\mathrm{xiyl}}}+\frac{c_{\mathrm{xiyju}}}{v_{\mathrm{xiyju}}}+\frac{c_{\mathrm{xiyjv}}}{v_{\mathrm{xiyjv}}})/2\]$

和

c_xiyjl＝(c_xil-c_yjl)²，v_xiyjl＝(v_xil+v_yjl)，

c_xiyjv＝(c_xiv-c_yjv)²，v_xiyjv＝(v_xiv+v_yjv)，

c_xiyjv＝(c_xiv-c_yjv)²，v_xiyjv＝(v_xiv+v_yjv).

这里，i和j指示各自颜色；

x和y指示描述符；

N₁是第一描述符中代表颜色的数目；

N₂是第二描述符中代表颜色的数目；

P_1i是第一描述符中的第i个加权；

P_2j是第二描述符中的第j个加权；

l、u和v表示颜色分量，例如在本具体实例中为红、绿和蓝颜色分量；以及

c和v分别是主导颜色值(平均值)和颜色方差，所以c_xil是第x描述符的第i种代表颜色值的第1个分量，以及v_xil是第x描述符的第i种代表颜色的该方差的第1个分量等等。

与先前描述的匹配函数相反，对描述符F₁和F₂，D值越小，则对应于描述符F₁和F₂的区之间的匹配就越接近。相应地，按照从最小D值开始的递增顺序对由如上所述的检索过程产生的D值进行排序。不然的化，考虑不同的相似测度，通过对如上所述的过程进行适当修改来进行基本相同地检索和匹配过程。应当注意到：该相似测度采用了该方差而不需要该协方矩阵。所以针对一个区的描述符包括该方差但不需要该协方矩阵。相应地，与先前所述的描述符相比降低了存储要求。

根据本发明的系统可以被提供给，例如图像库。另一种情况，该数据库与系统控制单元的距离可以很远，该数据库通过临时连接如电话线或者一个网络诸如互联网与控制单元相连接。可以在永久存储或者便携式数据存储介质诸如，CD-ROM或者DVD中提供图像和描述符数据库。

在上面的描述中，按照红、绿和蓝颜色分量对颜色表示进行了描述。当然，可以采用其它表示诸如采用色调、饱和度和强度，或者YUV坐标系，或者在其它颜色空间的颜色分量的子集，例如在HIS中仅用色调和饱和度。

如上所述的本发明的实施方案采用了对图像的矩形块导出的描述符。其它图像的子区被用作描述符的基。例如，可以采用不同形状和尺寸的区。另一种情况，可以为对应于目标的图像的区导出描述符，例如，汽车、房屋或者人。在其中任何一种情况下，可以为所有图像或者部分图像导出描述符。

在该检索过程中，用户例如可使用指示装置不是用来输入一个简单的颜色查询或者选择一个图像块，通过绕其旋转来描述图像的一个区，由此该控制单元为该区导出一个描述符并且利用它通过上述的类似方式进行检索。并且不是利用已经存储在图像数据库中的图像来引发检索，而是采用例如图像扫描仪或者数码像机来将图像输入到系统中。为了在这样的情形下进行检索，该系统又会首先自动地或者由用户来确定为该图像或者图像区导出描述符。

可以采用硬件或者软件来实施本发明的适当方面。

在上文的实施方案中，采用高斯函数对针对每一种代表颜色的分量子分布进行近似，并且这些函数的平均值和协方差被用作描述符值。但是，可以采用其它函数或者参数对分量分布进行近似，例如，采用诸如正弦和余弦函数作为基函数，描述符基于这些函数。

Claims (17)

1.一种表示彩色图像的方法，包括为一个图像选择两种或者更多的颜色作为主导颜色，并且为每种主导颜色计算与该主导颜色有关的颜色空间中的图像的颜色分布的方差，并且根据每种主导颜色的颜色空间值和相应颜色方差的值来表示该图像。

2.权利要求1所述的方法，包括在数据存储装置中存储描述符。

3.权利要求1所述的方法，其中选择主导颜色的步骤包括为该图像导出颜色直方图。

4.权利要求3所述的方法，其中选择主导颜色的步骤包括识别该颜色直方图中的局部峰以及选择该相应颜色作为主导颜色。

5.权利要求1所述的方法，包括选择一个图像区，其中为该区选择主导颜色。

6.权利要求5所述的方法，其中该图像区独立于图像内容。

7.权利要求6所述的方法，其中的该图像区是一个多边形。

8.权利要求5所述的方法，其中该图像区对应一个目标。

9.权利要求1所述的方法，其中根据多个颜色分量来表达颜色值，该方法包括计算每个颜色分量的颜色方差。

10.权利要求9所述的方法，包括为颜色分量对来计算颜色方差。

11.权利要求1的方法，包括为每个主导颜色计算表明图像区中的主导颜色的相对显著性的加权。

12.权利要求1所述的方法，包括形成包含每个主导颜色的颜色空间值和相应颜色方差值的描述符。

13.权利要求12所述的方法，其中描述符另外还包括一个或多个表明主导颜色数量的数、协方差值、和表明图像区中的主导颜色的相对显著性的加权。

14.一种表示彩色图像的设备，包括：

用于控制所述设备操作的控制装置，其特征在于控制装置为一个图像选择两种或者更多的颜色作为主导颜色，并且为每种主导颜色计算与该主导颜色有关的颜色空间中的图像的颜色分布的方差，并且根据每种主导颜色的颜色空间值和相应颜色方差的值来表示该图像。

15.一种用于导出图像的表示的设备，包括：

控制装置，控制装置为一个图像选择两种或者更多的颜色作为主导颜色，并且为每种主导颜色计算与该主导颜色有关的颜色空间中的图像的颜色分布的方差，并且根据每种主导颜色的颜色空间值和相应颜色方差的值来表示该图像

用于存储图像和/或图像的表示的存储装置。

16.权利要求15所述的设备，其中存储装置是图像数据库和/或描述符数据库。

17.权利要求15或权利要求16所述的系统，还包括显示装置。

Images