CN1220156C - 基于色彩和图像特征组合的图像检索方法 - Google Patents

Abstract

一种具有改进性能的图像检索方法，其通过适当组合色彩和纹理特征来检索与查询图像相似的数据图像。在包含多个数据图像的图像数据库中检索与查询图像相似的数据图像的该方法包括：计算查询图像和图像数据库中每一个数据图像间的色彩和纹理距离；使用预定加权系数对所计算的色彩和纹理距离进行加权；考虑人类视觉感知性能，通过组合所加权的色彩和纹理距离，计算查询图像和每一个数据图像间的特征距离；以及使用特征距离，确定与查询图像相似的数据图像。根据图像检索方法，可根据人类视觉感知机制通过组合从图像区域中提取的色彩和纹理特征检索与查询图像相似的数据图像。基于图像区域的检索能够从一图像中更准确地检索更多的对象和许多信息。

Description

基于色彩和图像特征组合的图像检索方法

                        技术领域

本发明涉及一种图像检索方法，更具体地涉及一种基于在人类视觉感知中是有意义的色彩和纹理描述器(describer)的图像检索方法。

                        背景技术

近年来，多媒体数据的迅速增加方便了有效管理多媒体数据的数据检索和数据库领域的研究。特别地，图像检索领域的研究或者集中在现有的基于文本的图像检索方法上，或者集中在更先进的图像检索方法上。对于基于文本的数据检索，从大规模数据库中检索所需的数据需要付出极大的努力，并且对于基于部分特征的检索或大量数据的检索是不适用的。为解决这个缺点，已经对使用很好表现了多媒体数据特征的数字特征描述器(descriptor)的检索方法进行了探索。

人类视觉感知的主要特征，即色彩和纹理特征能够用特征描述器表示。根据传统的图像检索方法，其中的数据图像是通过特征描述器索引的图像数据库已经被建立，并且根据特征描述器从图像数据库中检索所需的图像。传统的基于色彩特征的图像检索方法的例子包括提取色彩矢量、量化色彩矢量、从量化的色彩矢量中获得典型的色彩矢量，以及使用典型的色彩矢量检索图像数据。传统的基于纹理特征的图像检索方法使用共生矩阵、高斯-马克夫随机场(GRMF)模型等。近来的一种纹理特征提取方法使用一种能够适合于人类的视觉图像感知机制的多通道方法的伽柏(Gabor)滤波器。

在传统的图像检索方法中，基于色彩和纹理的数据检索是分别执行的，并且从整个图像中提取色彩和纹理特征。由于这个原因，传统的方法不能应用于具有多个对象或以多种色彩表现的，并具有多个特征的图像。色彩或纹理特征是用于检索特定图像数据的。因此，会导致不正确的图像检索结果。

为解决这些问题，另一种传统的图像检索方法是在以色彩和纹理矢量分量形成的矢量空间中检索目标图像的。这里，矢量空间是通过色彩和纹理矢量分量的简单综合形成的，因而增加了矢量空间的维数。因此，需要对增加维数的矢量空间重新定义距离函数，并计算每一个分量的加权系数，这是相当烦琐的。计算很复杂，并且结果可能不正确。

                        发明内容

为解决上述问题，本发明的目的是提供一种性能改进的基于色彩和纹理特征组合的图像检索方法。

为实现本发明的目的，提供一种考虑人类视觉感知特性、使用通过合并色彩和纹理距离计算的特征距离来检索与查询图像相似的数据图像的方法。

在一个实施例中，本发明提供一种在包含多个数据图像的图像数据库中检索与查询图像相似的数据图像的方法，该方法包括：(a)计算查询图像和图像数据库中每一个数据图像之间的色彩和纹理距离；(b)使用预定的加权系数对所计算的色彩和纹理距离进行加权；(c)考虑人类视觉感知性能，通过组合所加权的色彩和纹理距离，计算该查询图像和每一个数据图像之间的特征距离；以及(d)使用该特征距离，确定与该查询图像相似的数据图像。最好，在步骤(a)之前，图像检索方法还包括：(pa-1)使用色彩特征将该查询图像和每一个数据图像划分成多个区域；以及(pa-2)在该查询图像和每一个数据图像中确定样本区域以提取纹理特征。

最好，步骤(a)包括：(a1)使用色彩特征生成多个区域的色彩矢量，并计算色彩距离；(a2)使用纹理特征生成多个区域的纹理矢量，并计算纹理距离。

最好，步骤(pa-1)包括量化查询图像和每一个数据图像的色彩矢量。量化色彩矢量的步骤可以包括：(pa-1-1)对该查询图像和每一个数据图像执行对等的组滤波以滤除噪声，并起到平滑效果；以及(pa-1-2)使用归纳莱奥德算法(generalized Lloyd algorithm)对该查询图像和每一个数据图像的经滤波的像素值进行簇化。

最好，该图像检索方法还包括：在经过量化处理的查询图像和每一个数据图像的每一个像素中定义指示色彩均匀性的J值；存储查询图像和每一个数据图像的每一个像素中的J值以获得J图像；使用预定的划分方法将每一个J图像划分成多个区域；重复对每一个J图像的划分以获得每一个J图像的划分后区域上的图；以及基于色彩相关，通过合并划分后的区域，获得每一个J图像的最终的图。

最好，步骤(pa-1-2)包括：应用预定算法以增加所得的簇数或合并所得的簇。

在该图像检索方法中，通过使用每一个区域的典型色彩矢量和典型色彩矢量的百分比的色彩特征描述器f_c(I_k)来表示色彩特征。该色彩特征描述器f_c(I_k)可以由下式表示：

$f_c\left(I_k\right)=\{({\stackrel{\‾}{c}}_{k1},p_{\mathrm{ki}}),({\stackrel{\‾}{c}}_{k2},p_{k2}),...,({\stackrel{\‾}{c}}_{{\mathrm{kN}}_K},p_{{\mathrm{kN}}_K})\}$

其中，k是指示每一个区域的序列号的正整数， c_ki是第k个区域的第i(i＝1，2，...，N)个典型色彩矢量，P_ki是第k个区域的第i个典型色彩矢量的百分比，并且N_k是第k个区域的典型色彩矢量数。

最好，图像检索方法还包括在每一个划分后的区域中通过典型色彩以及其百分比对特征矢量空间进行索引。该对特征矢量空间进行索引的步骤可以包括：对在具有网格结构的色彩空间中的网格点指定典型色彩；以及将指定结果存储为数据库中的一个表。

在该图像检索方法中，查询图像的每一个区域的每一个色彩矢量和每一个数据图像的每一个区域的每一个色彩矢量之间的色彩距离可以使用下式计算：

$d_c(I_1,I_2)=\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}{p_{1i}}^2+\underset{i=1}{\overset{N_2}{\mathrm{\Σ}}}{p_{2i}}^2-\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_2}{\mathrm{\Σ}}}2a_{1i,2j}{p}_{1i}{p}_{2j}$

其中，假设T_d是最大的距离，它定义两个色彩的相似性；α是预定的比例系数，d_max＝αT_d，并且d_ij是两个色彩矢量c_i和c_j的欧几里得距离‖c_i-c_j‖，如果d_ij≤T_d，则 $a_{\mathrm{ij}}=1-\frac{d_{\mathrm{ij}}}{d_{\max }};$ 以及如果d_ij＞T_d，则a_ij＝0。

在该图像检索方法中，最好步骤(a2)使用伽柏函数。在步骤(a2)中，多个区域的纹理矢量可以使用具有N个频率通道和M个方位通道的伽柏函数产生，其中N和M是预定的正整数。

在该图像检索方法中，纹理特征可以由纹理特征描述器f_i(I_k)来表示：

f_l(I_k)＝{(m_k11，σ_k11)，(m_k12，σ_k12)，...，(m_k1M，σ_k1M)，(m_k21，σ_k21)，.，(m_kij，σ_kij)，...，(m_kNM，σ_kNM)}其中，m_kij是区域I_k的第i个频率通道和第j个方位通道的像素值均值，并且σ_kij是区域I_k的第i个频率通道和第j个方位通道的像素值的方差。

在步骤(a2)，查询图像的每一个区域的每一个色彩矢量和每一个数据图像的每一个区域的每一个色彩矢量之间的纹理距离可以使用下式计算：

$d_t(I_1,I_2)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\left|\frac{m_{1\mathrm{ij}}-m_{2\mathrm{ij}}}{\mathrm{\σ}\left(m_{\mathrm{ij}}\right)}\right|+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\left|\frac{{\mathrm{\σ}}_{1\mathrm{ij}}-{\mathrm{\σ}}_{2\mathrm{ij}}}{\mathrm{\σ}\left({\mathrm{\σ}}_{\mathrm{ij}}\right)}\right|$

最好，步骤(pa-2)包括：(pb-1)获得查询图像和每一个数据图像的网格图；以及(pb-2)根据该网格图，获得每一个区域的所需尺寸的纹理样本。在这种情况中，步骤(pb-1)可以包括：(pb-1-1)对样本区域获得具有最大边长的矩形M(i，j)，其中0≤i≤n，0≤j≤m；(pb-1-2)将矩形M(i，j)分割每一个都具有l×l尺寸的子矩形；以及(pb-1-3)使用预定的函数获得样本区域的网格图，该预定的函数在所有的分割网络属于该样本区域时输出1，否则输出0。该预定函数由下式表示：

其中， $0\≤i\≤\left[\frac{n}{l}\right]-\mathrm{1,0}\≤j\≤\left[\frac{m}{l}\right]-1,$ 0≤x≤l-1，0≤y≤l-1，并且p_ij(x，y)是属于矩形M(il+x，jl+y)的点。最好，步骤(pb-1-3)之后，该图像检索方法还包括：(pb-1-4)通过重复下面的计算将在步骤(pb-1-3)中获得的网格图变换成网格距离图：

${\left\{M_{\mathrm{grid}}^d(i,j)\right\}}_0=M_{\mathrm{grid}}(i,j),$ 以及

如果 ${\left\{M_{\mathrm{grid}}^d(i,j)\right\}}_{n-1}={\left\{M_{\mathrm{grid}}^d(i,j)\right\}}_{n,}{M}_{\mathrm{grid}}^d(i,j)={\left\{M_{\mathrm{grid}}^d(i,j)\right\}}_n,$ 则

${\left\{M_{\mathrm{grid}}^d(i,j)\right\}}_n=\min ({\left\{M_{\mathrm{grid}}^d(i,j-1)\right\}}_{n-1},{\left\{M_{\mathrm{grid}}^d(i-1,j)\right\}}_{n-1},{\left\{M_{\mathrm{grid}}^d(i,j+1)\right\}}_{n-1},{\left\{M_{\mathrm{grid}}^d(i+1,j)\right\}}_{n-1})+1,$

以及(pb-1-5)从网格中具有最大距离的网格图的种子开始在每个方向中执行区域增长以满足M_grid ^d(i，j)＞0的关系，直到提取最大面积的矩形为止，其中该种子表示为 $(a,b)=\stackrel{\arg \max }{(i,j)}\left\{M_{\mathrm{grid}}^d(i,j)\right\}.$

最好，该图像检索方法还包括：通过限制(wrap)处理，使在步骤(pb-1-5)中提取的最大面积的矩形与纹理样本所需的尺寸相符合。另外，该图像检索方法还可以包括通过镜向(mirror)处理使在步骤(pb-1-5)中提取的最大面积的矩形与纹理样本所需的尺寸相符合。

在该图像检索方法中，步骤(b)可以包括：(b-1)将色彩和纹理距离放在由各个色彩和纹理距离以及它们的预定加权系数所定义的2维矢量空间中；以及(b-2)根据人类视觉感知机制将2维矢量空间的投影结果投影到1维距离空间。

在该图像检索方法中，最好，预定的色彩距离加权系数是根据各个色彩的分布来确定的。更具体地，预定的色彩距离加权系数可以由下式确定：

其中，p_qi是查询图像区域的第i个典型色彩的百分比。

最好，纹理距离由下式确定：

$d_t^{\′}(I_q,I_l)=a^{(\frac{A\left(s\right)}{A\left(I_l\right)}+(\mathrm{count}\left(I_l\right)-1)}{d}_t(I_q,I_l)$

其中I_q表示查询图像或查询图像的每一个区域，s表示样本区域，A(.)表示所需尺寸的样本区域的面积，count(.)是为获得样本区域的所需尺寸而进行的限制处理的次数，以及a是一常数。

最好，预定的纹理距离加权系数是根据从查询图像提取的初始样本区域的面积和从每一个数据图像提取的样本区域的面积而确定的。而且，最好该预定的纹理距离加权系数由下式确定：

其中，I_q表示查询图像的每一个区域或查询图像，s表示样本区域，A(.)表示所需尺寸的样本区域的面积，count(.)是为获得样本区域的所需尺寸而进行的限制处理的次数，以及α是一常数。

最好，该图像检索方法在步骤(b-1)之前还包括：正规化每一个色彩和纹理距离。在这种情况中，可以使用高斯正规化来执行对每一个色彩和纹理距离的正规化。最好，对每一个色彩和纹理距离的正规化包括：在假设序列v_k是高斯序列的情况下，在范围[-1，1]内根据序列v_k的均值μ_k和方差σ_k使用 $v_{m,k}=\frac{v_{m,k}-{\mathrm{\μ}}_k}{3{\mathrm{\σ}}_k}$ 执行正规化；并且使用 $v_{m,k}^{\′}=\frac{v_{m,k}+1}{2}$ 将正规化的结果映射到范围[0，1]。

最好，对每一个色彩和纹理距离的正规化包括：通过排除最大的纹理距离直到条件 $k\×\frac{{\mathrm{\μ}}_c}{{\mathrm{\σ}}_c}\≤\frac{{\mathrm{\μ}}_t}{{\mathrm{\σ}}_t}$ 得到满足为止来更新纹理距离的均值μ_t和方差σ_t，从而正规化纹理距离，其中k是一常数。

在该图像检索方法中，步骤(b-2)可以包括：使用下式将色彩和纹理距离投影到1维距离空间：

$d(I_q,I_l)=W_c{d}_c(I_q,I_l)(1+\frac{2}{\mathrm{\π}}{\tan }^{-1}\frac{d_t^{\′}(I_q,I_l)}{d_c\left(I_{q,}{I}_l\right)})+W_t{d}_t^{\′}(I_q,I_l)(1+\frac{2}{\mathrm{\π}}{\tan }^{-1}\frac{d_c(I_q,I_l)}{d_t^{\′}(I_q,I_l)})$

其中 并且

                         附图说明

通过参考附图对本发明的优选实施例进行的详细描述，本发明的上述目的和特点将会变得更加清楚，其中：

图1是说明据本发明的图像检索方法的优选实施例的主要步骤的流程图；

图2是说明使用色彩特征索引图像数据库的数据图像的例子的流程图；

图3A示出了根据其色彩特征划分的图像的例子；

图3B示出对于图3A的图像使用量化的色彩矢量表示的图像；

图3C示出了J图像；

图3D示出了划分完成后的图像；

图4是说明使用纹理特征索引图像数据库的数据图像的流程图；

图5示出了空间频率响应等于2-D伽柏函数的一半的例子；

图6是从图像区域中获得纹理样本的例子的流程图；

图7说明了本发明的特征；

图8A示出了给定查询图像区域的数据图像区域的例子，其中该区域是通过组合色彩和纹理特征检索的；

图8B示出了给定查询图像区域的数据图像区域的例子，其中该区域是仅基于色彩特征检索的；以及

图8C示出了给定查询图像区域的数据图像区域的例子，其中该区域是通过考虑具有显著色彩距离的候选数据图像区域上的纹理特征来检索的。

                     具体实施方式

在根据本发明的图像检索方法中，具有和查询图像的特征相似特征的数据图像是从其中的数据图像是由特征描述器索引的图像数据库中提取的。图1是说明根据本发明的图像检索方法的优选实施例的主要步骤的流程图。参照图1，该根据本发明的图像检索方法涉及计算查询图像和存储在图像数据库中的每一个数据图像之间的色彩和纹理距离(步骤102)。

在本实施例中，假设根据色彩和/或纹理特征将存储在图像数据库中的每一个数据图像划分成多个区域，并且用户想在图像数据库中搜索的图像区域存在于被划分成多个图像区域的一个数据图像中。被搜索的那个图像区域作为查询图像区域。在根据本发明的优选实施例的图像检索方法中，检索与查询图像区域相似的数据图像。

首先，将描述提取查询图像和数据图像的色彩(特征)矢量以及计算色彩距离的步骤。图2示出了使用色彩特征索引图像数据库的例子。参照图2，量化查询图像和数据图像的色彩矢量(步骤202)。图3A示出了根据其色彩特征被划分的图像的例子，而图3B示出了对于图3A的图像使用量化的色彩矢量表示的图像。接着，对使用量化色彩矢量的图像执行对等组滤波以滤除噪声和进行平滑处理(步骤204)。对等组滤波在由本申请人在2000年2月3日提出的专利申请PCT/KR00/00090中进行了描述，并将其引用于此作为参考。下面，使用归纳莱奥德算法(GLA)对滤波后的像素值进行簇化(步骤206)。尽管对于GLA簇的数量是固定的，但是可以使用预定的算法增加簇的数量或合并簇。下面，定义量化后的每一个像素中作为色彩均匀性索引的J值(步骤208)。对于由量化的色彩值表示的图像，指示像素色彩均匀性的J值存储在每一个像素中以获得J图像(步骤210)。图3C示出了在步骤210获得的J图像。通过预定的方法将J图像划分成多个区域。基于J值的图像划分公开在由本发明申请人于2000年3月22日提出的专利申请PCT/KR00/00248中，将其引用于此作为参考。通过重复划分获得划分区域之上的一个图(步骤214)。下面，根据色彩的相关通过合并划分的区域获得最终的图(步骤216)，由此完成了图像划分。图3D示出了完成划分之后的图像。

接着，由典型色彩及其在每一个划分的区域中的百分比来索引特征矢量空间(步骤218)。例如，使用典型色彩矢量和该典型色彩矢量的百分比来表示每一个划分区域的色彩特征描述器f_c(I_k)：

$f_c\left(I_k\right)=\{({\stackrel{\‾}{c}}_{k1},p_{\mathrm{ki}}),({\stackrel{\‾}{c}}_{k2},p_{k2}),...,({\stackrel{\‾}{c}}_{{\mathrm{kN}}_K},p_{{\mathrm{kN}}_K})\}...\left(1\right)$

其中，k是指示每一个区域的序列号的正整数， c_ki是第k个区域的第i(i＝1，2，...，N)个典型色彩矢量，p_ki是第i个典型色彩矢量的百分比，并且N_k是第k个区域的典型色彩矢量数。接着，该典型色彩被指定给具有网格结构的色彩空间中的网格点。下面，索引的结果作为一个表存储在数据库中，由此完成了使用色彩矢量对特征矢量空间进行的索引。

查询图像区域和数据图像区域的色彩矢量之间的距离由下式表示：

$d_c(I_1,I_2)=\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}{p_{1i}}^2+\underset{i=1}{\overset{N_2}{\mathrm{\Σ}}}{p_{2i}}^2-\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_2}{\mathrm{\Σ}}}2a_{1i,2j}{p}_{1i}{p}_{2j}...\left(2\right)$

在公式(2)中，假设T_d是最大的距离，它定义两个色彩的相似性；α是预定的比例系数，d_max＝αT_d，并且d_ij是两个色彩矢量c_i和c_j的欧几里得距离‖c_i-c_j‖，如果d_ij≤T_d，则 $a_{\mathrm{ij}}=1-\frac{d_{\mathrm{ij}}}{d_{\max }};$ 以及如果d_ij＞T_d，则a_ij＝0。

接着，将描述提取纹理(特征)矢量和计算纹理距离的步骤。图4是说明使用纹理特征索引图像数据库的流程图。

近年来广泛使用多通道滤波作为纹理分析方法的原因在于通过心理生理和心理生理体验都证实了该多通道滤波与人类视觉感知的相似性。哺乳动物的视觉组织具有将视觉信号调整到窄波段频率和方位的感知机制。换言之，可以使用每一个都具有特定频率域和方位角域的带通滤波器的多个通道来解释人类的视觉感知机制。多通道滤波纹理分析的的一个重要因素是定义通道的函数特性和通道数量。另外，从经过滤波的图像中提取正确的纹理特征、每一个通道之间的关系、和对来自不同通道的纹理特征的合适组合也是重要的考虑方面。对纹理特征模型化的最有效的函数是伽柏函数。参照图4，使用伽柏滤波对图像滤波(步骤402)。用于图像伽柏滤波的2维(2-D)伽柏函数可以定义为复正弦函数，其是2-D高斯函数对在频率域中移动的频谱的调制。这个函数由下式表示：

h(x，y)＝g′(x′，y′)exp[2πf(U_x+V_y)]           ...(3)

(x′，y′)＝(xcosφ+ysinφ-xsinφ+ycosφ)           ...(4)

$g(x,y)=\frac{1}{2\mathrm{\π\λ}{\mathrm{\δ}}^2}\exp [-(x^2/{\mathrm{\λ}}^2+y^2)/2{\mathrm{\δ}}^2]...\left(5\right)$

H(μ，v)＝exp{-2π²δ²[(μ′-U′)²+(v′-V′)²]}  ...(6)

其中λ是纵横比，而δ²是方差

假设径向带宽是B，方位带宽是Ω，确定伽柏滤波器的径向带宽B和方位带宽Ω使得每一个通道滤波器的空间频率响应的一半是相同的，从而降低了伽柏滤波器中的冗余。图5示出了空间频率响应等于2-D伽柏函数的一半的例子。参照图5，第一通道502具有与第二通道504相同的大小(scale)，但它们的方位不同。第一通道502具有和第三通道506不同的大小，但它们具有相同的方位。通过对图像卷积(convolve)伽柏函数实现图像的伽柏滤波，由此通过具有不同方位和大小的滤波器输出不同的图像。

计算滤波后的图像的像素值的均值和方差(步骤404)。通过将图像与图像的伽柏滤波器代表纹理特征进行卷积来获得像素值的均值和方差。下面，使用像素值的均值和方差来索引特征矢量空间(步骤406)。使用具有N个频率通道和M个方位通道的伽柏滤波器表示被划分成多个区域的图像：

f_l(I_k)＝{(m_k11，σ_k11)，(m_k12，σ_k12)，...，(m_k1M，σ_k1M)，(m_k21，σ_k21)，...，(m_kij，σ_kij)，..，(m_kNM，σ_kNM)}...(7)其中，m_kij是图像区域I_k的第i个频率通道和第j个方位通道的像素值的均值，并且σ_kij是图像区域I_k的第i个频率通道和第j个方位通道的像素值的方差。

根据图像区域的纹理矢量，两个图像区域的距离函数由下式表示：

$d_t(I_1,I_2)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\left|\frac{m_{1\mathrm{ij}}-m_{2\mathrm{ij}}}{\mathrm{\σ}\left(m_{\mathrm{ij}}\right)}\right|+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\left|\frac{{\mathrm{\σ}}_{1\mathrm{ij}}-{\mathrm{\σ}}_{2\mathrm{ij}}}{\mathrm{\σ}\left({\mathrm{\σ}}_{\mathrm{ij}}\right)}\right|...\left(8\right)$

根据本发明，纹理特征是从具有任意形状的图像区域中提取的。用户选则的图像区域具有不规则的形状。因为色彩信息可从图像区域中的色彩像素的数量和分布中获得，所以色彩信息是和图像区域的形状无关的。假设将纹理定义为可被其在空间频率域中的比例所区分的发光(irradiance)模式，则纹理特征受像素模式和图像区域的形状影响。对具有任意形状的图像使用伽柏滤波器以输出图像与伽柏函数的卷积是不容易的。当使用具有不同尺寸的纹理样本通过伽柏滤波器检索图像时，与基于相同尺寸样本的图像检索相比，其匹配效率是很差的。由于这个原因，在本实施例中，需要对来自具有任意形状的图像区域的使用矩形样本，该矩形样本在尺寸上是相同的并代表对应区域的纹理特征。在这个采样处理中，矩形样本应该大到能够包括像素的发光模式，从而从相关的图像区域中提取准确的纹理信息。

图6示出了从图像区域中获得纹理样本的例子。在该步骤中，使用灰色图像和样本区域图获得纹理样本。参照图6，获得样本区域的网格图以获得纹理样本(步骤602)。具体地，从样本区域中获得具有最大边长的矩形M(i，j)(其中0≤i≤n，并且0≤j≤m)。接着，将矩形M(i，j)分割成每一个都具有尺寸l×l的子矩形。然后，使用下面的预定函数产生样本区域的网格图，其中如果所有的分割网格都属于该样本区域，该函数输出1，否则输出0：

其中， $0\≤i\≤\left[\frac{n}{l}\right]-\mathrm{1,0}\≤j\≤\left[\frac{m}{l}\right]-1,$ 0≤x≤l-1，0 ≤y≤l-1，并且p_ij(x，y)是属于矩形M(il+x，jl+y)的点。

接着，提取最大面积的矩形(步骤604)。通过重复下面的计算将在步骤602获得的网格图变换成网格距离图。

${\left\{M_{\mathrm{grid}}^d(i,j)\right\}}_0=M_{\mathrm{grid}}(i,j),...\left(10\right)$

以及如果 ${\left\{M_{\mathrm{grid}}^d(i,j)\right\}}_{n-1}={\left\{M_{\mathrm{grid}}^d(i,j)\right\}}_n,M_{\mathrm{grid}}^d(i,j)={\left\{M_{\mathrm{grid}}^d(i,j)\right\}}_n,$ 则

${\left\{M_{\mathrm{grid}}^d(i,j)\right\}}_n=\min ({\left\{M_{\mathrm{grid}}^d(i,j-1)\right\}}_{n-1},{\left\{M_{\mathrm{grid}}^d(i-1,j)\right\}}_{n-1},{\left\{M_{\mathrm{grid}}^d(i,j+1)\right\}}_{n-1},{\left\{M_{\mathrm{grid}}^d(i+1,j)\right\}}_{n-1})+1...\left(11\right)$

从网格距离图的具有图中最大距离的种子开始在每个方向中执行区域增长，以满足M_grid ^d(i，j)＞0的关系，直到提取最大面积的矩形为止，其中该种子表示为 $(a,b)=\stackrel{\arg \max }{(i,j)}\left\{M_{\mathrm{grid}}^d(i,j)\right\}.$

接着，获得具有所需尺寸的纹理样本(步骤606)。通过限制处理，使在步骤604获得的最大面积的矩形与纹理样本的所需尺寸相符合。另外，可以通过镜向处理，使该最大面积的矩形与纹理样本的所需尺寸相符合。在这种情况下，镜向处理后，纹理方位应保持不变。

参照图1，在步骤102之后，使用预定加权系数加权色彩和纹理距离(步骤104)。在根据本发明的图像检索方法的本实施例中，在各个矢量空间中将数据图像的色彩和纹理矢量与查询图像的色彩和纹理矢量进行比较以分别计算色彩和纹理距离。参照图7，将所计算的色彩和纹理距离投影到具有加权系数的2-D矢量空间上。通过考虑人类感知性能，将2-D矢量空间上的特征值投影到1-D距离空间。

特别地，由上面公式(2)的距离函数定义查询图像区域的色彩矢量和数据图像的色彩矢量之间的距离。根据色彩分布确定该步骤中使用的加权系数。例如，如果呈现了主导色彩，则色彩可靠度很大。相反，如果以差不多的比例呈现了多个典型色彩，而没有主导色彩，则色彩可靠度很低。使用熵函数表示色彩分布。当在整个图像区域上色彩分布是均匀的，则熵函数具有较大的值。当色彩分布集中在图像区域的一个小的部分上时，则熵函数具有较小的值。基于此，将色彩特征的加权系数定义为：

其中，p_qi是查询图像区域的第i个典型色彩的百分比。如果ω_c＜0.1，则将色彩加权系数ω_c设置为0.1。

对于查询图像区域和数据图像的纹理特征矢量，使用公式(8)的函数以和确定色彩距离相同的方式确定纹理距离。当使用参照图6描述的方法获得纹理样本时，如果纹理样本小，则纹理的可靠度可能低。尽管所提取的纹理样本的尺寸能够通过限制处理符合所需的尺寸，但是随着限制处理次数的增加，由于限制处理边界的不连续性，也可能导致不满意的纹理特征。因此，在本实施例中，将每一个初始的纹理距离d₁(I_q，I_l)乘以一个加权系数。

$d_t^{\′}(I_q,I_l)={\mathrm{\α}}^{(\frac{A\left(s\right)}{A\left(I_l\right)}+(\mathrm{count}\left(I_l\right)-1)}{d}_t(I_q,I_l)...\left(13\right)$

其中I_q表示查询图像或查询图像区域，s表示所需尺寸的纹理样本，A(.)表示所需尺寸的纹理样本的面积，count(.)是为获得样本区域的所需尺寸而进行的限制处理的次数，以及α是一常数。

以类似的方法，纹理特征的加权系数定义为：

其中A(.)表示所需尺寸的纹理样本。

接着，通过组合由考虑到人类感知性能而加权的色彩和纹理距离来计算查询图像区域和数据图像之间的距离(步骤106)。如图7所示，通过一个基于人类视觉感知性能的投影器，将在步骤104使用各个加权系数加权的色彩和纹理距离投影到1-D距离空间上。为组合两个离散的特征，每一个加权的色彩和纹理距离需要正规化到相似的大小。在本实施例中使用高斯正规化执行该正规化。假设序列v_k是高斯序列，在范围[-1，1]内使用具有99％的置信度的序列v_k的均值μ_k和方差σ_k，通过公式(15)执行正规化；并且使用公式(16)将结果正规化在范围[0，1]中。

$v_{m,k}=\frac{v_{m,k}-{\mathrm{\μ}}_k}{3{\mathrm{\σ}}_k}...\left(15\right)$

$v_{m,k}^{\′}=\frac{v_{m,k}+1}{2}...\left(16\right)$

根据该使用公式(16)的正规化方法，将小于0或者大于1的值分别设置成0或1。这个方法在防止由于出现过大或过小的值而导致的使将要被正规化的值的范围变得过窄上是有效的。

对于色彩距离函数，如果数据图像没有与查询图像相似的色彩分量，以及在候选数据图像之间的色彩距离中的偏差小，则色彩矢量之间的距离是没有意义的。相反，在候选的数据图像之间，纹理矢量之间的距离具有极大的偏差，以及由此通过排除最大的纹理距离直到满足下面的条件(17)为止来更新纹理距离的均值μ_t和方差σ_t，并且接着使用所更新的均值μ_t和方差σ_t正规化纹理距离：

$k\×\frac{{\mathrm{\μ}}_c}{{\mathrm{\σ}}_c}\≤\frac{{\mathrm{\μ}}_t}{{\mathrm{\σ}}_t}...\left(17\right)$

其中k是常数。

使用下面的函数(18)，通过使用加权系数加权色彩和纹理矢量距离来组合经正规化的色彩和纹理矢量距离：

$d(I_q,I_l)=W_c{d}_c(I_q,I_l)(1+\frac{2}{\mathrm{\π}}{\tan }^{-1}\frac{d_t^{\′}(I_q,I_l)}{d_c(I_q,I_l)})+W_t{d}_t^{\′}(I_q,I_l)(1+\frac{2}{\mathrm{\π}}{\tan }^{-1}\frac{d_c(I_q,I_l)}{d_t^{\′}(I_q,I_l)})...\left(18\right)$

其中 而

接着，使用组合的色彩和纹理距离确定与查询图像相似的数据图像(步骤108)。可以从函数(18)中推导出，当纹理和色彩距离之一比另一个小很多时，使用不同的加权系数对纹理和色彩距离的每一个进行加权，这很好地反映了人类视觉感知机制，即由一个有影响的纹理或色彩特征感知相似性。在根据本发明的图像检索方法中，每一个多维特征矢量被投影到每一个具有距离和加权系数的各自2-D矢量空间作为元素，并且接着被投影到定义了离散特征矢量的组合距离的1-D距离空间。因此，整个计算相对简单。另外，在根据本发明的图像检索方法中使用的投影器，使用小数量的、根据例如特征矢量的分布而适应地变化的加权系数，能够获得基于根据人类视觉感知的图像检索的色彩和纹理特征。

如上所述，根据本发明，从根据色彩划分的每一个数据图像区域中提取的色彩和纹理特征被分别作为特征矢量投影到各自的每一个都具有加权系数的元素并对应于来自查询图像的特征矢量距离的2-D矢量空间，接着被投影到基于人类视觉感知性能的1-D距离空间上。因此，根据本发明的图像检索接近地匹配了人类视觉感知机制，并且整个计算相对简单。

为验证根据本发明的图像检索方法的性能，使用Corel公司指定的100个图像样本(384×256或256×384)进行模拟测试。在使用基于色彩的划分算法将图像样本划分成总共2456个图像区域之后，使用色彩矢量和纹理矢量提取算法从每一个被划分的区域中提取色彩和纹理矢量。这里，在LUV色彩空间中提取色彩特征矢量，并通过使用具有4个频率通道和6个方位通道的伽柏滤波器提取纹理特征矢量以获得64×64尺寸的纹理样本。结果，从每一个区域中提取48个纹理矢量分量。

图8A示出了给定查询图像区域的数据图像区域的例子，其中该区域是通过组合色彩和纹理特征检索的；图8B示出了给定查询图像区域的数据图像区域的例子，其中该区域是仅基于色彩特征检索的；以及图8C示出了给定查询图像区域的数据图像区域的例子，其中该区域是通过考虑具有显著色彩距离的候选数据图像区域上的纹理特征来检索的。参照图8A至8C，根据数据图像区域，即，其色彩和大小纹理是明显的鱼的身体区域，检索与各个查询图像(这里，为鱼的身体)相似的数据图像。所得到的数据图像满足人类视觉感知。因此，根据本发明，图像的高级特征能够有效地通过低级特征，即色彩和纹理的适当组合来表示。

在上述的根据本发明的图像检索方法中，通过组合从图像区域中提取的色彩和纹理特征并根据人类视觉感知机制能够检索与查询图像相似的数据图像。具体地，基于图像区域的检索能够准确地从一个图像中检索许多对象以及许多信息。低级特征，即色彩和纹理在2-D矢量空间中的分布被投影到1-D距离空间上，并因此能够使用少量的加权系数和减少了的矢量计算来有效表示高级特征。

根据本发明的图像检索方法可以作为存储在计算机可使用的介质上的程序被具体实施，该介质包括但不限于诸如磁存储介质、光可读介质和载波之类的存储介质。从包含于此的本发明的说明书中，熟练的计算机程序员可以得出用于实现本发明的函数程序、代码和代码段。

Claims (25)

1.一种在包含多个数据图像的图像数据库中检索与查询图像相似的数据图像的方法，该方法包括：

(a)计算查询图像和图像数据库中每一个数据图像之间的色彩和纹理距离；

(b)使用预定的加权系数对所计算的色彩和纹理距离进行加权；

(c)考虑人类视觉感知性能，通过组合所加权的色彩和纹理距离，计算该查询图像和每一个数据图像之间的特征距离；以及

(d)使用该特征距离，确定与该查询图像相似的数据图像。

2.如权利要求1的方法，在步骤(a)之前，还包括：

(pa-1)使用色彩特征将该查询图像和每一个数据图像划分成多个区域；以及

(pa-2)在该查询图像和每一个数据图像中确定样本区域以提取纹理特征。

3.如权利要求2的方法，其中步骤(a)包括：

(a1)使用色彩特征生成多个区域的色彩矢量，并计算色彩距离，其中使用每一个区域的典型色彩矢量和该典型色彩矢量的百分比的色彩特征描述器f_c(I_k)来表示色彩特征，该色彩特征描述器f_c(I_k)由下式表示：

$f_c\left(I_k\right)=\{({\stackrel{\‾}{c}}_{k1},p_{\mathrm{ki}}),({\stackrel{\‾}{c}}_{k2},p_{k2}),\·\·\·,({\stackrel{\‾}{c}}_{k{N}_K},p_{k{N}_K})\}$

其中，k是指示每一个区域的序列号的正整数， c_ki是第k个区域的第i(i＝1，2，...，N)个典型色彩矢量，p_ki是第k个区域的第i个典型色彩矢量的百分比，并且N_k是第k个区域的典型色彩矢量数，并且查询图像的每一个区域的每一个色彩矢量和每一个数据图像的每一个区域的每一个色彩矢量之间的色彩距离使用下式计算：

$d_c(I_1,I_2)=\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}{p_{1i}}^2+\underset{i=1}{\overset{N_2}{\mathrm{\Σ}}}{p_{2i}}^2-\underset{i=1}{\overset{N_1}{\mathrm{\Σ}}}\underset{j=1}{\overset{N_2}{\mathrm{\Σ}}}{2a}_{1i,2j}{p}_{1i}{p}_{2i}$

其中，假设T_d是最大的距离，它定义两个色彩的相似性；α是预定的比例系数，d_max＝αT_d，并且d_ij是两个色彩矢量c_i和c_j的欧几里得距离‖c_i-c_j‖，如果d_ij≤T_d，则 $a_{\mathrm{ij}}=1-\frac{d_{\mathrm{ij}}}{d_{\max }};$ 以及如果d_ij＞T_d，则a_ij＝0；以及

(a2)使用纹理特征生成多个区域的纹理矢量，并计算纹理距离，其中多个区域的纹理矢量是使用具有N个频率通道和M个方位通道的伽柏函数产生的，其中N和M是预定的正整数，该纹理特征由特征描述器f_t(I_k)表示：

f_t(I_k)＝{(m_k11，σ_k11)，(m_k12，σ_k12)，...，(m_k1M，σ_k1M)，(m_k21，σ_k21)，...，(m_kij，σ_kij)，...，(m_kNM，σ_kNM)}

其中，m_kij是区域I_k的第i个频率通道和第j个方位通道的像素值的均值，并且σ_kij是区域I_k的第i个频率通道和第j个方位通道的像素值的方差，并且查询图像的每一个区域的每一个色彩矢量和每一个数据图像的每一个区域的每一个色彩矢量之间的纹理距离使用下式计算：

$d_t(I_1,I_2)=\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\left|\frac{m_{1\mathrm{ij}}-m_{2\mathrm{ij}}}{\mathrm{\σ}\left(m_{\mathrm{ij}}\right)}\right|+\underset{i=1}{\overset{N}{\mathrm{\Σ}}}\underset{j=1}{\overset{M}{\mathrm{\Σ}}}\left|\frac{{\mathrm{\σ}}_{1\mathrm{ij}}-{\mathrm{\σ}}_{2\mathrm{ij}}}{\mathrm{\σ}\left({\mathrm{\σ}}_{\mathrm{ij}}\right)}\right|.$

4.如权利要求2的方法，其中步骤(pa-1)包括量化查询图像和每一个数据图像的色彩矢量。

5.如权利要求4的方法，其中量化色彩矢量的步骤包括：

(pa-1-1)对该查询图像和每一个数据图像执行对等的组滤波以滤除噪声，并起到平滑效果；以及

(pa-1-2)使用归纳莱奥德算法对该查询图像和每一个数据图像的经滤波的像素值进行簇化。

6.如权利要求4的方法，还包括：

在经过量化处理的查询图像和每一个数据图像的每一个像素中定义指示色彩均匀性的J值；

存储查询图像和每一个数据图像的每一个像素中的J值以获得J图像；

使用预定的划分方法将每一个J图像划分成多个区域；

重复对每一个J图像的划分以获得每一个J图像的划分后区域上的图；以及

基于色彩相关，通过合并划分后的区域，获得每一个J图像的最终的图。

7.如权利要求6的方法，还包括使用典型色彩和其在每一个划分的区域中的百分比来索引特征矢量空间。

8.如权利要求5的方法，其中步骤(pa-1-2)包括应用预定算法以增加所得的簇数或合并所得的簇。

9.如权利要求7的方法，其中索引特征矢量空间的步骤包括：

对在具有网格结构的色彩空间中的网格点指定典型色彩；以及

将指定结果存储为数据库中的一个表。

10.如权利要求2的方法，其中步骤(pa-2)包括：

(pb-1)获得查询图像和每一个数据图像的网格图；以及

(pb-2)根据该网格图，获得每一个区域的所需尺寸的纹理样本。

11.如权利要求10的方法，其中步骤(pb-1)包括：

(pb-1-1)对样本区域获得具有最大边长的矩形M(i，j)，其中0≤i≤n，0≤j≤m；

(pb-1-2)将矩形M(i，j)分割每一个都具有l×l尺寸的子矩形；以及

(pb-1-3)使用预定的函数获得样本区域的网格图，该预定的函数在所有的分割网络属于该样本区域时输出1，否则输出0，该预定函数由下式表示：

其中， $0\≤i\≤\left[\frac{n}{l}\right]-1,$ $0\≤j\≤\left[\frac{m}{l}\right]-1,$ 0≤x≤l-1，0≤y≤l-1，并且p_ij(x，y)是属于矩形M(il+x，jl+y)的点。

12.如权利要求11的方法，在步骤(pb-1-3)之后，还包括：

(pb-1-4)通过重复下面的计算将在步骤(pb-1-3)中获得的网格图变换成网格距离图：

$\{M_{\mathrm{grid}}^d(i,j){\}}_0=M_{\mathrm{grid}}(i,j),$ 以及

如果 $\{M_{\mathrm{grid}}^d(i,j){\}}_{n-1}=\{M_{\mathrm{grid}}^d(i,j){\}}_n,M_{\mathrm{grid}}^d(i,j)=\{M_{\mathrm{grid}}^d(i,j){\}}_n,$ 则

$\{M_{\mathrm{grid}}^d(i,j){\}}_n=\min \left(\right\{M_{\mathrm{grid}}^d(i,j-1){\}}_{n-1},\{M_{\mathrm{grid}}^d(i-1,j){\}}_{n-1},\{M_{\mathrm{grid}}^d(i,j+1){\}}_{n-1},\left\{M_{\mathrm{grid}}^d(i+1,j){\}}_{n-1}\right)+1,$

以及

(pb-1-5)从网格中具有最大距离的网格图的种子开始在每个方向中执行区域增长以满足 $M_{\mathrm{grid}}^d(i,j)>0$ 的关系，直到提取最大面积的矩形为止，其中该种子表示为 $(a,b)=\stackrel{\arg \max }{(i,j)}\left\{M_{\mathrm{grid}}^d(i,j)\right\}.$

13.如权利要求12的方法，还包括通过限制处理，使在步骤(pb-1-5)中提取的最大面积的矩形与纹理样本所需的尺寸相符合。

14.如权利要求12的方法，还包括通过镜向处理，使在步骤(pb-1-5)中提取的最大面积的矩形与纹理样本所需的尺寸相符合。

15.如权利要求2的方法，其中步骤(b)包括：

(b-1)将色彩和纹理距离放在由各自色彩和纹理距离以及它们的预定加权系数所定义的2维矢量空间中；以及

(b-2)根据人类视觉感知机制将2维矢量空间的投影结果投影到1维距离空间。

16.如权利要求1的方法，其中预定的色彩距离加权系数是根据各个色彩的分布来确定的。

17.如权利要求16的方法，其中预定的色彩距离加权系数由下式确定：

其中，p_qi是查询图像区域的第i个典型色彩的百分比。

18.如权利要求15的方法，其中纹理距离由下式确定：

$d_t^{\′}(I_q,I_l)={\mathrm{\α}}^{(\frac{A\left(s\right)}{A\left(I_l\right)}+(\mathrm{count}\left(I_l\right)-1))}{d}_t(I_q,I_l)$

其中I_q表示查询图像或查询图像的每一个区域，s表示样本区域，A(.)表示所需尺寸的样本区域的面积，count(.)是为获得样本区域的所需尺寸而进行的限制处理的次数，以及α是一常数。

19.如权利要求15的方法，其中预定的纹理距离加权系数是根据从查询图像提取的初始样本区域的面积和从每一个数据图像提取的样本区域的面积而确定的。

20.如权利要求19的方法，其中该预定的纹理距离加权系数由下式确定：

其中，I_q表示查询图像的每一个区域或查询图像，s表示样本区域，A(.)表示所需尺寸的样本区域的面积，count(.)是为获得样本区域的所需尺寸而进行的限制处理的次数，以及α是一常数。

21.如权利要求15的方法，在步骤(b-1)之前还包括：正规化每一个色彩和纹理距离。

22.如权利要求21的方法，其中使用高斯正规化来执行对每一个色彩和纹理距离的正规化。

23.如权利要求22的方法，其中对每一个色彩和纹理距离的正规化包括：

在假设序列v_k是高斯序列的情况下，在范围[-1，1]内根据序列v_k的均值μ_k和方差σ_k使用 $v_{m,k}=\frac{v_{m,k}-{\mathrm{\μ}}_k}{3{\mathrm{\σ}}_k}$ 执行正规化；以及

使用 $v_{m,k}^{\′}=\frac{v_{m,k}+1}{2}$ 将正规化的结果映射到范围[0，1]。

24.如权利要求23的方法，其中对每一个色彩和纹理距离的正规化包括：通过排除最大的纹理距离直到条件 $k\×\frac{{\mathrm{\μ}}_c}{{\mathrm{\σ}}_c}\≤\frac{{\mathrm{\μ}}_t}{{\mathrm{\σ}}_t}$ 得到满足为止来更新纹理距离的均值μ_t和方差σ_t，从而正规化纹理距离，其中k是一常数。

25.如权利要求15的方法，其中步骤(b-2)包括：使用下式将色彩和纹理距离投影到1维距离空间：

$d(I_q,I_l)=W_c{d}_c(I_q,I_l)(1+\frac{2}{\mathrm{\π}}{\tan }^{-1}\frac{d_t^{\′}(I_q,I_l)}{d_c(I_q,I_l)})+W_t{d}_t^{\′}(I_q,I_l)(1+\frac{2}{\mathrm{\π}}\mathrm{ta}{n}^{-1}\frac{d_c(I_q,I_l)}{d_t^{\′}(I_q,I_l)})$

其中

并且

Images