CN1056257C - 校正移动矢量的方法和设备 - Google Patents

Abstract

在对电视图象移动估算的方法中，块匹配方法以它的直观、有生命力、方法简单而著称。当每一个场都有大的或者变化的细节时，这种方法工作的非常好。但是，如果块中的信息由周期性结构组成时，就可能产生错误的结果。按照本发明，由块匹配产生的移动矢量，将被从周期性结构的移动物体的边缘获得更可靠的矢量，用这个矢量对周期性结构进行校正。这个校正是通过对不同误差的计算和比较完成的。这个发明只需在块匹配过程中附加一个很小的处理。

Description

校正移动矢量的方法和设备

本发明涉及校正移动矢量的方法和设备。

在电视图象移动估算的方法中，块匹配方法以直观、有生命力、方法简单而著称。当每个块有大的细节或变化的细节时，这种方法工作得非常好。但是，如果块中的信息由周期性结构组成时，例如栅栏或百叶窗，它就可能带来错误的结果。产生错误结果主要是由于对50Hz或60Hz电视场频，严格的、瞬态的取样不足，这将导致折叠和造成了对原始移动图象序列测量精度模糊的结果。如果这种移动估算的目的是为了提供一种预测，例如在图象编码中应用，这种周期性结构问题通常并不重要，因为既使使用了“错误”的移动矢量，也可以获得一个好的预测，但是，当把这种估算应用在瞬时插入时，例如把50Hz转换到100Hz，这种周期性结构，错误矢量的插入对图象的影响可能是严重的。常常导致插入场中的全部信息倒相。

US-A-5036393公开了一种使用移动矢量的标准转换器。对每个象素分配特定的移动矢量。检测是否有伪矢量分配给了象素。如果有，则象素的伪矢量由邻近的象素的非伪矢量取代。如果搜索中没有发现满意的移动矢量，就使用扩大的搜索窗口继续搜索。

US-A-5025495公开了一种标准转换器，它为了在多块匹配误差最小中选择正确移动矢量，增加匹配块的尺寸。也估算最小误差与下一个块匹配最小误差之间的差是否超过了最小误差与块匹配最大误差之间的差的一定百分比。

在EP-A-0466981，考虑了子块与矢量成份中间滤波，以获取更可靠的移动矢量即平滑矢量区域。

本发明的目的是提供一种当图象中存在周期性结构时的校正移动矢量的方法。

本发明另一个目的是提供一种用来校正与视频信号图象分割成象素块有关的移动矢量的设备。

根据本发明的校正移动矢量方法，视频信号图象被分割成相关的象素块，其中，求出与不同视频信号图象间象素块的匹配有关的误差值，对于当前象素块除了对应于第一匹配位置的基本最小匹配误差外，确定对应于不与第一匹配位置相邻的第二匹配位置的下一最小匹配误差，

其特征在于在包括对应于第一匹配位置的象素的已知象素行或列中分别定位出第二匹配位置，

将所述下一最小匹配误差与预定的第一门限值相比较，其结果如果所述下一最小匹配误差小于所述第一门限值，就决定有一个周期性结构，

当图象成分中的周期性结构被检测出时，对应于第一匹配位置的移动矢量由取自左侧块或上侧块的移动矢量所替代，无论哪个都对当前块产生较小的匹配误差，或者由这两个移动矢量的平均移动矢量所替代，或者由取自邻近当前块的任何其他块的移动矢量所替代。

根据本发明的用来校正与视频信号图象分割成象素块有关的移动矢量的设备，包括：

求出与不同的视频信号图象间象素匹配有关误差值(ERR)的装置，其中：

·第一最小值的装置，从上述误差值，计算对应于第一匹配位置的基本最小匹配误差，

其特征在于：

·第二最小值装置，计算出对应于不与第一匹配位置相邻的第二匹配位置的下一最小匹配误差，计算是在包括对应于第一匹配位置的象素的已知象素行或列中分别进行的；

·第一最大值的装置，由误差计算出的最大误差自从最大误差得到两个门限值，使用的误差涉及到上述基本最小误差算法，尤其是属于当前块或属于根据所述第一匹配误差位置而偏移的块；

-第二最大值装置，从所述误差分别计算出所述的已知行或列中的最大误差，

-第一比较装置，将第二和第一最小值装置之间的输出差值，与第一个门限值进行比较，如果所述下一最小匹配误差小于所述第一门限值，则产生第一周期性结构；

-第二比较装置，将第二最大值装置与第一最小值装置之间输出差值与第二个门限进行比较，如果所述下一最小匹配误差大于或等于第二门限值，则产生第二个周期性结构；

-组合装置，从上述第一和第二个周期性结构形成最终的周期性结构，

-矢量置换装置，当最终的周期性结构判定指出图象成份内的周期性结构被测到时，用取自左侧块或上侧块的移动矢量替代对应于所述基本最小匹配误差的当前移动矢量，无论哪个利用比较装置，对当前块产生较小的匹配误差，或者用这两个移动矢量的平均移动矢量所替代，或者用取自邻近当前块的任何其他块的移动矢量所替代。

图1是移动矢量校正原理图。

图2是误差最小限值线与一个象素行相交的图。

本发明对周期性结构，由块匹配产生的移动矢量，将用一个可靠的矢量来校正。这个可靠的矢量是从包含有周期性结构移动物体的边界获得。这个发明，在块匹配之后附加了一个很小的处理过程。此发明由两部分组成：周期性结构的检测和对已检测出的周期性结构的运动矢量的校正。

周期性结构检测：

块匹配通常是通过计算每一个候选移动矢量的平均平方误差值或平均绝对误差值，并从中选出误差最小的移动矢量。因为块匹配已在EP-A-93402187号申请中描述，所以块匹配在这里就可以按惯例被公认。为了节省硬件资源，这个发明利用了块匹配处理过程计算出误差值。

在周期性结构检测中利用了这样一个事实，如果一个块是由周期性结构组成，将会存在另外一些与最小值非常接近的误差值，而它们对应着另外一些移动矢量。但是，通过寻找另外与最小值接近的误差值，来确定块是否为周期性结构还不够简单。首先，与选择的基本移动矢量非常近的矢量的误差，可能是不知道的，因为可能是块分的不够小，或者这个移动矢量在两个候选矢量之间。其次，对于非周期性的块仅仅是在一个方向上包含细节(比如边)，在垂直方向上产生一个最小限值的线，将不会认为是周期性结构。

通常，这最小限值行LOM将与一个被认为误差水平行HOR(或垂直列)仅相交于一点POI，如图2所示。如果这最小限值本身就是水平(或垂直)的情况，将在后面解释。对于与最小值相近的误差值的查找，可能会被限制在一个水平行(或列)上，比如含有最小值的行(或列)。通常，周期性结构将产生一组最小的平行线，这些线分别与水平行(或垂直列)有几处相交，利用周期性结构可以检测出相交处。(但是，按照图象的统计特性和硬件要求，只能沿行进行查找)。

因此，这处查找被限制在包含最小值的误差行上，忽略最小值邻近的误差。这种近似将克服周期性结构的错误检测，但是，除了块内仅包含垂直细节的情况，因为它将产生水平的最小限值行。对于这种情况，可以通过查看该行的最大误差值检测出来。在确认块是周期性之前，应该规定误差门限值，因为水平方向的矢量值范围通常比垂直方向宽，所以应在包含移动矢量行上进行查找。

另一个要求是周期性结构的检测，对全部动态范围存在着一定的独立性。虽然两个用于比较的门限值用到这个动态范围的某些测量值，动态范围的近似测量值就是块匹配过程中的最大误差值。这个动态范围对应着块及其周围的块，或者根据当前最小误差值偏移的块。

在周期性块中，对移动矢量的校正。

如果一个块是周期性的，当前的移动矢量将用一个更可靠矢量来代替，第一个邻近替代的移动矢量，是位于左侧计算的立即结果，用来观察所测的块是否已被周期性结构算法所修改，这种方法是假定校正的移动矢量在左侧。实际采用的方法是选择左侧或是当前块的上侧，或者是两个矢量的组合的特定平均值。当然，从原理上说，采用右侧或下部计算也是可行的，但是这将增加硬件的复杂性。总之，一个可接受的替代矢量的选择，一定是低于通用块可靠门限误差之下。

在原理上，本发明适用视频信号被分割成象素块的移动矢量校正，它包含以下几部分。

·求出与上述视频信号图象间与匹配块有关的误差值，除了基本最小误差，确定附属于邻近图象象素位置的另一最小误差，除了直接相邻的图象象素位置之外，沿着含上述基本最小误差的行或列查找。

·用预先给定的门限与上述另一最小误差相比，如果遇到比门限值更小，则得到一个周期性结构的结果。

·当在图象中检测出一个周期性结构，就用邻近象素块的移动矢量替代与上述最小基本误差相应的当前移动矢量。替代矢量来自左侧或上侧中满足最小误差的任何一个，或者是两个矢量的平均值。

这个发明的更多的有利点分别体现在后面的从属权利要求中。

在原理上，本发明用于校正被分割成象素块的视频图象的移动矢量设备，包括：

a.求出不同视频信号间象素块的有关匹配的误差的装置，因此：

·第一最小值装置，通过上述误差值计算得到，与当前移动矢量有关的基本最小误差。

·第二最小值装置，沿着包含上述基本最小误差象素位置的行或列查找，另一个属于邻近象素位置最小误差值，但是，除了直接邻近象素位置的。

·第一最大值装置，从上述误差值计算得到最大误差值。两个门限值就是由这个最大误差值导出获得的。用于计算该误差值就是在计算基本最小误差中用到的那些值，它们属于当前块或根据当前块最小误差位置的偏移块的误差值。

·第二最大误差值装置，由上述误差值计算得到，包含上述基本最小误差的象素位置的行或列中的最大误差。

b.第一比较装置，将第二和第一最小值装置的输出差值，与第一个门限值比较，如果所述另一最小值小于这个门限值，则得到第一个周期性结构的结论。

c.第二比较装置，将第二最大值装置与第一最小值装置的输出差值，与第二个门限值比较。如果所述另一最小这个差值大于或等于门限值，得到了第二个周期性结构的结论。

d.结合装置，从所述第一和第二周期性结构的结论，形成得到最终的周期性结构的结论。

e.矢量置换装置，当最终的周期性结构结论指出图象成份中的周期性结构被测到时，用邻近象素块的移动矢量，特别是来自左侧或上侧或者是两者平均值，来替换对应于基本最小误差的当前移动矢量。

本发明最佳实施例借助原理图进一步说明。

下面专门就本发明的周期性结构检测部分的实施例进行分析。假定移动矢量范围的水平方向为〔-M，+M〕，垂直方向为〔-N，+N〕，挑选的移动矢量为〔X，Y〕。让从块匹配过程中得到任意移动矢量误差为E(x，y)，x＝-M……+M；y＝-N…+N。

可以计算出四个量。

E₁＝E(X、Y)最小误差。

E₂＝max_x，y{E(x，y)}最大误差。

E₃＝min_{x(x≠x-1；x；x+1)}{E(x，Y)}远离(X、Y)的行最小值。

E₄＝max_x{E(x，Y)}行最大值。

当且仅当：E₃-E₁＜E₂/4且E₄-E₁≥E₂/2成立时，这个块是周期性的。

图1表示了本发明检测和校正周期性结构硬件设备的构成的方框图。块匹配误差ERR按照预定的顺序连续的引入设备，用矢量计数器VCOU同步产生相应的移动矢量座标x和y。所有的误差最小值E₁的计算用到两个输入的最小函数电路MIN₁和单取样反馈延迟电路OED₁得到。当全部误差都输入过时，就在锁存器LA中出现相应的最小矢量UNVEC，矢量UNVEC输入到控制块CN，CON产生ENA₃和ENA₄两个使能信号。ENA₄作为计算最大行误差E₄的使能信号。最大行误差E₄对应包含相应的最小误差值E₁行。ENA₃是对上述相同的行计算特殊的最小行误差E₃的使能信号，在计算中对应着同样的行，除去最小误差和邻近误差。

误差ERR通过补偿延迟电路COMD和两平行开关SW₃和SW₄，SW₃和SW₄开关分别由ENA₃和ENA₄控制。E₃是经过有两个输入的最小函数电路计算得到，一路径SW₃输入，另一输入是经取样反馈延迟电路OED₃引入。E₄是经过有两个输入的最大函数电路MAX₄计算得到，其中一路经SW₄输入，另一路单取样反馈延迟电路OED₄输入。

E₃和E₄分别在减法器SUB₃和SUB₄中减去E₁，SU₃和SUB₄运算结果分别输入到比较电路COM₃和COM₄，在比较电路中分别与E₂相应分数进行比较。E₂是块的最大误差，它也是用有两个输入端的最大函数电路MAX₂求得，其中一个输入为误差ERR，另一个是经过延迟反馈电路OED₂输入。E₂分别通过除法电路DIV₃和DIV₄，分别除以4和2(移位操作)，除法电路的输出再分别输入到比较器COM₃和COM₄。当COM₃如果确定DIV₃(E₂/4)的输出比SUB₃输出(E₃-E₁)大；COM₄如果确定DIV₄(E₂/2)的输出小于等于SUB₄输出(E₄-E₁)时，COM₃和COM₄的输出在“与“门CB相与。若两个相与的结果PER为正时，那个当前块是周期性的。

经过适当的延迟平均电路STD和OED产生与误差有关的上侧矢量UVEC和左侧矢量LVEC，STO和OED的输出分别输入控制块CONU和CONL产生使能信号ENAU和ENAL，ENAU和ENAL分别在锁存器LAU和LAL中捕捉两个相应的矢量误差ERRU和ERRL。ERRU和ERRL在比较电路COMUL中比较，得到LOCERR，LOERR控制多路复用器MUX₁在有关的两个矢量UVEC和LVEC间进行选择。周期性结构检测PER控制多路复用器MUX₂选择，MUX₂在产生替换矢量REVEC和没有校正的矢量UNVEC之间选择，最终的结果是形成设备的COVEC输出，同时为随后的替换矢量输入到延迟电路OED和STD。

OED将矢量COVEC延迟一个象素，产生矢量LVEC。STD将矢量COVEC延迟一行，产生矢量UVEC。

这个发明可以用于电视接收机、VCR_s和CD-I、电唱机/录音机，也可作为慢移动发生器和噪声发生器。

Claims (6)

1.一种校正移动矢量方法，视频信号图象被分割成相关的象素块，其中，求出与不同视频信号图象间象素块的匹配有关的误差值，对于当前象素块除了对应于第一匹配位置的基本最小匹配误差外，确定对应于不与第一匹配位置相邻的第二匹配位置的下一最小匹配误差，

其特征在于在包括对应于第一匹配位置的象素的已知象素行或列中分别定位出第二匹配位置，

将所述下一最小匹配误差与预定的第一门限值相比较，其结果如果所述下一最小匹配误差小于所述第一门限值，就决定有一个周期性结构，

当图象成分中的周期性结构被检测出时，对应于第一匹配位置的移动矢量由取自左侧块或上侧块的移动矢量所替代，无论哪个都对当前块产生较小的匹配误差，或者由这两个移动矢量的平均移动矢量所替代，或者由取自邻近当前块的任何其他块的移动矢量所替代。

2.根据权利要求1所述的校正移动矢量方法，其特征在于仅当已知行或列的最大配匹误差分别超过第二个门限值时，图象的周期性结构才被检测出来。

3.根据权利要求1或2所述的校正移动矢量方法，其特征在于所述第一和/或第二门限值适应于块的动态范围，尤其适应于属于当前象素块或根据第一配匹位置偏移的象素块的最大误差值。

4.根据权利要求1或2所述的校正移动矢量方法，其中：

基本最小匹配误差：E₁＝E(X、Y)；

最大匹配误差：E₂＝max_x，y{E(x，y)}；

行或列最小匹配误差：E₃＝min_{x(x≠x-1；x；x+1)}{E(x，Y)}。

行或列最大匹配误差：E₄＝max_x{E(x，Y)}。

当且仅当：E₃-E₁＜E₂/4且E₄-E₁≥E₂/2成立时，这个块是周期性的，其中水平移动矢量范围为〔-M；+M〕，垂直移动矢量范围为〔-N，N〕，与所述第一匹配位置相关的被选移动矢量为(X，Y)，候选移动矢量误差为E(x，y)；x＝-M，…-M；y＝-N……+N

5.根据权利要求1或2所述的校正移动矢量方法，其特征在于仅当当前块中的相应误差低于一定的门限值时，替代移动矢量才被接受。

6.一种用来校正与视频信号图象分割成象素块有关的移动矢量的设备，包括：

求出与不同的视频信号图象间象素匹配有关误差值的装置，其中：

·第一最小值装置，从上述误差值，计算对应于第一匹配位置的基本最小匹配误差，

其特征在于：

·第二最小值装置，计算出对应于不与第一匹配位置相邻的第二匹配位置的下一最小匹配误差，计算是在包括对应于第一匹配位置的象素的已知象素行或列中分别进行的；

·第一最大值装置，由误差计算出的最大误差再从最大误差得到两个门限值，使用的误差涉及到上述基本最小误差算法，尤其是属于当前块或属于根据所述第一匹配位置而偏移的块；

-第二最大值装置，从所述误差分别计算出所述的已知行或列中的最大误差，

-第一比较装置，将第二和第一最小值装置之间的输出差值，与第一个门限值进行比较，如果所述下一最小匹配误差小于所述第一门限值，则产生第一周期性结构；

-第二比较装置，将第二最大值装置与第一最小值装置之间输出差值与第二个门限进行比较，如果所述下一最小匹配误差大于或等于第二门限值，则产生第二个周期性结构；

-组合装置，从上述第一和第二个周期性结构形成最终的周期性结构，

-矢量置换装置，当最终的周期性结构判定指出图象成份内的周期性结构被测到时，用取自左侧块或上侧块的移动矢量替代对应于所述基本最小匹配误差的当前移动矢量，无论哪个利用比较装置，对当前块产生较小的匹配误差，或者用这两个移动矢量的平均移动矢量所替代，或者用取自邻近当前块的任何其他块的移动矢量所替代。

Images