CN101072364A - 使用颜色匹配的图像稳定化 - Google Patents

Abstract

公开了一种用于处理具有第一帧和第二帧的运动图像的方法，其中每一帧具有多个象素，该方法包括：在第一帧中选择具有给定颜色的第一象素；在第二帧中定位具有所述给定颜色的第二象素；根据第一象素和第二象素的位置，对准第一帧和第二帧。

Description

使用颜色匹配的图像稳定化

本申请是申请日为2002年9月6日的发明专利申请02817548.4的分案申请。

技术领域

本发明涉及视频图像的分析，并且更为特别的是视频图像的图像稳定化。

背景技术

在现有技术中已知视频稳定化是为了通过机械反馈系统或通过数字信号处理来最小化因为摄像机移动产生的图像抖动。现有技术的数字信号处理技术很复杂并且经常基于运动估计和向量分析。这些技术被设计为最小干扰图像内的运动并且为了分离摄像机移动的抖动来评估象素的模块的运动。

当物体在捕捉的视频图像中相对于摄像机移动时，经常难以辨别捕捉的移动物体的移动细节。例如，当显示捕捉的视频图像时，因为汽车从一帧到一帧的大量运动，经常难以读取移动的汽车的牌照。在这种情况中，用于汽车运动的计算将提高读取牌照的能力。

因为设计现有技术来允许仅当移去因为摄像机的移动的运动时，这种运动在视频图像的序列中可见，所以上述的现有的图像稳定化技术没有提供为了使得牌照更容易读取而计算用于比如汽车的运动的运动的方法。

发明内容

本发明的一方面涉及一种用于处理具有第一帧和第二帧的运动图像的方法，其中每一帧具有多个象素，该方法包括：在第一帧中选择具有给定颜色的第一象素；在第二帧中定位具有所述给定颜色的第二象素；根据第一象素和第二象素的位置，对准第一帧和第二帧。

本发明的另一方面涉及一种用于处理具有多个帧的运动图像的方法，其中每一帧具有多个象素，该方法包括：选择初始帧和最终帧，在初始帧和最终帧之间有至少一个帧；在初始帧中选择初始象素并在最终帧中选择最终象素，初始象素具有初始颜色，最终象素具有最终颜色；根据初始颜色和最终颜色，对于初始帧和最终帧之间的每一帧确定插值象素；以及基于初始象素、最终象素和每一插值象素的位置，对准初始帧、最终帧和初始及最终帧之间的至少一个帧。

本发明的另一方面涉及一种用于图像的数字序列的图像稳定化的方法，其中每一图像具有多个象素并且其中每一象素具有用于显示的相关地址并且表示颜色，该方法包括：选择开始数字图像中的一象素和结束数字图像中的一象素；在与从开始数字图像和结束数字图像中选择的象素相关联的颜色之间插值；在插值的步骤中对于开始数字图像和结束数字图像之间的每一图像确定颜色值；在每一图像之内定位在所确定的颜色的范围之内的象素；以及重新寻址每一图像，使得定位的象素在相同的显示地址对准。

本发明的另一方面涉及一种用于暂时显示的数字视频图像的序列的图像稳定化的方法，其中每一数字图像包括许多象素并且每一象素具有相关联的显示位置，本方法包括：接收代表第一数字图像中的象素的颜色的信号；在第二数字图像中识别具有在颜色匹配范围内的相同颜色的象素，其中该范围可以包括单一颜色；以及重新寻址第二数字图像，使得第二数字图像中的所述象素与第一数字图像中的所述象素处于同一地址。

本发明的另一方面涉及一种用于暂时显示的数字视频图像的序列的图像稳定化的方法，其中每一数字图像包括许多象素并且每一象素具有相关联的显示位置，本方法包括：在第一数字图像的象素颜色和第三数字图像的象素颜色之间插值，以确定可搜索的颜色；在第二数字视频图像中识别具有在可搜索的颜色的范围内的颜色的象素；以及重新定位所述图像，使得来自第一、第二和第三数字图像的象素对准。

本发明的另一方面涉及一种用于具有多个视频帧的视频序列的图像稳定化的系统，该系统包括：重新定位模块，用于重新寻址第二视频帧，使得第二视频帧的具有在第一帧的象素颜色的颜色范围之内的颜色的象素被重新寻址到第一帧中的所述象素的地址。

附图说明

通过参考下面的详细描述以及附图，可以更加容易的理解本发明的特征，在附图中：

图1是一具有800×600象素的分辨率的图像；

图2是一流程图，示出了用于通过结合计算机系统执行的颜色匹配的图像稳定化的一个方法；

图3A-C示出了正在屏幕上重新定位的象素；

图3A示出了具有所选象素的第一帧；

图3B示出了第二帧，其具有标记为具有在从图3A选出的象素的颜色公差内的颜色的象素；

图3C示出了在图3A的第一帧上重叠并重新排列的图3B的第二帧；

图4是一流程图，示出了用于图像稳定化的另一实施例；

图5是一流程图，示出了使用颜色匹配和插值的图像稳定化的另一实施例；

图6示出了在视频序列的开始和结束帧中的象素选择；

图7A示出了在对准所有图像的图像稳定化之前的视频序列；

图7B示出了对准之后的图7A的视频序列；并且

图8示出了本发明作为系统的一个实施例。

具体实施方式

如在下面的文本中使用的，术语“视频序列”意味着可以暂时在显示设备上显示的图像序列的数字表示。通常，视频序列包括多个帧，其中每一帧表示分离的图像。可能将帧进一步细分，这样帧由一系列象素组成。如在下面的描述中使用的，“象素”应该意味着图像的单一点。在图像中包括的象素的数量越多，视频分辨率越高。通常由象素数量的长度和宽度度量来表示图像/帧的分辨率，例如，在800×600的分辨率中，沿着图像的长度有800象素并且沿着图像的宽度有600象素。地址和每一象素相关。例如如图1所示，呈现具有800×600的分辨率的图像并且以X标记在地址(200，300)的象素，其中原点位于屏幕的左上角。如在这里使用的，帧可能是完整的图像或图像的一部分，比如仅包括完整图像的一半的区域。

在本发明的实施例中，提出了用于稳定数字视频序列的视频图像的方法，其中数字视频序列包括多个数字图像/帧。通过在第二帧中搜索具有落在颜色公差内的颜色的象素，而通过在第一帧中的所选象素颜色的颜色匹配来执行稳定化。之后将第二帧和第一帧对准，从而在第二帧中具有匹配颜色的象素的象素地址和从第一帧中选择出的象素的象素地址相同。之后将第二帧存储进存储器。在可以呈现的可能颜色的数量和分辨率增加时，这个方法特别有用。随着视频移动到对象素颜色值具有16.7兆和更高的可能颜色的HDTV格式，象素颜色值变得更为独特并且因此颜色跟踪成为更为有效的用于匹配图像和提供图像稳定化以及计算在图像内的移动的方式。

结合计算机系统执行通过颜色匹配的图像稳定化的本方法，其中计算机系统至少包括显示器，输入设备，相关存储器和处理器。将参考图2更详细的解释本方法。首先，由计算机系统的处理器从存储器位置中检索数字序列200。或者颜色公差由处理器预先确定并访问或者用户被请求输入一颜色公差210。颜色公差是在其中认为发生了颜色匹配的范围。之后将视频序列的第一帧显示给用户。之后用户在第一帧中选择一象素220。优选的，该象素是明显的颜色或者该象素是在视频序列中移动的物体的一部分并且当显示视频序列时出现抖动。在选择了象素之后，处理器识别和该象素相关的颜色230。之后处理器检索第二帧并且执行第二帧的搜索，来识别具有在颜色公差内和从第一帧选择出的象素的象素颜色相同的象素240。可能通过采用包括所有颜色成分的象素的总体颜色或者对单独的颜色成分进行加权而执行颜色匹配。例如，如果以R，G，B，颜色空间表示颜色序列，相同的颜色匹配(也就是，具有0％的颜色公差的颜色匹配)可能需要R，G，B值中的每一个相同。颜色公差可能是在颜色中作为百分数的总差异。例如，颜色公差可能是0.005％，其中颜色空间包括16.7兆颜色，或颜色公差可能需要每一颜色成分必须在所选象素的每一R，G，B值的比如10％的特定公差之内。一旦识别了在第二帧中的-象素，之后将来自第二帧的象素地址和第一帧的所选象素的象素地址对准250。图3A，B和C示出了被重新定位的象素。图3A示出了具有标记有X并且将在显示设备中显示的所选象素的第一帧。图3B示出了第二帧，其中以O标识从第一帧中选择的象素匹配的象素。图3C示出了被重新定位并且因此被重新寻址的第二帧的显示的象素。在重新定位第二帧并且因此改变该帧的所有象素的地址之后，通过处理器将重新对准的第二帧存储在存储器中260。可以对视频序列中的每一帧继续这个过程。在这样的实施例中，可能在接下来的每一帧中搜索从第一帧选择的象素的颜色。应该注意到，因为重新对准后的第二帧的一些象素的新地址在显示地址之外，所以这些象素的象素值将不在显示设备上显示。另外，一些用于第二重新对准的帧的显示地址将不具有用于象素的颜色值。在一个实施例中，使得这些象素地址为黑色。在其它实施例中，可以分配默认颜色值，比如，来自相邻象素地址的颜色值。

可能如图4所述进一步说明本发明。如上所述，由处理器从存储器位置接收视频系列。将第一帧呈现给用户。用户在视频帧步骤401中定义搜索区域。例如，用户可能使用比如鼠标或光笔这样的输入设备来以图形指示搜索区域。在一个实施例中，整个视频帧是默认搜索区域。在其中用户只对图像的特定部分感兴趣的图像中，定义小于整个图像的搜索区域可能是有益的。例如，如果视频序列是一辆正在开走的汽车并且用户对于汽车的牌照感兴趣，用户可以选择视频帧的子部分。在实例中，用户将指示汽车的牌照或某部分是所选的图像子集。在重新对准该帧之后显示的图像可以是整个视频帧或仅仅是帧的选择的子集。

在其中需要采用的移动物体仍在整个帧中移动的视频序列中，应该在帧的短序列上做出图像的子部分的选择，比如牌照。例如，如果整个序列是120个视频视场(大约，2秒)，可能细分序列使得仅仅使用很少的帧(例如，10视场)。因为汽车的牌照在10个视场之内将不会移动很多象素，于是可以将汽车和牌照指定为用于比较目的的图像的子部分。通过选择子部分，提高了匹配象素的颜色确实表示相同物理点的几率。

还通过计算机系统提示用户上述的颜色公差是用于匹配颜色的误差的可接受极限402。用户还可以指示对准点，该点是在显示设备的输出屏幕上的点，在该点上对准其颜色最佳匹配跟踪颜色的象素403。在一个实施例中，虽然可以选择在屏幕上的其它位置，默认的是显示设备的屏幕的中心。用户还提供用来被跟踪的颜色404。这通过观察第一视频帧和使用用户输入设备选择象素来达成。

对于每一视频帧420，将用于搜索区域的每一象素的颜色值和来自第一视频帧的所选跟踪颜色的颜色值比较430。如果用于象素的颜色空间(例如，R，G，B)的颜色值在输入的公差之内440，将认为象素匹配。将其中红，绿和蓝的颜色值和跟踪颜色的这些值之间的差的绝对值之和最小的象素识别为颜色匹配点。如果颜色匹配点在用于每一和所选象素相关的颜色空间值的输入的公差之内，移动帧450，使得将被识别为最好的颜色匹配的象素放置在屏幕的对准点上并且将移动的帧写出到存储器外。如果没有找到颜色匹配，根据预先确定的程序移动图像460。例如，可能通过分析过去的移动并且将移动平均来确定移动，从而确定怎么对准视频数据的帧。例如，可能在X方向上以先前在X方向上移动的距离的加权平均来移动图像，并且在Y方向上以先前在Y方向上移动的距离的加权平均来移动图像。

在另一实施例中，可能根据下面程序来移动图像：

xdiff＝((sx1-sx2)+(sx2-sx3)+(sx3-sx4)//3*(sd)；和

ydiff＝((sy1-sy2)+(sy2-sy3)+(sy3-sy4))/3*(sd)；其中

sx1＝先前的水平位移；sy1＝先前的垂直位移

sx2＝在sx1之前的水平位移；sy2＝在sy1之前的垂直位移；

sx3＝在sx2之前的水平位移；sy3＝在sy2之前的垂直位移；

sx4＝在sx3之前的水平位移；sy4＝在sy3之前的垂直位移；并且

其中sd是衰减因数。

之后以由下面等式给定的量移动帧460：

水平位移＝sx1+xdiff；和

垂直位移＝sy1+ydiff。

之后将移动的帧写出到视频图像存储器465。

如果输入流包括更多的视频帧470，处理下一帧420。一旦处理了在输入流中的所有帧，则完成颜色跟踪操作。

一旦使用颜色跟踪重新定位了所有的视频帧，则该帧序列暂时显示在显示设备上并且因此减少摄像机或物体的移动。除了以暂时的方式显示视频帧，还可以将视频帧进行线性平均，以提供更高精确度的图像或图像的部分，例如，在移动的车辆上的牌照，其中的牌照因为抖动而无法读取并且一旦稳定图像之后即可读取。即使没有稳定图像，可以将所有帧一起线性平均来产生更高的图形分辨率，其可以提供增强的图像，并且其中牌照可读。通过精确的对准图像到子象素分辨率，并将图像一起平均，可以产生更高分辨率的图像。这时因为随着捕捉到物体的一些图像，每一图像呈现每一帧中物体略微不同的部分。通常最少需要三到五帧来改进图像。

在本发明的另一实施例中，如图5所示，结合颜色匹配采用插值。在这个实施例中，将视频序列提供进计算机系统500。允许系统的用户在显示设备上观看视频序列并且选择开始帧和结束帧501。在开始帧和结束帧中都选择一象素502。优选的，在开始帧和结束帧中的象素是需要将其运动稳定化的物体的一部分。例如，可能从移动的汽车的视频图像中选择出一象素。如图6所示，应该在结束帧中选择是汽车的一部分的象素。之后系统在开始帧中选择的象素的颜色值和在结束帧中的象素的颜色值之间插值503。插值方法可能是任意本领域普通技术人员已知的一个插值方法，比如线性的，双线性的，以及双立方插值。插值方法对在开始帧和结束帧之间的每一帧提供内插值。例如，如果有四个帧，将对第二和第三帧确定内插的颜色值。一旦对在开始帧和结束帧之间的每一帧确定颜色值，处理器开始在每一各自的帧中搜索颜色值504。处理器可能使用颜色匹配范围/颜色公差来定位匹配颜色的象素。在一个实施例中，处理器搜索具有精确颜色的第一象素并且不使用颜色公差。在另一实施例中，将在颜色公差之内的每一象素保存到存储器，并且确定如上所述的差异量度，直到确定具有最接近颜色匹配的象素505。如果没有象素匹配，处理器采用比如上面提供的程序，或者其它基于趋向分析和视频系列的其它特性的程序506。当对每一帧选择出象素时，重新对准在开始帧之后的包括结束帧的帧507。重新对准需要重新确定每一象素的相关地址，这样当在显示设备上显示视频序列时，在第一帧中选择出的象素的象素位置和在接下来的帧中匹配颜色值的象素对应。例如，如图7A所示，在开始帧中选择象素，其中对准剩余的帧，就像它们要被正常显示那样。图7B示出了重新对准的视频帧，这样在显示屏幕上和从开始帧选择出的象素相同的点上定位来自在开始帧之后的所有帧的颜色匹配的象素。如果在开始帧和结束帧之间包括小于整个的视频图像序列，可以重复这个过程。

用于图像稳定化的方法可能具体实现为如图8所示的系统。系统800包括比如鼠标，跟踪球，键盘等的输入设备801，视频显示器802和具有相关存储器804的处理器803。处理器包括多种模块。第一模块是操作来从用户输入设备接收信号的用户接口模块803A。用户可以输入请求来对所选的视频图像序列执行图像稳定化。用户可以观看视频序列的第一帧并且在序列中选择象素，其中用户接口模块803A接收这个信息并且发送这个信息到位置模块803B，位置模块803B识别所选象素的颜色并且访问视频数据的第二帧。位置模块803B为了识别和在第一帧中选择的象素颜色最匹配的象素而搜索第二帧的数据值。如果没有找到在颜色范围内的象素，则位置模块803B默认进行预先确定的程序，比如上面所述的。当识别了象素时，将象素的位置呈现给重新定位模块803C，此模块重新寻址在第二帧中的所有象素，这样在第二帧中定位的象素具有和从第一帧中选择出的象素的显示地址相同的新的地址。通过存储模块803D，将地址信息和对应的象素颜色值一起存储到存储器。

应该注意到这里使用的流程图是为了示范本发明的多种方面，并且不应该被理解为将本发明限制到特定的逻辑流程或逻辑实现。可以将所示的逻辑分为不同的逻辑模块(例如，程序，模块，功能，或子程序)，同时不改变整个结果或不脱离本发明的真正范围。其它时间，也可以以不同顺序执行，添加，修改，省略逻辑要素，或者使用不同的逻辑结构(例如，逻辑门，循环形式，条件逻辑，和其它逻辑结构)实现，同时不改变总的结果和不脱离本发明的真正范围。

本发明可能具体表现为很多不同形式，包括，但是不限制于，用于和处理器(例如，微处理器，微控制器，数字信号处理器，或通用计算机)一起使用的计算机程序逻辑，用于和可编程的逻辑设备(例如，现场可编程门阵列(FPGA)或其它PLD)一起使用的可编程逻辑，离散器件，集成电路(例如，专用集成电路(ASIC))，或任意其它包括它们的任意组合的装置。

在这里，实现前述的所有或部分功能性的计算机程序逻辑可以具体表现为多种形式，包括，但是不限制于，源码形式，计算机可执行形式，以及多种中间形式(例如，由汇编程序，编译器，连接器，或定位器产生的形式)。源码可能包括一系列以多种用于和多种操作系统或操作环境一起使用的程序语言中的任意(例如，对象码，汇编语言，或比如Fortran，C，C++，JAVA，或HTML的高级语言)实现的计算机程序指令。源码可能定义并使用多种数据结构和通信消息。源码可能以计算机可执行形式(例如，通过解释程序)，或者可以将源码转换(例如，通过翻译程序，汇编程序，或编译器)为计算机可执行形式。

可以以任意形式(例如，源码形式，计算机可执行形式，或中间形式)永久的或暂时的在有形的存储媒介，比如半导体存储器设备(例如，RAM，ROM，PROM，EEPROM，或闪存可编程RAM)，磁存储器设备(例如，磁盘或固定盘)，光存储器设备(例如，CD-ROM)，PC卡(例如，PCMCIA卡)，或其它存储器设备中固定计算机程序。计算机程序可能以任意形式固定在信号中，其中该信号可使用多种通信技术，包括，但是不限制于，模拟技术，数字技术，光技术，无线技术，网络技术，互联网络技术中的任意一种发送到计算机。计算机程序可以以任意形式分布在，比如，具有附加的打印或电子文件(例如，压缩软件或磁带)的可移动存储媒介中，预先载入计算机系统(例如，在系统ROM或固定盘上)，或者从服务器或电子公告板上通过通信系统(例如，互联网或万维网)分配。

在这里，可能使用现有的手工方法设计实现前述的所有或部分功能性的硬件逻辑(包括用于和可编程逻辑设备一起使用的可编程逻辑)，或者使用多种工具，比如计算机辅助设计(CAD)，硬件描述语言(例如，VHDL或AHDL)，或PLD编程语言(例如，PALASM，ABEL，或CUPL)来对其进行电子设计，捕捉，仿真和记录。

本发明可能具体表现为其它特定形式，同时不脱离本发明的真正范围。在所有方面都应该认为所述的实施例是示意性而不是限制性的。

Claims (27)

1.一种用于处理具有第一帧和第二帧的运动图像的方法，其中每一帧具有多个象素，该方法包括：

在第一帧中选择具有给定颜色的第一象素；

在第二帧中定位具有所述给定颜色的第二象素；

根据第一象素和第二象素的位置，对准第一帧和第二帧。

2.如权利要求1所述的方法，其中第一帧和第二帧在存储器中对准。

3.如权利要求1所述的方法，其中对准步骤包括在第一象素和第二象素周围对准第一帧和第二帧。

4.如权利要求1所述的方法，进一步包括确定第一象素的颜色，其中该颜色被确定为所述给定颜色。

5.如权利要求1所述的方法，其中定位步骤包括确定第二象素的颜色是否在给定的颜色公差内。

6.如权利要求1所述的方法，其中第一象素具有第一地址，并且其中对准步骤包括将第二象素重新排列为具有与第一地址相等的地址。

7.如权利要求1所述的方法，其中第一帧和第二帧被线性平均，以提供第三帧。

8.如权利要求7所述的方法，其中第三帧具有比第一帧或第二帧更高的分辨率。

9.如权利要求7所述的方法，其中第三帧显示在显示设备上。

10.如权利要求7所述的方法，其中第一帧和第二帧被对准到子象素级别。

11.如权利要求1所述的方法，进一步包括：

选择第二帧的范围，用于在该范围中定位具有所述给定颜色的第二象素。

12.如权利要求11所述的方法，进一步包括：

如果在第二帧中没有找到具有所述给定颜色的第二象素，则根据预先确定的程序对准第一帧和第二帧。

13.如权利要求12所述的方法，其中预先确定的程序基于过去的帧对准。

14.一种用于处理具有多个帧的运动图像的方法，其中每一帧具有多个象素，该方法包括：

选择初始帧和最终帧，在初始帧和最终帧之间有至少一个帧；

在初始帧中选择初始象素并在最终帧中选择最终象素，初始象素具有初始颜色，最终象素具有最终颜色；

根据初始颜色和最终颜色，对于初始帧和最终帧之间的每一帧确定插值象素；以及

基于初始象素、最终象素和每一插值象素的位置，对准初始帧、最终帧和初始及最终帧之间的至少一个帧。

15.如权利要求14所述的方法，其中插值基于初始颜色、最终颜色、以及初始帧和最终帧之间的总帧数。

16.如权利要求14所述的方法，进一步包括在初始帧和最终帧之间的给定帧中定位插值象素。

17.如权利要求16所述的方法，其中每一插值象素具有插值颜色，并且其中在所述给定帧中的插值象素是基于插值象素的插值颜色定位的。

18.如权利要求17所述的方法，其中定位步骤包括确定插值颜色是否在给定的颜色公差内。

19.如权利要求14所述的方法，其中初始帧、最终帧和所述至少一个帧在存储器中对准。

20.如权利要求14所述的方法，其中对准步骤包括将初始象素、最终象素和插值象素的地址设置为同一值。

21.如权利要求14所述的方法，进一步包括在显示器上至少显示初始帧、最终帧、以及在初始帧和最终帧之间的至少一个帧。

22.一种用于图像的数字序列的图像稳定化的方法，其中每一图像具有多个象素并且其中每一象素具有用于显示的相关地址并且表示颜色，该方法包括：

选择开始数字图像中的一象素和结束数字图像中的一象素；

在与从开始数字图像和结束数字图像中选择的象素相关联的颜色之间插值；

在插值的步骤中对于开始数字图像和结束数字图像之间的每一图像确定颜色值；

在每一图像之内定位在所确定的颜色的范围之内的象素；以及

重新寻址每一图像，使得定位的象素在相同的显示地址对准。

23.一种用于暂时显示的数字视频图像的序列的图像稳定化的方法，其中每一数字图像包括许多象素并且每一象素具有相关联的显示位置，本方法包括：

接收代表第一数字图像中的象素的颜色的信号；

在第二数字图像中识别具有在颜色匹配范围内的相同颜色的象素，其中该范围可以包括单一颜色；以及

重新寻址第二数字图像，使得第二数字图像中的所述象素与第一数字图像中的所述象素处于同一地址。

24.一种用于暂时显示的数字视频图像的序列的图像稳定化的方法，其中每一数字图像包括许多象素并且每一象素具有相关联的显示位置，本方法包括：

在第一数字图像的象素颜色和第三数字图像的象素颜色之间插值，以确定可搜索的颜色；

在第二数字视频图像中识别具有在可搜索的颜色的范围内的颜色的象素；以及

重新定位所述图像，使得来自第一、第二和第三数字图像的象素对准。

25.一种用于具有多个视频帧的视频序列的图像稳定化的系统，该系统包括：

重新定位模块，用于重新寻址第二视频帧，使得第二视频帧的具有在第一帧的象素颜色的颜色范围之内的颜色的象素被重新寻址到第一帧中的所述象素的地址。

26.如权利要求25所述的系统，其中第二视频帧中的所有象素被重新寻址。

27.如权利要求26所述的系统，其中象素被关于所述视频帧中的其它象素重新寻址。

Images