CN1350749A - 对数字化图像实施由计算机支持的运动补偿的方法和装置、计算机程序产品以及计算机可读的存储介质 - Google Patents

Abstract

分别针对整个图像而为所述的图像和在时间上处于前面的预定数量的图像执行运动估测,由此分别测出一个图像运动矢量。通过采用相应的图像运动矢量而以运动补偿的形式将所述的图像存储在存储器内。读出所述存储器的预定区域,以便产生经运动补偿的图像。

Description

对数字化图像实施由计算机 支持的运动补偿的方法和装置、计 算机程序产品以及计算机可读的存储介质

本发明涉及对数字化图像实施由计算机支持的运动补偿的方法和装置。

在[1]中曾公开过这种方法和装置。

在这种已知的方法中，由摄像机拍摄图像，并对其进行数字化和存储。所述被拍摄和数字化的图像具有一些分配有编码信息的像点。

编码信息可理解为亮度信息(流明信息)和/或颜色信息(色度信息)。

所存储的图像被放大，且所述的编码信息被内插到未放大的图像的原始像点之间。在所述放大的整个图像上应用一种“整体”运动估测(也即估测整个图像的运动)和“整体”运动补偿。所述整体运动估测的结果是产生一个被分配给所述放大图像的图像运动矢量。从所述的放大图像中读出一个经运动补偿的图像片段。经运动补偿的图像片段可以理解成如下的图像片段，它在所述的放大图像内偏移了所述求出的图像运动矢量。

当利用手持摄像机进行拍摄时，这种运动补偿尤其可被用来补偿人的晃动。

[1]所公开的方法尤其具有如下缺点，就是通过放大图像而降低了摄像机的分辨率，这使得在经运动补偿的图像上可以看到不清晰。

另外还已知通过利用机械工具来执行运动补偿。对于这种装置，在摄像机内装设一些机械传感器，由它们来测试摄像机的运动、譬如晃动。另外还设置了一种运动透镜系统，根据所测得的运动来控制该透镜系统，以便对所述的运动进行补偿，并由此确保一种平滑的、在原本拍摄该图像之前的经过运动补偿的图像。

但该技术的缺点是，由于附加的传感器和透镜系统而使得其附加重量非常大。另外，这种装置的实现费用也较昂贵。因此该技术尤其不适合小型的设备，譬如可视移动电话。

[2]公开了一种遵照H.263标准的基于块的图像编码方法。

[3]、[4]和[5]讲述过其它一些用于估测整体运动的方法。

因此本发明所基于的问题在于，提供一种对数字化图像进行运动补偿的方法和装置，它们不需要昂贵的附加透镜系统，而且利用它们可以避免降低所拍摄图像的图像分辨率。

该问题由具有独立权利要求所述特征的方法和装置、以及计算机产品和计算机可读的存储介质来解决。

在对数字化图像实施由计算机支持的运动补偿的方法中，分别针对整个图像而为所述的图像和在时间上处于前面的预定数量的图像执行运动估测。由此分别测出一个图像运动矢量。通过采用相应的图像运动矢量而以运动补偿的形式将所述的图像存储在存储器内。读出所述存储器的预定区域，以便产生经运动补偿的图像。

在另一种用于对数字化图像实施由计算机支持的运动补偿的方法中，将所述的图像存储在存储器内。为整个图像执行运动估测。得出一个图像运动矢量作为所述运动估测的结果。另外，读出所述存储器中包括所述整个图像的图像片段的区域。从一个预定的基本位置出发，根据所测出的图像运动矢量进行运动补偿以得出图像内的所述区域的位置。读出所求出的位置处的存储器区域，以便产生经运动补偿的图像。

对数字化图像实施由计算机支持的运动补偿的装置具有一种处理器，该处理器可被设置用来执行如下步骤：

·分别针对整个图像而为所述的图像和在时间上处于前面的预定数量的图像执行运动估测，由此分别测出一个图像运动矢量，

·通过采用相应的图像运动矢量而以运动补偿的形式将所述的图像存储在存储器内，而且

·读出所述存储器的预定区域，以便产生经运动补偿的图像。

另一种用于对数字化图像实施由计算机支持的运动补偿的装置包括一种处理器，该处理器可被设置用来执行如下步骤：

·将所述的图像存储在存储器内，

·为整个图像执行运动估测，由此测出一个图像运动矢量，

·读出所述存储器中包括所述整个图像的图像片段的区域，

·从一个预定的基本位置出发，根据所测出的图像运动矢量进行运动补偿以得出图像内的所述区域的位置，而且

·读出所求出的位置处的存储器区域，以便产生经运动补偿的图像。

在一种计算机可读的存储介质上存储有一个程序，在该程序装载到计算机的存储器内后，它可以使计算机执行如下步骤以便对数字化图像实施运动补偿：

·分别针对整个图像而为所述的图像和在时同上处于前面的预定数量的图像执行运动估测，由此分别测出一个图像运动矢量，

·通过采用相应的图像运动矢量而以运动补偿的形式将所述的图像存储在存储器内，而且

·读出所述存储器的预定区域，以便产生经运动补偿的图像。

在另一种计算机可读的存储介质上存储有一个程序，在该程序装载到计算机的存储器内后，它可以使计算机执行如下步骤以便对数字化图像实施运动补偿：

·将所述的图像存储在存储器内，

·为整个图像执行运动估测，由此测出一个图像运动矢量，

·其中，读出所述存储器中包括所述整个图像的图像片段的区域，

·从一个预定的基本位置出发，根据所测出的图像运动矢量进行运动补偿以得出图像内的所述区域的位置，而且

·读出所求出的位置处的存储器区域，以便产生经运动补偿的图像。

一种计算机程序产品包括一种计算机可读的存储介质，该存储介质上存储有一个程序，在该程序装载到计算机的存储器内后，它可以使计算机执行如下步骤以便对数字化图像实施运动补偿：

·分别针对整个图像而为所述的图像和在时间上处于前面的预定数量的图像执行运动估测，由此分别测出一个图像运动矢量，

·通过采用相应的图像运动矢量而以运动补偿的形式将所述的图像存储在存储器内，而且

·读出所述存储器的预定区域，以便产生经运动补偿的图像。

另一种计算机程序产品包括一种计算机可读的存储介质，该存储介质上存储有一个程序，在该程序装载到计算机的存储器内后，它可以使计算机执行如下步骤以便对数字化图像实施运动补偿：

·将所述的图像存储在存储器内，

·为整个图像执行运动估测，由此测出一个图像运动矢量，

·其中，读出所述存储器中包括所述整个图像的图像片段的区域，

·从一个预定的基本位置出发，根据所测出的图像运动矢量进行运动补偿以得出图像内的所述区域的位置，而且

·读出所求出的位置处的存储器区域，以便产生经运动补偿的图像。

利用本发明可以提供一种成本合适的解决方案，以用来对数字化图像实施运动补偿，通过该补偿可以避免降低摄像机的图像分辨率。因此，与[1]所公开的方法相比，所述经运动补偿的图像具有更高的清晰度。

本发明的优选改进方案由各从属权利要求给出。

在下文所讲述的改进方案中将涉及到所述的方法、装置、计算机程序产品以及计算机可读的存储介质。

本发明既可以用软件也可以譬如通过采用特殊的电路以硬件的形式来实现。

在一种改进方案中规定，在所述存储器的图像叠加区域内，在时间上处于前面的每个图像以运动补偿的形式被时间上处于后面的图像重写掉。

本发明可被优选地用来对数字化图像进行编码和/或解码。

本发明非常适用于移动电信终端，譬如可视移动电话。

附图中示出了本发明的实施例，下面来对它进行详细阐述：

图1简略地示出了用于说明该实施例显而易见的原理的方框图；

图2简略地示出了一种具有摄像机和编码单元的装置、以及用于对编码的图像序列进行解码的解码装置，所述编码单元用来对利用所述摄像机拍摄的图像序列进行编码；

图3详细地示出了一种用于图像编码和整体运动补偿的装置；

图4a～c分别示出了如下一些图像，在图像(图1a)中，相对于在时间上处于前面的图像而言该图像的运动矢量场具有一个预定的区域，从该区域每次确定出用于形成运动模型参数的运动矢量，一幅具有所有运动矢量的图像(图1b)，以及一幅具有遵循方法迭代的运动矢量的图像(图1c)，所述方法利用了图1a所示的预定区域；

图5示出了一个流程图，它给出了用于对图像的图像运动矢量进行测定的方法步骤；

图6简略地说明了按照第一实施例来存储在时间上处于前面的图像；

图7简略地说明了选择一个区域以便按照第二实施例来选出用于图像运动补偿的图像片段。

第一实施例：

在图2中示出了一种包含有两个计算机202、208和一个摄像机201的装置，其中说明了图像编码、图像数据传输以及图像解码。

摄像机201通过线路219与第一计算机202相接。所述摄像机201将拍摄的图像204传送给该第一计算机202。第一计算机202具有第一处理器203，该处理器通过总线218同图像存储器205相连。利用所述第一计算机202的第一处理器203实现一种图像编码方法。通过这种方式，被编码的图像数据206通过通信连接207-优选为导线或无线链路-从第一计算机202传输到第二计算机208。所述第二计算机208包含有第二处理器209，该处理器通过总线210与图像存储器211相连。利用第二处理器209实现一种图像解码方法。

所述第一计算机202和第二计算机208都具有一个像屏212或213，在该像屏上可以使图像数据204视觉化。为了操作第一计算机202和第二计算机208，分别装设了输入单元，优选地为键盘214或215、以及计算机鼠标216或217。

通过线路219从摄像机201传输至第一计算机202的图像数据204为时域内的数据，而通过通信连接207从第一计算机202传输至第二计算机207的数据为频域内的图像数据。

在像屏220上显示被解码的图像数据。

图3简略地示出了一种按照第一实施例来实现所述方法的装置，在该范围内执行基于块的图像编码方法。

具有时间相继的数字化图像的、需编码的视频数据流被输入到图像编码单元301。数字化图像被划分为宏块302，其中每个宏块包含16×16个像点。所述宏块302包括4个图块303、304、305和306，其中每个图块包含8×8个被指定了流明值(亮度值)的像点。另外，每个宏块302还包括两个色度块307和308，所述色度块具有分配给像点的色度值(颜色信息，色饱和度)。

图像的所述块中包含有流明值(＝亮度)、第一色度值(色调)和第二色度值(色饱和度)。在此，流明值、第一色度值和第二色度值被称为色值。

这些图块被输入到变换编码单元309中。在一种差分图像编码器中，从当前需编码的图块中减去时间上处于前面的图像的需编码的值，只有求差信息310输入到变换编码单元(离散余弦变换，DCT)。对此，通过连接334将当前的宏块302传给运动估测单元329。在所述的变换编码单元309中，为需编码的图块或差分图块生成谱系数311，并将其输至量化单元312。

量化的谱系数313既输入到扫描单元314，又输入到反馈回路中的逆量化单元315。根据一种扫描方法，譬如“折线”扫描方法，在为此而设置的熵编码单元316内对被扫描过的谱系数332进行熵编码。经过熵编码的谱系数以编码图像数据317的形式通过信道、优选地为通过导线或无线链路而被传输至解码器中。

在逆量化单元315中对被量化过的谱系数313进行逆量化。如此获得的谱系数318被输入到逆向的变换编码单元319(逆向的离散余弦变换，IDCT)之中。重构的编码值(也即差分编码值)320在求差模式下被输至加法器321。加法器321另外还获得图块的一些编码值，所述编码值是根据已执行的运动补偿而从在时间上处于前面的图像中得出的。利用加法器321形成重构的图块322，并将其暂存在图像存储器323中。

从图像存储器323把被重构的图块322的色度值324输至运动补偿单元325。在为此而设的内插单元327内为亮度值326实现内插。借助所述的内插，相应图块内所包含的亮度值的数量被优选地加倍。所有亮度值328既被输入运动补偿单元325，又被输入运动估测单元329。所述的运动估测单元329另外还通过连接334获得所述需编码的宏块(16×16个像点)的图块。在运动估测单元329中通过考虑所述内插的亮度值来实现运动估测(“基于半像素的运动估测”)。

运动估测的结果为一种运动矢量330，利用该矢量来表达从在时间上处于前面的图像中所选出的宏块相对于需编码的宏块302的局部偏移。

参考由运动估测单元329测定的宏块，亮度消息和色度信息均被偏移一个运动矢量330，并从宏块302的编码值中减去(参见数据回路231)。

所述运动估测以如下方式来实现，即对于为其实行运动估测的每个图块，譬如根据如下公式来测定相对于与在时间上处于前面的图像的图块具有同样形状和大小的区域的误差E： $E=\underset{i=1}{\overset{n}{\mathrm{\Σ}}}\underset{j=1}{\overset{m}{\mathrm{\Σ}}}|x_{i,j}-{\mathrm{xd}}_{i,j}|\→\min \∀d\∈S,----\left(1\right)$

其中，

-i，j均为下标，

-n，m分别为图块中所包含的沿着第一方向x的像点的数目(n)和沿着第二方向y的像点的数目(m)，

-x_i，j为图块中位于由下标i，j所标示的相对位置处的像点所分配的编码信息，

-xd_i，j为在时间上处于前面的图像区域内由下标i，j所标示的、被偏移了预定值d的相应像点所分配的编码信息，

-S为在时间上处于前面的图像之内的预定形状和大小的搜索空间。

针对搜索空间S内的不同偏移为每个图块计算误差E。在时间上处于前面的图像内，极近似地选择如下图块作为执行运动估测的图块，即该图块的误差E最小。

由此产生具有两个运动矢量分量的运动矢量330来作为所述运动估测的结果，也即沿着第一方向x和第二方向y的第一运动矢量分量BVx和第二运动矢量分量BVy： $\mathrm{BV}=\left[\begin{array}{c}\mathrm{BVx}\\ \mathrm{BVy}\end{array}\right].$ 。

该运动矢量330被分配给所述的图块。

图3所示的图像编码单元由此给所有图块或宏图块提供运动矢量330。

运动矢量330被输入到单元335中，以便对该运动矢量330进行选择或加权。在该用于对运动矢量335进行选择的单元中，选出位于预定区域401(参见图4a)内的图块所分配的运动矢量330，或对其进行加高权。此外，在单元335中还选出已可靠(342)估测的运动矢量，或对其进行加高权。

选出的运动矢量336被输入到一个用于对运动模型参数进行测定的单元337中。在该用于对运动模型参数进行测定的单元337中，根据所选择的运动矢量测出下文还将按照图1进行讲述的运动模型。

被测定的运动模型338被输至用于对摄像机和所拍摄图像之间的运动进行补偿的单元339中。在该补偿单元339中，根据下文将要讲述的运动模型对运动进行补偿，使得其运动已被补偿的、有少量歪跳的图像340在图像存储器323内被存储到事先没有处理的、其运动需要补偿的图像中，在处理之后再存入到补偿单元339中。

图1以方框图的形式示出了整体运动测定的原理。

根据运动矢量场101、预定的区域或加权掩模102、以及可靠系数加权掩模106，计算出下文将要讲述的运动模型338(步骤103)。

运动矢量场101可以理解为图像的所有被测定的运动矢量330的集合。运动矢量场101在图4b中是通过每次为图块描述一个运动矢量330的划线示出的(402)。该运动矢量场402在数字化图像400上是简略地画出来的。图像400包括人形式的运动物体403和图像背景404。

图4a示出了预定的区域401。该预定的区域401规定了图块必须位于其内的区域，由此选择给这些图块所分配的运动矢量。

通过如下方式来产生所述的预定区域401，即由距数字化图像400的边缘407为第一预定间距406之内的图块组成边缘区域405。因此，在测定运动模型338的参数时不考虑直接位于图像400边缘407的图块。另外，该预定的区域401由如下的图块形成，这些图块位于距数字化图像400的中心409为第二预定间距408之内。

所述的预定区域或加权掩模在具有下述步骤的迭代方法中被变换如成下迭代的新区域(步骤104)。

为位于预定区域401内的每个图块分别测定矢量差异值VU，利用该差异值来描述所确定的运动模型338和每个图块所分配的运动矢量330之间的差异。该矢量差异值VU譬如按如下公式来产生：

VU＝|BV_X-MBV_X|+|BV_Y-MBV_Y|，            (2)

其中，MBVx和MBVy均为按照运动模型计算出来的运动矢量MBV的分量。

下面来详细讲述基于模型的运动矢量的测定。

在采用二进制掩模的情况下，如果相应的矢量差异值VU小于预定的阈值ε，则图块被包含在下一迭代的新区域内。但假若所述矢量差异值VU大于所述的阈值ε，则在新的预定区域内不考虑分配了相应运动矢量的图块。

在采用加权掩模的情况下，规定所述块的加权因子与其矢量差异值VU成反比。

通过该优选方案可以实现：当在下一迭代中计算运动模型的参数时，可以不考虑或只很少考虑与从所确定的运动模型中计算出来的运动矢量MBV大不相同的那些运动矢量。

在生成新区域或新加权掩模之后，通过采用新区域内包含的图块所分配的运动矢量，或通过附加地采用加权掩模来为运动模型确定一个新的参数组。

在预定数量的迭代内，或只要满足在迭代步骤中没有达到一定数目的删除块，则执行上述方法，直到出现中断判据。

在此，总是采用新的区域作为预定的区域，或采用包括原先运动矢量在内的加权掩模作为下一个迭代的输入量。

利用如下方式来实现整体运动的测定，即为整体的摄像机运动测定模型的参数。

为了阐明所述的运动模型，下文示出了运动模型的详细推导：

此处的出发点为利用摄像机使自然的三维景物在两维的投影平面上成像。点的成像

p₀＝x₀，y₀，z₀)^T    (4)

通过如下公式来产生： $\left[\begin{array}{c}X\\ Y\end{array}\right]=\frac{F}{z_0}\left[\begin{array}{c}{x}_0\\ y_0\end{array}\right]^z_0>>F,----\left(5\right)$

其中，F表示焦距，X、Y表示成像点P₀在像平面上的坐标。

如果此时摄像机产生运动，则成像规则在与摄像机一起同步运动的坐标系统内保持不变，但物点的坐标必须变换成该坐标系统。由于摄像机的所有运动都可理解为旋转和平移的累加，所以可根据下式将地点固定的坐标系统(x，y，z)变换成一起运动的坐标系统

$\left[\begin{array}{c}{\tilde{x}}_0\\ {\tilde{y}}_0\\ {\tilde{z}}_0\end{array}\right]=\left[\begin{array}{ccc}{r}_{11}& r_{12}& r_{13}\\ r_{21}& r_{22}& r_{23}\\ r_{31}& r_{32}& r_{33}\end{array}\right]\·\left[\begin{array}{c}{x}_0\\ y_0\\ z_0\end{array}\right]+\left[\begin{array}{c}{t}_1\\ t_2\\ t_3\end{array}\right].----\left(6\right)$ 根据公式(6)，由摄像机运动所引起的图像变化可按下式进行修正：

其中，用ΔX、ΔY表示当所述的摄像机运动时在时间间隔Δt内所引起的像点的坐标变化，用_Z表示在所述时间间隔Δt内摄像机围绕z轴所旋转的角度。用预定因子C_F标示焦距变化或沿z轴的平移。

公式(7)所表示的方程系统是非线性的，因此不可能直接确定该方程系统的参数。

因此，为快速计算采用一种简化的运动模型，其中，在成像平面内，摄像机的运动采用具有6个参数的运动模型，所述参数按下式产生： $\left[\begin{array}{c}{\tilde{X}}_0\\ {\tilde{Y}}_0\end{array}\right]=\left[\begin{array}{cc}{r}_{11}^{\′}& r_{12}^{\′}\\ r_{21}^{\′}& r_{22}^{\′}\end{array}\right]\·\left[\begin{array}{c}{X}_0\\ Y_0\end{array}\right]+\left[\begin{array}{c}{t}_X^{\′}\\ t_Y^{\′}\end{array}\right].----\left(8\right)$

此时，利用运动矢量场的数据产生的方程系统可以通过线性回归来解答，其中，变换的复杂性为对称的3*3矩阵。

在确定参数r′₁₁、r′₁₂、r′₂₁、r′₂₂、t′_X和t′_Y之后，按照下式来近似式子(7)中的参数：

T＝T′，               (9)

${\mathrm{\ρ}}_z=\arcsin \frac{1}{2}(r_{21}^{\′}-r_{12}^{\′}).----\left(11\right)$

图4c示出了位于预定区域401内的图块所分配的一些运动矢量。相对于图4a所示的预定区域401，此处的预定区域401通过迭代(步骤104)发生了改变。

通过使用这些参数可以求出图像的图像运动矢量，并利用该图像运动矢量来描述所述图像相对于拍摄图像的摄像机的运动。

对于偏移了相应图像运动矢量的图像时间序列，其每个图像被存储在图像存储器323内，其中所述的图像运动矢量是为所述图像而求出的。该图像存储器323大于拍摄所述图像序列的摄像机的格式。因此，用所述重构的图像所表示的摄像机片段显然是在图像存储器323内经过偏移相应的图像运动矢量后，再经运动补偿而被存储的。在存储当前经运动补偿过的图像时，用新的图像重写掉图像存储器内已被先前图像写过的区域。

该方案在图6中是用四个图像601、602、603和604象征性地示出的。从基本位置600出发，所述四个图像601、602、603和604中的每一个都偏移了一个矢量，该矢量对应于相应图像601、602、603和604所属的图像运动矢量611、612、613和614。

可以针对当前需编码或显示的图像而读出位于所述图像存储器323内的图像信息，以作为经运动补偿的图像，这些图像信息包含在图像存储器323的区域610内，且该区域610在其右上边缘处包含有所述的基本位置600。

所述被读出的图像在图6中是用参考符号620表示的。

如果被拍摄的图像序列的背景涉及固定的物体，譬如一片风景或可视会议室的背墙，则可以在编码并利用运动补偿向图像存储器323存储多个图像之后的时间上建立更多相关的实际图像背景面，这譬如尤其是在拍摄图像序列时通过不同的摄像视点来促成的。

持续地、也即为每个图像从图像存储器323中读出所述相同的区域620。

下面借助图5再次来讲述该方法的各个方法步骤：

在方法开始(步骤501)之后，对图块或宏图块进行选择(步骤502)。为选出的图块或宏图块测定运动矢量(步骤503)，并在下一步骤(步骤504)中检验是否图像的所有图块或宏图块都已处理。

如果是，则在下一步骤(步骤505)中选出还没有处理的图块或宏图块。

但是，若所有的图块或宏图块都已处理完毕，则选择位于预定区域内的图块或宏图块所分配的运动矢量(步骤506)。

从所选择的运动矢量中测出运动模型的参数(步骤507)。如果需要执行下一迭代，也就是说，还没有达到规定的迭代数目，或还不满足中断判据，那么，在下一步骤(步骤509)中确定新的区域或根据矢量差异值VU计算出下一迭代的加权掩模(步骤510)。

通过采用所确定的运动模型来补偿图像的运动(步骤508)。

接下来讲述上述实施例的一些选择方案：

所述区域的形状基本上可以是任意的，并优选地取决于对景物的预先了解。如下图像区域不应被考虑用来确定运动模型，即从它们可以得知所述图像区域明显不同于所述的整体运动。

所述区域应该只包含如下图像区域的运动矢量，即按照运动估测方法的可靠值342，所述图像区域被证明是可靠的。

总的来说，运动估测可以按照任意的方法来实现，并不局限于块匹配的原理。因此，譬如也可以通过采用动态编程来实现运动估测。

因而，运动估测的类型、以及为图块测定运动矢量的类型和方法对本发明是无关紧要的。

为了近似地确定方程系统(7)的参数，也可选择将式子(7)中的正弦项和余弦项线性化。

由此为小角度ρ_Z得出如下式子： $\left[\begin{array}{c}\mathrm{\ΔX}\\ \mathrm{\ΔY}\end{array}\right]=\left[\begin{array}{cc}{C}_F-1& -C_F{\mathrm{\ω}}_z\\ C_F{\mathrm{\ω}}_z& C_F-1\end{array}\right]\·\left[\begin{array}{c}X\\ Y\end{array}\right]+\left[\begin{array}{c}{t}_X\\ t_Y\end{array}\right]=\left[\begin{array}{cc}{R}_1& {-R}_2\\ R_2& R_1\end{array}\right]\·\left[\begin{array}{c}X\\ Y\end{array}\right]+\left[\begin{array}{c}{t}_X\\ t_Y\end{array}\right].----\left(12\right)$

由于等式的优化对用ΔX用ΔY来说是相互无关的，所以误差平方和最小，也即遵循如下式子： $\underset{\underset{-}{v}}{\mathrm{\Σ}}[{(\mathrm{\Δ}{X}_{\mathrm{\η}}-R_1{X}_{\mathrm{\η}}+R_2{Y}_{\mathrm{\η}}-t_X)}^2+{(\mathrm{\Δ}{Y}_{\mathrm{\η}}-R_2{X}_{\mathrm{\η}}+R_1{Y}_{\mathrm{\η}}-t_Y)}^2]\→\min .----\left(13\right)$

在此，ΔX_η、ΔY_η分别表示位于图像预定区域V的X_η、Y_η位置处的图块η的运动矢量的X分量和Y分量。

根据等式(12)，R₁、R₂、t_X以及t_Y为运动模型的需确定的参数。

在执行所述的优化方法之后，按照所确定的方程系统(12)并通过使用相应宏块的X和Y分量来确定所属的、基于模型的运动矢量MBV(ΔX、ΔY)。

在计算运动模型的参数时，也可以按如下式子采用加权掩模A_X、A_Y来替代上述的区域，该加权掩模表示了运动矢量的可靠性、先验知识以及在迭代方法中分别为运动矢量的X和Y分量得出的结论： $\underset{\underset{\‾}{v}}{\mathrm{\Σ}}\left[\begin{array}{c}{({\mathrm{\α}}_{\mathrm{X\η}}\·(\mathrm{\Δ}{X}_{\mathrm{\η}}-R_1{X}_{\mathrm{\η}}+R_2{Y}_{\mathrm{\η}}-t_X))}^2+\\ ({\mathrm{\α}}_{\mathrm{Y\η}}\·(\mathrm{\Δ}{Y}_{\mathrm{\η}}-R_2{X}_{\mathrm{\η}}-R_1{Y}_{\mathrm{\η}}-t_X))\end{array}\right]\→\min$ α_Xη∈A_X，α_Yη∈A_Y。         (14)

譬如可以按如下方式为运动矢量(105)的可靠性来计算加权掩模A_X、A_Y，即在块匹配时根据如下式子来为图块计算α_X、α_Y的值：

其中，SAD_η表示在块匹配的第η个偏移(x_η，y_η)时、块的像素差的总和，而SAD_匹配则表示最好的、最终选出的区域(x_匹配，y_匹配)。N为已检查的搜索位置的总数。如果只考虑譬如16个最好的区域来计算该值，则可以以“螺旋式搜索”的形式来实现块匹配，并利用所选出的16个区域中的最坏区域的SAD作为中断判据。

另一种可能性在于，利用下式为运动矢量的可靠性计算加权掩模Ax＝Ay＝A：

其中，α＝α_X＝α_Y为图块或其运动矢量的加权因子。

本发明譬如可用来对运动的摄像机的运动进行补偿，或也可用于对被集成在移动通信设备(视频手提设备)内的摄像机进行运动补偿。

第二实施例：

图7示出了图像存储器323，它象征性地描绘了按照第二实施例来存储和读取所述的图像。

在该实施例的范围内的前提条件是，所述的摄像机利用比为图像输出所需的图像格式要更大的图像格式来拍摄图像。

该实施例基本上与所述的第一实施例是一致的，但区别在于，图像片段700是在执行运动估测之后从图像存储器323中读出的，该图像片段从基本位置702出发偏移了所求出的图像运动矢量701。

需要注意的是，图像的运动补偿是在对各个图块进行变换编码之前进行的，由此可以采用一种编码器，利用它来处理所述输出的图像的图像格式。显然这意味着，在该情形下所述的运动补偿是“前联”在所述的编码器上。

下面来讲述上述实施例的一些替换方案：

所述用于运动补偿的方法与所选的运动估测方法无关，也就是说，可以采用任意的方法来测定所述的图像运动矢量。

在本文件中引用了如下公开出版物：

[1]K.Uomori，A.Morimura，H.Ishii，用于视频照相机和VCR的电子图像稳定系统，SMPTE学报，卷101，号2，页66-75，1992

[2]ITU-T，国际通信联盟，ITU电信部分，草案ITU-T介绍H.263，用于低比特率通信的视频编码，1996年5月2日

[3]S.B.Balakirsky，R.Chellappa，图像稳定算法的性能特征，关于图像处理的国际会议纪要，卷2、3，页413-416，1996

[4]R.Gupta，M.C Theys，H.J.Siegel，背景补偿和有效的照相机跟踪算法，关于并行处理的1997国际会议纪要，页431-440，1997

[5]D.Wang，L.Wang，利用一种快速可靠的算法估测整体运动的参数，IEEE关于视频技术电路和系统的学报，卷7，号5，页823-826，1997

Claims (14)

1.对数字化图像实施由计算机支持的运动补偿的方法，

·其中，分别针对整个图像而为所述的图像和在时间上处于前面的预定数量的图像执行运动估测，由此分别测出一个图像运动矢量，

·其中，通过采用相应的图像运动矢量而以运动补偿的形式将所述的图像存储在存储器内，而且

·其中，读出所述存储器的预定区域，以便产生经运动补偿的图像。

2.如权利要求1所述的方法，

其中，在所述存储器的图像叠加区域内，在时间上处于前面的每个图像以运动补偿的形式被时间上处于后面的图像重写掉。

3.对数字化图像实施由计算机支持的运动补偿的方法，

·其中，将所述的图像存储在存储器内，

·其中，为整个图像执行运动估测，由此测出一个图像运动矢量，

·其中，读出所述存储器中包括所述整个图像的图像片段的区域，

·其中，从一个预定的基本位置出发，根据所测出的图像运动矢量进行运动补偿以得出图像内的所述区域的位置，而且

·其中，读出所求出的位置处的存储器区域，以便产生经运动补偿的图像。

4.如上述权利要求中任一项所述的方法，

它被用来对数字化图像进行编码。

5.如上述权利要求中任一项所述的方法，

它被用来对数字化图像进行解码。

6.对数字化图像实施由计算机支持的运动补偿的装置，

具有一种处理器，该处理器可被设置用来执行如下步骤：

·分别针对整个图像而为所述的图像和在时间上处于前面的预定数量的图像执行运动估测，由此分别测出一个图像运动矢量，

·通过采用相应的图像运动矢量而以运动补偿的形式将所述的图像存储在存储器内，而且

·读出所述存储器的预定区域，以便产生经运动补偿的图像。

7.如权利要求6所述的装置，

其中，所述的处理器被如此地设置，使得在所述存储器的图像叠加区域内，在时间上处于前面的每个图像以运动补偿的形式被时间上处于后面的图像重写掉。

8.对数字化图像实施由计算机支持的运动补偿的装置，

具有一种处理器，该处理器可被设置用来执行如下步骤：

·将所述的图像存储在存储器内，

·为整个图像执行运动估测，由此测出一个图像运动矢量，

·读出所述存储器中包括所述整个图像的图像片段的区域，

·从一个预定的基本位置出发，根据所测出的图像运动矢量进行运动补偿以得出图像内的所述区域的位置，而且

·读出所求出的位置处的存储器区域，以便产生经运动补偿的图像。

9.如权利要求6～8中任一项所述的装置，

它被用来对数字化图像进行编码。

10.如权利要求6～8中任一项所述的装置，

它被用来对数字化图像进行解码。

11.计算机可读的存储介质，其上存储有一个程序，在该程序装载到计算机的存储器内后，它可以使计算机执行如下步骤以便对数字化图像实施运动补偿：

·分别针对整个图像而为所述的图像和在时间上处于前面的预定数量的图像执行运动估测，由此分别测出一个图像运动矢量，

·通过采用相应的图像运动矢量而以运动补偿的形式将所述的图像存储在存储器内，而且

·读出所述存储器的预定区域，以便产生经运动补偿的图像。

12.计算机可读的存储介质，其上存储有一个程序，在该程序装载到计算机的存储器内后，它可以使计算机执行如下步骤以便对数字化图像实施运动补偿：

·将所述的图像存储在存储器内，

·为整个图像执行运动估测，由此测出一个图像运动矢量，

·其中，读出所述存储器中包括所述整个图像的图像片段的区域，

·从一个预定的基本位置出发，根据所测出的图像运动矢量进行运动补偿以得出图像内的所述区域的位置，而且

·读出所求出的位置处的存储器区域，以便产生经运动补偿的图像。

13.计算机程序产品，它包括一种计算机可读的存储介质，该存储介质上存储有一个程序，在该程序装载到计算机的存储器内后，它可以使计算机执行如下步骤以便对数字化图像实施运动补偿：

·分别针对整个图像而为所述的图像和在时间上处于前面的预定数量的图像执行运动估测，由此分别测出一个图像运动矢量，

·通过采用相应的图像运动矢量而以运动补偿的形式将所述的图像存储在存储器内，而且

·读出所述存储器的预定区域，以便产生经运动补偿的图像。

14.计算机程序产品，它包括一种计算机可读的存储介质，该存储介质上存储有一个程序，在该程序装载到计算机的存储器内后，它可以使计算机执行如下步骤以便对数字化图像实施运动补偿：

·将所述的图像存储在存储器内，

·为整个图像执行运动估测，由此测出一个图像运动矢量，

·其中，读出所述存储器中包括所述整个图像的图像片段的区域，

·从一个预定的基本位置出发，根据所测出的图像运动矢量进行运动补偿以得出图像内的所述区域的位置，而且

·读出所求出的位置处的存储器区域，以便产生经运动补偿的图像。

Images