CN101490714B - 促进跨过多个透视平面的图像编辑操作 - Google Patents

Abstract

本发明的一个实施方式提供了一种促进跨过多个透视平面来执行图像操作的系统。在操作期间，该系统接收对图像编辑操作的源区域的选择，其中该源区域跨过一个或者多个透视平面。该系统还接收对图像编辑操作的目的区域的选择，其中该目的区域跨过一个或者多个透视平面。然后，该系统针对源区域跨过的一个或者多个透视平面来定义一个或者多个局部源区域。该系统还针对目的区域跨过的一个或者多个透视平面来定义一个或者多个局部目的区域。该系统随后从每个局部源区域到每个相关局部目的区域来应用图像编辑操作。

Description

促进跨过多个透视平面的图像编辑操作

技术领域

本发明涉及用于处理数字图像的基于计算机的工具。更具体地，本发明涉及对执行具有跨过多个透视平面的源区域和/或目的区域的图像编辑操作进行促进的方法和装置。

背景技术

与基于胶卷的传统图像不同，数字图像可以被加载到计算机系统中。这允许使用基于计算机的“图像编辑工具”对数字图像进行编辑和其它处理。这些图像编辑工具可以对二维图像执行各种操作。例如，典型的图像编辑工具包括：选择工具，其在图像内选择区域或者对象；复制工具，其从图像中复制所选择的对象；和粘贴工具，其将所复制的对象粘贴到图像中。图像编辑工具还可以包括“图像修改工具”，该工具使用户能够改变所选择对象的颜色、形状、大小和比例。

然而，图像可能含有作为三维对象的二维表示的元素。给定的三维对象通常包括很多“透视平面”，其中每个透视平面经历不同的变换以便产生该三维对象的相应二维表示。然而，传统的图像编辑工具并不考虑透视，这使得在编辑图像区域时面临透视问题的挑战。

这个问题在某种程度上由考虑这种透视的一种图像编辑系统所缓解。(参看由Berger等人申请的美国专利申请公开#20060087519，Perspective Editing Tools for 2-D Images。)在此公开所公布的图像编辑系统中，编辑被限定在单个源透视平面和单个目的透视平面上。结果，跨过多个透视平面交叉线的图像编辑操作必须被分成多个图像编辑操作。这种操作对于拥有大量透视平面的对象而言，是非常麻烦的甚至是不可能的。

因此，需要一种对执行具有跨过多个透视平面的源区域和/或目的区域的图像编辑操作进行促进的方法和装置。

发明内容

本发明的一个实施方式提供一种系统，该系统促进跨过多个透视平面来执行图像编辑操作。在操作期间，该系统接收对图像编辑操作的源区域的选择，其中该源区域跨过一个或者多个透视平面。该系统还接收对图像编辑操作的目的区域的选择，其中该目的区域跨过一个或者多个透视平面。然后，该系统针对源区域所跨过的一个或者多个透视平面定义一个或者多个局部源区域。该系统还针对目的区域所跨过的一个或者多个透视平面定义一个或者多个局部目的区域。该系统随后从每个局部源区域到每个相关局部目的区域来应用图像编辑操作。

在本实施方式的变形中，定义一个或者多个局部源区域/目的区域包括：执行递归的或者迭代的过程，该过程包括首先将源区域/目的区域定向(orient)(或者重定向(reorient))到当前透视平面，然后尝试在当前透视平面上剪切源区域/目的区域。如果发生了剪切，该系统将在每个邻接的透视平面上执行该过程。但是，如果剪切没有发生，系统终止该过程。

在其它变形中，如果源区域/目的区域事先已经关于在先透视平面进行了定向，则将源区域/目的区域定向到当前透视平面包括：将源区域/目的区域从在先透视平面旋转到当前透视平面。这种旋转将绕着在先透视平面和当前透视平面的交线进行。

在其它变形中，在当前透视平面上剪切源区域/目的区域包括：首先将源区域/目的区域转换到单位空间，并且还将在当前透视平面中的表面盒(surface box)转换到单位空间。还包括在单位空间中计算源区域/目的区域与该表面盒的交。

在本实施方式的变形中，从每个局部源区域到每个相关局部目的区域来应用图像处理操作包括：执行矩阵操作以将局部源区域变换到局部目的区域。

在本实施方式的变形中，源区域是由中心点、x维度、y维度和掩模(mask)定义的。

在本实施方式的变形中，目的区域是由位置、比例和旋转定义的。

在本实施方式的变形中，图像编辑操作可以包括：在图像上应用橡皮图章(clone-stamp)工具；在图像上应用复原笔刷(healingbrush)；跨过由一个或者多个透视平面定义的表面移动图像；或者跨过由一个或者多个透视平面定义的表面旋转图像。

附图说明

图1示出了依照本发明实施方式的图像编辑工具。

图2给出了对依照本发明实施方式的、跨过多个透视平面执行图像编辑操作的过程进行示出的流程图。

图3给出了对依照本发明实施方式的、定义局部源区域和局部目的区域的过程进行示出的流程图。

图4示出了依照本发明实施方式的、定义局部源区域/目的区域的过程的例子。

图5给出了对依照本发明实施方式的、剪切源区域/目的区域的过程进行示出的流程图。

图6示出了依照本发明实施方式的、跨过多个透视平面而应用图像编辑操作的示例性结果。

具体实施方式

给出以下描述是为了使本领域的任何普通技术人员能够实现和使用本发明，并且该描述在具体的应用及其需求的上下文中给出。各种针对所公开实施方式的修改对本领域普通技术人员而言是显而易见的，并且在不背离本发明精神和范围的前提下，可以将在此定义的一般原则应用于其他实施方式和应用中。因此，本发明并不限于所示的实施方式，而是与根据权利要求得到的最宽泛的范围一致。

在该具体描述中所描述的数据结构和代码通常存储在计算机可读存储介质中，其可能是可以存储代码和/或数据以供计算机系统使用的任何设备或者介质。这包括但不仅限于磁存储设备和光存储设备，诸如盘驱动器、磁带、CD(紧密压缩盘)、DVD(数字通用盘或者数字视频盘)或者能够存储由计算机系统使用的数据的任何设备。

概述

本发明的一种实施方式促进图像编辑工具跨过多个透视平面来选择源区域和目的区域，从而去除了先前的编辑约束并且允许用户如其所希望的那样进行编辑，其中由软件来处理对邻接平面的任何卷折(wrapping)。例如，图像内容基本上可以绕着两个透视平面的夹角卷折，或者甚至沿着一组台阶卷折。内容也可以绕着该同一夹角被选择，并且被展平(unwrap out)到其它位置。

基本的操作过程通常如下。该系统首先针对源选择所在的每个平面建立局部选择列表，以及还针对目的选择建立类似的局部选择列表。然后，对于每个局部源选择，该系统针对每个目的选择进行图像操作(粘贴、复制、克隆等等)。

更具体地，本发明的一种实施方式通常如下操作。系统根据源平面数、目的平面数以及它们交来将图像编辑操作分为子操作。应当注意的是，每个子操作与其自身的变换矩阵相关联，并且被剪切为全部操作的子集。

在图像编辑操作期间，把像素从源位置复制到目的位置。(这在传统的、没有透视平面的图像编辑操作中也成立。)通过这样做，本发明的一种实施方式提供了源区域，该区域一半在一个平面内、一半在另一平面内，从而使该源区域绕着两个平面的夹角卷折。这是由通过将源区域分为子区域实现的，每个子区域都拥有独自的变换矩阵。

因此，本发明的一种实施方式将跨过多个透视平面的源区域建模为一组子区域，所述子区域与不同的透视平面相关联。目的区域也拥有一组透视平面和相应的子区域。本实施方式还包括一种机制，该机制使用仿射变换矩阵，从而允许将复杂的源对象定位在目的区域中的任何地方。应该注意的是，源区域的每个子组分具有这样的变换，该变换基于其在目的图像中的放置。

本发明的细节将在下文描述。

图像编辑系统

图1示出了一种依照本发明实施方式的图像编辑系统104。图像编辑系统104将数字图像或者电影102作为输入，并且产生经过编辑的数字图像或者电影106。通过这样做，图像编辑系统104允许用户110通过用户接口(UI)108执行图像编辑操作。与传统的图像编辑系统不同，图像编辑系统104支持具有跨过多个透视平面的源区域和目的区域的图像编辑操作。

应该注意的是，本发明总体上可以被应用于任何类型的图像编辑操作。例如，本发明可以被应用于：选择工具，其在图像内可以选择区域或者对象；复制工具，其从图像复制已选择的对象；和粘贴工具，其将已复制的对象粘贴到图像。

本发明还可以被应用于“图像编辑操作”，其使用户能够改变所选择对象的颜色、形状、大小和比例。例如，这些图像修改操作可以包括：在图像上应用橡皮图章(clone-stamp)工具；在图像上应用复原笔刷(healing brush)；跨过由一个或者多个透视平面定义的表面移动图像；或者跨过由一个或者多个透视平面定义的表面旋转图像。

跨过多个透视平面的图像编辑操作

图2给出了对依照本发明实施方式的、跨过多个透视平面执行图像编辑操作的过程进行示出的流程图。在操作期间，该系统接收对图像编辑操作的源区域的选择(步骤202)，其中该源区域跨过一个或者多个透视平面。该系统还接收对图像编辑操作的针对目的区域的选择(步骤204)，其中该目的区域跨过一个或者多个透视平面。

在本发明的一种实施方式中，源区域被定义为：中心点；x维度；y维度；和定义了源区域形状的掩模。类似地，目的区域被定义为：位置；比例；和旋转。在图像编辑操作期间，源区域被映射到目的区域。这包括将源区域的中心点移动到由目的区域指定的位置。还包括应用由目的区域指定的比例和旋转。

然后，该系统针对源区域所跨过的一个或者多个透视平面定义一个或者多个局部源区域(步骤206)。该系统还针对目的区域所跨过的一个或者多个透视平面定义一个或者多个局部目的区域(步骤208)。定义局部源区域/目的区域的过程将参考图3更详细地在下文描述。

然后该系统从每个局部源区域到每个相关局部目的区域来应用图像编辑操作(步骤210)。这包括针对局部源区域和局部目的区域的每个组合使用不同的变换矩阵。这种变换矩阵在上面提过的美国专利申请公开#20060087519中详细描述。

该公开中描述的图像操作可以包括：在单元空间内创建背景(matte)并将其变换到目的平面方向，然后在源像素到目的像素的变换期间将该背景用作掩模。考虑到可能有已剪切过的选择，我们可以增加过程，在该过程中背景在目的选择以外被裁剪(trim)。这包括与多边形填充(polygon fill)相反的过程；在多边形以外的所有东西都被清除掉。有了这个已调整的背景，图像操作现在可以继续进行。

选取框边缘

在本发明的一种实施方式中，像素区域选择被定义其内容的“选取框边缘”包围。在标准的图像编辑中，这种选取框边缘通常是简单矩形。然而，在我们的经透视调整的环境中，它是经透视调整的多边形。为了支持多平面选择，需要对边缘线进行剪切，并将其重定向到这些平面。

我们已经拥有在平面上创建局部选择列表的过程。为了建立组成边缘的线段列表，我们可以沿着列表步进，并且对于平面上的每个剪切过的选择，可以测试每个边界线，以确定该边界线是被平面边界剪切而产生的线(因此不是边缘的一部分)还是内部线。

在本实施方式中，我们对线和边界线进行比较的测试如下：创建与该线垂直的线，并且测量该线的交点到被比较线之间的距离。

在经过每个平面选择的每个边界后，我们将结束并得到组成选取框边缘的线段列表。

可伸缩节点

某些前述图像编辑操作包括：调节图像选择的比例。这通常由拖拽(drag)“可伸缩节点”实现，该可伸缩节点通常被放置在边界的角上和边界中点上。在非透视模型中提供这样的可伸缩节点是比较容易的。然而，它在透视环境中是相当复杂的，其中点的计算更是复杂。多平面透视增加了计算节点在哪个表面上的问题。

虽然最初这个问题看上去很复杂，但其可通过这样的事实得以简化，即只能存在四个角节点和四个中节点。可以这样来找到这些节点：在每个表面上找到每个未剪切的选择的拐角和中点，然后测试所述点是否在表面平面内。这个测试是简单的点在多边形内的测试。(例如，参看“Graphics Gems IV，”Academic Press(1994)第37页：Crossings，Heckbert，P.编辑的)

定义局部源区域/目的区域

图3给出了对依照本发明实施方式的定义局部源区域或局部目的区域的过程进行示出的流程图。该过程是递归的(或者迭代的)过程，该过程包括：首先根据当前透视平面定向源区域/目的区域(步骤302)。应当注意的是，如果源区域/目的区域事先已经关于在先透视平面进行了定向，则通过将源区域/目的区域从在先透视平面旋转到当前透视平面，将该源区域/目的区域重定向到当前透视平面。这种旋转是绕着在先透视平面和当前透视平面的交线发生的。

然后，系统尝试在当前透视平面上剪切源区域/目的区域(步骤304)。该系统然后确定剪切是否实际发生(步骤306)。如果剪切发生，该系统返回步骤302以在每个邻接的透视平面上执行该过程。但是，如果剪切不发生，系统将终止该过程。

本过程的一个例子将在图4中示出。在这个例子中，源区域/目的区域的形状是圆盘402。如图4示出的，圆盘402初始被定向到透视平面404，并且被剪切以产生局部源区域/目的区域，所述区域在透视平面404上表示为阴影区域。

随后，因为发生了剪切，重复该过程，这包括通过将圆盘402绕着透视平面404和406的交线旋转90度来重定向圆盘402。在旋转期间，交线到圆盘402的“中心点1”的“距离1”等于交线到经旋转圆盘的“中心点2”的“距离2”。随后，对经旋转的圆盘进行剪切以产生第二局部源区域/目的区域，所述区域在透视平面406上表示为阴影区域。

然后将再次重复该过程，以产生第三局部源区域/目的区域，所述区域在透视平面408上表示为阴影区域。

剪切源区域/目的区域

图5给出了对依照本发明实施方式的尝试剪切源区域/目的区域的过程进行示出的流程图。该过程包括：首先将源区域/目的区域转换到单位空间(步骤502)，以及也将当前透视平面中表面盒转换到单位空间(步骤504)。(应当注意的是，“单位空间”是与透视无关的空间。)该过程还包括：在单位空间中计算源区域/目的区域与该表面盒的交(步骤506)。

本发明的一种实施方式提供了目的区域的旋转。在这个实施方式中，变换后的选择与表面的简单相交检测不起作用。替换地，我们使用多边形来定义单位空间的旋转后的选择。另外，剪切是通过使用标准方法由选择多边形和表面矩形的交来确定的，所述标准方法诸如Liang-Barskey多边形剪切方法。

示例输出

图6示出了依照本发明实施方式的、跨过多个透视平面而应用的图像编辑操作的示例性结果。注意棋盘和单词“PORTSMOUTH”是如何在长凳表面上卷折的。还应注意图像编辑工具的刷子是如何能够在长凳表面上类似地卷折的。

拐角情形

一种有趣的情形出现在透视平面形成拐角的时候。这个“拐角情形”将遵循与任何其它情况相同的规则。该过程将寻找邻接的表面并继续直到不再有交叠为止。拐角情形受到了透视变换规则的限制，并且拐角情形模拟了现实世界的、饼盘沿着档案柜的拐角弯曲的情形。让边界线能够对齐的唯一办法是将饼盘置于拐角的正中。

提出上述有关本发明实施方式的描述只是为了例证和说明。它们是不完全的，也不是意在将本发明限制于所公开的形式。因此，很多修改和变形对于本领域普通技术人员而言是显而易见的。因此，上述公开并非意在限制本发明。本发明的范围将由所附权利要求来限定。

Claims (18)

1.一种用于跨过多个透视平面来执行图像编辑操作的方法，包括：

接收对所述图像编辑操作的源区域的选择，其中所述源区域跨过一个或者多个透视平面；

接收对所述图像编辑操作的目的区域的选择，其中所述目的区域跨过一个或者多个透视平面；

针对所述源区域所跨过的所述一个或者多个透视平面来定义一个或者多个局部源区域，其中定义所述一个或者多个局部源区域包括执行递归的或者迭代的过程，该过程包括：将所述源区域定向到当前透视平面；尝试在所述当前透视平面上剪切源区域；如果发生剪切，则在每个邻接的透视平面上执行所述过程，以及如果没有发生剪切，则终止所述过程；

针对所述目的区域所跨过的所述一个或者多个透视平面来定义一个或者多个局部目的区域；以及

从每个局部源区域到每个相关局部目的区域来应用所述图像编辑操作。

2.如权利要求1所述的方法，其中如果所述源区域事先已经关于在先透视平面进行了定向，则将所述源区域定向到所述当前透视平面包括：

将所述源区域从所述在先透视平面旋转到所述当前透视平面；

其中所述旋转绕着所述在先透视平面和所述当前透视平面的交线进行。

3.如权利要求1所述的方法，其中在所述当前透视平面上剪切所述源区域包括：

将所述源区域转换到单位空间；

将所述当前透视平面中的表面盒转换到单位空间；以及，

在单位空间中计算所述源区域和所述表面盒的交。

4.如权利要求1所述的方法，其中定义所述一个或者多个局部目的区域包括执行递归的或者迭代的过程，所述过程包括：

将所述目的区域定向到当前透视平面；

尝试在所述当前透视平面上剪切所述目的区域；

如果发生剪切，则在每个邻接的透视平面上执行所述过程，以及

如果没有发生剪切，则终止该过程。

5.如权利要求4所述的方法，其中如果所述目的区域事先已经关于在先透视平面进行了定向，则将所述目的区域定向到所述当前透视平面包括：

将所述目的区域从所述在先透视平面旋转到所述当前透视平面；

其中所述旋转绕着所述在先透视平面和所述当前透视平面的交线进行。

6.如权利要求4所述的方法，其中在所述当前透视平面上剪切所述目的区域包括：

将所述目的区域转换到单位空间；

将所述当前透视平面中的表面盒转换到单位空间；以及

在单位空间中计算所述目的区域和所述表面盒的交。

7.如权利要求1所述的方法，其中从每个局部源区域到每个相关局部目的区域来应用所述图像编辑操作包括：执行矩阵操作，以将局部源区域变换到局部目的区域。

8.如权利要求1所述的方法，

其中所述源区域由中心点、x维度、y维度和掩模来定义；以及

其中所述目的区域由位置、比例和旋转来定义。

9.如权利要求1所述的方法，其中所述图像编辑操作包括：

在图像上应用橡皮图章；

在图像上应用复原笔刷；

跨过由一个或者多个透视平面定义的表面移动图像；或者

跨过由一个或者多个透视平面定义的表面旋转图像。

10.一种跨过多个透视平面来执行图像编辑操作的设备，包括：

接收装置，其被配置用于接收对所述图像编辑操作的源区域和目的区域的选择，其中所述源区域和目的区域跨过一个或者多个透视平面；

定义装置，其被配置用于针对所述源区域跨过的一个或者多个透视平面来定义一个或者多个局部源区域，以及针对所述目的区域跨过的一个或者多个透视平面来定义一个或者多个局部目的区域，其中在定义所述一个或者多个局部源区域的同时，所述定义装置被配置用于执行递归的或者迭代的过程，所述过程包括：将所述源区域定向到当前透视平面；尝试在所述当前透视平面上剪切所述源区域；如果发生剪切，则在每个邻接的透视平面上执行所述过程，以及如果没有发生剪切，则终止所述过程；以及

图像编辑装置，其被配置用于从每个局部源区域到每个相关局部目的区域来应用所述图像编辑操作。

11.如权利要求10所述的设备，其中如果所述源区域事先已经关于在先透视平面进行了定向，则所述定义装置被配置用于如下将所述源区域定向到所述当前透视平面：

将所述源区域从所述在先透视平面旋转到所述当前透视平面；

其中所述旋转绕着所述在先透视平面和所述当前透视平面的交线进行。

12.如权利要求10所述的设备，其中在所述当前透视平面上剪切所述源区域的同时，所述定义装置被配置用于：

将所述源区域转换到单位空间；

将所述当前透视平面中的表面盒转换到单位空间；以及

在单位空间中计算所述源区域和所述表面盒的交。

13.如权利要求10所述的设备，其中在定义所述一个或者多个局部目的区域的同时，所述定义装置被配置用于执行递归的或者迭代的过程，所述过程包括：

将所述目的区域定向到当前透视平面；

尝试在所述当前透视平面上剪切所述目的区域；

如果发生剪切，则在每个邻接的透视平面上执行所述过程，以及

如果没有发生剪切，则终止所述过程。

14.如权利要求13所述的设备，其中如果所述目的区域事先已经关于在先透视平面进行了定向，则所述定义装置被配置用于如下将所述目的区域定向到所述当前透视平面：

将所述目的区域从所述在先透视平面旋转到所述当前透视平面；

其中所述旋转绕着所述在先透视平面和所述当前透视平面的交线进行。

15.如权利要求13所述的设备，其中在所述当前透视平面上剪切所述目的区域的同时，所述定义装置被配置用于：

将所述目的区域转换到单位空间；

将所述当前透视平面中的表面盒转换到单位空间；以及

在单位空间中计算所述目的区域和所述表面盒的交。

16.如权利要求10所述的设备，其中在从每个局部源区域到每个相关局部目的区域来应用所述图像编辑操作的同时，所述图像编辑装置被配置用于执行矩阵操作，以将局部源区域变换到局部目的区域。

17.如权利要求10所述的设备，

其中所述源区域由中心点、x维度、y维度和掩模来定义；以及

其中所述目的区域由位置、比例和旋转来定义。

18.如权利要求10所述的设备，其中所述图像编辑操作包括：

在图像上应用橡皮图章；

在图像上应用复原笔刷；

跨过由一个或者多个透视平面定义的表面移动图像；或者

跨过由一个或者多个透视平面定义的表面旋转图像。

Images