CN1672174A - 用于分割的系统和方法 - Google Patents

用于分割的系统和方法 Download PDF

Info

Publication number
CN1672174A
CN1672174A CNA038184311A CN03818431A CN1672174A CN 1672174 A CN1672174 A CN 1672174A CN A038184311 A CNA038184311 A CN A038184311A CN 03818431 A CN03818431 A CN 03818431A CN 1672174 A CN1672174 A CN 1672174A
Authority
CN
China
Prior art keywords
image
pixels
block
pixel
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA038184311A
Other languages
English (en)
Other versions
CN1311409C (zh
Inventor
C·瓦雷坎普
M·C·皮伊克
R·A·C·布拉斯彭宁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Koninklijke Philips Electronics NV filed Critical Koninklijke Philips Electronics NV
Publication of CN1672174A publication Critical patent/CN1672174A/zh
Application granted granted Critical
Publication of CN1311409C publication Critical patent/CN1311409C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows

Abstract

一个分割系统(100)，用于基于运动和图像特性，如颜色或亮度，将在一个第一视频图像中的一个第一图像特征(214)与在该第一视频图像中的一个相邻的第二图像特征(216)分割开。该分割系统(100)包括：基于块的运动估算器(102)，用于对于多个像素块估算运动向量(218－230)；运动分割单元(104)，用于基于相应像素块的运动向量(218－230)，将第一视频图像分割为一个第一连接像素块组(204)和一个第二连接像素块组(206)；和基于像素的分割单元(106)，用于基于该图像特性的相应量值，通过第一和第二连接像素块组(214和216)的部分像素块的基于像素的分割，将第一个图像特征(214)与第二图像特征(216)分割开。

Description

用于分割的系统和方法
本发明涉及一种方法，用于将在第一视频图像中的一个第一图像特征与在该第一视频图像中的一个相邻的第二图像特征分割开。
本发明进一步涉及一种分割系统，用于将在第一视频图像中的一个第一图像特征与一个相邻的第二图像特征分割开。
本发明进一步涉及一种关于像素分辨率的运动估算器，用于估算运动向量场，包括这样一种分割系统。
本发明进一步涉及一种图像处理装置，包括：
-接收装置，用于接收表示一系列视频图像的信号；
-这样一种关于像素分辨率的运动估算器，用于从该视频图像来估算运动向量场；
-一个运动补偿图像处理单元，用于基于该视频图像和运动向量场而确定处理后的图像。
在公开文本中描述的这种方法的一个实施例从美国专利申请6075875已知。这种方法包括获取在所选择的视频图像和在先的视频图像中相应像素的一个运动表示，例如运动向量，以形成运动分割视频图像特征。视频图像特征还根据它们的空间图像特性进行分割，以形成空间分割的视频图像特征。最终，该视频图像特征被共同地分割为运动分割视频图像特征和空间分割视频图像特征的一个加权组合。根据该现有技术的方法的不利之处在于，组合运动分割视频图像特征和空间分割视频图像特征的方法相对复杂。注意，两个不同的量，即基于运动的量和空间图像特征，是加权的。加权不同的量是不常用的。
本发明的一个目的是提供在公开文本中描述的这种方法，其像素精确并且相对容易。
本发明的这个目的这样达到，将在一个第一视频图像中的一个第一图像特征与在该第一视频图像中的一个邻近的第二图像特征分割的方法，第一图像特征具有多个像素，这些像素具有基本在第一量值范围内的一个图像特性的各自量值，并且在该第一视频图像和一个第二视频图像之间，第一图像特征具有相对于第二图像特征的运动，和第二图像特征具有多个像素，这些像素具有基本在不同于第一量值范围的第二量值范围内的图像特性的各自量值，该方法包括：
-将第一视频图像分成多个像素块；
-对于相应的像素块估算运动向量；
-通过基于相应像素块的运动向量来分类多个像素块，从而将第一视频图像分割为一个第一连接像素块组和一个第二连接像素块组；并且继之以：
-基于该图像特性的相应量值，通过第一和第二连接像素块组的部分像素块的基于像素的分割，将第一个图像特征与第二图像特征分割开，部分像素块被确定为位于在第一和第二连接像素块组之间的边界上。
根据本发明的方法的一个优点在于，将两个分割应用到在适当的位置上。根据图像特性，将基于块的运动分割的结果用作基于像素的分割的输入。应用基于像素的分割以重新获得目标边界，即在该视频图像的一个小子集上的图像特征边界，也即在第一和第二连接像素块组之间的边界上的块中。这是一种有效的策略，产生了高效的计算资源利用，由于详细的基于像素的分割过程仅施加到边界上的块，而不是所有的块。顺序施加基于块的运动分割和基于像素的分割：在分割方法的结果之间，没有复杂的权重因数需要调整，如现有技术那样。
在根据本发明的方法的一个实施例中，基于一个运动模型，将该第一视频图像分割成第一连接像素块组和第二连接像素块组。这个实施例的优点在于它是一个稳定的(robust)方法。相对多的数据，即对于第一连接像素块组的测试连接块组的大多数或所有的运动向量用于估算属于第一图像特征的块的适当排列。换句话说，它是一种区场适合。许多分割方法仅考虑在一个分割边界上的块，以确定这些块是否对应于特定的分割。这个运动模型可以基于旋转和/或平移。然而优选的分割是基于一种仿射的运动模型。
在根据本发明的方法的一个实施例中，将第一视频图像分割为第一连接像素块组和第二连接像素块组，包括：
-对于第一连接像素块组创建一个第一初始连接像素块组，该第一初始连接像素块组包括一个特定像素块；
-对于第一初始连接像素块组确定一个第一运动模型；
-计算在两个运动向量之间的第一匹配误差，其中一个运动向量对应于在对于第一视频图像的相应像素块估算运动向量期间估算出的特定像素块，另一个运动向量对应于基于第一运动模型的特定像素块；
-根据第一初始连接像素块组，但排除特定像素块，对于一个测试连接像素块组计算一个第二运动模型，；
-计算在两个运动向量之间的第二匹配误差，其中一个运动向量对应于在对于第一视频图像的相应像素块估算运动向量期间估算出的特定像素块，另一个运动向量对应于基于第二运动模型的特定像素块；
-根据第一和第二匹配误差，确定特定像素块是否对应于第一连接像素块组。
根据本发明的这个实施例的优点在于它考虑到了一种扫描方法。那意味着一块接一块，例如从左上部开始到右下部重复测试每个块。测试意味着，对于每个块估算出它应当并入的其它块，以最后形成对应于一个图像特征的块组。这种扫描方法的优点在于能够相对容易的执行该方法。
在根据本发明的方法的一个实施例中，基于像素的分割是以一个空间颜色模型为基础的。换句话说，该基于像素的分割所基于的图像特性是颜色。颜色对于分割来说是一种相对好的信号。在这个实施例中，应用两种分割方法到适当的标尺刻度上：颜色为高频率，运动分割为低频率。由于结构导致了颜色差别，并且在捕捉的场景中的目标的不同速度导致了运动差别。
在根据本发明的方法的一个实施例中，基于像素的分割是以一个空间亮度模型为基础的。换句话说，该基于像素的分割所基于的图像特性是亮度。亮度对于分割来说是一种相对好的信号。
在根据本发明的方法的一个实施例中，在第一连接像素块组的部分像素块的第一块中检测到图像特性的量值上的阶跃(step)，这些像素块确定为位于在第一和第二连接像素组之间的边界上。量值上的阶跃对应于第一图像特征的边缘。优选的，检测这种阶跃，通过：
-对于第一块的像素计算第一平均图像特性值；
-根据第一平均值和第一块的相应像素值，计算第一差值测量；
-对于一个第二像素块的像素计算第二平均图像特性值，第二像素块对应于第二像素组并且连接到第一块；
-根据第二平均值和第二块的相应像素值，计算第二差值测量；
-基于第一块创建第一测试像素组，但排除一个特定像素，并且基于第二块创建第二测试像素组，包括该特定像素。
-对于第一测试组的像素计算第三平均图像特性值；
-根据第三平均值和第一测试组的相应像素值，计算第三差值测量；
-对于第二测试组的像素计算第四平均图像特征值；
-根据第四平均值和第二测试组的相应像素值，计算第四差值测量；
-根据第一、第二、第三和第四差值测量，确定该特定像素是属于第一图像特征还是属于第二图像特征。
这个实施例的优点在于它是一个稳定的(robust)方法。相对多的数据，即第一和第二像素块的大多数或所有的像素都用于估算属于第一图像特征的像素的适当排列。这就是所谓的区场适合方法。
本发明的另一个目的是提供在公开文本中所述的这种分割系统，它设置成提供像素精确分割并且相对简单。
本发明的这个目的通过分割系统达到，该系统用于将在一个第一视频图像中的一个第一图像特征与在该第一视频图像中的一个邻近的第二图像特征分割开，第一图像特征具有多个像素，这些像素具有基本在第一量值范围内的一个图像特性的各自量值，并且在该第一视频图像和一个第二视频图像之间，第一图像特征具有相对于第二图像特征的运动，和第二图像特征具有多个像素，这些像素具有基本在不同于第一量值范围的第二量值范围内的图像特性的各自量值，该系统包括：
-分离装置，将第一视频图像分成多个像素块；
-基于块的运动估算器，用于对于相应的像素块估算运动向量；
-运动分割单元，用于通过基于相应像素块的运动向量来分类多个像素块，从而将第一视频图像分割为一个第一连接像素块组和一个第二连接像素块组；和
-基于像素的分割单元，用于基于该图像特性的相应量值，通过第一和第二连接像素块组的部分像素块的基于像素的分割，将第一个图像特征与第二图像特征分割开，部分像素块被确定为位于在第一和第二连接像素块组之间的边界上。
本发明的另一个目的是提供关于像素分辨率的、相对简单的运动估算器，用于估算像素精确运动向量场。
本发明的这个目的是这样实现的，像素精确运动估算器包括如权利要求9所述的分割系统。换句话说，将所述分割系统的计算结果提供给该像素精确运动估算器。
如在公开文本中所述，在图像处理装置中应用根据本发明的像素精确运动估算器的实施例是有益的。该图像处理装置可以包括附加的组件，如用于显示处理后的图像的显示装置或用于处理后的图像的存储的存储装置。运动补偿图像处理单元可以支持一种或多种下列类型的图像处理：
-去隔行(De-interlacing)：隔行是通用的视频广播过程，用于有选择地发射奇数的或偶数的图像扫描线。去隔行试图还原全部垂直分辨率，即，使奇数的和偶数的扫描线对于每个图像同时可用。
-上变换(Up-conversion)：从一系列最初的输入图像中计算出一个较大系列的输出图像。输出图像暂时设置在两个初始输入图像之间；
-暂时降噪(Temporal noise reduction)，这能够包括空间处理，导致空间暂时降噪；和
-视频压缩，即编码和解码，例如根据MPEG标准或H26L标准。
本方法的修改及其变化对应于所述的分割系统、像素精确运动估算器和图像处理装置的修改和变化。
参照此后所述的实现和实施方式、并且参照附图，将描述根据本发明的方法、分割系统、像素精确运动估算器及其图像处理装置的这些和其它方面，所述的这些方面将是显而易见的。其中：
图1示意性的示出了根据本发明的分割系统的一个实施例；
图2A示意性的示出了用于基于块的运动分割的多个块的初始排列；
图2B示意性的示出了在一个修改后图2A的多个块的更新排列；
图2C示意性的示出了基于块的运动分割的多个块的结果排列；
图3A示意性的示出了用于基于像素分割的输入块；
图3B意性的示出了用于基于像素分割的水平块对的初始边缘；
图3C意性的示出了图3B的水平块对的被检测边缘；
图3D意性的示出了用于基于像素分割的垂直块对的初始边缘；
图3E示意性的示出了最终的被检测边缘；
图4A示意性的示出了一个运动估算器的输入和输出，该运动估算器用于估算像素精确运动向量场；
图4B意性的示出了一个可选择的运动估算器的输入和输出，该运动估算器用于估算像素精确运动向量场；和
图5示意性的示出了根据本发明的图像处理装置的元件。
附图中，同样的附图标记用于表示相同的部分。
图1示意性的示出了根据本发明的分割系统100的一个实施例。分割系统100设置成将在第一视频图像中的第一图像特征214与在该第一视频图像中的相邻的第二图像特征216分割开。第一图像特征214具有多个像素，这些像素具有基本在第一量值范围内的各自颜色值，第二图像特征216具有多个像素，这些像素具有基本在不同于第一量值范围的第二量值范围内的各自颜色值。在该第一视频图像和一个第二视频图像之间，第一图像特征214具有相对于第二图像特征216的运动。该第二视频图像可以在第一视频图像之前或之后。分割系统100在输入连接器108接收一个表示视频图像的信号，并且在输出连接器110提供一个像素分割结果SP。分割系统100包括：
-基于块的运动估算器102，用于估算运动向量。运动估算器102设置成对于相应的块估算运动向量218-230，其中分离单元103划分第一视频图像。这种划分意味着第一视频图像的像素分组为多个像素块。典型的，一个像素块包括8*8个像素。优选的，运动估算器102是如在用于视频技术的电路与系统的IEEE学报，第3卷，no.5，1993年10月，第368-379页，G.de Haan等所著的文章“True-MotionEstimation with 3-D Recursive Search Block Matching”所述。运动估算器102提供一个基于块的运动向量场MB到；
-运动分割单元104，设置成通过基于相应像素块的运动向量218-230分类多个像素块，从而将第一视频图像分割为一个第一连接像素块组204C(见图2C)和一个第二连接像素块组206C(见图2C)。分割单元104提供一个基于块的分割结果SB到：
-基于像素的分割单元106，设置成通过第一和第二连接像素块组204、206的部分像素块302-306的基于像素的分割，将第一个图像特征214与第二图像特征216分割开，部分像素块302-306被确定为位于在第一和第二连接像素块组204、206之间的边界上。基于像素的分割单元106设计成基于像素的颜色值来执行分割。
将结合图2A-2C详细描述运动分割单元104的特性，以及结合图3A-3E详细描述基于像素的分割单元106的特性。
使用一个处理器可以实现分割系统100的基于块的运动估算器102、运动分割单元104和基于像素的分割单元106。通常，在软件程序产品的控制下执行这些功能。在执行期间，该软件程序产品通常载入到一个存储器，如RAM，并且从那里执行。可以从一个后备存储器，如ROM、硬盘、或磁和/或光存储装置载入该程序，或者可以通过网络如Internet载入该程序。可选择的，一个特定功能集成电路提供所公开的功能性。
在图2A中描述了一个运动向量场200。该运动向量场200包括对应于相应像素块的多个运动向量218-230。这些像素块分组为6个初始连接像素块组202A-212A。或者换句话说，图2A示意性的示出了用于基于块的运动分割的多个块的初始排列。初始连接块组的数量相当于图像特征的最大数量，即想要在视频图像中分割的对象。在这个示例性的情况下，每个初始连接像素块组202A-212A包括5*5块。一个特定的初始连接块组的所有像素块具有相同的分类标记。通过一种扫描的方法，将估算出所有的块。那意味着确定了连接像素块的适当的群或组202C-206C(见图2C)。这样一个连接像素块组202C-206C对应于第一视频图像中的一个图像特征214、216。在多次重复中成功找到适当的组，在多次重复中由于这些块被测试到它所属于的哪个连接像素块组202C-206C。那可以是在固定次数的重复中。换句话说，如果中间连接块组202B-212B的修改没有带来任何积极的效果，那么停止估算多个中间连接块组202B-212B的过程。该估算过程由一拓扑约束条件进行限制。仅测试在一个连接块组202A-212A、202B-212B的边界上的那些块。注意，在多次重复后，一个块可能位于一个中间块组202B-212B的边界上。仅应用在边界处的块不同于已知的没有这种约束的k均值方法。特定像素块232的估算包括多个步骤。在第一次扫描期间(见图2A)对该特定像素块232进行描述：
-创建包括有该特定像素块232的第一初始连接像素块组204A。
-对于第一初始连接像素块组204A确定第一运动模型；
-计算在两个运动向量之间的第一匹配误差，其中一个运动向量对应于在对于第一视频图像的相应像素块估算运动向量期间估算出的特定像素块232，另一个运动向量对应于基于第一运动模型的特定像素块232。优选的，该匹配误差基于在运动向量间的欧几里得距离；
-根据第一初始连接像素块组204A，但排除特定像素块232，对于一个测试连接像素块组204B，计算第二运动模型，(见图2B中的204B)；
-计算在两个运动向量之间的第二匹配误差，其中一个运动向量对应于在对于第一视频图像的相应像素块估算运动向量期间估算出的特定像素块232，另一个运动向量对应于基于第二运动模型的特定像素块232；
-根据第一和第二匹配误差，确定特定像素块232是否对应于第一连接像素块组204C。这意味着测试出特定像素块232是与第一初始连接像素块组204A更好的匹配，还是与相邻的连接像素块组202A更好的匹配。在这种情况下，表现出特定像素块232更好的与后一个块组202A相匹配，并因此相邻的连接像素块组202A随着特定像素块232扩展，产生中间块组202B。第一初始块组204A修改为排除特定像素块232的中间连接块组204B(见图2B)。
换句话说，计算并考虑附加匹配误差以确定特定像素块232属于初始块组202A-212A中的哪一个。例如，如图2A所示，对于第二初始连接像素块组202A计算第三匹配误差，和如图2B所示，对于第二测试连接像素块组202B计算第四匹配误差。
还能够通过使用第一初始连接像素块组204A和相邻的连接像素块组202A进行估算，来执行这种测试，即特定像素块232是与第一初始连接像素块组204A更好的匹配还是与相邻的连接像素块组202A更好的匹配。那意味着无需修改这些组，只需通过将特定像素块232从第一初始连接像素块组204A移动到相邻的连接像素块组202A。在那种情况下，对两个连接块组计算运动模型。
图2B示意性的示出了在一个修改后用于基于块的运动分割的多个块的更新排列。这种修改能够直接执行，或在估算出该运动向量场的所有相关块后执行。相关意味着这些块位于一个连接像素块组的边界上。
这表明，一个特定像素块232从一个第一初始连接像素块组204A移动到一个水平设置的相邻的连接像素块组202A。然而，也能够是在垂直方向上的移动，例如，另一个像素块从第一初始块组204A到下方像素块组210A的移动。
在多次重复之后，找到多个最终像素块组202C-206C。这些最终像素块组202C-206C是所述基于块的运动分割的输出。图2C示意性的示出了这种输出，即，所述基于块的运动分割的结果排列。这个输出提供给基于像素的分割单元106进行进一步处理：检测第一图像特征214和第二图像特征216的实际边界。
优选的，所述基于块的运动分割产生一个图像对，例如第一图像和第二图像用于一个随后的图像对的基于块的运动分割的初始化。
图3A示意性的示出了用于基于像素分割的输入块302-306。该运动分割的结果表明，一个块属于一个第一图像视频特征214并标记为如1，两个块304和306属于一个第二图像视频特征216并标记为如2。估算多个相邻的块对以找到第一图像特征214的实际边缘。
图3B示意性的示出了一个水平的相邻的块对302和304的初始边缘308。以与如上所述基于块的运动分割相似的方式来执行基于像素的分割：相似意味着将像素估算到它们所对应的连接像素组。这项工作的进行是以基于下述假设的一个空间颜色模型为基础的：被相邻块对302和304包括，有具有基本在第一量值范围内的颜色值的第一连接像素组和具有基本在第二量值范围内的颜色值的第二连接像素组。此外在第一连接像素组和第二连接像素组之间有颜色值的转变和阶跃。那意味着，将该相邻块对302和304的像素估算到相应像素所属的两个连接像素组的哪一个。通过一个重复过程进行这种估算。那可以是在固定次数的重复中。换句话说，如果中间连接像素组的修改没有带来任何积极的效果，那么停止估算多个中间连接像素组的过程。一个特定像素的估算包括下列步骤：
-对于该相邻块对302、304的第一像素块302的像素计算第一平均颜色值；
-根据第一平均颜色值和第一块302的相应像素值，计算第一差值测量；
-对于该相邻块对302、304的第二像素块304的像素计算第二平均颜色值；
-根据第二平均颜色值和第二像素块304的相应像素值，计算第二差值测量；
-根据第一块302创建第一测试像素组，但排除该特定像素；和根据第二块304创建第二测试像素组，并且包括该特定像素。
-对于第一测试组的像素计算第三平均颜色值；
-根据第三平均颜色值和第一测试组的相应像素值，计算第三差值测量；
-对于第二测试组的像素计算第四平均颜色值；
-根据第四平均颜色值和第二测试组的相应像素值，计算第四差值测量；
-根据第一、第二、第三和第四差值测量，确定该特定像素是属于第一连接像素组还是属于第二连接像素组。
在多次重复后，最后的第一像素组包括对应于第一图像特征的像素，最后的第二像素组包括对应于第二图像特征的像素。图3C示意性的示出了图3B的水平块对的被检测边缘308。
在完成了一个水平设置的相邻块对302、304的估算之后，为一个垂直设置的相邻块对302、306启动一个相似的估算。图3D示意性的示出了用于这种垂直设置的相邻块对302、306的初始边缘310。图3E示意性的示出了最终的被检测边缘310。注意，可以同时执行水平设置的相邻块对302、304和垂直设置的相邻块对302、306的估算。
虽然仅讨论颜色，但是应当注意其它的图像特性能够应用于基于像素的分割，例如亮度、或亮度与颜色的组合或导出特性，如在相邻像素间的颜色/亮度的差值。
图4A示意性的示出了一个运动估算器400的输入和输出，该运动估算器用于估算像素精确运动向量场。如结合图1所述的由基于块的运动估算器102计算的运动向量场MB提供到输入连接器404。还可选择的提供如由运动分割单元104计算的运动模型。由于运动向量场MB的块分辨率，所以运动向量218-230对第一视频图像的所有像素进行校正。然而，结合附图1所述，在运动估算器400的另一个输入连接器处406，由分割系统100提供一个像素精确分割结果SP。通过结合所提供的信息，能够确定像素精确运动向量场。特别是设置在图像特征214、216的边界上的块的像素可能是错误的。优选的将运动向量指定给一些相应的像素，这些像素对应于对相邻块估算的运动向量。由分割结果SP确定适当的相邻块的选择，并从而确定运动向量。通常，一个运动向量被指定给设置在一个图像特征214、216的边界上的一个块的一部分像素，它等于对应于第一图像特征214的一个块的运动向量，并且另一个运动向量被指定给另一部分像素，它等于对应于第二图像特征216的一个块的运动向量，第二图像特征216与第一图像特征214相邻。
图4B示意性的示出了一个可选择的运动估算器401的输入和输出，该运动估算器用于估算像素精确运动向量场。参照图1所示，视频图像提供在输入连接器402，并且分割系统100在运动估算器401的另一个输入连接器406处还提供一个像素精确分割结果SP。像素精确运动估算器401设置成为对应于相应的图像特征214、216的像素组计算运动向量，所述相应的图像特征214、216如由分割系统100通过将这些像素组的像素与之前或之后的视频图像的相应像素进行比较而进行分割。优选的，这种比较基于对应于像素差值的绝对值之和的匹配误差。
图5示意性的示出了根据本发明的图像处理装置500的元件。图像处理装置500包括：
-接收器单元502，用于接收表示在执行一些处理后要显示的视频图像的信号。该信号可以是通过天线或电缆接收的广播信号，也可以是来自于存储装置如VCR(录像机)或数字化通用光盘(DVD)的信号。该信号提供在输入连接器510。
-处理单元504，包括如分别结合图1和图4A所述的分割系统100和运动估算器401；
-运动补偿图像处理单元506；和
-显示装置508，用于显示处理后的图像。显示装置508是可选择的。
运动补偿图像处理单元506要求图像和运动向量作为它的输入。运动补偿图像处理单元506支持一种或多种下列类型的图像处理：去隔行、上变换、暂时降噪和视频压缩。
应当注意，上述实施例描述而不是限制本发明，本领场技术人员在不脱离所附权利要求的范围内将能够设计出可替换的实施例。在权利要求中，在括号内的所有附图标记将不构成为限制该权利要求。用语“包括”不排除表示没有列在一权利要求中的元件或步骤。在元件前的用语“一”不排除表示多个这种元件。通过包括多个不同元件的硬件和相配的程序控制计算机，能够实现本发明。在列举了多个装置的单元权利要求中，一个和相同的硬件项目能够包括多个这些装置。

Claims (17)

1.将在一个第一视频图像中的一个第一图像特征(214)与在该第一视频图像中的一个邻近的第二图像特征(216)分割的方法，该第一图像特征(214)具有多个像素，这些像素具有基本在第一量值范围内的一个图像特性的各自量值，并且在该第一视频图像和一个第二视频图像之间第一图像特征(214)具有相对于第二图像特征(216)的运动，和该第二图像特征(216)具有多个像素，这些像素具有基本在不同于第一量值范围的第二量值范围内的图像特性的各自量值，该方法包括：
-将第一视频图像分成多个像素块；
-对于相应的像素块估算运动向量(218-230)；
-通过基于相应像素块的运动向量(218-230)来分类多个像素块，从而将第一视频图像分割为一个第一连接像素块组(204C)和一个第二连接像素块组(206C)；并且继之以基于该图像特性的相应量值，通过第一和第二连接像素块组(204C、206C)的部分像素块的基于像素的分割，将第一个图像特征(214C)与第二图像特征(216C)分割开，这些像素块被确定为位于在第一和第二连接像素块组(204C、206C)之间的边界上。
2.如权利要求1所述的方法，其中根据一个运动模型，将该第一视频图像分割成第一连接像素块组(204C)和第二连接像素块组(206C)。
3.如权利要求2所述的方法，其中根据一个仿射运动模型，将该第一视频图像分割成第一连接像素块组(204C)和第二连接像素块组(206C)。
4.如权利要求2或3所述的方法，其中将第一视频图像分割为第一连接像素块组(204C)和第二连接像素块组(206C)包括：
-对于第一连接像素块组(204C)创建一个第一初始连接像素块组(204A)，该第一初始连接像素块组(204A)包括一个特定像素块(232)；
-对于第一初始连接像素块组(204A)确定一个第一运动模型；
-计算在两个运动向量之间的第一匹配误差，其中一个运动向量对应于在对于第一视频图像的相应像素块估算运动向量(218-230)期间估算出的特定像素块(232)，另一个运动向量对应于基于第一运动模型的特定像素块(232)；
-根据第一初始连接像素块组(204A)，但排除特定像素块(232)，对于一个测试连接像素块组(204B)计算一个第二运动模型；
-计算在两个运动向量之间的第二匹配误差，其中一个运动向量对应于在对于第一视频图像的相应像素块估算运动向量(218-230)期间估算出的特定像素块(232)，另一个运动向量对应于基于第二运动模型的特定像素块(232)；
-根据第一和第二匹配误差，确定特定像素块(232)是否对应于第一连接像素块组(204C)。
5.如权利要求1所述的方法，其中基于像素的分割是以一个空间颜色模型为基础的。
6.如权利要求1所述的方法，其中基于像素的分割是以一个空间亮度模型为基础的。
7.如权利要求5或6所述的方法，其中在第一连接像素块组(204C)的部分像素块的第一块(302)中检测到图像特性的量值上的阶跃，这些像素块确定为位于在第一和第二连接像素组(204C、206C)之间的边界上。
8.如权利要求7所述的方法，其中检测这种阶跃，通过：
-对于第一块(302)的像素计算第一平均图像特性值；
-根据第一平均值和第一块(302)的相应像素值，计算第一差值测量；
-对于一个第二像素块(304)的像素计算第二平均图像特性值，第二像素块(304)对应于第二像素组并且连接到第一块(302)；
-根据第二平均值和第二块(304)的相应像素值，计算第二差值测量；
-根据第一块(302)创建第一测试像素组，但排除一个特定像素，并且根据第二块(304)创建第二测试像素组，包括该特定像素；
-对于第一测试组的像素计算第三平均图像特性值；
-根据第三平均值和第一测试组的相应像素值，计算第三差值测量；
-对于第二测试组的像素计算第四平均图像特征值；
-根据第四平均值和第二测试组的相应像素值，计算第四差值测量；
-根据第一、第二、第三和第四差值测量，确定该特定像素是属于第一图像特征(214)还是属于第二图像特征(216)。
9.一种分割系统(100)，用于将在一个第一视频图像中的一个第一图像特征(214)与在该第一视频图像中的一个邻近的第二图像特征(216)分割开，第一图像特征(214)具有多个像素，这些像素具有基本在第一量值范围内的一个图像特性的各自量值，并且在该第一视频图像和一个第二视频图像之间第一图像特征(214)具有相对于第二图像特征(216)的运动，和第二图像特征(216)具有多个像素，这些像素具有基本在不同于第一量值范围的第二量值范围内的图像特性的各自量值，该分割系统(100)包括：
-分离装置(103)，将第一视频图像分成多个像素块；
-基于块的运动估算器(102)，用于对于相应的像素块估算运动向量(218-230)；
-运动分割单元(104)，用于通过基于相应像素块的运动向量(218-230)来分类多个像素块，从而将第一视频图像分割为一个第一连接像素块组(204C)和一个第二连接像素块组(206C)；和
-基于像素的分割单元(106)，用于基于该图像特性的相应量值，通过第一和第二连接像素块组(204C、206C)的部分像素块的基于像素的分割，将第一个图像特征(214)与第二图像特征(216)分割开，这些像素块被确定为位于在第一和第二连接像素块组(204C、206C)之间的边界上。
10.关于像素分辨率的运动估算器(400、401)，用于估算一个运动向量场，包括如权利要求9所述的分割系统(100)。
11.如权利要求10所述的关于像素分辨率的运动估算器(400)，将所述运动估算器设置成根据第一图像特征(214)与第二图像特征(216)的分割，将对于相应块估算的运动向量(218-230)指定给第一视频图像的相应像素。
12.如权利要求10所述的关于像素分辨率的运动估算器(401)，将所述运动估算器设置成通过将第一图像特征(214)的像素与第二视频图像的相应像素进行比较，对于第一图像特征(214)估算一个新的运动向量。
13.图像处理装置(500)，包括：
-接收装置(502)，用于接收表示一系列视频图像的信号；
-如权利要求10所述的关于像素分辨率的运动估算器(504)，用于从该视频图像中估算一个运动向量；和
-运动补偿图像处理单元(506)，用于基于该视频图像和运动向量场确定处理后的图像。
14.如权利要求13所述的图像处理装置(500)，其中运动补偿图像处理单元(506)设计成执行视频压缩。
15.如权利要求13所述的图像处理装置(500)，其中运动补偿图像处理单元(506)设计成在系列图像中降低噪声。
16.如权利要求13所述的图像处理装置(500)，其中运动补偿图像处理单元(506)设计成对系列图像去隔行。
17.如权利要求13所述的图像处理装置(500)，特征在于运动补偿图像处理单元(506)设计成执行上变换。
CNB038184311A 2002-07-31 2003-07-11 用于分割的系统和方法 Expired - Fee Related CN1311409C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP02078116 2002-07-31
EP02078116.7 2002-07-31

Publications (2)

Publication Number Publication Date
CN1672174A true CN1672174A (zh) 2005-09-21
CN1311409C CN1311409C (zh) 2007-04-18

Family

ID=31197904

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB038184311A Expired - Fee Related CN1311409C (zh) 2002-07-31 2003-07-11 用于分割的系统和方法

Country Status (6)

Country Link
US (1) US7382899B2 (zh)
EP (1) EP1527416A1 (zh)
JP (1) JP2005535028A (zh)
CN (1) CN1311409C (zh)
AU (1) AU2003247051A1 (zh)
WO (1) WO2004013810A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299272B (zh) * 2007-05-03 2012-11-28 索尼德国有限责任公司 初始化运动目标模板的方法和系统
CN110636300A (zh) * 2018-06-21 2019-12-31 北京字节跳动网络技术有限公司 颜色分量之间的子块运动矢量继承
US11172196B2 (en) 2018-09-24 2021-11-09 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
US11197003B2 (en) 2018-06-21 2021-12-07 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
US11202081B2 (en) 2018-06-05 2021-12-14 Beijing Bytedance Network Technology Co., Ltd. Interaction between IBC and BIO
US11792421B2 (en) 2018-11-10 2023-10-17 Beijing Bytedance Network Technology Co., Ltd Rounding in pairwise average candidate calculations

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1654705A1 (en) * 2003-08-07 2006-05-10 Koninklijke Philips Electronics N.V. Image object processing
KR100575733B1 (ko) * 2003-08-26 2006-05-03 엘지전자 주식회사 압축 동영상의 움직임 객체 분할 방법
US8243805B2 (en) * 2006-11-14 2012-08-14 Microsoft Corporation Video completion by motion field transfer
WO2009032255A2 (en) * 2007-09-04 2009-03-12 The Regents Of The University Of California Hierarchical motion vector processing method, software and devices
JP5498963B2 (ja) * 2008-02-21 2014-05-21 オランジュ ピクセルブロックに分割された画像または画像のシーケンスの符号化及び復号化
JP4952627B2 (ja) * 2008-03-21 2012-06-13 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
BRPI0911307B1 (pt) * 2008-04-15 2020-09-29 France Telecom Codificação e decodificação de uma imagem ou de uma sequência de imagens recortadas, segundo partições de pixels de forma linear
GB0915589D0 (en) * 2009-09-07 2009-10-07 Sony Comp Entertainment Europe Image processing method, apparatus and system
US8532390B2 (en) * 2010-07-28 2013-09-10 International Business Machines Corporation Semantic parsing of objects in video
US8995755B2 (en) 2011-09-30 2015-03-31 Cyberlink Corp. Two-dimensional to stereoscopic conversion systems and methods
EP2698764A1 (en) * 2012-08-14 2014-02-19 Thomson Licensing Method of sampling colors of images of a video sequence, and application to color clustering
US10796416B2 (en) * 2018-06-06 2020-10-06 Adobe Inc. Recolored collage generation based on color hue distances

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09185720A (ja) * 1995-12-28 1997-07-15 Canon Inc 画像抽出装置
US6075875A (en) * 1996-09-30 2000-06-13 Microsoft Corporation Segmentation of image features using hierarchical analysis of multi-valued image data and weighted averaging of segmentation results
GB9623573D0 (en) * 1996-11-13 1997-01-08 Philips Electronics Nv Image segmentation
TR199700058A2 (xx) * 1997-01-29 1998-08-21 Onural Levent Kurallara dayalı hareketli nesne bölütlemesi.
CN1253652A (zh) * 1997-03-31 2000-05-17 松下电器产业株式会社 活动图像显示方法及其装置
KR100224752B1 (ko) * 1997-06-11 1999-10-15 윤종용 표적 추적 방법 및 장치

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101299272B (zh) * 2007-05-03 2012-11-28 索尼德国有限责任公司 初始化运动目标模板的方法和系统
US11202081B2 (en) 2018-06-05 2021-12-14 Beijing Bytedance Network Technology Co., Ltd. Interaction between IBC and BIO
US11831884B2 (en) 2018-06-05 2023-11-28 Beijing Bytedance Network Technology Co., Ltd Interaction between IBC and BIO
US11523123B2 (en) 2018-06-05 2022-12-06 Beijing Bytedance Network Technology Co., Ltd. Interaction between IBC and ATMVP
US11509915B2 (en) 2018-06-05 2022-11-22 Beijing Bytedance Network Technology Co., Ltd. Interaction between IBC and ATMVP
US11477463B2 (en) 2018-06-21 2022-10-18 Beijing Bytedance Network Technology Co., Ltd. Component-dependent sub-block dividing
CN110636300B (zh) * 2018-06-21 2022-07-29 北京字节跳动网络技术有限公司 颜色分量之间的子块运动矢量继承
US11197003B2 (en) 2018-06-21 2021-12-07 Beijing Bytedance Network Technology Co., Ltd. Unified constrains for the merge affine mode and the non-merge affine mode
US11197007B2 (en) 2018-06-21 2021-12-07 Beijing Bytedance Network Technology Co., Ltd. Sub-block MV inheritance between color components
US11659192B2 (en) 2018-06-21 2023-05-23 Beijing Bytedance Network Technology Co., Ltd Sub-block MV inheritance between color components
CN110636300A (zh) * 2018-06-21 2019-12-31 北京字节跳动网络技术有限公司 颜色分量之间的子块运动矢量继承
US11895306B2 (en) 2018-06-21 2024-02-06 Beijing Bytedance Network Technology Co., Ltd Component-dependent sub-block dividing
US11202065B2 (en) 2018-09-24 2021-12-14 Beijing Bytedance Network Technology Co., Ltd. Extended merge prediction
US11172196B2 (en) 2018-09-24 2021-11-09 Beijing Bytedance Network Technology Co., Ltd. Bi-prediction with weights in video coding and decoding
US11616945B2 (en) 2018-09-24 2023-03-28 Beijing Bytedance Network Technology Co., Ltd. Simplified history based motion vector prediction
US11792421B2 (en) 2018-11-10 2023-10-17 Beijing Bytedance Network Technology Co., Ltd Rounding in pairwise average candidate calculations

Also Published As

Publication number Publication date
WO2004013810A1 (en) 2004-02-12
EP1527416A1 (en) 2005-05-04
AU2003247051A1 (en) 2004-02-23
JP2005535028A (ja) 2005-11-17
US20060078156A1 (en) 2006-04-13
US7382899B2 (en) 2008-06-03
CN1311409C (zh) 2007-04-18

Similar Documents

Publication Publication Date Title
CN1311409C (zh) 用于分割的系统和方法
CN100342401C (zh) 基于段的运动估计
CN1284373C (zh) 用于运动或深度估计的方法和装置和配备这种运动估计装置的图像处理设备
CN1131439C (zh) 目标跟踪方法及其设备
CN1179302C (zh) 使用正交变换域中的块匹配进行运动估测的方法和装置
CN1456015A (zh) 识别并行地出现在单个电视信号场中的影片和视频对象
CN1846445A (zh) 基于遮蔽检测对像素的时间插值
CN1063190A (zh) 视频图象处理
CN1157060C (zh) 图像内插系统和图像内插方法
CN1678024A (zh) 改进的图像边界处的运动向量估计
CN1716316A (zh) 基于彩色分割的立体3d重构系统和方法
CN1742486A (zh) 背景运动向量检测
CN1647113A (zh) 运动估计单元和估计运动矢量的方法
CN1853416A (zh) 运动矢量场的再定时
CN101069416A (zh) 在数字视频中的赝像减少
CN101031029A (zh) 一种视频图像处理的方法及其装置
CN1565118A (zh) 用于运动估计的装置和方法
CN1656515A (zh) 估计当前运动矢量的单元和方法
CN1285211C (zh) 用于加强重现图像质量的设备和方法
CN1636406A (zh) 移动估计的单元和方法以及装备有此类移动估计单元的图像处理设备
CN101036390A (zh) 一种利用可变形网格进行运动估计的方法
CN1270527C (zh) 扫描变换装置
CN1615652A (zh) 用于估计当前运动矢量的单元和方法
CN1231055C (zh) 电视中传送电影场景的数字检测装置
CN101040530A (zh) 具有视频模式检测的运动估计

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
C19 Lapse of patent right due to non-payment of the annual fee
CF01 Termination of patent right due to non-payment of annual fee