CN1251148C - 图像处理设备 - Google Patents

Abstract

本发明通过检测指示与图像的混合比例的混合比，或通过考虑与图像混合的区域，能够检测到运动对象的运动向量。加权帧差值计算单元(3423)计算加权差。运动补偿单元(3424)和相关值计算单元(3427)计算包含加权差图像数据的每个感兴趣像素的感兴趣块与相邻帧的加权差图像数据的相对应的模块之间的相关值。最大值判断单元(3428)检测其中加权差图像数据之间的相关值达到最大的权重和运动向量的至少一个。本发明可应用于处理图像的信号处理装置。

Description

图像处理设备

技术领域

本发明涉及图像处理设备，尤其涉及考虑到传感器检测的信号与现实世界之间的差异的图像处理设备。

背景技术

通过传感器检测现实世界中发生的现象，和处理从图像传感器输出的取样数据的技术得到广泛应用。

例如，对于视频摄像机拍摄在预定静止背景前移动的对象的照片获得的图像，在对象的运动速率相对高的情况下，会出现运动模糊(movementblurring)。

然而，在对象在静止背景的前面移动的情况下，不仅运动对象图像本身的混合会引起运动模糊，而且运动对象图像与背景图像的混合也会引起运动模糊。

传统上，对指示背景图像和运动对象图像的混合比的检测没有加以考虑。

此外，在考虑了运动对象图像与背景图像的混合之后，对运动向量的检测也没有加以考虑。

发明内容

本发明就是在考虑了这样的情况之后作出的，因此，本发明的目的是检测指示诸如背景图像和运动对象图像之类的多个对象的混合状态的混合比。

此外，本发明的目的是在考虑了诸如背景图像和运动对象图像之类的多个对象的混合之后，检测更精确的运动向量。

此外，本发明的目的是检测指示背景图像和运动对象图像的混合比例的混合比，或考虑了混合着背景图像和运动对象图像的区域之后，运动对象的运动向量。

根据本发明的第一图像处理设备包括：加权差图像数据计算装置，用于：根据与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的权重，来计算图像数据中感兴趣帧中的每个像素与图像数据中的与感兴趣帧相邻的相邻帧中的每个像素之间的加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；加权差图像间相关数据计算装置，用于：根据指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算包含感兴趣帧的加权差图像数据的每个感兴趣像素的感兴趣块与相邻帧的加权差图像数据的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及检测装置，用于：针对加权差图像间相关数据的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量的至少一个，在检测到权重的情况下，把权重设置成与感兴趣帧的增量相对应的混合比，而在检测到运动向量的情况下，把运动向量设置成与感兴趣帧的增量相对应的运动向量。

该图像处理设备还可以包括：权重信息生成装置，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的多个权重，和生成指示每个生成权重的权重的权重信息；其中，加权差图像数据计算装置，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；以及其中，加权差图像间相关数据计算装置，根据指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及其中，检测装置，针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重，并将其输出，作为与感兴趣帧的增量相对应的混合比。

该图像处理设备还可以包括：区域指定装置，用于：根据图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区，并输出指示指定混合区的区域信息；混合比估计装置，用于：根据图像数据和区域信息，估计属于混合区的像素数据中前景对象成分与背景对象成分之间的混合比；以及估计运动向量生成装置，用于：生成多个估计运动向量，并输出已经生成的每个估计运动向量；其中，加权差图像数据计算装置，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第一相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第一差图像数据，和根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第二相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第二差图像数据；以及其中，加权差图像间相关数据计算装置，根据估计运动向量，来匹配第一差图像数据和第二差图像数据的相对位置，计算由中心在与感兴趣帧的感兴趣像素相对应的第一差图像数据的像素上的至少一个像素组成的感兴趣块与由第二差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及其中，检测装置，根据加权差图像间相关数据，检测相关值达到最大的估计运动向量，并将其输出，作为与感兴趣帧的感兴趣像素相对应的运动向量。

该图像处理设备还可以包括：权重信息生成装置，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；以及运动向量信息生成装置，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；其中，加权差图像数据计算装置，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；以及其中，加权差图像间相关数据计算装置，根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及其中，检测装置，针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

该图像处理设备还可以包括：权重信息生成装置，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；以及运动向量信息生成装置，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；其中，加权差图像数据计算装置，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；以及其中，加权差图像间相关数据计算装置，根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的多个像素组成的感兴趣块与由相邻帧的加权差图像数据的多个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及其中，检测装置，针对由加权差图像间相关数据的多个增量组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

根据本发明的第一图像处理方法包括：加权差图像数据计算步骤，用于：根据与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的权重，来计算图像数据中感兴趣帧中的每个像素与图像数据中的与感兴趣帧相邻的相邻帧中的每个像素之间的加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；加权差图像间相关数据计算步骤，用于：根据指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算包含感兴趣帧的加权差图像数据的每个感兴趣像素的感兴趣块与相邻帧的加权差图像数据的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及检测步骤，用于：针对加权差图像间相关数据的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量的至少一个，在检测到权重的情况下，把权重设置成与感兴趣帧的增量相对应的混合比，而在检测到运动向量的情况下，把运动向量设置成与感兴趣帧的增量相对应的运动向量。

该图像处理方法还可以包括：权重信息生成步骤，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的多个权重，和生成指示每个生成权重的权重的权重信息；其中，在加权差图像数据计算步骤中，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；以及其中，在加权差图像间相关数据计算步骤中，根据指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及其中，在检测步骤中，针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重，并将其输出，作为与感兴趣帧的增量相对应的混合比。

该图像处理方法还可以包括：区域指定步骤，用于：根据图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区，并输出指示指定混合区的区域信息；混合比估计步骤，用于：根据图像数据和区域信息，估计属于混合区的像素数据中前景对象成分与背景对象成分之间的混合比；以及估计运动向量生成步骤，用于：生成多个估计运动向量，并输出已经生成的每个估计运动向量；其中，在加权差图像数据计算步骤中，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第一相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第一差图像数据，和根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第二相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第二差图像数据；以及其中，在加权差图像间相关数据计算步骤中，根据估计运动向量，来匹配第一差图像数据和第二差图像数据的相对位置，来计算由中心在与感兴趣帧的感兴趣像素相对应的第一差图像数据的像素上的至少一个像素组成的感兴趣块与由第二差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及其中，在检测步骤中，根据加权差图像间相关数据，检测相关值达到最大的估计运动向量，并将其输出，作为与感兴趣帧的感兴趣像素相对应的运动向量。

该图像处理方法还可以包括：权重信息生成步骤，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；以及运动向量信息生成步骤，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；其中，在加权差图像数据计算步骤中，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；以及其中，在加权差图像间相关数据计算步骤中，根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及其中，在检测步骤中，针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

该图像处理方法还可以包括：权重信息生成步骤，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；以及运动向量信息生成步骤，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；其中，在加权差图像数据计算步骤中，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；以及其中，在加权差图像间相关数据计算步骤中，根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的多个像素组成的感兴趣块与由相邻帧的加权差图像数据的多个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及其中，在检测步骤中，针对由加权差图像间相关数据的多个增量组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

记录在根据本发明的第一记录介质上的程序包括：加权差图像数据计算步骤，用于：根据与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的权重，来计算图像数据中感兴趣帧中的每个像素与图像数据中的与感兴趣帧相邻的相邻帧中的每个像素之间的加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；加权差图像间相关数据计算步骤，用于：根据指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算包含感兴趣帧的加权差图像数据的每个感兴趣像素的感兴趣块与相邻帧的加权差图像数据的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及检测步骤，用于：针对加权差图像间相关数据的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量的至少一个，在检测到权重的情况下，把权重设置成与感兴趣帧的增量相对应的混合比，而在检测到运动向量的情况下，把运动向量设置成与感兴趣帧的增量相对应的运动向量。

记录在该记录介质上的程序可以包括：权重信息生成步骤，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的多个权重，和生成指示每个生成权重的权重的权重信息；其中，在加权差图像数据计算步骤中，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；以及其中，在加权差图像间相关数据计算步骤中，根据指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及其中，在检测步骤中，针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重，并将其输出，作为与感兴趣帧的增量相对应的混合比。

记录在该记录介质上的程序可以包括：区域指定步骤，用于：根据图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区，并输出指示指定混合区的区域信息；混合比估计步骤，用于：根据图像数据和区域信息，估计属于混合区的像素数据中前景对象成分与背景对象成分之间的混合比；以及估计运动向量生成步骤，用于：生成多个估计运动向量，并输出已经生成的每个估计运动向量；其中，在加权差图像数据计算步骤中，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第一相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第一差图像数据，和根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第二相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第二差图像数据；以及其中，在加权差图像间相关数据计算步骤中，根据估计运动向量，来匹配第一差图像数据和第二差图像数据的相对位置，计算由中心在与感兴趣帧的感兴趣像素相对应的第一差图像数据的像素上的至少一个像素组成的感兴趣块与由第二差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及其中，在检测步骤中，根据加权差图像间相关数据，检测相关值达到最大的估计运动向量，并将其输出，作为与感兴趣帧的感兴趣像素相对应的运动向量。

记录在该记录介质上的程序可以包括：权重信息生成步骤，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；以及运动向量信息生成步骤，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；其中，在加权差图像数据计算步骤中，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；以及其中，在加权差图像间相关数据计算步骤中，根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及其中，在检测步骤中，针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

记录在该记录介质上的程序可以包括：权重信息生成步骤，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；以及运动向量信息生成步骤，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；其中，在加权差图像数据计算步骤中，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；以及其中，在加权差图像间相关数据计算步骤中，根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的多个像素组成的感兴趣块与由相邻帧的加权差图像数据的多个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及其中，在检测步骤中，针对由加权差图像间相关数据的多个增量组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

根据本发明的第一程序使计算机执行：加权差图像数据计算步骤，用于：根据与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的权重，来计算图像数据中感兴趣帧中的每个像素与图像数据中的与感兴趣帧相邻的相邻帧中的每个像素之间的加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据：加权差图像间相关数据计算步骤，用于：根据指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算包含感兴趣帧的加权差图像数据的每个感兴趣像素的感兴趣块与相邻帧的加权差图像数据的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及检测步骤，用于：针对加权差图像间相关数据的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量的至少一个，在检测到权重的情况下，把权重设置成与感兴趣帧的增量相对应的混合比，而在检测到运动向量的情况下，把运动向量设置成与感兴趣帧的增量相对应的运动向量。

该程序还可以包括：权重信息生成步骤，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的多个权重，和生成指示每个生成权重的权重的权重信息；其中，在加权差图像数据计算步骤中，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；以及其中，在加权差图像间相关数据计算步骤中，根据指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及其中，在检测步骤中，针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重，并将其输出，作为与感兴趣帧的增量相对应的混合比。

该程序还可以包括：区域指定步骤，用于：根据图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区，并输出指示指定混合区的区域信息；混合比估计步骤，用于：根据图像数据和区域信息，估计属于混合区的像素数据中前景对象成分与背景对象成分之间的混合比；以及估计运动向量生成步骤，用于：生成多个估计运动向量，并输出已经生成的每个估计运动向量；其中，在加权差图像数据计算步骤中，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第一相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第一差图像数据，和根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第二相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第二差图像数据；以及其中，在加权差图像间相关数据计算步骤中，根据估计运动向量，来匹配第一差图像数据和第二差图像数据的相对位置，计算由中心在与感兴趣帧的感兴趣像素相对应的第一差图像数据的像素上的至少一个像素组成的感兴趣块与由第二差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及其中，在检测步骤中，根据加权差图像间相关数据，检测相关值达到最大的估计运动向量，并将其输出，作为与感兴趣帧的感兴趣像素相对应的运动向量。

该程序还可以包括：权重信息生成步骤，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；以及运动向量信息生成步骤，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；其中，在加权差图像数据计算步骤中，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；以及其中，在加权差图像间相关数据计算步骤中，根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及其中，在检测步骤中，针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

该程序还可以包括：权重信息生成步骤，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；以及运动向量信息生成步骤，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；其中，在加权差图像数据计算步骤中，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；以及其中，在加权差图像间相关数据计算步骤中，根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的多个像素组成的感兴趣块与由相邻帧的加权差图像数据的多个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及其中，在检测步骤中，针对由加权差图像间相关数据的多个增量组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

根据本发明的第一图像拍摄设备包括：图像拍摄装置，用于：输出由具有时间积分效应的具有预定数目像素的图像拍摄设备拍摄的主体图像，作为由预定数目像素数据组成的图像数据；加权差图像数据计算装置，用于：根据与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的权重，来计算图像数据中感兴趣帧中的每个像素与图像数据中的与感兴趣帧相邻的相邻帧中的每个像素之间的加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；加权差图像间相关数据计算装置，用于：根据指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算包含感兴趣帧的加权差图像数据的每个感兴趣像素的感兴趣块与相邻帧的加权差图像数据的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及检测装置，用于：针对加权差图像间相关数据的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量的至少一个，在检测到权重的情况下，把权重设置成与感兴趣帧的增量相对应的混合比，而在检测到运动向量的情况下，把运动向量设置成与感兴趣帧的增量相对应的运动向量。

该图像拍摄设备还可以包括：权重信息生成装置，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的多个权重，和生成指示每个生成权重的权重的权重信息；其中，加权差图像数据计算装置，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；以及其中，加权差图像间相关数据计算装置，根据指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及其中，检测装置，针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重，并将其输出，作为与感兴趣帧的增量相对应的混合比。

该图像拍摄设备还可以包括：区域指定装置，用于：根据图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区，并输出指示指定混合区的区域信息；混合比估计装置，用于：根据图像数据和区域信息，估计属于混合区的像素数据中前景对象成分与背景对象成分之间的混合比；以及估计运动向量生成装置，用于：生成多个估计运动向量，并输出已经生成的每个估计运动向量；其中，加权差图像数据计算装置，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第一相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第一差图像数据，和根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第二相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第二差图像数据；以及其中，加权差图像间相关数据计算装置，根据估计运动向量，来匹配第一差图像数据和第二差图像数据的相对位置，计算由中心在与感兴趣帧的感兴趣像素相对应的第一差图像数据的像素上的至少一个像素组成的感兴趣块与由第二差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及其中，检测装置，根据加权差图像间相关数据，检测相关值达到最大的估计运动向量，并将其输出，作为与感兴趣帧的感兴趣像素相对应的运动向量。

该图像拍摄设备还可以包括：权重信息生成装置，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；以及运动向量信息生成装置，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；其中，加权差图像数据计算装置，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；以及其中，加权差图像间相关数据计算装置，根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及其中，检测装置，针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

该图像拍摄设备还可以包括：权重信息生成装置，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；以及运动向量信息生成装置，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；其中，加权差图像数据计算装置，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；以及其中，加权差图像间相关数据计算装置，根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的多个像素组成的感兴趣块与由相邻帧的加权差图像数据的多个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据：以及其中，检测装置，针对由加权差图像间相关数据的多个增量组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

根据本发明的第二图像处理设备包括：权重信息生成装置，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的多个权重，和生成指示每个生成权重的权重的权重信息；加权差图像数据检测装置，用于：根据权重信息所指示的权重，检测图像数据中感兴趣帧的每个像素与图像数据中的与感兴趣帧相邻的相邻帧的每个像素之间的加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；加权差图像间相关数据检测装置，用于：根据指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；混合比检测装置，用于：针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重，并将其输出，作为与感兴趣帧的增量相对应的混合比。

权重信息生成装置，可以与彼此不同的多个混合比相对应，依次生成指示彼此不同的多个权重的权重信息；以及加权差图像数据检测装置，检测与彼此不同的多个权重相对应的加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；加权差图像间相关数据检测装置，计算与彼此不同的多个权重相对应的相关值，并输出加权差图像间相关数据；和混合比检测装置从彼此不同的多个权重中，检测加权差图像数据之间的相关值达到最大的权重，并将其输出，作为与感兴趣帧的预定增量相对应的混合比。

加权差图像间相关数据检测装置，可以计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的差的绝对值，作为相关值，并将其输出，作为加权差图像间相关数据。

加权差图像间相关数据检测装置，可以计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的差的绝对值之和，作为相关值，并将其输出，作为加权差图像间相关数据。

加权差图像数据检测装置，在感兴趣帧的像素属于沿着前景中对象的运动方向在首端形成且本身是多个对象相混合的混合区的覆盖背景区的情况下，检测由感兴趣帧的每个像素与感兴趣帧之前的帧的每个像素之间的权重信息所指示的权重引起的加权差，而在感兴趣帧的像素属于沿着前景中对象的运动方向在末端形成且本身是多个对象相混合的混合区的未覆盖背景区的情况下，检测由感兴趣帧的每个像素与感兴趣帧之后的帧的每个像素之间的权重信息所指示的权重引起的加权差。

该图像处理设备还可以包括：区域信息生成装置，用于：指定图像数据中由形成多个对象的前景的对象组成的前景区域、图像数据中由形成多个对象的背景的对象组成的背景区、本身是多个对象相混合的混合区且沿着前景对象的运动方向在首端形成的覆盖背景区、和本身是多个对象相混合的混合区且沿着前景对象的运动方向在末端形成的未覆盖背景区，和生成指示前景区、背景区、和包括覆盖背景区和未覆盖背景区的混合区的区域信息。

该图像处理设备还可以包括：运动向量检测装置，用于：检测指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量。

混合比检测装置，可以检测属于多个对象相混合的混合区的、感兴趣帧的像素的混合比。

该图像处理设备还可以包括：分离装置，用于：根据混合比，从像素数据中分离出来自多个对象的组成前景的至少一个对象。

该图像处理设备还可以包括：运动模糊调整装置，用于：调整组成分离前景的对象的运动模糊量。

该图像处理设备还可以包括：合成装置，用于：根据混合比，合成期望的其它对象和构成分离前景的对象。

根据本发明的第二图像处理方法包括：权重信息生成步骤，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的多个权重，和生成指示每个生成权重的权重的权重信息；加权差图像数据检测步骤，用于：根据权重信息所指示的权重，检测图像数据中感兴趣帧的每个像素与图像数据中的与感兴趣帧相邻的相邻帧的每个像素之间的加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；加权差图像间相关数据检测步骤，用于：根据指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；混合比检测步骤，用于：针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重，并将其输出，作为与感兴趣帧的增量相对应的混合比。

权重信息生成步骤，可以与彼此不同的多个混合比相对应，依次生成指示彼此不同的多个权重的权重信息；该加权差图像数据检测步骤检测与彼此不同的多个权重相对应的加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；加权差图像间相关数据检测步骤计算与彼此不同的多个权重相对应的相关值，并输出加权差图像间相关数据，和混合比检测步骤从彼此不同的多个权重中，检测加权差图像数据之间的相关值达到最大的权重，并将其输出，作为与感兴趣帧的预定增量相对应的混合比。

加权差图像间相关数据检测步骤，可以计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的差的绝对值，作为相关值，并将其输出，作为加权差图像间相关数据。

加权差图像间相关数据检测步骤，可以计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的差的绝对值之和，作为相关值，并将其输出，作为加权差图像间相关数据。

加权差图像数据检测步骤，在感兴趣帧的像素属于沿着前景中对象的运动方向在首端形成且本身是多个对象相混合的混合区的覆盖背景区的情况下，检测由感兴趣帧的每个像素与感兴趣帧之前的帧的每个像素之间的权重信息所指示的权重引起的加权差，而在感兴趣帧的像素属于沿着前景中对象的运动方向在末端形成且本身是多个对象相混合的混合区的未覆盖背景区的情况下，检测由感兴趣帧的每个像素与感兴趣帧之后的帧的每个像素之间的权重信息所指示的权重引起的加权差。

该图像处理方法还可以包括：区域信息生成步骤，用于：指定图像数据中由形成多个对象的前景的对象组成的前景区域、图像数据中由形成多个对象的背景的对象组成的背景区、本身是多个对象相混合的混合区且沿着前景对象的运动方向在首端形成的覆盖背景区、和本身是多个对象相混合的混合区且沿着前景对象的运动方向在末端形成的未覆盖背景区，和生成指示前景区、背景区、和包括覆盖背景区和未覆盖背景区的混合区的区域信息。

该图像处理方法还可以包括：运动向量检测步骤，用于：检测指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量。

混合比检测步骤，可以检测属于多个对象相混合的混合区的、感兴趣帧的像素的混合比。

该图像处理方法还可以包括：分离步骤，用于：根据混合比，从像素数据中分离出来自多个对象的组成前景的至少一个对象。

该图像处理方法还可以包括：运动模糊调整步骤，用于：调整组成分离前景的对象的运动模糊量。

该图像处理方法还可以包括：合成步骤，用于：根据混合比，合成期望的其它对象和构成分离前景的对象。

记录在根据本发明的第二记录介质上的程序包括：权重信息生成步骤，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的多个权重，和生成指示每个生成权重的权重的权重信息；加权差图像数据检测步骤，用于：根据权重信息所指示的权重，检测图像数据中感兴趣帧的每个像素与图像数据中的与感兴趣帧相邻的相邻帧的每个像素之间的加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；加权差图像间相关数据检测步骤，用于：根据指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；混合比检测步骤，用于：针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重，并将其输出，作为与感兴趣帧的增量相对应的混合比。

权重信息生成步骤，可以与彼此不同的多个混合比相对应，依次生成指示彼此不同的多个权重的权重信息；该加权差图像数据检测步骤检测与彼此不同的多个权重相对应的加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；加权差图像间相关数据检测步骤计算与彼此不同的多个权重相对应的相关值，并输出加权差图像间相关数据，和混合比检测步骤从彼此不同的多个权重中，检测加权差图像数据之间的相关值达到最大的权重，并将其输出，作为与感兴趣帧的预定增量相对应的混合比。

加权差图像间相关数据检测步骤，可以计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的差的绝对值，作为相关值，并将其输出，作为加权差图像间相关数据。

加权差图像间相关数据检测步骤，可以计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的差的绝对值之和，作为相关值，并将其输出，作为加权差图像间相关数据。

加权差图像数据检测步骤，在感兴趣帧的像素属于沿着前景中对象的运动方向在首端形成且本身是多个对象相混合的混合区的覆盖背景区的情况下，检测由感兴趣帧的每个像素与感兴趣帧之前的帧的每个像素之间的权重信息所指示的权重引起的加权差，而在感兴趣帧的像素属于沿着前景中对象的运动方向在末端形成且本身是多个对象相混合的混合区的未覆盖背景区的情况下，检测由感兴趣帧的每个像素与感兴趣帧之后的帧的每个像素之间的权重信息所指示的权重引起的加权差。

该程序还可以包括：区域信息生成步骤，用于：指定图像数据中由形成多个对象的前景的对象组成的前景区域、图像数据中由形成多个对象的背景的对象组成的背景区、本身是多个对象相混合的混合区且沿着前景对象的运动方向在首端形成的覆盖背景区、和本身是多个对象相混合的混合区且沿着前景对象的运动方向在末端形成的未覆盖背景区，和生成指示前景区、背景区、和包括覆盖背景区和未覆盖背景区的混合区的区域信息。

该程序还可以包括：运动向量检测步骤，用于：检测指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量。

混合比检测步骤，可以检测属于多个对象相混合的混合区的、感兴趣帧的像素的混合比。

该程序还可以包括：分离步骤，用于：根据混合比，从像素数据中分离出来自多个对象的组成前景的至少一个对象。

该程序还可以包括：运动模糊调整步骤，用于：调整组成分离前景的对象的运动模糊量。

该程序还可以包括：合成步骤，用于：根据混合比，合成期望的其它对象和构成分离前景的对象。

根据本发明的第二程序使计算机执行：权重信息生成步骤，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的多个权重，和生成指示每个生成权重的权重的权重信息；加权差图像数据检测步骤，用于：根据权重信息所指示的权重，检测图像数据中感兴趣帧的每个像素与图像数据中的与感兴趣帧相邻的相邻帧的每个像素之间的加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；加权差图像间相关数据检测步骤，用于：根据指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；混合比检测步骤，用于：针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重，并将其输出，作为与感兴趣帧的增量相对应的混合比。

权重信息生成步骤，可以与彼此不同的多个混合比相对应，依次生成指示彼此不同的多个权重的权重信息；该加权差图像数据检测步骤检测与彼此不同的多个权重相对应的加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；加权差图像间相关数据检测步骤计算与彼此不同的多个权重相对应的相关值，并输出加权差图像间相关数据，和混合比检测步骤从彼此不同的多个权重中，检测加权差图像数据之间的相关值达到最大的权重，并将其输出，作为与感兴趣帧的预定增量相对应的混合比。

加权差图像间相关数据检测步骤，可以计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的差的绝对值，作为相关值，并将其输出，作为加权差图像间相关数据。

加权差图像间相关数据检测步骤，可以计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的差的绝对值之和，作为相关值，并将其输出，作为加权差图像间相关数据。

加权差图像数据检测步骤，在感兴趣帧的像素属于沿着前景中对象的运动方向在首端形成且本身是多个对象相混合的混合区的覆盖背景区的情况下，检测由感兴趣帧的每个像素与感兴趣帧之前的帧的每个像素之间的权重信息所指示的权重引起的加权差，而在感兴趣帧的像素属于沿着前景中对象的运动方向在末端形成且本身是多个对象相混合的混合区的未覆盖背景区的情况下，检测由感兴趣帧的每个像素与感兴趣帧之后的帧的每个像素之间的权重信息所指示的权重引起的加权差。

该程序还可以包括：区域信息生成步骤，用于：指定图像数据中由形成多个对象的前景的对象组成的前景区域、图像数据中由形成多个对象的背景的对象组成的背景区、本身是多个对象相混合的混合区且沿着前景对象的运动方向在首端形成的覆盖背景区、和本身是多个对象相混合的混合区且沿着前景对象的运动方向在末端形成的未覆盖背景区，和生成指示前景区、背景区、和包括覆盖背景区和未覆盖背景区的混合区的区域信息。

该程序还可以包括：运动向量检测步骤，用于：检测指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量。

混合比检测步骤，可以检测属于多个对象相混合的混合区的、感兴趣帧的像素的混合比。

该程序还可以包括：分离步骤，用于：根据混合比，从像素数据中分离出来自多个对象的组成前景的至少一个对象。

该程序还可以包括：运动模糊调整步骤，用于：调整组成分离前景的对象的运动模糊量。

该程序还可以包括：合成步骤，用于：根据混合比，合成期望的其它对象和构成分离前景的对象。

根据本发明的第二图像拍摄设备包括：图像拍摄装置，用于：输出由具有时间积分效应的具有预定数目像素的图像拍摄设备拍摄的主体图像，作为由预定数目像素数据组成的图像数据；权重信息生成装置，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的多个权重，和生成指示每个生成权重的权重的权重信息；加权差图像数据检测装置，用于：根据权重信息所指示的权重，检测图像数据中感兴趣帧的每个像素与图像数据中的与感兴趣帧相邻的相邻帧的每个像素之间的加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；加权差图像间相关数据检测装置，用于：根据指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；混合比检测装置，用于：针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重，并将其输出，作为与感兴趣帧的增量相对应的混合比。

权重信息生成装置，可以与彼此不同的多个混合比相对应，依次生成指示彼此不同的多个权重的权重信息，以及加权差图像数据检测装置，检测与彼此不同的多个权重相对应的加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据，加权差图像间相关数据检测装置，计算与彼此不同的多个权重相对应的相关值，并输出加权差图像间相关数据，和混合比检测装置从彼此不同的多个权重中，检测加权差图像数据之间的相关值达到最大的权重，并将其输出，作为与感兴趣帧的预定增量相对应的混合比。

加权差图像间相关数据检测装置，可以计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的差的绝对值，作为相关值，并将其输出，作为加权差图像间相关数据。

加权差图像间相关数据检测装置，可以计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的差的绝对值之和，作为相关值，并将其输出，作为加权差图像间相关数据。

加权差图像数据检测装置，在感兴趣帧的像素属于沿着前景中对象的运动方向在首端形成且本身是多个对象相混合的混合区的覆盖背景区的情况下，检测由感兴趣帧的每个像素与感兴趣帧之前的帧的每个像素之间的权重信息所指示的权重引起的加权差，而在感兴趣帧的像素属于沿着前景中对象的运动方向在末端形成且本身是多个对象相混合的混合区的未覆盖背景区的情况下，检测由感兴趣帧的每个像素与感兴趣帧之后的帧的每个像素之间的权重信息所指示的权重引起的加权差。

该图像拍摄设备还可以包括：区域信息生成装置，用于：指定图像数据中由形成多个对象的前景的对象组成的前景区域、图像数据中由形成多个对象的背景的对象组成的背景区、本身是多个对象相混合的混合区且沿着前景对象的运动方向在首端形成的覆盖背景区、和本身是多个对象相混合的混合区且沿着前景对象的运动方向在末端形成的未覆盖背景区，和生成指示前景区、背景区、和包括覆盖背景区和未覆盖背景区的混合区的区域信息。

该图像拍摄设备还可以包括：运动向量检测装置，用于：检测指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量。

混合比检测装置，可以检测属于多个对象相混合的混合区的、感兴趣帧的像素的混合比。

该图像拍摄设备还可以包括：分离装置，用于：根据混合比，从像素数据中分离出来自多个对象的组成前景的至少一个对象。

该图像拍摄设备还可以包括：运动模糊调整装置，用于：调整组成分离前景的对象的运动模糊量。

该图像拍摄设备还可以包括：合成装置，用于：根据混合比，合成期望的其它对象和构成分离前景的对象。

根据本发明的第三图像处理设备包括：区域指定装置，用于：根据图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区，并输出指示指定混合区的区域信息；混合比估计装置，用于：根据图像数据和区域信息，估计指示属于混合区的像素数据中前景对象成分与背景对象成分之间的混合比例的混合比；估计运动向量生成装置，用于：生成多个估计运动向量，并输出已经生成的每个估计运动向量；差图像数据计算装置，用于：根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第一相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第一差图像数据，和根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第二相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第二差图像数据；差图像间相关数据计算装置，用于：根据估计运动向量，来匹配第一差图像数据和第二差图像数据的相对位置，计算由中心在与感兴趣帧的感兴趣像素相对应的第一差图像数据的像素上的至少一个像素组成的感兴趣块与由第二差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为差图像间相关数据；以及检测装置，用于：根据差图像间相关数据，检测相关值达到最大的估计运动向量，并将其输出，作为与感兴趣帧的感兴趣像素相对应的运动向量。

差图像间相关数据计算装置，可以计算感兴趣块与相对应块之间的差的绝对值，作为相关值，并将其输出，作为差图像间相关数据。

差图像间相关数据计算装置，可以计算感兴趣块与相对应块之间的差的绝对值之和，作为相关值，并将其输出，作为差图像间相关数据。

该图像处理设备还可以包括：分离装置，用于：根据混合比，从像素数据中分离出至少一个前景对象。

该图像处理设备还可以包括：运动模糊调整装置，用于：根据运动向量，调整分离前景对象的运动模糊量。

该图像处理设备还可以包括：噪声消除装置，用于：根据运动向量，消除分离前景对象的噪声。

根据本发明的第三图像处理方法包括：区域指定步骤，用于：根据图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区，并输出指示指定混合区的区域信息；混合比估计步骤，用于：根据图像数据和区域信息，估计指示属于混合区的像素数据中前景对象成分与背景对象成分之间的混合比例的混合比；估计运动向量生成装置，用于：生成多个估计运动向量，并输出已经生成的每个估计运动向量；差图像数据计算步骤，用于：根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第一相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第一差图像数据，和根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第二相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第二差图像数据；差图像间相关数据计算步骤，用于：根据估计运动向量，来匹配第一差图像数据和第二差图像数据的相对位置，计算由中心在与感兴趣帧的感兴趣像素相对应的第一差图像数据的像素上的至少一个像素组成的感兴趣块与由第二差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为差图像间相关数据；以及检测步骤，用于：根据差图像间相关数据，检测相关值达到最大的估计运动向量，并将其输出，作为与感兴趣帧的感兴趣像素相对应的运动向量。

记录在根据本发明的第三记录介质上的程序包括：区域指定步骤，用于：根据图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区，并输出指示指定混合区的区域信息；混合比估计步骤，用于：根据图像数据和区域信息，估计指示属于混合区的像素数据中前景对象成分与背景对象成分之间的混合比例的混合比；估计运动向量生成装置，用于：生成多个估计运动向量，并输出已经生成的每个估计运动向量；差图像数据计算步骤，用于：根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第一相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第一差图像数据，和根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第二相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第二差图像数据；差图像间相关数据计算步骤，用于：根据估计运动向量，来匹配第一差图像数据和第二差图像数据的相对位置，计算由中心在与感兴趣帧的感兴趣像素相对应的第一差图像数据的像素上的至少一个像素组成的感兴趣块与由第二差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为差图像间相关数据；以及检测步骤，用于：根据差图像间相关数据，检测相关值达到最大的估计运动向量，并将其输出，作为与感兴趣帧的感兴趣像素相对应的运动向量。

根据本发明的第三程序使计算机执行：区域指定步骤，用于：根据图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区，并输出指示指定混合区的区域信息；混合比估计步骤，用于：根据图像数据和区域信息，估计指示属于混合区的像素数据中前景对象成分与背景对象成分之间的混合比例的混合比；估计运动向量生成装置，用于：生成多个估计运动向量，并输出已经生成的每个估计运动向量；差图像数据计算步骤，用于：根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第一相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第一差图像数据，和根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第二相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第二差图像数据；差图像间相关数据计算步骤，用于：根据估计运动向量，来匹配第一差图像数据和第二差图像数据的相对位置，计算由中心在与感兴趣帧的感兴趣像素相对应的第一差图像数据的像素上的至少一个像素组成的感兴趣块与由第二差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为差图像间相关数据；以及检测步骤，用于：根据差图像间相关数据，检测相关值达到最大的估计运动向量，并将其输出，作为与感兴趣帧的感兴趣像素相对应的运动向量。

根据本发明的第三图像拍摄设备包括：图像拍摄装置，用于：输出由具有时间积分效应的具有预定数目像素的图像拍摄设备拍摄的主体图像，作为由预定数目像素数据组成的图像数据；区域指定装置，用于：根据图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区，并输出指示指定混合区的区域信息；混合比估计装置，用于：根据图像数据和区域信息，估计指示属于混合区的像素数据中前景对象成分与背景对象成分之间的混合比例的混合比；估计运动向量生成装置，用于：生成多个估计运动向量，并输出已经生成的每个估计运动向量；差图像数据计算装置，用于：根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第一相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第一差图像数据，和根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第二相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第二差图像数据；差图像间相关数据计算装置，用于：根据估计运动向量，来匹配第一差图像数据和第二差图像数据的相对位置，计算由中心在与感兴趣帧的感兴趣像素相对应的第一差图像数据的像素上的至少一个像素组成的感兴趣块与由第二差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为差图像间相关数据；以及检测装置，用于：根据差图像间相关数据，检测相关值达到最大的估计运动向量，并将其输出，作为与感兴趣帧的感兴趣像素相对应的运动向量。

差图像间相关数据计算装置，可以计算感兴趣块与相对应块之间的差的绝对值，作为相关值，并将其输出，作为差图像间相关数据。

差图像间相关数据计算装置，可以计算感兴趣块与相对应块之间的差的绝对值之和，作为相关值，并将其输出，作为差图像间相关数据。

该图像处理设备还可以包括：分离装置，用于：根据混合比，从像素数据中分离出至少一个前景对象。

该图像处理设备还可以包括：运动模糊调整装置，用于：根据运动向量，调整分离前景对象的运动模糊量。

该图像处理设备还可以包括：噪声消除装置，用于：根据运动向量，消除分离前景对象的噪声。

根据本发明的第四图像处理设备包括：权重信息生成装置，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；加权差图像数据计算装置，用于：根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；运动向量信息生成装置，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；加权差图像间相关数据计算装置，用于：根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及检测装置，用于：针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

加权差图像间相关数据计算装置，根据运动向量信息所指示的运动向量，至少可以匹配感兴趣帧的加权差图像数据、感兴趣帧之前的帧的加权差图像数据、和感兴趣帧之后的帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块、由前一帧的加权差图像数据的至少一个像素组成的相对应块、和由后一帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据。

加权差图像间相关数据计算装置，可以计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的差的绝对值，作为相关值，并将其输出，作为加权差图像间相关数据。

加权差图像间相关数据计算装置，可以计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的差的绝对值之和，作为相关值，并将其输出，作为加权差图像间相关数据。

加权差图像数据计算装置，在感兴趣帧的像素属于沿着前景中对象的运动方向在首端形成且本身是多个对象相混合的混合区的覆盖背景区的情况下，计算由感兴趣帧的每个像素与感兴趣帧之前的帧的每个像素之间的权重信息所指示的权重引起的加权差，而在感兴趣帧的像素属于沿着前景中对象的运动方向在末端形成且本身是多个对象相混合的混合区的未覆盖背景区的情况下，计算由感兴趣帧的每个像素与感兴趣帧之后的帧的每个像素之间的权重信息所指示的权重引起的加权差。

该图像处理设备还可以包括：区域信息生成装置，用于：指定图像数据中由形成多个对象的前景的对象组成的前景区域、图像数据中由形成多个对象的背景的对象组成的背景区、本身是多个对象相混合的混合区且沿着前景对象的运动方向在首端形成的覆盖背景区、和本身是多个对象相混合的混合区且沿着前景对象的运动方向在末端形成的未覆盖背景区，和生成指示前景区、背景区、和包括覆盖背景区和未覆盖背景区的混合区的区域信息。

检测装置，可以检测属于多个对象相混合的混合区的、感兴趣帧的像素的混合比。

该图像处理设备还可以包括：分离装置，用于：根据混合比，从像素数据中分离出来自多个对象的组成前景的至少一个对象。

该图像处理设备还可以包括：运动模糊调整装置，用于：调整组成分离前景的对象的运动模糊量。

该图像处理设备还可以包括：噪声消除装置，用于：根据运动向量，消除分离前景对象的噪声。

根据本发明的第四图像处理方法包括：权重信息生成步骤，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；加权差图像数据计算步骤，用于：根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；运动向量信息生成步骤，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；加权差图像间相关数据计算步骤，用于：根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及检测步骤，用于：针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

记录在根据本发明的第四记录介质上的程序包括：权重信息生成步骤，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；加权差图像数据计算步骤，用于：根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；运动向量信息生成步骤，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；加权差图像间相关数据计算步骤，用于：根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及检测步骤，用于：针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

根据本发明的第四程序使计算机执行：权重信息生成步骤，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；加权差图像数据计算步骤，用于：根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；运动向量信息生成步骤，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；加权差图像间相关数据计算步骤，用于：根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及检测步骤，用于：针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

根据本发明的第四图像拍摄设备包括：图像拍摄装置，用于：输出由具有时间积分效应的具有预定数目像素的图像拍摄设备拍摄的主体图像，作为由预定数目像素数据组成的图像数据；权重信息生成装置，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；加权差图像数据计算装置，用于：根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；运动向量信息生成装置，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；加权差图像间相关数据计算装置，用于：根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及检测装置，用于：针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

加权差图像间相关数据计算装置，根据运动向量信息所指示的运动向量，至少可以匹配感兴趣帧的加权差图像数据、感兴趣帧之前的帧的加权差图像数据、和感兴趣帧之后的帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块、由前一帧的加权差图像数据的至少一个像素组成的相对应块、和由后一帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据。

加权差图像间相关数据计算装置，可以计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的差的绝对值，作为相关值，并将其输出，作为加权差图像间相关数据。

加权差图像间相关数据计算装置，可以计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的差的绝对值之和，作为相关值，并将其输出，作为加权差图像间相关数据。

加权差图像数据计算装置，在感兴趣帧的像素属于沿着前景中对象的运动方向在首端形成且本身是多个对象相混合的混合区的覆盖背景区的情况下，计算由感兴趣帧的每个像素与感兴趣帧之前的帧的每个像素之间的权重信息所指示的权重引起的加权差，而在感兴趣帧的像素属于沿着前景中对象的运动方向在末端形成且本身是多个对象相混合的混合区的未覆盖背景区的情况下，计算由感兴趣帧的每个像素与感兴趣帧之后的帧的每个像素之间的权重信息所指示的权重引起的加权差。

该图像拍摄设备还可以包括：区域信息生成装置，用于：指定图像数据中由形成多个对象的前景的对象组成的前景区域、图像数据中由形成多个对象的背景的对象组成的背景区、本身是多个对象相混合的混合区且沿着前景对象的运动方向在首端形成的覆盖背景区、和本身是多个对象相混合的混合区且沿着前景对象的运动方向在末端形成的未覆盖背景区，和生成指示前景区、背景区、和包括覆盖背景区和未覆盖背景区的混合区的区域信息。

检测装置，可以检测属于多个对象相混合的混合区的、感兴趣帧的像素的混合比。

该图像拍摄设备还可以包括：分离装置，用于：根据混合比，从像素数据中分离出来自多个对象的组成前景的至少一个对象。

该图像拍摄设备还可以包括：运动模糊调整装置，用于：调整组成分离前景的对象的运动模糊量。

该图像拍摄设备还可以包括：噪声消除装置，用于：根据运动向量，消除分离前景对象的噪声。

根据本发明的第五图像处理设备包括：权重信息生成装置，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；加权差图像数据计算装置，用于：根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；运动向量信息生成装置，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；加权差图像间相关数据计算装置，用于：根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的多个像素组成的感兴趣块与由相邻帧的加权差图像数据的多个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及检测装置，用于：针对由加权差图像间相关数据的多个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

加权差图像数据计算装置，可以根据中心在图像数据的感兴趣帧的每个感兴趣像素上的多个像素组成的第二感兴趣块和由与图像数据的感兴趣帧相邻的相邻帧的多个像素组成的第二相对应块之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据，其中，与第二感兴趣块或第二相对应块的多个像素相对应的权重是常数；以及加权差图像间相关数据计算装置，可以根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算感兴趣帧的加权差图像数据的第一感兴趣块与相邻帧的加权差图像数据的第一相对应块之间的相关值，并将其输出，作为加权差图像间相关数据。

加权差图像数据计算装置，可以根据由中心在图像数据的感兴趣帧的每个感兴趣像素上的多个像素组成的第二感兴趣块和由与图像数据的感兴趣帧相邻的相邻帧的多个像素组成的第二相对应块之间的依次生成的权重信息所指示的、与多个像素的每个像素相对应的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；以及加权差图像间相关数据计算装置，可以根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算感兴趣帧的加权差图像数据的第一感兴趣块与相邻帧的加权差图像数据的第一相对应块之间的相关值，并将其输出，作为加权差图像间相关数据。

加权差图像数据计算装置，可以根据与每个像素的位置相对应、且与第二感兴趣块和第二相对应块之间的依次生成的权重信息所指示的多个像素的每个像素相对应不断改变的权重，来计算加权差，并将其输出，作为与感兴趣像素相对应的加权差图像数据。

检测装置，通过评估与加权差图像数据之间的相关值达到最大的第一感兴趣块内每个像素相对应的权重的连续性，可以检测多个权重和运动向量的最精确权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

根据本发明的第五图像处理方法包括：权重信息生成步骤，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；加权差图像数据计算步骤，用于：根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；运动向量信息生成步骤，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；加权差图像间相关数据计算步骤，用于：根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的多个像素组成的感兴趣块与由相邻帧的加权差图像数据的多个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及检测步骤，用于：针对由加权差图像间相关数据的多个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

记录在根据本发明的第五记录介质上的程序包括：权重信息生成步骤，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；加权差图像数据计算步骤，用于：根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；运动向量信息生成步骤，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；加权差图像间相关数据计算步骤，用于：根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的多个像素组成的感兴趣块与由相邻帧的加权差图像数据的多个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及检测步骤，用于：针对由加权差图像间相关数据的多个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

根据本发明的第五程序使计算机执行：权重信息生成步骤，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；加权差图像数据计算步骤，用于：根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；运动向量信息生成步骤，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；加权差图像间相关数据计算步骤，用于：根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的多个像素组成的感兴趣块与由相邻帧的加权差图像数据的多个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及检测步骤，用于：针对由加权差图像间相关数据的多个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

根据本发明的第五图像拍摄设备包括：图像拍摄装置，用于：输出由具有时间积分效应的具有预定数目像素的图像拍摄设备拍摄的主体图像，作为由预定数目像素数据组成的图像数据；权重信息生成装置，用于：生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和生成指示每个生成权重的权重的权重信息；加权差图像数据计算装置，用于：根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；运动向量信息生成装置，用于：生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息；加权差图像间相关数据计算装置，用于：根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的多个像素组成的感兴趣块与由相邻帧的加权差图像数据的多个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及检测装置，用于：针对由加权差图像间相关数据的多个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

加权差图像数据计算装置，可以根据中心在图像数据的感兴趣帧的每个感兴趣像素上的多个像素组成的第二感兴趣块和由与图像数据的感兴趣帧相邻的相邻帧的多个像素组成的第二相对应块之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据，其中，与第二感兴趣块或第二相对应块的多个像素相对应的权重是常数；以及加权差图像间相关数据计算装置，可以根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算感兴趣帧的加权差图像数据的第一感兴趣块与相邻帧的加权差图像数据的第一相对应块之间的相关值，并将其输出，作为加权差图像间相关数据。

加权差图像数据计算装置，可以根据由中心在图像数据的感兴趣帧的每个感兴趣像素上的多个像素组成的第二感兴趣块和由与图像数据的感兴趣帧相邻的相邻帧的多个像素组成的第二相对应块之间的依次生成的权重信息所指示的、与多个像素的每个像素相对应的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据；以及加权差图像间相关数据计算装置，可以根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算感兴趣帧的加权差图像数据的第一感兴趣块与相邻帧的加权差图像数据的第一相对应块之间的相关值，并将其输出，作为加权差图像间相关数据。

加权差图像数据计算装置，可以根据与每个像素的位置相对应、且与第二感兴趣块和第二相对应块之间的依次生成的权重信息所指示的多个像素的每个像素相对应不断改变的权重，来计算加权差，并将其输出，作为与感兴趣像素相对应的加权差图像数据。

检测装置，通过评估与加权差图像数据之间的相关值达到最大的第一感兴趣块内每个像素相对应的权重的连续性，可以检测多个权重和运动向量的最精确权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

根据与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的权重，来计算图像数据中感兴趣帧中的每个像素与图像数据中的与感兴趣帧相邻的相邻帧中的每个像素之间的加权差，将其输出，作为与感兴趣帧相对应的加权差图像数据，根据指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算包含感兴趣帧的加权差图像数据的每个感兴趣像素的感兴趣块与相邻帧的加权差图像数据的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据，并且，针对加权差图像间相关数据的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量的至少一个，在检测到权重的情况下，把权重设置成与感兴趣帧的增量相对应的混合比，而在检测到运动向量的情况下，把运动向量设置成与感兴趣帧的增量相对应的运动向量。

相应地，例如，可以检测到指示背景图像和运动对象的图像的混合比例的混合比，或者，在考虑了背景图像和运动对象的图像相混合的区域之后，可以检测到运动对象的运动向量。

生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的多个权重，和指示每个生成权重的权重的权重信息，根据权重信息所指示的权重，检测图像数据中感兴趣帧的每个像素与图像数据中的与感兴趣帧相邻的相邻帧的每个像素之间的加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据，根据指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据，并且，针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重，并将其输出，作为与感兴趣帧的增量相对应的混合比。

相应地，可以检测到，例如，指示诸如背景图像和运动对象的图像之类的多个对象的混合状态的混合比。

根据图像数据和区域信息，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区，并输出指示指定混合区的区域信息，估计指示属于混合区的像素数据中前景对象成分与背景对象成分之间的混合比例的混合比，生成多个估计运动向量，并输出已经生成的每个估计运动向量，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第一相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第一差图像数据，和根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第二相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第二差图像数据，根据估计运动向量，来匹配第一差图像数据和第二差图像数据的相对位置，计算由中心在与感兴趣帧的感兴趣像素相对应的第一差图像数据的像素上的至少一个像素组成的感兴趣块与由第二差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为差图像间相关数据，并且，根据差图像间相关数据，检测相关值达到最大的估计运动向量，并将其输出，作为与感兴趣帧的感兴趣像素相对应的运动向量。

相应地，例如，在考虑了诸如背景图像和运动对象图像之类的多个对象的混合之后，可以检测到更精确的运动向量。

生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和指示每个生成权重的权重的权重信息，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据，生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，生成指示生成运动向量的每一个的运动向量信息，根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据，并且针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

相应地，例如，可以检测到指示背景图像和运动对象的图像的混合比例的混合比，或者，在考虑了背景图像和运动对象的图像相混合的区域之后，可以检测到运动对象的运动向量。

生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，和指示每个生成权重的权重的权重信息，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据，生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，和生成指示生成运动向量的每一个的运动向量信息，根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的多个像素组成的感兴趣块与由相邻帧的加权差图像数据的多个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据，并且，针对由加权差图像间相关数据的多个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个。

相应地，例如，可以检测到指示背景图像和运动对象的图像的混合比例的混合比，或者，在考虑了背景图像和运动对象的图像相混合的区域之后，可以检测到运动对象的运动向量。

附图说明

图1是说明信号处理装置的配置例子的方框图；

图2是说明信号处理装置的方框图；

图3是描述传感器进行图像拍摄的图；

图4是描述像素的排列的图；

图5是描述检测器件的操作的图；

图6A是描述拍摄与运动前景相对应的对象、和与静止背景相对应的对象的图像获得的图像的图；

图6B是描述与拍摄与运动前景相对应的对象、和与静止背景相对应的对象的图像获得的图像相对应的模型的图；

图7是描述背景区、前景区、混合区、覆盖背景区、和未覆盖背景区的图；

图8是沿着时间方向展开与静止前景相对应的对象和与静止背景相对应的对象经历图像拍摄的图像中，一个接一个排列成一行的像素的像素值的模型图；

图9是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；

图10是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；

图11是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；

图12是说明前景区、背景区和混合区的提取像素的例子的图；

图13是说明像素如何与沿着时间方向展开像素值的模型相对应的图；

图14是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；

图15是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；

图16是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；

图17是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；

图18是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；

图19是描述调整运动模糊量的处理的流程图；

图20是说明区域指定单元103的配置的方框图；

图21是描述与前景相对应的对象正在移动的图像的图；

图22是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；

图23是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；

图24是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；

图25是描述区域判断的条件的图；

图26A是说明区域指定单元103所作的区域指定的结果的例子的图；

图26B是说明区域指定单元103所作的区域指定的结果的例子的图；

图26C是说明区域指定单元103所作的区域指定的结果的例子的图；

图26D是说明区域指定单元103所作的区域指定的结果的例子的图；

图27是说明区域指定单元103所作的区域指定的结果的例子的图；

图28是描述区域指定的处理的流程图；

图29是说明区域指定单元103的另一种配置的方框图；

图30是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；

图31是说明背景图像的例子的图；

图32是说明二进制对象图像提取单元302的配置的方框图；

图33A是描述相关值的计算的图；

图33B是描述相关值的计算的图；

图34A是描述相关值的计算的图；

图34B是描述相关值的计算的图；

图35是说明二进制对象图像的例子的图；

图36是说明时间变化检测单元303的配置的方框图；

图37是描述区域判断单元342的判断的图；

图38是说明时间变化检测单元303所作的判断的例子的图；

图39是描述区域判断单元103进行区域指定的处理的流程图；

图40是详细描述区域指定的处理的流程图；

图41是说明区域指定单元103的又一种配置的方框图；

图42是描述强化单元361的配置的方框图；

图43是描述运动补偿单元381的运动补偿的图；

图44是描述运动补偿单元381的运动补偿的图；

图45是描述区域指定的处理的流程图；

图46是描述强化处理的细节的流程图；

图47是说明混合比计算单元104的配置的方框图；

图48是说明估计混合比处理单元401的配置的方框图；

图49是沿着时间方向展开像素值和分割与快门时间相对应的间隔的模型图；

图50是描述加权差的图；

图51是描述加权差的图；

图52是描述加权差与运动向量之间的关系的模型图；

图53是描述相关值的计算的模型图；

图54A是说明作为计算相关值的对象的像素块的例子的图；

图54B是说明作为计算相关值的对象的像素块的例子的图；

图55是说明混合比计算单元104的另一种配置的方框图；

图56是描述计算混合比的处理的流程图；

图57是描述与覆盖背景区相对应的混合比估计的处理的流程图；

图58是说明前景/背景分离单元105的配置的例子的方框图；

图59A是说明输入图像、前景成分图像、和背景成分图像的图；

图59B是说明沿着时间方向展开包含属于与图59A相对应的前景区的像素、属于背景区的像素、和属于混合区的像素的一行像素的模型的图；

图60是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；

图61是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；

图62是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；

图63是说明分离单元601的配置例子的方框图；

图64A是说明分离前景成分图像的例子的图；

图64B是说明分离背景成分图像的例子的图；

图65是描述分离前景和背景的处理的流程图；

图66是说明运动模糊调整单元106的配置例子的方框图；

图67是描述处理增量的图；

图68是沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的时间间隔的模型图；

图69是沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的时间间隔的模型图；

图70是沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的时间间隔的模型图；

图71是沿着时间方向展开前景成分图像的像素值，和分割与快门时间相对应的时间间隔的模型图；

图72是说明运动模糊调整单元106的另一个配置例子的图；

图73是描述由运动模糊调整单元106调整包含在前景成分图像中的运动模糊的数量的处理的流程图；

图74是说明运动模糊调整单元106的另一个配置例子的图；

图75是说明指定像素值和前景成分如何对应的模型的图；

图76是描述计算前景成分的图；

图77是描述计算背景成分的图；

图78是描述消除前景运动模糊量的处理的流程图；

图79是说明信号处理装置的方框图；

图80是描述调整运动模糊量的处理的流程图；

图81是说明混合比计算单元2001的配置例子的方框图；

图82是说明理想混合比α的例子的图；

图83是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；

图84是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；

图85是描述利用前景成分的相关值进行近似计算的图；

图86是描述C、N、和P之间的关系的图；

图87是说明估计混合比处理单元2401的配置的方框图；

图88是说明估计混合比的例子的图；

图89是说明混合比计算单元2001的另一种配置的方框图；

图90是描述计算混合比的处理的流程图；

图91是描述计算估计混合比的处理的流程图；

图92是描述接近混合比α的直线的图；

图93是描述接近混合比α的平面的图；

图94是描述在计算混合比α的时候，多个帧中的像素如何对应的图；

图95是说明混合比估计处理单元401的另一种配置的方框图；

图96是说明估计混合比的例子的图；

图97通过与覆盖背景区相对应的模型进行混合比估计的处理的流程图；

图98是说明运动估计单元2002的配置的方框图；

图99是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；

图100是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；

图101是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；

图102是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；

图103是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；

图104是描述计算运动向量的处理的图；

图105A是描述用于计算相关值的模块的图；

图105B是描述用于计算相关值的模块的图；

图106是描述检测运动向量的处理的流程图；

图107是说明信号处理装置的方框图；

图108是描述调整运动模糊量的处理的流程图；

图109是描述同时检测单元3001的配置的方框图；

图110是说明估计混合比处理单元3041的配置的方框图；

图111是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；

图112是描述加权差图像数据的图；

图113是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；

图114是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；

图115是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；

图116是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；

图117是描述加权差图像相关数据的图；

图118是说明按块的估计混合比的例子的图；

图119是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；

图120是说明通过块的方式检测估计混合比的例子的图；

图121是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；

图122是说明通过块的方式检测估计混合比的例子的图；

图123是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；

图124是描述更精确估计混合比和估计运动向量的选择的图；

图125是描述更精确估计混合比和估计运动向量的选择的图；

图126是描述更精确估计混合比和估计运动向量的选择的图；

图127是描述更精确估计混合比和估计运动向量的选择的图；

图128是描述更精确估计混合比和估计运动向量的选择的图；

图129是说明同时检测单元3001的另一种配置的方框图；

图130是描述混合比α和运动向量检测的处理的流程图；

图131是描述混合比α和运动向量检测的处理的流程图；

图132是描述混合比α和运动向量检测的另一种处理的流程图；

图133是说明估计混合比处理单元3401的另一种配置的方框图；

图134是沿着时间方向展开像素值，和分割与快门时间相对应的时间间隔的模型图；

图135是描述混合比α和运动向量检测的又一种处理的流程图；

图136是说明信号处理装置的功能的另一种配置的方框图；

图137是说明合成单元4001的配置的图；

图138是说明信号处理装置的功能的又一种配置的方框图；

图139是说明混合比计算单元4101的配置的方框图；

图140是说明前景/背景分离单元4102的配置的方框图；

图141是说明信号处理装置的功能的又一种配置的方框图；

图142是说明合成单元4201的配置的图；

图143是说明信号处理装置的又一种配置的方框图；

图144是说明噪声消除单元4501的配置的方框图；

图145是描述信号处理装置消除噪声的处理的流程图；

图146是消除前景成分图像的噪声的处理的流程图；

图147是说明信号处理装置的功能的另一种配置的方框图；

图148是说明同时检测单元4601的配置的方框图；

图149是说明运动模糊调整单元4602的配置的方框图；

图150是说明信号处理装置的功能的又一种配置的方框图；以及

图151是描述消除噪声的处理的流程图。

具体实施方式

图1是说明根据本发明的信号处理装置的实施例的配置的方框图。中央处理单元(CPU)21按照存储在只读存储器(ROM)22或存储单元28中的程序，执行各种类型的处理。随机存取存储器(RAM)23合适地存储CPU 21执行的程序、和数据等。这些CPU 21、ROM 22、和RAM 23通过总线24相互连接。

通过总线24，CPU 21还与输入/输出接口25相连接。输入/输出接口25与诸如键盘、鼠标、麦克风等的输入单元26相连接，和与诸如显示器、扬声器等的输出单元27相连接。CPU 21与从输入单元26输入的指令相对应地进行各种类型的处理。然后，CPU 21把作为处理结果获得的图像、声音等输出到输出单元27。

与输入/输出接口25相连接的存储单元28包括，例如，硬盘，存储CPU21执行的程序、和各种类型的数据。通信单元29通过因特网(Internet)或其它网络与外部设备通信。在本例的情况中，通信单元29还用作获取来自传感器的输出的获取单元。

此外，可以作出这样的安排，其中，通过通信单元29获取程序，和将其存储在存储单元28中。

驱动器30与输入/输出接口25相连接，当把磁盘51、光盘52、磁光盘53、半导体存储器54等安装在驱动器30上时，驱动器30驱动它们，获取存储在存储单元中的程序和数据。如有必要，把获取的程序、数据等发送到存储单元28，存储在其中。

现在通过更加具体的例子描述指定包含有效信息的区域，和进行从用传感器获取的数据中提取包含的有效信息的处理的信号处理装置。在如下的例子中，电荷耦合器件(CCD)线传感器(line sensor)或CCD面传感器(areasensor)对应于传感器，区域信息或混合比对应于有效信息，以及前景和背景的混合或运动模糊对应于混合区内的失真。

图2是说明信号处理装置的方框图。

注意到信号处理装置的每种功能由硬件来实现还是由软件来实现是无关紧要的。也就是说，本说明书中的每个方框图不仅可以被当作硬件方框图，而且可以被当作软件功能方框图。

还注意到运动模糊指的是由于现实世界中作为图像拍摄对象的对象的移动或由于传感器的拍摄特性引起的、包含在与运动图像相对应的图像中的失真。

在本说明书中，与现实世界中作为与图像拍摄对象的对象相对应的图像被称为图像对象。

把提供给信号处理装置的输入图像提供给对象提取单元101、区域指定单元103、混合比计算单元104、和前景/背景分离单元105。

对象提取单元101粗略提取包含在输入图像中的与前景对象相对应的图像对象，并且把提取的图像对象供应给运动检测单元102。例如，对象提取单元101通过检测包含在输入图像中的与前景对象相对应的图像对象的轮廓，粗略提取与前景对象相对应的图像对象。

对象提取单元101粗略提取与包含在输入图像中的背景对象相对应的图像对象，并且把提取的图像对象供应给运动检测单元102。例如，对象提取单元101通过输入图像和与提取前景对象相对应的图像对象之间的差异，粗略提取与背景对象相对应的图像对象。

此外，例如，可以作出这样的安排，其中，对象提取单元101根据存储在配备在其中的背景存储器中的背景图像与输入图像之间的差异，粗略提取与前景对象相对应的图像对象和与背景对象相对应的图像对象。

运动检测单元102通过诸如块匹配、分级、相位关联、和像素递归等的技术，计算与粗略提取的前景对象相对应的运动向量，把计算的运动向量和运动向量位置信息(指定与运动向量相对应的像素位置的信息)提供给区域指定单元103、混合比计算单元104、和运动模糊调整单元106。

从运动检测单元102输出的运动向量包括与运动量v相对应的信息。

此外，例如，可以作出这样的安排，其中，把每个图像对象的运动向量，以及指定与图像对象有关的像素的像素位置信息输出到运动模糊调整单元106。

运动量v是代表与运动对象相对应的图像的位置随着像素间隔的增加而改变的量。例如，如果与前景相对应的对象图像发生移动，致使被显示在相对于作为基准的给定帧的下一个帧中偏离4个像素的位置上，那么，与前景相对应的对象的图像的运动量v是4。

注意到如果调整与运动对象相对应的运动模糊量，那么，需要对象提取单元101和运动检测单元102。

区域指定单元103把输入图像的每一个像素分入前景区、背景区、或混合区之一中，并且把指示每个像素属于前景区、背景区、或混合区中的哪一个的信息提供给混合比计算单元104、前景/背景分离单元105、和运动模糊调整单元106。

混合比计算单元101根据输入图像、和从区域指定单元103供应的区域信息，计算与包含在混合区63中的像素相对应的混合比(下文称之为混合比α)，并且把与包含在混合区内的像素相对应的计算混合比供应给前景/背景分离单元105。

混合比α是代表与具有如下面所述的表达式(3)所指示的像素值的背景对象(下文也称之为背景成分)相对应的图像成分的比例的值。

根据从区域指定单元103供应的区域信息、和从混合比计算单元104供应的混合比α，前景/背景分离单元105把输入图像分离成只由与前景对象(下文也称之为前景成分)相对应的图像成分组成的前景成分图像、和只由背景成分组成的背景成分图像，并且把前景成分图像供应给运动模糊调整单元106和选择单元107。注意到也可以作出使分离的前景成分图像成为最终输出的安排。与只指定和分离前景和背景，而不考虑混合区的传统方法相比，可以获得更精确的前景和背景。

运动模糊调整单元106根据从运动向量导出的运动量v、和区域信息，决定指示包含在前景成分图像中的一个或多个像素的处理增量。处理增量是指示作为对运动模糊值进行调整处理的对象的一组像素的数据。

根据输入到信号处理装置的运动模糊调整量、从前景/背景分离单元105提供的前景成分图像、和从运动检测单元102提供的运动向量、及其位置信息、和处理增量，运动模糊调整单元106调整包含在前景成分图像中的运动模糊量，例如，消除、减少或增加包含在前景成分图像中的运动模糊量，并且把已经经过运动模糊量调整的前景成分图像输出到选择单元107。可以作出不使用运动向量和位置信息的安排。

选择单元107选择从前景/背景分离单元105供应的前景成分图像，或从运动模糊调整单元106供应的、已经经过运动模糊量调整的前景成分图像之一，输出所选的前景成分图像。

现在参照图3到图18描述供应给信号处理装置的输入图像。

图3是描述传感器进行图像拍摄的图。传感器包括CCD视频摄像机等，例如，CCD视频摄像机等包括作为固态图像拍摄器件的CCD(电荷耦合器件)面传感器。例如，在该图中，现实世界中与前景相对应的对象111在现实世界中与背景相对应的对象112与传感器之间，沿着水平方向从左边移动到右边。传感器拍摄与前景相对应的对象111，以及与背景相对应的对象112的图像。例如，传感器每秒输出30帧的图像。在这种情况下，传感器的曝光间隔是1/30秒。曝光间隔代表传感器开始把输入光转换成电荷直到把输入光转换成电荷结束之间的间隔。曝光间隔在下文也被称为快门间隔。

图4是描述像素的排列的图。在图4中，A到I表示各个像素。这些像素排列在与图像相对应的平面上。在传感器上布置着与像素一一对应的检测元件。一旦传感器拍摄图像，一个检测元件输出与组成图像的一个像素相对应的像素值。例如，检测元件的X方向的位置对应于图像上水平方向的位置，而检测元件的Y方向的位置对应于图像上垂直方向的位置。

例如，如图5所示，CCD的检测元件在与快门间隔相对应的间隔内把输入光转换成电荷，并且累积转换电荷。电荷量基本上与输入光的强度和输入光的间隔成正比。检测元件在与快门间隔相对应的间隔中，把从输入光转换而来的电荷加入累加电荷中。也就是说，检测元件在与快门间隔相对应的间隔中，积分输入光，并且累积与积分光相对应的电荷量。也可以认为，检测元件具有对时间的积分效应。

在检测元件中累积的电荷由图中未示出的电路转换成电压值，再把电压值转换成诸如数字数据等的像素值，然后输出它。因此，从传感器输出的各个像素值具有投影在一维空间中的值，这来源于：具有与前景或背景相对应的对象的空间广延的给定部分在快门间隔内积分的结果。

信号处理装置提取由于传感器这样的累积操作而隐埋在输出信号中的有效信息，例如，混合比α。信号处理装置调整由于前景图像对象本身的混合造成的失真量，例如，运动模糊量。此外，信号处理装置调整由于前景图像对象与背景图像对象的混合造成的失真量。

图6A说明了拍摄与运动前景相对应的对象、和与静止对象相对应的对象的图像获得的图像。对于图6A所示的例子，与前景相对应的对象在屏幕上沿着水平方向从左边移动到右边。

图6B是与图6A所示的图像的一行相对应的像素值沿着时间方向展开的模型图。图6B中的水平方向对应于图6A中的空间X方向。

背景区中的像素只由背景成分，即，与背景对象相对应的图像成分组成。前景区中的像素只由前景成分，即，与前景对象相对应的图像成分组成。

混合区内的像素值由背景成分和前景成分组成。由于混合区内的像素由背景成分和前景成分组成，因此，也可以认为混合区是失真区。混合区进一步分为覆盖背景区和未覆盖背景区。

覆盖背景区是关于前景区，沿着前景对象的前进方向，与领先部分相对应的位置上的混合区，因此，是背景成分被与时间的流逝相对应的前景覆盖的区域。

相反，未覆盖背景区是关于前景区，沿着前景对象的前进方向，与尾随部分相对应的位置上的混合区，因此，是背景成分随着时间的流逝而出现的区域。

如上所述，包括前景区、背景区、覆盖背景区、和未覆盖背景区的图像被当作输入图像输入到区域指定单元103、混合比计算单元104、和前景/背景分离单元105。

图7是描述如上所述的背景区、前景区、混合区、覆盖背景区、和未覆盖背景区的图。在与图6所示的图像相对应的情况下，背景区是静止部分，前景区是运动部分，混合区的覆盖背景区是从背景变成前景的部分，和混合区的未覆盖背景区是从前景变成背景的部分。

图8是沿着时间方向展开的对与静止前景相对应的对象和与静止背景相对应的对象进行拍摄所得的图像中，一个接一个排列成一行的像素的像素值的模型图。例如，可以选择屏幕中排列在一行上的像素，作为一个接一个排列成一行的像素。

图8所示的像素F01到F04是与静止前景对象相对应的像素的像素值。图8所示的像素值B01到B04是与静止背景对象相对应的像素的像素值。

图8中的垂直方向代表时间在图中自上而下的流逝。图8中长方形的上侧位置对应于传感器开始把输入光转换成电荷的时刻，而图8中长方形的下侧位置对应于传感器结束把输入光转换成电荷的时刻。也就是说，图8中从长方形的上侧到下侧的距离对应于快门间隔。

下面通过举例的方式描述快门间隔等于帧间隔的安排。

图8中的水平方向对应于在图6中的所述的空间方向X。更具体地说，如图8中的例子所示，从用“F01”表示的长方形的左侧到用“B04”表示的长方形的右侧的距离是像素间距的8倍长，也就是说，对应于8个连续像素的间隔。

在前景对象和背景对象保持静止的情况下，输入到传感器的光在与快门间隔相对应的间隔内不会发生改变。

现在，把与快门间隔相对应的间隔分割成长度相等的两个或更多个间隔。例如，在实际分割数是4的情况下，图8所示的模型图可以用图9所示的模型图来表示。与快门间隔内与前景相对应的对象的运动量v等相对应地设置实际分割数。例如，与运动量v为4相对应，实际分割数是4，并且把与快门间隔相对应的间隔分割成4个间隔。

图中的最上行对应于从打开快门开始的第1个分间隔。图中从顶行算起的第2行对应于从打开快门开始的第2个分间隔。图中从顶行算起的第3行对应于从打开快门开始的第3个分间隔。图中从顶行算起的第4行对应于从打开快门开始的第4个分间隔。

与运动量v相对应的分快门间隔在下文中也被称为快门间隔/v。

在与前景相对应的对象保持静止的情况下，由于输入传感器的光不发生改变，前景成分F01/v等于像素值F01除以实际分割数所得的值。类似地，在与前景相对应的对象保持静止的情况下，前景成分F02/v等于像素值F02除以实际分割数所得的值，前景成分F03/v等于像素值F03除以实际分割数所得的值，和前景成分F04/v等于像素值F04除以实际分割数所得的值。

在与背景相对应的对象保持静止的情况下，由于输入传感器的光不发生改变，背景成分B01/v等于像素值B01除以实际分割数所得的值。类似地，在与背景相对应的对象保持静止的情况下，背景成分B02/v等于像素值B02除以实际分割数所得的值，背景成分B03/v等于像素值B03除以实际分割数所得的值，和背景成分B04/v等于像素值B04除以实际分割数所得的值。

也就是说，在与前景相对应的对象保持静止的情况下，由于在与快门间隔相对应的间隔内，输入传感器的、与前景对象相对应的光不发生改变，因此，与从快门打开算起的第1快门间隔/v相对应的前景成分F01/v、与从快门打开算起的第2快门间隔/v相对应的前景成分F01/v、与从快门打开算起的第3快门间隔/v相对应的前景成分F01/v、和与从快门打开算起的第4快门间隔/v相对应的前景成分F01/v是相同的。F02/v到F04/v具有与F01/v相同的关系。

在与背景相对应的对象保持静止的情况下，由于在与快门间隔相对应的间隔内，输入传感器的、与背景对象相对应的光不发生改变，因此，与从快门打开算起的第1快门间隔/v相对应的背景成分B01/v、与从快门打开算起的第2快门间隔/v相对应的背景成分B01/v、与从快门打开算起的第3快门间隔/v相对应的背景成分B01/v、和与从快门打开算起的第4快门间隔/v相对应的背景成分B01/v是相同的。B02/v到B04/v具有与B01/v相同的关系。

现在将描述在与对背景相对应的对象保持静止的同时，与前景相对应的对象发生移动的情况。

图10是在与前景相对应的对象在图中朝着右侧移动的情况下，沿着时间方向展开的包括覆盖背景区的一行上的像素的像素值的模型图。在图10中，前景的运动量v是4。由于一个帧是一个短间隔，因此，可以假设与前景相对应的对象是一个刚体，并作恒速运动。在图10中，与前景相对应的对象图像发生移动，致使被显示在相对于给定帧的下一个帧中向右4个像素的位置上。

在图10中，最左边像素到从左边算起第4个像素属于前景区。在图10中，从最左算起第5个像素到第7个像素属于混合区的覆盖背景区。在图10中，最右边像素属于背景区。

由于与前景相对应的对象发生移动，致使随着时间的流逝掩藏了与背景相对应的对象，因此，在与快门间隔相对应的间隔的某个点上，包含在属于覆盖背景区的像素的像素值中的成分从背景成分变成前景成分。

例如，图10中用粗线帧显示的像素值M由表达式(1)表示：

M＝B02/v+B02/v+F07/v+F06/v                        (1)

例如，由于从左边算起第5个像素包括与一个快门间隔/v相对应的背景成分和与三个快门间隔/v相对应的前景成分，从左边算起第5个像素的混合比α是1/4。由于从左边算起第6个像素包括与二个快门间隔/v相对应的背景成分和与二个快门间隔/v相对应的前景成分，从左边算起第6个像素的混合比α是1/2。由于从左边算起第7个像素包括与三个快门间隔/v相对应的背景成分和与一个快门间隔/v相对应的前景成分，从左边算起第7个像素的混合比α是3/4。

由于可以假设与前景相对应的对象是刚体和前景图像作恒速运动，致使被显示在下一个帧中向右4个像素的位置上，所以，例如，图10中从左边算起第4个像素从快门打开算起的第1快门间隔/v的前景成分F07/v等于图10中与从左边算起第5个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，F07/v分别等于图10中与从左边算起第6个像素从快门打开算起的第3快门间隔/v相对应的前景成分、和图10中与从左边算起第7个像素从快门打开算起的第4快门间隔/v相对应的前景成分。

由于可以假设与前景相对应的对象是刚体和前景图像作恒速运动，致使被显示在下一个帧中向右4个像素的点上，所以，例如，图10中从左边算起第3个像素从快门打开算起的第1快门间隔/v的前景成分F06/v等于图10中与从左边算起第4个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F06/v分别等于图10中与从左边算起第5个像素从快门打开算起的第3快门间隔/v相对应的前景成分、和图10中与从左边算起第6个像素从快门打开算起的第4快门间隔/v相对应的前景成分。

可以假设：由于与前景相对应的对象是刚体和前景图像作恒速运动，致使被显示在下一个帧中向右4个像素的位置上，所以，例如，图10中从左边算起第2个像素从快门打开算起的第1快门间隔/v的前景成分F05/v等于图10中与从左边算起第3个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F05/v分别等于图10中与从左边算起第4个像素从快门打开算起的第3快门间隔/v相对应的前景成分、和图10中与从左边算起第5个像素从快门打开算起的第4快门间隔/v相对应的前景成分。

由于可以假设与前景相对应的对象是刚体和前景图像作恒速运动，致使被显示在下一个帧中向右4个像素的位置上，所以，例如，图10中从与最左边像素从快门打开算起的第1快门间隔/v相对应的前景成分F05/v等于图10中与从左边算起第2个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F04/v分别等于图10中与从左边算起第3个像素从快门打开算起的第3快门间隔/v相对应的前景成分、和图10中与从左边算起第4个像素从快门打开算起的第4快门间隔/v相对应的前景成分。

如上所述，与运动对象相对应的前景区包括运动模糊，因此，可以认为这是失真区。

图11是在前景在图中朝着右侧移动的情况下，沿着时间方向展开的包括未覆盖背景区的一行上的像素的像素值的模型图。在图11中，前景的运动量v是4。由于一个帧是一个短间隔，因此，可以假设与前景相对应的对象是一个刚体，并作恒速运动。在图11中，与前景相对应的对象图像在相对于给定帧的下一个帧中向右边移动了4个像素。

在图11中，最左边像素到从左边算起第4个像素属于背景区。在图11中，从最左算起第5个像素到第7个像素属于未覆盖背景的混合区。在图11中，最右边像素属于前景区。

由于与已经掩藏了与背景相对应的对象的前景相对应的对象发生移动，致使随着时间的流逝从与背景相对应的对象的前面移走，因此，在与快门间隔相对应的间隔的某个点上，包含在属于未覆盖背景区的像素的像素值中的成分从前景成分变成背景成分。

例如，图11中用粗线帧表示的像素值M′由表达式(2)表示：

M′＝F02/v+F01/v+B26/v+B26/v                         (2)

例如，由于从左边算起第5个像素包括与三个快门间隔/v相对应的背景成分和与一个快门间隔/v相对应的前景成分，从左边算起第5个像素的混合比α是3/4。由于从左边算起第6个像素包括与二个快门间隔/v相对应的背景成分和与二个快门间隔/v相对应的前景成分，从左边算起第6个像素的混合比α是1/2。由于从左边算起第7个像素包括与一个快门间隔/v相对应的背景成分和与三个快门间隔/v相对应的前景成分，从左边算起第7个像素的混合比α是1/4。

并且，推广表达式(1)和表达式(2)，像素值M由表达式(3)表示：

$M=\mathrm{\α}\·B+\underset{i}{\mathrm{\Σ}}\mathrm{Fi}/v---\left(3\right)$

这里，α表示混合比。B表示背景的像素值，和Fi/v表示前景成分。

由于可以假设与前景相对应的对象是刚体并作恒速运动，和运动量v是，例如，4，因此，图11中从左边算起第5个像素从快门打开算起的第1快门间隔/v的前景成分F01/v等于图11中与从左边算起第6个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，F01/v分别等于图10中与从左边算起第7个像素从快门打开算起的第3快门间隔/v相对应的前景成分、和图11中与从左边算起第8个像素从快门打开算起的第4快门间隔/v相对应的前景成分。

由于可以假设与前景相对应的对象是刚体并作恒速运动，和实际分割数是4，所以，例如，图11中从左边算起第6个像素从快门打开算起的第1快门间隔/v的前景成分F02/v等于图11中与从左边算起第7个像素从快门打开算起的第2快门间隔/v相对应的前景成分。类似地，前景成分F07/v等于图11中与从左边算起第8个像素从快门打开算起的第3快门间隔/v相对应的前景成分。

由于可以假设与前景相对应的对象是刚体并作恒速运动，和运动量是4，所以，例如，图11中从左边算起第7个像素从快门打开算起的第1快门间隔/v的前景成分F03/v等于图11中与从左边算起第8个像素从快门打开算起的第2快门间隔/v相对应的前景成分。

尽管在图9到图11的描述中描述了实际分割数是4的情况，但是，实际分割数对应于运动量v。运动量v一般对应于与前景相对应的对象的运动速度。例如，在与前景相对应的对象发生移动，致使被显示在相对于给定帧的下一帧中向右4个像素的位置上的情况下，运动量v是4。与运动量v相对应，实际分割数也是4。类似地，例如，在与前景相对应的对象发生移动，致使被显示在相对于给定帧的下一帧中向右6个像素的位置上的情况下，运动量v是6，实际分割数也是6。

图12和图13与分快门间隔相对应地说明了前景区、背景区和由覆盖背景区和未覆盖背景区组成的混合区之间的关系，和前景成分和背景成分。

图12说明了从包括与在静止背景的前面移动的对象相对应的前景的图像中提取前景区、背景区、和混合区的像素的例子。在图12所示的例子中，与A所表示的前景相对应的对象在屏幕上沿着水平方向移动。

帧#n+1是接在帧#n之后的帧，和帧#n+2是接在帧#n+1之后的帧。

图13说明了从帧#n到帧#n+2之一中提取前景区、背景区、和混合区的像素，和沿着时间方向展开提取像素的像素值的模型，其中，运动量v是4。

由于与前景相对应的对象发生移动，前景区的像素值由与快门间隔/v的间隔相对应的4个不同前景成分组成。例如，图13所示的前景区的像素的最左边像素由F01/v、F02/v、F03/v、和F04/v组成。也就是说，前景区的像素包含了运动模糊。

由于与背景相对应的对象保持静止，因此，输入传感器的、与背景相对应的光在与快门间隔相对应的间隔内不发生改变。在这种情况下，背景区的像素值不包含运动模糊。

属于由覆盖背景区或未覆盖背景区组成的混合区的像素的像素值由前景成分和背景成分组成。

接下来，描述在与对象相对应的图像发生移动的情况下，沿着时间方向展开的在多个帧的单行上一个接一个排列的和在这些帧中的同一位置上的像素的像素值的模型。例如，在与对象相对应的图像在屏幕上沿着水平方向移动的情况下，可以选择排列在单行上的像素，作为沿着单行一个接一个排列的像素。

图14是沿着时间方向展开的在拍摄与静止背景相对应的对象所得的图像的三个帧的单行上一个接一个排列的和在这些帧中的同一位置上的像素的模型图。帧#n是接在#n-1之后的帧，和帧#n+1是接在#n之后的帧。其它帧用相同的方式表示。

图14所示的B01到B12的像素值是与静止背景的对象相对应的像素的像素值。由于与背景相对应的对象保持静止，因此，在帧#n-1到帧#n+1中，相对应的像素的像素值不发生改变。例如，在与帧#n-1中具有像素值B05相对应的位置上帧#n中的像素和帧#n+1中的像素分别具有像素值B05。

图15是沿着时间方向展开的在拍摄与图中向右移动的前景相对应的对象，以及与静止背景相对应的对象所得的图像的三个帧的单行上一个接一个排列的和在这些帧中的同一位置上的像素的像素值的模型图。图15所示的模型包括覆盖背景区。

由于在图15中可以假设与前景相对应的对象是刚体并作恒速运动，且前景图像发生移动，致使被显示在下一个帧中向右4个像素的位置上，因此，前景运动量v是4，且实际分割数也是4。

例如，图15中的帧#n-1的最左边像素从快门打开算起的第1快门间隔/v的前景成分是F12/v，图15中从左边算起第2个像素从快门打开算起的第2快门间隔/v的前景成分也是F12/v。图15中从左边算起第3个像素从快门打开算起的第3快门间隔/v的前景成分，和图15中从左边算起第4个像素从快门打开算起的第4快门间隔/v的前景成分都是F12/v。

图15中的帧#n-1中的最左边像素从快门打开算起的第2快门间隔/v的前景成分是F11/v，且图15中从左边算起第2个像素从快门打开算起的第3快门间隔/v的前景成分也是F11/v。图15中从左边算起第3个像素从快门打开算起的第4快门间隔/v的前景成分是F11/v。

图15中的帧#n-1中的最左边像素从快门打开算起的第3快门间隔/v的前景成分是F10/v，且图15中从左边算起第2个像素从快门打开算起的第4快门间隔/v的前景成分也是F10/v。图15中的帧#n-1中的最左边像素从快门打开算起的第4快门间隔/v的前景成分是F09/v。

由于与背景相对应的对象保持静止，图15中的帧#n-1中从左边算起第2个像素从快门打开算起的第1快门间隔/v的背景成分是B01/v。图15中的帧#n-1中从左边算起第3个像素从快门打开算起的第1和第2快门间隔/v的背景成分都是B02/v。图15中的帧#n-1中从左边算起第4个像素从快门打开算起的第1到第3快门间隔/v的背景成分B03/v

在图15中的帧#n-1中，最左边属于前景区，和从左边算起第2个到第4个像素属于覆盖背景区的混合区。

在图15中的帧#n-1中从左边算起的第5个像素到第12个像素属于背景区，和其像素值分别是F04到F11。

在图15中的帧#n中从左边算起的第1个像素到第5个像素属于前景区。在帧#n中的前景区中快门间隔/v的前景成分是F05/v到F12/V之一。

由于可以假设与前景相对应的对象是刚体并作恒速运动，且前景图像发生移动，致使被显示在下一个帧中向右4个像素的位置上，因此，图15中的帧#n中从左边算起第5个像素从快门打开算起的第1快门间隔/v的前景成分是F12/v。图15中从左边算起第6个像素从快门打开算起的第2快门间隔/v的前景成分也是F12/v。图15中从左边算起第7个像素从快门打开算起的第3快门间隔/v的前景成分、和图15中从左边算起第8个像素从快门打开算起的第4快门间隔/v的前景成分都是F12/v。

图15中的帧#n中从左边算起第5个像素从快门打开算起的第2快门间隔/v的前景成分是F11/v，且图15中从左边算起第6个像素从快门打开算起的第3快门间隔/v的前景成分也是F11/v。图15中从左边算起第7个像素从快门打开算起的第4快门间隔/v的前景成分是F11/v。

图15中的帧#n中从左边算起第5个像素从快门打开算起的第3快门间隔/v的前景成分是F10/v，且图15中从左边算起第6个像素从快门打开算起的第4快门间隔/v的前景成分也是F10/v。图15中从左边算起第5个像素从快门打开算起的第4快门间隔/v的前景成分是F09/v。

由于与背景相对应的对象保持静止，图15中的帧#n中从左边算起第6个像素从快门打开算起的第1快门间隔/v的背景成分是B05/v。图15中的帧#n中从左边算起第7个像素从快门打开算起的第1和第2快门间隔/v的背景成分都是B06/v。图15中的帧#n中从左边算起第8个像素从快门打开算起的第1到第3快门间隔/v的背景成分B07/v

在图15中的帧#n中，从左边算起第6个到第8个像素属于覆盖背景区的混合区。

在图15中的帧#n中从左边算起的第9个像素到第12个像素属于背景区，和像素值分别是B08到B11。

在图15中的帧#n+1中从左边算起的第1个到第9个像素属于前景区。在帧#n+1中的前景区中快门间隔/v的前景成分是F01/v到F12/V之一。

由于可以假设与前景相对应的对象是刚体并作恒速运动，且前景图像发生移动，致使被显示在下一个帧中向右边4个像素的位置上，因此，图15中的帧#n+1中从左边算起第9个像素从快门打开算起的第1快门间隔/v的前景成分是F12/v，且图15中从左边算起第10个像素从快门打开算起的第2快门间隔/v的前景成分也是F12/v。图15中从左边算起第11个像素从快门打开算起的第3快门间隔/v的前景成分、和图15中从左边算起第12个像素从快门打开算起的第4快门间隔/v的前景成分都是F12/v。

图15中的帧#n+1中从左边算起第9个像素从快门打开算起的第2快门间隔/v的前景成分是F11/v，且图15中从左边算起第10个像素从快门打开算起的第3快门间隔/v的前景成分也是F11/v。图15中从左边算起第11个像素从快门打开算起的第4快门间隔/v的前景成分是F11/v。

图15中的帧#n+1中从左边算起第9个像素从快门打开算起的第3快门间隔/v的前景成分是F10/v，且图15中从左边算起第10个像素从快门打开算起的第4快门间隔/v的前景成分也是F10/v。图15中从左边算起第9个像素从快门打开算起的第4快门间隔/v的前景成分是F09/v。

由于与背景相对应的对象保持静止，图15中的帧#n+1中从左边算起第10个像素从快门打开算起的第1快门间隔/v的背景成分是B09/v。图15中的帧#n+1中从左边算起第11个像素从快门打开算起的第1和第2快门间隔/v的背景成分都是B10/v。图15中的帧#n+1中从左边算起第12个像素从快门打开算起的第1到第3快门间隔/v的背景成分B11/v

在图15中的帧#n+1中，从左边算起第10个到第12个像素属于覆盖背景区的混合区。

图16是从图15所示的像素值中提取前景成分的模型图。

图17是沿着时间方向展开的在拍摄与图中向右移动的对象相对应的前景，以及静止背景所得的图像的三个帧的单行上一个接一个排列的、和在这些帧中的同一位置上的像素的像素值的模型图。在图17中，模型图包括未覆盖背景区。

在图17中，可以假设与前景相对应的对象是刚体，并作恒速运动。由于与前景相对应的对象发生移动，致使被显示在下一个帧中向右边4个像素的位置上，因此，前景运动量v是4。

例如，图17中的帧#n-1的最左边像素从快门打开算起的第1快门间隔/v的前景成分是F13/v，图17中从左边算起第2个像素从快门打开算起的第2快门间隔/v的前景成分也是F13/v。图17中从左边算起第3个像素从快门打开算起的第3快门间隔/v的前景成分，和图17中从左边算起第4个像素从快门打开算起的第4快门间隔/v的前景成分都是F13/v。

图17中的帧#n-1中从左边算起第2个像素从快门打开算起的第1快门间隔/v的前景成分是F14/v，和图17中从左边算起第3个像素从快门打开算起的第2快门间隔/v的前景成分也是F14/v。图17中从左边算起第3个像素从快门打开算起的第1快门间隔/v的前景成分是F15/v。

由于与背景相对应的对象保持静止，图17中的帧#n-1中的最左边像素从快门打开算起的第2到4快门间隔/v的背景成分是B25/v。图17中的帧#n-1中从左边算起第2个像素从快门打开算起的第3和第4快门间隔/v的背景成分都是B26/v。图17中的帧#n-1中从左边算起第3个像素从快门打开算起的第4快门间隔/v的背景成分B27/v。

在图17中的帧#n-1中，最左边像素到第3个像素属于未覆盖背景区的混合区。

在图17中的帧#n-1中从左边算起的第4个像素到第12个像素属于前景区。帧中的前景成分是F13/v到F24/v之一。

在图17中的帧#n中最左边像素到从左边算起的第4个像素属于背景区，和像素值分别是B25到B28。

由于可以假设与前景相对应的对象是刚体并作恒速运动，且前景图像发生移动，致使被显示在下一个帧中向右4个像素的位置上，因此，图17中的帧#n中从左边算起第5个像素从快门打开算起的第1快门间隔/v的前景成分是F13/v，和图17中从左边算起第6个像素从快门打开算起的第2快门间隔/v的前景成分也是F13/v。图17中从左边算起第7个像素从快门打开算起的第3快门间隔/v的前景成分、和图17中从左边算起第8个像素从快门打开算起的第4快门间隔/v的前景成分都是F13/v。

图17中的帧#n中从左边算起第6个像素从快门打开算起的第1快门间隔/v的前景成分是F14/v，和图17中从左边算起第7个像素从快门打开算起的第2快门间隔/v的前景成分也是F14/v。图17中从左边算起第8个像素从快门打开算起的第1快门间隔/v的前景成分是F15/v。

由于与背景相对应的对象保持静止，图17中的帧#n中从左边算起第5个像素从快门打开算起的第2到第4快门间隔/v的背景成分是B29/v。图17中的帧#n中从左边算起第6个像素从快门打开算起的第3和第4快门间隔/v的背景成分都是B30/v。图17中的帧#n中从左边算起第7个像素从快门打开算起的第4快门间隔/v的背景成分B31/v

在图17中的帧#n中，从左边算起第5个到第7个像素属于未覆盖背景区的混合区。

在图18中的帧#n中从左边算起的第8个像素到第12个像素属于前景区。与帧#n中的前景区中快门间隔/v的间隔相对应的值是F13/v到F20/v之一。

在图17中的帧#n+1中的最左边像素到从左边算起的第8个像素属于背景区，和其像素值分别是B25到B32。

由于可以假设与前景相对应的对象是刚体并作恒速运动，且前景图像发生移动，致使被显示在下一个帧中向右边4个像素的位置上，因此，图17中的帧#n+1中从左边算起第9个像素从快门打开算起的第1快门间隔/v的前景成分是F13/v，和图17中从左边算起第10个像素从快门打开算起的第2快门间隔/v的前景成分也是F13/v。图17中从左边算起第11个像素从快门打开算起的第3快门间隔/v的前景成分、和图17中从左边算起第12个像素从快门打开算起的第4快门间隔/v的前景成分都是F13/v。

图17中的帧#n+1中从左边算起第10个像素从快门打开算起的第1快门间隔/v的前景成分是F14/v，和图17中从左边算起第11个像素从快门打开算起的第2快门间隔/v的前景成分也是F14/v。图17中从左边算起第12个像素从快门打开算起的第1快门间隔/v的前景成分是F15/v。

由于与背景相对应的对象保持静止，图17中的帧#n+1中从左边算起第9个像素从快门打开算起的第2到第4快门间隔/v的背景成分都是B33/v。图17中的帧#n+1中从左边算起第10个像素从快门打开算起的第3和第4快门间隔/v的背景成分都是B34/v。图17中的帧#n+1中从左边算起第11个像素从快门打开算起的第4快门间隔/v的背景成分B35/v

在图17中的帧#n+1中，从左边算起第9个到第11个像素属于未覆盖背景区的混合区。

图17中的帧#n+1中从左边算起的第12个像素属于前景区。在帧#n+1中的前景区中快门间隔/v的前景成分是F13/v到F16/v之一。

图18是从图17所示的像素值中提取前景成分的图像的模型图。

返回到图2，区域指定单元103利用多个帧中的像素值，将指示像素属于前景区、背景区、覆盖背景区或未覆盖背景区的标志与每一个像素相关联，并且把标志供应给混合比计算单元104和运动模糊调整单元106，作为区域信息。

混合比计算单元104根据多个帧中的像素值、和区域信息，为包含在混合区内的每一个像素计算混合比α，并且把计算的混合比α供应给前景/背景分离单元105。

前景/背景分离单元105，根据多个帧中的像素值、区域信息、和混合比α，提取只由前景成分组成的前景成分图像，并且供应给运动模糊调整单元106。

运动模糊调整单元106根据从前景/背景分离单元105供应的前景成分图像、从运动检测单元102供应的运动向量、和从区域指定单元103供应的区域信息，调整包含在前景图像中的运动模糊的数量，并且输出已经经过运动模糊调整的前景成分图像。

参照图19所示的流程图，来描述信号处理装置调整运动模糊量的处理。在步骤S11中，根据输入图像，区域指定单元103进行生成指示输入图像的每个像素属于前景区、背景区、覆盖背景区、或未覆盖背景区中的哪一个的区域信息的区域指定处理。区域指定处理将在稍后详细描述。区域指定单元103把生成的区域信息供应给混合比计算单元104。

注意到在步骤S11中，区域指定单元103可以根据输入图像，生成指示输入图像的每个像素属于前景区、背景区、或混合区(对覆盖背景区和未覆盖背景区不加以区分)的哪一个的区域信息。在这种情况下，前景/背景分离单元105和运动模糊调整单元106根据运动向量的方向，判断混合区是覆盖背景区还是未覆盖背景区。例如，在与运动向量的方向相对应，按照前景区、混合区、和背景区的顺序排列的情况下，作出混合区是覆盖背景区的判断，而在与运动向量的方向相对应，按照背景区、混合区、和前景区的顺序排列的情况下，作出混合区是未覆盖背景区的判断。

在步骤S12中，混合比计算单元104根据输入图像和区域信息，为包含在混合区内的每个像素计算混合比α。混合比计算的处理将在稍后详细描述。混合比计算单元104把计算的混合比α供应给前景/背景分离单元105。

在步骤S13中，前景/背景分离单元105，根据区域信息和混合比α，从输入图像中提取前景成分，并且将其作为前景成分图像供应给运动模糊调整单元106。

在步骤S14中，运动模糊调整单元106，为属于未覆盖背景区、前景区、或覆盖背景区之一的、沿着运动方向排列的像素生成指示在图像上的位置的处理增量，并且根据运动向量和区域信息，调整与处理增量相对应的包含在前景成分中的运动模糊量。调整运动模糊量的处理以后再加以描述。

在步骤S15中，信号处理装置判断整个图像的处理是否已经结束了，并且，在作出对整个图像的处理还没有结束的情况下，流程转到步骤S14，重复调整与处理增量相对应的前景成分的运动模糊量的处理。

在步骤S15中，在整个图像的处理已经结束的情况下，处理结束。

如上所述，信号处理装置，可以分离前景和背景，并且可以调整包含在前景中的运动模糊量。也就是说，信号处理装置，可以调整包含在前景的像素的像素值的取样数据中的运动模糊的数量。

下面将描述区域指定单元103、混合比计算单元104、前景/背景分离单元105、运动模糊调整单元106的配置。

图20是说明区域指定单元103的配置例子的方框图。其结构显示在图20中的区域指定单元103不使用运动向量。帧存储器201以一个帧一个帧递增的方式存储输入图像。在处理的对象是帧#n的情况下，帧存储器201存储比帧#n早2个帧的帧#n-2、比帧#n早1个帧的帧#n-1、帧#n、比帧#n晚1个帧的帧#n+1、和比帧#n晚2个帧的帧#n+2。

静止/运动判断单元202-1从帧存储器201中读出帧#n+2中，处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值、和帧#n+1中，处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值，并且计算读出像素值之间的差的绝对值。静止/运动判断单元202-1判断帧#n+2中的像素值与帧#n+1中的像素值之间的差的绝对值是否大于预定阈值Th，并且，在作出差值的绝对值大于阈值Th的判断的情况下，静止/运动判断单元202-1把指示运动的静止/运动判断结果供应给区域判断单元203-1。在作出帧#n+2中的像素值与帧#n+1中的像素值之间的差的绝对值小于等于阈值Th的判断的情况下，静止/运动判断单元202-1把指示“静止”的静止/运动判断结果供应给区域判断单元203-1。

静止/运动判断单元202-2从帧存储器201中读出帧#n+1中，处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值、和帧#n中作为对象的像素的像素值，并且计算像素值之间的差的绝对值。静止/运动判断单元202-2判断帧#n+1中的像素值与帧#n中的像素值之间的差的绝对值是否大于预定阈值Th，并且，在作出像素值之间的差的绝对值大于阈值Th的判断的情况下，把指示运动的静止/运动判断结果供应给区域判断单元203-1和区域判断单元203-2。在作出帧#n+1中的像素的像素值与帧#n中的像素的像素值之间的差的绝对值小于等于阈值Th的判断的情况下，静止/运动判断单元202-2把指示“静止”的静止/运动判断结果供应给区域判断单元203-1和区域判断单元203-2。

静止/运动判断单元202-3从帧存储器201中读出帧#n中，作为指定区域的对象的像素的像素值、和帧#n-1中，处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值，并且计算像素值之间的差的绝对值。静止/运动判断单元202-3判断帧#n中的像素值与帧#n-1中的像素值之间的差的绝对值是否大于预定阈值Th，并且，在作出像素值之间的差的绝对值大于阈值Th的判断的情况下，把指示运动的静止/运动判断结果供应给区域判断单元203-2和区域判断单元203-3。在作出帧#n中的像素的像素值与帧#n-1中的像素的像素值之间的差的绝对值小于等于阈值Th的判断的情况下，静止/运动判断单元202-3把指示“静止”的静止/运动判断结果供应给区域判断单元203-1和区域判断单元203-3。

静止/运动判断单元202-4从帧存储器201中读出帧#n-1中，处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值、和帧#n-2中，处在与帧#n中作为指定区域的对象的像素在图像上的位置相同的位置上的像素的像素值，并且计算像素值之间的差的绝对值。静止/运动判断单元202-4判断帧#n-1中的像素值与帧#n-2中的像素值之间的差的绝对值是否大于预定阈值Th，并且，在作出像素值之间的差的绝对值大于阈值Th的判断的情况下，把指示运动的静止/运动判断结果供应给区域判断单元203-3。在作出帧#n-1中的像素的像素值与帧#n-2中的像素的像素值之间的差的绝对值小于等于阈值Th的判断的情况下，静止/运动判断单元202-4把指示“静止”的静止/运动判断结果供应给区域判断单元203-3。

在从静止/运动判断单元202-1供应的静止/运动判断结果指示“静止”，和从静止/运动判断单元202-2供应的静止/运动判断结果指示运动的情况下，区域判断单元203-1判断帧#n中作为指定区域的对象的像素属于未覆盖背景区，并且把与判断像素相对应的未覆盖背景区判断标志设置成指示像素属于未覆盖背景区的“1”。

在从静止/运动判断单元202-1供应的静止/运动判断结果指示运动，或从静止/运动判断单元202-2供应的静止/运动判断结果指示静止的情况下，区域判断单元203-1判断帧#n中作为指定区域的对象的像素不属于未覆盖背景区，并且把与判断像素相对应的未覆盖背景区判断标志设置成指示像素不属于未覆盖背景区的“0”。

区域判断单元203-1把如上所述，已经设置成“1”或“0”的未覆盖背景区判断标志供应给判断标志存储帧存储器204。

在从静止/运动判断单元202-2供应的静止/运动判断结果指示“静止”，和从静止/运动判断单元202-3供应的静止/运动判断结果指示“静止”的情况下，区域判断单元203-2判断帧#n中作为指定区域的对象的像素属于静止区，并且把与区域中判断的像素相对应的静止区判断标志设置成指示像素属于静止区的“1”。

在从静止/运动判断单元202-2供应的静止/运动判断结果指示运动，或从静止/运动判断单元202-3供应的静止/运动判断结果指示运动的情况下，区域判断单元203-2判断帧#n中作为指定区域的对象的像素不属于静止区，并且把与区域中判断的像素相对应的静止区判断标志设置成指示像素不属于静止区的“0”。

区域判断单元203-2把如上所述，已经设置成“1”或“0”的静止区判断标志供应给判断标志存储帧存储器204。

在从静止/运动判断单元202-2供应的静止/运动判断结果指示运动，和从静止/运动判断单元202-3供应的静止/运动判断结果指示运动的情况下，区域判断单元203-2判断帧#n中作为指定区域的对象的像素属于运动区，并且把与区域中判断的像素相对应的运动区判断标志设置成指示像素属于运动区的“1”。

在从静止/运动判断单元202-2供应的静止/运动判断结果指示“静止”，或从静止/运动判断单元202-3供应的静止/运动判断结果指示“静止”的情况下，区域判断单元203-2判断帧#n中作为指定区域的对象的像素不属于运动区，并且把与区域中判断的像素相对应的运动区判断标志设置成指示像素不属于运动区的“0”。

区域判断单元203-2把如上所述，已经设置成“1”或“0”的运动区判断标志供应给判断标志存储帧存储器204。

在从静止/运动判断单元202-3供应的静止/运动判断结果指示运动，和从静止/运动判断单元202-4供应的静止/运动判断结果指示“静止”的情况下，区域判断单元203-3判断帧#n中作为指定区域的对象的像素属于覆盖背景区，并且把覆盖背景区判断标志设置成指示像素属于覆盖背景区的“1”。

在从静止/运动判断单元202-3供应的静止/运动判断结果指示“静止”，或从静止/运动判断单元202-4供应的静止/运动判断结果指示运动的情况下，区域判断单元203-3判断帧#n中作为指定区域的对象的像素不属于覆盖背景区，并且把覆盖背景区判断标志设置成指示像素不属于覆盖背景区的“0”。

区域判断单元203-3把如上所述，已经设置成“1”或“0”的覆盖背景区判断标志供应给判断标志存储帧存储器204。

判断标志存储帧存储器204存储从区域判断单元203-1供应的未覆盖背景区判断标志、从区域判断单元203-2供应的静止区判断标志、从区域判断单元203-2供应的运动区判断标志、和从区域判断单元203-3供应的覆盖背景区判断标志。

判断标志存储帧存储器204把存储在其中的未覆盖背景区判断标志、静止区判断标志、运动区判断标志、和覆盖背景区判断标志供应给合成单元205。根据从判断标志存储帧存储器204供应的未覆盖背景区判断标志、静止区判断标志、运动区判断标志、和覆盖背景区判断标志，合成单元205生成指示每个像素属于未覆盖背景区、静止区、运动区、或覆盖背景区中的哪一个的区域信息，并且把区域信息供应给判断标志存储帧存储器206。

判断标志存储帧存储器206存储合成单元205供应的区域信息，并且输出存储的区域信息。

现在将参照图21到图25描述区域指定单元103进行处理的例子。

在与前景相对应的对象发生移动的情况下，屏幕上与对象相对应的图像的位置随着每个帧而改变。如图21所示，在帧#n中，处在Y_n(x，y)所指示的位置上与对象相对应的图像在下一帧#n+1中处在位置Y_n+1(x，y)上。

图22是沿着图像运动方向一个接一个排列成一行的、与前景对象相对应的图像的像素的像素值沿着时间方向展开的模型图。例如，在与前景对象相对应的图像运动方向相对于屏幕是水平的情况下，图22所示的模型图指示一行中相邻帧的像素值沿着时间方向展开的模型。

在图22中，帧#n中的行与帧#n+1中的行相同。

包含在帧#n中从左边算起第2个像素到第13个像素中的、与对象相对应的前景成分包含在帧#n+1中从左边算起第6个到第17个像素中。

在帧#n中，属于覆盖背景区的像素是从左边算起的第11个到第13个像素，而属于未覆盖背景区的像素是从左边算起的第2个到第4个像素。在帧#n+1中，属于覆盖背景区的像素是从左边算起的第15个到第17个像素，而属于未覆盖背景区的像素是从左边算起的第6个到第8个像素。

对于图22所示的例子，由于包含在帧#n中的前景成分在帧#n+1中移动了4个像素，因此，运动量v是4。与运动量v相对应，实际分割数也是4。

接下来，将对属于感兴趣帧之前和之后的帧中的混合区的像素的像素值的变化加以描述。

在如图23所示，背景保持静止和前景的运动量v是4的帧#n中，属于覆盖背景区的像素是从左边算起的第15个到第17个像素。由于运动量v是4，因此，在前一帧#n-1中，从左边算起的第15个到第17个像素只包括背景成分，并且属于背景区。此外，在再提前一个帧的#n-2中，从左边算起的第15个到第17个像素只包括背景成分，并且属于背景区。

注意到由于与背景相对应的对象保持静止，帧#n-1中从左边算起的第15个像素的像素值与帧#n-2中从左边算起的第15个像素的像素值没有差异。同样，帧#n-1中从左边算起的第16个像素的像素值与帧#n-2中从左边算起的第16个像素的像素值没有差异，和帧#n-1中从左边算起的第17个像素的像素值与帧#n-2中从左边算起的第17个像素的像素值没有差异。

也就是说，与属于帧#n中覆盖背景区的像素相对应的帧#n-1和帧#n-2的像素只由背景成分组成，因此，像素值不会改变，这样，它们之间的差值的绝对值接近零。于是，静止/运动判断单元202-4作出与属于帧#n中混合区的像素相对应的帧#n-1和帧#n-2的像素的静止/运动判断结果是静止的判断。

由于属于帧#n中覆盖背景区的像素包括前景成分，因此，像素值与帧#n-1中的像素值只由背景成分组成的情况不同。于是，静止/运动判断单元202-3作出属于帧#n中混合区的像素和与之相对应的帧#n-1中的像素的静止/运动判断结果是运动的判断。

如上所述，在静止/运动判断单元202-3供应指示运动的静止/运动判断结果，和静止/运动判断单元202-4供应指示“静止”的静止/运动判断结果的情况下，区域判断单元203-3判断相对应的像素属于覆盖背景区。

在如图24所示，背景保持静止和前景的运动量v是4的帧#n中，包含在未覆盖背景区中的像素是从左边算起的第2个到第4个。由于运动量v是4，因此，在接在帧#n之后的帧#n+1中，从左边算起的第2个到第4个像素只包括背景成分，并且属于背景区。此外，在接在帧#n+1之后的帧#n+2中，从左边算起的第2个到第4个像素只包含背景成分，并且属于背景区。

注意到由于与背景相对应的对象保持静止，帧#n+2中从左边算起的第2个像素的像素值与帧#n+1中从左边算起的第2个像素的像素值没有差异。同样，帧#n+2中从左边算起的第3个像素的像素值与帧#n+1中从左边算起的第3个像素的像素值没有差异，和帧#n+2中从左边算起的第4个像素的像素值与帧#n+1中从左边算起的第4个像素的像素值没有差异。

也就是说，与帧#n中的未覆盖背景区相对应的帧#n+1和帧#n+2的像素只由背景成分组成，因此，其像素值不会改变，这样，它们之间的差值的绝对值接近零。于是，静止/运动判断单元202-1作出与属于帧#n中混合区的像素相对应的帧#n+1和帧#n+2的像素的静止/运动判断结果是“静止”的判断。

由于属于帧#n中未覆盖背景区的像素包括前景成分，因此，像素值与帧#n+1中像素值只由背景成分组成的情况不同。于是，静止/运动判断单元202-2作出属于帧#n中混合区的像素和帧#n+1中与之相对应的像素的静止/运动判断结果是运动的判断。

如上所述，在静止/运动判断单元202-2供应指示运动的静止/运动判断结果，和静止/运动判断单元202-1供应指示“静止”的静止/运动判断结果的情况下，区域判断单元203-1判断相对应的像素属于未覆盖背景区。

图25是说明区域指定单元103对帧#n的判断条件的图。如果帧#n-2中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素、和帧#n-1中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为“静止”，且帧#n-1中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素、和帧#n中的像素被判断为运动，那么，区域指定单元103判断帧#n中作为判断对象的像素属于覆盖背景区。

如果帧#n-1中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为“静止”，且帧#n中的像素和帧#n+1中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为“静止”，那么，区域指定单元103判断帧#n中作为判断对象的像素属于静止区。

如果帧#n-1中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素、和帧#n中的像素被判断为运动，且帧#n中的像素和帧#n+1中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为运动，那么，区域指定单元103判断帧#n中作为判断对象的像素属于运动区。

如果帧#n中的像素和帧#n+1中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为运动，且帧#n+1中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素、和帧#n+2中，处在与帧#n中作为判断对象的像素在图像上的位置相同的位置上的像素被判断为“静止”，那么，区域指定单元103判断帧#n中作为判断对象的像素属于未覆盖背景区。

图26A到26D是说明区域指定单元103指定区域的结果的例子的图。在图26A中，用白色说明被判断为属于覆盖背景区的像素。在图26B中，用白色说明被判断为属于未覆盖背景区的像素。

在图26C中，用白色说明被判断为属于运动区的像素。在图26D中，用白色说明被判断为属于静止区的像素。

图27是说明指示判断标志存储帧存储器206输出的区域信息的混合区的、作为图像的区域信息的图。在图27中，用白色说明被判断为属于覆盖背景区或未覆盖背景区的像素，即被判断为属于混合区的像素。判断标志存储帧存储器206输出的、指示混合区的区域信息指示混合区和在前景区内具有结构的和被没有结构的部分包围着的部分。

接下来，参照图28中的流程图，将描述区域指定单元103进行区域指定的处理。在步骤S201中，帧存储器201获取包括作为判断对象的帧#n在内的帧#n-2到帧#+2的图像。

在步骤S202中，静止/运动判断单元202-3判断帧#n-1的像素和与帧#n-1处在相同位置上的帧#n的像素是否保持静止，并且，在判断为“静止”的情况下，流程转到步骤S203，在步骤S203中，静止/运动判断单元202-2判断帧#n的像素和处在相同位置上的帧#n+1的像素是否保持静止。

在步骤S203中，如果帧#n的像素和处在相同位置上的帧#n+1的像素被判断为是“静止”的，流程转到步骤S204，在步骤S204中，区域判断单元203-2把与区域中的判断像素相对应的静止区判断标志设置成指示像素属于静止区的“1”。区域判断单元203-2把静止区判断标志供应给判断标志存储帧存储器204，然后，过程转到步骤S205。

在步骤S202中，如果帧#n-1的像素和处在相同位置上的帧#n的像素被判断为运动的，或者，在步骤S203中，如果帧#n的像素和与帧#n处在相同位置上的帧#n+1的像素被判断为运动的，那么，帧#n的像素不属于静止区，于是，跳过步骤S204中的处理，过程转到步骤S205。

在步骤S205中，静止/运动判断单元200-3判断帧#n-1的像素和处在相同位置上的帧#n的像素是否处在运动之中，并且，在判断为运动的情况下，流程转到步骤S206，在步骤S206中，静止/运动判断单元202-2判断帧#n的像素和处在相同位置上的帧#n+1的像素是否处在运动之中。

在步骤S206中，如果帧#n的像素和处在相同位置上的帧#n+1的像素被判断为运动的，那么，过程转到步骤S207，在步骤S207中，区域判断单元203-2把与区域中的判断像素相对应的运动区判断标志设置成指示像素属于运动区的“1”。区域判断单元203-2把运动区判断标志供应给判断标志存储帧存储器204，然后，过程转到步骤S208。

在步骤S205中，如果帧#n-1的像素和处在相同位置上的帧#n的像素被判断为“静止”的，或者，在步骤S206中，如果帧#n的像素和处在相同位置上的帧#n+1的像素被判断为“静止”的，那么，由于帧#n的像素不属于运动区，跳过步骤S207中的处理，过程转到步骤S208。

在步骤S208中，静止/运动判断单元200-4判断帧#n-2的像素和处在相同位置上的帧#n-1的像素是否保持静止，并且，在判断为“静止”的情况下，流程转到步骤S209，在步骤S209中，静止/运动判断单元202-3判断帧#n-1的像素和处在相同位置上的帧#n的像素是否处在运动之中。

在步骤S209中，如果帧#n-1的像素和处在相同位置上的帧#n的像素被判断为运动的，那么，过程转到步骤S210，在步骤S210中，区域判断单元203-3把与区域中的判断像素相对应的覆盖背景区判断标志设置成指示像素属于覆盖背景区的“1”。区域判断单元203-3把覆盖背景区判断标志供应给判断标志存储帧存储器204，然后，过程转到步骤S211。

在步骤S208中，如果帧#n-2的像素和处在相同位置上的帧#n-1的像素被判断为运动的，或者，在步骤S209中，如果帧#n-1的像素和处在相同位置上的帧#n的像素被判断为“静止”的，那么，帧#n的像素不属于覆盖背景区，因此，跳过步骤S211中的处理，过程转到步骤S211。

在步骤S211中，静止/运动判断单元200-2判断帧#n的像素和处在相同位置上的帧#n+1的像素是否处在运动之中，并且，在判断为运动的情况下，流程转到步骤S212，在步骤S212中，静止/运动判断单元202-1判断帧#n+1的像素和处在相同位置上的帧#n+2的像素是否保持静止。

在步骤S212中，如果帧#n+1的像素和处在相同位置上的帧#n+2的像素被判断为“静止”的，那么，流程转到步骤S213，在步骤S213中，区域判断单元203-1把与区域中的判断像素相对应的未覆盖背景区判断标志设置成指示像素属于未覆盖背景区的“1”。区域判断单元203-1把未覆盖背景区判断标志供应给判断标志存储帧存储器204，然后，过程转到步骤S214。

在步骤S211中，如果帧#n的像素和处在相同位置上的帧#n+1的像素被判断为“静止”的，或者，在步骤S212中，如果帧#n+1的像素和处在相同位置上的帧#n的像素被判断为运动的，那么，由于帧#n的像素不属于未覆盖背景区，因此，跳过步骤S213中的处理，过程转到步骤S214。

在步骤S214中，区域指定单元103判断帧#n中的所有像素是否都得到区域指定，并且，在作出并非所有像素都得到区域指定的判断的情况下，过程返回到步骤S202，重复为其它像素指定区域的处理。

在步骤S214中，如果作出帧中的所有像素都得到区域指定的判断，那么，流程转到步骤S215，在步骤S215中，合成单元205根据存储在判断标志存储帧存储器204中的未覆盖背景区判断标志和覆盖背景区判断标志，生成指示混合区的区域信息，并且还生成指示每个像素属于未覆盖背景区、静止区、运动区、或覆盖背景区中的哪一个的区域信息，把生成的区域信息设置到判断标志存储帧存储器206中，然后，结束处理。

如上所述，区域指定单元103可以生成指示包含在帧中的每个像素属于运动区、静止区、未覆盖背景区、或覆盖背景区中的哪一个的区域信息。

注意到可以作出这样的安排，其中，区域指定单元103通过求出与未覆盖背景区和覆盖背景区相对应的区域信息的逻辑和，生成与混合区相对应的区域信息和由指示包含在帧中的每个像素属于运动区、静止区、或混合区中的哪一个的标志组成的区域信息。

在与前景相对应的对象具有结构的情况下，区域指定单元103可以更精确地指定运动区。

区域指定单元103可以输出指示运动区的区域信息，作为指示前景区的区域信息，或输出指示静止区的区域信息，作为指示背景区的区域信息。

虽然已经对与背景相对应的对象保持静止的情况作了描述，但是，即使与背景区相对应的图像涉及到运动，也可以应用上述指定区域的处理。例如，如果与背景区相对应的图像作恒速运动，那么，区域指定单元103平移与运动相对应的整个图像，并且以与与背景相对应的对象保持静止的情况相同的方式进行处理。此外，如果与背景区相对应的图像涉及到在每个点上都不同的运动，那么，区域指定单元103选择与运动相对应的像素，进行上述处理。

图29是说明区域指定单元103的结构的方框图。图29所示的区域指定单元103不使用运动向量。背景图像生成单元301生成与输入图像相对应的背景图像，并且把生成的背景图像供应给二进制对象图像提取单元302。背景图像生成单元301提取，例如，包含在输入图像中的与对象相对应的图像对象，生成背景图像。

模型图的例子在图30中示出，其中，与前景对象相对应，沿着图像的运动方向一个接一个排列成一行的像素的像素值沿着时间方向展开。在与前景对象相对应的图像的运动方向相对于屏幕是水平的情况下，图30的模型图说明了一行中相邻帧的像素值沿着时间方向展开的模型。

在图30中，帧#n中的行与帧#n-1中的行和帧#n+1中的行相同。

在帧#n中，包含在从左边算起第6个像素到第17个像素中的、与对象相对应的前景成分包含在帧#n-1中从左边算起第2个到第13个像素中，和包含在帧#n+1中从左边算起第10个到第21个像素中。

在帧#n-1中，属于覆盖背景区的像素是从左边算起的第7个到第13个像素，而属于未覆盖背景区的像素是从左边算起的第2个到第4个像素。在帧#n中，属于覆盖背景区的像素是从左边算起的第15个到第17个像素，而属于未覆盖背景区的像素是从左边算起的第6个到第8个像素。在帧#n+1中，属于覆盖背景区的像素是从左边算起的第19个到第21个像素，而属于未覆盖背景区的像素是从左边算起的第10个到第12个像素。

在帧#n-1中，属于背景区的像素是从左边算起的第1个、和从左边算起的第14个到第21个像素。在帧#n中，属于背景区的像素是从左边算起的第1个到第5个像素、和从左边算起的第18个到第21个像素。在帧#n+1中，属于背景区的像素是从左边算起的第1个到第9个像素。

由背景图像生成单元301生成的、与图30所示的例子相对应的背景图像的例子在图31中说明。背景图像由与背景对象相对应的像素组成，不包括与前景对象相对应的图像成分。

二进制对象图像提取单元302根据背景图像和输入图像之间的相关性，生成二进制对象数据，并且把生成的二进制对象图像供应给时间变化检测单元303。

图32是说明二进制对象图像提取单元302的结构的方框图。相关值计算单元321计算背景图像生成单元301供应的背景图像与输入图像之间的相关性，生成相关值，并且把生成的相关值供应给阈值处理单元322。

相关值计算单元321把表达式(4)应用于如图33A所示，背景图像中中心是X₄的模块3×3、和如图33B所示，背景图像中中心是Y₄的模块3×3，计算与，例如，Y₄相对应的相关值。

$\stackrel{\‾}{X}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Xi}}{9}---\left(5\right)$

$\stackrel{\‾}{Y}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Yi}}{9}---\left(6\right)$

相关值计算单元321把如上所述与每个像素相对应地计算的相关值供应给阈值处理单元322。

此外，还可以作出相关值计算单元321把表达式(7)应用于如图33A所示，中心是X₄的、背景图像中的模块3×3、和与背景图像的模块相对应的、中心是Y₄的、输入图像中的模块3×3，计算与Y₄相对应的差值的绝对值之和。

相关值计算单元321把如上所述计算的差值的绝对值之和作为相关值供应给阈值处理单元322。

阈值处理单元322将相关图像的像素值与阈值th0相比较，并且，在相关值小于等于阈值th0的情况下，阈值处理单元322把二进制对象图像的像素值设置成1，而在相关值大于阈值th0的情况下，阈值处理单元322把二进制对象图像的像素值设置成0，于是，阈值处理单元322输出其每个像素值被设置成0或1的二进制对象图像。阈值处理单元322可以事先存储阈值th0，也可以使用从外部输入的阈值th0。

图35是说明与图30所示的输入图像的模型相对应的二进制对象图像的例子的图。在二进制对象图像中，与背景图像相关性高的像素的像素值被设置成0。

图36是说明时间变化检测单元303的结构的方框图。帧存储器341在将要对帧#n的像素作出区域判断的时候，存储二进制对象图像提取单元302供应的、帧#n-1、帧#n、和帧#n+1的二进制对象图像。

区域判断单元342根据存储在帧存储器341中的、帧#n-1、帧#n、和帧#n+1的二进制对象图像，为帧#n的每个像素判断区域，生成区域信息，并且输出生成的区域信息。

图37是描述区域判断单元342所作的判断的图。在帧#n的二进制对象图像的感兴趣像素是0的情况下，区域判断单元342判断帧#n的感兴趣像素属于背景区。

在帧#n的二进制对象图像的感兴趣像素是1，帧#n-1的二进制对象图像的相对应的像素的像素是1，且帧#n+1的二进制对象图像的相对应的像素是1的情况下，区域判断单元342判断帧#n的感兴趣像素属于前景区。

在帧#n的二进制对象图像的感兴趣像素是1，且帧#n-1的二进制对象图像的相对应的像素是0的情况下，区域判断单元342判断帧#n的感兴趣像素属于覆盖前景区。

在帧#n的二进制对象图像的感兴趣像素是1，且帧#n+1的二进制对象图像的相对应的像素是0的情况下，区域判断单元342判断帧#n的感兴趣像素属于未覆盖前景区。

图38是说明时间变化检测单元303判断与图30所示的输入图像的模型相对应的二进制对象图像的例子的图。由于帧#n的二进制对象图像的相对应的像素是0，时间变化检测单元303判断帧#n从左边算起的第1个到第5个像素属于背景区。

由于帧#n的二进制对象图像的相对应的像素是1，且帧#n+1的相对应的像素是0，时间变化检测单元303判断从左边算起的第6个到第9个像素属于未覆盖背景区。

由于帧#n的二进制对象图像的像素的像素是1，且帧#n+1的相对应的像素是1，时间变化检测单元303判断从左边算起的第10个到第13个像素属于前景区。

由于帧#n的二进制对象图像的像素是1，且帧#n-1的相对应的像素是0，时间变化检测单元303判断从左边算起的第14个到第17个像素属于覆盖背景区。

由于帧#n的二进制对象图像的相对应的像素是0，时间变化检测单元303判断从左边算起的第18个到第21个像素属于背景区。

现在参照图39所示的流程图，将描述区域判断单元103指定区域的处理。在步骤S301中，例如，区域判断单元103的背景图像生成单元301通过根据输入输入图像，提取包含在输入图像中的、与背景对象相对应的图像对象，生成背景图像，并且把生成的背景图像供应给二进制对象图像提取单元302。

在步骤S302中，二进制对象图像提取单元302通过，例如，参照图33所述的计算步骤，计算输入图像和背景图像生成单元301供应的背景图像之间的相关值。在步骤S303中，二进制对象图像提取单元302通过，例如，将相关值与阈值相比较，从相关值和阈值中计算二进制对象图像。

在步骤S304中，时间变化检测单元303进行区域判断处理，然后，结束处理。

下面参照图40所示的流程图，将详细描述与步骤S304相对应的区域判断处理。在步骤S321中，时间变化检测单元303的区域判断单元342判断存储在帧存储器341中的帧#n中的感兴趣像素是否是0，并且，在作出帧#n中的感兴趣像素是0的判断的情况下，流程转到步骤S322，作出效果为帧#n中的感兴趣像素属于背景区的设置，然后，结束处理。

在步骤S321中，在作出帧#n中的感兴趣像素是1的判断的情况下，流程转到步骤S323，而在步骤S323中，时间变化检测单元303的区域判断单元342判断存储在帧存储器341中的帧#n中的感兴趣像素是否是1，和帧#n-1中的相对应的像素是否是0，并且，在作出帧#n中的感兴趣像素是1，且帧#n-1中相对应的像素的像素值是0的判断的情况下，流程转到步骤S324，作出效果为帧#n中的感兴趣像素属于覆盖背景区的设置，然后，结束处理。

在步骤S323中，在作出帧#n中的感兴趣像素是0，或帧#n-1中的相对应的像素是1的判断的情况下，流程转到步骤S325，而在步骤S325中，时间变化检测单元303的区域判断单元342判断存储在帧存储器341中的帧#n中的感兴趣像素是否是1，和帧#n+1中的相对应的像素是否是0，并且，在作出帧#n中的感兴趣像素是1，且帧#n+1中的相对应的像素是0的判断的情况下，流程转到步骤S326，作出效果为帧#n中的感兴趣像素属于未覆盖背景区的设置，然后，结束处理。

在步骤S325中，在作出帧#n中的感兴趣像素是0，或帧#n+1中的相对应的像素是1的判断的情况下，流程转到步骤S327，而在步骤S327中，时间变化检测单元303的区域判断单元342把帧#n中的感兴趣像素设置成前景区，然后，结束处理。

如上所述，区域指定单元103可以把输入图像的像素分类成前景区、背景区、覆盖背景区、或未覆盖背景区之一，并且生成与分类结果相对应的区域信息。

图41是说明区域指定单元103的另一种结构的方框图。图41所示的区域指定单元103使用了从运动检测单元102供应的运动向量及其位置信息。与图29所示的那些相同的部分用相同的标号表示，并且，略去其描述。

强化单元361根据二进制对象图像提取单元302供应的二进制对象图像的N个帧，生成强化二进制对象图像，并且将其输出到时间变化检测单元303。

图42是描述强化单元361的结构的方框图。运动补偿单元381根据从运动检测单元102供应的运动向量及其位置信息，补偿N个帧的二进制对象图像的运动，并且把已经经过运动补偿的二进制对象图像输出到切换器382。

运动补偿单元381的运动补偿将参照图43和图44所示的例子加以描述。例如，在判断帧#n中的区域时，如果输入，例如，如图43所示的帧#n-1、帧相、和帧#n+1的二进制对象图像，那么，如图44所示的例子所指示的那样，运动补偿单元381根据从运动检测单元102供应的运动向量，补偿帧#n-1的二进制对象图像和帧#n+1的二进制对象图像的运动，并且，把已经经过运动补偿的二进制对象图像供应给切换器382。

切换器382把第1帧已经经过运动补偿的二进制对象图像输出到帧存储器383-1，并把第2帧已经经过运动补偿的二进制对象图像输出到帧存储器383-2。类似地，切换器382把第3到第N-1帧已经经过运动补偿的二进制对象图像的每一个分别输出到帧存储器383-3到帧存储器383-(N-1)的每一个，并且，把第N帧已经经过运动补偿的二进制对象图像输出到帧存储器383-N。

帧存储器381-1存储第1帧已经经过运动补偿的二进制对象图像，并且把存储的二进制对象图像输出到加权单元384-1。帧存储器381-2存储第2帧已经经过运动补偿的二进制对象图像，并且把存储的二进制对象图像输出到加权单元384-2。

类似地，帧存储器383-3到帧存储器383-(N-1)的每一个分别存储第3到第N-1帧之一已经经过运动补偿的二进制对象图像的每一个，并且把存储的二进制对象图像输出到加权单元384-3到加权单元384-(N-1)的每一个。帧存储器381-N存储第N帧已经经过运动补偿的二进制对象图像，并且把存储的二进制对象图像输出到加权单元384-N。

加权单元384-1将帧存储器383-1供应的、第1帧已经经过运动补偿的二进制对象图像的像素值与预定权重w1相乘，并且将结果输出到累加单元385。加权单元384-2将帧存储器383-2供应的、第2帧已经经过运动补偿的二进制对象图像的像素值与预定权重w2相乘，并且将结果输出到累加单元385。

类似地，加权单元384-3到加权单元384-(N-1)的每一个将帧存储器383-3到帧存储器383-(N-1)之一供应的、第3帧到第N-1帧之一已经经过运动补偿的二进制对象图像的像素值与预定权重w3到w(N-1)之一相乘，并且将结果输出到累加单元385。加权单元384-N将帧存储器383-N供应的、第N帧已经经过运动补偿的二进制对象图像的像素值与预定权重wN相乘，并且将结果输出到累加单元385。

累加单元385累加其中经过运动补偿的第1到第N帧的每一个被乘以预定权重w1到wN之一的、与二进制对象图像相对应的像素值，并且，通过将累加的像素值与预定阈值th0相比较，生成二进制对象图像。

如上所述，强化单元361从二进制对象图像的N个帧中生成强化二进制对象图像，将其供应给时间变化检测单元303，因此，即使输入图像含有噪声，与图29所示的情况相比，其结构显示在图41中的区域指定单元103也可以更精确地指定区域。

现在参照图45所示的流程图，将描述其结构显示在图41中的区域指定单元103指定区域的处理。步骤S341到步骤S343中的处理分别与图39所示的流程图中的所述的步骤S301到S303中的处理相同，因此，将略去其描述。

在步骤S344中，强化单元361进行强化处理。

在步骤S345中，时间变化检测单元303进行指定区域的处理，然后，结束处理。步骤S345中的处理细节与参照图40所示的流程图描述的处理细节相同，因此，将略去其描述。

现在参照图46所示的流程图，将详细描述与图45所示的步骤S344中的处理相对应的强化处理。在步骤S361中，运动补偿单元381根据从运动检测单元102供应的运动向量及其位置信息，对输入的二进制对象图像进行运动补偿处理。在步骤S362中，帧存储器383-1到帧存储器383-N之一存储通过切换器382供应的、已经经过运动补偿的二进制对象图像。

在步骤S363中，强化单元361判断是否已经存储了N个二进制对象图像，并且，在判断还没有存储N个二进制对象图像的情况下，流程返回到步骤S361，强化单元361重复对二进制对象图像进行运动补偿的处理，和存储二进制对象图像的处理。

在步骤S363中，在判断已经存储了N个二进制对象图像的情况下，流程转到步骤S364，加权单元384-1到384-N的每一个将N个二进制对象图像的每一个与权重w1到wN之一相乘，对其加权。

在步骤S365中，累加单元385累加N个加权二进制对象图像。

在步骤S366中，累加单元385通过，例如，与预定阈值th1相比较，从累加图像中生成二进制对象图像，然后，结束处理。

如上所述，其结构显示在图41中的区域指定单元103根据强化二进制对象图像，可以生成区域信息。

如上所述，区域指定单元103可以生成指示包含在帧中的每一个像素属于运动区、静止区、未覆盖背景区、或覆盖背景区中的哪一个的区域信息。

图47是说明混合比计算单元104的结构的方框图。通过根据从运动检测单元102供应的输入图像、运动向量及其位置信息进行与覆盖背景区相对应的计算，估计混合比处理单元401为每个像素计算估计混合比，并且把计算的估计混合比供应给混合比确定单元403。

通过根据从运动检测单元102供应的输入图像、运动向量及其位置信息进行与未覆盖背景区相对应的计算，估计混合比处理单元401为每个像素计算估计混合比，并且把计算的估计混合比供应给混合比确定单元403。

混合比确定单元403根据从区域指定单元101供应的、指示作为计算混合比α的对象的像素属于前景区、背景区、覆盖背景区、或未覆盖背景区中的哪一个的区域信息，设置混合比α。在作为对象的像素属于前景区的情况下，混合比确定单元403把混合比α设置成0，在作为对象的像素属于背景区的情况下，把混合比α设置成1，在作为对象的像素属于覆盖背景区的情况下，把混合比α设置成从估计混合比处理单元401供应的估计混合比，而在作为对象的像素属于未覆盖背景区的情况下，把混合比α设置成从估计混合比处理单元402供应的估计混合比。混合比确定单元403输出根据区域信息设置的混合比α。

图48是说明估计混合比处理单元401的结构的方框图。

把输入到估计混合比处理单元401的图像输入到帧存储器421和加权帧差值计算单元423。

帧存储器421存储在与一个帧相对应的间隔内说明的、逐帧递增的输入图像，并且把存储的图像供应给加权帧差值计算单元423。

权重生成单元422生成其值与给定帧相对应的预定初始值开始依次递增的权重，并且把生成的权重供应给加权帧差值计算单元423和最大值判断单元427，作为权重信息。例如，权重生成单元422把权重设置成事先存储的初始值，和通过把事先存储的微小值的增量δ依次加入权重中，生成从初始值开始依次递增的权重。

加权帧差值计算单元423，计算将帧存储器421供应的帧的像素值与从权重生成单元422供应的权重相乘的像素值。加权帧差值计算单元423，计算将输入图像的感兴趣像素的像素值与相对应的像素的加权像素值相乘所得的加权差。

与从权重生成单元422供应的、从初始值开始依次递增的权重相对应，加权帧差值计算单元423为一个帧计算多个加权差。

加权帧差值计算单元423把按如上所述计算的加权差供应给运动补偿单元424和帧存储器425，作为加权差图像数据。

运动补偿单元424根据从运动检测单元102供应的运动向量及其位置信息，补偿加权帧差值计算单元423供应的加权差图像数据，并把已经经过运动补偿的加权差供应给相关值计算单元426。

帧存储器425逐帧递增地存储多组加权差图像数据，延迟与一个帧相对应的间隔，并把存储的加权差图像数据供应给相关值计算单元426。

相关值计算单元426按从初始值开始逐步递增的权重，来计算从运动补偿单元424供应的、已经经过运动补偿的加权差图像数据与从帧存储器425供应的、延迟了一个帧的加权差图像数据之间的相关值，并且把计算的相关值供应给最大值判断单元427。

相关值计算单元426计算，例如，从运动补偿单元424供应的、已经经过运动补偿的加权差图像数据与从帧存储器425供应的、延迟了一个帧的加权差图像数据之间的差的绝对值，并且把计算的差值的绝对值输出到最大值判断单元427，作为相关值。从相关值计算单元426输出的相关值也被称为加权差图像间相关数据。

最大值判断单元427与从权重生成单元422供应的权重的值相对应地存储相关值计算单元426供应的相关值。最大值判断单元427根据存储的相关值，选择与相关性最大的相关值对应的权重。最大值判断单元427为估计混合比设置所选的权重，并输出设置成所选权重的估计混合比。

注意到也可以作出这样的安排，其中，最大值判断单元427以由多个像素组成的模块的递增方式检测混合比。

此外，还可以作出这样的安排，其中，在假设块中的混合比是常数的情况下，最大值判断单元427以由多个像素组成的模块的递增方式检测混合比。

下面参照图48到图54将描述与覆盖背景区相对应的估计混合比处理单元401的处理。

在，例如，如图49所示的、前景对象的运动向量v是4的图像的模型中，帧#n中从左边算起第6到第8像素属于混合区。

帧#n中从左边算起第6个像素的像素值可以通过表达式(8)来表达。类似地，帧#n中从左边算起第7个像素的像素值可以通过表达式(9)来表达，和帧#n中从左边算起第8个像素的像素值可以通过表达式(10)来表达。

$C05=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\mathrm{Fi}+\mathrm{\α}05\·B05---\left(8\right)$

$C06=\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{Fi}+\mathrm{\α}06\·B06---\left(9\right)$

$C07=\underset{i=1}{\overset{1}{\mathrm{\Σ}}}\mathrm{Fi}+\mathrm{\α}07\·B07---\left(10\right)$

类似地，帧#n+1中从左边算起第10到第12像素属于混合区。帧#n+1中从左边算起第10个像素的像素值可以通过表达式(11)来表达。类似地，帧#n+1中从左边算起第11个像素的像素值可以通过表达式(12)来表达，和帧#n+1中从左边算起第12个像素的像素值可以通过表达式(13)来表达。

$N09=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\mathrm{Fi}+\mathrm{\α}09\·B09---\left(11\right)$

$N10=\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{Fi}+\mathrm{\α}10\·B10---\left(12\right)$

$N11=\underset{i=1}{\overset{1}{\mathrm{\Σ}}}\mathrm{Fi}+\mathrm{\α}11\·B11---\left(13\right)$

在表达式(8)中，α05是1/4。在帧#n-1的像素值被α05所乘，且计算乘积与属于帧#n中混合区或背景区的相对应的像素的像素值之间的差值的情况下，如图50所示，包含在像素中的背景成分的全部或一部分被消除了。

在从左边算起的第6个像素中，包含在像素值中的所有背景成分都被消除了，只有前景成分保留下来。

类似地，在表达式(11)中，α09是1/4。在帧#n的像素值被α09所乘，且计算乘积与属于帧#n+1中混合区的相对应的像素的像素值之间的差值的情况下，如图50所示，包含在像素中的背景成分的全部或一部分被消除了。

在从左边算起的第10个像素中，包含在像素值中的所有背景成分都被消除了，只有前景成分保留下来。

在表达式(9)中，α06是1/2。在帧#n-1的像素值被α06所乘，且计算乘积与属于帧#n中混合区的相对应的像素的像素值之间的差值的情况下，如图51所示，包含在像素中的背景成分的全部或一部分被消除了。在从左边算起的第6个像素中，由于减去了等于或大于实际背景成分的背景成分，对于相应背景成分，像素值包含了负值。

在从左边算起的第6个像素中，包含在像素值中的所有背景成分都被消除了，只有前景成分保留下来。

在表达式(12)中，α10是1/2。在帧#n的像素值被α10所乘，且计算乘积与属于帧#n+1中混合区的相对应的像素的像素值之间的差值的情况下，如图51所示，包含在像素中的背景成分的全部或一部分被消除了。在从左边算起的第11个像素中，由于减去了等于或大于实际背景成分的背景成分，对于相应背景成分，像素值包含了负值。

在从左边算起的第11个像素中，包含在像素值中的所有背景成分都被消除了，只有前景成分保留下来。

如图52所示，在前一帧的像素值被α05所乘，且计算乘积与属于后一帧中混合区或背景区的相对应的像素的像素值之间的差值的情况下，在帧#n中从左边算起的第6个像素中，只有前景成分保留下来，此外，在由把帧#n中从左边算起的第6个像素作为基准的运动向量所指示的、帧#n+1中从左边算起的第10个像素中，只有前景成分保留下来。

包含在帧#n中从左边算起的第6个像素中的前景成分与包含在帧#n+1中从左边算起的第10个像素中的前景成分相同。

类似地，在前一帧的像素值被α06所乘，且计算乘积与属于后一帧中混合区或背景区的相对应的像素的像素值之间的差值的情况下，在帧#n中从左边算起的第7个像素中，只有前景成分保留下来，此外，在由把帧#n中从左边算起的第7个像素作为基准的运动向量所指示的、帧#n+1中从左边算起的第11个像素中，只有前景成分保留下来。

包含在帧#n中从左边算起的第7个像素中的前景成分与包含在帧#n+1中从左边算起的第11个像素中的前景成分相同。

如上所述，在帧#n-1的像素值被某个权重所乘的情况下，计算乘积与属于帧#n中混合区的相对应的像素的像素值之间的差值，和获取乘积与帧#n+1中混合区中的相对应的像素的像素值之间的差值，在与帧#n中感兴趣像素相对应的差值和与帧#n+1中处在把感兴趣像素作为基准的运动向量所指示的位置上的像素相对应的差值相同的情况下，权重与帧#n中感兴趣像素的混合比α相同。

下面参照图53，以及参照表达式描述上面处理。

属于帧#n中混合区的感兴趣像素的像素值CA与帧#n-1的相对应的像素的像素值PA被权重W所乘的值之差A通过表达式(14)所示的运算计算出来。

A＝CA-PA×W                                   (14)

处在把帧#n中感兴趣像素作为基准的运动向量所指示的位置上的帧#n+1的像素的像素值NB与帧#N中相对应的像素的像素值CB被权重W所乘的值之差B通过表达式(15)所示的运算计算出来。

B＝NB-CB×W                                   (15)

相关值J可以是，例如，如表达式(16)所示的、差值A和差值B之间的差的绝对值。

J＝|A-B|                                      (16)

在作出相关值J等于或小于事先存储的阈值th1的情况下，权重W被判断为与混合比α相同。

此外，也可以作出这样的安排，例如，其中与感兴趣帧中块的中心像素相对应的相关值J通过把表达式(17)应用于如图54A所示，A4处在感兴趣帧的中心上的一块3×3个像素的差值A0到A8、和如图54B所示，B4处在感兴趣帧之后的帧的中心上的一块3×3个像素的差值B0到B8计算出来。

$J1=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}(\mathrm{Ai}-\stackrel{\‾}{A})\underset{i=0}{\overset{8}{\mathrm{\Σ}}}(\mathrm{Bi}-\stackrel{\‾}{B})}{\sqrt{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}{(\mathrm{Ai}-\stackrel{\‾}{A})}^2\·\underset{i=0}{\overset{8}{\mathrm{\Σ}}}{(\mathrm{Bi}-\stackrel{\‾}{B})}^2}}---\left(17\right)$

$\stackrel{\‾}{A}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Ai}}{9}---\left(18\right)$

$\stackrel{\‾}{B}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Bi}}{9}---\left(19\right)$

在这种情况下，例如，在作出相关值J1等于或大于事先存储的阈值th2的情况下，权重W被判断为与混合比α相同。

此外，也可以作出这样的安排，例如，其中通过把表达式(20)应用于A4处在感兴趣帧的中心上的一块3×3个像素的差值A0到A8、和相应的B4处在感兴趣帧之后的帧的中心上的一块3×3个像素的差值B0到B8，计算差值J2的绝对值之和，作为与感兴趣帧中块的中心像素相对应的相关值J。

$J2=\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\left|(\mathrm{Ai}-\mathrm{Bi})\right|---\left(20\right)$

在这种情况下，例如，在作出差值J2的绝对值之和小于事先存储的阈值th3的情况下，权重W被判断为与混合比α相同。

除了差值A是属于帧#n中混合区的感兴趣像素的像素值CA与帧#n+1中相对应的像素的像素值PA被权重W所乘的值之差，和差值B是帧#n+1中处在把帧#n中感兴趣像素作为基准的运动向量所指示的位置上的像素的像素值NB与帧#n+1中相对应的像素的像素值CB被权重W所乘的值之差之外，由估计混合比处理单元402进行的与未覆盖背景区相对应的处理与与覆盖背景区相对应的处理相同，因此，将略去其描述。

注意到也可以作出这样的安排，其中，为了计算估计混合比，估计混合比处理单元401或估计混合比处理单元402根据帧#n-1中处在与帧#n中感兴趣像素相对应的运动向量所指示的位置上的像素，计算差值B。

图55是说明混合比计算单元104的不同结构的方框图。

选择单元441把属于覆盖背景区的像素、和前一帧和后一帧中与之对应的像素供应给估计混合比处理单元401。选择单元441把属于未覆盖背景区的像素、和前一帧和后一帧中与之对应的像素供应给估计混合比处理单元402。

估计混合比处理单元401根据从选择单元441输入的像素值，计算属于覆盖背景区的感兴趣帧的估计混合比，并且把计算的估计混合比供应给选择单元442。

估计混合比处理单元402根据从选择单元441输入的像素值，计算属于未覆盖背景区的感兴趣帧的估计混合比，并且把计算的估计混合比供应给选择单元442。

在作为对象的像素属于前景区的情况下，选择单元442根据从区域指定单元103供应的区域信息，选择为0的估计混合比，并且把混合比α设置成它，而在作为对象的像素属于背景区的情况下，选择单元442选择为1的估计混合比，并且把混合比α设置成它。在作为对象的像素属于覆盖背景区的情况下，选择单元442选择从估计混合比处理单元401供应的估计混合比，并且把混合比α设置成它，在作为对象的像素属于未覆盖背景区的情况下，选择单元442选择从估计混合比处理单元402供应的估计混合比，并且把混合比α设置成它。选择单元442输出根据区域信息选择和设置的混合比α。

如上所述，具有像图55所示那样的不同结构的混合比计算单元104可以为包含在图像中的每个像素计算混合比α，并且输出计算的混合比α。

下面参照图56将描述混合比计算单元104计算混合比α的处理。

在步骤S401中，混合比计算单元104获取从区域指定单元103供应的区域信息。在步骤S402中，估计混合比处理单元401进行估计与覆盖背景区相对应的混合比的处理，并且把估计混合比供应给混合比确定单元403。混合比估计的处理细节以后将参照图57所示的流程图加以描述。

在步骤S403中，估计混合比处理单元402进行估计与未覆盖背景区相对应的混合比的处理，并且把估计混合比供应给混合比确定单元403。

在步骤S404中，混合比计算单元104判断是否对整个帧都估计了混合比，并且，在作出还没有对整个帧估计混合比的判断的情况下，流程返回到步骤S402，执行为下一个像素估计混合比的处理。

在步骤S404中，在作出已经对整个帧都估计了混合比的判断的情况下，流程转到步骤S405，在步骤S405中，混合比确定单元403根据从区域指定单元101供应的、指示作为混合比α计算对象的像素属于前景区、背景区、覆盖背景区、还是未覆盖背景区的区域信息，设置混合比α。混合比确定单元403在作为对象的像素属于前景区的情况下，把混合比α设置成0，在作为对象的像素属于背景区的情况下，把混合比α设置成1，在作为对象的像素属于覆盖背景区的情况下，把混合比α设置成从估计混合比处理单元401供应的估计混合比，而在作为对象的像素属于未覆盖背景区的情况下，把混合比α设置成从估计混合比处理单元402供应的估计混合比，然后，结束处理。

如上所述，根据从区域指定单元103供应的区域信息、和输入图像，混合比计算单元104就可以计算与每个像素相对应的作为特征量的混合比α。

利用混合比α可以使包含在像素值中的前景成分和背景成分分开，舍去与运动对象相对应的包含在图像中的运动模糊信息。

参照图57所示的流程图，将描述与图56中的步骤S402相对应的、与覆盖背景区相对应的混合比估计处理。

在步骤S421中，权重生成单元422把权重设置成事先存储的初始值。权重生成单元422把设置成初始值的权重作为权重信息供应给加权帧差值计算单元423和最大值判断单元427。

在步骤S422中，估计混合比处理单元401判断从权重生成单元422输出的权重是否超过1，并且，在权重被判断为没有超过1的情况下，流程转到步骤S423。

在步骤S423中，加权帧差值计算单元423，计算作为感兴趣帧中感兴趣像素的像素值与后一帧中相对应的像素的像素值被权重所乘的值之差的加权差，并且把差值A设置成感兴趣帧中感兴趣像素的加权差。

在步骤S424中，加权帧差值计算单元423，计算作为感兴趣帧之后的帧中处在把感兴趣帧的感兴趣像素作为基准的运动向量所指示的位置上的像素的像素值与感兴趣帧中相对应的像素的像素值被权重所乘的值之差的加权差，并且把差值B设置成感兴趣帧之后的帧中与感兴趣像素相对应的像素的加权差。

在步骤S425中，相关值计算单元426，计算与差值A和差值B相对应的相关值。相关值计算单元426计算的相关值可以是，例如，差值A和差值B之间的差的绝对值。此外，相关值计算单元426计算的相关值可以是，例如，把与表达式(17)相对应的运算应用于一块3×3个像素A0到A8的加权差、和一块3×3个像素B0到B8的加权差所得的相关值J1。

在步骤S426中，最大值判断单元427以与从权重生成单元422供应的权重相关联的方式，存储相关值计算单元426供应的相关值。

在步骤S427中，权重生成单元422把事先存储的增量δ加入权重中，流程返回到步骤S422，接下来的流程重复与权重相对应的相关值的计算处理。

也就是说，在权重等于或小于1的情况下，重复步骤S423到步骤S427的处理，计算与按增量δ递增的权重相对应的相关值，和以与权重相关联的方式存储相关值。

如果在步骤S422中，作出权重超过1的判断，那么，流程转到步骤S428，最大值判断单元427选择与指示最大相关性的最大相关值相对应的权重。

在步骤S429中，最大值判断单元427把估计混合比设置成所选权重，输出设置了权重的估计混合比，然后，结束处理。

如上所述，估计混合比处理单元401可以计算与覆盖背景区相对应的估计混合比。

注意到除了在差值A和差值B的计算处理中，后一帧的像素值用作与背景相对应的像素值的处理之外，步骤S403中与未覆盖背景区相对应的处理与参照图57所示的流程图描述的处理相同。

此外，虽然描述是在与背景相对应的对象保持静止的假设下作出的，但是，即使与背景相对应的图像包含运动部分，也可以应用如上所述的混合比计算处理。例如，在与背景相对应的图像作恒速运动的情况下，估计混合比处理单元401与运动相对应地移动整个图像，并且以与与背景相对应的对象保持静止的情况相同的方式进行处理。此外，在与背景相对应的图像由每一个具有不同运动的多个部分组成的情况下，估计混合比处理单元401选择与运动相对应的像素，作为与属于混合区的像素相对应的像素，并且进行上述处理。

注意到可以作出这样的安排，其中，混合比计算单元104通过与覆盖背景区相对应的模型，对所有像素只进行混合比估计处理，并且输出计算的估计混合比，作为混合比α。在这种情况下，混合比α对于属于覆盖背景区的像素，代表背景区的比例，而对于属于未覆盖背景区的像素，代表前景区的比例。在为混合比α设置了：如上所述为属于未覆盖背景区的像素计算的混合比α与1之间的差值的绝对值、和计算的绝对值的情况下，信号处理装置，可以为属于未覆盖背景区的像素计算指示背景成分的比例的混合比α。

注意到，类似地，可以作出这样的安排，其中，混合比计算单元104通过与未覆盖背景区相对应的模型，对所有像素只进行混合比估计处理，并且输出计算的估计混合比，作为混合比α。

现在将描述前景/背景分离单元105。图58是说明前景/背景分离单元105的结构的一个例子的方框图。把供应给前景/背景分离单元105的输入图像输入给分离单元601、切换器602、和切换器604。把从区域指定单元103供应的、指示覆盖背景区的信息和指示未覆盖背景区的信息供应给分离单元601。把指示前景区的信息供应给切换器602。把指示背景区的信息供应给切换器604。

把从混合比计算单元104供应的混合比α供应给分离单元601。

根据指示覆盖背景区的区域信息、指示未覆盖背景区的区域信息、和混合比α，分离单元601从输入图像中分离前景成分，并且把分离的前景成分供应给合成部分603，以及从输入图像中分离出背景成分，并且把分离的背景成分供应给合成部分605。

在输入与前景相对应的像素的情况下，根据指示前景区的区域信息，闭合切换器602，并且只把包含在输入图像中的与前景相对应的像素供应给合成单元603。

在输入与背景相对应的像素的情况下，根据指示背景区的区域信息，闭合切换器604，并且只把包含在输入图像中的与背景相对应的像素供应给合成单元605。

合成单元603根据从分离单元601供应的与前景相对应的成分、切换器602供应的与前景相对应的像素，合成前景成分图像，并且输出合成的前景成分图像。由于前景区和混合区不重叠，因此，合成单元603通过，例如，把逻辑和运算应用于与前景相对应的成分和与前景相对应的像素，合成前景成分图像。

在前景成分图像合成处理的第一阶段中进行的初始化处理中，合成单元603把其中所有像素值都是0的图像存储在内置帧存储器中，并且，在前景成分图像合成处理中，合成单元603存储(或盖写)前景成分图像。因此，作为从合成单元603输出的前景成分图像的、与背景区相对应的像素存储0，作为像素值。

合成单元605根据与从分离单元601供应的与背景相对应的成分、和从切换器604供应的与背景相对应的像素，合成背景成分图像，并且输出合成的背景成分图像。由于背景区和混合区不重叠，因此，合成单元605通过，例如，把逻辑和运算应用于与背景相对应的成分和与背景相对应的像素，合成背景成分图像。

在背景成分图像合成处理的第一阶段中进行的初始化处理中，合成单元605把其中所有像素值都是0的图像存储在内置帧存储器中，并且，在背景成分图像合成处理中，合成单元605存储(或盖写)前景成分图像。因此，作为从合成单元603输出的前景成分图像的、与背景区相对应的像素存储0，作为像素值。

图59A和图59B是说明输入到前景/背景分离单元105的输入图像、和从前景/背景分离单元105输出的前景成分图像、和背景成分图像的图。

图59A是所显示图像的示意图，而图59B是在一行上包括属于前景区的像素、属于背景区的像素、和属于混合区的像素的像素沿着时间方向展开的模型图。

如图59A和59B所示，从前景/背景分离单元105输出的背景成分图像由属于背景区的像素、和包含在混合区内的像素内的背景成分组成。

如图59A和59B所示，从前景/背景分离单元105输出的前景成分图像由属于前景区的像素、和包含在混合区内的像素内的前景成分组成。

混合区内的像素的像素值被前景/背景分离单元105分离成背景成分和前景成分。分离的背景成分与属于背景区的像素一起组成背景成分图像。分离的前景成分与属于前景区的像素一起组成前景成分图像。

如上所述，在前景成分图像中，与背景区相对应的像素的像素值被设置成0，和与前景区相对应的像素和与混合区相对应的像素的像素值被设置成有效像素值。类似地，在背景成分图像中，与前景区相对应的像素的像素值被设置成0，和与背景区相对应的像素和与混合区相对应的像素的像素值被设置成有效像素值。

现在将对分离单元601从属于混合区的像素中分离出前景成分和背景成分的处理加以描运。

图60是包括与在图中从左边移动到右边的对象相对应的前景的、指示前景成分和背景成分的两个帧的图像的模型。在图60所示的图像的模型中，前景的运动量v是4，且实际分割数也是4。

在帧#n中，最左边像素和从左边算起第14个到18个像素只由背景成分组成，并且属于背景区。在帧#n中，从左边算起第2个到4个像素由背景成分和前景成分组成，并且属于未覆盖背景区。在帧#n中，从左边算起第11个到13个像素由背景成分和前景成分组成，并且属于覆盖背景区。在帧#n中，从左边算起第5个到10个像素只由前景成分组成，并且属于前景区。

在帧#n+1中，从左边算起第1个到15个和第18个像素只由背景成分组成，并且属于背景区。在帧#n+1中，从左边算起第6个到8个像素由背景成分和前景成分组成，并且属于未覆盖背景区。在帧#n+1中，从左边算起第15个到17个像素由背景成分和前景成分组成，并且属于覆盖背景区。在帧#n+1中，从左边算起第9个到14个像素只由前景成分组成，并且属于前景区。

图61是描述从属于覆盖背景区的像素中分离前景成分的处理的图。在图62中，α1到α18分别代表与帧#n中的像素相对应的混合比。在图61中，从左边算起第15个到第17个像素属于覆盖背景区。

帧#n中从左边算起第15个像素的像素值C15被表示成表达式(21)：

C15＝B15/v+F09/v+F08/v+F07/v

   ＝α15·B15+F09/v+F08/v+F07/v

   ＝α15·P15+F09/v+F08/v+F07/v                     (21)

这里，α15表示帧#n中从左边算起第15个像素的混合比。P15表示帧#n-1中从左边算起第15个像素的像素值。

根据表达式(21)，帧#n中从左边算起第15个像素的前景成分之和f15被表示成表达式(22)：

f15＝F09/v+F08/v+F07/v

   ＝C15-α15·P15                                   (22)

类似地，帧#n中从左边算起第16个像素的前景成分之和f16被表示成表达式(23)，而帧#n中从左边算起第17个像素的前景成分之和f17被表示成表达式(24)：

f16＝C16-α16·P16                                   (23)

f17＝C17-α17·P17                                     (24)

如上所述，包含在属于覆盖背景区的像素的像素值C中的前景成分fc通过表达式(25)来计算：

fc＝C-α·P                                            (25)

P表示前一帧中的相对应的像素的像素值。

图62是描述从属于未覆盖背景区的像素中分离前景成分的处理的图。在图62中，α1到α18分别表示与帧#n中的像素相对应的混合比。在图62中，从左边算起第2个到第14个像素属于未覆盖背景区。

帧#n中从左边算起第2个像素的像素值C02被表示成表达式(26)：

C02＝B02/v+B02/v+B02/v+F01/v

   ＝α2·B02+F01/v

   ＝α2·N02+F01/v                                    (26)

这里，α2表示帧#n中从左边算起第2个像素的混合比。N02表示帧#n+1中从左边算起第2个像素的像素值。

根据表达式(26)，帧#n中从左边算起第2个像素的前景成分和f02被表示成表达式(27)：

f02＝F01/v

   ＝C02-α2·N02                                      (27)

类似地，帧#n中从左边算起第3个像素的前景成分和f03被表示成表达式(28)，和帧#n中从左边算起第4个像素的前景成分和f04被表示成表达式(29)：

f03＝C03-α3·N03                                      (28)

f04＝C04-α4·N04                                      (29)

如上所述，包含在属于未覆盖背景区的像素的像素值C中的前景成分fu通过表达式(30)来计算：

fu＝C-α·N                                            (30)

N表示后一帧中的相对应的像素的像素值。

如上所述，根据包括指示覆盖背景区的信息、指示未覆盖背景区的信息、和每个像素的混合比α的区域信息，分离单元601可以从属于混合区的像素中分离出前景成分和背景成分。

图63是说明进行上述处理的分离单元601的结构例子的方框图。把输入分离单元601的图像供应给帧存储器621，并把从混合比计算单元104供应的指示覆盖背景区和未覆盖背景区的区域信息、和混合比α输入分离处理模块622中。

帧存储器621按照帧递增的方式存储输入图像，在处理对象是帧#n的情况下，帧存储器621存储比帧#n早一个帧的帧#n-1、帧#n、和比帧#n晚一个帧的帧#n+1。

帧存储器621把帧#n-1、帧#n、和#n+1中的相对应的像素供应给分离处理模块622。

分离处理模块622根据指示覆盖背景区和未覆盖背景区的区域信息、和混合比α，把参照图61和图62所述的计算应用于帧#n-1、帧#n、和#n+1中相对应的像素的像素值，从帧#n中属于混合区的像素中分离出前景成分和背景成分，并且把它们供应给帧存储器623。

分离处理模块622包括未覆盖区处理单元631、覆盖区处理单元632、合成单元633、和合成单元634。

未覆盖区处理单元631的乘法器641将帧存储器621供应的帧#n+1的像素的像素值乘以合比α，并且将结果输出到切换器642。在帧存储器621供应的帧#n中的像素(与帧#n+1的像素相对应)属于未覆盖背景区的情况下，闭合切换器642，将乘法器641供应的被乘以混合比α的像素值供应给计算器643和合成单元634。从切换器642输出的帧#n+1的像素的像素值被乘以混合比α所得的值与帧#n中相对应的像素的像素值的前景成分相同。

计算器643通过从帧存储器621供应的帧#n的像素的像素值中，减去从切换器642供应的背景成分，计算前景成分。计算器643把属于未覆盖背景区的帧#n中的像素的前景成分供应给合成单元633。

覆盖区处理单元631的乘法器651将帧存储器621供应的帧#n-1的像素的像素值乘以合比α，并且将结果输出到切换器652。在帧存储器621供应的帧#n中的像素(与帧#n-1的像素相对应)属于覆盖背景区的情况下，闭合切换器652，将乘法器651供应的被乘以混合比α的像素值供应给计算器653和合成单元634。从切换器652输出的帧#n-1的像素的像素值被乘以混合比α所得的值与帧#n中相对应的像素的像素值的背景成分相同。

计算器653通过从帧存储器621供应的帧#n的像素的像素值中，减去从切换器652供应的背景成分，计算前景成分。计算器653把属于覆盖背景区的帧#n中的像素的前景成分供应给合成单元633。

合成单元633把从计算器643供应的帧#n中属于未覆盖背景区的像素的前景成分、和从计算器653供应的属于覆盖背景区的像素的前景成分进行合成，并且把结果供应给帧存储器623。

合成单元634把从切换器642供应的帧#n中属于未覆盖背景区的像素的背景成分、和从切换器652供应的属于覆盖背景区的像素的背景成分进行合成，并且把结果供应给帧存储器623。

帧存储器623分别存储分离处理模块622供应的、帧#n中混合区内的像素的前景成分和背景成分。

帧存储器623输出存储在其中的、帧#n中混合区内的像素的前景成分、和存储在其中的、帧#n中混合区内的像素的背景成分。

利用作为特征量的混合比α能够把包含在像素值中的前景成分和背景成分完全分离开。

通过把从分离单元601输出的、帧#n中混合区内的像素的前景成分、和属于前景区的像素进行合成，合成单元603生成前景成分图像。通过把从分离单元601输出的、帧#n中混合区内的像素的背景成分、和属于背景区的像素进行合成，合成单元605生成背景成分图像。

图64A说明了与图60所示的帧#n相对应的前景成分图像的例子。由于把前景和背景分开之前，最左边像素和从左边算起第14个像素只由背景成分组成，因此，像素值是0。

在前景和背景被分开之前，从左边算起第2个到第4个像素属于未覆盖背景区，因此，背景成分是0，前景成分保持原来值。在把前景和背景分开之前，从左边算起第11个到第13个像素属于覆盖背景区，因此，前景成分是0，背景成分保持原来值。由于从左边算起第5个到第10个像素只由前景成分组成，因此，那些前景成分保持原来值。

图64B说明了与图60所示中的帧#n相对应的背景成分图像的例子。在前景和背景被分开之前，最左边像素和从左边算起第14个像素由背景成分组成，因此，那些背景成分保持原来值。

在前景和背景被分开之前，从左边算起第2个到第4个像素属于未覆盖背景区，因此，前景成分是0，和背景成分保持原来值。在前景和背景被分开之前，从左边算起第11个到第13个像素属于覆盖背景区，因此，前景成分是0，背景成分保持原来值。在前景和背景被分开之前，从左边算起第5个到第10个像素只由前景成分组成，因此，像素值是0。

现在参照图65所示的流程图，将描述前景/背景分离单元105对前景和背景的分离处理。在步骤S601中，分离单元601的帧存储器获取输入图像，并且存储作为前景和背景分离对象的帧#n，以及前一帧#n-1和后一帧#n+1。

在步骤S602中，分离单元601的分离处理模块622获取从混合比计算单元104供应的区域信息。在步骤S603中，分离单元601的分离处理模块622获取从混合比计算单元104供应的混合比α。

在步骤S604中，未覆盖区处理单元631根据区域信息和混合比α，从帧存储器621供应的属于未覆盖背景区的像素的像素值中提取背景成分。

在步骤S605中，未覆盖区处理单元631根据区域信息和混合比α，从帧存储器621供应的属于未覆盖背景区的像素的像素值中提取前景成分。

在步骤S606中，覆盖区处理单元632根据区域信息和混合比α，从帧存储器621供应的属于覆盖背景区的像素的像素值中提取背景成分。

在步骤S607中，覆盖区处理单元632根据区域信息和混合比α，从帧存储器621供应的属于未覆盖背景区的像素的像素值中提取前景成分。

在步骤608中，合成单元633把在步骤S605的处理中提取的、属于未覆盖背景区的像素的前景成分、和在步骤S607的处理中提取的、属于覆盖背景区的像素的前景成分进行合成。把合成的前景成分供应给合成单元603。此外，合成单元603把通过切换器602供应的、属于前景区的像素、和从分离单元601供应的前景成分进行合成，生成前景成分图像。

在步骤609中，合成单元634把在步骤S604的处理中提取的、属于未覆盖背景区的像素的背景成分、和在步骤S606的处理中提取的、属于覆盖背景区的像素的背景成分进行和成。把合成的背景成分供应给合成单元605。此外，合成单元605把通过从切换器604供应的、属于背景区的像素、和从分离单元601供应的背景成分进行合成，生成背景成分图像。

在步骤S610中，合成单元603输出前景成分图像。在步骤S611中，合成单元605输出背景成分图像，然后，结束处理。

如上所述，根据区域信息和混合比α，前景/背景分离单元105可以从输入图像中分离出前景成分和背景成分，并且输出只由前景成分组成的前景成分图像、和只由背景成分组成的背景成分图像。

现在将描述对前景成分图像调整运动模糊量的处理。

图66是说明运动模糊调整单元106的结构例子的方框图。把从运动检测单元102供应的运动向量及其位置信息、和从区域指定单元103供应的区域信息供应给处理增量判决单元801和建模单元802。把从前景/背景分离单元105供应的前景成分图像供应给相加单元804。

处理增量判决单元801把根据运动向量、及其位置信息、和区域信息生成的处理增量，以及运动向量供应给建模单元802。处理增量判决单元801把生成的处理增量供应给相加单元804。

例如，如图67所示，在图67中用A表示的、处理增量判决单元801生成的处理增量表示从与前景成分的覆盖背景区相对应的像素开始，直到与未覆盖背景区相对应的像素，沿着运动方向依次排列的像素、或者从与未覆盖背景区相对应的像素开始，直到与覆盖背景区相对应的像素，沿着运动方向依次排列的像素。处理增量由，例如，左上点(作为通过处理增量指定的像素的最左或最高位置像素)和右下点两个数据组成。

建模单元802根据运动向量和输入的处理增量，进行建模。更具体地说，例如，可以作出这样的安排，其中，建模单元802事先为每个像素存储包含在处理增量中的像素个数、像素值沿着时间方向的实际分割数、和与前景成分的个数相对应的多个模型，并且根据处理增量和像素值沿着时间方向的实际分割数，选择如图68所示的指定像素值与前景成分之间的对应关系的模型。

例如，在与处理增量相对应的像素个数是12，和快门间隔中的运动量v是5的情况下，建模单元802把实际分割数设置成5，并且选择总共由8个前景成分组成的模型，其中，最左边位置的像素包括1个前景成分，从左边算起第2个像素包括2个前景成分，从左边算起第3像素包括3个前景成分，从左边算起第4个像素包括4个前景成分，从左边算起第5个像素包括5个前景成分，从左边算起第6个像素包括5个前景成分，从左边算起第7个像素包括5个前景成分，从左边算起第8个像素包括5个前景成分，从左边算起第9个像素包括4个前景成分，从左边算起第10个像素包括3个前景成分，从左边算起第11个像素包括2个前景成分，和从左边算起第12个像素包括1个前景成分。

注意到也可以作出这样的安排，其中，建模单元802不是从事先存储的模型中选择模型，而是在供应运动向量和处理增量的情况下，根据运动向量和处理增量生成模型。

建模单元802把所选的模型供应给表达式生成单元803。

表达式生成单元803根据建模单元802供应的模型，生成表达式。下面参照图68所示的前景成分图像的模型，在前景成分的个数是8，与处理增量相对应的像素个数是12，运动量v是5，和实际分割数是5的情况下，描述表达式生成单元803生成的表达式。

如果包含在前景成分图像中的与快门间隔/v相对应的前景成分是F01/v到F08/v，那么，F01/v到F08/v与像素C01到C12之间的关系被表示成表达式(31)到表达式(42)：

C01＝F01/V                                      (31)

C02＝F02/V+F01/V                                (32)

C03＝F03/V+F02/V+F01/V                          (33)

C04＝F04/V+F03/V+F02/V+F01/V                    (34)

C05＝F05/V+F04/V+F03/V+F02/V+F01/V              (35)

C06＝F06/V+F05/V+F04/V+F03/V+F02/V              (36)

C07＝F07/V+F06/V+F05/V+F04/V+F03/V              (37)

C08＝F08/V+F07/V+F06/V+F05/V+F04/V              (38)

C09＝F08/V+F07/V+F06/V+F05/V                    (39)

C10＝F08/V+F07/V+F06/V                          (40)

C11＝F08/V+F07/V                                (41)

C12＝F08/V                                      (42)

通过变换生成的表达式，表达式生成单元803生成另一组表达式。由表达式生成单元803生成的另一组表达式被表示成表达式(43)到表达式(54)：

C01＝1·F01/V+0·F02/V+0·F03/V+0·F04/V+0·F05/V+0·F06/V+0·F07/V+0·F08/V                                  (43)

C02＝1·F01/V+1·F02/V+0·F03/V+0·F04/V+0·F05/V+0·F06/V+0·F07/V+0·F08/V                                  (44)

C03＝1·F01/V+1·F02/V+1·F03/V+0·F04/V+0·F05/V+0·F06/V+0·F07/V+0·F08/V                                  (45)

C04＝1·F01/V+1·F02/V+1·F03/V+1·F04/V+0·F05/V+0·F06/V+0·F07/V+0·F08/V                                  (46)

C05＝1·F01/V+1·F02/V+1·F03/V+1·F04/V+1·F05/V+0·F06/V+0·F07/V+0·F08/V                                  (47)

C06＝0·F01/V+1·F02/V+1·F03/V+1·F04/V+1·F05/V+1·F06/V+0·F07/V+0·F08/V                                  (48)

C07＝0·F01/V+0·F02/V+1·F03/V+1·F04/V+1·F05/V+1·F06/V+1·F07/V+0·F08/V                                  (49)

C08＝0·F01/V+0·F02/V+0·F03/V+1·F04/V+1·F05/V+1·F06/V+1·F07/V+1·F08/V                                  (50)

C09＝0·F01/V+0·F02/V+0·F03/V+0·F04/V+1·F05/V+1·F06/V+1·F07/V+1·F08/V                                  (51)

C10＝0·F01/V+0·F02/V+0·F03/V+0·F04/V+0·F05/V+1·F06/V+1·F07/V+1·F08/V                                  (52)

C11＝0·F01/V+0·F02/V+0·F03/V+0·F04/V+0·F05/V+0·F06/V+1·F07/V+1·F08/V                                  (53)

C12＝0·F01/V+0·F02/V+0·F03/V+0·F04/V+0·F05/V+0·F06/V+0·F07/V+1·F08/V                                  (54)

表达式(43)到表达式(54)可以用表达式(55)来表示：

$\mathrm{Cj}=\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v---\left(55\right)$

在表达式(55)中，j表示像素位置。在本例中，j具有1到12之间的值之一。此外，i表示前景值的位置。在本例中，i具有1到8之间的一个值。与i和j的值相对应，aij具有0或1的值之一。

考虑到误差容限，表达式(55)可以用表达式(56)来表示：

$\mathrm{Cj}=\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v+\mathrm{ej}---\left(56\right)$

在表达式(56)中，ej表示包含在感兴趣像素Cj中的误差容限。

可以把表达式(56)重写成表达式(57)：

$\mathrm{ej}=\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v---\left(57\right)$

注意到，为了使用最小二乘法，把误差容限的平方和E定义成表达式(58)：

$E=\underset{i=01}{\overset{12}{\mathrm{\Σ}}}{\mathrm{ej}}^2---\left(58\right)$

为了使误差容限达到最小，应该使误差容限的平方和关于变量Fk的偏导数的值趋向0。求出满足表达式(59)的Fk：

$\frac{\∂E}{\∂\mathrm{Fk}}=2\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{ej}\·\frac{\∂\mathrm{ej}}{\∂\mathrm{Fk}}$

$=2\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\{(\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v)\·(-\mathrm{akj}/v)\}=0---\left(59\right)$

在表达式(59)中，运动量v是固定值，因此，可以导出表达式(60)：

$\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{akj}\·(\mathrm{Cj}-\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi}/v)=0---\left(60\right)$

展开表达式(60)和移动变量，得到表达式(61)：

$\underset{j=01}{\overset{12}{\mathrm{\Σ}}}(\mathrm{akj}\·\underset{i=01}{\overset{08}{\mathrm{\Σ}}}\mathrm{aij}\·\mathrm{Fi})=v\·\underset{j=01}{\overset{12}{\mathrm{\Σ}}}\mathrm{akj}=\mathrm{Cj}---\left(61\right)$

把表达式(61)展开成8个表达式，这8个表达式是把1到8之间的整数之一代入表达式(61)中的k中获得的。获得的8个表达式可以通过一个矩阵表示成一个表达式。这个表达式被称为正规方程。

表达式生成单元803根据这样的最小二乘法生成的正规方程的例子被表示成表达式(62)：

$\left[\begin{array}{c}54321000\\ 45432100\\ 34543210\\ 23454321\\ 12345432\\ 01234543\\ 00123454\\ 00012345\end{array}\right]\left[\begin{array}{c}F01\\ F02\\ F03\\ F04\\ F05\\ F06\\ F07\\ F08\end{array}\right]=v\·\left[\begin{array}{c}\underset{i=08}{\overset{12}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=07}{\overset{11}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=6}{\overset{10}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=05}{\overset{09}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=04}{\overset{08}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=03}{\overset{07}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=02}{\overset{06}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=01}{\overset{05}{\mathrm{\Σ}}}\mathrm{Ci}\end{array}\right]---\left(62\right)$

如果把表达式(62)表示成A·F＝v·c，那么，C、A和v是已知的，F是未知的。此外，虽然A和v在建模时就是已知的，但是，通过在相加运算中输入像素值，C才成为已知的。

通过把最小二乘法应用于正规方程，计算前景成分，处理包含在像素C中的误差容限。

表达式生成单元803把如上所述生成的正规方程供应给相加单元804。

相加单元804根据处理增量判决单元801供应的处理增量，为表达式生成单元803供应的矩阵表达式设置包含在前景成分图像中的像素值C。相加单元804把设置成像素值C的矩阵供应给计算单元805。

计算单元805通过基于诸如扫除(sweeping)法(Gauss-Jordan消元法)之类的方法的处理，计算已经经过运动模糊消除的前景成分Fi/v，计算作为已经经过运动模糊消除的前景的像素值的、与0到8之间的整数i之一相对应的Fi，并把由，例如，如图69所示的、作为已经经过运动模糊消除的像素值的Fi组成的、已经经过运动模糊消除的前景成分图像输出到选择单元807。

注意到在如图69所示的已经经过运动模糊消除的前景成分图像中，C03到C10的每一个被设置成F01到F08的每一个，以便不改变可以对应于任意位置的、前景成分图像相对于屏幕的位置。

运动模糊相加单元806通过提供与运动量v不同的运动模糊调整量v′，例如，其值是运动量v一半的运动模糊调整量v′、或与运动量v没有任何关系的运动模糊调整量v′，可以调整运动模糊量。例如，如图70所示，运动模糊相加单元806通过将已经经过运动模糊消除的前景的像素值Fi除以运动模糊调整量v′，计算前景成分Fi/v′，计算前景成分Fi/v′之和，生成已经经过运动模糊调整的像素值。例如，在运动模糊调整量v′是3的情况下，像素值C02是F01/v′，像素值C03是(F01+F02)/v′，像素值C04是(F01+F02+F03)/v′，和像素值C05是(F02+F03+F04)/v′。

运动模糊相加单元806把已经经过运动模糊量调整的前景成分图像供应给选择单元807。

选择单元807选择计算单元805供应的、已经经过运动模糊消除的前景成分图像，或者，运动模糊相加单元806供应的、已经经过运动模糊调整的前景成分图像，并且输出所选的前景成分图像。

如上所述，运动模糊调整单元106可以根据选择信号和运动模糊调整量v′调整运动模糊量。

此外，例如，如图71所示，在与处理增量相对应的像素个数是8，和运动量v是4的情况下，运动模糊调整单元106生成用表达式(63)表示的矩阵表达式：

$\left[\begin{array}{c}43210\\ 34321\\ 23432\\ 12343\\ 01234\end{array}\right]\left[\begin{array}{c}F01\\ F02\\ F03\\ F04\\ F05\end{array}\right]=v\·\left[\begin{array}{c}\underset{i=05}{\overset{08}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=04}{\overset{07}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=03}{\overset{06}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=02}{\overset{05}{\mathrm{\Σ}}}\mathrm{Ci}\\ \underset{i=01}{\overset{04}{\mathrm{\Σ}}}\mathrm{Ci}\end{array}\right]---\left(63\right)$

运动模糊调整单元106建立其个数与处理增量的长度相对应的表达式，并且计算已经经过运动模糊调整的像素值Fi。类似地，在存在，例如，100个包含在处理增量中的像素的情况下，生成与100个像素相对应的表达式，并且，计算Fi。

图72是说明运动模糊调整单元106的不同结构例子的图。与图66所示的情况相同的部分用相同的标号表示，并且，略去其描述。

选择单元821把输入的运动向量及其位置信息按原样供应给处理增量判决单元801和建模单元802，或者，用运动模糊调整量v′替代运动向量的大小，并且，根据选择信号，把其数值被运动模糊调整量v′替代了的运动向量及其位置信息供应给处理增量判决单元801和建模单元802。

这样，图72所示的运动模糊调整单元106的处理增量判决单元801到计算单元805可以调整与运动量v的值相对应的运动模糊量、和运动模糊调整量v′。例如，在运动量v是5和运动模糊调整量v′是3的情况下，图72所示的运动模糊调整单元106的处理增量判决单元801到计算单元805根据图71所示的与3的运动模糊调整量v′相对应的模型，对如图68所示的运动量v是5的前景成分图像进行计算步骤，并且，输出包括与(运动量v)/(运动模糊调整量v′)＝5/3，即，约1.7的运动量v相对应的运动模糊的图像。在这种情况下，由于计算的图像不包含与3的运动量v相对应的运动模糊，因此，应该注意到，运动量v与运动模糊调整量v′之间的关系的含义与运动模糊相加单元806的结果是不同的。

如上所述，运动模糊调整单元106生成与运动量v和处理增量相对应的表达式，为生成的表达式设置前景成分图像的像素值，和计算已经经过运动模糊调整的前景成分图像。

现在参照图73所示的流程图，将描述运动模糊调整单元106调整包含在前景成分图像中的运动模糊量的处理。

在步骤S801中，运动模糊调整单元106的处理增量判决单元801根据运动向量和区域信息，生成处理增量，并且把生成的处理增量供应给建模单元802。

在步骤S802中，运动模糊调整单元106的建模单元802选择或生成与运动量v和处理增量相对应的模型。在步骤S803中，表达式生成单元803根据所选的模型，建立正规方程。

在步骤S804中，相加单元804为建立的正规方程设置前景成分图像的像素值。在步骤S805中，相加单元804判断与处理增量相对应的所有像素的像素值是否都得到设置，并且，在作出与处理增量相对应的像素的像素值还没有全部得到设置的判断的情况下，流程返回到步骤S804，重复为正规方程设置像素值的处理。

在步骤S805中，在作出与处理增量相对应的像素的像素值全部得到设置的判断的情况下，流程转到步骤S806，计算单元805根据相加单元804供应的像素值得到设置的正规方程，计算已经经过运动模糊量调整的前景的像素值，然后，结束处理。

如上所述，运动模糊调整单元106根据运动向量和区域信息，可以调整包含运动模糊的前景成分图像中的运动模糊量。

也就是说，包含在作为取样数据的像素值中的运动模糊量可以得到调整。

如上所述，其结构显示在图2中的信号处理装置，可以调整包含在输入图像中的运动模糊量。其结构显示在图2中的信号处理装置，可以计算作为隐埋信息的混合比α，并且输出计算的混合比α。

图74是说明运动模糊调整单元106的不同结构例子的图。把从运动检测单元102供应的运动向量及其位置信息供应的处理增量判决单元901和纠正单元905，并把从区域指定单元103供应的区域信息供应给处理增量判决单元901。把从前景/背景分离单元105供应的前景成分图像供应给计算单元904。

处理增量判决单元901根据运动向量、及其位置信息、和区域信息，供应生成的处理增量，以及运动向量。

建模单元902根据运动向量和输入的处理增量，进行建模。

表达式生成单元903根据建模单元902供应的模型，生成表达式。

现在参照图75到图77所示的前景成分图像的模型，对在前景成分的个数是8，与处理增量相对应的像素个数是12，和运动量v是5的情况下，表达式生成单元903生成的表达式例子加以描述。

在包含在前景成分图像中的与快门间隔/v相对应的前景成分是F01/v到F08/v的情况下，F01/v到F08/v与像素值C01到C02之间的关系被表示成如上所述的表达式(31)。

注意像素值C12和C11，像素值C12只包括如表达式(64)所表示的前景成分F80/v，像素值C11由前景成分F08/v和前景成分F07/v之和组成。因此，F07/v通过表达式(65)来计算：

F08/v＝C12                                           (64)

F07/v＝C11-C12                                       (65)

类似地，对包含在像素值C10到C01中的前景成分加以考虑，前景成分F06/v到F01/v通过表达式(66)到表达式(71)来计算：

F06/v＝C10-C11                                       (66)

F05/v＝C09-C10                                       (67)

F04/v＝C08-C09                                       (68)

F03/v＝C07-C08+C12                                   (69)

F02/v＝C06-C07+C11-C12                               (70)

F01/v＝C05-C06+C10-C11                               (71)

表达式生成单元903通过，例如，表达式(64)到表达式(71)所表示的像素值之差，生成用于计算前景成分的表达式。

计算单元904为表达式生成单元903供应的表达式设置前景成分图像的像素值，并且，根据设置了像素值的表达式，计算前景成分。例如，在表达式生成单元903供应表达式(64)到表达式(71)的情况下，计算单元904为表达式(64)到表达式(71)设置像素值C05到C12。

计算单元904根据设置了像素值的表达式，计算前景成分。例如，如图77所示，计算单元904通过基于设置了像素值C05到C12的表达式(64)到表达式(71)的计算步骤，计算前景成分F01/v到F08/v。计算单元904把前景成分F01/v到F08/v供应给纠正单元905。

纠正单元905通过把从计算单元904供应的前景成分与包含在从处理增量判决单元901供应的运动向量中的运动量v相乘，计算已经经过运动模糊消除的前景像素值。例如，在供应从计算单元904供应的前景成分F01/v到F08/v的情况下，纠正单元905通过前景成分F01/v到F08/v的每一个与值为5的运动量v相乘，计算如图78所示的已经经过运动模糊消除的前景像素值F01。

纠正单元905把由通过如上所述的计算的、已经经过运动模糊消除的前景像素值组成的前景成分图像供应给运动模糊相加单元906和选择单元907。

运动模糊相加单元906可以通过其值与运动量v不同的运动模糊量v′，例如，其值是运动量v一半的运动模糊调整量v′、或与运动量v没有任何关系的运动模糊调整量v′，调整运动模糊量。例如，如图70所示，运动模糊相加单元906通过将已经经过运动模糊消除的前景像素值Fi除以运动模糊调整量v′，计算前景成分Fi/v′，计算前景成分Fi/v′之和，生成已经经过运动模糊调整的像素值。例如，在运动模糊调整量v′是3的情况下，像素值C02是F01/v′，像素值C03是(F01+F02)/v′，像素值C04是(F01+F02+F03)/v′，和像素值C05是(F02+F03+F04)/v′。

运动模糊相加单元906把已经经过运动模糊量调整的前景成分图像供应给选择单元907。

选择单元907根据与用户选择相对应的选择信号，选择从计算单元905供应的、已经经过运动模糊消除的前景成分图像，或者，从运动模糊相加单元906供应的、已经经过运动模糊调整的前景成分图像，并且输出所选的前景成分图像。

如上所述，运动模糊调整单元106可以根据选择信号和运动模糊调整量v′调整运动模糊量。

现在参照图78所示的流程图，对其结构显示在图74中的运动模糊调整单元106调整前景的运动模糊量的处理加以描述。

在步骤S901中，运动模糊调整单元106的处理增量判决单元901根据运动向量和区域信息，生成处理增量，并且把生成的处理增量供应给建模单元902和纠正单元905。

在步骤S902中，运动模糊调整单元106的建模单元902选择或生成与运动量v和处理增量相对应的模型。在步骤S903中，表达式生成单元903根据选择或生成的模型，通过前景成分图像的像素值之间的差值，生成计算前景成分的表达式。

在步骤S904中，计算单元904为建立的表达式设置前景成分图像的像素值，并且，根据设置了像素值的表达式，从像素值的差值中提取前景成分。在步骤S905中，计算单元904判断与处理增量相对应的所有前景成分是否都得到提取，并且，在作出与处理增量相对应的前景成分还没有全部得到提取的判断的情况下，流程返回到步骤S904，重复提取前景成分的处理。

在步骤S905中，在作出与处理增量相对应的前景成分全部得到提取的判断的情况下，流程转到步骤S906，纠正单元905根据运动量v，纠正从计算单元904供应的前景成分F01/v到F08/v的每一个，并且，计算已经经过运动模糊量调整的前景成分F01/v到F08/v的像素值。

在步骤S907中，运动模糊相加单元906计算已经经过运动模糊调整的前景的像素值，和选择单元907选择已经经过运动模糊消除的图像，或者，已经经过运动模糊调整的图像，并且输出所选的图像，然后，结束处理。

如上所述，其结构显示在图74中的运动模糊调整单元106通过较简单的计算步骤，可以更迅速地调整包含运动模糊的前景图像中的运动模糊量。

虽然在理想条件下借助于诸如Winner(温纳)滤波器等部分消除运动模糊的传统技术可以达到一定效果，但是对于已经被量化和包含噪声的实际图像，没有达到显著效果，当利用其结构显示在图74中的运动模糊调整单元106时，对于已经被量化和包含噪声的实际图像，可以达到显著效果，并且可以精确地消除运动模糊。

图79是说明信号处理装置的不同结构的方框图。

与图2所示相同的部分用相同的标号表示，并且，省略了其描述。

把供应给信号处理装置的输入图像供应给区域指定单元103、前景/背景分离单元105、和运动估计单元2002。

混合比计算单元2001根据输入图像和从区域指定单元103供应的区域信息，计算与包含在混合区中的像素相对应的混合比α，并且把计算的混合比供应给前景/背景分离单元105和运动估计单元2002。

运动估计单元2002根据输入图像和混合比计算单元2001供应的混合比α，为多个帧计算前景成分的相关值，并且从计算相关值中检测像素的运动向量。运动估计单元2002把检测的运动向量供应给运动模糊调整单元105。

注意到运动估计单元2002可以输出检测的运动向量，作为与前景对象相对应的运动向量。

现在参照图80所示的流程图，将描述信号处理装置调整运动模糊量的处理。在步骤S2001中，区域指定单元103根据输入图像，进行生成指示输入图像的每个像素属于前景区、背景区、覆盖背景区、或未覆盖背景区中的哪一个的区域信息的区域指定处理。步骤S2001中的处理与步骤S11中的处理相同，因此，将略去其描述。区域指定单元103把生成的区域信息供应给混合比计算单元2001。

在步骤S2002中，混合比计算单元2001根据输入和区域信息，为包含在混合区中的每个像素计算混合比α。步骤S2002中的混合比计算将在稍后详细描述。混合比计算单元2001把计算的混合比α供应给前景/背景分离单元105。

在步骤S2003中，前景/背景分离单元105，根据区域信息和混合比α，从输入图像中提取前景成分，并且把它们作为前景成分图像供应给运动模糊调整单元105。步骤S2003中的处理与步骤S13中的处理相同，因此，略去对其详细描述。

在步骤S2004中，运动估计单元2002根据输入图像和混合比计算单元2001供应的混合比α，检测与混合区或前景对象相对应的运动向量。以后再对检测运动向量的处理作详细描述。运动估计单元2002把检测的运动向量供应给运动模糊调整单元105。

在步骤S2005中，运动模糊调整单元105，根据运动向量和区域信息，生成沿着运动方向依次排列的和属于前景区、背景区、或覆盖背景区之一的像素的、指示在图像上的位置的处理增量，并且与处理增量相对应地调整包含在前景成分中的运动模糊量。步骤S2005中的处理与步骤S214中的处理相同，因此，略去对该处理的详细描述。

在步骤S2006中，信号处理装置判断是否对整个屏幕都进行了处理，并且，在作出整个屏幕的处理还没有结束的判断的情况下，流程转到步骤2005，重复与处理增量相对应地调整前景成分的运动模糊的处理。

在步骤S2006中，在作出整个屏幕的处理已经结束的判断的情况下，结束处理。

如上所述，信号处理装置，可以分离前景和背景，调整包含在前景中的运动模糊量，和检测运动向量。也就是说，信号处理装置，可以调整包含在作为前景像素的像素值的取样数据中的运动模糊量。此外，信号处理装置，通过考虑前景和背景的混合，可以检测运动向量。

图81是说明混合比计算单元2001的结构的例子的方框图。通过根据输入图像，进行与覆盖背景区的模型相对应的计算步骤，估计混合比处理单元2401为每个像素计算估计混合比，并且把计算的估计混合比供应给混合比确定单元2403。

通过根据输入图像，进行与未覆盖背景区的模型相对应的计算步骤，估计混合比处理单元2402为每个像素计算估计混合比，并且把计算的估计混合比供应给混合比确定单元2403。

由于可以假设与前景相对应的对象作恒速运动，因此，属于混合区的像素的混合比α具有如下所述的性质。也就是说，混合比α随着像素位置的改变线性地改变。在像素位置的改变是一维的情况下，混合比α的改变用直线来表示，而在像素位置的改变是二维的情况下，混合比α的改变用平面来表示。

注意到一个帧的间隔很短，因此，可以假设与前景相对应的对象是刚体并作恒速运动。

在这种情况下，混合比α的斜率在快门间隔内与前景的运动量v成反比。

理想混合比α的例子在图82中示出。在理想混合比α的混合中斜率l可以表示成运动量v的倒数。

如图82所示，理想混合比α在背景区内具有为1的值，在前景区内具有为0的值，而在混合区内具有大于0和小于1的值。

至于图83所示的例子，利用帧#n-1中从左边算起第7个像素的像素值P06，帧#n中从左边算起第7个像素的像素值C06可以通过表达式(72)来表示。

$C06=B06/v+B06/v+F01/v+F02/v$

$=P06/v+P06/v+F01/v+F02/v---\left(72\right)$

$=2/v\·P06+\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{Fi}/v$

在表达式(72)中，像素值C06通过混合区中像素的像素值M来表示，而像素值P06通过背景区中像素的像素值B来表示。也就是说，混合区中像素的像素值M和背景区中像素的像素值B可以分别通过表达式(73)和表达式(74)来表示。

M＝C06                                           (73)

B＝P06                                           (74)

在表达式(72)中，2/v对应于混合比α。由于运动量v是4，帧#n中从左边算起第7个像素的混合比α是0.5

如上所述，通过把感兴趣帧#n中像素值C看成混合区中的像素值，并把帧#n之前的帧#n-1中的像素值P看成背景区中的像素值，可以把表示混合比α的表达式(3)重写成表达式(75)。

C＝α·P+f                                       (75)

这里，表达式(75)中的f是包含在感兴趣帧中的前景成分∑_iFi/v之和。包含在表达式(75)中的变量是混合比α、和前景成分f的和值的这两个变量。

类似地，未覆盖背景区中的运动量v是4，沿着时间方向的实际分割数是4，和像素值沿着时间方向展开的模型在图84中示出。

在未覆盖背景区中，通过把感兴趣帧#n中的像素值看成混合区的像素值，并把帧#n后面的帧#n+1中的像素值N看成背景区中的像素值，以与上述覆盖背景区中的表示相同的方式，把表示混合比α的表达式(3)表示成表达式(76)。

C＝α·N+f                                       (76)

注意到虽然是在背景对象保持静止的假设下加以描述的，但是，即使背景对象是运动的，也可以利用处在与背景运动量v相关联的位置上的像素的像素值，应用表达式(72)到表达式(76)。例如，在图83中，在与背景相对应的对象的运动量v是2，和实际分割数是4的情况下，如果与背景相对应的对象在图中向右边移动，那么，在表达式(74)中背景区中的像素的像素值B是像素值P04。

由于表达式(75)和表达式(76)每一个都包含两个变量，因此，不能按那样计算混合比α。在这种情况下，由于图像一般存在巨大的空间相关性、相邻帧具有大致相同的像素值。

相应地，变换表达式，以便从前一帧或后一帧中计算前景成分之和，并且，由于前景成分存在巨大的空间相关性，可以计算混合比α。

在图85所示的帧#n中从左边算起第7个像素的像素值Mc可以用表达式(77)来表示。

$\mathrm{Mc}=\frac{2}{v}\·B06+\underset{i=11}{\overset{12}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(77\right)$

表达式(77)中右边第1个变元2/v对应于混合比α。表达式(77)中右边第2个变元可以利用后一帧#n+1中的像素值表示成表达式(78)

$\underset{i=11}{\overset{12}{\mathrm{\Σ}}}\mathrm{Fi}/v=\mathrm{\β}\·\underset{i=7}{\overset{10}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(78\right)$

现在，利用背景成分的空间相关性，将作出表达式(79)成立的假设。

F＝F05＝F06＝F07＝F08＝F09＝F10＝F11＝F12           (79)

利用表达式(79)可以把表达式(78)重写成表达式(80)。

$\underset{i=11}{\overset{12}{\mathrm{\Σ}}}\mathrm{Fi}/v=\frac{2}{v}\·F$

$=\mathrm{\β}\·\frac{4}{v}\·F---\left(80\right)$

作为结果，β可以用表达式(81)来表示。

3＝2/4                                              (81)

一般地，在作出与混合区相关联的前景成分与表达式(79)所示的相同的假设的情况下，对于混合区中的所有像素，表达式(82)由内分比的关系构成。

β＝1-α                                            (82)

在表达式(82)成立的情况下，表达式(75)可以像表达式(83)所示的那样展开。

$C=\mathrm{\α}\·P+f$

$=\mathrm{\α}\·P+(1-\mathrm{\α})\·\underset{i=\mathrm{\γ}}{\overset{\mathrm{\γ}+p-1}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(83\right)$

$=\mathrm{\α}\·P+(1-\mathrm{\α})\·N$

类似地，在表达式(82)成立的情况下，表达式(76)可以像表达式(84)所示的那样展开。

$C=\mathrm{\α}\·N+f$

$=\mathrm{\α}\·N+(1-\mathrm{\α})\·\underset{i=\mathrm{\γ}}{\overset{\mathrm{\γ}+v-1}{\mathrm{\Σ}}}\mathrm{Fi}/v---\left(84\right)$

$=\mathrm{\α}\·N+(1-\mathrm{\α})\·P$

在表达式(83)和表达式(84)中，由于C、N和P是已知像素值，包含在表达式(83)和表达式(84)中的变量只是混合比α。表达式(83)和表达式(84)中C、N和P之间的关系在图86中示出。C是用于计算混合比α的、感兴趣帧#n中感兴趣像素的像素值。N是沿着空间方向的位置与感兴趣像素的位置相对应的、帧#n+1中的像素的像素值。P是沿着空间方向的位置与感兴趣像素的位置相对应的、帧#n-1中的像素的像素值。

相应地，由于表达式(83)和表达式(84)每一个只包括一个变量，利用三个帧中的像素值可以计算混合比α。通过求解表达式(83)和表达式(84)计算精确混合比α的条件是：与混合区有关的前景成分是相同的，也就是说，在前景对象保持静止的状态下获取的前景图像对象中，与前景对象的运动方向相对应的、在图像对象的边界上依次排列的、两倍于运动量v的像素的像素值是不变的。

如上所述，属于覆盖背景区的像素的混合比α通过表达式(85)来计算步骤，和属于未覆盖背景区的像素的混合比α通过表达式(86)来计算。

α＝(C-N)/(P-N)                            (85)

α＝(C-P)/(N-P)                            (86)

图87是说明估计混合比处理单元2401的结构的方框图。帧存储器2421以逐帧递增的方式存储输入图像，并且把作为输入图像输入的帧之后的帧供应给帧存储器2422和混合比计算单元2423。

帧存储器2422以逐帧递增的方式存储输入图像，并且把帧存储器2421供应的帧之后的帧供应给混合比计算单元2423。

因此，在把帧#n+1作为输入帧输入到混合比计算单元2423的情况下，帧存储器2421把帧#n供应给混合比计算单元2424，并且，帧存储器2422把帧#n-1供应给混合比计算单元2424。

混合比计算单元2423根据帧#n中感兴趣像素的像素值C、其空间位置与感兴趣像素的位置相对应的帧#n+1中的像素的像素值N、和其空间位置与感兴趣像素的位置相对应的帧#n-1中的像素的像素值P，计算感兴趣像素的混合比，并且输出计算的估计混合比。例如，在背景保持静止的情况下，混合比计算单元2423根据帧#n中感兴趣像素的像素值C、在帧中与感兴趣像素处在相同位置上的帧#n+1中的像素的像素值N、和在帧中与感兴趣像素处在相同位置上的帧#n-1中的像素的像素值P，计算感兴趣像素的混合比，并且输出计算的估计混合比。

如上所述，估计混合比处理单元2401可以根据输入图像，计算估计混合比，并且将其供应给混合比确定单元2403。

注意到除了在估计混合比处理单元2401通过表达式(85)所表示的运算，计算感兴趣像素的估计混合比的时候，估计混合比处理单元2404通过表达式(86)所表示的运算，计算感兴趣像素的估计混合比的处理之外，估计混合比处理单元2402的处理与估计混合比处理单元2401的处理相同，因此，将略去其描述。

图88是说明估计混合比处理单元2401计算估计混合比的例子的图。图88所示的估计混合比表示在对于一行，与作恒速运动的对象相对应的前景运动量v是11的情况下的结果。

可以理解，像图82所示的那样，混合比合区在混估计内近似线性地变化。

返回到图81，混合比确定单元2403根据从区域指定单元103供应的、指示作为混合比α计算对象的像素属于前景区、背景区、覆盖背景区、和未覆盖背景区中的哪一个的区域信息，设置混合比α。在作为对象的像素属于前景区的情况下，混合比确定单元2403把混合比α设置成0，在作为对象的像素属于背景区的情况下，把混合比α设置成1，在作为对象的像素属于覆盖背景区的情况下，把混合比α设置成从估计混合比处理单元2401供应的估计混合比，而在作为对象的像素属于未覆盖背景区的情况下，把混合比α设置成从估计混合比处理单元2402供应的估计混合比。混合比确定单元2403输出根据区域信息设置的混合比α。

图89是说明混合比计算单元2001的另一种配置的方框图。选择单元2441根据从区域指定单元103供应的区域信息，把属于覆盖背景区的像素和在后一帧和前一帧中的相对应的像素供应给估计混合比处理单元2442。选择单元2441根据从区域指定单元103供应的区域信息，把属于未覆盖背景区的像素和在后一帧和前一帧中的相对应的像素供应给估计混合比处理单元2443。

估计混合比处理单元2442根据从选择单元2441输入的像素值，通过表达式(85)所表示的计算步骤，计算属于覆盖背景区的感兴趣像素的估计混合比，并且把计算的估计混合比供应给选择单元2444。

估计混合比处理单元2443根据从选择单元2441输入的像素值，通过表达式(86)所表示的计算步骤，计算属于未覆盖背景区的感兴趣像素的估计混合比，并且把计算的估计混合比供应给选择单元2444。

根据从区域指定单元103供应的区域信息，在作为对象的像素属于前景区的情况下，选择单元2444选择其值为0的估计混合比α，并且把混合比α设置成这个值，而在作为对象的像素属于背景区的情况下，选择单元2444选择其值为1的估计混合比α，并且把混合比α设置成这个值。在作为对象的像素属于覆盖背景区的情况下，选择单元244选择从估计混合比处理单元2442供应的估计混合比，并且把混合比α设置成这个值，而在作为对象的像素属于未覆盖背景区的情况下，选择单元244选择从估计混合比处理单元2443供应的估计混合比，并且把混合比α设置成这个值。选择单元2444输出根据区域信息选择和设置的混合比α

如上所述，具有图89所示的不同结构的混合比计算单元2001可以为包含在图像中的每个像素计算混合比α，并且输出计算的混合比α。

参照图90所示的流程图，将描述其结构显示在图81中的混合比计算单元2001计算混合比α的处理。参照图90所示的流程图而描述的处理对应于步骤S2002表示的处理。

在步骤S2401中，混合比计算单元2001获取从区域指定单元103供应的区域信息。在步骤S2402中，估计混合比处理单元2401通过与覆盖背景区相对应的模型，进行计算估计混合比的处理，并且把计算的估计混合比供应给混合比确定单元2403。后面将参照图91详细描述计算估计混合比的处理。

在步骤S2403中，估计混合比处理单元2402通过与未覆盖背景区相对应的模型，进行计算估计混合比的处理，并且把计算的估计混合比供应给混合比确定单元2403。

在步骤S2404中，混合比计算单元2001判断是否对整个帧都估计了混合比α，并且，在作出还没有对整个帧都估计了混合比α的判断的情况下，流程返回到步骤S2402，进行为后面的像素估计混合比α的处理。

如果在步骤S2404中作出已经对整个帧估计了估计混合比α的判断，流程转到步骤S2405，混合比确定单元2403根据从区域指定单元103供应的、指示像素属于前景区、背景区、覆盖背景区、和未覆盖背景区中的哪一个的区域信息，设置混合比α。在作为对象的像素属于前景区的情况下，混合比确定单元2403把混合比α设置成0，在作为对象的像素属于背景区的情况下，把混合比α设置成1，在作为对象的像素属于覆盖背景区的情况下，把混合比α设置成从估计混合比处理单元2401供应的估计混合比，而在作为对象的像素属于未覆盖背景区的情况下，把混合比α设置成从估计混合比处理单元2402供应的估计混合比，然后，结束处理。

如上所述，根据从区域指定单元103供应的区域信息和输入图像，混合比计算单元2001可以计算与每个像素相对应的、作为特征量的混合比α。

其配置在图89中示出的混合比计算单元2001计算混合比α的处理与参照图90描述的处理相同，因此，将略去其描述。

现在参照图91所示的流程图，对与图90所示的步骤S2402相对应的、通过与覆盖背景区相对应的模型进行混合比估计的处理加以描述。

在步骤S2421中，混合比计算单元2423从帧存储器2421中获取帧#n中感兴趣像素的像素值C。

在步骤S2422中，混合比计算单元2423从帧存储器2422中获取与感兴趣像素相对应的、帧#n-1中的像素的像素值P。

在步骤S2423中，混合比计算单元2423获取与包含在输入图像中的感兴趣像素相对应的、帧#n+1中的像素的像素值N。

在步骤S2424中，混合比计算单元2423根据帧#n中感兴趣像素的像素值C、帧#n-1中像素的像素值P、和帧#n+1中像素的像素值N，计算估计混合比。

在步骤S2425中，混合比计算单元2423判断对于整个帧，计算估计混合比的处理是否已经结束了，并且，在作出对于整个帧，计算估计混合比的处理还没有结束的判断的情况下，流程返回到步骤S2421，重复为下一个像素计算估计混合比的处理。

在步骤S2425中，在作出对于整个帧，计算估计混合比的处理已经结束的判断的情况下，结束处理。

如上所述，估计混合比处理单元2401根据输入图像，可以计算估计混合比。

在利用与未覆盖背景区相对应的模型的、图90所示的步骤S2403中，通过与未覆盖背景区相对应的模型进行混合比估计的处理与在图91所示的流程图中所指示的处理相同，因此，将略去其描述。

注意到估计混合比处理单元2442和估计混合比处理单元2443进行与图91所示的流程图中的处理相同的处理，计算估计混合比，因此，将略去其描述。

此外，虽然是在与背景相对应的对象保持静止的假设下进行描述的，但是，即使与背景区相对应的图像处在运动之中，也可以应用如上所述获取混合比α的处理。例如，在与背景相对应的图像作匀速运动的情况下，估计混合比处理单元2401与背景运动相对应地移动整个图像，以与与背景相对应的对象保持静止的情况相同的方式进行处理。此外，如果与背景相对应的图像包含：在每个局部位置上的不同的背景运动，那么，估计混合比处理单元2401选择与背景运动相对应的像素，作为与属于混合区的像素相对应的像素，进行如上所达的处理。

此外，可以作出这样的安排，其中，混合比计算单元2001通过与覆盖背景区相对应的模型，对所有像素只进行混合比估计处理，输出计算的估计混合比作为混合比α。在这种情况下，混合比α对于属于覆盖背景区的像素，代表背景成分的比例，而对于属于未覆盖背景区的像素，代表前景成分的比例。通过对属于未覆盖背景区的像素，计算如上所述计算的混合比α与1之间的差值的绝对值，和为混合比α设置绝对值，信号处理装置，可以为属于未覆盖背景区的像素获取指示背景成分的比例的混合比α。

注意到，类似地，可以作出这样的安排，其中，混合比计算单元2001通过与未覆盖背景区相对应的模型，对所有像素只进行混合比估计处理，输出计算的估计混合比，作为混合比α。

现在将描述估计混合比处理单元2001的其它处理。

利用混合比α随像素的位置线性变化的性质，由于在快门间隔内与前景相对应的对象作恒速运动，可以构造近似计算混合比α和沿着空间方向的前景成分之和的表达式。利用多组属于混合区的像素的像素值和属于背景区的像素的像素值，通过求解近似计算混合比α和前景成分f的和值的表达式，计算混合比α。

在线性逼近混合比α的变化的情况下，混合比α用表达式(87)表示。

α＝il+p                                           (87)

在表达式(87)中，i表示其中感兴趣像素的位置是0的、沿着空间方向的指标。l是混合比α的直线的斜率。p是包括感兴趣像素的混合比α在内的混合比α的直线的截距。在表达式(87)中，虽然指标i是已知的，但是斜率l和截距p是未知的。

指标i、斜率l、和截距p之间的关系在图92中示出。

通过像表达式(87)那样近似计算混合比α，多个像素的多个不同混合比α通过两个变量来表示。在图92所示的例子中，5个像素的5个混合比用两个变量，即斜率l和截距p来表示。

在以图93所示的平面方式近似计算混合比α的情况中，考虑到与图像的水平方向和垂直方向两个方向相对应的运动v，通过把表达式(87)推广到平面上，混合比α被表示成表达式(88)。

α＝jm+kq+p                                           (88)

在表达式(88)中，j表示其中感兴趣像素的位置是0的、沿着水平方向的指标，和k表示沿着垂直方向的指标。m是混合比α的平面在水平方向的斜率，和q是混合比α的平面在垂直方向的斜率。符号p是混合比α的平面的截距。

例如，在图83所示的帧#n中，表达式(89)到表达式(91)分别对C05到C07成立。

C05＝α05·B05/v+f05                                  (89)

C06＝α06·B06/v+f06                                  (90)

C07＝α07·B07/v+f07                                  (91)

假设前景成分普遍一致，即，F01到F03相同，且F01到F03被写成Fc，则表达式(92)成立。

f(x)＝(1-α(x))·Fc                                   (92)

在表达式(92)中，x表示沿着空间方向的位置。

把α(x)重写成表达式(88)，表达式(92)可以被表示成表达式(93)。

f(x)＝(1-(jm+kq+p))·Fc

＝j·(-m·Fc)+k·(-q·Fc)+((1-p)·Fc)

＝js+kt+u                                             (93)

在表达式(93)中，(-m·Fc)、(-q·Fc)和(1-p)·Fc被重写成表达式(94)到(96)。

s＝-m·Fc                                             (94)

t＝-q·Fc                                             (95)

u＝(1-p)·Fc                                          (96)

在表达式(93)中，j表示其中感兴趣像素的位置是0的、沿着水平方向的指标，和k表示沿着垂直方向的指标。

如上所述，由于可以假设与前景对象相对应的对象在快门间隔内作恒速运动，和与前景相对应的成分一般来说保持一致，可以用表达式(93)近似计算前景成分之和。

注意到在线性近似计算混合比α的情况下，前景成分之和用表达式(97)表示。

f(x)＝is+u                                          (97)

利用表达式(88)和表达式(93)重写混合比α和表达式(77)中的前景成分之和，把像素值M表示成表达式(98)。

M＝(jm+kq+p)·B+js+kt+u

＝jB·m+kB·q+B·p+j·s+k·t+u                      (98)

在表达式(98)中，未知变量是6个值，即，混合比α的平面在水平方向的斜率m、混合比α的平面在垂直方向的斜率q、混合比α的平面的截距p、s、t、和u。

与感兴趣像素附近的像素相对应，为表达式(98)设置像素值M和像素值B，通过最小二乘法求解已经为其设置了像素值M和像素值B的多个表达式，计算混合比α。

例如，通过把沿着水平方向感兴趣像素的指标j设置成0，把沿着垂直方向感兴趣像素的指标k设置成0，和针对感兴趣像素附近的3×3个像素，为由表达式(98)的表示的正规方程设置像素值M或像素值B，获得表达式(99)到表达式(107)

M_-1，-1＝(-1)·B_-1，-1·m+(-1)·B_-1，-1·q+B_-1，-1·p+(-1)·s+(-1)·t+u                                (99)

M_0，-1＝(0)·B_0，-1·m+(-1)·B_0，-1·q+B_0，-1·p+(0)·s+(-1)·t+u                                   (100)

M_+1，-1＝(+1)·B_+1，-1·m+(-1)·B_+1，-1·q+B_+1，-1·p+(+1)·s+(-1)·t+u                                (101)

M_-1，0＝(-1)·B_-1，0·m+(0)·B_-1，0·q+B_-1，0·p+(-1)·s+(0)·t+u                                        (102)

M_0，0＝(0)·B_0，0·m+(0)·B_0，0·q+B_0，0·p+(0)·s+(0)·t+u

                                      (103)

M_+1，0＝(+1)·B_+1，0·m+(0)·B_+1，0·q+B_+1，0·p+(+1)·s+(0)·t+u                                        (104)

M_-1，+1＝(-1)·B_-1，+1·m+(+1)·B_-1，+1·q+B_-1，+1·p+(-1)·s+(+1)·t+u                                 (105)

M_0，+1＝(0)·B_0，+1·m+(+1)·B_0，+1·q+B_0，+1·p+(0)·s+(+1)·t+u                                    (106)

M_+1，+1＝(+1)·B_+1，+1·m+(+1)·B_+1，+1·q+B_+1，+1·p+(+1)·s+(+1)·t+u                                 (107)

由于水平方向中感兴趣像素的指标j是0，而垂直方向中感兴趣像素的指标k是0，感兴趣像素的混合比α等于把j＝0和k＝0代入表达式(88)所得的值，即，截距p。

因此，根据表达式(99)到表达式(107)这9个表达式，通过最小二乘法，计算水平方向的斜率m、垂直方向的斜率q、截距p、s、t、和u，可以输出截距p，作为混合比α。

现在将描述应用最小二乘法计算混合比α的更具体过程。

用一个指标x表示指标i和指标k，指标i、指标k和指标x之间的关系表示成表达式(108)。

x＝(j+1)·3+(k+1)                             (108)

在水平方向的斜率m、在垂直方向的斜率q、截距p、s、t、和u分别用变量w0、w1、w2、w3、w4和w5来表示，而jB、kB、B、j、k和l分别用a0、a1、a2、a3、a4和a5来表示。考虑到误差容限ex，把表达式(99)到表达式(107)重写成表达式(109)。

$\mathrm{Mx}=\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy}+\mathrm{ex}---\left(109\right)$

在表达式(109)中，x表示0到8之间的整数之一。

从表达式(109)中可以导出表达式(110)。

$\mathrm{ex}=\mathrm{Mx}-\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy}---\left(110\right)$

应用最小二乘法，把误差容限的平方和E定义为表达式(111)所表示的那样。

$E=\underset{x=0}{\overset{8}{\mathrm{\Σ}}}{\mathrm{ex}}^2---\left(111\right)$

为了使误差容限达到最小，对误差容限的平方和E求变量Wv的偏导数应该趋向0。其中，v是0到5之间的整数之一。因此，计算wy，以便满足表达式(112)。

$\frac{\∂E}{\∂\mathrm{wv}}=2\·\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ex}\·\frac{\∂\mathrm{ex}}{\∂\mathrm{wv}}---\left(112\right)$

$=2\·\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{ex}\·\mathrm{av}=0$

将表达式(110)代入表达式(112)中，获取表达式(113)。

$\underset{x=0}{\overset{8}{\mathrm{\Σ}}}(\mathrm{av}\·\underset{y=0}{\overset{5}{\mathrm{\Σ}}}\mathrm{ay}\·\mathrm{wy})=\underset{x=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{av}\·\mathrm{Mx}---\left(113\right)$

通过把，例如，扫除法(高斯消元法)等应用于由把0到5之间的整数之一代入表达式(113)中的v中获得的6个表达式组成的正规方程中，计算wy。如上所述，w0表示水平方向的斜率m，w1表示垂直方向的斜率q，w2表示截距p，w3表示s，w4表示t，和w5表示u。

如上所述，通过把最小二乘法应用于设置了像素值M和像素值B的表达式，可以计算水平方向的斜率m、垂直方向的斜率q、截距p、s、t、和u。

这里，截距p是指标i和指标k是0的点上，即在中心位置上的混合比α，这是相对应的输出

在与表达式(99)到表达式(107)相对应的描述中，虽然已经对包含在混合区中的像素的像素值作为M、包含背景区中的像素的像素值作为B作了描述，但是，对于包含在覆盖背景区中的和包含在未覆盖背景区中的像素的每一种情况都需要形成正规方程。

例如，在计算包含在图83所示的帧#n的覆盖背景区中的像素的混合比α的情况下，为正规方程设置帧#n的像素C04到C08，和帧#n-1的像素的像素值P04到P08。

在计算包含在图84所示的帧#n的未覆盖背景区中的像素的混合比α的情况下，为正规方程设置帧#n的像素的C28到C32，和帧#n+1的像素的像素值发N28到N32。

此外，例如，在计算包含在图94所示的覆盖背景区中的像素的混合比α的情况下，可以构成如下所述的表达式(114)到表达式(122)。计算混合比α的像素的像素值是Mc5。在图94中，白圈表示被当作背景的像素。

Mc1＝(-1)·Bc1·m+(-1)·Bc1·q+Bc1·p+(-1)·s+(-1)·t+u                                           (114)

Mc2＝(0)·Bc2·m+(-1)·Bc2·q+Bc2·p+(0)·s+(-1)·t+u                                           (115)

Mc3＝(+1)·Bc3·m+(-1)·Bc3·q+Bc3·p+(+1)·s+(-1)·t+u                                               (116)

Mc4＝(-1)·Bc4·m+(0)·Bc4·q+Bc4·p+(-1)·s+(0)·t+u                                               (117)

Mc5＝(0)·Bc5·m+(0)·Bc5·q+Bc5·p+(0)·s+(0)·t+u

                                             (118)

Mc6＝(+1)·Bc6·m+(0)·Bc6·q+Bc6·p+(+1)·s+(0)·t+u                                                (119)

Mc7＝(-1)·Bc7·m+(+1)·Bc7·q+Bc7·p+(-1)·s+(+1)·t+u                                               (120)

Mc8＝(0)·Bc8·m+(+1)·Bc8·q+Bc8·p+(0)·s+(+1)·t+u                                                (121)

Mc9＝(+1)·Bc9·m+(+1)·Bc9·q+Bc9·p+(+1)·s+(+1)·t+u                                               (122)

在计算帧#n中包含在覆盖背景区中的像素的混合比α的情况下，在表达式(114)到表达式(122)中使用与帧#n中的像素相对应的、帧#n-1中背景区中的像素的像素值Bc1到Bc9。

在计算包含在图94所示的未覆盖背景区中的像素的混合比α的情况下，可以构成如下所述表达式(123)到表达式(131)。计算混合比α的像素的像素值是Mu5。。

Mu1＝(-1)·Bu1·m+(-1)·Bu1·q+Bu1·p+(-1)·s+(-1)·t+u                                               (123)

Mu2＝(0)·Bu2·m+(-1)·Bu2·q+Bu2·p+(0)·s+(-1)·t+u                                               (124)

Mu3＝(+1)·Bu3·m+(-1)·Bu3·q+Bu3·p+(+1)·s+(-1)·t+u                                               (125)

Mu4＝(-1)·Bu4·m+(0)·Bu4·q+Bu4·p+(-1)·s+(0)·t+u                                               (126)

Mu5＝(0)·Bu5·m+(0)·Bu5·q+Bu5·p+(0)·s+(0)·t+u

                                             (127)

Mu6＝(+1)·Bu6·m+(0)·Bu6·q+Bu6·p+(+1)·s+(0)·t+u                                              (128)

Mu7＝(-1)·Bu7·m+(+1)·Bu7·q+Bu7·p+(-1)·s+(+1)·t+u                                              (129)

Mu8＝(0)·Bu8·m+(+1)·Bu8·q+Bu8·p+(0)·s+(+1)·t+u                                              (130)

Mu9＝(+1)·Bu9·m+(+1)·Bu9·q+Bu9·p+(+1)·s+(+1)·t+u                                              (131)

在计算帧#n中包含在未覆盖背景区中的像素的混合比α的情况下，在表达式(123)到表达式(131)中使用与帧#n中的像素相对应的、帧#n+1中背景区中的像素的像素值Bu1到Bu9。

图95是说明混合比估计处理单元2401的配置的方框图。把输入到估计混合比处理单元2401的图像供应给延迟单元2461和相加单元2462。

延迟单元2461把输入图像延迟一个帧，并且将其供应给相加单元2462。在把帧#n输入到相加单元2462中作为输入图像的那一点上，延迟电路2461把帧#n-1供应给相加单元2462。

相加单元2462为正规方程设置计算混合比α的像素附近的像素的像素值、和帧#n-1的像素值。例如，相加单元2462根据表达式(114)到表达式(122)，为正规方程设置像素值Mc1到Mc9、和像素值Bc1到Bc9。相加单元2462把已经为其设置了像素值的正规方程供应给计算单元2463。

计算单元2463通过利用扫除法求解相加单元2462供应的正规方程，计算估计混合比，并且输出计算的估计混合比。

如上所述，估计混合比处理单元2401可以根据输入图像，计算估计混合比，并且将其输出到混合比确定单元2403。

注意到估计混合比处理单元2402具有与估计混合比处理单元2401相同的结构，因此，将略去其描述。

图96是说明估计混合比处理单元2401计算的估计混合比的例子的图。图96说明了与一行有关的估计混合比，其中，与作恒速运动的对象相对应的前景的运动量v是11，并且，通过以每块7×7个像素递增生成的表达式计算结果。

可以看出，在如图82所示的混合区中，估计混合比近似线性地改变。

混合比确定单元2403根据从区域指定单元103供应的、计算混合比的像素属于前景区、背景区、覆盖背景区、或未覆盖背景区中的哪一个的区域信息，计算混合比。在作为对象的像素属于前景区的情况下，混合比确定单元2403把混合比设置成0，在作为对象的像素属于背景区的情况下，把混合比设置成1，在作为对象的像素属于覆盖背景区的情况下，把混合比设置成从估计混合比处理单元2401供应的估计混合比，而在作为对象的像素属于未覆盖背景区的情况下，把混合比设置成从估计混合比处理单元2402供应的估计混合比。混合比确定单元2403输出根据区域信息设置的混合比。

参照图97所示的流程图，将描述与图90所示的步骤S2402中的处理相对应的、由其结构显示在图95中的估计混合比处理单元2401执行的、通过与覆盖背景区相对应的模型进行混合比估计的处理。

在步骤S2441中，相加单元2462为与覆盖背景区的模型相对应的正规方程设置包含在输入图像中的像素值、和包含在延迟电路2461供应的图像中的像素值。

在步骤S2442中，估计混合比处理单元2401为作为对象的像素的设置是否已经结束，并且，在作出为作为对象的像素的设置还没有结束的判断的情况下，流程返回到步骤S2441，重复为正规方程设置像素值的处理。

在步骤S2442中，在作出为作为对象的像素的设置已经结束的判断的情况下，流程转到步骤S2443，计算单元173根据已经为其设置了像素值的正规方程，计算估计混合比，并且输出计算的估计混合比。

如上所述，估计混合比处理单元2401可以根据输入图像，计算估计混合比。

其结构显示在图95中的估计混合比处理单元2401的、通过与未覆盖背景区相对应的模型进行混合比估计的处理，与使用与覆盖背景区的模型相对应的正规方程的、图97所示的流程图所指示的处理相同，因此，将略去其描述。

注意到虽然描述是在与背景相对应的对象保持静止的假设下作出的，但是，即使与背景区相对应的图像包含运动部分，也可以应用如上所述的混合比计算处理。例如，在与背景区相对应的图像作恒速运动的情况下，估计混合比处理单元2401与运动相对应地移动整个图像，并且以与与背景相对应的对象保持静止的情况相同的方式进行处理。此外，在与背景区相对应的图像在每个局部位置上包括不同运动的情况下，估计混合比处理单元2401选择与运动相对应的像素，作为与属于混合区的像素相对应的像素，并且进行上述处理。

图98是说明运动估计单元2002的结构的方框图。

把供应给运动估计单元2002的混合比α输入到帧差值计算单元2502。把供应给运动估计单元2002的输入图像输入到帧存储器2501和帧差值计算单元2502。

帧存储器2501以帧递增的方式存储输入图像，延迟与一个帧相对应的间隔，并把存储的输入图像输出到帧差值计算单元2502。

把供应给运动估计单元2002的输入图像的帧取作感兴趣帧，帧差值计算单元2502把与背景区的像素相对应的、从帧存储器2501供应的输入图像的像素值与感兴趣帧的感兴趣像素(下文也称之为感兴趣像素)的混合比α相乘，并计算与背景成分相对应的像素值。帧差值计算单元2502分别从供应给运动估计单元2002的输入图像的感兴趣像素的像素值和与感兴趣像素相对应的像素的像素值中，减去与背景成分相对应的像素值，并且计算差值。

帧差值计算单元2502为每个感兴趣像素，即，为感兴趣混合比α的每个像素把计算的差值作为差图像数据供应给运动补偿单元2503和帧存储器2504。

运动向量生成单元2505为感兴趣帧的每个感兴趣像素，即，为每个差图像数据生成其长度从预定初始值开始依次增加，以及其角度从预定初始值开始依次改变的估计运动向量，并且把生成的估计运动向量供应给运动补偿单元2503和最大值判断单元2507。

例如，运动向量生成单元2505根据事先存储的长度的初始值和角度的初始值，生成估计运动向量。运动向量生成单元2505通过把预定增量加入生成的估计运动向量的长度中，改变估计运动向量的长度。在估计运动向量的长度超过预定值的情况下，运动向量生成单元2505把预定角度加入估计运动向量的角度中，以及为估计运动向量的长度设置长度的初始值。

运动向量生成单元2505重复改变估计运动向量的长度和改变角度的处理，生成其长度和角度在预定范围内的估计运动向量。

运动补偿单元2503根据从运动向量生成单元2505供应的估计运动向量，对从帧差值计算单元2502供应的差图像数据进行运动补偿，并且把已经经过运动补偿的差图像数据供应给相关值计算单元2506。

帧存储器2504为每个帧存储差图像数据，将其延迟与一个帧相对应的间隔，并且把存储的差图像数据供应给相关值计算单元2506。

相关值计算单元2506，为每个估计运动向量计算从运动补偿单元2503供应的已经经过运动补偿的差图像数据与从帧存储器2504供应的已经经过一个帧延迟的差图像数据之间的相关值，并且把计算的相关值供应给最大值判断单元2507。

相关值计算单元2506，为每个像素计算，例如，从运动补偿单元2503供应的已经经过运动补偿的差图像数据与从帧存储器2504供应的已经经过一个帧延迟的差图像数据之间的差值的绝对值，并且把计算的差值的绝对值供应给最大值判断单元2507，作为相关值。相关值计算单元2506输出的相关值被称为差值图像间相关数据。

最大值判断单元2507存储与从运动向量生成单元2505供应的估计运动向量的值相关的、从相关值计算单元2506供应的相关值。最大值判断单元2507从与一个感兴趣像素相对应的存储相关值中，选择具有最大相关性的相关值，并且选择与所选相关值相对应的估计运动向量。最大值判断单元2507为与感兴趣像素相对应的运动向量设置为每个感兴趣像素选择的估计运动向量，并且输出与感兴趣像素相对应的运动向量。

注意到最大值判断单元2507可以以由多个像素组成的模块的递增方式检测运动向量。

此外，可以作出这样的安排，其中，在运动向量在一个块是不变的假设下，最大值判断单元2507以由多个像素组成的模块的递增方式检测运动向量。

下面通过如图99到图105所示，其中前景对象的运动量v是4的图像的模型，描述运动估计单元2002的处理。

帧#n中从左边算起第6个像素的像素值可以通过表达式(132)来表达。同样，帧#n中从左边算起第7个像素的像素值可以通过表达式(133)来表达，和帧#n中从左边算起第8个像素的像素值可以通过表达式(134)来表达。

$C05=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\mathrm{Fi}+\mathrm{\α}05\·B05---\left(132\right)$

$C06=\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{Fi}+\mathrm{\α}06\·B06---\left(133\right)$

$C07=\underset{i=1}{\overset{1}{\mathrm{\Σ}}}\mathrm{Fi}+\mathrm{\α}07\·B07---\left(134\right)$

同样，帧#n+1中从左边算起第10个像素的像素值可以通过表达式(135)来表达。帧#n+1中从左边算起第11个像素的像素值可以通过表达式(136)来表达，和帧#n+1中从左边算起第12个像素的像素值可以通过表达式(137)来表达。

$N09=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\mathrm{Fi}+\mathrm{\α}09\·B09---\left(135\right)$

$N10=\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{Fi}+\mathrm{\α}10\·B10---\left(136\right)$

$N11=\underset{i=1}{\overset{1}{\mathrm{\Σ}}}\mathrm{Fi}+\mathrm{\α}11\·B11---\left(137\right)$

在表达式(132)中，α05是1/4。在从属于帧#n的混合区或背景区的像素的像素值中，减去帧#n-1中的相对应的像素的像素值被α05所乘的值的情况下，如图100所示，包含在由帧#n的像素值中的背景成分的全部或一部分被消除了。

在帧#n中从左边算起的第6个像素中，包含在像素值中的所有背景成分都被消除了，只有包含在像素值中的前景成分被保留下来。

同样，在从属于帧#n+1的混合区或背景区的像素的像素值中，减去帧#n中的相对应的像素的像素值被α05所乘的值的情况下，如图100所示，包含在像素值中的背景成分的全部或一部分被消除了。

在表达式(135)中，α09是1/4，与α05的值是相同的，因此，在帧#n+1中从左边算起的第10个帧中，包含在像素中的全部背景成分被消除了，而包含在像素中的全部前景成分都保留下来。

如图101所示，包含在帧#n中从左边算起的第6个像素中的前景成分与包含在帧#n+1中从左边算起的第10个像素中的前景成分相同，因此，与帧#n中从左边算起的第6个像素中的前景成分相对应的差值与帧#n+1中从左边算起的第10个像素中的前景成分相对应的差值之间的相关性是与帧#n中从左边算起的第6个像素相对应的差值与帧#n+1中每个像素的差值之间的每个相关性当中的最大者。

在帧#n中从左边算起的第6个像素是感兴趣像素的情况下，运动估计单元2002选择指示帧#n+1中从左边算起的第10个像素的估计运动向量，作为与帧#n中从左边算起的第6个像素相对应的运动向量，以及把与最大相关性相对应的由#n中从左边算起的第6个像素作为基准。

在表达式(133)中，α06是1/2。在从属于帧#n的混合区或背景区的像素的像素值中，减去帧#n-1中的相对应的像素的像素值被α06所乘的值的情况下，如图102所示，包含在帧#n的像素值中的背景成分的全部或一部分被消除了。对于从左边算起的第6个像素，等于或大于原来包含的背景成分的背景成分被消除了，因此，这个像素值包含一个来自相对的应背景成分的负值。

在帧#n中从左边算起的第7个像素中，包含在像素值中的所有背景成分都被消除了，而包含在像素值中的所有前景成分被保留下来。

同样，在从属于帧#n+1的混合区或背景区的像素的像素值中，减去帧#n中的相对应的像素的像素值被α06所乘的值的情况下，如图102所示，包含在像素值中的背景成分的全部或一部分被消除了。对于从左边算起的第10个像素，等于或大于原来包含的背景成分的背景成分被消除了，因此，这个像素值包含一个来自相对的应背景成分的负值。

在表达式(136)中，α10是1/2，是与α06的值相同的，因此，在帧#n+1中从左边算起的第11个帧中，包含在像素中的全部背景成分被消除了，而包含在像素中的全部前景成分都保留下来。

如图103所示，包含在帧#n中从左边算起的第7个像素中的前景成分与包含在帧#n+1中从左边算起的第11个像素中的前景成分相同，因此，与帧#n中从左边算起的第7个像素相对应的差值与帧#n+1中从左边算起的第11个像素的差值之间的相关性是与帧#n中从左边算起的第7个像素相对应的差值与帧#n+1中每个像素的差值之间的每个相关性当中的最大者。

在帧#n中从左边算起的第7个像素是感兴趣像素的情况下，运动估计单元2002选择指示帧#n+1中从左边算起的第11个像素的估计运动向量，作为与帧#n中从左边算起的第7个像素相对应的运动向量，以及把与最大相关性相对应的#n中从左边算起的第7个像素作为基准。

类似地，运动估计单元2002根据帧#n中感兴趣像素的混合比α，通过从帧#n中的像素的像素值中，减去帧#n-1中的像素值被混合比α所乘的值，计算差值A，并且，通过从帧#n+1中的像素的像素值中，减去帧#n中的像素值被混合比α所乘的值，计算差值B。，

运动估计单元2002计算差值A的、与帧#n中感兴趣像素相对应的差值与差值B中与每个像素相对应的差值之间的相关性。运动估计单元2002根据计算的相关性，选择指示相对于帧#n中感兴趣像素相关性最大的像素的估计运动向量，并且输出所选的估计运动向量，作为帧#n中感兴趣像素的运动向量。

下面参照图104，以及参照表达式描述上面的处理。

属于帧#n中混合区的感兴趣像素的像素值CA与帧#n-1的相对应的像素的像素值PA被混合比α所乘的值之差A通过表达式(138)所示的运算计算出来。

A＝CA-PA×α                                   (138)

帧#n+1中的像素的像素值NB与帧#N中相对应的像素的像素值CB被混合比α所乘的值之差B通过表达式(139)所示的运算计算出来。

B＝NB-CB×α                                   (139)

为所有像素计算差值B。

可以使与帧#n中的感兴趣像素相对应的差值A和与帧#n+1中的每个像素相对应的差值B之间的相关值J是差值A和差值B之间的差的绝对值。

J＝|A-B|                                       (140)

在与帧#n中的感兴趣像素相对应的差值A和与帧#n+1中的每个像素相对应的差值B之间的相关值J当中，把与最大相关值相对应的估计运动向量(指示与最大相关值相对应的差值B的像素的估计运动向量，以及把帧#n中感兴趣像素设置作为基准)取作运动向量。

此外，也可以作出这样的安排，例如，其中与感兴趣帧中块的中心像素相对应的相关值J1，是通过把表达式(141)应用于如图105A所示，A4处在感兴趣帧的中心上的一个3×3像素块中的差值A0到A8、和如图105B所示，相应的B4处在感兴趣帧之后的帧的中心上的一个3×3像素块中的差值B0到B8计算出来。

$J1=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}(\mathrm{Ai}-\stackrel{\‾}{A})\underset{i=0}{\overset{8}{\mathrm{\Σ}}}(\mathrm{Bi}-\stackrel{\‾}{B})}{\sqrt{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}{(\mathrm{Ai}-\stackrel{\‾}{A})}^2\·\underset{i=0}{\overset{8}{\mathrm{\Σ}}}{(\mathrm{Bi}-\stackrel{\‾}{B})}^2}}---\left(141\right)$

$\stackrel{\‾}{A}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Ai}}{9}---\left(142\right)$

$\stackrel{\‾}{B}=\frac{\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\mathrm{Bi}}{9}---\left(143\right)$

在这种情况下，例如，与最大相关值J1相对应的估计运动向量(指示与B4相对应的估计运动向量，以及把与A4相对应的像素作为基准)被取作运动向量。

并且，可以作出这样的安排，例如，其中通过把表达式(144)应用于A4处在感兴趣帧的中心上的一个3×3像素块中的差值A0到A8、和相应的B4处在感兴趣帧之后的帧的中心上的一个3×3像素块中的差值B0到B8，计算差值J2的绝对值之和，作为与感兴趣帧中块的中心像素相对应的相关值J。

$J2=\underset{i=0}{\overset{8}{\mathrm{\Σ}}}\left|(\mathrm{Ai}-\mathrm{Bi})\right|---\left(144\right)$

在这种情况下，例如，把与相关值J2的绝对值的最小和相对应的估计运动向量取作运动向量。

接下来，参照图106中的流程图，将描述与预定感兴趣帧相对应的、运动估计单元2002进行运动向量检测的处理。图106中的流程图所示的处理对应于图80中的步骤S2004。

在步骤S2501中，帧差值计算单元2502，根据混合比α、帧#n的输入图像、和从帧存储器2501供应的帧#n-1的图像，将感兴趣帧#n的感兴趣像素的混合比α与从帧存储器2501供应的帧#n-1中的每个像素的像素值相乘，计算与每个像素相对应的相乘结果与输入图像的帧#n中每个像素的像素值之间的差值，并把差值A设置成计算差值。

在步骤S2502中，帧差值计算单元2502，根据混合比α、帧#n+1的输入图像、和从帧存储器2501供应的帧#n的图像，将感兴趣帧#n的感兴趣像素的混合比α与从帧存储器2501供应的帧#n中的每个像素的像素值相乘，计算与每个像素相对应的相乘结果与输入图像的帧#n+1中每个像素的像素值之间的差值，并把差值B设置成计算差值。

在步骤S2503中，运动向量生成单元2505为估计运动向量设置初始值，并且把已经对其设置了初始值的估计运动向量供应给运动补偿单元2503和最大值判断单元2507。

在步骤S2504中，运动估计单元2002根据估计运动向量的长度和角度，判断是否已经为预定范围内的每个像素计算了像素值，并且，在作出还没有为预定范围内的每个像素计算了像素值的判断的情况下，流程转到步骤S2505，在步骤2505中，相关值计算单元2506根据差值A和差值B，计算感兴趣像素和估计运动向量所指示的像素之间的相关值。

也就是说，在步骤S2505中，运动补偿单元2503根据从运动向量生成单元2505供应的估计运动向量，补偿从帧差值计算单元2502供应的差值B，并且把已经经过运动补偿的差值B供应给相关值计算单元2506。

相关值计算单元2506计算与感兴趣像素相对应的、从帧存储器2504供应的差值A和已经经过运动补偿的差值B之间的相关值，并且将其供应给最大值判断单元2507。

例如，相关值计算单元2506，根据表达式(140)所指示的运算，计算差值A的与感兴趣像素相对应的差值的、以及差值B的与估计运动向量所指示的像素相对应的差值的绝对值的相关值。

例如，相关值计算单元2506，根据表达式(141)所指示的运算，计算与感兴趣像素相对应的一个块的差值A0到A8和与估计运动向量所指示的像素相对应的一个块的差值B0到B8之间的相关值。

在步骤S2506中，最大值判断单元2507，以与从运动向量生成单元2505供应的估计运动向量相对应的方式，存储从相关值计算单元2506供应的相关值。

在步骤S2507中，运动向量生成单元2505把预定增量加入估计运动向量的长度中。

在步骤S2508中，运动估计单元2002判断运动向量生成单元2505输出的估计运动向量的长度是否超过预定值，并且，在作出估计运动向量的长度已经超过预定值的判断的情况下，流程转到步骤S2509，在步骤S2509中，运动向量生成单元2505把估计运动向量的长度设置成初始值。在步骤S2510中，运动向量生成单元2505把预定增量加入估计运动向量的角度中。运动向量生成单元2505把其长度已经被设置成初始值和其角度已经发生改变的估计运动向量供应给运动补偿单元2503和最大值判断单元2507，流程转到步骤S2504，在步骤S2504中，重复是否已经为预定范围内的像素都计算了相关值的判断。

在步骤2508中作出估计运动向量的长度还没有超过预定值的判断的情况下，流程转到步骤S2504，在步骤S2504中，重复是否已经为预定范围内的像素都计算了相关值的判断。

在步骤S2504中，在作出已经为预定范围内的像素都计算了相关值的判断的情况下，流程转到步骤S2511，最大值判断单元2507选择与最大相关性相对应的估计运动向量。

例如，在相关值计算单元2506根据表达式(140)所指示的运算，计算出相关值的情况下，最大值判断单元2507选择与最小相关值相对应的估计运动向量。

例如，在相关值计算单元2506根据表达式(141)所指示的运算，计算出相关值J1的情况下，最大值判断单元2507选择与最大相关值J1相对应的估计运动向量。

在步骤S2512中，最大值判断单元2507把所选估计运动向量设置成运动向量，然后，结束处理。

这样，运动估计单元2002可以根据混合比α和输入图像，检测与感兴趣像素相对应的运动向量。运动估计单元2002通过把感兴趣帧中的每个像素作为感兴趣像素，重复如上所述的运动向量检测处理，可以检测与感兴趣帧中的每个像素相对应的运动向量。

到此为止，已经对帧#n-1中的像素是与帧#n相对应的背景的像素，和帧#n中的像素是与帧#n+1相对应的背景的像素的情况作了描述，但是，可以作出这样的安排，其中，可以把帧#n+1中的像素当作与帧#n相对应的背景的像素，并把帧#n+2中的像素当作与帧#n+1相对应的背景的像素进行处理。

同时，还可以作出这样的安排，其中，根据区域信息，例如，在通过把帧#n-1中的像素当作与帧#n相对应的背景的像素，并把帧#n中的像素当作与帧#n+1相对应的背景的像素进行的处理，与通过把帧#n+1中的像素当作与帧#n相对应的背景的像素，并把帧#n+2中的像素当作与帧#n+1相对应的背景的像素进行的处理之间进行切换。

此外，还可以作出这样的安排，其中，根据区域信息，对限于混合区内的像素的感兴趣像素进行处理。

图107是说明信号处理装置的又一种配置的方框图。

与图2所示的情况相同的部分用相同的标号表示，并且，略去其描述。

把供应给信号处理装置的输入图像供应给区域指定单元103、同时检测单元3001、和前景/背景分离单元105。

根据输入图像和从区域指定单元103供应的区域信息，同时检测单元3001检测与包含在混合区中的像素相对应的混合比α和与前景对象相对应的运动向量，并且把检测的混合比供应给前景/背景分离单元105，并把检测的运动向量供应给运动模糊调整单元106。

同时检测单元3001输出的运动向量包含与运动量v相对应的信息。

此外，同时检测单元3001可以以与混合区中的像素相对应的方式检测运动向量。

利用信号处理装置调整运动模糊量的处理将参照图108加以描述。在步骤S3001中，区域指定单元103根据输入图像，进行与区域指定有关的处理，以便生成指示输入图像的每个像素属于前景区、背景区、覆盖背景区、或未覆盖背景区中的哪一个的区域信息。步骤S3001中的处理与步骤S11中的处理相同，因此，省略对其详细描述。区域指定单元103把生成的区域信息供应给同时检测单元3001和运动模糊调整单元106。

在步骤S3002中，同时检测单元3001根据输入图像和区域信息，为包含在混合区中的每个像素检测混合比α，并且还检测与背景对象和前景对象之间的相对运动相对应的运动向量。混合比和运动向量检测的处理以后再加以描述。同时检测单元3001把检测的混合比α供应给前景情景分离单元105、并把检测的运动向量供应给运动模糊调整单元106。

在步骤S3003中，前景/背景分离单元105，根据区域信息和混合比α，从输入图像中提取前景成分，并将其作为前景成分图像供应给运动模糊调整单元106。步骤S3003中的处理与步骤S13中的处理相同，因此，省略对其详细描述。

在步骤S3004中，运动模糊调整单元106，为属于未覆盖背景区、前景区、或覆盖背景区之一的、沿着运动方向的相继像素生成指示在图像上的位置的处理增量，并且，根据运动向量和区域信息，调整包含在与处理增量相对应的前景成分中的运动模糊量。步骤S3004中的处理与步骤S14中的处理相同，因此，省略对其详细描述。

在步骤S3005中，信号处理装置判断整个图像的处理是否已经结束，并且，在作出对整个图像的处理还没有结束的判断的情况下，流程转到步骤S3004，重复为与处理增量相对应的前景成分调整运动模糊量的处理。

在步骤S3005中，在作出整个图像的处理已经结束的判断的情况下，结束处理。

这样，信号处理装置，可以分离前景和背景，和调整包含在前景中的运动模糊量，并且还可以检测运动向量。也就是说，信号处理装置，可以调整包含在前景的像素的像素值的取样数据中的运动模糊量。此外，可以在考虑了前景和背景的混合之后，检测运动向量。

图109是说明同时检测单元3001的配置的例子的方框图。估计混合比处理单元3401根据输入图像，通过与覆盖背景相对应的运算，为每个像素计算估计混合比和估计运动向量，并且把计算的估计混合比供应给混合比确定单元3403，而把计算的估计运动向量供应给运动向量确定单元3404。

估计混合比处理单元3402通过与未覆盖背景区相对应的运算，为每个像素计算估计混合比和估计运动向量，并且把计算的估计混合比供应给混合比确定单元3403，而把计算的估计运动向量供应给运动向量确定单元3404。

混合比确定单元3403根据从区域指定单元103供应的、指示作为混合比α的计算对象的像素属于前景区、背景区、覆盖背景区、或未覆盖背景区中的哪一个的区域信息，设置混合比α。在作为对象的像素属于前景区的情况下，混合比确定单元3403把混合比α设置成0，在作为对象的像素属于背景区的情况下，把混合比α设置成1，在作为对象的像素属于覆盖背景区的情况下，把混合比α设置成从估计混合比处理单元3401供应的估计混合比，而在作为对象的像素属于未覆盖背景区的情况下，把混合比α设置成从估计混合比处理单元3402供应的估计混合比。混合比确定单元3403输出根据区域信息设置的混合比α。

运动向量确定单元3404，根据从估计混合比处理单元3401供应的估计运动向量、从估计混合比处理单元3402供应的估计运动向量、和从区域指定单元103供应的区域信息，来设置运动向量。

例如，在对象像素属于覆盖背景区的情况下，运动向量确定单元3404，为运动向量设置从估计混合比处理单元3401供应的估计运动向量，而在对象像素属于未覆盖背景区的情况下，运动向量确定单元3404，为运动向量设置从估计混合比处理单元3402供应的估计运动向量。运动向量确定单元3404输出根据区域信息设置的运动向量。

图110是说明估计混合比处理单元3041的配置的方框图。

把输入估计混合比处理单元3401的图像输入到帧存储器3421和加权帧差值计算单元3423。

帧存储器3421以逐帧递增的方式存储输入图像，将其延迟与一个帧相对应的间隔，并且把存储的图像供应给加权帧差值计算单元3423。

权重生成单元3422生成其值从与一个帧相对应的预定初始值开始依次递增的权重，并且把生成的权重作为权重信息，供应给加权帧差值计算单元3423和最大值判断单元3428。例如，权重生成单元3422把事先存储的初始值设置成权重，和通过把事先存储的微小值的增量δ依次加入权重中，生成从初始值开始依次递增的权重。

或者，权重生成单元3422生成与中心在感兴趣像素上的、由多个像素组成的模块相对应权重，并且把生成的权重作为权重信息，供应给加权帧差值计算单元3423和最大值判断单元3428。与一个块相对应的权重由一个值组成，或者由与构成块的多个像素的每一个相对应的多个值组成。

加权帧差值计算单元3423，把从帧存储器3421供应的帧的像素的像素值与从权重生成单元3422供应的权重相乘，计算加权像素值。加权帧差值计算单元3423从输入图像中感兴趣像素的像素值中，减去相对应的像素的加权像素值，计算加权差。

或者，加权帧差值计算单元3423，把从帧存储器3421供应的帧中，由中心在与感兴趣像素相对应的像素上的多个像素组成的模块中的每个像素，与从权重生成单元3422供应的权重相乘，计算加权像素值。加权帧差值计算单元3423从输入图像中由中心在与感兴趣像素相对应的像素上的多个像素组成的模块中的每个像素的像素值中，减去相对应块的相对应的像素的加权像素值，计算加权差。

与从权重生成单元3422供应的、从初始值开始依次递增的权重相对应，加权帧差值计算单元3423为一个帧计算多个加权差。

加权帧差值计算单元3423把如此计算的加权差供应给运动补偿单元3424和帧存储器3425，作为加权差图像数据。

运动补偿单元3424，根据从运动向量生成单元3426供应的运动向量，对从加权帧差值计算单元3423供应的加权差图像数据进行运动补偿，并把已经经过运动补偿的加权差供应给相关值计算单元3427。

帧存储器3425为每个帧存储从加权帧差值计算单元3423供应的多组加权差图像数据，延迟与一个帧相对应的间隔，并把存储的加权差图像数据供应给相关值计算单元3427。

运动向量生成单元3426为权重生成单元3422生成的权重的每一个生成其长度从预定初始值开始依次增加，以及其角度从不同的预定初始值开始依次改变的运动向量，并且把生成的运动向量供应给运动补偿单元3424和最大值判断单元3428。

例如，运动向量生成单元3426根据事先存储的长度的初始值和角度的初始值，生成运动向量。运动向量生成单元3426通过把预定增量加入生成的运动向量的长度中，改变运动向量的长度。在运动向量的长度超过预定值的情况下，运动向量生成单元3426把预定角度加入运动向量的角度中，而把长度初始值设为运动向量的长度。

运动向量生成单元3426重复改变运动向量的长度和其角度的处理，生成长度和角度在预定范围内的运动向量。

对于权重的每一个和运动向量的每一个的每一种组合，相关值计算单元3427都为每个像素计算从运动补偿单元3424供应的、已经经过运动补偿的加权差图像数据与从帧存储器3425供应的、延迟了一个帧的加权差图像数据之间的相关值，并且把计算的相关值供应给最大值判断单元3428。

相关值计算单元3427为每个像素计算，例如，从运动补偿单元3424供应的、已经经过运动补偿的加权差图像数据与从帧存储器3425供应的、延迟了一个帧的加权差图像数据之间的差的绝对值，并且把计算的差值的绝对值输出到最大值判断单元3428，作为相关值。从相关值计算单元3427输出的相关值也被称为加权差图像间相关数据。

此外，对于权重的每一个和运动向量的每一个的每一种组合，相关值计算单元3427都为每个块计算从运动补偿单元3424供应的、已经经过运动补偿的加权差图像数据与从帧存储器3425供应的、延迟了一个帧的加权差图像数据之间的相关值，并且把计算的相关值供应给最大值判断单元3428。

可以把相关值计算单元3427安排成根据，例如，3×3像素块，计算差值的绝对值之和、或平方差之和等，作为相关值。

最大值判断单元3428，存储与从权重生成单元422供应的权重信息所指示的权重值和从运动向量生成单元3426供应的运动向量信息所指示的运动向量的组合相对应的、从相关值计算单元3427供应的相关值。最大值判断单元3428根据存储的相关值，选择与相关性最大的相关值对应的权重。最大值判断单元3428为估计混合比设置所选的权重，并输出设置成所选权重的估计混合比。最大值判断单元3428为估计运动向量设置所选的运动向量，并输出设置成所选运动向量的估计运动向量。

注意到也可以把最大值判断单元3428安排成：根据与像素相对应的权重与像素位置之间的相互关系，进一步选择更精确的权重和运动向量。根据与像素相对应的权重与像素位置之间的相互关系，选择运动向量的处理的细节以后再作描述。

下面参照图111到图116将描述与覆盖背景区相对应的估计混合比处理单元3401的处理。

在，例如，如图111所示的、前景对象的运动向量v是4的图像的模型中，帧#n中从左边算起第6到第8像素属于混合区。

帧#n中从左边算起第6个像素的像素值可以通过表达式(145)来表达。同样，帧#n中从左边算起第7个像素的像素值可以通过表达式(146)来表达，和帧#n中从左边算起第8个像素的像素值可以通过表达式(147)来表达。

$C05=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\mathrm{Fi}+\mathrm{\α}05\·B05---\left(145\right)$

$C06=\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{Fi}+\mathrm{\α}06\·B06---\left(146\right)$

$C07=\underset{i=1}{\overset{1}{\mathrm{\Σ}}}\mathrm{Fi}+\mathrm{\α}07\·B07---\left(147\right)$

同样，帧#n+1中从左边算起第10到第12像素属于混合区。帧#n+1中从左边算起第10个像素的像素值可以通过表达式(148)来表达。同样，帧#n+1中从左边算起第11个像素的像素值可以通过表达式(149)来表达，和帧#n+1中从左边算起第12个像素的像素值可以通过表达式(150)来表达。

$N09=\underset{i=1}{\overset{3}{\mathrm{\Σ}}}\mathrm{Fi}+\mathrm{\α}09\·B09---\left(148\right)$

$N10=\underset{i=1}{\overset{2}{\mathrm{\Σ}}}\mathrm{Fi}+\mathrm{\α}10\·B10---\left(149\right)$

$N11=\underset{i=1}{\overset{1}{\mathrm{\Σ}}}\mathrm{Fi}+\mathrm{\α}11\·B11---\left(150\right)$

如图112所示，通过将权重与帧#n-1的像素值相乘，计算被权重所乘的像素值，和从帧#n中的像素的像素值中，减去被权重所乘的像素值，计算加权差图像数据。图112中的A指示输入图像的帧#n。图112中的B指示输入图像中的帧#n-1。图112中的C指示加权差图像数据。

例如，与帧#n中含有像素值x0的像素相对应的加权差图像数据的差值z0通过表达式(151)来计算。与帧#n中含有像素值x1的像素相对应的加权差图像数据的差值z1通过表达式(152)来计算。与帧#n中含有像素值x2的像素相对应的加权差图像数据的差值z2通过表达式(153)来计算。

z0＝x0-α0×y0                                  (151)

z1＝x1-α1×y1                                  (152)

z2＝x2-α2×y2                                  (153)

y0是与帧#n中含有像素值x0的像素相对应的、属于帧#n-1的背景区域的像素的像素值。y1是与帧#n中含有像素值x1的像素相对应的、属于帧#n-1的背景区域的像素的像素值。y2是与帧#n中含有像素值x2的像素相对应的、属于帧#n-1的背景区域的像素的像素值。

在α0等于帧#n中含有像素值x0的像素的混合比α的情况下，加权差图像数据的差值z0只由帧#n中含有像素值x0的像素的前景成分组成。

在α1等于帧#n中含有像素值x1的像素的混合比α的情况下，加权差图像数据的差值z1只由帧#n中含有像素值x1的像素的前景成分组成。

在α2等于帧#n中含有像素值x2的像素的混合比α的情况下，加权差图像数据的差值z2只由帧#n中含有像素值x2的像素的前景成分组成。

现在参照图113将对此加以描述。

下面将描述把帧#n中从左边算起的第6个像素取作感兴趣像素的例子。在表达式(145)中，帧#n中第6个像素的混合比α05是1/4。

如图113所示，一旦计算出：把与感兴趣像素的混合比相同的权重值与帧#n-1中的像素值相乘的值，并获得其与帧#n中感兴趣像素的像素值的差值，则包含在像素中的背景成分的全部或一部分被消除了。

在作为帧#n中从左边算起第6个像素的感兴趣像素中，包含在像素值中的所有背景成分都被消除了，而所有前景成分都保留下来。

同样，在表达式(148)中，帧#n+1中第10个像素的混合比α09是1/4。

如图113所示，一旦计算出：把与帧#n中感兴趣像素的混合比α相同的权重值与帧#n中的像素值相乘的值，并获得其与帧#n+1中属于混合区的相对应的像素的像素值的差值，则包含在像素中的背景成分的全部或一部分被消除了。

在从左边算起的第10个像素中，包含在像素值中的所有背景成分都被消除了，而所有前景成分都保留下来。

如图113所示，包含在帧#n中从左边算起第6个像素中的前景成分与包含在帧#n+1中从左边算起第10个像素中的前景成分相同，因此，在权重与感兴趣像素的混合比相同的情况下，与帧#n中从左边算起第6个像素相对应的差值和帧#n+1中从左边算起第10个像素的差值之间的相关性是与帧#n中从左边算起第6个像素相对应的差值和帧#n+1中每个像素的差值之间的相关性当中的最大者。

如图114所示，在帧#n中从左边算起的第6个像素是感兴趣像素的情况下，最大值判断单元3428选择与最大相关性相对应的权重1/4，作为估计混合比，并且还选择指示帧#n+1中从左边算起第10个像素的运动向量，作为与帧#n中的感兴趣像素相对应的估计运动向量，以及把帧#n中从左边算起的第6个像素作为基准。

同样，下面将描述把帧#n中从左边算起的第7个像素取作感兴趣像素的例子。在表达式(146)中，帧#n中从左边算起第7个像素的混合比α06是1/2。

如图115所示，一旦计算出：把与感兴趣像素的混合比相同的权重值与帧#n-1中的像素值相乘的值，并获得其与帧#n中属于混合区或背景区的相对应的像素的像素值的差值，则包含在像素值中的背景成分的全部或一部分被消除了。在从左边算起的第6个像素中，等于或超过原来包含的背景成分的背景成分被消除了，因此，对于相应背景成分，这个像素值包含了负值。

在帧#n中从左边算起的第7个像素中，包含在像素值中的所有背景成分都被消除了，而所有前景成分都保留下来。

在表达式(149)中，帧#n+1中的第11个像素的混合比α10是1/2。

如图115所示，一旦计算出：把与帧#n的感兴趣像素的混合比α相同的权重值与帧#n中的像素值相乘的值，并获得其与帧#n+1中属于混合区的相对应的像素的像素值的差值，则包含在像素值中的背景成分的全部或一部分被消除了。在从左边算起的第10个像素中，等于或超过原来包含的背景成分的背景成分被消除了，因此，对于相应背景成分，这个像素值包含了负值。

在从左边算起的第11个像素中，包含在像素值中的所有背景成分都被消除了，而所有前景成分都保留下来。

如图115所示，包含在帧#n中从左边算起第10个像素中的前景成分与包含在帧#n+1中从左边算起第11个像素中的前景成分相同，因此，在权重与感兴趣像素的混合比相同的情况下，帧#n中从左边算起第7个像素的差值和帧#n+1中从左边算起第11个像素的差值之间的相关性是与帧#n中从左边算起第7个像素相对应的差值和帧#n+1中每个像素的差值之间的相关性当中的最大者。

如图116所示，在帧#n中从左边算起的第7个像素是感兴趣像素的情况下，最大值判断单元3428选择与最大相关性相对应的权重1/2，作为估计混合比，并且还选择指示帧#n+1中从左边算起第11个像素的运动向量，作为与帧#n中从左边算起的第7个像素相对应的估计运动向量，以及把帧#n中从左边算起的第7个像素作为基准。

也就是说，如图117所示，一旦计算出将帧#n-1中的像素值与某个权重相乘所得的值，获得与帧#n中属于混合区的相对应的像素的像素值的差值z0、z1、和z2，计算出将帧#n中的像素值与同一个权重相乘所得的值，获得与帧#n+1中属于混合区的相对应的像素的像素值的差值A0、A1、和A2，在，例如，与帧#n中感兴趣像素相对应的差值z1和与含有作为基准的感兴趣像素的帧#n+1中处在运动向量所指示的位置上的像素相对应的差值A1相等的情况下，其权重等于帧#n中感兴趣像素的混合比α，而运动向量等于帧#n中感兴趣像素的运动向量。图117中的D指示与帧#n相对应的加权差图像数据，而图117中的E指示与帧#n+1相对应的加权差图像数据。图117中的F指示加权差图像相关数据。

同样，估计混合比处理单元3401计算将帧#n-1中的像素值与某个权重相乘所得的值，并获得与帧#n中属于混合区的相对应的像素的像素值的差值，并且还计算将帧#n中的像素值与同一个权重相乘所得的值，并获得与帧#n+1中属于混合区的相对应的像素的像素值的差值。在与帧#n中感兴趣像素相对应的差值和与含有作为基准的感兴趣像素的帧#n+1中处在运动向量所指示的位置上的像素相对应的差值相等的情况下，估计混合比处理单元3401把其权重取作帧#n中感兴趣像素的混合比α，并把其运动向量取作帧#n中感兴趣像素的运动向量。

可以把估计混合比处理单元3401安排成以由预定数目像素组成的模块的递增方式检测估计混合比和估计运动向量。

例如，如图118所示，假设一个块中的混合比α是不变的，估计混合比处理单元3401可以检测把三个像素作为一个块的估计混合比和估计运动向量。更具体地说，例如，如图119所示，把帧#n中从左边算起的第6个到第8个像素作为一个块，估计混合比处理单元3401可以计算与一个权重相对应的差值，获得与帧#n中相对应块的差值相关性，和选择与相关性最高的模块相对应的权重和运动向量。

此外，例如，如图120所示，通过把预定直线或曲线应用于一个块，假设混合比α与应用的直线或曲线相对应地改变，估计混合比处理单元3401可以检测三个像素作为一个块的估计混合比和估计运动向量。在把预定直线或曲线应用于三个像素作为一个块的一个块的情况下，与直线或曲线相对应，权重生成单元3422输出与包含在一个块中的三个像素相对应的三个权重，作为权重信息。

例如，权重生成单元3422生成的一个权重信息由三个权重组成，这三个权重具有值0.25、0.5、和0.75。

与一个帧相对应，权重生成单元3422生成由与斜率、截距、或曲率发生改变的直线或曲线相对应的多个权重组成的权重信息。

更具体地说，例如，在与一个块相对应，权重生成单元3422生成由与直线相对应的0.25、0.5、和0.75组成的权重信息的情况下，如图121所示，把帧#n中从左边算起的第6个到第8个像素当作一个块，估计混合比处理单元3401根据0.25的权重，为帧#n中从左边算起的第6个像素计算差值，根据0.5的权重，为帧#n中从左边算起的第7个像素计算差值，和根据0.75的权重，为帧#n中从左边算起的第8个像素计算差值。同样，把帧#n+1中从左边算起的第10个到第12个像素当作一个块，估计混合比处理单元3401根据0.25的权重，为帧#n+1中从左边算起的第10个像素计算差值，根据0.5的权重，为帧#n+1中从左边算起的第11个像素计算差值，和根据0.75的权重，为帧#n+1中从左边算起的第12个像素计算差值。

估计混合比处理单元3401根据与直线或曲线相对应的权重，获取差值相关性，和选择与相关性最高的模块相对应的权重和运动向量。

如图122所示，估计混合比处理单元3401通过把预定权重与每个像素相联系，可以检测三个像素作为一个块的估计混合比和估计运动向量。这种逐个像素地检测估计混合比也被称为混合比总搜索(total search)。

更具体地说，例如，在权重生成单元3422生成由与一个块相对应的0.75、0.25、和0.5组成的一个权重信息的情况下，如图123所示，把帧#n中从左边算起的第6个到第8个像素当作一个块，估计混合比处理单元3401根据0.75的权重，为帧#n中从左边算起的第6个像素计算差值，根据0.25的权重，为帧#n中从左边算起的第7个像素计算差值，和根据0.5的权重，为帧#n中从左边算起的第8个像素计算差值。同样，把帧#n+1中从左边算起的第10个到第12个像素当作一个块，估计混合比处理单元3401根据0.75的权重，为帧#n+1中从左边算起的第10个像素计算差值，根据0.25的权重，为帧#n+1中从左边算起的第11个像素计算差值，和根据0.5的权重，为帧#n+1中从左边算起的第12个像素计算差值。

估计混合比处理单元3401根据与一个块的每个像素相对应的权重，获取差值相关性，和选择与相关性最高的模块相对应的权重和运动向量。

到此为止，虽然把一个块由三个像素组成作为一个例子加以描述，但是，根据本发明的信号处理装置不受包含在块中的像素数量的限制。此外，也可以把一个块安排成由排列在一条预定直线上的预定数目像素组成，或者一个块可以由预定平面上的预定数目像素，例如，3×3个像素组成。

接下来，将描述逐个像素地检测估计混合比和运动向量时，或根据以与一个块中的每个像素相对应的权重为基础的差值相关性，检测估计混合比和运动向量时，估计混合比处理单元3401进一步选择更精确的权重和运动向量的处理。

如上所述，一个帧是一个短时间时隔，因此，可以假设与前景相对应的对象是刚体，并作恒速运动。此外，由于可以假设与前景相对应的对象在快门间隔内作恒速运动，因此，属于混合区的像素的混合比α线性地改变。

前景对象是一个刚体，因此，存在着一个与前景对象相对应的运动向量。

利用这种性质，估计混合比处理单元3401进一步选择更精确的权重和运动向量。

在图124到图128中，图中的空心圆圈代表像素。假设与每个像素相对应的权重w0到w3满足表达式(154)中的关系。

0＜w0＜w1＜w2＜w3＜1                                 (154)

估计混合比处理单元3401判断与满足表达式(154)中的关系的权重和一个运动向量相对应的像素的至少一个像素的位置是否在混合区外部，并且，在作出至少一个像素的位置在混合区外部的判断的情况下，前景区的混合比α是0和背景区的混合比α是1，因此，不选择这个权重和运动向量。

例如，如图124所示，在与权重w0相对应的像素的位置在混合区外部的情况下，估计混合比处理单元3401既不选择权重w0到w3，也不选择运动向量。

估计混合比处理单元3401判断与满足表达式(154)中的关系的权重和一个运动向量相对应的像素的至少一个像素的位置是否处在与表达式(154)中的权重的大小相对应的位置关系下，并且，在作出没有处在与权重的大小相对应的位置关系下的判断的情况下，不选择该权重和运动向量。

例如，如图125所示，在依次排列与权重w3相对应的像素、与权重w1相对应的像素、与权重w2相对应的像素、和与权重w0相对应的像素的情况下，混合比α线性地改变，因此，估计混合比处理单元3401既不选择权重w0到w3，也不选择运动向量。

如图126所示，在所有像素都位于混合区内，和依次排列与权重w0相对应的像素、与权重w1相对应的像素、与权重w2相对应的像素、和与权重w3相对应的像素的情况下，估计混合比处理单元3401选择权重w0到w3和运动向量。

而且，估计混合比处理单元3401根据运动向量所指示的像素的距离离差(dispersion)，可以选择更精确的权重和运动向量。

在所有像素都位于混合区内，且依次排列与权重w0相对应的像素、与权重w1相对应的像素、与权重w2相对应的像素、和与权重w3相对应的像素的情况下，估计混合比处理单元3401选择像素的距离离差较小的权重w0到w3和运动向量。

例如，在图127和图128所示的例子中，图127所示的像素的距离离差大于图128所示的像素的距离离差，因此，估计混合比处理单元3401选择与图128相对应的、离差较小的权重w0到w3和运动向量。也就是说，估计混合比处理单元3401选择运动向量所指示的像素的距离均匀的权重w0到w3和运动向量。这意味着，由于混合比α线性地改变，估计混合比处理单元3401选择权重更线性地改变的组合。

此外，在估计混合比处理单元3401检测与覆盖背景区相对应的、把前一帧的像素作为背景像素的估计混合比和估计运动向量的同时，估计混合比处理单元3402检测与未覆盖背景区相对应的、把下一帧的像素作为背景像素的估计混合比和估计运动向量，其处理与估计混合比处理单元3401的处理相同，因此，将略去其描述。

图129是说明同时检测单元3001的另一种配置的方框图。与图109所示的情况相同的部分用相同的标号表示，并且，略去其描述。

选择单元3441根据从区域指定单元103供应的区域信息，把属于覆盖背景区的像素和前一帧中与之相对应的像素供应给估计混合比处理单元3401。选择单元3441根据从区域指定单元103供应的区域信息，把属于未覆盖背景区的像素和后一帧中与之相对应的像素供应给估计混合比处理单元3402。

根据区域指定单元103供应的区域信息，在作为对象的像素属于前景区的情况下，选择单元3442选择为0的估计混合比和把混合比α设置成这个值，在作为对象的像素属于背景区的情况下，选择为1的估计混合比和把混合比α设置成这个值，在作为对象的像素属于覆盖背景区的情况下，选择单元3442选择从估计混合比处理单元3401供应的估计混合比和把混合比α设置成这个值，而在作为对象的像素属于未覆盖背景区的情况下，选择从估计混合比处理单元3402供应的估计混合比和把混合比α设置成这个值。选择单元3442输出根据区域信息选择和设置的混合比α。

根据从区域指定单元103供应的区域信息，在作为对象的像素属于覆盖背景区的情况下，选择单元3442选择从估计混合比处理单元3401供应的估计估计运动向量和将其设置成运动向量，而在作为对象的像素属于未覆盖背景区的情况下，选择从估计混合比处理单元3402供应的估计运动向量和将其设置成运动向量。选择单元3442输出根据区域信息选择和设置的运动向量。

因此，具有图129所示的另一种结构的同时检测单元3001可以为包含在图像中的每个像素检测混合比α和运动向量，并输出检测的混合比α和运动向量。

下面参照图130中的流程图，将描述其配置在图109中示出的估计混合比计算单元104检测混合比α和运动向量的处理。参照图130中的流程图所述的处理对应于步骤S3002中的处理。

在步骤S3401中，同时检测单元3001获取从区域指定单元103供应的区域信息。在步骤S3402中，估计混合比处理单元3401检测与覆盖背景区相对应的估计混合比和估计运动向量，并且把检测的估计混合比供应给混合比确定单元3403，以及把检测的估计运动向量供应给运动向量确定单元3404。检测估计混合比和估计运动向量的处理细节以后参照图131加以描述。

在步骤S3403中，估计混合比处理单元3402检测与未覆盖背景区相对应的估计混合比和估计运动向量，并且把检测的估计混合比供应给混合比确定单元3403，以及把检测的估计运动向量供应给运动向量确定单元3404。

在步骤S3404中，同时检测单元3001判断是否已经为整个帧检测了估计混合比和估计运动向量，并且，在作出还没有为整个帧检测了估计混合比和估计运动向量的判断的情况下，流程返回到步骤S3402，执行为下一个像素检测估计混合比和估计运动向量的处理。

在步骤S3404中，在作出已经为整个帧检测了估计混合比和估计运动向量的判断的情况下，流程转到步骤S3405，在步骤S3405中，混合比确定单元3403根据从区域指定单元103供应的、指示像素属于前景区、背景区、覆盖背景区、或未覆盖背景区中的哪一个的区域信息，设置混合比α。在作为对象的像素属于前景区的情况下，混合比确定单元3403把混合比α设置成0，在作为对象的像素属于背景区的情况下，把混合比α设置成1，在作为对象的像素属于覆盖背景区的情况下，把混合比α设置成从估计混合比处理单元3401供应的估计混合比，而在作为对象的像素属于未覆盖背景区的情况下，把混合比α设置成从估计混合比处理单元3402供应的估计混合比。混合比确定单元3403输出根据区域信息设置的混合比α。

运动向量确定单元3404，根据从区域指定单元103供应的、指示像素属于前景区、背景区、覆盖背景区、或未覆盖背景区中的哪一个的区域信息，设置运动向量。在作为对象的像素属于覆盖背景区的情况下，运动向量确定单元3404把运动向量设置成从估计混合比处理单元3401供应的估计运动向量，而在作为对象的像素属于未覆盖背景区的情况下，把运动向量设置成从估计混合比处理单元3402供应的估计运动向量，然后，结束处理。

因此，根据从区域指定单元103供应的区域信息和输入图像，同时检测单元3001可以同时检测作为混合比α的与每个像素相对应的特征量、和运动向量。

具有图129所示的配置的同时检测单元3001检测混合比α和运动向量的处理与结合图130中的流程图所述的处理相同，因此，将略去其描述。

接下来，参照图131中的流程图，将描述与图130中的步骤S3402相对应的、估计与覆盖背景区相对应的混合比和运动向量的处理。

在步骤S3421中，权重生成单元3422把事先存储的初始值设置给权重。权重生成单元3422把已经设置成初始值的权重供应给加权帧差值计算单元3423和最大值判断单元3428，作为权重信息。

在步骤S3422中，估计混合比处理单元3401判断权重生成单元3422输出的权重是否超过1，并且，在作出权重还没有超过1的判断的情况下，流程转到步骤S3423。

在步骤S3423中，加权帧差值计算单元3423计算作为感兴趣帧中的感兴趣像素的像素值与下一帧中相对应的像素的像素值乘以权重所得的值之间的差值的加权差，并且为差值A设置感兴趣帧的感兴趣像素的加权差。输出差值A作为加权差图像数据。

在步骤S3424中，加权帧差值计算单元3423计算作为感兴趣帧之后的帧中的像素的像素值与感兴趣帧中相对应的像素的像素值乘以权重所得的值之间的差值的加权差，并且把感兴趣帧之后的帧的像素的加权差设置成差值B。输出差值B作为加权差图像数据。

在步骤S3425中，运动向量生成单元3426为运动向量设置初始值，并且把设置成初始值的运动向量供应给运动补偿单元3424和最大值判断单元3428。

在步骤S3426中，相关值计算单元3427根据差值A和差值B，计算差值A的感兴趣像素与差值B的运动向量所指示的像素之间的相关值。

也就是说，在步骤S3426中，运动补偿单元3424根据从运动向量生成单元3426供应的运动向量，对从加权帧差值计算单元3423供应的差值B进行运动补偿，并且把经过运动补偿的差值B供应给相关值计算单元3427。

相关值计算单元3427计算与感兴趣像素相对应的、从帧存储器3425供应的差值A与已经经过运动补偿的差值B之间的相关值，并且将其供应给最大值判断单元3428。

例如，相关值计算单元3427计算差值A中与感兴趣像素相对应的差值和把感兴趣像素作为基准的、差值B中与估计运动向量所指示的像素相对应的差值的绝对值的相关值。

在步骤S3427中，最大值判断单元3428，以与从权重生成单元3422供应的权重和从运动向量生成单元3426供应的运动向量相对应的方式，存储从相关值计算单元3427供应的相关值。

在步骤S3428中，运动向量生成单元3426把预定增量加入运动向量的长度中。

在步骤S3429中，估计混合比处理单元3401判断运动向量生成单元3426输出的运动向量的长度是否超过预定值，并且，在作出运动向量的长度已经超过预定值的判断的情况下，流程转到步骤S3430，在步骤S3430中，运动向量生成单元3426为运动向量的长度设置初始值。在步骤S3431中，运动向量生成单元3426把另一个预定增量加入运动向量的角度中。运动向量生成单元3426把其长度已经被设置成初始值和角度已经改变的运动向量供应给运动补偿单元3424和最大值判断单元3428。

在步骤S3432中，估计混合比处理单元3401根据运动向量的长度和角度，判断是否为预定范围内的像素都计算了相关值，并且，在作出还没有为预定范围内的像素都计算了相关值的判断的情况下，流程返回到步骤S3426，重复计算相关值的处理。

在步骤S3432中，在作出已经为预定范围内的像素都计算了相关值的判断的情况下，流程转到步骤S3433，在步骤S3433中，权重生成单元3422把事先存储的增量δ加入权重中，流程返回到步骤S3422，重复用于计算与权重相对应的相关值的处理。

也就是说，在权重是1或更小的情况下，重复步骤S3423到步骤S3433中的处理，计算与增加了增量δ的权重和指示预定范围的运动向量相对应的相关值，和以与权重和运动向量相对应的方式存储相关值。

在步骤S3429中，在作出运动向量的长度还没有超过预定值的判断的情况下，处理返回到步骤S3426，重复用于计算与权重相对应的相关值的处理。

在步骤S3422中，在作出权重超过1的判断的情况下，流程转到步骤S3434，在步骤S3434中，最大值判断单元3428选择与指示相关性最大的最大相关值相对应的运动向量和权重。

在步骤S3435中，最大值判断单元3428为估计运动向量设置所选运动向量，并且把估计运动向量供应给运动向量确定单元3404。

在步骤S3436中，最大值判断单元3428为估计混合比设置所选权重，并且把设置了权重的估计混合比输出到混合比确定单元3403，然后，结束处理。

这样，估计混合比处理单元3401可以计算与覆盖背景区相对应的估计混合比和估计运动向量。

注意到除了后一帧的像素值用作与背景相对应的像素值这一点之外，在计算差值A和差值B的处理中，步骤S3403中与未覆盖背景区相对应的处理与参照图131所示的流程图所述的处理相同，因此，将略去其描述。

接下来，参照图132所示的流程图，将描述混合比处理单元3401进行混合比和运动向量估计的其它处理。

步骤S3451到步骤3464中的过程分别与步骤S3421到步骤3434中的过程相同，因此，将略去其描述。

在步骤S3465中，最大值判断单元3428从在步骤3464中的处理中选择的运动向量和权重中，选择满足预定关系的运动向量和权重。也就是说，与运动向量所指示的像素的位置有关，最大值判断单元3428选择与一个运动向量相对应且与预定权重相对应的像素位于混合区内、且像素位置的次序对应于如参照图124到128所述的权重重要度(greatness)的次序的运动向量和权重。

在选择了更精确的运动向量和权重的情况下，最大值判断单元3428选择像素位置的间隔对应于权重重要度的改变的运动向量和权重。

在步骤S3466中，最大值判断单元3428为估计运动向量设置所选运动向量，并把估计运动向量供应给运动向量判断单元3404。

在步骤S3467中，最大值判断单元3428为估计混合比设置所选权重，把设置了权重的估计混合比输出到最大值判断单元3403，然后，结束处理。

因此，混合比处理单元3401可以计算与覆盖背景区相对应的更精确混合比和运动向量。

图133是说明混合比处理单元3401的另一种配置的方框图。与图110所示的情况相同的部分用相同的标号表示，并且，略去其描述。

运动向量生成单元3426，生成对于权重生成单元3422生成的每一个权重，其长度从预定初始值开始依次增加，以及其角度从另一个预定初始值开始依次改变的运动向量，并且把生成的运动向量供应给运动补偿单元34611-1和运动补偿单元3461-2、和最大值判断单元3464。

运动补偿单元3461-1根据从运动向量生成单元3426供应的运动向量，对从加权帧差值计算单元3423供应的加权差图像数据进行运动补偿，并且把经过运动补偿的加权差供应给相关值计算单元3463。

运动补偿单元3461-2根据从运动向量生成单元3426供应的运动向量，对从帧存储器3462-2供应的加权差图像数据进行运动补偿，并且把经过运动补偿的加权差供应给相关值计算单元3463。

在输入相同运动向量的情况下，运动补偿单元3461-1和3461-2沿着相反方向分别对加权差图像数据进行运动补偿。

图134是描述运动补偿单元3461-1和3461-2的运动补偿处理的图。

下面将把帧#n中从左边算起第6个像素被取作感兴趣像素的情况作为例子加以描述。一旦计算出其值与感兴趣像素的混合比相同的权重乘以帧#n-1中的像素值所得的值，并获得与帧#n的属于混合区或背景区的相对应的像素的像素值的差值，则包含在像素值中的全部背景成分都被消除了，而全部前景成分都保留在帧#n中从左边算起第6个像素中。

一旦计算出其值与感兴趣像素的混合比相同的权重乘以帧#n-2中的像素值所得的值，并获得与帧#n-1的属于混合区或背景区的相对应的像素的像素值的差值，则包含在像素值中的全部背景成分都被消除了，而全部前景成分都保留在帧#n-1中从左边算起第2个像素中。

同样，一旦计算出其值与感兴趣像素的混合比相同的权重乘以帧#n中的像素值所得的值，并获得与帧#n+1的属于混合区或背景区的相对应的像素的像素值的差值，则包含在像素值中的全部背景成分都被消除了，而全部前景成分都保留在帧#n+1中从左边算起第10个像素中。

在运动补偿单元3461-1根据从运动向量生成单元3426供应的运动向量，对帧#n+1中的加权差图像数据进行运动补偿，以便与帧#n中从左边算起第6个像素相对应的差值的位置和与帧#n+1中从左边算起第10个像素相对应的差值的位置一致的同时，运动补偿单元3461-2根据从运动向量生成单元3426供应的相同运动向量，对帧#n-1中的加权差图像数据进行运动补偿，以便与帧#n中从左边算起第6个像素相对应的差值的位置和与帧#n-1中从左边算起第2个像素相对应的差值的位置一致。

由于一个帧是一个短时间间隔，与前景相对应的对象是刚体并作恒速运动的假设成立，因此，帧#n-1和帧#n的运动向量等于帧#n和帧#+1的运动向量。于是，在权重等于混合比α，和运动向量生成单元3426生成的运动向量等于前景对象的运动向量的情况下，帧#n中加权差图像数据的感兴趣像素、帧#n+1中与经过运动补偿的加权差图像数据相对应的像素、和帧#n-1中与经过运动补偿的加权差图像数据相对应的像素分别只由相同的前景成分组成，并且，其相关性是最大的。

帧存储器3462-1存储从加权帧差值计算单元3423供应的多组加权差图像数据的每个帧，将其延迟与一个帧相对应的时间间隔，并把存储的加权差图像数据供应给帧存储器3462-2和相关值计算单元3463。

帧存储器3462-2存储从帧存储器3462-1供应的多组加权差图像数据的每个帧，将其延迟与一个帧相对应的时间间隔，并把存储的加权差图像数据供应给运动补偿单元3461-2。

对于权重的每一个和运动向量的每一个的每一种组合，相关值计算单元3463都为每个像素计算从运动补偿单元3461-1供应的经过运动补偿的加权差图像数据、从帧存储器3462-1供应的延迟了一个帧的加权差图像数据、和从运动补偿单元3461-2供应的延迟了二个帧的经过运动补偿的加权差图像数据之间的相关值，并且把计算的相关值供应给最大值判断单元3464。

最大值判断单元3464存储与从权重生成单元3422供应的权重的值和从运动向量生成单元3426供应的运动向量的组合有关的、从相关值计算单元3463供应的相关值。最大值判断单元3464根据存储的相关值，选择与相关性最大的相关值相对应的权重和运动向量。

最大值判断单元3464为估计混合比设置所需权重，并且输出设置成所需权重的估计混合比。最大值判断单元3464为估计运动向量设置所需运动向量，并且输出设置成所需运动向量的估计运动向量。

接下来，参照图135中的流程图，将描述其结构显示在图133中的估计混合比处理单元340估计与覆盖背景区相对应的混合比和运动向量的处理。图135所示的流程图中的处理对应于图130中步骤S3402中的处理。

在步骤S3481中，权重生成单元3422把事先存储的初始值设置给权重。权重生成单元3422把已经设置成初始值的权重供应给加权帧差值计算单元3423和最大值判断单元3428，作为权重信息。

在步骤S3482中，估计混合比处理单元3401判断权重生成单元3422输出的权重是否超过1，并且，在作出权重还没有超过1的判断的情况下，流程转到步骤S3483。

在步骤S3483中，加权帧差值计算单元3423计算作为感兴趣帧之前的帧中的像素的像素值与比感兴趣帧前两个帧的帧中相对应的像素的像素值乘以权重所得的值之间的差值的加权差，并且把感兴趣帧之前的帧的加权差设置成差值A。输出差值A作为加权差图像数据。

在步骤S3484中，加权帧差值计算单元3423计算作为感兴趣帧中的像素的像素值与感兴趣帧之前的帧中的像素的像素值乘以权重所得的值之间的差值的加权差，并且为差值B设置感兴趣帧的加权差。输出差值B作为加权差图像数据。

在步骤S3485中，加权帧差值计算单元3423计算作为感兴趣帧之后的帧中的像素的像素值与感兴趣帧中的像素的像素值乘以权重所得的值之间的差值的加权差，并且把感兴趣帧之后的帧的加权差设置成差值C。输出差值C作为加权差图像数据。

在步骤S3486中，运动向量生成单元3426为运动向量设置初始值，并且把设置成初始值的运动向量供应给运动补偿单元3461-1和运动补偿单元3461-2、和最大值判断单元3464。

在步骤S3487中，相关值计算单元3463根据差值A、差值B、和差值C，计算差值A的运动向量所指示的像素、差值B的感兴趣像素、和差值C的运动向量所指示的像素之间的相关值。

也就是说，在步骤S3487中，运动补偿单元3461-1根据从运动向量生成单元3426供应的运动向量，对从加权帧差值计算单元3423供应的差值C进行运动补偿，并且把经过运动补偿的差值C供应给相关值计算单元3463。运动补偿单元3461-2根据从运动向量生成单元3426供应的运动向量，对从帧存储器3462-2供应的差值A进行运动补偿，并且把经过运动补偿的差值A供应给相关值计算单元3463。

相关值计算单元3463计算从帧存储器3462-1供应的差值B、已经经过运动补偿的差值A、和已经经过运动补偿的差值C之间的相关值，并且将其供应给最大值判断单元3464。

在步骤S3488中，最大值判断单元3464以与从权重生成单元3422供应的权重和从运动向量生成单元3426供应的运动向量相对应的方式，存储从相关值计算单元3463供应的相关值。

在步骤S3489中，运动向量生成单元3426把预定增量加入运动向量的长度中。

在步骤S3490中，估计混合比处理单元3401判断运动向量生成单元3426输出的运动向量的长度是否超过预定值，并且，在作出运动向量的长度已经超过预定值的判断的情况下，流程转到步骤S3491，在步骤S3491中，运动向量生成单元3426为运动向量的长度设置初始值。在步骤S3492中，运动向量生成单元3426把预定增量加入运动向量的角度中。运动向量生成单元3426把其长度已经被设置成初始值和角度已经改变的运动向量供应给运动补偿单元3461-1运动补偿单元3461-2、和最大值判断单元3464。

在步骤S3493中，估计混合比处理单元3401根据运动向量的长度和角度，判断是否为预定范围内的像素都计算了相关值，并且，在作出还没有为预定范围内的像素都计算了相关值的判断的情况下，流程返回到步骤S3487，重复计算相关值的处理。

在步骤S3493中，在作出已经为预定范围内的像素都计算了相关值的判断的情况下，流程转到步骤S3494，在步骤S3494中，权重生成单元3422把事先存储的增量δ加入权重中，流程返回到步骤S3487，重复用于计算与权重相对应的相关值的处理。

也就是说，在权重是1或更小的情况下，重复步骤S3483到步骤S3494中的处理，计算与增加了增量δ的权重和指示预定范围的运动向量相对应的相关值，和以与权重和运动向量相对应的方式存储相关值。

在步骤S3490中，在作出运动向量的长度还没有超过预定值的判断的情况下，处理返回到步骤S3487，重复用于计算与权重相对应的相关值的处理。

在步骤S3482中，在作出权重超过1的判断的情况下，流程转到步骤S3495，在步骤S3495中，最大值判断单元3464选择与指示相关性最大的最大相关值相对应的运动向量和权重。

在步骤S3496中，最大值判断单元3464为估计运动向量设置所选运动向量，并且把估计运动向量供应给运动向量确定单元3404。

在步骤S3497中，最大值判断单元3464为估计混合比设置所选权重，并且把设置了权重的估计混合比输出到混合比确定单元3403，然后，结束处理。

这样，估计混合比处理单元3401可以计算与覆盖背景区相对应的估计混合比和估计运动向量。

注意到除了后一帧的像素值用作与背景相对应的像素值这一点之外，对于计算差值A、差值B、和差值C的处理，步骤S3403中与未覆盖背景区相对应的处理与参照图135所述的处理相同，因此，将略去其描述。

图136是说明信号处理装置的又一种配置的方框图。

与图2所示的情况相同的部分用相同的标号表示，并且适当地省略对其描述。

区域指定单元103把区域信息供应给混合比计算单元104和合成单元4001。

混合比计算单元104把混合比α供应给前景/背景分离单元105和合成单元4001。

前景/背景分离单元105把前景成分图像供应给合成单元4001。

合成单元4001根据从混合比计算单元104供应的混合比α和从区域指定单元103供应的区域信息，将任意背景图像与从前景/背景分离单元105供应的前景成分图像进行合成，并且输出已经合成了任意背景图像和前景成分图像的合成图像。

图137是说明合成单元4001的配置的方框图。背景成分生成单元4021根据混合比α和任意背景图像，生成背景成分图像，并且把这个背景成分图像供应给混合区图像合成单元4022。

混合区图像合成单元4022把从背景成分生成单元4021供应的背景成分图像与前景成分合成在一起，生成混合区合成图像，并且把生成的混合区合成图像供应给图像合成单元4023。

图像合成单元4023将前景成分图像、从混合区图像合成单元4022供应的混合区合成图像、和任意背景图像进行合成，生成和输出合成图像。

这样，合成单元4001可以将前景成分图像与任意背景图像合成在一起。

根据作为特征值的混合比α，将前景成分图像与任意背景图像合成在一起获得的图像比简单合成像素获得的图像更加自然。

图138是说明用于调整运动模糊量的信号处理装置的又一种配置的方框图。图2所示的信号处理装置以顺序方式进行区域指定和混合比α的计算步骤，而图138所示的信号处理装置以并行方式进行区域指定和混合比α的计算。

与图2中方框图所示的功能相同的部分用相同的标号表示，并且，略去其描述。

输入图像供应给混合比计算单元4101、前景/背景分离单元4102、区域指定单元103、和对象提取单元101。

混合比计算单元4101根据输入图像，为包含在输入图像中的每个像素计算假设像素属于覆盖背景区的情况下的估计混合比、和假设像素属于未覆盖背景区的情况下的估计混合比，并且把计算的假设像素属于覆盖背景区的情况下的估计混合比、和假设像素属于未覆盖背景区的情况下的估计混合比供应给前景/背景分离单元4102。

图139是说明混合比计算单元4101的配置例子的方框图。

图139所示的估计混合比处理单元401与图47所示的估计混合比处理单元401相同。图139所示的估计混合比处理单元402与图47所示的估计混合比处理单元402相同。

估计混合比处理单元401根据输入图像，通过与覆盖背景区的模型相对应的计算步骤，为每个像素计算估计混合比，并且输出计算的估计混合比。

估计混合比处理单元402根据输入图像，通过与未覆盖背景区的模型相对应的计算步骤，为每个像素计算估计混合比，并且输出计算的估计混合比。

前景/背景分离单元4102根据从混合比计算单元单元4101供应的、假设像素属于覆盖背景区的情况下的估计混合比和假设像素属于未覆盖背景区的情况下的估计混合比、和从区域指定单元103供应的区域信息，从输入图像中生成前景成分图像，并且把生成的前景成分图像供应给运动模糊调整单元106和选择单元107。

图140是说明前景/背景分离单元4102的配置例子的方框图。

与图58所示的前景/背景分离单元105相同的部分用相同的标号表示，并且，略去其描述。

选择单元4121根据从区域指定单元103供应的区域信息，选择从混合比计算单元单元4101供应的、假设像素属于覆盖背景区的情况下的估计混合比和假设像素属于未覆盖背景区的情况下的估计混合比的一个或另一个，并且把所选的估计混合比供应给分离单元601，作为混合比α。

分离单元601根据从选择单元4121供应的混合比α、和区域信息，从属于混合区的像素的像素值中提取前景成分和背景成分，并且把提取的前景成分供应给合成单元603，而把背景成分供应给合成单元605。

分离单元601可以具有与图63所示的配置相同的配置。

合成单元603合成和输出前景成分图像。合成单元605合成和输出背景成分图像。

图138所示的运动模糊调整单元106可以具有与图2所示的情况相同的配置，调整包含在从前景/背景分离单元4102供应的前景成分图像中的运动模糊量，并输出其运动模糊量已经得到调整的前景成分图像。

图138所示的选择单元107选择从前景/背景分离单元4102供应的前景成分图像、和从运动模糊调整单元106供应的、运动模糊量已经得到调整的前景成分图像的一个或另一个，并且输出所选的前景成分图像。

这样，具有图138所示的配置的信号处理装置，可以调整和输出包含在与包含在输入图像中的前景成分相对应的图像中的运动模糊量。与第一实施例一样，具有图138所示的配置的信号处理装置，可以计算作为隐埋信息的混合比α，并且输出计算的混合比α。

图141是说明用于将前景成分图像和任意背景图像进行合成的信号处理装置的又一种配置的方框图。图136所示的信号处理装置以串行方式进行区域指定和混合比α的计算步骤，而图141所示的信号处理装置以并行方式进行区域指定和混合比α的计算。

与图138中方框图所示的功能相同的部分用相同的标号表示，并且，略去其描述。

混合比计算单元4101根据输入图像，为包含在输入图像中的每个像素计算假设像素属于覆盖背景区的情况下的估计混合比、和假设像素属于未覆盖背景区的情况下的估计混合比，并且把计算的假设像素属于覆盖背景区的情况下的估计混合比、和假设像素属于未覆盖背景区的情况下的估计混合比供应给前景/背景分离单元4102和合成单元4201。

图141所示的前景/背景分离单元4102根据从混合比计算单元单元4101供应的、假设像素属于覆盖背景区的情况下的估计混合比和假设像素属于未覆盖背景区的情况下的估计混合比、和从区域指定单元103供应的区域信息，生成前景成分图像，并且把从输入图像中生成的前景成分图像供应给合成单元4101。

合成单元4201根据从混合比计算单元单元4101供应的、假设像素属于覆盖背景区的情况下的估计混合比和假设像素属于未覆盖背景区的情况下的估计混合比、和从区域指定单元103供应的区域信息，将任意背景图像与从前景/背景分离单元4102供应的前景成分图像合成在一起，并输出任意背景图像和前景成分图像已经合成在一起的合成图像。

图142是说明合成单元4201的配置的图。与图137中方框图所示的功能相同的部分用相同的标号表示，并且，略去其描述。

根据从区域指定单元103供应的区域信息，选择单元4121选择从混合比计算单元4101供应的、假设像素属于覆盖背景区的情况下的估计混合比和假设像素属于未覆盖背景区的情况下的估计混合比的一个或另一个，并且把所选的估计混合比供应给背景成分生成单元4021，作为混合比α。

图142所示的背景成分生成单元4021根据从选择单元4221供应的混合比α、和任意背景图像，生成背景成分图像，并且将其供应给混合区图像合成单元4022。

图142所示的混合区图像合成单元4022通过合成从背景成分生成单元4021供应的背景成分图像和前景成分图像，生成混合区合成图像，并且把生成的混合区合成图像供应给图像合成单元4023。

图像合成单元4023根据区域信息，把前景成分图像、从混合区图像合成单元4022供应的混合区合成图像、和任意背景图像进行合成，生成和输出合成图像。

这样，合成单元4201可以将前景成分图像与任意背景图像合成在一起。

图143是说明信号处理装置的又一种配置的方框图。与图79所示的情况相同的部分用相同的标号表示，并且，略去其描述。

区域指定单元103把区域信息供应给混合比计算单元2001和前景/背景分离单元105。

噪声消除单元4501根据从运动估计单元2002供应的运动向量和从前景/背景分离单元105供应的前景成分图像的多个帧，从前景成分图像中消除噪声，并且把噪声已经被消除了的前景成分图像供应给选择单元107。

选择单元107根据与，例如，用户所作的选择相对应的选择信号，选择从前景/背景分离单元105供应的前景成分图像、和从噪声消除单元4501供应的噪声已经被消除了的前景成分图像的一个或另一个，并且输出所选的前景成分图像。

图144是说明噪声消除单元4501的配置的方框图。

把从前景/背景分离单元105供应的前景成分图像输入到帧存储器4511-1和平均像素值计算单元4513。

帧存储器4511-1到4511-N是串联的，存储前景/背景分离单元105或前一个帧存储器供应的前景成分图像，将其延迟与一个帧相对应的时间间隔，并输出存储在其中的前景成分图像。

帧存储器4511-1存储从前景/背景分离单元105供应的前景成分图像，将其延迟与一个帧相对应的时间间隔，并且将存储在其中的前景成分图像供应给帧存储器4511-2和运动补偿单元4512-1。

帧存储器4511-2到4511-(N-1)分别存储前一帧存储器供应的前景成分图像，将其延迟与一个帧相对应的时间间隔，并且将其供应给随后的帧存储器和运动补偿单元4512-2到4512-(N-1)之一。

帧存储器4511-N存储从帧存储器4511-(N-1)供应的前景成分图像，将其延迟与一个帧相对应的时间间隔，并且将存储在其中的前景成分图像供应给运动补偿单元4512-N。

运动补偿单元4512-1根据从运动估计单元2002供应的运动向量，对从帧存储器4511-1供应的前景成分图像进行运动补偿，并且把经过运动补偿的前景成分图像供应给平均像素值计算单元4513。

运动补偿单元4512-2到4512-N的每一个，根据从运动估计单元2002供应的运动向量，对从帧存储器4511-2到4511-N之一供应的前景成分图像进行运动补偿，并且把经过运动补偿的前景成分图像的每一个供应给平均像素值计算单元4513。

从运动补偿单元4512-1到4512-N供应到平均像素值计算单元4513的所有前景成分图像在屏幕上的位置与输入到噪声消除单元4501的背景成分图像在屏幕上的位置相匹配。

平均像素值计算单元4513，根据其位置在屏幕上相匹配的、输入到噪声消除单元4501的背景成分图像、和从运动补偿单元4512-1到4512-N之一供应的前景成分图像，计算每个像素的像素值的平均值。平均像素值计算单元4513把计算的像素值平均值设置成前景成分图像的像素值，从而从前景成分图像中消除了噪声，并输出噪声被消除了的前景成分图像。

这样，根据从运动估计单元2002供应的运动向量，噪声消除单元4501可以从前景/背景分离单元105输出的前景成分图像中消除噪声。

运动估计单元2002输出的运动向量是已经考虑了混合区的运动向量，因此，可以以更精确的方式使前景成分图像的多个帧经受运动补偿，噪声消除单元4501可以把噪声电平降得更低。

利用其配置在图143中示出的信号处理装置消除噪声的处理将参照图145所示的流程图加以描述。

步骤S4501到步骤S4504中的每一过程分别与步骤S2001到步骤S2004中的每一过程相同，因此，将略去其描述。

在步骤S4505中，噪声消除单元4501根据从运动估计单元2002供应的运动向量，从前景/背景分离单元105供应的前景成分图像中消除噪声。消除噪声的处理细节以后将参照图146中的流程图加以描述。

在步骤S4506中，信号处理装置判断对整个屏幕的处理是否已经结束了，并且，在作出对整个屏幕的处理还没有结束的判断的情况下，流程转到步骤S4505，重复噪声消除处理。

在步骤S4506中，在作出对整个屏幕的处理已经结束的判断的情况下，处理结束。

这样，信号处理装置，可以从前景成分图像中消除噪声。

图146是与步骤S4505中的处理相对应，利用噪声消除单元4501从前景成分图像中消除噪声的处理的流程图。

在步骤S4511中，帧存储器4511-1到4511-N分别为每个帧存储前景成分图像。帧存储器4511-1到4511-N分别将存储在其中的前景成分图像供应给运动补偿单元4512-1到4512-N之一。

在步骤S4512中，运动补偿单元4512-1到4512-N根据从运动估计单元2002供应的运动向量，为每个帧进行前景成分图像的运动补偿。

在步骤S4513中，平均像素值计算单元4513计算经过运动补偿的前景成分图像的像素值的平均值，并且把计算的平均值设置成前景成分图像，从而从前景成分图像中消除噪声，输出噪声得到消除的前景成分图像，据此结束处理。

这样，噪声消除单元4501可以从前景成分图像中消除噪声。

如上所述，其配置在图143中示出的信号处理装置，可以分离前景成分图像和背景成分图像，并从分离的前景成分图像中消除噪声。

图147是说明用于调整运动模糊量的信号处理装置的功能的又一种配置的方框图。图107所示的信号处理装置以顺序方式进行区域指定和混合比α的计算步骤，而图147所示的信号处理装置以并行方式进行区域指定和混合比α的计算。

与图107中的方框图所示的功能相同的部分用相同的标号表示，并且，略去其描述。

把输入图像供应给同时检测单元4601、前景/背景分离单元4102、和区域指定单元103。

同时检测单元4601根据输入图像，为包含在输入图像中的每个像素计算假设像素属于覆盖背景区的情况下的估计混合比、和假设像素属于未覆盖背景区的情况下的估计混合比，并且把计算的假设像素属于覆盖背景区的情况下的估计混合比、和假设像素属于未覆盖背景区的情况下的估计混合比供应给运动模糊调整单元4602。

同时检测单元4601根据输入图像，为包含在输入图像中的每个像素计算假设像素属于覆盖背景区的情况下的估计运动向量、和假设像素属于未覆盖背景区的情况下的估计运动向量，并且把计算的假设像素属于覆盖背景区的情况下的估计运动向量、和假设像素属于未覆盖背景区的情况下的估计运动向量供应给前景/背景分离单元4102。

图148是说明同时检测单元4601的配置例子的方框图。

图148所示的估计混合比处理单元3401与图109所示的估计混合比处理单元3401相同。图148所示的估计混合比处理单元3402与图109所示的估计混合比处理单元3402相同。

估计混合比处理单元3401根据输入图像，通过与覆盖背景区的模型相对应的计算步骤，为每个像素计算估计混合比和估计运动向量，并且输出计算的估计混合比和估计运动向量。

估计混合比处理单元3402根据输入图像，通过与未覆盖背景区的模型相对应的计算步骤，为每个像素计算估计混合比和估计运动向量，并且输出计算的估计混合比和估计运动向量。

前景/背景分离单元4102根据从同时检测单元4601供应的、假设像素属于覆盖背景区的情况下的估计混合比、和假设像素属于未覆盖背景区的情况下的估计混合比、和从区域指定单元103供应的区域信息，从输入图像中生成前景成分图像，并且把生成的前景成分图像供应给运动模糊调整单元4602和选择单元107。

运动模糊调整单元4602根据区域信息和估计运动向量，调整包含在从前景/背景分离单元4102输出的前景成分图像中的运动模糊量，并且输出其运动模糊量已经得到调整的前景成分图像。

图149是说明运动模糊调整单元4602的配置的方框图。

与图66所示的运动模糊调整单元106相同的部分用相同的标号表示，并且，略去其描述。

选择单元4641根据从区域指定单元103供应的区域信息，选择从同时检测单元4601供应的、假设像素属于覆盖背景区的情况下的估计运动向量、和假设像素属于未覆盖背景区的情况下的估计运动向量的一个或另一个，并且把所选的估计运动向量供应给处理增量判决单元801和计算单元805，作为运动向量。

图147所示的选择单元107根据与，例如，用户所作的选择相对应的选择信号，选择从前景/背景分离单元4102供应的前景成分图像、和从运动模糊调整单元4602供应的、其运动模糊量已经经过调整的前景成分图像的一个或另一个，并且输出所选的前景成分图像。

这样，具有图147所示的配置的信号处理装置，可以调整和输出包含在与包含在输入图像中的前景对象相对应的图像中的运动模糊量。

图150是说明根据本发明的信号处理装置的功能的又一种配置的方框图。与图107所示的信号处理装置相同的部分用相同的标号表示，并且，略去其描述。与图143所示的信号处理装置相同的部分用相同的标号表示，并且，略去其描述。

区域指定单元103把区域信息供应给同时检测单元3001和前景/背景分离单元105。

同时检测单元3001把检测的混合比α供应给前景/背景分离单元105，而把检测的运动向量供应给噪声消除单元4501。

噪声消除单元4501根据从同时检测单元3001供应的运动向量和从前景/背景分离单元105供应的前景成分图像的多个帧，从前景成分图像中消除噪声，并且把其噪声已经被消除的前景成分图像供应给选择单元107。

选择单元107根据与，例如，用户所作的选择相对应的选择信号，选择从前景/背景分离单元105供应的前景成分图像、和从噪声消除单元4501供应的、噪声已经被消除了的前景成分图像的一个或另一个，并且输出所选的前景成分图像。

现在参照图151中的流程图，将描述利用信号处理装置消除噪声的处理。

步骤S4701到步骤S4703中的处理分别与步骤S3001到步骤S3003中的处理相同，因此，将略去其描述。

在步骤S4704中，噪声消除单元4501根据从同时检测单元3001供应的运动向量，从前景/背景分离单元105供应的前景成分图像中消除噪声。步骤S4704中的处理细节与参照图146中的流程图所述的处理相同，因此，将略去其描述。

在步骤S4705中，信号处理装置判断对整个屏幕的处理是否已经结束了，并且，在作出对整个屏幕的处理还没有结束的判断的情况下，流程转到步骤S4704，重复噪声消除处理。

在步骤S4705中，在作出对整个屏幕的处理已经结束的判断的情况下，处理结束。

这样，信号处理装置，可以从前景成分图像中消除噪声。

如上所述，具有图150所示的配置的信号处理装置，可以分离前景成分图像和背景成分图像，和从分离的前景成分图像中消除噪声。

这样，借助于这样一种安排，即，根据与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的权重，来计算图像数据中感兴趣帧中的每个像素与图像数据中的与感兴趣帧相邻的相邻帧中的每个像素之间的加权差，将其输出，作为与感兴趣帧相对应的加权差图像数据，根据指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算包含感兴趣帧的加权差图像数据的每个感兴趣像素的感兴趣块与相邻帧的加权差图像数据的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据，和针对加权差图像间相关数据的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量的至少一个，在检测到权重的情况下，把权重设置成与感兴趣帧的增量相对应的混合比，而在检测到运动向量的情况下，把运动向量设置成与感兴趣帧的增量相对应的运动向量的，可以检测指示背景图像和运动对象的图像的混合比例的混合比，或者，在考虑了背景图像和运动对象的图像相混合的区域之后，可以检测运动对象的运动向重。

借助于这样一种安排，即，生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的多个权重和指示每个生成权重的权重的权重信息，根据权重信息所指示的权重，检测图像数据中感兴趣帧的每个像素与图像数据中的与感兴趣帧相邻的相邻帧的每个像素之间的加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据，根据指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据，和针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重，并将其输出，作为与感兴趣帧的增量相对应的混合比，可以检测指示诸如背景图像之类的多个对象和运动对象的图像的混合状态的混合比。

借助于这样一种安排，即，根据图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区，输出指示指定混合区的区域信息，根据图像数据和区域信息，估计指示属于混合区的像素数据中前景对象成分与背景对象成分之间的混合比例的混合比，生成多个估计运动向量，并输出已经生成的每个估计运动向量，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第一相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第一差图像数据，和根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的第二相邻帧的每个像素之间的感兴趣帧的感兴趣像素的混合比，来计算差值，并将其输出，作为第二差图像数据，根据估计运动向量，来匹配第一差图像数据和第二差图像数据的相对位置，计算由中心在与感兴趣帧的感兴趣像素相对应的第一差图像数据的像素上的至少一个像素组成的感兴趣块与由第二差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为差图像间相关数据，和根据差图像间相关数据，检测相关值达到最大的估计运动向量，并将其输出，作为与感兴趣帧的感兴趣像素相对应的运动向量，在考虑了诸如背景图像之类的多个对象和运动对象图像的混合之后，可以检测到更精确的运动向量。

借助于这样一种安排，即，生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，生成指示每个生成权重的权重的权重信息，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据，生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，生成指示生成运动向量的每一个的运动向量信息，根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的至少一个像素组成的感兴趣块与由相邻帧的加权差图像数据的至少一个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据，和针对由加权差图像间相关数据的至少一个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个，可以检测指示背景图像和运动对象的图像的混合比例的混合比，或者，在考虑了背景图像和运动对象的图像相混合的区域之后，可以检测运动对象的运动向量。

借助于这样一种安排，即，生成与指示现实世界中的多个对象的像素数据中的混合状态的混合比相对应的、每一个具有不同值的多个权重，生成指示每个生成权重的权重的权重信息，根据图像数据的感兴趣帧的每个像素和与图像数据的感兴趣帧相邻的相邻帧的每个像素之间的权重信息所指示的权重，来计算加权差，并将其输出，作为与感兴趣帧相对应的加权差图像数据，生成指示感兴趣帧的像素数据与相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个运动向量，生成指示生成运动向量的每一个的运动向量信息，根据运动向量信息所指示的运动向量，来匹配感兴趣帧的加权差图像数据和相邻帧的加权差图像数据的相对位置，计算由中心在感兴趣帧的加权差图像数据的每个感兴趣像素上的多个像素组成的感兴趣块与由相邻帧的加权差图像数据的多个像素组成的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据，和针对由加权差图像间相关数据的多个像素组成的每个预定增量，检测加权差图像数据之间的相关值达到最大的权重和运动向量，把检测的权重设置成与感兴趣帧的增量相对应的混合比，把检测的运动向量设置成与感兴趣帧的增量相对应的运动向量，并输出混合比和运动向量的至少一个，可以检测指示背景图像和运动对象的图像的混合比例的混合比，或者，在考虑了背景图像和运动对象的图像相混合的区域之后，可以检测运动对象的运动向量。

注意到，虽然把混合比α描述成包含在像素值中的背景成分的比例，但是，它也可以是包含在像素值中的前景成分的比例。

此外，作为前景的对象的运动被描述成从左向右，但是，不必说，运动方向不局限于此。

在上文中，已经给出了利用视频摄像机，把具有三维空间和时间轴信息的真实空间中的图像投影到具有二维空间和时间轴信息的时空上的情况的例子，但是，本发明不受这个例子的限制，可以应用于：在把第一维的较多数量第一信息投影到第二维的较少数量第二信息上的情况下，以更自然的方式纠正由于投影引起的失真，提取重要信息，或合成图像的情况。

注意到传感器不限于CCD，它可以是固态图像拍摄器件，例如，互补型金属氧化物半导体(互补型金属氧化物薄膜半导体(CMOS))、斗链式结构器件(BBD)、电荷注入器件(CID)、或电荷启动器件(CPD)等的传感器，并且，不限于检测元件排列成矩阵状的传感器，可以是检测元件排列成一行的传感器。

存储执行本发明的信号处理的程序的记录介质不仅可以被配置成：例如，为了把程序提供给用户而如图1所示地与计算机分开分配给用户的、用于存储程序的磁盘51(包括软盘(注册的商标))、光盘52包括(只读光盘存储器(CD-ROM))和数字多功能盘(DVD)、磁光盘53(包括小型盘(MD(Mini-Disk))(注册的商标))或半导体存储器54等可拆卸介质，而且可以被配置成包含在存储单元28等中的、用于存储程序的、与计算机组装在一起事先提供给用户的只读存储器(ROM)22或硬盘。

此外，在本说明书中，描述记录在记录介质中的程序的步骤当然包括按照上述次序那样的时间顺序执行的处理，还包括尽管没有按照时间顺序执行，但是并行地或单独地执行的处理。

工业可应用性

根据本发明的第一个方面，可以检测指示背景图像和运动对象的图像的混合比例的混合比，或者，在考虑了背景图像和运动对象的图像相混合的区域之后，可以检测运动对象的运动向量。

根据本发明的第二个方面，可以检测，例如，指示诸如背景图像之类的多个对象和运动对象的图像的混合状态的混合比。

根据本发明的第三个方面，在考虑了诸如背景图像之类的多个对象和运动对象图像的混合之后，可以检测到更精确的运动向量。

根据本发明的第四个方面，可以检测指示背景图像和运动对象的图像的混合比例的混合比，或者，在考虑了背景图像和运动对象的图像相混合的区域之后，可以检测运动对象的运动向量。

根据本发明的第五个方面，可以检测指示背景图像和运动对象的图像的混合比例的混合比，或者，在考虑了背景图像和运动对象的图像相混合的区域之后，可以检测运动对象的运动向量。

Claims (81)

1.一种图像处理设备，用于：处理由具有时间积分效应的具有预定数目像素的图像拍摄设备拍摄的、由预定数目像素数据组成的图像数据，所述图像处理设备包括：

加权差图像数据计算装置，用于：根据与指示现实世界中的多个对象的所述像素数据中的混合状态的混合比相对应的权重，来计算所述图像数据中感兴趣帧中的每个像素与所述图像数据中的与所述感兴趣帧相邻的相邻帧中的每个像素之间的加权差，并将其输出，作为与所述感兴趣帧相对应的加权差图像数据；

加权差图像间相关数据计算装置，用于：根据指示所述感兴趣帧的所述像素数据与所述相邻帧的所述像素数据之间的相对运动的运动向量，来匹配所述感兴趣帧的所述加权差图像数据和所述相邻帧的所述加权差图像数据的相对位置，计算包含所述感兴趣帧的所述加权差图像数据的每个感兴趣像素的感兴趣块与所述相邻帧的所述加权差图像数据的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及

检测装置，用于：针对所述加权差图像间相关数据的每个预定增量，检测所述加权差图像数据之间的相关值达到最大的所述权重和所述运动向量的至少一个，在检测到所述权重的情况下，把所述权重设置成与所述感兴趣帧的所述增量相对应的所述混合比，而在检测到所述运动向量的情况下，把所述运动向量设置成与所述感兴趣帧的所述增量相对应的所述运动向量。

2.根据权利要求1所述的图像处理设备，还包括：

权重信息生成装置，用于：生成与指示现实世界中的所述多个对象的所述像素数据中的混合状态的所述混合比相对应的多个所述权重，和生成指示每个生成权重的所述权重的权重信息；

其中，所述加权差图像数据计算装置，根据所述图像数据的所述感兴趣帧的每个像素和与所述图像数据的所述感兴趣帧相邻的所述相邻帧的每个像素之间的所述权重信息所指示的所述权重，检测所述加权差，并将其输出，作为与所述感兴趣帧相对应的所述加权差图像数据；

和其中，所述加权差图像间相关数据计算装置，根据指示所述感兴趣帧的所述像素数据与所述相邻帧的所述像素数据之间的相对运动的所述运动向量，来匹配所述感兴趣帧的所述加权差图像数据和所述相邻帧的所述加权差图像数据的相对位置，计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的至少一个像素组成的所述感兴趣块与由所述相邻帧的所述加权差图像数据的至少一个像素组成的所述相对应块之间的相关值，并将其输出，作为所述加权差图像间相关数据；

和其中，所述检测装置，针对由所述加权差图像间相关数据的至少一个像素组成的每个预定增量，检测所述加权差图像数据之间的相关值达到最大的所述权重，并将其输出，作为与所述感兴趣帧的所述增量相对应的所述混合比。

3.根据权利要求1所述的图像处理设备，还包括：

区域指定装置，用于：根据所述图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区，并输出指示所述指定混合区的区域信息；

混合比估计装置，用于：根据所述像素数据和所述区域信息，估计属于所述混合区的所述像素数据中的所述前景对象成分与所述背景对象成分之间的所述混合比；以及

估计运动向量生成装置，用于：生成多个估计运动向量，并输出已经生成的每个所述估计运动向量；

其中，所述加权差图像数据计算装置，根据所述图像数据的所述感兴趣帧的每个像素和与所述图像数据的所述感兴趣帧相邻的第一相邻帧的每个像素之间的所述感兴趣帧的所述感兴趣像素的所述混合比，来计算差值，并将其输出，作为第一差图像数据，和根据所述图像数据的所述感兴趣帧的每个像素和与所述图像数据的所述感兴趣帧相邻的第二相邻帧的每个像素之间的所述感兴趣帧的所述感兴趣像素的所述混合比，来计算差值，并将其输出，作为第二差图像数据；

和其中，所述加权差图像间相关数据计算装置，根据所述估计运动向量，来匹配所述第一差图像数据和所述第二差图像数据的相对位置，来计算由中心在与所述感兴趣帧的所述感兴趣像素相对应的所述第一差图像数据的像素上的至少一个像素组成的所述感兴趣块与由所述第二差图像数据的至少一个像素组成的所述相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；

和其中，所述检测装置，根据所述加权差图像间相关数据，检测相关值达到最大的所述估计运动向量，并将其输出，作为与所述感兴趣帧的所述感兴趣像素相对应的所述运动向量。

4.根据权利要求1所述的图像处理设备，还包括：

权重信息生成装置，用于：生成与指示现实世界中的所述多个对象的所述像素数据中的混合状态的所述混合比相对应的、每一个具有不同值的多个所述权重，和生成指示每个生成权重的所述权重的权重信息；以及

运动向量信息生成装置，用于：生成指示所述感兴趣帧的所述像素数据与所述相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个所述运动向量，和生成指示所述生成运动向量的每一个的运动向量信息；

其中，所述加权差图像数据计算装置，根据所述图像数据的所述感兴趣帧的每个像素和与所述图像数据的所述感兴趣帧相邻的所述相邻帧的每个像素之间的所述权重信息所指示的所述权重，来计算所述加权差，并将其输出，作为与所述感兴趣帧相对应的所述加权差图像数据；

和其中，所述加权差图像间相关数据计算装置，根据所述运动向量信息所指示的所述运动向量，来匹配所述感兴趣帧的所述加权差图像数据和所述相邻帧的所述加权差图像数据的相对位置，计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的至少一个像素组成的所述感兴趣块与由所述相邻帧的所述加权差图像数据的至少一个像素组成的所述相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；

和其中，所述检测装置，针对由所述加权差图像间相关数据的至少一个像素组成的每个预定增量，检测所述加权差图像数据之间的相关值达到最大的所述权重和所述运动向量，把所述检测的权重设置成与所述感兴趣帧的所述增量相对应的所述混合比，把所述检测的运动向量设置成与所述感兴趣帧的所述增量相对应的所述运动向量，并输出所述混合比和所述运动向量的至少一个。

5.根据权利要求1所述的图像处理设备，还包括：

权重信息生成装置，用于：生成与指示现实世界中的所述多个对象的所述像素数据中的所述混合状态的所述混合比相对应的、每一个具有不同值的多个所述权重，和生成指示所述每个生成权重的权重的权重信息；以及

运动向量信息生成装置，用于：生成指示所述感兴趣帧的所述像素数据与所述相邻帧的所述像素数据之间的相对运动的、每一个具有不同值的多个所述运动向量，和生成指示所述生成运动向量的每一个的运动向量信息；

其中，所述加权差图像数据计算装置，根据所述图像数据的所述感兴趣帧的每个像素和与所述图像数据的所述相邻帧的每个像素之间的所述权重信息所指示的所述权重，来计算加权差，并将其输出，作为与所述感兴趣帧相对应的所述加权差图像数据；

和其中，所述加权差图像间相关数据计算装置，根据所述运动向量信息所指示的所述运动向量，来匹配所述感兴趣帧的所述加权差图像数据和所述相邻帧的所述加权差图像数据的相对位置，来计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的多个像素组成的所述感兴趣块与由所述相邻帧的所述加权差图像数据的多个像素组成的所述相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；

和其中，所述检测装置，针对由所述加权差图像间相关数据的多个像素组成的每个预定增量，检测所述加权差图像数据之间的相关值达到最大的所述权重和所述运动向量，把所述检测的权重设置成与所述感兴趣帧的所述增量相对应的所述混合比，把所述检测的运动向量设置成与所述感兴趣帧的所述增量相对应的所述运动向量，并输出所述混合比和所述运动向量的至少一个。

6.根据权利要求2所述图像处理设备，其中，所述权重信息生成装置与彼此不同的多个所述混合比相对应，依次生成指示彼此不同的多个所述权重的所述权重信息；

和其中，所述加权差图像数据检测装置，检测与彼此不同的所述多个权重相对应的所述加权差，并将其输出，作为与所述感兴趣帧相对应的加权差图像数据；

和其中，所述加权差图像间相关数据检测装置，计算与彼此不同的所述多个权重相对应的所述相关值，并将其输出，作为加权差图像间相关数据；

和其中，所述混合比检测装置从彼此不同的所述多个权重中，检测所述加权差图像数据之间的相关值达到最大的所述权重，并将其输出，作为与所述感兴趣帧的所述增量相对应的所述混合比。

7.根据权利要求2所述的图像处理设备，其中，所述加权差图像间相关数据检测装置，计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的至少一个像素组成的所述感兴趣块与由所述相邻帧的所述加权差图像数据的至少一个像素组成的所述相对应块之间的差的绝对值，作为所述相关值，并将其输出，作为加权差图像间相关数据。

8.根据权利要求2所述的图像处理设备，其中，所述加权差图像间相关数据检测装置，计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的至少一个像素组成的所述感兴趣块与由所述相邻帧的所述加权差图像数据的至少一个像素组成的所述相对应块之间的差的绝对值之和，作为所述相关值，并将其输出，作为加权差图像间相关数据。

9.根据权利要求2所述的图像处理设备，其中，所述加权差图像数据检测装置，在所述感兴趣帧的所述像素属于沿着前景中对象的运动方向在首端形成且本身是多个所述对象相混合的混合区的覆盖背景区的情况下，检测由所述感兴趣帧的每个像素与所述感兴趣帧之前的所述帧的每个像素之间的所述权重信息所指示的所述权重引起的加权差，而在所述感兴趣帧的所述像素属于沿着所述前景中对象的运动方向在末端形成且本身是多个所述对象相混合的混合区的未覆盖背景区的情况下，检测由所述感兴趣帧的每个像素与所述感兴趣帧之后的所述帧的每个像素之间的所述权重信息所指示的所述权重引起的加权差。

10.根据权利要求2所述的图像处理设备，还包括区域信息生成装置，用于：指定所述图像数据中由形成所述多个对象的前景的对象组成的前景区域、所述图像数据中由形成所述多个对象的背景的对象组成的背景区、本身是多个所述对象相混合的混合区的沿着所述前景对象的运动方向在首端形成的覆盖背景区、和本身是多个所述对象相混合的混合区且沿着前景对象的运动方向在末端形成的未覆盖背景区，和生成指示所述前景区、所述背景区、和包括所述覆盖背景区和所述未覆盖背景区的所述混合区的区域信息。

11.根据权利要求2所述的图像处理设备，还包括运动向量检测装置，用于：检测指示所述感兴趣帧的所述像素数据与所述相邻帧的所述像素数据之间的相对运动的所述运动向量。

12.根据权利要求2所述的图像处理设备，其中，所述混合比检测装置，检测属于所述多个对象相混合的混合区的、所述感兴趣帧的所述像素的所述混合比。

13.根据权利要求2所述的图像处理设备，还包括分离装置，用于：根据所述混合比，从所述像素数据中分离出来自所述多个对象的组成前景的至少一个对象。

14.根据权利要求13所述的图像处理设备，还包括运动模糊调整装置，用于：调整组成所述分离前景的对象的运动模糊量。

15.根据权利要求13所述的图像处理设备，还包括合成装置，用于：根据所述混合比，合成期望的其它对象和构成所述分离前景的对象。

16.根据权利要求3所述的图像处理设备，其中，所述差图像间相关数据计算装置，计算所述感兴趣块与所述相对应块之间的差的绝对值，作为所述相关值，并将其输出，作为差图像间相关数据。

17.根据权利要求3所述的图像处理设备，其中，所述差图像间相关数据计算装置，计算所述感兴趣块与所述相对应块之间的差的绝对值之和，作为所述相关值，并将其输出，作为差图像间相关数据。

18.根据权利要求3所述的图像处理设备，还包括分离装置，用于：根据所述混合比，从所述像素数据中分离出至少一个所述前景对象。

19.根据权利要求18所述的图像处理设备，还包括运动模糊调整装置，用于：根据所述运动向量，调整所述分离前景对象的运动模糊量。

20.根据权利要求18所述的图像处理设备，还包括噪声消除装置，用于：根据所述运动向量，消除所述分离前景对象的噪声。

21.根据权利要求4所示的图像处理设备，其中，所述加权差图像间相关数据计算装置，根据所述运动向量信息所指示的所述运动向量，至少匹配所述感兴趣帧的所述加权差图像数据、所述感兴趣帧之前的帧的所述加权差图像数据、和所述感兴趣帧之后的帧的所述加权差图像数据的相对位置，计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的至少一个像素组成的所述感兴趣块、由所述前一帧的所述加权差图像数据的至少一个像素组成的所述相对应块、和由所述后一帧的所述加权差图像数据的至少一个像素组成的所述相对应块之间的相关值，并将其输出，作为加权差图像间相关数据。

22.根据权利要求4所示的图像处理设备，其中，所述加权差图像间相关数据计算装置，计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的至少一个像素组成的所述感兴趣块与由所述相邻帧的所述加权差图像数据的至少一个像素组成的所述相对应块之间的差的绝对值，作为所述相关值，并将其输出，作为加权差图像间相关数据。

23.根据权利要求4所示的图像处理设备，其中，所述加权差图像间相关数据计算装置，计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的至少一个像素组成的所述感兴趣块与由所述相邻帧的所述加权差图像数据的至少一个像素组成的所述相对应块之间的差的绝对值之和，作为所述相关值，并将其输出，作为加权差图像间相关数据。

24.根据权利要求4所示的图像处理设备，其中，所述加权差图像数据计算装置，在所述感兴趣帧的所述像素属于沿着前景中对象的运动方向在首端形成且本身是多个所述对象相混合的混合区的覆盖背景区的情况下，计算由所述感兴趣帧的每个像素与所述感兴趣帧之前的所述帧的每个像素之间的所述权重信息所指示的所述权重引起的加权差，而在所述感兴趣帧的所述像素属于沿着所述前景中对象的运动方向在末端形成且本身是多个所述对象相混合的混合区的未覆盖背景区的情况下，计算由所述感兴趣帧的每个像素与所述感兴趣帧之后的所述帧的每个像素之间的所述权重信息所指示的所述权重引起的加权差。

25.根据权利要求4所示的图像处理设备，还包括区域信息生成装置，用于：指定所述图像数据中由形成所述多个对象的前景的对象组成的前景区域、所述图像数据中由形成所述多个对象的背景的对象组成的背景区、本身是多个所述对象相混合的混合区且沿着所述前景对象的运动方向在首端形成的覆盖背景区、和本身是多个所述对象相混合的混合区且沿着所述前景对象的运动方向在末端形成的未覆盖背景区，和生成指示所述前景区、所述背景区、和包括所述覆盖背景区和所述未覆盖背景区的所述混合区的区域信息。

26.根据权利要求4所示的图像处理设备，其中，所述检测装置，检测属于所述多个对象相混合的混合区的、所述感兴趣帧的所述像素的所述混合比。

27.根据权利要求4所示的图像处理设备，还包括分离装置，用于：根据所述混合比，从所述像素数据中分离出来自所述多个对象的组成前景的至少一个对象。

28.根据权利要求27所示的图像处理设备，还包括运动模糊调整装置，用于：调整组成所述分离前景的对象的运动模糊量。

29.根据权利要求27所示的图像处理设备，还包括噪声消除装置，用于：根据所述运动向量，消除所述分离前景对象的噪声。

30.根据权利要求5所述的图像处理设备，其中，所述加权差图像数据计算装置，根据中心在所述图像数据的所述感兴趣帧的每个感兴趣像素上的多个像素组成的第二感兴趣块和由与所述图像数据的所述感兴趣帧相邻的所述相邻帧的多个像素组成的第二相对应块之间的所述权重信息所指示的所述权重，来计算加权差，并将其输出，作为与所述感兴趣帧相对应的加权差图像数据，其中，与所述第二感兴趣块或所述第二相对应块的所述多个像素相对应的所述权重是常数；

和其中，所述加权差图像间相关数据计算装置，根据所述运动向量信息所指示的所述运动向量，来匹配所述感兴趣帧的所述加权差图像数据和所述相邻帧的所述加权差图像数据的相对位置，计算所述感兴趣帧的所述加权差图像数据的所述第一感兴趣块与所述相邻帧的所述加权差图像数据的所述第一相对应块之间的相关值，并将其输出，作为加权差图像间相关数据。

31.根据权利要求5所述的图像处理设备，其中，所述加权差图像数据计算装置，根据由中心在所述图像数据的所述感兴趣帧的每个感兴趣像素上的多个像素组成的所述第二感兴趣块和由与所述图像数据的所述感兴趣帧相邻的所述相邻帧的多个像素组成的所述第二相对应块之间的依次生成的所述权重信息所指示的、与所述多个像素的每个像素相对应的所述权重，来计算加权差，并将其输出，作为与所述感兴趣帧相对应的加权差图像数据；

和其中，所述加权差图像间相关数据计算装置，根据所述运动向量信息所指示的所述运动向量，来匹配所述感兴趣帧的所述加权差图像数据和所述相邻帧的所述加权差图像数据的相对位置，计算所述感兴趣帧的所述加权差图像数据的所述第一感兴趣块与所述相邻帧的所述加权差图像数据的所述第一相对应块之间的相关值，并将其输出，作为加权差图像间相关数据。

32.根据权利要求31所述的图像处理设备，其中，所述加权差图像数据计算装置，根据与每个像素的位置相对应、且与所述第二感兴趣块和所述第二相对应块之间的依次生成的所述权重信息所指示的所述多个像素的每个像素相对应不断改变的所述权重，来计算加权差，并将其输出，作为与所述感兴趣像素相对应的加权差图像数据。

33.根据权利要求31所述的图像处理设备，其中，所述检测装置，通过评估与所述加权差图像数据之间的相关值达到最大的所述第一感兴趣块内每个像素相对应的所述权重的连续性，检测所述多个所述权重和所述运动向量的最精确所述权重和所述运动向量，把所述检测的权重设置成与所述感兴趣帧的所述增量相对应的所述混合比，把所述检测的运动向量设置成与所述感兴趣帧的所述增量相对应的所述运动向量，并输出所述混合比和所述运动向量的至少一个。

34.一种图像处理方法，用于：处理由具有时间积分效应的具有预定数目像素的图像拍摄设备拍摄的由预定数目像素数据组成的图像数据，所述方法包括：

加权差图像数据计算步骤，用于：根据与指示现实世界中的多个对象的所述像素数据中的混合状态的混合比相对应的权重，来计算所述图像数据中感兴趣帧中的每个像素与所述图像数据中的与所述感兴趣帧相邻的相邻帧中的每个像素之间的加权差，并将其输出，作为与所述感兴趣帧相对应的加权差图像数据；

加权差图像间相关数据计算步骤，用于：根据指示所述感兴趣帧的所述像素数据与所述相邻帧的所述像素数据之间的相对运动的运动向量，来匹配所述感兴趣帧的所述加权差图像数据和所述相邻帧的所述加权差图像数据的相对位置，计算包含所述感兴趣帧的所述加权差图像数据的每个感兴趣像素的感兴趣块与所述相邻帧的所述加权差图像数据的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及

检测步骤，用于：针对所述加权差图像间相关数据的每个预定增量，检测所述加权差图像数据之间的相关值达到最大的所述权重和所述运动向量的至少一个，在检测到所述权重的情况下，把所述权重设置成与所述感兴趣帧的所述增量相对应的所述混合比，而在检测到所述运动向量的情况下，把所述运动向量设置成与所述感兴趣帧的所述增量相对应的所述运动向量。

35.根据权利要求34所述的图像处理方法，还包括：

权重信息生成步骤，用于：生成与指示现实世界中的所述多个对象的所述像素数据中的混合状态的所述混合比相对应的多个所述权重，和生成指示每个生成权重的所述权重的权重信息；

其中，在所述加权差图像数据计算步骤中，根据所述图像数据的所述感兴趣帧的每个像素和与所述图像数据的所述感兴趣帧相邻的所述相邻帧的每个像素之间的所述权重信息所指示的所述权重，检测所述加权差，并将其输出，作为与所述感兴趣帧相对应的所述加权差图像数据；

和其中，在所述加权差图像间相关数据计算步骤中，根据指示所述感兴趣帧的所述像素数据与所述相邻帧的所述像素数据之间的相对运动的所述运动向量，来匹配所述感兴趣帧的所述加权差图像数据和所述相邻帧的所述加权差图像数据的相对位置，计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的至少一个像素组成的所述感兴趣块与由所述相邻帧的所述加权差图像数据的至少一个像素组成的所述相对应块之间的相关值，并将其输出，作为所述加权差图像间相关数据；

和其中，在所述检测步骤中，针对由所述加权差图像间相关数据的至少一个像素组成的每个预定增量，检测所述加权差图像数据之间的相关值达到最大的所述权重，并将其输出，作为与所述感兴趣帧的所述增量相对应的所述混合比。

36.根据权利要求34所述的图像处理方法，还包括：

区域指定步骤，用于：根据所述图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区，并输出指示所述指定混合区的区域信息；

混合比估计步骤，用于：根据所述像素数据和所述区域信息，估计指示属于所述混合区的所述像素数据中的所述前景对象成分与所述背景对象成分之间的混合的比率的所述混合比；以及

估计运动向量生成步骤，用于：生成多个估计运动向量，并输出已经生成的每个所述估计运动向量；

其中，在所述加权差图像数据计算步骤中，根据所述图像数据的所述感兴趣帧的每个像素和与所述图像数据的所述感兴趣帧相邻的第一相邻帧的每个像素之间的所述感兴趣帧的所述感兴趣像素的所述混合比，来计算差值，并将其输出，作为第一差图像数据，和根据所述图像数据的所述感兴趣帧的每个像素和与所述图像数据的所述感兴趣帧相邻的第二相邻帧的每个像素之间的所述感兴趣帧的所述感兴趣像素的所述混合比，来计算差值，并将其输出，作为第二差图像数据；

和其中，在所述加权差图像间相关数据计算步骤中，根据所述估计运动向量，来匹配所述第一差图像数据和所述第二差图像数据的相对位置，来计算由中心在与所述感兴趣帧的所述感兴趣像素相对应的所述第一差图像数据的像素上的至少一个像素组成的所述感兴趣块与由所述第二差图像数据的至少一个像素组成的所述相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；

和其中，在所述检测步骤中，根据所述加权差图像间相关数据，检测相关值达到最大的所述估计运动向量，并将其输出，作为与所述感兴趣帧的所述感兴趣像素相对应的所述运动向量。

37.根据权利要求34所述的图像处理方法，还包括：

权重信息生成步骤，用于：生成与指示现实世界中的所述多个对象的所述像素数据中的混合状态的所述混合比相对应的、每一个具有不同值的多个所述权重，和生成指示每个生成权重的所述权重的权重信息；以及

运动向量信息生成步骤，用于：生成指示所述感兴趣帧的所述像素数据与所述相邻帧的像素数据之间的相对运动的、每一个具有不同值的多个所述运动向量，和生成指示所述生成运动向量的每一个的运动向量信息；

其中，在所述加权差图像数据计算步骤中，根据所述图像数据的所述感兴趣帧的每个像素和与所述图像数据的所述感兴趣帧相邻的所述相邻帧的每个像素之间的所述权重信息所指示的所述权重，来计算所述加权差，并将其输出，作为与所述感兴趣帧相对应的所述加权差图像数据；

和其中，在所述加权差图像间相关数据计算步骤中，根据所述运动向量信息所指示的所述运动向量，来匹配所述感兴趣帧的所述加权差图像数据和所述相邻帧的所述加权差图像数据的相对位置，计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的至少一个像素组成的所述感兴趣块与由所述相邻帧的所述加权差图像数据的至少一个像素组成的所述相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；

和其中，在所述检测步骤中，针对由所述加权差图像间相关数据的至少一个像素组成的每个预定增量，检测所述加权差图像数据之间的相关值达到最大的所述权重和所述运动向量，把所述检测的权重设置成与所述感兴趣帧的所述增量相对应的所述混合比，把所述检测的运动向量设置成与所述感兴趣帧的所述增量相对应的所述运动向量，并输出所述混合比和所述运动向量的至少一个。

38.根据权利要求34所述的图像处理方法，还包括：

权重信息生成步骤，用于：生成与指示现实世界中的所述多个对象的所述像素数据中的所述混合状态的所述混合比相对应的、每一个具有不同值的多个所述权重，和生成指示所述每个生成权重的权重的权重信息；以及

运动向量信息生成步骤，用于：生成指示所述感兴趣帧的所述像素数据与所述相邻帧的所述像素数据之间的相对运动的、每一个具有不同值的多个所述运动向量，和生成指示所述生成运动向量的每一个的运动向量信息；

其中，在所述加权差图像数据计算步骤中，根据所述图像数据的所述感兴趣帧的每个像素和与所述图像数据的所述相邻帧的每个像素之间的所述权重信息所指示的所述权重，来计算所述加权差，并将其输出，作为与所述感兴趣帧相对应的所述加权差图像数据；

和其中，在所述加权差图像间相关数据计算步骤中，根据所述运动向量信息所指示的所述运动向量，来匹配所述感兴趣帧的所述加权差图像数据和所述相邻帧的所述加权差图像数据的相对位置，来计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的多个像素组成的所述感兴趣块与由所述相邻帧的所述加权差图像数据的多个像素组成的所述相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；

和其中，在所述检测步骤中，针对由所述加权差图像间相关数据的多个像素组成的每个预定增量，检测所述加权差图像数据之间的相关值达到最大的所述权重和所述运动向量，把所述检测的权重设置成与所述感兴趣帧的所述增量相对应的所述混合比，把所述检测的运动向量设置成与所述感兴趣帧的所述增量相对应的所述运动向量，并输出所述混合比和所述运动向量的至少一个。

39.根据权利要求35所述图像处理方法，其中，在所述权重信息生成步骤中，与彼此不同的多个所述混合比相对应，依次生成指示彼此不同的多个所述权重的所述权重信息；

和其中，在所述加权差图像数据检测步骤中，与彼此不同的所述多个权重相对应，检测所述加权差，并将其输出，作为与所述感兴趣帧相对应的加权差图像数据；

和其中，在所述加权差图像间相关数据检测步骤中，计算与彼此不同的所述多个权重相对应的所述相关值，并将其输出，作为加权差图像间相关数据；

和其中，在所述混合比检测步骤中，从彼此不同的所述多个权重中，检测所述加权差图像数据之间的相关值达到最大的所述权重，并将其输出，作为与所述感兴趣帧的所述增量相对应的所述混合比。

40.根据权利要求35所述的图像处理方法，其中，在所述加权差图像间相关数据检测步骤中，计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的至少一个像素组成的所述感兴趣块与由所述相邻帧的所述加权差图像数据的至少一个像素组成的所述相对应块之间的差的绝对值，作为所述相关值，并将其输出，作为加权差图像间相关数据。

41.根据权利要求35所述的图像处理方法，其中，在所述加权差图像间相关数据检测步骤中，计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的至少一个像素组成的所述感兴趣块与由所述相邻帧的所述加权差图像数据的至少一个像素组成的所述相对应块之间的差的绝对值之和，作为所述相关值，并将其输出，作为加权差图像间相关数据。

42.根据权利要求35所述的图像处理方法，其中，在所述加权差图像数据检测步骤中，在所述感兴趣帧的所述像素属于沿着前景中对象的运动方向在首端形成且本身是多个所述对象相混合的混合区的覆盖背景区的情况下，检测由所述感兴趣帧的每个像素与所述感兴趣帧之前的所述帧的每个像素之间的所述权重信息所指示的所述权重引起的加权差，而在所述感兴趣帧的所述像素属于沿着所述前景中对象的运动方向在末端形成且本身是多个所述对象相混合的混合区的未覆盖背景区的情况下，检测由所述感兴趣帧的每个像素与所述感兴趣帧之后的所述帧的每个像素之间的所述权重信息所指示的所述权重引起的加权差。

43.根据权利要求35所述的图像处理方法，还包括区域信息生成步骤，用于：指定所述图像数据中由形成所述多个对象的前景的对象组成的前景区域、所述图像数据中由形成所述多个对象的背景的对象组成的背景区、本身是多个所述对象相混合的混合区且沿着所述前景对象的运动方向在首端形成的覆盖背景区、和本身是多个所述对象相混合的混合区且沿着前景对象的运动方向在末端形成的未覆盖背景区，和生成指示所述前景区、所述背景区、和包括所述覆盖背景区和所述未覆盖背景区的所述混合区的区域信息。

44.根据权利要求35所述的图像处理方法，还包括运动向量检测步骤，用于：检测指示所述感兴趣帧的所述像素数据与所述相邻帧的所述像素数据之间的相对运动的所述运动向量。

45.根据权利要求35所述的图像处理方法，其中，在所述混合比检测步骤中，检测属于所述多个对象相混合的混合区的、所述感兴趣帧的所述像素的所述混合比。

46.根据权利要求35所述的图像处理方法，还包括分离步骤，用于：根据所述混合比，从所述像素数据中分离出来自所述多个对象的组成前景的至少一个对象。

47.根据权利要求46所述的图像处理方法，还包括运动模糊调整步骤，用于：调整组成所述分离前景的对象的运动模糊量。

48.根据权利要求46所述的图像处理方法，还包括合成步骤，用于：根据所述混合比，合成期望的其它对象和构成所述分离前景的对象。

49.一种图像拍摄设备，包括：

图像拍摄装置，用于：输出由具有时间积分效应的具有预定数目像素的图像拍摄设备拍摄的主体图像，作为由预定数目像素数据组成的图像数据；

加权差图像数据计算装置，用于：根据与指示现实世界中的多个对象的所述像素数据中的混合状态的混合比相对应的权重，来计算所述图像数据中感兴趣帧中的每个像素与所述图像数据中的与所述感兴趣帧相邻的相邻帧中的每个像素之间的加权差，并将其输出，作为与所述感兴趣帧相对应的加权差图像数据；

加权差图像间相关数据计算装置，用于：根据指示所述感兴趣帧的所述像素数据与所述相邻帧的所述像素数据之间的相对运动的运动向量，来匹配所述感兴趣帧的所述加权差图像数据和所述相邻帧的所述加权差图像数据的相对位置，计算包含所述感兴趣帧的所述加权差图像数据的每个感兴趣像素的感兴趣块与所述相邻帧的所述加权差图像数据的相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；以及

检测装置，用于：针对所述加权差图像间相关数据的每个预定增量，检测所述加权差图像数据之间的相关值达到最大的所述权重和所述运动向量的至少一个，在检测到所述权重的情况下，把所述权重设置成与所述感兴趣帧的所述增量相对应的所述混合比，而在检测到所述运动向量的情况下，把所述运动向量设置成与所述感兴趣帧的所述增量相对应的所述运动向量。

50.根据权利要求49所述的图像拍摄设备，还包括：

权重信息生成装置，用于：生成与指示现实世界中的所述多个对象的所述像素数据中的混合状态的所述混合比相对应的多个所述权重，和生成指示每个生成权重的所述权重的权重信息；

其中，所述加权差图像数据计算装置，根据所述图像数据的所述感兴趣帧的每个像素和与所述图像数据的所述感兴趣帧相邻的所述相邻帧的每个像素之间的所述权重信息所指示的所述权重，来计算所述加权差，并将其输出，作为与所述感兴趣帧相对应的所述加权差图像数据；

和其中，所述加权差图像间相关数据计算装置，根据指示所述感兴趣帧的所述像素数据与所述相邻帧的所述像素数据之间的相对运动的所述运动向量，来匹配所述感兴趣帧的所述加权差图像数据和所述相邻帧的所述加权差图像数据的相对位置，计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的至少一个像素组成的所述感兴趣块与由所述相邻帧的所述加权差图像数据的至少一个像素组成的所述相对应块之间的相关值，并将其输出，作为所述加权差图像间相关数据；

和其中，所述检测装置，针对由所述加权差图像间相关数据的至少一个像素组成的每个预定增量，检测所述加权差图像数据之间的相关值达到最大的所述权重，并将其输出，作为与所述感兴趣帧的所述增量相对应的所述混合比。

51.根据权利要求49所述的图像拍摄设备，还包括：

区域指定装置，用于：根据所述图像数据，指定由构成前景对象的前景对象成分和构成背景对象的背景对象成分的混合组成的混合区，并输出指示所述指定混合区的区域信息；

混合比估计装置，用于：根据所述像素数据和所述区域信息，估计属于所述混合区的所述像素数据中的所述前景对象成分与所述背景对象成分之间的所述混合比；以及

估计运动向量生成装置，用于：生成多个估计运动向量，并输出已经生成的每个所述估计运动向量；

其中，所述加权差图像数据计算装置，根据所述图像数据的所述感兴趣帧的每个像素和与所述图像数据的所述感兴趣帧相邻的第一相邻帧的每个像素之间的所述感兴趣帧的所述感兴趣像素的所述混合比，来计算差值，并将其输出，作为第一差图像数据，和根据所述图像数据的所述感兴趣帧的每个像素和与所述图像数据的所述感兴趣帧相邻的第二相邻帧的每个像素之间的所述感兴趣帧的所述感兴趣像素的所述混合比，来计算差值，并将其输出，作为第二差图像数据；

和其中，所述加权差图像间相关数据计算装置，根据所述估计运动向量，来匹配所述第一差图像数据和所述第二差图像数据的相对位置，来计算由中心在与所述感兴趣帧的所述感兴趣像素相对应的所述第一差图像数据的像素上的至少一个像素组成的所述感兴趣块与由所述第二差图像数据的至少一个像素组成的所述相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；

和其中，所述检测装置，根据所述加权差图像间相关数据，检测相关值达到最大的所述估计运动向量，并将其输出，作为与所述感兴趣帧的所述感兴趣像素相对应的所述运动向量。

52.根据权利要求49所述的图像拍摄设备，还包括：

权重信息生成装置，用于：生成与指示现实世界中的所述多个对象的所述像素数据中的混合状态的所述混合比相对应的、每一个具有不同值的多个所述权重，和生成指示每个生成权重的所述权重的权重信息；以及

运动向量信息生成装置，用于：生成指示所述感兴趣帧的所述像素数据与所述相邻帧的抽样像素数据之间的相对运动的、每一个具有不同值的多个所述运动向量，和生成指示所述生成运动向量的每一个的运动向量信息；

其中，所述加权差图像数据计算装置，根据所述图像数据的所述感兴趣帧的每个像素和与所述图像数据的所述感兴趣帧相邻的所述相邻帧的每个像素之间的所述权重信息所指示的所述权重，来计算所述加权差，并将其输出，作为与所述感兴趣帧相对应的所述加权差图像数据；

和其中，所述加权差图像间相关数据计算装置，根据所述运动向量信息所指示的所述运动向量，来匹配所述感兴趣帧的所述加权差图像数据和所述相邻帧的所述加权差图像数据的相对位置，计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的至少一个像素组成的所述感兴趣块与由所述相邻帧的所述加权差图像数据的至少一个像素组成的所述相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；

和其中，所述检测装置，针对由所述加权差图像间相关数据的至少一个像素组成的每个预定增量，检测所述加权差图像数据之间的相关值达到最大的所述权重和所述运动向量，把所述检测的权重设置成与所述感兴趣帧的所述增量相对应的所述混合比，把所述检测的运动向量设置成与所述感兴趣帧的所述增量相对应的所述运动向量，并输出所述混合比和所述运动向量的至少一个。

53.根据权利要求49所述的图像拍摄设备，还包括：

权重信息生成装置，用于：生成与指示现实世界中的所述多个对象的所述像素数据的所述混合状态的所述混合比相对应的、每一个具有不同值的多个所述权重，和生成指示所述每个生成权重的权重的权重信息；以及

运动向量信息生成装置，用于：生成指示所述感兴趣帧的所述像素数据与所述相邻帧的所述像素数据之间的相对运动的、每一个具有不同值的多个所述运动向量，和生成指示所述生成运动向量的每一个的运动向量信息；

其中，所述加权差图像数据计算装置，根据所述图像数据的所述感兴趣帧的每个像素和与所述图像数据的所述感兴趣帧相邻的所述相邻帧的每个像素之间的所述权重信息所指示的所述权重，来计算所述加权差，并将其输出，作为与所述感兴趣帧相对应的所述加权差图像数据；

和其中，所述加权差图像间相关数据计算装置，根据所述运动向量信息所指示的所述运动向量，来匹配所述感兴趣帧的所述加权差图像数据和所述相邻帧的所述加权差图像数据的相对位置，计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的多个像素组成的所述感兴趣块与由所述相邻帧的所述加权差图像数据的多个像素组成的所述相对应块之间的相关值，并将其输出，作为加权差图像间相关数据；

和其中，所述检测装置，针对由所述加权差图像间相关数据的多个像素组成的每个预定增量，检测所述加权差图像数据之间的相关值达到最大的所述权重和所述运动向量，把所述检测的权重设置成与所述感兴趣帧的所述增量相对应的所述混合比，把所述检测的运动向量设置成与所述感兴趣帧的所述增量相对应的所述运动向量，并输出所述混合比和所述运动向量的至少一个。

54.根据权利要求50所述图像拍摄设备，其中，所述权重信息生成装置与彼此不同的多个所述混合比相对应，依次生成指示彼此不同的多个所述权重的所述权重信息；

和其中，所述加权差图像数据检测装置，检测与彼此不同的所述多个权重相对应的所述加权差，并将其输出，作为与所述感兴趣帧相对应的加权差图像数据；

和其中，所述加权差图像间相关数据检测装置，计算与彼此不同的所述多个权重相对应的所述相关值，并将其输出，作为加权差图像间相关数据；

和其中，所述混合比检测装置从彼此不同的所述多个权重中，检测所述加权差图像数据之间的相关值达到最大的所述权重，并将其输出，作为与所述感兴趣帧的所述增量相对应的所述混合比。

55.根据权利要求50所述的图像拍摄设备，其中，所述加权差图像间相关数据检测装置，计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的至少一个像素组成的所述感兴趣块与由所述相邻帧的所述加权差图像数据的至少一个像素组成的所述相对应块之间的差的绝对值，作为所述相关值，并将其输出，作为加权差图像间相关数据。

56.根据权利要求50所述的图像拍摄设备，其中，所述加权差图像间相关数据检测装置，计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的至少一个像素组成的所述感兴趣块与由所述相邻帧的所述加权差图像数据的至少一个像素组成的所述相对应块之间的差的绝对值之和，作为所述相关值，并将其输出，作为加权差图像间相关数据。

57.根据权利要求50所述的图像拍摄设备，其中，所述加权差图像数据检测装置，在所述感兴趣帧的所述像素属于沿着前景中对象的运动方向在首端形成且本身是多个所述对象相混合的混合区的覆盖背景区的情况下，检测由所述感兴趣帧的每个像素与所述感兴趣帧之前的所述帧的每个像素之间的所述权重信息所指示的所述权重引起的加权差，而在所述感兴趣帧的所述像素属于沿着所述前景中对象的运动方向在末端形成且本身是多个所述对象相混合的混合区的未覆盖背景区的情况下，检测由所述感兴趣帧的每个像素与所述感兴趣帧之后的所述帧的每个像素之间的所述权重信息所指示的所述权重引起的加权差。

58.根据权利要求50所述的图像拍摄设备，还包括区域信息生成装置，用于：指定所述图像数据中由形成所述多个对象的前景的对象组成的前景区域、所述图像数据中由形成所述多个对象的背景的对象组成的背景区、本身是多个所述对象相混合的混合区且沿着所述前景对象的运动方向在首端形成的覆盖背景区、和本身是多个所述对象相混合的混合区且沿着前景对象的运动方向在末端形成的未覆盖背景区，和生成指示所述前景区、所述背景区、和包括所述覆盖背景区和所述未覆盖背景区的所述混合区的区域信息。

59.根据权利要求50所述的图像拍摄设备，还包括运动向量检测装置，用于：检测指示所述感兴趣帧的所述像素数据与所述相邻帧的所述像素数据之间的相对运动的所述运动向量。

60.根据权利要求50所述的图像拍摄设备，其中，所述混合比检测装置，检测属于所述多个对象相混合的混合区的、所述感兴趣帧的所述像素的所述混合比。

61.根据权利要求50所述的图像拍摄设备，还包括分离装置，用于：根据所述混合比，从所述像素数据中分离出来自所述多个对象的组成前景的至少一个对象。

62.根据权利要求61所述的图像拍摄设备，还包括运动模糊调整装置，用于：调整组成所述分离前景的对象的运动模糊量。

63.根据权利要求61所述的图像拍摄设备，还包括合成装置，用于：根据所述混合比，合成期望的其它对象和构成所述分离前景的对象。

64.根据权利要求51所述的图像拍摄设备，其中，所述差图像间相关数据计算装置，计算所述感兴趣块与所述相对应块之间的差的绝对值，作为所述相关值，并将其输出，作为差图像间相关数据。

65.根据权利要求51所述的图像拍摄设备，其中，所述差图像间相关数据计算装置，计算所述感兴趣块与所述相对应块之间的差的绝对值之和，作为所述相关值，并将其输出，作为差图像间相关数据。

66.根据权利要求51所述的图像拍摄设备，还包括分离装置，用于：根据所述混合比，从所述像素数据中分离出至少一个所述前景对象。

67.根据权利要求66所述的图像拍摄设备，还包括运动模糊调整装置，用于：根据所述运动向量，调整所述分离前景对象的运动模糊量。

68.根据权利要求66所述的图像拍摄设备，还包括噪声消除装置，用于：根据所述运动向量，消除所述分离前景对象的噪声。

69.根据权利要求52所示的图像拍摄设备，其中，所述加权差图像间相关数据计算装置，根据所述运动向量信息所指示的所述运动向量，至少匹配所述感兴趣帧的所述加权差图像数据、所述感兴趣帧之前的帧的所述加权差图像数据、和所述感兴趣帧之后的帧的所述加权差图像数据的相对位置，来计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的至少一个像素组成的所述感兴趣块、由所述前一帧的所述加权差图像数据的至少一个像素组成的所述相对应块、和由所述后一帧的所述加权差图像数据的至少一个像素组成的所述相对应块之间的相关值，并将其输出，作为加权差图像间相关数据。

70.根据权利要求52所示的图像拍摄设备，其中，所述加权差图像间相关数据计算装置，计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的至少一个像素组成的所述感兴趣块与由所述相邻帧的所述加权差图像数据的至少一个像素组成的所述相对应块之间的差的绝对值，作为所述相关值，并将其输出，作为加权差图像间相关数据。

71.根据权利要求52所示的图像拍摄设备，其中，所述加权差图像间相关数据计算装置，计算由中心在所述感兴趣帧的所述加权差图像数据的每个感兴趣像素上的至少一个像素组成的所述感兴趣块与由所述相邻帧的所述加权差图像数据的至少一个像素组成的所述相对应块之间的差的绝对值之和，作为所述相关值，并将其输出，作为加权差图像间相关数据。

72.根据权利要求52所示的图像拍摄设备，其中，所述加权差图像数据计算装置，在所述感兴趣帧的所述像素属于沿着前景中对象的运动方向在首端形成且本身是多个所述对象相混合的混合区的覆盖背景区的情况下，计算由所述感兴趣帧的每个像素与所述感兴趣帧之前的所述帧的每个像素之间的所述权重信息所指示的所述权重引起的加权差，而在所述感兴趣帧的所述像素属于沿着所述前景中对象的运动方向在末端形成且本身是多个所述对象相混合的混合区的未覆盖背景区的情况下，计算由所述感兴趣帧的每个像素与所述感兴趣帧之后的所述帧的每个像素之间的所述权重信息所指示的所述权重引起的加权差。

73.根据权利要求52所示的图像拍摄设备，还包括区域信息生成装置，用于：指定所述图像数据中由形成所述多个对象的前景的对象组成的前景区域、所述图像数据中由形成所述多个对象的背景的对象组成的背景区、本身是多个所述对象相混合的混合区且沿着所述前景对象的运动方向在首端形成的覆盖背景区、和本身是多个所述对象相混合的混合区且沿着所述前景对象的运动方向在末端形成的未覆盖背景区，和生成指示所述前景区、所述背景区、和包括所述覆盖背景区和所述未覆盖背景区的所述混合区的区域信息。

74.根据权利要求52所示的图像拍摄设备，其中，所述检测装置，检测属于所述多个对象相混合的混合区的、所述感兴趣帧的所述像素的所述混合比。

75.根据权利要求52所示的图像拍摄设备，还包括分离装置，用于：根据所述混合比，从所述像素数据中分离出来自所述多个对象的组成前景的至少一个对象。

76.根据权利要求75所示的图像拍摄设备，还包括运动模糊调整装置，用于：调整组成所述分离前景的对象的运动模糊量。

77.根据权利要求75所示的图像拍摄设备，还包括噪声消除装置，用于：根据所述运动向量，消除所述分离前景对象的噪声。

78.根据权利要求53所述的图像拍摄设备，其中，所述加权差图像数据计算装置，根据中心在所述图像数据的所述感兴趣帧的每个感兴趣像素上的多个像素组成的第二感兴趣块和由与所述图像数据的所述感兴趣帧相邻的所述相邻帧的多个像素组成的第二相对应块之间的所述权重信息所指示的所述权重，来计算加权差，并将其输出，作为与所述感兴趣帧相对应的加权差图像数据，其中，与所述第二感兴趣块或所述第二相对应块的所述多个像素相对应的所述权重是常数；

和其中，所述加权差图像间相关数据计算装置，根据所述运动向量信息所指示的所述运动向量，来匹配所述感兴趣帧的所述加权差图像数据和所述相邻帧的所述加权差图像数据的相对位置，计算所述感兴趣帧的所述加权差图像数据的所述第一感兴趣块与所述相邻帧的所述加权差图像数据的所述第一相对应块之间的相关值，并将其输出，作为加权差图像间相关数据。

79.根据权利要求53所述的图像拍摄设备，其中，所述加权差图像数据计算装置，根据由中心在所述图像数据的所述感兴趣帧的每个感兴趣像素上的多个像素组成的所述第二感兴趣块和由与所述图像数据的所述感兴趣帧相邻的所述相邻帧的多个像素组成的所述第二相对应块之间的依次生成的所述权重信息所指示的、与所述多个像素的每个像素相对应的所述权重，来计算加权差，并将其输出，作为与所述感兴趣帧相对应的加权差图像数据；

和其中，所述加权差图像间相关数据计算装置，根据所述运动向量信息所指示的所述运动向量，来匹配所述感兴趣帧的所述加权差图像数据和所述相邻帧的所述加权差图像数据的相对位置，计算所述感兴趣帧的所述加权差图像数据的所述第一感兴趣块与所述相邻帧的所述加权差图像数据的所述第一相对应块之间的相关值，并将其输出，作为加权差图像间相关数据。

80.根据权利要求79所述的图像拍摄设备，其中，所述加权差图像数据计算装置，根据与每个像素的位置相对应、且与所述第二感兴趣块和所述第二相对应块之间的依次生成的所述权重信息所指示的所述多个像素的每个像素相对应不断改变的所述权重，来计算加权差，并将其输出，作为与所述感兴趣像素相对应的加权差图像数据。

81.根据权利要求79所述的图像拍摄设备，其中，所述检测装置，通过评估与所述加权差图像数据之间的相关值达到最大的所述第一感兴趣块内每个像素相对应的所述权重的连续性，检测所述多个所述权重和所述运动向量的最精确所述权重和所述运动向量，把所述检测的权重设置成与所述感兴趣帧的所述增量相对应的所述混合比，把所述检测的运动向量设置成与所述感兴趣帧的所述增量相对应的所述运动向量，并输出所述混合比和所述运动向量的至少一个。

Images