CN1701595A - 图象摄影处理方法及图象摄影装置 - Google Patents

Abstract

一种图象摄影处理方法，旋转修正部(21)对由照相机(11)拍摄的图像进行修正处理。区域限定部(15)限定输出所拍摄图像的上部区域的图像数据，旋转量检测部(13)根据限定输出的图像数据检测该图像的旋转量。旋转量修正部(21)根据检测出的旋转量进行修正处理。

Description

图象摄影处理方法及图象摄影装置

技术领域

本发明涉及一种根据利用照相机拍摄图象，从拍摄的图象中检测到的特征数据，进行修正的图象处理技术。

背景技术

在现有技术中，存在着通过抽出图象中的边缘，将最大长的边缘的倾斜作为照相机的倾斜，为了消除这种最大长的边缘的倾斜，通过图象数据的仿射变换，从而消除照相机的倾斜的技术(例如，参阅专利文献1)。

另外，在非专利文献1中，还公布了抽出图象中的垂直边缘，从该垂直边缘中检测图象的倾斜技术。

(专利文献1)特开平4-314274号公报(第2页、第1图)

(非专利文献1)Hidekazu Ohmi and Fumihiko Saitoh，“ImageInclination Measurement Based on Edge Directions and an Analysis of Relationbetween Visual Inclination”，MVA2002 IAPR Workshop on Machine VisionApplications，Dec.11-13，2002.

拍摄图象时，通常在来自上方的照明光线下进行摄影，在图象的下部，往往反映出地面及地板等。对于这种图象，根据图象整体的特征数据，进行旋转修正及逆光修正等处理后，常常得不到期望的修正效果。

例如，进行图象的旋转修正，以便使人造物等的垂直边缘在图象中成为垂直时，在整个图象上检测边缘后，由于脚下反映出地板及地面，所以受到该地板及地面的图象包含的边缘的影响，有时不能正确地进行旋转修正。

另外，在进行逆光修正等的曝光修正时，也因为光亮度分布在图象的上部和下部中悬殊的可能性大，所以使用图象整体的特征数据时，有时得不到期望的修正效果。

发明内容

鉴于上述问题，本发明将可以对照相机拍摄的图象实施比现有技术更适当的修正作为课题。

本发明是不从图象整体，而从图象的上部区域取得修正图象所用的特征数据的技术。这是因为考虑到在通常的摄影图象中，拍摄的景物的性质等摄影状态在其上部和下部不同的缘故。例如，使用铅直边缘的旋转修正时，将取得铅直边缘成分的区域，限定在图象上部，从而可以排除地板及地面包含的边缘的影响。另外，进行逆光修正等的曝光修正时，将取得光亮度值的区域限定在图象上部，可以排除来自上方的照明光线照不到的区域的影响。

就是说，作为图象摄影处理方法，本发明是采用照相机拍摄图象，在拍摄的图象的上部区域，检测该图象的特征数据，由该特征数据求出修正量，根据求出的修正量，对所述照相机的光学系统进行修正控制或对所述图象的图象数据进行修正处理的方法。

另外，作为图象摄影装置，本发明包括；拍摄图象的照相机；限定输出所述照相机拍摄到的图象的上部区域的图象数据的区域限定部；从所述区域限定部输出的图象数据中，检测该图象的特征数据，由该特征数据求出修正量的修正量计算部；根据所述修正量计算部求出的修正量，对所述照相机的光学系统进行修正控制，或对所述图象的图象数据进行修正处理的修正部。

采取本发明后，不是根据从拍摄图象的整体，而是根据从其上部区域检测到的特征数据，计算修正量，根据该求出的修正量，对照相机的光学系统进行修正控制，或对图象数据进行修正处理。因此，在计算修正量之际，可以预先排除成为干扰的信息，所以可以求出更适当的修正量，从而能更切实地实施图象的倾斜及移动的修正。

在这里，所谓“上部区域”，作为一个简单的例子，就是图象内上侧差不多二分之一的区域。另外，还可以是该上侧差不多二分之一的区域包含的矩形、椭圆形等的区域。或者是在采用众所周知的区域分割方法分割图象后的区域中，其重心位置比所定的临界值(例如图象整体的中心位置)靠上的区域。

另外，在曝光控制时，在设定上部区域之际，还可以考虑光亮度值。例如，既可以将上述的上部区域内的光亮度值是所定的临界值以上的区域，作为上部区域设定；也可以将其重心位置比所定的临界值(例如图象整体的中心位置)靠上的区域，作为上部区域。

附图说明

图1是表示本发明的第1实施方式涉及的图象摄影装置的结构的方框图。

图2是表示图1的图象摄影装置的动作的流程图。

图3(a)表示修正前的图象，图3(b)是从图3(a)的图象抽出的垂直边缘，图3(c)是修正后的图象。

图4是将图象数据IMG变换成xy座标系的图形。

图5是表示本发明的第1实施方式涉及的进行区域限定的图象摄影装置的结构的方框图。

图6是表示本发明的第2实施方式涉及的图象摄影装置的结构的方框图。

图7是表示图6的图象摄影装置的动作的流程图。

图8是表示本发明的第2实施方式涉及的进行区域限定的图象摄影装置的结构的方框图。

图9是表示本发明的第3实施方式涉及的图象摄影装置的结构的图形。

图10是表示本发明的第3实施方式涉及的图象摄影装置的结构的方框图形。

图11是表示本发明的第3实施方式的变形例涉及的结构的一个示例的图形。

图12是表示本发明的第3实施方式的变形例的利用方式的一个示例的图形。

图13是表示本发明的第4实施方式涉及的图象摄影装置的结构的图形。

图14是适当照明状态时和逆光状态时光亮度频度分布的示意图。

图15是表示本发明的第5实施方式涉及的图象摄影装置的构成的其它示例的图形。

图16是表示本发明的第5实施方式涉及的图象摄影装置的结构示例的图形。

图17是表示本发明的第5实施方式的利用样态的一个示例的图形。

图18是本发明的第5实施方式涉及的旋转修正量的合成的示意图。

图19本发明的第5实施方式涉及的合成图象的示例。

图20是表示本发明的第6实施方式涉及的图象摄影装置的结构示例的图形。

图21是表示本发明的第6实施方式的利用样态的一个示例的图形。

图22是表示本发明的第6实施方式涉及的图象合成可否判断的示意图。

图23是本发明的第6实施方式涉及的合成图象的示例。

图24是表示本发明的第6实施方式的利用样态的其它示例的图形。

图25是两面安装着照相机的手机的外形图。

图26是表示本发明的第7实施方式涉及的图象摄影装置的结构示例的图形。

图27是本发明的第7实施方式涉及的旋转修正的示例。

具体实施方式

在本发明的第1样态中，作为图象摄影处理方法，提供包括：采用照相机拍摄图象的第1步骤；在所述第1步骤中拍摄的图象的上部区域，检测该图象的特征数据，由该特征数据求出修正量的第2步骤；根据所述第2步骤中求出的修正量，对所述照相机的光学系统进行修正控制，或对所述图象的图象数据进行修正处理的第3步骤的方法。

在本发明的第2样态中，提供所述第2步骤，在所述上部区域中，抽出铅直边缘成分，根据该铅直边缘成分，将所述图象的旋转量作为所述特征数据检出，根据所述旋转量，计算所述图象的旋转修正量的所述第1样态的图象摄影处理方法。

在本发明的第3样态中，提供在所述第2步骤中，使用现在时刻的旋转量和前一个时刻的旋转量，计算所述旋转修正量的所述第2样态的图象摄影处理方法。

在本发明的第4样态中，提供所述第2步骤，在所述上部区域中，加上旋转量，将移动矢量作为所述特征数据检出，根据所述移动矢量，计算所述图象的移动修正量的所述第2样态的图象摄影处理方法。

在本发明的第5样态中，提供所述第2步骤，在所述上部区域中，求出光亮度，根据求出的光亮度，将所述图象的曝光状态作为所述特征数据检出，根据所述曝光状态，计算曝光修正量的所述第1样态的图象摄影处理方法。

在本发明的第6样态中，提供所述曝光修正，是逆光修正或过顺光修正的所述第5样态的图象摄影处理方法。

在本发明的第7样态中，提供包括：检出所述照相机的姿势的第4步骤，按照在所述第4号步骤中检出的照相机姿势，调整所述第2步骤中的上部区域的范围的第5步骤的所述第1样态的图象摄影处理方法。

在本发明的第8样态中，提供将在所述第4步骤中检测出的照相机姿势的数据向时间方向平滑化的所述第7样态的图象摄影处理方法。

在本发明的第9样态中，作为图象摄影处理方法，提供包括：采用多个照相机分别拍摄图象的第1步骤；在所述第1步骤中拍摄的各图象的上部区域，分别检测该图象的旋转量的第2步骤；合成在所述第2步骤中检测到的各图象的旋转量的第3步骤；根据在所述第3步骤中得到的合成旋转量，对所述各图象分别进行旋转修正处理的第4步骤；合成在所述第4步骤中进行了旋转修正处理的各图象，获得合成图象的第5步骤的方法。

在本发明的第10样态中，作为图象摄影处理方法，提供包括：采用多个照相机分别拍摄图象的第1步骤；在所述第1步骤中拍摄的各图象的上部区域，分别检测该图象的旋转量的第2步骤；判断是否由在所述第2步骤中检测到的各图象的旋转量合成各图象的第3步骤；断定在所述第3步骤中合成时，合成各图象，获得合成图象的第4步骤的方法。

在本发明的第11样态中，作为图象摄影处理方法，提供包括：采用第1及第2照相机分别拍摄图象的第1步骤；对在所述第1步骤中用所述第1照相机拍摄的第1图象，在其上部区域，检测该第1图象的旋转量的第2步骤；根据在所述第2步骤中检测到的旋转量，对用所述第2照相机拍摄的第2图象，进行旋转修正处理的第3步骤的方法。

在本发明的第12样态中，作为图象摄影装置，提供包括：拍摄图象的照相机；限定输出所述照相机拍摄到的图象的上部区域的图象数据的区域限定部；从所述区域限定部输出的图象数据中，检测该图象的特征数据，由该特征数据求出修正量的修正量计算部；根据所述修正量计算部求出的修正量，对所述照相机的光学系统进行修正控制，或对所述图象的图象数据进行修正处理的修正部的装置。

以下，使用附图，讲述本发明的实施方式。

(第1实施方式)

图1是表示本发明的第1实施方式涉及的图象摄影装置的结构的方框图。在图1中，相机11包含透镜及摄影元件，利用摄影元件对通过透镜后获得的拍摄物象进行光电变换，生成图象数据。旋转机构12使照相机11的光学系旋转。旋转量检出部13检出照相机11输出的图象数据对水平方向而言的旋转量，求出旋转修正量。旋转控制部14，根据旋转量检出部13检出的旋转修正量，控制旋转机构12的旋转。

图1的图象摄影装置，在被图象数据拍摄的景观的垂直方向与实际空间的垂直方向不一致时，对图象数据进行旋转修正，以便使其一致。就是说，使用垂直边缘，修正图象的倾斜。这是因为例如在不正对人造物进行摄影时，水平边缘在图象中表现出很大的倾斜，而垂直边缘则能够大致垂直显示。

下面，参照图2的流程图，讲述图1的结构的动作。

首先，照相机11将拍摄对象变换成图象数据(S11)。在这里，假设如图3(a)所示，将作为拍摄对象的建筑物的窗户WD，从倾斜方向不正对地反映。在图3(a)的图象数据中，窗户WD的水平边缘及垂直边缘都倾斜着。水平边缘的倾斜，主要起因于未正对拍摄对象；而垂直边缘的倾斜，则起因于照相机11的光轴方向的旋转。

接着，旋转量检出部13抽出接近垂直方向的边缘，检出将该边缘方向修正成铅直方向的旋转量，根据该旋转量，求出实际旋转控制旋转机构12的旋转修正量(S12)。图3(b)示出从图3(a)的图象数据抽出的边缘EG。

然后，旋转控制部14根据求出的旋转修正量，旋转控制旋转机构12。这样，可以获得图3(c)所示的那种经过适当的旋转修正的图象数据。

下面，对使用垂直边缘成分，计算旋转修正量的手法，做一阐述。

图4是将图象数据IMG变换成xy座标系的图形。在这里，设：图象数据IMG内的图象为P，其光亮度值为I，表示象素P的边缘成分的单位方向矢量为a，单位方向矢量a与x轴的正方向的夹角为θ。

在象素P的座标值(x、y)中的光亮度I的方向微分，可以由水平及垂直方向的微分值和单位方向矢量a(cosθ，sinθ)如(公式1)那样的表示：

(公式1)

$\frac{\∂I}{\∂a}=\frac{\∂I}{\∂x}\cos \mathrm{\θ}+\frac{\∂I}{\∂y}\sin \mathrm{\θ}$

在这里，如果设各象素中的单位方向矢量a的方向的方向微分和为评价函数J，则可以用(公式2)表示：

(公式2)

$J=\underset{\mathrm{\θ}\∈\mathrm{\Θ}}{\mathrm{\Σ}}{\left(\frac{\∂I}{\∂a}\right)}^2$

式中，θ∈Θ意味着限定处理对象。在本实施方式中，将处理对象限定为大致具有垂直方向的边缘的象素。例如，将垂直方向的范围，限定为垂直±45°。在这里，为了使边缘方向和微分方向正交，为了将微分方向限定为水平±45°，象素就必须满足(公式3)。

(公式3)

$\frac{\∂I}{\∂x}\≥\frac{\∂I}{\∂y}$

然后，从满足(公式3)及(公式4)的条件式的象素中，通过求出将评价函数J作为最大的角度，从而能够根据大致垂直方向的边缘，求出图象数据的旋转量。

(公式4)

$\frac{\mathrm{dJ}}{\mathrm{d\θ}}=0$

另外，限定边缘方向的范围，并不限定于±45°。例如，可以设定±22.5°等适当的适合于图象的范围。

接着，求出旋转修正量。最简单的方法是，只要将上述旋转量θ符号反转后的结果作为旋转修正量即可。但是，为了对于急剧的场面变动及画面浮现等周期性的光亮度变化也能够进行稳定的旋转修正，最好对适宜的旋转修正量的时间变化加以限制。例如，可以使用现在时刻中的旋转量和比它早的时刻中的旋转量，求出旋转修正量。

因此，可以用字段(16.7msec)单位求出将旋转量θ符号反转后的旋转修正量候补Φ，根据用现字段t求出的旋转修正量候补Φt和用前字段t-1求出的旋转修正量Φt-1，象(公式5)那样，求出旋转修正量：

(公式5)

${\mathrm{\Φ}}_t={\mathrm{\α\φ}}_t+(1-\mathrm{\α})\×{\mathrm{\Φ}}_{t-1}$

式中：Φt是适用于现字段t的旋转修正量，Φt-1是适用于前字段t-1的旋转修正量，α是加权系数。本申请发明人从经验上获悉：关于α的值，通过设定为0.1～0.01左右，可以使旋转修正量的变化花费1、2秒后追随场面的急剧变动。

此外，作为(公式5)的变形，还可以使用求出的旋转修正量Φt-1，进行(公式6)那样的计算。

(公式6)

${\mathrm{\Φ}}_t={\mathrm{\α\φ}}_{t-1}+(1-\mathrm{\α})\×{\mathrm{\Φ}}_{t-1}$

这样，求出旋转修正量后，由于可以给采用的旋转修正量的时间变化加以限制，所以对于急剧的场面变动及画面浮现等周期性的光亮度变化，也能进行稳定的旋转修正。这样，就能够抑制欣赏时会令人不快的那种旋转修正。

另外，不仅探索评价函数J的最大值，而且对于具有垂直附近的方向的边缘的图象，通过求出x轴及y轴方向的光亮度的微分的二维频度分布及(公式7)的比的频度分布，还可以将用(公式8)表示的角度的频度成为最大的角度θ，作为旋转量检测。

(公式7)

$\frac{\∂I}{\∂y}/\frac{\∂I}{\∂x}$

(公式8)

$\mathrm{\θ}={\tan }^{-1}(\frac{\∂I}{\∂y}/\frac{\∂I}{\∂x})$

此外，在这里，讲述了由垂直边缘成分求出旋转修正量的手法。但也可以使用水平边缘成分及方向性的滤波器等，求出旋转修正量。例如，就象在海上拍摄的图象那样，场面被限定时，可以进行旋转修正，使水平线成为水平。

此外，还可以检出不同帧间的旋转量。对比的帧，既可以是连续的几帧，也可以是2帧以上存在时间差的几帧。例如，有种方法是通过检测光流量，检出帧间的旋转量。但是，这时，需要采用其它方法，分析客观世界的垂直方向和图象的垂直方向的差异。

此外，还可以将重力传感器安装在图象摄影装置上，利用该传感器检出旋转量。

另外，还可以采用图5那样的结构，设置检出检测垂直边缘成分的对象区域的区域限定部15。就是说，区域限定部15限定输出照相机11拍摄的图象的上部区域的图象数据。然后，作为修正量计算部的旋转量检出部13，从区域限定部15输出的图象数据中，作为该图象的特征数据，检出旋转量，由该旋转量，求出修正量。修正部由旋转控制部14及旋转机构12构成。这样，例如，由于能够根据图象数据的特性限定区域，所以能够有效地删除水平边缘成分，提高检出旋转量之际的精度。

例如，在图象数据的背景是室内的风景时，通常认为在图象数据内的下部区域，反映地板的比例大，垂直边缘成分不多。因此，在区域限定部15的作用下，只将图象数据内的上部区域向旋转量检测部13输入，所以能够有效地删除水平边缘成分，提高计算旋转修正量的精度。进而，利用者可以根据情况，用手动方式限定旋转量检出的对象区域。

这时的所谓“上部区域”，作为最简单的例子，就是图象上侧大致二分之一的区域。另外，该上侧大致二分之一的区域包含的矩形、椭圆性等的区域也行。或者，采用众所周知的区域分割方法分割图象的区域中，其重心位置在所定的临界值(例如图象整体的中心位置)之上的区域也行。

综上所述，采用本实施方式后，通过从图象数据抽出接近于垂直的边缘，通过旋转控制照相机11，以便使抽出的边缘垂直，从而能够修正图象对水平方向而言的倾斜。

此外，不限于可穿戴的系统，在一般的摄影装置中，在拍摄包含室内及建筑物等人造物的垂直边缘的风景时，也能进行旋转修正，其实用效果非常大。

另外，通过输出旋转量及旋转修正量中的至少某一个，从而可以将本实施方式涉及的装置作为旋转传感器使用。另外，通过还一并输出后文将要讲述的在第3实施方式中检出的移动修正量，从而可以将它作为滚动轴、间距轴、偏转轴的旋转传感器使用。

另外，累计旋转量、旋转修正量及移动量，也能解析客观世界中的移动内容。作为其它的应用，还可以保存就象拍摄电影时那样的照相机的移动轨迹，再现该照相机的移动。

另外，通常认为：在附带在自动行走装置上的照相机以及在水上、水中或空中移动的照相机中，与由人拍摄的照片相比，应该修正的旋转量大。在这种照相机摄影中，本实施方式涉及的旋转修正功能仍然有效。

此外，在图1及图5的结构中，通过追加至少表示旋转量及旋转修正量中某一个的显示器等的显示单元，利用者可以直接进行照相机11的光学系统的旋转修正。

(第2实施方式)

在上述的第1实施方式中，通过对照相机11的光学系统的修正控制，实现了图象的旋转修正。与此不同，在本实施方式中，通过对图象数据的修正处理，实现图象的旋转修正。旋转修正量的计算，和第1实施方式一样，因此不再赘述。

图6是表示本实施方式涉及的图象摄影装置的结构的方框图。在图6中，与图1相同的构成要素，赋予相同的符号。旋转修正部21，使用旋转量检出部13输出的旋转修正量，对照相机11输出的图象数据进行旋转修正。

下面，参照图7的流程图，讲述图6的结构的动作。

首先，照相机11将拍摄对象变换成图象数据(S21)。接着，旋转量检出部13检出图象对水平方向而言的旋转量，求出旋转修正量(S22)。此处的计算方法，和第1实施方式一样，故不再赘述。

然后，旋转修正部21根据旋转量检出部13求出的旋转修正量，对照相机11输出的图象数据进行旋转修正，输出倾倾得到修正的图象(S23)。

在这里，图象数据的旋转修正，采用下述方法进行。和第1实施方式一样，使用求出的旋转修正量θ，如(公式9)那样，将旋转行列乘以图象数据后旋转。

(公式9)

$\left(\begin{array}{c}x2\\ y2\end{array}\right)=\left(\begin{array}{cc}\cos \mathrm{\θ}& \sin \mathrm{\θ}\\ -\sin \mathrm{\θ}& \cos \mathrm{\θ}\end{array}\right)\left(\begin{array}{c}x1-\mathrm{cx}\\ y1-\mathrm{cy}\end{array}\right)+\left(\begin{array}{c}\mathrm{cx}\\ \mathrm{cy}\end{array}\right)$

式中：(x1、y1)是原来的图象数据的象素座标，(x2、y2)是旋转修正后的象素座标。(cx、cy)是旋转的中心座标，它可以适当地设定成图象数据的中心等适合于图象的中心点。

这样，采用本实施方式后，除了能够获得和第1实施方式同样的作用效果之外，由于对图象数据进行旋转修正处理，所以对不具有旋转机构的照相机拍摄的图象，也能对其倾斜进行修正。

另外，如图8所示，还可以将第1实施方式讲述的那种区域限定部15设置在照相机11的后级。由旋转修正部21构成修正部。这样，就能和第1实施方式一样，按照图象数据的特征限定检出特征数据的区域，提高检出旋转量之际的精度。

此外，在图6及图8的结构中，通过追加至少表示旋转量及旋转修正量中某一个的显示器等的显示单元，和使照相机11的光学系统旋转的旋转机构，利用者可以直接进行照相机11的光学系统的旋转修正。

(第3实施方式)

在本实施方式中，在第1及第2实施方式中讲述的旋转修正功能之上，追加了进行由移动检出产生的上下左右方向的移动修正的功能。

图9及图10是表示本实施方式涉及的图象摄影装置的结构的方框图。在图9中，与图1相同的构成要素，赋予和图1相同的符号；在图10中，与图6相同的构成要素，赋予和图6相同的符号。

首先，在图9中，摇摄俯仰机构31使照相机11的光学系统进行摇摄(左右)俯仰(上下)动作。移动检出部33从照相机11输出的图象数据中检出移动矢量。摇摄俯仰控制部32根据移动检出部33检出的移动矢量，控制摇摄俯仰机构31。此外，旋转控制机构12进行的修正控制，和第1所示方式一样。

移动检出部33接收照相机11输出的图象数据，检出上下、左右方向的移动矢量。在这里的移动矢量，例如，和现有技术一样，可以由字段间的图象的对应关系求出。接着，摇摄俯仰控制部32根据移动检出部33检出的移动矢量，检出照相机11的摇晃，求出将照相机11的光学系统摇摄或俯仰的摇摄俯仰修正量。然后，摇摄俯仰机构31根据摇摄俯仰修正量，使照相机11的光学系统摇摄或俯仰。

另外，在图10中，移动检出部34从旋转修正部21输出的旋转修正后的图象数据中，检出上下、左右方向的移动矢量。移动修正部35根据移动检出部34输出的移动矢量，修正图象数据的上下、左右方向的移动。此外，旋转修正部21对图象数据的修正处理，和第2实施方式一样。

移动检出部34从旋转修正部21输出的图象数据中，检出上下、左右方向的移动矢量。在这里的移动矢量，例如，和现有技术一样，可以由字段间的图象的对应关系求出。接着，移动修正部35从输入的移动矢量中，检出图象数据的摇晃，求出将图象数据摇摄或俯仰的摇摄俯仰修正量，根据摇摄俯仰修正量，修正图象数据。

这样，采用本实施方式后，不仅能够修正图象的倾斜，还能修正上下、左右的摇晃。

此外，还可以在第1实施方式的图1的结构的后级，设置图10的移动检出部34及移动修正部35，以便修正图象数据的上下、左右方向的摇晃。

此外，在图9及图10的结构中，通过追加至少表示旋转量及旋转修正量中某一个的显示器等的显示单元，和使照相机11的光学系统旋转的旋转机构，利用者可以直接进行照相机11的光学系统的旋转修正。

(第3实施方式的变形例)

图9及图10的结构，是从图象检出旋转量和移动矢量，修正照相机11的光学系统的旋转及摇晃的装置。作为该变形例，还可以实现从拍摄的图象中检出移动量和旋转量，取代实时修正，而在积蓄图象时进行修正的结构。

图11是表示上述变形例涉及的结构的一个示例的图形。在图11中，41是拍摄动画的照相机，42是抽出用照相机41拍摄的图象的所定区域的图象数据的区域限定部，43是从区域限定部42抽出的图象中抽出垂直边缘的垂直边缘抽出部，44是从垂直边缘抽出部43抽出的垂直边缘中检出旋转量的照相机41的旋转量检出部，45是从区域限定部42抽出的图象中检出移动矢量的移动矢量检出部，46是从移动矢量检出部45检出的移动矢量中抽出照相机41的移动量的检出部，47是根据旋转量检出部44检出的旋转量和移动矢量检出部45检出的移动量修正拍摄图象的拍摄图象修正部，48是输出被拍摄图象修正部47修正的图象的图象输出部。此外，图11的结构的动作及修正处理，与上述各实施方式一样，所以不再赘述。

图12是表示本变形例的利用方式的一个示例的图形。在图12中，用户将照相机41安置在头部，由照相机41拍摄的图象数据，积蓄在硬盘记录装置49中，然后，在图11的结构中的要素42～48，例如可以通过硬盘记录装置49内部的CPU及存储器等实现，在积蓄图象数据之际，检出旋转量及移动量，进行图象的修正处理。

如图12所示，将照相机41安置在头部时，由于头部的摇晃及倾斜，旋转量的检测显得特别重要，所以通过修正旋转量，就可以积蓄比较便于阅览的动画图象。

(第4实施方式)

图13是表示第4实施方式涉及的图象摄影装置的结构的图形。在图13中，131是照相机，132是区域限定部，133是作为修正量计算部的逆光检出部，134是光圈控制部。由光圈控制部134由及照相机131内的光圈(图中未示出)，构成修正部。区域限定部132对照相机131拍摄的图象，限定逆光检出的区域。在室外的一般的摄影中，来自太阳光等的照明，从照相机的视野上方照射过来，所以在区域限定部132的作用下，将处理区域限定在图象内的上部区域。

在这里，所谓“图象的上部区域”，最好按照下述条件中的某1个，或者几个的组合设定：

·包含图象的上部大约二分之一区域的局部的矩形或椭圆性的区域。

·采用众所周知的区域分割方法分割图象后的区域中，其重心位置比所定的临界值(例如图象整体的中心位置)靠上的区域。

·将上述的上部区域内的光亮度值是所定的临界值以上的区域。

·将光亮度值是所定的临界值以上的区域中，其重心位置比所定的临界值(例如图象整体的中心位置)靠上的区域。

逆光检出部133在被区域限定部132限定的区域中，求出光亮度，根据该光亮度的频度分布，将所述图象的曝光状态作为特征数据检出。然后，判断图象是不是逆光状态，断定是逆光状态时，求出曝光修正量。图14是适当照明状态时和逆光状态时光亮度频度分布的示意图。是否成为逆光状态，例如，在8比特量化时，可以根据输入图象的最大光亮度的值，是否成为255，或光亮度255的频度是否在临界值以上等判断。

光圈控制部134在逆光状态被逆光检出部133检出时，按照被给予的曝光修正量，控制照相机131的光圈，减少入射量。

另外，还可以检出照相机131的姿势，按照检出的照相机姿势，调整上部区域的范围。例如，在照相机131的光轴大致水平时，可以将处理范围限定在图象内的上部区域；在照相机131的光轴朝上时，可以将图象整体作为处理区域；在照相机131的光轴朝下时，可以将图象内的高光亮度区域作为处理区域。另外，照相机131的姿势可以通过旋转传感器等单元检出。

图15是表示实现这种动作的图象摄影装置的构成的图形，与图13共同的构成要素，赋予和图13相同的符号，在此不再赘述。

姿势检出部151例如具有旋转等的加速度传感器，检出照相机131的姿势。LPF部161，使由姿势检出部151检出的照相机的姿势信息向时间方向平滑化。区域限定部132A按照姿势检出部151的姿势检出结果，调整图象内的限定区域。

此外，设置LPF部161后，可以在照相机131的姿势急剧变化时，或者以较短的周期反复变化时，防止对图象而言的最终处理结果，向时间方向急剧变化。就是说，在照相机131的姿势急剧变化时，或者以较短的周期反复变化时，被区域限定部132A限定的区域也急剧变化。其结果，有可能对图象而言的最终处理结果，也向时间方向急剧变化，给观察者不协调和不舒服的感觉。为了防止这种现象，可以对检出的照相机的姿势信息在时间方向的变化上给予限制。此外，省掉LPF部161也行。

综上所述，采用本实施方式后，通过将进行逆光检出的对象区域，限定在图象的上部区域，从而能够进行稳定的逆光修正。

此外，在本实施方式中，作为曝光修正，进行逆光修正。但并不限于逆光修正，在过顺光修正等其它的曝光修正中，在通常在来自上方的照明下进行摄影时，将检出对象区域限定在图象的上部区域后，也能进行稳定的修正。

另外，还可以取代对照相机的光学系进行的修正控制，而对得到的图象数据，进行光亮度修正等的修正处理。

另外，即使在上述旋转修正的场合，也可以检出照相机的姿势，按照检出的照相机姿势调整上部区域的范围。

(第5实施方式)

图16是本发明第5实施方式的涉及的图象摄影装置的结构示例，是表示采用多个摄影单元取得图象的结构的图形。在图16中，51a、51b是拍摄动画的第1及第2照相机；52a、52b是抽出由第1及第2照相机51a、51b分别拍摄的图象的所定区域的图象数据的第1及第2区域限定部；53a、53b是从分别被第1及第2区域限定部52a、52b抽出的图象中抽出垂直边缘的第1及第2垂直边缘抽出部；54a、54b是从被第1及第2垂直边缘抽出部53a、53b分别抽出的垂直边缘中，检出第1及第2照相机51a、51b的旋转量的第1及第2旋转量检出部；55是合成第1及第2旋转量检出部54a、54b检出的旋转量的旋转量合成部；56a、56b是由被旋转量合成部55合成的旋转量，求出第1及第2照相机51a、51b的旋转量，分别修正摄影图象的第1及第2摄影图象修正部；57是合成被第1及第2摄影图象修正部56a、56b修正过的图象的图象合成部。

图17是表示本实施方式的利用样态的一个示例的图形。如图17(a)、(b)所示，用户在头部的左右安置第1照相机51a(照相机1)和第2照相机51b(照相机2)，由照相机1、照相机2拍摄的图象数据积蓄在硬盘记录器59中。然后，在积蓄图象数据之际，例如通过硬盘记录器59内部的CPU及存储器等，检出旋转量，进行图象的修正处理。

如图17(c)所示，用户可以使用安置在头部的左右的照相机1、照相机2，拍摄前方的图象，由于在照相机1、照相机2的视场角中有重合的地方，所以在拍摄的图象中，存在着共同的部分。由于照相机1、照相机2都安装在头部，所以它们的物理性的旋转量就基本一样。不过，由于拍摄的图象内容不同，所以它们的旋转修正量却往往不同。因此，在本实施方式中，从照相机1、照相机2取得的图象的旋转修正量中，检出头部的旋转角度，使用头部的旋转角度，进行各个图象的修正。

图18是本实施方式涉及的旋转修正量的合成的示意图。图18的各曲线，表示上述的评价函数J的分布，(a)是照相机1的图象中的分布，(b)是照相机2的图象中的分布，(c)是合成后的分布。

如图18(a)所示，在照相机1的图象中，评价函数J成为极大的角度是“-8°”、“+12°”；另一方面，如图18(b)所示，评价函数J成为极大的角度是“-10°”。这时，例如如果只利用照相机1的图象决定修正图象的旋转角，就成为“+12°”。与此不同，在本实施方式中，由于使用照相机1、照相机2两者的图象，检出图象的旋转角，所以如图18(c)所示，作为旋转角，定为“-9°”。

其结果，就都用“-9°”的旋转角修正照相机1、照相机2分别拍摄的图象。就是说，对于安置在同一部位的照相机，通过合成各照相机的旋转修正量，可以用更适当的修正量修正图象。

然后，通过使用更适当的修正量修正照相机1、照相机2的图象，从而可以如图19所示，合成图象。就是说，可以获得经过旋转修正的广角的图象。此外，这里的图象合成，例如，对于2枚图象之间重叠的区域，使图象间的象素值的差变小。

此外，在本实施方式中，以合成图象的旋转修正量的情况为例进行了讲述。但是同样，通过检出移动矢量后合成移动量，也能得到摇摄俯仰的适当的修正量。

此外，在本实施方式中，以将多个照相机安置在头部的左右时为例进行了讲述。但本发明并不限于此，例如，在将多个照相机安置在人体的胸部等处，并将其相对位置固定时，也能有效地发挥作用。

另外，在本实施方式中，利用区域限定部52a、52b限定抽出垂直边缘的区域。但区域限定部并非必不可少，还可以从图象的整个区域抽出垂直边缘。

(第6实施方式)

在上述第5实施方式中，从由各照相机图象求出的旋转修正量中，取得更适当的旋转修正量，使用该旋转修正量进行修正后，进行了图象合成。但是，随着照相机安装场所等的不同，有时不应该将各照相机图象合成。因此，在本实施方式中，对多个照相机图象，根据旋转修正量，判断是否应该合成。

图20是表示本实施方式涉及的图象摄影装置的结构示例的图形。在图20中，对于图16共同的构成要素，赋予和图16一样的符号。61是根据旋转量检出部54a、54b分别检出的旋转量，判断是否应该合成图象的图象合成判定部；62a、62b是使用第1及第2旋转量检出部54a、54b分别检出的旋转量，旋转修正第1及第2照相机51a、51b分别拍摄的图象的第1及第2拍摄图象修正部；63是根据图象合成判定部61的判定，合成被第1及第2拍摄图象修正部62a、62b分别修正过的图象的图象合成部。

图21是表示本实施方式的利用样态的一个示例的图形。如图21(a)、(b)所示，用户将第1照相机51a(照相机1)安装在胸部，另外，将第2照相机51b(照相机2)安装在头部。然后，照相机1、照相机2拍摄的前方的图象数据，积蓄在硬盘记录装置59中。而且，在图象数据积蓄之际，例如，在通过硬盘记录装置59内部的CPU及存储器等检出旋转量，在对图象进行修正处理的同时，还判断可否合成图象。

在图17的样态中，由于将照相机1、照相机2都安装在头部，所以图象的修正量被视为大致相同。而且，通过合成修正后的各图象，可以获得广角的图象。但是，如图21那样，将照相机1安装在胸部、照相机2安装在头部这种安装在不同的部位时，例如，只将头部转向一边时，照相机1和照相机2的朝向就不同，这时，合成图象就是不适当的。

因此，在本实施方式中，根据各照相机的旋转修正量，判断是否进行图象合成。图22是表示本实施方式涉及的图象合成可否判断的示意图。图22的各曲线，示出上述评价函数J的分布。图22(a)的情况是：照相机1的旋转修正的角度为“-8°”，照相机2的旋转修正的角度为“-10°”，是比较接近的值。这时，判断照相机1、照相机2朝着同一个方向，进行图象合成。另一方面，图22(b)的情况是：照相机1的旋转修正的角度为“+11°”，照相机2的旋转修正的角度为“-12°”，相差很大。这时，判断照相机1、照相机2朝着不同的方向，不进行图象合成。为了判断照相机1、照相机2的朝向是相同还是不相同，例如，可以将旋转修正角之差与适当的临界值进行比较。

这样，根据旋转修正角，判断是否合成用各照相机拍摄的图象后，如图23所示，在照相机朝着不同的方向时，不进行图象合成(图23(a))；在照相机朝着同一个方向时，进行图象合成，可以获得更广角的图象。

此外，在本实施方式中，根据旋转修正角之差判断可否进行图象合成。但也可以取而代之，例如使用移动矢量进行判断。就是说，从各照相机图象中检出移动矢量，移动矢量之差较大时不进行合成，移动矢量之差较小时进行合成。另外，还可以使用光亮度及顺光度，判断可否进行图象合成。进而，还可以使用各图象的特征量，判断可否进行图象合成。

另外，在本实施方式中，示出了使用2个照相机的例子。但如图24所示，使用3台或3台以上的照相机也行。在图24的样态中，用户将1安装在头上，还将照相机2、照相机3安装在头的左右。另外，所有的照相机未必非要安装在人体上，例如，小型电影摄影机和安装在人体上的照相机的组合，也可以应用本实施方式。

另外，在本实施方式中，也未必非要限定抽出垂直边缘的区域，可以从图象的整个区域抽出垂直边缘。

(第7实施方式)

在上述的第5实施方式中，对各照相机分别检出旋转修正量，合成这些旋转修正量后，求出了更适当的修正量。与此不同，还可以考虑在使用多个照相机的结构中，将从1个照相机拍摄的图象获得的旋转修正量，用于其它照相机的旋转修正。

尤其是最近，如图25所示的那种两面安装着照相机71a(照相机1)、照相机71b(照相机2)的手机70已经投付使用。在这种装置中，一个照相机71b拍摄处于近距离的自己的脸时，另一个照相机71a往往拍摄处于对面的远距离的人造物。这时，通过将从拍摄远距离的照相机71a的图象中检出的旋转修正量，用于拍摄近距离的照相机71b的旋转修正，就可以对照相机71b的的摄影图象进行更适当的旋转修正。

图26是表示本实施方式涉及的图象摄影装置的结构示例的图形。在图26中，71a、71b是拍摄动画的第1及第2照相机，72是抽出第1照相机71a拍摄的图象的所定区域的图象信息的区域限定部，73是从被区域限定部72抽出的图象中抽出垂直边缘的垂直边缘抽出部，74是从由垂直边缘抽出部73抽出的垂直边缘中检出第1照相机71a的旋转量的旋转量检出部，75是使用被旋转量检出部74检出的旋转量修正第2照相机71b拍摄的图象修正部。

在图25的手机70中，第1及第2照相机71a、71b的相对位置固定，所以表面侧的照相机71b的图象倾斜时，背面侧的照相机71a、的图象也倾斜。另外，一个照相机中出现手抖时，另一个照相机也出现手抖。

所以，如图27所示，使用背面侧的照相机1拍摄的图象(a)的旋转修正量，对表面侧的照相机2拍摄的脸部图象进行旋转修正(b、c)。就是说，照相机2的图象，是拍摄近距离的，因为不拍摄远距离的人造物，所以有时不能够进行适当的旋转修正。可是，使用从拍摄远距离的另一个照相机的拍摄图象中检出的图象修正角后，就可以进行更适当的旋转修正。

此外，上述各实施方式中的图象摄影装置的各单元，或图象摄影方法的各处理的全部或部分，既可以使用专用的硬件实现，也可以通过计算机的程序软件性地实现。另外，由程序实现处理的全部或部分时，通过将该程序记录到软盘、光盘、IC卡及ROM盒等记录媒体中后输送，就可以轻而易举地在独立的其它计算机系统中实施。

由于本发明可以比现有技术更适当地修正照相机拍摄的图象，所以在通常的图象拍摄系统及将照相机安装在头部及衣服上的系统等中，可以获得更容易看的图象，是有效的。

Claims (12)

1、一种图象摄影处理方法，其特征在于，包括：采用照相机拍摄图象的第1步骤；

在所述第1步骤中拍摄的图象的上部区域，检测该图象的特征数据，由该特征数据求出修正量的第2步骤；以及

根据所述第2步骤中求出的修正量，对所述照相机的光学系统进行修正控制，或对所述图象的图象数据进行修正处理的第3步骤。

2、如权利要求1所述的图象摄影处理方法，其特征在于：所述第2步骤，

在所述上部区域中，抽出铅直边缘成分，

根据该铅直边缘成分，将所述图象的旋转量作为所述特征数据检出，

根据所述旋转量，计算所述图象的旋转修正量。

3、如权利要求2所述的图象摄影处理方法，其特征在于：在所述第2步骤中，

使用现在时刻的旋转量和前一个时刻的旋转量，计算所述旋转修正量。

4、如权利要求2所述的图象摄影处理方法，其特征在于：所述第2步骤，

在所述上部区域中，除旋转量之外，还将移动矢量作为所述特征数据检出，

根据所述移动矢量，计算所述图象的移动修正量。

5、如权利要求1所述的图象摄影处理方法，其特征在于：所述第2步骤，

在所述上部区域中，求出光亮度，

根据求出的光亮度，将所述图象的曝光状态作为所述特征数据检出，

根据所述曝光状态，计算曝光修正量。

6、如权利要求5所述的图象摄影处理方法，其特征在于：所述曝光修正，是逆光修正或过顺光修正。

7、如权利要求1所述的图象摄影处理方法，其特征在于，还包括：检出所述照相机的姿势的第4步骤；和

按照在所述第4号步骤中检出的照相机姿势，调整所述第2步骤中的上部区域的范围的第5步骤。

8、如权利要求7所述的图象摄影处理方法，其特征在于：在所述第4步骤中，

将检测出的照相机姿势的数据沿时间方向平滑化。

9、一种图象摄影处理方法，其特征在于，包括：采用多个照相机分别拍摄图象的第1步骤；

在所述第1步骤中拍摄的各图象的上部区域，分别检测该图象的旋转量的第2步骤；

合成在所述第2步骤中检测到的各图象的旋转量的第3步骤；

根据在所述第3步骤中得到的合成旋转量，对所述各图象分别进行旋转修正处理的第4步骤；以及

合成在所述第4步骤中进行了旋转修正处理的各图象，获得合成图象的第5步骤。

10、一种图象摄影处理方法，其特征在于，包括：采用多个照相机分别拍摄图象的第1步骤；

在所述第1步骤中拍摄的各图象的上部区域，分别检测该图象的旋转量的第2步骤；

判断是否由在所述第2步骤中检测到的各图象的旋转量合成各图象的第3步骤；以及

在所述第3步骤中断定合成时，合成各图象，获得合成图象的第4步骤。

11、一种图象摄影处理方法，其特征在于，包括：采用第1及第2照相机分别拍摄图象的第1步骤；

对在所述第1步骤中用所述第1照相机拍摄的第1图象，在其上部区域，检测该第1图象的旋转量的第2步骤；以及

根据在所述第2步骤中检测到的旋转量，对用所述第2照相机拍摄的第2图象，进行旋转修正处理的第3步骤。

12、一种图象摄影装置，其特征在于，包括：拍摄图象的照相机；

限定输出所述照相机拍摄到的图象的上部区域的图象数据的区域限定部；

从所述区域限定部输出的图象数据中，检测该图象的特征数据，由该特征数据求出修正量的修正量计算部；以及

根据所述修正量计算部求出的修正量，对所述照相机的光学系统进行修正控制，或对所述图象的图象数据进行修正处理的修正部。

Images