CN101479741A - 基于照片位置对图像区域分类 - Google Patents

基于照片位置对图像区域分类 Download PDF

Info

Publication number
CN101479741A
CN101479741A CNA2007800243016A CN200780024301A CN101479741A CN 101479741 A CN101479741 A CN 101479741A CN A2007800243016 A CNA2007800243016 A CN A2007800243016A CN 200780024301 A CN200780024301 A CN 200780024301A CN 101479741 A CN101479741 A CN 101479741A
Authority
CN
China
Prior art keywords
catching
picture
image
digital picture
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2007800243016A
Other languages
English (en)
Other versions
CN101479741B (zh
Inventor
J·罗
A·C·加拉赫尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mau new gate Venture Capital Co., Ltd.
Original Assignee
Eastman Kodak Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=38670732&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=CN101479741(A) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Eastman Kodak Co filed Critical Eastman Kodak Co
Publication of CN101479741A publication Critical patent/CN101479741A/zh
Application granted granted Critical
Publication of CN101479741B publication Critical patent/CN101479741B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes

Abstract

一种对通过图像捕捉装置捕捉的数字图像或视频中的区域分类的方法,包括:提供与图像捕捉装置相关联的地理位置确定装置;将地理位置确定装置用于基本上在捕捉数字图像或视频的时间测量图像捕捉位置;以及基于图像捕捉位置将捕捉的数字图像或视频中的区域分类到一个或多个类。

Description

基于照片位置对图像区域分类
技术领域
本发明的领域涉及数字图像捕捉装置以及基于记录的拍照位置信息对图像区域分类。
背景技术
图像理解中的一基本任务是计算确定图像的区域(连接的像素位置的组)或像素表示特定材料的可能性,也被称为区域分类或区域标记。这可以是非常困难的,尤其当计算机缺乏关于图像的上下文信息时。当前技术将得自图像的特征用于生成置信图(brief map)(例如,在天空检测的情形中,共同转让的美国专利申请序号10/747,597)。例如,图像中的白色区域可能或可能不表示雪。因为难以产生可被用于鲁棒分类的特征,主要因为许多材料共享类似的颜色和纹理特性(例如,雪和云),这种技术经常产生不正确的结果。
在相关的任务中,有时有必要将整个图像分类到已知的分类之一。例如,在许多情况下,将数字图像分类为或者室外图像或者室内图像是有用的。通过单独使用图像数据执行这种任务也是非常困难的并且易于出错。
在美国专利6,504,571中,图像具有相关联的地理捕捉信息。将查询转换成纬度和经度查询。例如,对于在沙滩上捕捉的图像的搜索使系统显示沙滩的列表。用类似的方式处理例如体育馆、公园或湖的位置。尽管这种方法确实提供了用于找到在特定位置捕捉的图像的效用,其并不帮助确定在图像自身内的内容即区域标记。例如,系统将不区分在海滩上的房子内捕捉的图像和在相同位置捕捉的海洋的图像。此外,例如美国专利号5,506,644和5,247,356的描述与图像相关联的位置信息的其他系统,类似地并不有助于确定图像内容或在图像内表示的材料。例如,系统将不定位图像内的房子或沙。
因此,需要设计用于在利用连同图像一起捕捉的地理位置信息的同时对数字图像中的特定材料和对象的区域分类的方法。
发明内容
本发明的一个目的在于方便采用捕捉的地理位置信息对通过数字图像捕捉装置捕捉的数字图像的区域分类。
通过对图像捕捉装置捕捉的数字图像或视频中的区域分类的方法来实现该目的,该方法包括提供与图像捕捉装置相关联的地理位置确定装置,将地理位置确定装置用于基本上在捕捉数字图像或视频的时间测量图像捕捉位置,以及基于图像捕捉位置将捕捉的数字图像或视频中的区域分类到一个或多个类。
附图说明
图1是表示可实施本发明的数字图像捕捉装置的框图;
图2是表示图1中的数字图像捕捉装置的操作的框图,该操作用于产生多个类标记的材料置信图;
图3是表示将图2中的数字图像捕捉装置的输出用于改善数字图像的操作的框图;
图4是表示对数字图像中的区域分类的操作的框图;以及
图5是表示用于集成地理位置信息的场景配置模型的图。
具体实施方式
图1示出了例如数字照相机、数字摄像机或照相手机的现有技术数字图像捕捉装置10。图像捕捉装置包括用户输入22。如所示的,用户输入22是按钮,但用户输入22还可以是例如操纵杆或触摸屏。用户通过用户输入22来命令图像捕捉装置10的操作,例如通过选择图像捕捉装置10的操作模式。图像捕捉装置10还包括显示器30,用户可以在其上预览当压下捕捉按钮15时图像捕捉装置10捕捉的图像。还与用户输入22一起使用显示器30以便用户可以导航通过菜单。如在数字图像捕捉装置上通常使用的,显示器30可以是例如液晶显示器(LCD)或有机发光二极管(OLED)屏幕。菜单允许用户选择图像捕捉装置的操作的偏好。图像捕捉装置可捕捉或者静止图像或者例如视频流的快速连续的图像。
在图1中示出的一般控制计算机40将本发明存储为计算机可读存储介质中的计算机程序,计算机可读存储介质可包括例如:例如磁盘(例如软盘)或磁带的磁存储介质;例如光盘、光带或机器可读条形码的光学存储介质;或例如随机存取存储器(RAM)或只读存储器(ROM)的固态电子存储装置。本发明的相关计算机程序实现还可以被存储在由存储装置70指示的任何其他用于存储计算机程序的物理装置或介质上。控制计算机40负责控制在图像捕捉装置10的元件之间的数据的传输。例如,控制计算机40确定用户压下捕捉按钮15并启动通过图像传感器34的图像捕捉。
图像处理器36用于处理数字图像,以使得图像显示装置30产生样子合意的图像的方式,进行数字图像的总亮度、色调等级(tone scale)或图像结构的调整。那些本领域的技术人员将认识到本发明不受限于仅这些提及的图像处理功能。
数据处理器20用于处理源自数字图像的图像信息以及源自地理位置确定器325的位置信息363,以便产生用于图像处理器36或用于控制计算机40的元数据。在以下将更详细地描述数据处理器20的操作。
还应当指出,本发明可以被实现于软件或硬件的组合中并且不限于物理连接的或位于相同物理位置内的装置。在图1中例示的装置中的一个或多个可以位于远程,并且可通过无线连接来连接。
数字图像由一个或多个数字图像通道构成。每个数字图像通道由像素的二维阵列构成。每个像素值与图像捕捉装置接收的对应于像素的物理区域的光量相关。对于彩色成像应用来说,数字图像将通常由红色、绿色和蓝色数字图像通道构成。运动成像应用可被认为是数字图像的序列。那些本领域的技术人员将认识到本发明可以被应用于但不局限于以上提及的应用中的任何应用的数字图像通道。尽管将数字图像通道描述为按照行和列布置的像素值的二维阵列,那些本领域的技术人员将认识到本发明可以被应用于非直线阵列而具有同等效果。那些本领域的技术人员还将认识到对于以下描述的数字图像处理步骤来说,用经处理的像素值代替原像素值在功能上相当于,产生具有经处理的像素值的新数字图像,而同时保留原像素值。
图像捕捉装置10包括位置确定器325。该位置确定器325或地理位置确定装置包括接收位置信息363的位置信息接收器。随后与图像相关联地存储位置信息363。优选地,将位置信息363存储为在将被使用的地图上直接可读的坐标;例如,一般方便地用纬度和经度单位存储地理地图位置。转换器可包括使表示位置的不同方法相关的转换地理数据库327。例如使地名(例如Dora阿姨的房子)、纬度和经度、和街道地址相关。转换地理数据库327可位于图像捕捉装置自身上,或利用通过例如坞站(dock)接口362或无线调制解调器350的网络接口的远程访问,外部于图像捕捉装置。坞站接口可被连接到坞站充电器364。位置确定器325可附加地或可选地包括源自例如麦克风或键盘的用户接口22的输入,该用户接口22允许用户输入地图位置或位置信息363。
位置信息363可定义图像捕捉时确定的确切位置(在适当的容限内),但如果该信息不可获得,可以基于最佳的可获得数据(以下讨论)设定位置。与捕捉记录的收集相关联的位置的容限可以都是一样的或可以变化。可以以试探法为特定用途确定可接受的容限和不同容限范围的混合。
位置信息363还可定义物理位置的不同大小。例如,GPS坐标定义小的地理区域,而电信小区定义的地理区域相对大,取决于例如输出或天线配置的因素。用户输入位置信息可定义例如两条街道的交叉口的小区域,或例如城市或县的大区域。
可以用数据传输的形式在捕捉时提供位置信息363。数据传输是指出在捕捉时捕捉装置或捕捉主题的位置的信息的任何传输。数据传输的类型包括:本地或远程传送的位置坐标、基站的标识、有线和无线网络地址、和远程传送的和用户输入的标识。作为标识小的地理区域的特定坐标,GPS(全球定位系统)坐标是尤其方便的。
可以通过多种方法中的任何方法来确定由位置确定器325确定的位置信息363。例如,可以通过从著名的全球定位卫星(GPS)接收通信来确定地理位置。在一些管辖区中,蜂窝式电话可获得可用于提供地图位置的GPS或其他定位数据。可选地,可以通过传输塔的标识和三角测量的使用来指示位置信息363。传输塔的特征可被保存于数据库中,可以在从接收的传输确定位置信息363的过程中参考该数据库。
网络节点信息可用于标识地图位置。在这种情况下,通过例如坞站接口362或无线调制解调器350的网络接口提供位置信息363。例如,坞站接口可使用IEEE 802.11无线接口协议之一以便连接到无线网络。位置确定器还可以使用无线接入点的MAC(媒体访问控制)地址以提供位置信息,可采用使MAC地址与地图位置相关的数据库将该位置信息转换成地图位置。MAC地址被永久记录在无线接入点设备的硬件中。例如,MAC地址48-3F-0A-91-00-BB可与位置43.15度N,77.62度W相关联。这种方法依据数据库中的地图位置与提供MAC地址的设备的实际位置相对应的假定。用类似的方式,如在此引入作为参考的Parekh等人的美国专利号6,757,740中所描述的,可以使用“traceroute”工具,确定从客户端计算机到远程主机的,携带跨互联网的特定消息的所有路由器的IP地址(由TCP/IP协议定义),以便得到地理位置的近似概念。
用户可附加地或可选地提供地图位置或位置信息363。例如,用户可输入纬度和经度信息或邮政编码来定义与图像相关联的地理位置。
可将位置信息363表示为概率分布而不是单个点。即使以上描述的最精确的位置确定系统(GPS)(当前可用的)也容易受到至少若干米的误差。可以将地理位置表示为点和相关联的不确定性,或表示为概率分布。例如,当地理位置是邮政编码时,可以使用在由该邮政编码定义的区域上的均匀概率分布。
在其他实施例中,图像捕捉装置或其他捕捉装置具有,从与图像捕捉装置10分离的外部位置感知装置329接收和存储与捕捉的图像相关联的位置信息的位置确定器325。
在这种情况下,地理位置由位置感知装置329确定并且随后通过坞站接口362或无线调制解调器350被传送到图像捕捉装置10。位置感知装置329是借助于例如内置到汽车中的GPS接收器的位置信息接收器知道其位置的装置,或是例如射频信标的知道其位置的固定物体。位置确定器325可以或者为其位置轮询外部位置感知装置329,或者位置确定器325可以为其位置在特定时间(例如,特定时间是图像捕捉时间)轮询外部位置感知装置329。当位置感知装置329紧靠图像捕捉装置10时,例如当位置感知装置329是将位置信号传送给图像捕捉装置的汽车中的GPS接收器时,这种替代方案是有效的。
在特定实施例中,位置确定器325估计否则将缺乏地图位置的捕捉记录的地图位置。例如,当室内时GPS接收器经常未能检测到信号。包括这种接收器的位置确定器325可使用在时间上最接近的可用位置信息,或者在图像捕捉时间之前或之后的时间处的多个地理位置之间的插值。作为选择,数字处理器可连续地存储由位置确定器325确定的地理位置,而不是仅与图像捕捉时间上相关地存储。这种方法提供用于当不可获得数据传输时估计位置的数据,并且具有允许图像捕捉装置不仅显示捕捉的图像的位置,而且显示用户在图像捕捉之间采取的路径的附加优点。
图像捕捉装置10在捕捉图像或视频时确定位置信息363L,并且使该位置信息363L与该图像或视频相关联。
当图像捕捉装置10捕捉视频流时,可有用于视频流中的每个数字图像的位置信息363L。或可有用于视频流的若干帧的一个位置信息363L。还可以有用于视频流中的每个帧的若干位置信息363矢量L。
内部地,图像捕捉装置10整体包括用于在任意时间记录拍照位置信息363的位置确定器325。将测量的空气特性表示为矢量A。在不需要捕捉图像的情况下,环境空气传感器(未示出)能够确定环绕图像捕捉装置的环境空气的特性。这些空气特性被与数字图像相关联,并且被本发明用于改善图像噪声特性、依据区域表示的材料对图像的区域分类、将图像分类为室内或室外、将相关的图像聚集成事件、以及搜索特定图像。
参见图2,与图像捕捉装置10成整体的附加方向传感器44可选地可被用于确定图像捕捉装置相对于地球指向的方向,即相机朝向的方向。方向传感器44优选地确定图像捕捉装置的光轴的倾斜和罗盘定向。一般,位置感知装置329不提供这种方向信息。当环境在给定地理位置远非各向同性时,这种附加信息可以是有用的,例如如果一个人在迈阿密沙滩上朝东他将主要看到天空和海洋,而当朝西时他将看到建筑物和树木。
再次参见图2,图像传感器34捕捉数字图像102并且产生被传送给图像处理器36的原始图像。图像处理器36准备原始图像,以便通过对图像传感器34的缺失的像素值插值来查看、应用颜色校正矩阵、和渲染图像等等。此外,数据处理器20分析位置信息363、源自方向传感器44的方向信息、以及可能数字图像102(或者源自图像处理器36的数字图像的部分校正版本),以产生材料置信图124。材料置信图124用于表示用于图像中的每个材料区域的标记和相关联的概率。其是图像区域分类的结果,并且对于包括图像增强和图像检索的广泛的多种应用来说是有用的。
在图3中,材料置信图用于控制选择的图像变换60,以产生增强或改善的图像120。例如,应将较重的去噪应用到晴朗的天空区域而应不管草地区域以便保留所期望的纹理。在Luo等人的标题为“用于选择性将增强应用到图像的方法和系统”的2001年12月10日提交的美国专利申请序号10/016,601中可以找到关于如何将这种地图用于图像增强和操作的更多细节。那些本领域的技术人员将认识到本发明不限于上述的图像增强并且可以包括其他图像增强、操作、搜索、索引、检索、和组织应用。例如,区域分类可通过采用例如“查找具有蓝天的图像”或“查找具有蓝天和绿草的图像”的上述技术来促进对数据库的图像搜索。
元数据是不包括像素数据的与图像相关的信息。在拍照时刻的图像捕捉装置10的地理位置363是元数据的实例。还将若干附加元数据项输入到数据处理器20。包括数字图像102的捕捉的时间和日期、例如在图像捕捉时的曝光时间(按秒)和焦距f1(按像素)的例如与数字图像的捕捉相关的其他数据。此外,元数据包括例如菜单项状态或如用户选择的操作模式的当前图像捕捉装置设置。可将与数字图像102相关联的所有这种信息存储为与数字图像102相关联的元数据,并且在后继的图像处理中变得有用。在表1(在以下示出)中给出了包括天空、草地、地表水和雪地的一些最有用的材料的定义。本领域技术人员将想到例如云、路面和墙壁的其他材料。在Luo等人的共同转让的美国专利号7,062,085中可找到对材料区域分类的细节。图像处理器36基于为图像102的区域或像素计算的特征,例如图像内的颜色、纹理、形状或位置,分配类概率(也被认为为置信值),并且用前述的置信图124的形式输出结果。
表1  一些材料的定义
 
天空:天空、云和薄雾,即使通过窗或门看到的·理想的蓝天:天空看起来蓝色,云不可见·灰色(阴)天空:天空覆盖有云,蓝色区域不可见
草地:在其被种植和剪切的草坪或原野或其他区域上生长的割过的绿草
水:或者流动或者静止的地表水体,可具有波纹或波浪但不是泡沫的或白色的(由急流或者瀑布或者撞击的波浪引起的)
雪/冰地:任何落下的、未覆盖的雪或固态冰的区域
一般,存在于图像处理器36中的所有材料检测器(或区域分类器或区域标记器)遵循与在图4中例示的方法类似的方法。首先,在输入图像102的低分辨率即256×384的版本上提取颜色特征401和纹理特征402。优选地,计算的特征在区分有关材料的像素和其他材料类的像素中将是有效的。随后将这些特征馈给至例如经训练的神经网络的分类器403,该分类器403依据材料的颜色和纹理特性产生使类概率或置信值与图像中的每个像素相关联的像素置信图404。接下来,阈值被用于从像素置信图获得空间上连续的同质区域。最后,依据涉及的材料类的某些独特的基于区域的特性,和其中每个区域与统一的置信值相关联的源自初始区域置信图406的确认的区域,来进一步分析405每个空间上连续的区域。可以在美国专利号7,062,085中找到关于区域分类器的细节。在推断过程方面,因为没有施加上下文模型,这些方法采用基本上自下而上的策略。
不幸地,仅采用图像特征可导致模糊的结果。例如,假设区域的亮度是明亮的,饱和度非常低并且纹理低。该区域表示雪的概率是P(区域=雪|特征),其中特征例如是该区域的平均亮度、饱和度和纹理大小。然而,当它们的分布例如P(特征|区域=雪)和P(特征|区域=白地毯)重叠时,即使最复杂的分类系统也不能准确地区分这些类。
需要自上而下的策略来提供调整机制以便减少模糊的量和与个别地对材料区域分类相关联的结果误分类。自上而下的推理可通过上下文信息的使用来促进,并且可帮助区分具有类似的颜色和纹理的“混淆的”材料类。上下文信息可源自整个场景的总的描述即场景上下文,或者在没有确切地知道场景类型的情况下,源自在场景中的不同材料的位置之间的常规关系,即空间上下文。在场景上下文的情况下,知道室外或沙滩场景可对在场景中可呈现什么样的材料类以及这些材料可能出现于场景中的什么位置施加强的限制。由空间上下文的使用施加的限制比场景上下文的使用施加的限制弱,但在许多情况下仍然足以减少在相冲突的材料检测器之间的模糊并且消除材料检测中的不可能的空间结构。其优点在于其不取决于知道确切的场景类型。另一方面,如果知道关于场景的更多信息,例如在这种情况下的拍照位置,可以丰富上下文模型以便将更强的限制提供给材料区域分类。在自然图像中存在至少两种空间上下文关系。首先,关系在自然图像中的特定材料的共同出现之间存在;例如,具有高概率的对草地的检测将暗示低的雪可能性。其次,关系在图像中的材料的空间位置之间存在;天空趋向于出现在草地上方、叶在草地上方、或天空在雪上方。
为了将空间上下文用于评估和调整从低层次材料检测器获得的材料置信,本发明依靠图模型来表示在图像中的所有区域之间的空间限制信息,并且最后产生表示在空间限制和原始材料置信值之间的最佳折衷的新的材料置信值。
在本发明的一实施例中,成对的空间关系的集合包括{高于、远高于、低于、远低于、旁边、被围绕和围绕}。关于在两个区域的最近的像素之间的距离的阈值被用于区分高于和远高于(同样用于低于和远低于)。
通过获悉与上述空间关系相对应的概率密度函数来构建空间上下文模型。从包括收集的用于各种材料类的广泛的地面实况的数据库中,简单的频率计数方法足以产生所有空间关系P(空间关系|位置)的离散概率密度函数。用表2(在以下示出)中的远高于成对关系的概率密度函数作为实例,可做出以下观察:
1.如果一区域远高于天空区域,其仅可以是另一天空区域、叶区域或背景(其他类的)区域;
2.如果一区域远高于草地区域,其最可能是叶或天空区域;
3.如果一区域远高于叶区域,其最可能是天空区域;
4.如果一区域远高于雪区域,其最可能是另一雪区域或天空区域;
5.如果一区域远高于背景(其他)区域,其实质上可以是任何区域,其中最可能是天空区域。
表2  当位置未知时,关系“远高于”的CPM
Figure A200780024301D00131
可以用类似的方式构建和解释其他概率密度函数。概率密度函数可被用于构建描述在图像中的所有区域之间的空间关系的概率图网络,并且可被求解以说明与空间上下文模型相关联的条件概率。
表2中的模型的优点在于该模型可适用于任何位置。然而,其没有利用地理位置信息并且基本上通过假定位置是未知的而忽视位置。表3(以下示出)示出了对于美国的基韦斯特(Key West)的特定于位置的条件概率模型的实例。从位置未知模型的最显著改变包括:
1.如果一区域远高于天空区域,与叶区域或背景(其他类的)区域相比其略微更可能是另一天空区域;
2.如果一区域远高于草地区域,与叶区域相比其略微更可能是天空区域,并且其也更可能是水区域;
3.如果一区域远高于水区域,与叶区域相比其略微更可能是天空区域;
4.一区域是否远高于雪区域是不适用的,因为几乎不可能以雪区域来开始;
5.如果一区域远高于背景(其他)区域,其更可能是天空区域或水区域并且几乎不可能是雪区域。
表3  当位置已知时(基韦斯特,美国),关系“远高于”的CPM
此外,地理位置信息还影响看到特定材料类的先验概率,即P(材料|位置)。表4(以下示出)示出了在消费者照片中的各种材料类的统计。具体来说,
1.31%的照片包括可见天空的显著的块,并且对于室外图像来说可能性甚至更高到55%。
2.29%的所有图像和52%的室外图像包括草地;
3.35%的所有图像和65%的室外图像包括叶;
4.10%的所有图像和19%的室外图像包括地表水;
5.2.4%的所有图像和4.5%的室外图像包括积雪。
表4  当位置是未知的时,材料的概率
 
材料 所有像素的% 所有图像的% 室内图像的% 室外图像的%
天空 5 31 3.1 55
草地 4.1 29 1.8 52
1.2 35 9.5 65
2.1 10 1.0 19
雪/冰 0.33 2.4 0.8 4.5
表5(以下示出)示出了用于美国的基韦斯特的特定于位置的先验概率模型的实例。从位置未知模型的最显著改变包括:
1.75%的照片包括可见天空的显著的块,并且对于室外图像来说可能性甚至更高到95%,而在室内图像中看到天空的可能性也从3.1%增加到10%;
2.草地的可能性是类似的;
3.叶的可能性降低(更可能代之以看到天空);
4.地表水的可能性显著增加;
5.雪的可能性降低到几乎不存在。
表5  当位置是已知时(基韦斯特,美国),材料的概率
 
材料 所有像素的% 所有图像的% 室内图像的% 室外图像的%
天空 20 75 10 95
草地 5.0 30 2.0 50
1.0 30 10 50
15 30 1.0 80
雪/冰 0.01 0.01 0.0 0.01
注意,位置还对图像内的每种材料类的像素的百分比具有类似的影响。
在本发明的变型实施例中,当环境在一天或季节的进程中在给定地理位置由于例如草地、叶、雪、冰和水的特定材料对气候敏感而改变时,关于时间的附加信息是有用的。例如,在夏季期间在度假位置处山上的积雪可能融化掉,并且相似地仅可以在不是冬季的季节在那里看到叶。可以容易地通过相应修改例如在表3和5中示出的概率值,将这种信息构造成先验概率P(材料|位置,季节-时间)和条件概率P(空间关系|位置,季节-时间)二者。
在这种情况下,还将图像捕捉时间和位置信息363提供给数据处理器20,以便产生置信图124。这种信息帮助巨大。作为直观的实例,再次考虑在前段中描述的区域。如果位置信息363表示在佛罗里达的迈阿密捕捉数字图像102,并且图像捕捉时间指示在2002年6月26日的中午捕捉该数字图像102,则图像包含任何表示雪的材料的像素或区域的概率非常小。可选地,因为可用类似的方式得到和利用先验概率P(材料|季节-时间)和条件概率P(空间关系|季节-时间)二者,图像捕捉时间可被单独用于产生置信图124。
现在参见图5,其中示出了表示用于结合先验概率(P(材料|位置)和条件概率P(材料的空间布置|位置))地理位置信息二者的场景结构模型的图。该图通常被称为因子图。先验因素节点P501采用上述的先验概率,场景节点S 502结合场景上下文模型,空间因素节点F 503由个体的区域之间的成对关系构成。对于图像中的n个区域中的每一个来说,存在区域节点R 504。在n个区域之间存在nC2个对,因此存在一样多的空间因素节点。图的底层包括检测器因素D 505并且同样存在n个这种节点。首先用先验概率和条件概率对该图模型的节点初始化,并且随后用源自材料检测器的材料置信值产生该图模型的节点的实例。对于每个区域,称为置信传播的过程被用于计算后验概率,即最终置信值,组合所有的输入(也被称为证据,包括初始类概率、先验概率和条件概率)。一般,每个区域被标记到给出最高后验概率的材料类。可以在Proceedings of Computer Vision and Pattern Recognition,PP.235-341,2003中Singhal,Luo,和Zhu的“用于场景内容理解的概率空间上下文模型”中找到关于上述概率如何影响区域分类的细节。本领域的技术人员将认识到本发明不限于上述特定的图模型。
再参见图2,在本方面的变型实施例中,当环境在给定地理位置远非各向同性时,来自方向传感器44的附加信息可以是有用的,例如如果一个人在迈阿密沙滩上朝东他将主要看到天空和海洋,而当朝西时他将看到建筑物和树木。可以容易地通过相应修改例如在表3和5中示出的概率值,将这种信息构造成先验概率P(材料|位置,方向)和条件概率P(材料的空间布置|位置,方向)二者。
附图标记
10  图像捕捉装置
15  捕捉按钮
20  数据处理器
22  用户输入装置
30  显示装置
34  图像传感器
36  图像处理器
40  控制计算机
44  方向传感器
60  变换
70  存储装置
102 数字图像
120 改善的数字图像
124 材料置信图
325 位置确定器
327 地理数据库
329 外部位置感知装置
350 无线调制解调器
362 坞站接口
363 位置信息
364 坞站/充电器
401 颜色变换
402 计算纹理特征
403 神经网络分类器
404 像素置信图
405 区域分析
406 区域置信图
501 先验因素
502 场景节点
503 空间因素
504 区域节点
505 检测器因素

Claims (16)

1.一种对通过图像捕捉装置捕捉的数字图像或视频中的区域分类的方法,包括:
a)提供与图像捕捉装置相关联的地理位置确定装置;
b)将位置确定装置用于基本上在捕捉数字图像或视频的时间测量图像捕捉位置;
c)基于图像捕捉位置将捕捉的数字图像或视频中的区域分类到一个或多个类。
2.如权利要求1所述的方法,其中一个或多个类包括天空、草地、水、云、路面、雪或墙壁。
3.如权利要求1所述的方法,其中步骤(c)还包括:
i)从捕捉的数字图像或视频的帧中获得同质区域;
ii)从同质区域提取特征;以及
iii)基于图像捕捉位置和提取的特征将区域分类到具有相关联的类概率的一个或多个类。
4.如权利要求3所述的方法,其中提取的特征包括与区域相关联的颜色或纹理特征。
5.如权利要求1所述的方法,其中步骤(c)还包括将图像捕捉时间用于对数字图像的区域分类。
6.如权利要求3所述的方法,其中步骤(ii)还包括将图像捕捉时间用于对数字图像的区域分类。
7.如权利要求1所述的方法,其中步骤(c)还包括将相机朝向方向用于对数字图像的区域分类。
8.如权利要求3所述的方法,其中步骤(ii)还包括将相机朝向方向用于对数字图像的区域分类。
9.如权利要求3所述的方法,其中步骤(iii)包括依据地理位置关联类的先验概率,以及将这种先验概率用于确定区域的类。
10.如权利要求3所述的方法,其中步骤(iii)包括依据地理位置关联类之间的条件概率,以及将这种条件概率用于确定每个区域各自的类。
11.如权利要求10所述的方法,其中依据多个空间关系中的一个或多个,将类之间的条件概率指定为成对的概率,该多个空间关系包括高于、远高于、低于、远低于、旁边、被围绕或围绕。
12.如权利要求3所述的方法,其中步骤(iii)还包括:
(i)仅基于提取的特征产生初始类概率;
(ii)将图模型用于修改初始类概率,以便响应于依据地理位置的先验概率和类之间的条件概率产生后验类概率。
13.如权利要求3所述的方法,还包括将区域标记为具有最高后验类概率的类。
14.一种增强通过图像捕捉装置捕捉的数字图像或视频帧中的区域的方法,包括:
a)提供与图像捕捉装置相关联的地理位置确定装置;
b)将地理位置确定装置用于基本上在捕捉数字图像或视频的时间测量图像捕捉位置;
c)基于图像捕捉位置将捕捉的数字图像或视频中的区域分类到一个或多个类;以及
d)依据每个区域的类将图像增强应用到经分类的区域。
15.一种在数据库中搜索通过图像捕捉装置捕捉的数字图像或视频帧的方法,包括:
a)提供与图像捕捉装置相关联的地理位置确定装置;
b)将地理位置确定装置用于基本上在捕捉数字图像或视频的时间测量图像捕捉位置;
c)基于图像捕捉位置将捕捉的数字图像或视频中的区域分类到一个或多个类;以及
d)在数据库中搜索包括一个或多个预定类的区域的图像。
16.一种对通过图像捕捉装置捕捉的数字图像或视频中的区域分类的方法,包括:
a)提供与图像捕捉装置相关联的时间确定装置;
b)将时间确定装置用于基本上在捕捉数字图像或视频的时间测量图像捕捉时间;
c)基于图像捕捉时间将捕捉的数字图像或视频中的区域分类到一个或多个类。
CN2007800243016A 2006-06-26 2007-06-14 基于照片位置对图像区域分类 Active CN101479741B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/426,468 US7860320B2 (en) 2006-06-26 2006-06-26 Classifying image regions based on picture location
US11/426,468 2006-06-26
PCT/US2007/013907 WO2008002396A2 (en) 2006-06-26 2007-06-14 Classifying image regions based on picture location

Publications (2)

Publication Number Publication Date
CN101479741A true CN101479741A (zh) 2009-07-08
CN101479741B CN101479741B (zh) 2011-09-21

Family

ID=38670732

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2007800243016A Active CN101479741B (zh) 2006-06-26 2007-06-14 基于照片位置对图像区域分类

Country Status (5)

Country Link
US (1) US7860320B2 (zh)
EP (1) EP2033140B1 (zh)
JP (1) JP5261830B2 (zh)
CN (1) CN101479741B (zh)
WO (1) WO2008002396A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104133845A (zh) * 2014-06-30 2014-11-05 百度在线网络技术(北京)有限公司 一种多媒体信息展示的方法与设备

Families Citing this family (59)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7460737B2 (en) 2004-02-12 2008-12-02 Hoshiko Llc Method and apparatus for photograph finding
US7450740B2 (en) * 2005-09-28 2008-11-11 Facedouble, Inc. Image classification and information retrieval over wireless digital networks and the internet
US8600174B2 (en) 2005-09-28 2013-12-03 Facedouble, Inc. Method and system for attaching a metatag to a digital image
US8369570B2 (en) * 2005-09-28 2013-02-05 Facedouble, Inc. Method and system for tagging an image of an individual in a plurality of photos
US8311294B2 (en) 2009-09-08 2012-11-13 Facedouble, Inc. Image classification and information retrieval over wireless digital networks and the internet
TWI316690B (en) * 2006-09-05 2009-11-01 Univ Nat Cheng Kung Video annotation method by integrating visual features and frequent patterns
JP4942177B2 (ja) * 2006-11-20 2012-05-30 キヤノン株式会社 情報処理装置及びその制御方法、プログラム
US8165405B2 (en) * 2006-12-18 2012-04-24 Honda Motor Co., Ltd. Leveraging temporal, contextual and ordering constraints for recognizing complex activities in video
KR100796045B1 (ko) * 2007-02-08 2008-01-21 (주)올라웍스 디지털 데이터에 대한 지오 태깅 방법 및 이를 위한 지리적명칭 정보 제공 방법
US8584013B1 (en) * 2007-03-20 2013-11-12 Google Inc. Temporal layers for presenting personalization markers on imagery
US20080319664A1 (en) * 2007-06-25 2008-12-25 Tidex Systems Ltd. Navigation aid
KR101362764B1 (ko) * 2007-07-02 2014-02-14 삼성전자주식회사 사진 파일 제공 장치 및 방법
JP5361174B2 (ja) * 2007-11-30 2013-12-04 キヤノン株式会社 表示制御装置、表示制御方法、およびプログラム
US9111146B2 (en) * 2008-02-15 2015-08-18 Tivo Inc. Systems and methods for semantically classifying and normalizing shots in video
US20090214134A1 (en) * 2008-02-27 2009-08-27 Motorola, Inc. System and method for image data extraction and assembly in digital cameras
US8055081B2 (en) * 2008-04-14 2011-11-08 Eastman Kodak Company Image classification using capture-location-sequence information
US20110044563A1 (en) * 2009-08-24 2011-02-24 Blose Andrew C Processing geo-location information associated with digital image files
US20110292230A1 (en) 2010-05-28 2011-12-01 Winters Dustin L Method for managing privacy of digital images
JP2012049709A (ja) * 2010-08-25 2012-03-08 Ricoh Co Ltd 撮像装置、空領域判定方法、プログラム
US8581997B2 (en) 2010-10-28 2013-11-12 Intellectual Ventures Fund 83 Llc System for locating nearby picture hotspots
US20120206759A1 (en) * 2011-02-11 2012-08-16 Jeremiah Elliott Data Capture System
US20120205436A1 (en) * 2011-02-16 2012-08-16 Augme Technologies, Inc. System for enhanced barcode decoding and image recognition and method therefor
JP2012203668A (ja) * 2011-03-25 2012-10-22 Sony Corp 情報処理装置、物体認識方法、プログラム及び端末装置
JP5401695B2 (ja) * 2011-05-23 2014-01-29 株式会社モルフォ 画像識別装置、画像識別方法、画像識別プログラム及び記録媒体
US8417000B1 (en) * 2011-12-12 2013-04-09 Google Inc. Determining the location at which a photograph was captured
US9158967B2 (en) 2012-01-12 2015-10-13 Kofax, Inc. Systems and methods for mobile image capture and processing
US10146795B2 (en) 2012-01-12 2018-12-04 Kofax, Inc. Systems and methods for mobile image capture and processing
CN102915449B (zh) * 2012-09-24 2016-05-04 华南理工大学 一种照片分类方法
KR101988311B1 (ko) 2012-11-07 2019-06-12 엘지전자 주식회사 디지털 디바이스 및 그 제어 방법
CA2901200A1 (en) * 2013-02-14 2014-08-21 Exxonmobil Upstream Research Company Detecting subsurface structures
US10127636B2 (en) 2013-09-27 2018-11-13 Kofax, Inc. Content-based detection and three dimensional geometric reconstruction of objects in image and video data
US9355312B2 (en) * 2013-03-13 2016-05-31 Kofax, Inc. Systems and methods for classifying objects in digital images captured using mobile devices
US20140316841A1 (en) 2013-04-23 2014-10-23 Kofax, Inc. Location-based workflows and services
JP6332937B2 (ja) 2013-10-23 2018-05-30 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
WO2015073920A1 (en) 2013-11-15 2015-05-21 Kofax, Inc. Systems and methods for generating composite images of long documents using mobile video data
JP6341650B2 (ja) * 2013-11-20 2018-06-13 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP6255944B2 (ja) * 2013-11-27 2018-01-10 株式会社リコー 画像解析装置、画像解析方法及び画像解析プログラム
US9437004B2 (en) * 2014-06-23 2016-09-06 Google Inc. Surfacing notable changes occurring at locations over time
EP2975576A1 (en) * 2014-07-15 2016-01-20 Thomson Licensing Method of determination of stable zones within an image stream, and portable device for implementing the method
US9251427B1 (en) * 2014-08-12 2016-02-02 Microsoft Technology Licensing, Llc False face representation identification
US10216765B2 (en) * 2014-10-28 2019-02-26 Here Global B.V. Image based routing and confirmation
US9760788B2 (en) 2014-10-30 2017-09-12 Kofax, Inc. Mobile document detection and orientation based on reference object characteristics
WO2016145379A1 (en) * 2015-03-12 2016-09-15 William Marsh Rice University Automated Compilation of Probabilistic Task Description into Executable Neural Network Specification
US9576203B2 (en) * 2015-04-29 2017-02-21 Canon Kabushiki Kaisha Devices, systems, and methods for knowledge-based inference for material recognition
US10242285B2 (en) 2015-07-20 2019-03-26 Kofax, Inc. Iterative recognition-guided thresholding and data extraction
US10592548B2 (en) 2015-08-17 2020-03-17 Adobe Inc. Image search persona techniques and systems
US10878021B2 (en) * 2015-08-17 2020-12-29 Adobe Inc. Content search and geographical considerations
US10366433B2 (en) 2015-08-17 2019-07-30 Adobe Inc. Methods and systems for usage based content search results
US10475098B2 (en) 2015-08-17 2019-11-12 Adobe Inc. Content creation suggestions using keywords, similarity, and social networks
US11048779B2 (en) 2015-08-17 2021-06-29 Adobe Inc. Content creation, fingerprints, and watermarks
US9904844B1 (en) 2016-08-04 2018-02-27 International Business Machines Corporation Clustering large database of images using multilevel clustering approach for optimized face recognition process
TWI648985B (zh) * 2017-01-25 2019-01-21 和碩聯合科技股份有限公司 視訊成像方法及其電子裝置
US10438322B2 (en) 2017-05-26 2019-10-08 Microsoft Technology Licensing, Llc Image resolution enhancement
US10803350B2 (en) 2017-11-30 2020-10-13 Kofax, Inc. Object detection and image cropping using a multi-detector approach
CN110324528A (zh) * 2018-03-28 2019-10-11 富泰华工业(深圳)有限公司 摄像装置、影像处理系统及方法
US10853983B2 (en) 2019-04-22 2020-12-01 Adobe Inc. Suggestions to enrich digital artwork
US11397775B2 (en) 2019-05-24 2022-07-26 Axim Geospatial, Llc User interface for evaluating the quality of geospatial data
US10984518B2 (en) * 2019-05-24 2021-04-20 Continental Mapping Consultants, Llc Methods and systems for assessing the quality of geospatial data
JP7386006B2 (ja) 2019-06-28 2023-11-24 セコム株式会社 領域分割装置、領域分割方法、領域分割プログラム、学習装置、学習方法、及び学習プログラム

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5247356A (en) * 1992-02-14 1993-09-21 Ciampa John A Method and apparatus for mapping and measuring land
US5506644A (en) * 1992-08-18 1996-04-09 Olympus Optical Co., Ltd. Camera
JP3974946B2 (ja) * 1994-04-08 2007-09-12 オリンパス株式会社 画像分類装置
US6504571B1 (en) * 1998-05-18 2003-01-07 International Business Machines Corporation System and methods for querying digital image archives using recorded parameters
JP3913410B2 (ja) * 1999-07-23 2007-05-09 富士フイルム株式会社 画像検索方法
JP4073156B2 (ja) * 1999-07-14 2008-04-09 富士フイルム株式会社 画像検索装置
US6813395B1 (en) * 1999-07-14 2004-11-02 Fuji Photo Film Co., Ltd. Image searching method and image processing method
US7062085B2 (en) * 2001-09-13 2006-06-13 Eastman Kodak Company Method for detecting subject matter regions in images
US6564851B1 (en) * 2001-12-04 2003-05-20 Yu Hua Liao Detachable drapery hanger assembly for emergency use
US7092573B2 (en) * 2001-12-10 2006-08-15 Eastman Kodak Company Method and system for selectively applying enhancement to an image
US6738631B1 (en) 2002-05-06 2004-05-18 Nokia, Inc. Vision-guided model-based point-and-click interface for a wireless handheld device
EP1519568B1 (en) 2003-09-25 2008-07-16 FUJIFILM Corporation Specific scene image selecting apparatus and method, computer program and computer readable medium on which the computer program is recorded
JP4606828B2 (ja) * 2003-09-25 2011-01-05 富士フイルム株式会社 特定シーンの画像を選別する装置、プログラムおよびプログラムを記録した記録媒体
US7680340B2 (en) * 2003-11-13 2010-03-16 Eastman Kodak Company Method of using temporal context for image classification
US7336819B2 (en) * 2003-12-29 2008-02-26 Eastman Kodak Company Detection of sky in digital color images
IL169934A (en) * 2005-07-27 2013-02-28 Rafael Advanced Defense Sys Real-time geographic information system and method
US7889794B2 (en) * 2006-02-03 2011-02-15 Eastman Kodak Company Extracting key frame candidates from video clip

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104133845A (zh) * 2014-06-30 2014-11-05 百度在线网络技术(北京)有限公司 一种多媒体信息展示的方法与设备

Also Published As

Publication number Publication date
WO2008002396A2 (en) 2008-01-03
EP2033140B1 (en) 2012-01-11
US20070297683A1 (en) 2007-12-27
JP2009541896A (ja) 2009-11-26
WO2008002396A3 (en) 2008-03-06
US7860320B2 (en) 2010-12-28
EP2033140A2 (en) 2009-03-11
JP5261830B2 (ja) 2013-08-14
CN101479741B (zh) 2011-09-21

Similar Documents

Publication Publication Date Title
CN101479741B (zh) 基于照片位置对图像区域分类
CN102204238B (zh) 便携式设备上的图像标注
Bakillah et al. Fine-resolution population mapping using OpenStreetMap points-of-interest
Luo et al. Geotagging in multimedia and computer vision—a survey
US9454714B1 (en) Sequence transcription with deep neural networks
US20150269598A1 (en) Methods and apparatus to estimate demography based on aerial images
US20100305851A1 (en) Device and method for updating cartographic data
US9020265B2 (en) System and method of determining building numbers
Fedorov et al. A framework for outdoor mobile augmented reality and its application to mountain peak detection
Xing et al. Mapping human activity volumes through remote sensing imagery
Yang et al. Classified road detection from satellite images based on perceptual organization
US20210350189A1 (en) Bayesian Methodology for Geospatial Object/Characteristic Detection
CN110070579A (zh) 基于图像检测的定位方法、装置、设备和存储介质
Kalantar et al. Smart counting–oil palm tree inventory with UAV
WO2023160722A1 (zh) 交互式寻找目标对象的方法、系统和存储介质
Postadjian et al. Domain adaptation for large scale classification of very high resolution satellite images with deep convolutional neural networks
Karl et al. A technique for estimating rangeland canopy-gap size distributions from high-resolution digital imagery
Liu et al. A framework of road extraction from airborne lidar data and aerial imagery
Schiewe et al. A novel method for generating 3D city models from high resolution and multi‐sensor remote sensing data
Yaegashi et al. Geotagged image recognition by combining three different kinds of geolocation features
Luley et al. A Multi-Sensor system for mobile services with vision enhanced object and location awareness
Vo et al. WhereAmI: Energy efficient positioning using partial textual signatures
Roozenbeek Dutch Open Topographic Data Sets as Georeferenced Markers in Augmented Reality
Perepechko et al. Spatial database development for Russian urban areas: A new conceptual framework
CN115861797A (zh) 一种多模态图像融合的城市社会经济地位预测方法

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
ASS Succession or assignment of patent right

Owner name: GAOZHI 83 FOUNDATION LLC

Free format text: FORMER OWNER: EASTMAN KODAK COMPANY (US) 343 STATE STREET, ROCHESTER, NEW YORK

Effective date: 20130409

C41 Transfer of patent application or patent right or utility model
TR01 Transfer of patent right

Effective date of registration: 20130409

Address after: Nevada, USA

Patentee after: Gaozhi 83 Foundation Co.,Ltd.

Address before: American New York

Patentee before: Eastman Kodak Co.

TR01 Transfer of patent right
TR01 Transfer of patent right

Effective date of registration: 20180521

Address after: Texas, USA

Patentee after: Mau new gate Venture Capital Co., Ltd.

Address before: Nevada, USA

Patentee before: Gaozhi 83 Foundation Co.,Ltd.