CN101281644A - 基于视觉的导航和制导系统 - Google Patents

基于视觉的导航和制导系统 Download PDF

Info

Publication number
CN101281644A
CN101281644A CNA2008100951961A CN200810095196A CN101281644A CN 101281644 A CN101281644 A CN 101281644A CN A2008100951961 A CNA2008100951961 A CN A2008100951961A CN 200810095196 A CN200810095196 A CN 200810095196A CN 101281644 A CN101281644 A CN 101281644A
Authority
CN
China
Prior art keywords
edge
picture frame
picture
frame
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CNA2008100951961A
Other languages
English (en)
Other versions
CN101281644B (zh
Inventor
S·甘古利
K·克里什纳斯瓦米
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honeywell International Inc
Original Assignee
Honeywell International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honeywell International Inc filed Critical Honeywell International Inc
Publication of CN101281644A publication Critical patent/CN101281644A/zh
Application granted granted Critical
Publication of CN101281644B publication Critical patent/CN101281644B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G06V20/39—Urban scenes
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/027—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising intertial navigation means, e.g. azimuth detector
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0278—Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using satellite positioning signals, e.g. GPS

Abstract

本发明涉及基于视觉的导航和制导系统。一种利用基于视觉的导航和制导系统来控制自动车辆的方法。该方法包括以预定的帧速率捕获图像帧。检测在每个图像帧中限定边缘的像点。在每一图像帧中使用像点来定位确定的边缘。动态地预测在随后图像帧中限定边缘的像点的位置。使用限定边缘的像点的位置的预测在随后图像帧中缩小边缘的搜索区域。确定在随后图像帧中的确定的边缘之间的偏移距离，以及至少部分地基于在随后的图像帧中的确定的边缘之间的确定的偏移距离来控制车辆。

Description

基于视觉的导航和制导系统
技术领域
本发明涉及基于视觉的导航和制导系统。
背景技术
自动车辆是有好处的，因为它们不需要操作者来手动操作车辆。自动车辆有利的一个领域是在那些日常工作需要车辆的领域。例如日常工作中的割草。拥有能自动割草的自动车辆是人们所期望的。对于具有大量需要维护的草的场地如高尔夫球场来说尤其如此。但是，建造按照预定方式驾驶的自动车辆是一个挑战。例如，使用高尔夫球场这个例子，在球场中有球道和障碍区，它们在所要维护的草的高度上不同。在球道中草需要剪得比较低，以至于可以很容易地打大多数的高尔夫球，但是在障碍区草需要保持很长或者甚至不需要修剪。自动草坪修剪车辆必须设计成能够检测和保持不同类型的区域。能够成功检测球道和障碍区之间的边缘是建造成功的自动草坪割草机所需的一个要求。目前，使用人工操作的草坪割草机来维护球道。
由于上述原因和下述的其它原因，在阅读和理解本说明书的基础上所述原因对本领域技术人员来说是很明显的，在本领域中需要具有有效视觉边缘检测系统的自动车辆。
发明内容
上述提到的当前系统的问题可以通过本发明的实施例解决，并且通过阅读和研究下面的说明书来理解。下面的概述是借助实例而不是借助限制来进行的。其是一种仅仅提供用来帮助读者理解本发明的一些方面的方法权利要求。
在一个实施例中提供了控制自动车辆的方法。该方法包括以预定的帧速率(frame rate)捕获图像帧。检测在每个图像帧中限定边缘的像点。使用在每个图像帧中的像点来定位确定的边缘。动态预测在随后的图像帧中限定边缘的像点的位置。使用限定边缘的像点的位置预测来缩窄在随后的图像帧中边缘的搜索区域。确定在随后的图像帧中确定的边缘之间的偏移距离并且至少部分地基于在随后的图像帧中确定的边缘之间的确定的偏移距离来控制车辆。
附图说明
当考虑本发明的详细描述并结合附图，本发明可更加容易的理解并且其优点和用处更加显而易见，其中
图1是本发明的一个实施例的自动车辆系统100的框图；
图2是本发明的一个实施例的边缘确定电路的框图；
图3是本发明的另一个实施例的边缘确定电路的框图；
图4A示出了在本发明的一个实施例的连续帧中的两个确定的边缘的融合图；
图4B示出了在本发明的一个实施例的连续帧中的两个确定的边缘的另一融合图；以及
图5是本发明的一个实施例的自动控制流程图。
与常规惯例一致，各种描述的特征没有按比例绘制，而是被绘制成用来强调与本发明相关的特定特征。附图和文本中的参考标记表示相似的元件。
具体实施方式
在下面详细的描述中，参考附图，这些附图构成了说明书的一部分，在这些图中借助图示示出了可以实施本发明的特定实施例。这些实施例描述的足够详细以使本领域的技术人员能实践本发明，并且应当理解，在不脱离本发明的精神和范围的情况下，可以使用其它实施例以及可以进行逻辑的、机械的和电气的改变。因此下面的详细描述不应当看成对本发明的限制，并且本发明的范围仅由权利要求及其等同物所限定。
本发明的实施例提供了部分地使用边缘检测系统来导航的自动车辆。在本发明的实施例中，捕获图像并将图像处理成关于接下来的边缘的信息。本发明的实施例使用空间和时间信息来确定边缘。
参考图1，提供了本发明的一个实施例的自动车辆系统100的框图。如图所示，自动车辆系统100包括照相机102，边缘确定电路104，控制器106，导航电路108和车辆110。照相机102用来捕获图像。将图像传输到边缘检测电路104。边缘检测电路104使用空间和时间技术来确定距离ΔX。ΔX是到由边缘确定电路104确定的边缘的距离(或偏移距离)。将ΔX信号提供到控制器106。控制器106使用该ΔX信号以及由导航电路108提供的其它导航信号来生成用于车辆110的控制信号。传送到车辆110的控制信号的实例是速度控制(Vc)和转向控制(δc)。车辆110执行接收到的控制信号。从导航电路108提供到控制器106的导航信息的实例包括但不限于惯性运动单元信息，多普勒雷达信息，全球定位系统信息，立体视觉信息，雷达信息，测绘信息等等。
图2提供了在边缘确定电路104中进行的步骤的例子。如图所示，边缘确定电路104包括图像处理202和信号处理204。在图像处理202处，来自照相机的每个输入图像经过空间处理来确定边缘。然后将确定的边缘传送到信号处理204。在信号处理204处，为随后的图像来预测关于确定的边缘的方位信息的估计。然后将该信息用于缩窄在下一图像帧中的边缘的搜索范围。
图3提供了边缘确定电路104的框图。在这个例子中，图像处理202包括边缘检测电路302。边缘检测电路302在每个图像上执行多个步骤。这些步骤可包括但不限于图5所示的系统流程图500中的步骤502，504，506和508。这些步骤将在下面提供的关于图5的介绍中进一步描述。在图3的实施例中，边缘检测电路302从照相机接收图像并且首先将该图像分段以缩窄将要进行分析的图像的区域。然后边缘确定电路104将定向预滤波步骤施加到分段的图像上。该定向预滤波步骤使分段后的图像中的边缘模糊，所述边缘在与目标边缘行进的方向不同的方向上。例如，如果在分段后的图像上目标边缘从南到北行进，那么就将从东到西行进的边缘模糊。换句话说，当车辆沿通常平行于目标边缘的方向行进时，将通常不与目标边缘平行的边缘模糊。在分段后的图像模糊掉不想要的边缘之后，开始执行边缘检测。可以使用的边缘检测程序(或模块)的例子是Canny边缘检测。尽管提到了Canny边缘检测，但是在本发明中可以使用任何类型的边缘检测程序。边缘检测模块识别限定边缘的图像像素(或像点)。一旦检测到了边缘，边缘检测电路302就识别并去除阴影。
图3中的边缘确定电路104也包括信号处理电路204。该实施例的信号处理电路204包括动态预测窗304和测量融合306。在一个实施例中，动态预测窗304解决约束最小二乘问题。动态预测窗304估计下一图像帧中边缘将要出现的位置。使用这一预测方式，只需要分析下一帧中的狭窄区域。因此每个分段后的图像进一步缩小到将要进行分析的已预测的窗口图像。该预测窗口图像是动态的，因为边缘可以从图像帧到图像帧移动，并且因此预测窗口将相应移动。图3也示出了，信号处理电路也包括测量融合函数306。该测量融合函数306融合边缘点以获得确定的边缘位置。边缘点是图像中具有边缘特性的像素。边缘特性包括从亮到暗或从暗到亮急剧转变的相邻像素。在一个实施例中，使用卡尔曼(Kalman)滤波器来融合边缘点。然后测量融合函数306确定从确定的边缘的偏移距离ΔX。然后将ΔX以ΔX信号的方式输出到控制器106。
图4A的融合图400中示出了在两个连续帧中的确定的边缘的例子。融合图400示出了用于标注为帧K的第一帧的确定的第一边缘404，和用于标注为帧K+1的第二帧的确定的第二边缘402。如上所述，图像帧中的确定的边缘通过使用滤波器如卡尔曼滤波器由限定边缘的多个图像像素(或边缘点)确定。确定的边缘的图示是使用卡尔曼滤波器从图像点408-1、408-2和408-3确定的第一确定的边缘404。类似地，由图像点406-1、406-2和406-3确定第二确定的边缘402。应当理解每帧图像像素(或点)的数量将根据预期分辨率而变化，图4A中示出的点的数量仅仅为了说明该过程而提供。图4A中也示出了ΔEP1、ΔEP2、ΔEP3，其示出了当穿过卡尔曼滤波器以确定第二边缘402时相应边缘点406-1、406-2和406-3移动的距离。
沿图4A的X轴的距离XC表示刀具位置420。刀具位置在X轴的距离是ΔX。在这个例子中，确定的边缘404和402之间的距离在XC处为0。因此ΔX等于0。所以，此时车辆沿边缘的导航被正确的定位。但是，如果第一确定的边缘402和第二确定的边缘404之间在XC处存在距离，那么将存在距离XC420的标记为ΔX的距离。将ΔX输出到控制器106，在此例中ΔX为0。然后控制器106使用ΔX来调整位置。因为在此例中ΔX为0，因此此时无需在方向上进行调节。参考图4B，示出了另一融合图430的实例。在此融合图430中，ΔX不等于0。特别地，融合图430示出了与第一帧中的边缘点相关联的第一确定的边缘432和与第二帧中的边缘点相关联的第二确定的边缘434。沿X轴的XC表示为436。如图所示，第二确定的边缘434在离XC436距离ΔX(或偏移距离)处与X轴相交。其是被输出到控制器106的ΔX。在本发明的实施例中，本发明中的采样(或获得图像帧的速率)与车辆的运动速度相比相对比较快。在时间上这允许处理每一帧来确定所述确定的边缘和输出的ΔX。在一个实施例中，采样频率大于10赫兹。
图5示出了本发明的一个实施例的自动控制流程图500。如图所示，该过程始于捕获初始图像(501)。然后将初始图像分段(502)。该分段在检测的边缘周围限定了相对较小区域的视野，例如方形(box)。在一个实施例中分段的确定是先验固定的，其中用户确保在初始化期间检测的边缘在方形之内。在另一个实施例中，使用自动化处理来用初始帧产生关于明显的边缘为中心的固定大小的方形的位置。步骤(502)减少在确定边缘的过程中需要估计的点(或像素)的数量。接下来将定向预滤波运用到图像帧(504)。如上所述，定向预滤波在不与车辆的行进方向相对平行的方向上使边缘模糊。然后运用边缘检测算法(506)。在一个实施例中，该边缘检测算法是Canny边缘检测算法。边缘检测算法实时地提供边缘。然后应用阴影边缘去除算法(508)。该阴影边缘去除算法除去图像帧中的阴影，所述阴影不是检测的边缘。在一个实施例中，这通过观察黑像素和周围像素来完成。如果在亮像素附近有太多的像素(用户限定的)为黑色的，那么就存在阴影并将其除去。确定黑像素所用的一个技术是基于阈值化的直方图。
除去阴影边缘(508)之后，开始使用动态预测窗(510)。这是约束最小二乘问题。动态预测窗用来预测在下一图像帧中边缘将出现在哪。如上所述，其是动态的因为边缘可关于图像帧弯曲，并且因此确定的ΔX值将改变。然后这用于缩窄随后的图像帧中边缘的搜索范围。将动态预测窗(510)的结果运用在边缘检测步骤(506)中。此外，除去阴影边缘(508)之后，应用测量融合(512)。测量融合包括滤波器，如本领域公知的卡尔曼滤波器但不限于此。使用卡尔曼滤波器在图像帧中基于检测点(或像素)来发现确定的边缘，并且如图4B中所示那样确定ΔX。然后将ΔX输出到控制器(514)。然后控制器至少部分地基于ΔX来调整车辆的路线(516)。也可以确定车辆是否仍在移动(518)。如果车辆没有移动(518)，那么该过程结束。如果车辆仍然在移动(518)，那么该过程在图像分段步骤(502)继续。图5的流程图，仅仅描述了执行本发明的功能的一个可能的方法。其它可能的执行方法是可以的并且是预期的。因此，本发明不限于图5的控制流程图中列举的方法。
这里描述的方法和技术可在数字电子电路中，或者用可编程处理器(例如，专用处理器或通用处理器，如计算机)固件，软件，或通常限定为模块的它们的组合来执行。具体实施这些技术的装置可包括合适的输入和输出设备，可编程处理器，以及明确实施由可编程处理器执行的程序指令的存储介质。具体实施这些技术的过程可通过可编程处理器来执行，该可编程处理器执行程序指令以通过对输入数据进行操作并产生恰当的输出来实现预期的功能。这些技术可以一个或多个程序有利地实施，所述程序可在包括至少一个可编程处理器，至少一个输入设备以及至少一个输出设备的可编程系统上执行，该至少一个可编程处理器被耦合用于从数据存储系统接收数据和指令以及将数据和指令传送到数据存储系统。通常，处理器将从只读存储器和/或随机存取存储器接收指令和数据。适于确实实施计算机程序指令和数据的存储装置包括所有形式的非易失性存储器，包括作为例子的半导体存储器设备，如EPROM，EEPROM，和闪存设备；磁盘，如内部硬盘和可移动硬盘；磁光盘；和DVD盘。前述的任何一种可由专门设计的专用集成电路(ASIC)补充，或并入专门设计的专用集成电路中。
尽管在此已经示出和描述了特定实施例，但是本领域的普通技术人员将意识到用于达到相同目的的任何布置可替代示出的特定实施例。本申请意图覆盖本发明的任何修改或变型。因此，很显然地本发明只由权利要求及其等同物来限制。

Claims (6)

1、一种控制自动车辆的方法(500)，该方法包含：
以预定帧速率捕获图像帧(501，520)；
检测在每个图像帧中限定边缘的像点(506)；
在每一图像帧中融合像点以定位确定的边缘(512)；
动态地预测在随后图像帧中限定边缘的像点的位置(510)；
使用限定边缘的像点的位置的预测来在随后图像帧中缩窄边缘的搜索区域(506)；
确定在随后图像帧中的确定的边缘之间的偏移距离(514)；以及
至少部分地基于在随后的图像帧中的确定的边缘之间的确定的偏移距离来控制车辆(516)。
2、如权利要求1所述的方法，进一步包含：
在每个图像帧中模糊通常不在车辆行进方向上的边缘(504)。
3、如权利要求1所述的方法，进一步包含：
去除每个图像帧中的阴影(508)。
4、如权利要求1所述的方法，其中检测限定边缘的像点进一步包含：
使用Canny边缘检测算法(506)。
5、如权利要求1所述的方法，其中融合像点进一步包含：
在限定边缘的像点上使用卡尔曼滤波器(512)。
6、如权利要求1所述的方法，进一步包含：
分段每个图像帧以减小对于限定边缘的像点需要被搜索的区域(502)。
CN2008100951961A 2007-03-08 2008-03-07 基于视觉的导航和制导系统 Expired - Fee Related CN101281644B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/683,805 US7881497B2 (en) 2007-03-08 2007-03-08 Vision based navigation and guidance system
US11/683805 2007-03-08

Publications (2)

Publication Number Publication Date
CN101281644A true CN101281644A (zh) 2008-10-08
CN101281644B CN101281644B (zh) 2012-04-18

Family

ID=39327717

Family Applications (1)

Application Number Title Priority Date Filing Date
CN2008100951961A Expired - Fee Related CN101281644B (zh) 2007-03-08 2008-03-07 基于视觉的导航和制导系统

Country Status (5)

Country Link
US (1) US7881497B2 (zh)
CN (1) CN101281644B (zh)
AU (1) AU2008201108B2 (zh)
CA (1) CA2625252C (zh)
GB (1) GB2449517B (zh)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102598072A (zh) * 2009-04-22 2012-07-18 温科尼克斯多夫国际有限公司 包括产生图像数据以检测操纵尝试的至少一个摄像机的自动出纳机
CN101907700B (zh) * 2009-06-08 2013-02-13 英华达股份有限公司 一种辅助导航的转向判断方法
CN101900557B (zh) * 2009-01-06 2013-08-21 安华高科技通用Ip(新加坡)公司 亚像素范围内的绝对跟踪
CN104521417A (zh) * 2014-12-17 2015-04-22 济南大学 一种智能割草机系统
CN108072370A (zh) * 2016-11-18 2018-05-25 中国科学院电子学研究所 基于全局地图的机器人导航方法及用该方法导航的机器人
CN111832418A (zh) * 2020-06-16 2020-10-27 北京汽车研究总院有限公司 车辆控制方法、装置、车辆和存储介质
CN112067003A (zh) * 2019-05-30 2020-12-11 霍尼韦尔国际公司 用于图像辅助导航的系统和方法
CN112762951A (zh) * 2018-03-20 2021-05-07 御眼视觉技术有限公司 用于导航车辆的系统和方法
CN112762951B (zh) * 2018-03-20 2024-04-26 御眼视觉技术有限公司 用于导航车辆的系统和方法

Families Citing this family (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2911713B1 (fr) * 2007-01-19 2014-03-21 Thales Sa Dispositif et procede de mesure de parametres dynamiques d'un aeronef evoluant sur une zone aeroportuaire
US7974460B2 (en) * 2007-02-06 2011-07-05 Honeywell International Inc. Method and system for three-dimensional obstacle mapping for navigation of autonomous vehicles
US8751154B2 (en) 2008-04-24 2014-06-10 GM Global Technology Operations LLC Enhanced clear path detection in the presence of traffic infrastructure indicator
US8803966B2 (en) 2008-04-24 2014-08-12 GM Global Technology Operations LLC Clear path detection using an example-based approach
US8634593B2 (en) * 2008-04-24 2014-01-21 GM Global Technology Operations LLC Pixel-based texture-less clear path detection
DE102009018319A1 (de) * 2009-04-22 2010-10-28 Wincor Nixdorf International Gmbh Selbstbedienungsterminal mit mindestens einer Kamera zum Erkennen von Manipulationsversuchen
DE102009018322A1 (de) * 2009-04-22 2010-10-28 Wincor Nixdorf International Gmbh Selbstbedienungsterminal mit Kamera zum Erkennen von Manipulationsversuchen
US8731295B2 (en) 2009-07-01 2014-05-20 Mtd Products Inc. Visual segmentation of lawn grass
US8675060B2 (en) 2009-08-28 2014-03-18 Indian Institute Of Science Machine vision based obstacle avoidance system
US8456327B2 (en) 2010-02-26 2013-06-04 Gentex Corporation Automatic vehicle equipment monitoring, warning, and control system
US20120213440A1 (en) * 2010-11-22 2012-08-23 University Of Central Florida Research Foundation, Inc. Systems and Methods for Automatically Identifying Shadows in Images
US9769430B1 (en) 2011-06-23 2017-09-19 Gentex Corporation Imager system with median filter and method thereof
US8630806B1 (en) * 2011-10-20 2014-01-14 Google Inc. Image processing for vehicle control
WO2013123133A1 (en) 2012-02-14 2013-08-22 Gentex Corporation High dynamic range imager system
CN102700727B (zh) * 2012-06-27 2014-04-09 北京理工大学 一种基于速度控制的对空拦截飞行器制导方法
US20140022051A1 (en) 2012-07-17 2014-01-23 Elwha LLC, a limited liability company of the State of Delaware Unmanned device interaction methods and systems
US20140025233A1 (en) 2012-07-17 2014-01-23 Elwha Llc Unmanned device utilization methods and systems
US8700272B2 (en) 2012-07-30 2014-04-15 Caterpillar Inc. System and method for detecting a crest
US9234750B2 (en) 2012-07-30 2016-01-12 Caterpillar Inc. System and method for operating a machine
US8706363B2 (en) 2012-07-30 2014-04-22 Caterpillar Inc. System and method for adjusting a boundary for a machine
US9083961B2 (en) * 2012-09-28 2015-07-14 Raytheon Company System for correcting RPC camera model pointing errors using 2 sets of stereo image pairs and probabilistic 3-dimensional models
US9098087B2 (en) 2013-02-04 2015-08-04 Caterpillar Inc. System and method for adjusting the operation of a machine
US8866938B2 (en) 2013-03-06 2014-10-21 International Business Machines Corporation Frame to frame persistent shadow reduction within an image
US9097520B2 (en) 2013-06-12 2015-08-04 Caterpillar Inc. System and method for mapping a raised contour
CN103472828A (zh) * 2013-09-13 2013-12-25 桂林电子科技大学 基于改进蚁群粒子群算法的移动机器人路径规划方法
WO2015035450A1 (en) * 2013-09-13 2015-03-19 Queensland University Of Technology Vision based guidance in broad-acre agriculture
CN103472832A (zh) * 2013-09-16 2013-12-25 苏州工业园区职业技术学院 基于双核两轮微电脑鼠全数字伺服控制器
CN103472835B (zh) * 2013-09-16 2017-01-04 苏州工业园区职业技术学院 基于双核四轮微电脑鼠快速冲刺控制器
GB201318185D0 (en) * 2013-10-14 2013-11-27 Guidance Navigation Ltd Tracking device
US9395192B1 (en) 2013-12-20 2016-07-19 Google Inc. Methods and systems for road and lane boundary tracing
CN103901890B (zh) * 2014-04-09 2017-05-24 中国科学院深圳先进技术研究院 基于家庭庭院的户外自动行走装置及其控制系统和方法
US9605415B2 (en) 2014-09-12 2017-03-28 Caterpillar Inc. System and method for monitoring a machine
US9360334B2 (en) 2014-09-12 2016-06-07 Caterpillar Inc. System and method for setting an end location of a path
JP2017535279A (ja) 2014-09-23 2017-11-30 宝時得科技（中国）有限公司Ｐｏｓｉｔｅｃ Ｔｅｃｈｎｏｌｏｇｙ （Ｃｈｉｎａ） Ｃｏ．，Ｌｔｄ． 自動移動ロボット
EP4235596A3 (en) * 2014-12-22 2023-10-04 Husqvarna AB Robotic vehicle grass structure detection
DE102017223325A1 (de) * 2017-12-20 2019-06-27 Conti Temic Microelectronic Gmbh Verfahren und Vorrichtung zur Fusion von Messungen aus unterschiedlichen Informationsquellen
US11783707B2 (en) 2018-10-09 2023-10-10 Ford Global Technologies, Llc Vehicle path planning
US11460851B2 (en) 2019-05-24 2022-10-04 Ford Global Technologies, Llc Eccentricity image fusion
US11521494B2 (en) 2019-06-11 2022-12-06 Ford Global Technologies, Llc Vehicle eccentricity mapping
US11662741B2 (en) 2019-06-28 2023-05-30 Ford Global Technologies, Llc Vehicle visual odometry
SE2051339A1 (en) * 2020-11-17 2022-05-18 Husqvarna Ab An energy efficient robotic lawn mower

Family Cites Families (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4520889A (en) * 1981-03-02 1985-06-04 Shinko Electric Co., Ltd. Guidance conductor for driverless vehicle
GB8313339D0 (en) * 1983-05-14 1983-06-22 Gen Electric Co Plc Vehicle guidance
US4907169A (en) * 1987-09-30 1990-03-06 International Technical Associates Adaptive tracking vision and guidance system
US4969202A (en) * 1988-03-31 1990-11-06 Honeywell Inc. Image recognition edge detection method and system
US5115477A (en) * 1988-03-31 1992-05-19 Honeywell Inc. Image recognition edge detection method and system
US4972262A (en) * 1988-10-27 1990-11-20 Honeywell Inc. Real time edge detection
US5052854A (en) * 1990-04-19 1991-10-01 Sfo Enterprises Highway guidance vehicle systems
GB9015594D0 (en) 1990-07-16 1991-04-24 Plessey Roke Manor Res Tracking arrangements and systems
KR940007346B1 (ko) * 1991-03-28 1994-08-13 삼성전자 주식회사 화상 처리 시스템의 엣지 검출 장치
US5311600A (en) * 1992-09-29 1994-05-10 The Board Of Trustees Of The Leland Stanford Junior University Method of edge detection in optical images using neural network classifier
JP3169483B2 (ja) * 1993-06-25 2001-05-28 富士通株式会社 道路環境認識装置
JP3357749B2 (ja) * 1994-07-12 2002-12-16 本田技研工業株式会社 車両の走行路画像処理装置
JP3334463B2 (ja) * 1995-11-20 2002-10-15 ソニー株式会社 ビデオ信号処理回路
DE19632929C1 (de) * 1996-08-16 1997-11-27 Daimler Benz Ag Vorrichtung zur selbsttätigen Fahrzeugquerführung längs einer Fahrspur
JP3240936B2 (ja) * 1996-09-30 2001-12-25 日本電気株式会社 動き処理回路
US6229578B1 (en) * 1997-12-08 2001-05-08 Intel Corporation Edge-detection based noise removal algorithm
US6094508A (en) * 1997-12-08 2000-07-25 Intel Corporation Perceptual thresholding for gradient-based local edge detection
JP3307335B2 (ja) * 1998-07-22 2002-07-24 日本電気株式会社 車両領域検出装置及び車両領域検定方法
US6898319B1 (en) * 1998-09-11 2005-05-24 Intel Corporation Method and system for video frame enhancement using edge detection
US6233060B1 (en) * 1998-09-23 2001-05-15 Seiko Epson Corporation Reduction of moiré in screened images using hierarchical edge detection and adaptive-length averaging filters
JP2000293696A (ja) * 1999-04-07 2000-10-20 Matsushita Electric Ind Co Ltd 画像認識装置
US6377711B1 (en) * 1999-06-30 2002-04-23 Xerox Corporation Methods and systems for detecting the edges of objects in raster images using diagonal edge detection
US6157876A (en) * 1999-10-12 2000-12-05 Honeywell International Inc. Method and apparatus for navigating an aircraft from an image of the runway
US6862368B1 (en) * 2000-01-12 2005-03-01 Koninklijke Philips Electronics N.V. Method and apparatus for edge detection
US6445983B1 (en) * 2000-07-07 2002-09-03 Case Corporation Sensor-fusion navigator for automated guidance of off-road vehicles
US20020028024A1 (en) * 2000-07-11 2002-03-07 Mediaflow Llc System and method for calculating an optimum display size for a visual object
JP3671825B2 (ja) * 2000-09-22 2005-07-13 日産自動車株式会社 車間距離推定装置
JP3651387B2 (ja) * 2000-11-22 2005-05-25 日産自動車株式会社 白線検出装置
JP3630100B2 (ja) * 2000-12-27 2005-03-16 日産自動車株式会社 車線検出装置
US7068852B2 (en) * 2001-01-23 2006-06-27 Zoran Corporation Edge detection and sharpening process for an image
US6922488B2 (en) * 2001-02-16 2005-07-26 International Business Machines Corporation Method and system for providing application launch by identifying a user via a digital camera, utilizing an edge detection algorithm
US7027615B2 (en) * 2001-06-20 2006-04-11 Hrl Laboratories, Llc Vision-based highway overhead structure detection system
US7013047B2 (en) * 2001-06-28 2006-03-14 National Instruments Corporation System and method for performing edge detection in an image
US6917721B2 (en) * 2001-07-16 2005-07-12 Hewlett-Packard Development Company, L.P. Method and apparatus for sub-pixel edge detection
KR100444784B1 (ko) * 2001-11-15 2004-08-21 주식회사 에이로직스 에지검출을 통한 경보발생방법 및 보안 시스템
US7151844B2 (en) * 2001-12-06 2006-12-19 General Motors Corporation Image sensor method and apparatus having hardware implemented edge detection processing
FR2835314B1 (fr) * 2002-01-25 2004-04-30 Airbus France Procede de guidage d'un aeronef en phase finale d'atterrissage et dispositif correspondant
DE10210546A1 (de) * 2002-03-09 2003-09-18 Bosch Gmbh Robert Verfahren und System zur automatischen Fahrzeugführung
US7005974B2 (en) * 2002-04-19 2006-02-28 Donnelly Corporation Vehicle imaging system
ES2391556T3 (es) * 2002-05-03 2012-11-27 Donnelly Corporation Sistema de detección de objetos para vehículo
US7636455B2 (en) * 2002-06-04 2009-12-22 Raytheon Company Digital image edge detection and road network tracking method and system
US7031525B2 (en) * 2002-07-30 2006-04-18 Mitsubishi Electric Research Laboratories, Inc. Edge detection based on background change
US6903359B2 (en) * 2002-09-20 2005-06-07 Pitney Bowes Inc. Method and apparatus for edge detection
US7502525B2 (en) * 2003-01-27 2009-03-10 Boston Scientific Scimed, Inc. System and method for edge detection of an image
US7088351B2 (en) * 2003-03-09 2006-08-08 Lsi Logic Corporation Real time image enhancement with adaptive noise reduction and edge detection
US8855405B2 (en) * 2003-04-30 2014-10-07 Deere & Company System and method for detecting and analyzing features in an agricultural field for vehicle guidance
KR20050047745A (ko) * 2003-11-18 2005-05-23 삼성전자주식회사 에지 검출장치 및 그 검출방법
TWI230010B (en) * 2003-12-30 2005-03-21 Realtek Semiconductor Corp Adaptive interpolation method based on edge detection
US7412096B2 (en) * 2004-01-30 2008-08-12 Broadcom Corporation Method and system for interpolator direction selection during edge detection
US7738705B2 (en) * 2004-06-30 2010-06-15 Stefano Casadei Hierarchical method and system for pattern recognition and edge detection
US7433086B2 (en) * 2004-09-27 2008-10-07 General Electric Company Edge detection and correcting system and method
US7403639B2 (en) * 2004-11-30 2008-07-22 Honda Motor Co., Ltd. Vehicle surroundings monitoring apparatus
JP4128562B2 (ja) * 2004-11-30 2008-07-30 本田技研工業株式会社 車両周辺監視装置
JP4094604B2 (ja) * 2004-11-30 2008-06-04 本田技研工業株式会社 車両周辺監視装置
US7792607B2 (en) * 2005-01-04 2010-09-07 Deere & Company Vision-aided system and method for guiding a vehicle
US7242791B2 (en) * 2005-01-04 2007-07-10 Deere & Company Method and system for guiding a vehicle with vision enhancement
US7610123B2 (en) * 2005-01-04 2009-10-27 Deere & Company Vision-aided system and method for guiding a vehicle
US7415164B2 (en) * 2005-01-05 2008-08-19 Mitsubishi Electric Research Laboratories, Inc. Modeling scenes in videos using spectral similarity
US20060227381A1 (en) * 2005-04-06 2006-10-12 Xerox Corporation Edge detection for dispersed-dot binary halftone images
JP4539415B2 (ja) * 2005-04-15 2010-09-08 株式会社デンソー 画像処理装置
JP4544028B2 (ja) * 2005-05-13 2010-09-15 日産自動車株式会社 車載画像処理装置、および画像処理方法
US7860162B2 (en) 2005-09-29 2010-12-28 Panasonic Corporation Object tracking method and object tracking apparatus
EP1906339B1 (en) 2006-09-01 2016-01-13 Harman Becker Automotive Systems GmbH Method for recognizing an object in an image and image recognition device

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101900557B (zh) * 2009-01-06 2013-08-21 安华高科技通用Ip(新加坡)公司 亚像素范围内的绝对跟踪
CN102598072A (zh) * 2009-04-22 2012-07-18 温科尼克斯多夫国际有限公司 包括产生图像数据以检测操纵尝试的至少一个摄像机的自动出纳机
CN102598072B (zh) * 2009-04-22 2015-11-25 温科尼克斯多夫国际有限公司 包括产生图像数据以检测操纵尝试的至少一个摄像机的自动出纳机
CN101907700B (zh) * 2009-06-08 2013-02-13 英华达股份有限公司 一种辅助导航的转向判断方法
CN104521417A (zh) * 2014-12-17 2015-04-22 济南大学 一种智能割草机系统
CN104521417B (zh) * 2014-12-17 2016-09-21 济南大学 一种智能割草机系统
CN108072370A (zh) * 2016-11-18 2018-05-25 中国科学院电子学研究所 基于全局地图的机器人导航方法及用该方法导航的机器人
CN112762951A (zh) * 2018-03-20 2021-05-07 御眼视觉技术有限公司 用于导航车辆的系统和方法
CN112762951B (zh) * 2018-03-20 2024-04-26 御眼视觉技术有限公司 用于导航车辆的系统和方法
CN112067003A (zh) * 2019-05-30 2020-12-11 霍尼韦尔国际公司 用于图像辅助导航的系统和方法
CN112067003B (zh) * 2019-05-30 2024-04-19 霍尼韦尔国际公司 用于图像辅助导航的系统和方法
CN111832418A (zh) * 2020-06-16 2020-10-27 北京汽车研究总院有限公司 车辆控制方法、装置、车辆和存储介质

Also Published As

Publication number Publication date
GB2449517A (en) 2008-11-26
CA2625252C (en) 2015-04-28
CN101281644B (zh) 2012-04-18
AU2008201108A1 (en) 2008-09-25
CA2625252A1 (en) 2008-09-08
GB2449517B (en) 2009-08-12
US7881497B2 (en) 2011-02-01
AU2008201108B2 (en) 2013-07-25
GB0804277D0 (en) 2008-04-16
US20080219508A1 (en) 2008-09-11

Similar Documents

Publication Publication Date Title
CN101281644B (zh) 基于视觉的导航和制导系统
EP3466764B1 (en) Method for monitoring blind spot of monitoring vehicle and blind spot monitor using the same
EP4145393B1 (en) Vehicle localization
US11003921B2 (en) Apparatus and method for distinguishing false target in vehicle and vehicle including the same
EP3629052A1 (en) Data collecting method and system
US8849036B2 (en) Map generating and updating method for mobile robot position recognition
US8498472B2 (en) Image-based localization feature point registration apparatus, method and computer-readable medium
US20180114067A1 (en) Apparatus and method for extracting objects in view point of moving vehicle
CN112509354B (zh) 一种车位检测方法、装置、车辆、可读介质
US11371851B2 (en) Method and system for determining landmarks in an environment of a vehicle
CN110262487B (zh) 一种障碍物检测方法、终端及计算机可读存储介质
CN110738867B (zh) 一种车位检测方法、装置、设备及存储介质
CN110462546A (zh) 移动体
CN111309011A (zh) 一种自主探索目标的决策方法、系统、设备及存储介质
JP6815935B2 (ja) 位置推定装置
CN110764526B (zh) 一种无人机飞行控制方法及装置
CN109188419B (zh) 障碍物速度的检测方法、装置、计算机设备及存储介质
CN110570680A (zh) 利用地图信息确定对象位置的方法和系统
CN112820141B (zh) 一种泊车车位的检测方法和检测系统
US20210302991A1 (en) Method and system for generating an enhanced field of view for an autonomous ground vehicle
CN114495065A (zh) 一种目标物识别的方法及装置
CN111626189A (zh) 一种路面异常检测方法、装置、电子设备及存储介质
CN112215042A (zh) 一种车位限位器识别方法及其系统、计算机设备
CN114283401A (zh) 障碍物识别方法和装置以及驾驶方法和装置
Bonin-Font et al. Combining obstacle avoidance with robocentric localization in a reactive visual navigation task

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20120418

Termination date: 20190307