CN101109640A - 基于视觉的无人驾驶飞机自主着陆导航系统 - Google Patents

Abstract

一种基于视觉的无人驾驶飞机自主着陆导航系统，由软件算法及硬件装置组成；软件算法有：计算机视觉算法及信息融合和状态估计算法；硬件装置有：跑道特征、机载传感器子系统和信息融合子系统；机载传感器子系统有：机载摄像机系统、机载惯导系统、高度表系统、磁罗盘，对UAV真实状态进行测量，通过机载摄像机系统对跑道特征进行跟踪与分析，得到跑道特征点的测量值，并传给信息融合子系统；信息融合子系统根据前一时刻对飞机状态的估计值以及机载传感器子系统在当前时刻对飞机状态的测量值，通过跑道模型、摄像机系统模型得到跑道特征点的估计值，并与测量值进行比较，及融合其他测量信息，通过数据处理模块的计算，得到高精度的导航信息。

Description

基于视觉的无人驾驶飞机自主着陆导航系统

(一)技术领域：

本发明一种基于视觉的无人驾驶飞机自主着陆导航系统，基于视觉的无人驾驶飞机(Unmanned Aerial Vehicles，以下简称：UAV)自主着陆导航方案主要应用于在UAV着陆过程中，为UAV着陆控制系统提供UAV相对于跑道的位置、姿态、运动速度等导航信息，以控制UAV自主完成着陆。同时，本发明也可用于有人飞机着陆过程中，为驾驶员提供导航辅助信息，属于无人驾驶飞机着陆导航系统。

(二)背景技术：

无人驾驶飞机的安全回收(着陆)是无人驾驶飞机研制技术的关键之一。常见的无人驾驶飞机回收方式包括伞降回收、中空回收、起落架滑跑着陆、拦截网回收、气垫着陆和垂直着陆等。在小型无人驾驶飞机回收中常用伞降回收、拦截网回收等回收方式，但这些方式显然不适合中型、大型无人驾驶飞机的回收。在中型、大型无人驾驶飞机的回收方式研究中，起落架滑跑着陆逐渐成为主要的发展方向。

固定翼UAV的起落架滑跑着陆(下面简称着陆)是复杂的飞行阶段，它要求在低空速和低高度的情况下，精确控制飞机的姿态和轨迹。

目前，在有人驾驶飞机中应用比较广泛的机场导航系统主要有仪表着陆系统(ILS)和微波着陆系统(MLS)。而根据UAV的任务要求，其可能经常会采用在无固定跑道或短距离跑道的小型机场上进行起飞和着陆的任务。由于仪表着陆系统(ILS)和微波着陆系统(MLS)地引导精度问题或系统复杂性问题，很难满足UAV着陆的要求。

随着GPS/差分GPS(Differential GPS，简称：DGPS)技术的不断发展和完善，用GPS/DGPS作为飞机进场着陆设备以取代ILS仪表着陆系统已被国际民航组织(ICAO)确认为今后有人驾驶飞机的机场导航系统的发展目标。国内外已提出多种增强GPS用于飞机精密着陆的方案，并进行试验。基于GPS技术的着陆导航方案，已经在UAV的着陆导航中有了许多应用。

上面提到的ILS、MLS以及GPS/DGPS等导航方式都要依赖飞机以外的设备所提供的信号进行导航，所以依靠这些技术只能完成半自主(自动)着陆。

考虑到半自主着陆方式需要外部信号配合才能够完成导航参数的获得，对外界的依赖性较强，当所有外部导航信号失效时，为了能够安全完成UAV的着陆，需要对UAV着陆过程中的自主导航问题进行研究。

本发明主要解决UAV的着陆过程中的自主导航问题，即UAV只依靠自身的机载设备，基本上或完全不依赖于地面设备的辅助，与外界不发生任何光、电交互条件下完成的着陆导航。要能够自主的完成飞机进场着陆，则UAV就必须具有自主导航的能力，即必须能够较准确地得到一些必要的飞机状态，如飞机相对机场的位置，飞机姿态、速度等。如果只依赖常规机载传感器(如惯导系统、高度表等)信息的情况下，由于惯导系统的漂移在长期飞行后无法得到有效的修正和校准，完成UAV的自主着陆的导航，是不现实的，也是不可能的，所以必须引入其他的传感器设备。计算机视觉由于其经济、无源、信息丰富等特点，已成为无人驾驶飞机自主着陆中不可缺少的重要信息源。通过计算机视觉可以很容易的测量静态参考物，作为机载惯性元件漂移的补偿。而当由于高频干扰、参考物跟踪失败等原因使视觉失效时，惯性元件可以准确的测量干扰，并在短时间内给出准确的导航信息，引导视觉系统正确工作。

随着计算机视觉算法性能和可靠性的提高，非线性估计和识别技术的进步，计算机硬件的发展，以及完善的实时算法应用，计算机视觉技术得到越来越广泛地应用，基于视觉的传感器已逐渐成为自动控制领域中测量运动、位置和结构的通用传感器。以计算机视觉为理论基础的视觉导航系统，具有大视场、非接触、速度快、信息丰富以及精度适中等优点，特别适合于估计无人驾驶飞机相对于着陆目标的位置姿态。

在期刊中检索到的现有的无人驾驶飞机着陆视觉导航方案，一般均采用使用视觉系统利用几何关系单独估计无人驾驶飞机的运动状态，但这类方案从精度、可靠性和实时性上还不能很好的满足无人驾驶飞机着陆的要求。虽然有极少方案考虑将视觉信息与诸如惯导系统等传感器相融合，但对着陆环境假设过多，方案的实用性不高。因此需要将计算机视觉系统作为其他导航传感器的辅助，通过将视觉信息与诸如惯导系统等传感器融合，得到更加精确的无人驾驶飞机的运动状态估计；同时将其他传感器的测量信息用于视觉导航系统，不但可以减少视觉系统的运算量同时可以提高其可靠性。虽然有极少方案考虑了类似的融合方案，但由于使用的传感器组合不够合理，对着陆环境假设过多，方案的实用性不高。

(三)发明内容：

本发明一种基于视觉的无人驾驶飞机自主着陆导航系统，其目的是：该自主着陆导航系统，可以在不依赖外界信息的情况下，只利用机载惯导系统、高度表系统、磁航向仪、机载视觉系统等被动传感器和地面合作标志图像，为UAV在着陆过程中提供UAV相对于跑道的导航信息，可以作为诸如全球定位系统(Global Position System，简称GPS)导航等半自主导航方式的备选，提高飞机的生存能力，也可以作为有人飞机着陆过程中的导航辅助信息的提供源。

本发明一种基于视觉的无人驾驶飞机自主着陆导航系统，由软件算法及硬件装置两部份组成；

该软件算法包括有：计算机视觉算法及信息融合和状态估计算法；

该硬件装置包括有：布置在跑道平面上的跑道特征1、用于测量UAV状态的机载传感器子系统2和用于处理传感器测量信息的信息融合子系统3；

该机载传感器子系统2包括有机载摄像机系统24、机载惯导系统21、高度表系统22、磁罗盘23；通过机载惯导系统21、高度表系统22、磁罗盘23等传感器，对UAV真实状态进行测量，通过机载摄像机系统24对跑道特征1进行跟踪与分析，得到跑道特征点11的测量值，这些测量信息传给信息融合子系统3；

该信息融合子系统3根据前一时刻其对飞机状态的估计值以及机载传感器子系统2在当前时刻对飞机状态的测量值，通过跑道模型31、摄像机系统模型32得到跑道特征点11的估计值，与跑道特征点11的测量值进行比较，并融合其他测量信息，通过数据处理模块33的计算，最终得到高精度的导航信息。

该软件算法首先应定义有坐标系，为了在导航过程中利用跑道上布置的特征信息来估计UAV相对于跑道的位置和姿态，我们必须将地面上的特征与摄像机捕捉到的特征联系起来，建立它们之间的函数关系。因此，我们需要定义坐标系；

该坐标系主要包括有：惯性坐标系{E：o-xyz}，机体坐标系{B：o_b-x_by_bz_b}，以及摄像机坐标系{C：o_c-x_cy_cz_c}和视平面坐标系{I：(u，v)}；

该摄像机坐标系{C}是机体坐标系{B}经过简单的平移，然后依次水平转动ψ_c和俯仰转动θ_c得到(ψ_c、θ_c是安装摄像机的二自由度云台相对于机体坐标系{B}的转动角)；为便于分析，假设安装摄像机的云台转动中心和摄像机光轴中心是重合的；视平面坐标系{I}的定义和摄像机坐标系{C}一致；

根据系统中的几何关系，给出如下符号定义：R_EB表示从惯性坐标系{E}到机体坐标系{B}的旋转变换；R_BC是从机体坐标系{B}到摄像机坐标系{C}的旋转变换；

表示UAV在惯性坐标系{E}的位置；

表示摄像机在{B}中的位置。其中，R_EB变换常用从惯性坐标系{E}到机体坐标系{B}的欧拉角(φ，θ，ψ)表示；R_BC可以用摄像机安装云台的方位角和俯仰角(θ_C，ψ_C)表示，如式(1)、(2)所示；

$R_{\mathrm{EB}}=\left[\begin{array}{ccc}\cos \mathrm{\θ}\cos \mathrm{\ψ}& \cos \mathrm{\θ}\sin \mathrm{\ψ}& -\sin \mathrm{\θ}\\ -\cos \mathrm{\φ}\sin \mathrm{\ψ}+\sin \mathrm{\φ}\sin \mathrm{\θ}\cos \mathrm{\ψ}& \cos \mathrm{\φ}\cos \mathrm{\ψ}+\sin \mathrm{\φ}\sin \mathrm{\θ}\sin \mathrm{\ψ}& \sin \mathrm{\φ}\cos \mathrm{\θ}\\ \sin \mathrm{\φ}\sin \mathrm{\ψ}+\cos \mathrm{\φ}\sin \mathrm{\θ}\cos \mathrm{\ψ}& -\sin \mathrm{\φ}\cos \mathrm{\ψ}+\cos \mathrm{\φ}\sin \mathrm{\θ}\sin \mathrm{\ψ}& \cos \mathrm{\φ}\cos \mathrm{\θ}\end{array}\right]---\left(1\right)$

$R_{\mathrm{BC}}=\left[\begin{array}{ccc}\cos {\mathrm{\θ}}_c\cos {\mathrm{\ψ}}_c& \cos {\mathrm{\θ}}_c\sin {\mathrm{\ψ}}_c& -\sin {\mathrm{\θ}}_c\\ -\sin {\mathrm{\ψ}}_c& \cos {\mathrm{\ψ}}_c& 0\\ \sin {\mathrm{\θ}}_c\cos {\mathrm{\ψ}}_c& \sin {\mathrm{\θ}}_c\sin {\mathrm{\ψ}}_c& \cos {\mathrm{\θ}}_c\end{array}\right]---\left(2\right)$

设第i个特征点在惯性坐标系{E}中坐标为

，则其在摄像机坐标系{C}中坐标表示为：

${\stackrel{\→}{P}}_i^C=R_{\mathrm{BC}}(R_{\mathrm{EB}}({\stackrel{\→}{P}}_i-{\stackrel{\→}{P}}_B)-{\stackrel{\→}{P}}_C^B)=R_{\mathrm{BC}}\·R_{\mathrm{EB}}({\stackrel{\→}{P}}_i-{\stackrel{\→}{P}}_B)-R_{\mathrm{BC}}\·{\stackrel{\→}{P}}_C^B---\left(3\right)$

令 $R_{\mathrm{BC}}\·R_{\mathrm{EB}}=\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right],$ $-R_{\mathrm{BC}}\·{\stackrel{\→}{P}}_C^B={(k_x,k_y,k_z)}^T$ ，将式(3)写成分量形式为：

$\left[\begin{array}{c}{x}_i^C\\ y_i^C\\ z_i^C\end{array}\right]=\left[\begin{array}{c}{r}_1(x_i-x)+r_2(y_i-y)+r_3(z_i-z)+k_x\\ r_4(x_i-x)+r_5(y_i-y)+r_6(z_i-z)+k_y\\ r_7(x_i-x)+r_8(y_i-y)+r_9(z_i-z)+k_z\end{array}\right]---\left(4\right)$

摄像机坐标系{C}与视平面坐标系{I}之间采用基于针孔摄像机模型的透视投影。因此，摄像机的焦距为f时，第i个特征点在视平面坐标系{I}中的坐标表示为：

$\left[\begin{array}{c}{u}_i\\ v_i\end{array}\right]=f\·\left[\begin{array}{c}{y}_i^C/x_i^C\\ z_i^C/x_i^C\end{array}\right]---\left(5\right)$

由于特征点相对于机场跑道的位置是已知的，通过式(4)、式(5)，就可以得到视平面坐标[u_i，v_i]^T、惯性坐标[x_i，y_i，z_i]^T与UAV相对于跑道的位置和姿态的关系。

该自主着陆组合导航系统，假设UAV的进入基于视觉的自主着陆阶段以前，一般会对机载导航系统进行多次空中校准，但由于此时UAV飞行高度较高，速度较快，所以校准的精度还不足以导引UAV完成着陆操作。这里假设在进入基于视觉的自主着陆阶段以前：

(1)飞机被成功的导引到指定的区域；

(2)机载导航系统进行了空中校准，其高度误差小于±30m，水平方向的位置误差小于±200m，速度误差小于±1m/s，欧拉角测量误差小于±1度。

关于自主着陆导引过程，在UAV进入基于视觉的自主着陆过程后，机载摄像机系统根据导航系统的测量值，预估特征点的位置，并控制摄像机系统的云台，使摄像机在一定区域内搜索预先设置在机场跑道上的特征图像；当系统获取到特征图案后，摄像机系统进入跟踪模态，即控制云台以跟踪特征图像，并对图像进行相应的图像处理，提取特征图像上的特征点的信息；融合机载惯导系统信息，同时结合高度表系统、磁罗盘等机载传感器的测量信息，获得高精度的UAV导航信息。

其中，该跑道特征1能够在摄像机视平面上成像的每个跑道特征点11，都会通过式(4)、式(5)给出以UAV位置和姿态为参数的两个方程。由于这些方程是非线性方程，若只有三个特征点，会得到位置和姿态的多组解。为了得到唯一解，至少需要4个一般布局的特征点。在自主着陆导航系统中，为了减小噪声对系统的影响，提高系统的估计精度，采用7个特征点作为跑道特征。

考虑到提取多边形区域的顶点算法成熟、鲁棒性好，而三角形和四边形的顶点曲率大，更易于顶点提取，同时跑道颜色较深，所以选取在跑道起点附近喷涂灰度值较高的(白色)三角形与四边形组合图案的方法来布置跑道特征1，采用两个不同图形组合的方式，还可以帮助UAV判断着陆方向。由于飞机着陆过程与跑道之间夹角较小，沿跑道方向在的图案成像时会有较大的压缩，所以多边形区域沿跑道方向设计得较长。将标志布置在飞机着陆点之前，可以防止由于飞机滑跑刹车时，在标志上留下过多的刹车痕迹，影响其他UAV的识别效果。同时可以使飞机下滑时，得到尽量大的图像。

其中，机载传感器子系统2中的机载摄像机系统24，由二自由度云台241、摄像机242以及图像处理模块243组成；二自由度云台241固定在UAV下部，可以在云台控制器的控制下，相对于UAV作俯仰运动和连续的水平运动，使系统完成搜索目标和锁定目标的任务；该摄像机242采用PAL制彩色摄像机一体机，可以在控制指令的控制下进行变倍操作，使得跑道特征11在摄像机242中的成像大小利于视觉算法的运算；该图像处理模块243可以对摄像机242拍摄的场景进行采集，同时对采集的图像进行处理，得到跑道特征点11在视平面上成像的坐标值，图像处理模块243中对图像进行处理的计算机视觉技术是机载摄像机系统24的关键。

其中，该机载传感器子系统2中的机载惯导系统21，采用惯性测量单元(Inertial Measurement Unit，简称：IMU)，它由固连的三个正交安装的加速度计和三个正交的陀螺仪组成；该惯性测量单元IMU的直接测量值为飞机在体轴向的三个加速度和三个角速度，可以通过信息融合子系统3计算出飞机的速度、位置和姿态等信息；一般认为，IMU具有优良的高更新率特性(可以达到100Hz以上)，且为实时输出。

其中，该机载传感器子系统2中的高度表系统22，采用气压高度表221和雷达高度表222的组合；根据气压高度表221的低频特性和雷达高度表222的高频特性，利用互补滤波方式(其运算在数据处理模块33种完成)，消除了气压高度表221产生的稳态误差以及雷达高度表222较大的测量噪声，得到高精度的高度估计；由于采用了两种高度表组合的方式，使得系统采样频率较低，但其输出是实时的，高度表系统22采样频率为30Hz。

其中，该信息融合子系统3利用信息融合技术，可以充分融合机载传感器子系统2中各机载传感器在空间和时间上的冗余或互补信息，从而取长补短，精确地给出UAV的导航信息，消除传感器测量值的不确定性，提高系统的可靠性；考虑到UAV着陆时，对机载传感器子系统2的信息融合主要是检测级的融合，而卡尔曼滤波方法正好适用于实时融合动态的低层次冗余数据，所以本方案选用基于卡尔曼滤波方法的融合算法。

其中，该计算机视觉算法是在自主着陆过程中，机载摄像机系统24根据对UAV状态的估计值，控制二自由度云台241和摄像机242的焦距，使摄像机能够搜索、捕捉和跟踪跑道特征图案，并在图像处理模块243中通过一系列的计算机视觉算法，得到用于UAV位置和姿态估计的特征点坐标；视觉处理过程主要分为：图像预处理、区域分割与标记和特征提取与目标识别三个阶段。

1)图像预处理

一般情况下，摄像机242获得的原始图像由于受到种种条件限制和随机干扰，往往不能在视觉系统中直接进行分析处理，必须在图像预处理阶段对原始图像进行灰度校正、噪声过滤等图像预处理。

根据UAV机载摄像机系统24的任务特点，考虑到对灰度图的处理算法比较成熟，同时运算速度较快、运算量相对比较少，首先通过公式：

Y＝0.299×R+0.596×G+0.211×B    (6)

将获取的彩色图像转化为灰度图像。其中，R，G，B分别表示图像中红、绿、蓝三种颜色的分量。

由于获取的图像存在噪声，必须对其进行滤波处理，一般认为图像采集过程中存在的噪声可以近似为白噪声，中值滤波是一种具有很好低通特性，同时还能尽可能多的保存图像边缘细节的非线性平滑方法，它的主要思想是用邻域中亮度的中值代替图像的当前点；邻域中亮度的中值不受个别噪声毛刺的影响，因此中值滤波可以在相当好的消除脉冲噪声同时，还对图像的边缘细节进行保留；本方案选用7×7的中值滤波器对灰度图像进行处理。

2)区域分割与标记

本阶段任务是从经过预处理后的图像中得到特征识别所需的候选区域，需要经过阈值化分割(Thresholding)和区域生长与标记(Region growing andLabeling)两个过程。

对进行过滤波的图像进行阈值化，将灰度图转化为二值图，这样可以有效地减少后续处理工作的运算量。阈值化分割算法首先需要确定一个处在图像灰度取值范围之中的灰度阈值，然后将图像中各个像素的灰度值都与之比较，并根据比较的结果将对应的像素化分为两类：像素灰度大于阈值的为一类，即区域生长阶段的种子区域；像素灰度小于阈值的为另一类。考虑到在不同时间着陆，摄像机捕捉到的图像亮度会随着光照不同而变化，所以阈值化时不能选择固定的阈值。由于阈值化的目的是为了得到区域生长的种子，而且跑道特征在图像中的灰度值会比较大，所以选择的阈值可以相对比较高。经过对不同的阈值选取方法的实验比较，采用设置处于图像最大与最小灰度之间固定比例的灰度值作为阈值的方法，虽然简单，但该方法可以得到鲁棒性与高分割质量的最好折中。

经过阈值化得到的种子区域，采用区域生长的方法，得到包括完整跑道特征图案在内的待处理区域。区域生长是根据预先定义的生长准则把像素或子区域集合成较大区域的处理方法，也就是以一组“种子”区域开始，将那些属性类似于种子的邻域像素附加到对应种子上。这里，生长准则定义为：若相邻待选像素的灰度值与种子区域的平均灰度值之间的差小于一个预先选定的固定值，则认为该像素与种子区域类似。标识就是在区域生长完成后给每个不相邻的区域标志一个唯一的数字(整数)。

3)特征提取与目标识别

本阶段的任务就是从多个不相邻的候选区域中提取能够用于识别的特征，对各个区域进行抽象的描述，并通过对这些特征的分析，识别出与跑道标记所对应的两个区域，最后从这两个区域中得到所需的七个特征点在视平面坐标系{I}中的坐标值，用于飞机的位置和姿态估计。

考虑到机载摄像机系统24在进行视觉处理之前，可以根据其他传感器信息得到跑道特征点在视平面成像的预估值，再根据跑道标志的特点，选择下面几种区域的描述作为特征：

a.区域的面积：即区域包含的像素总个数。

b.细长度：即包围区域的最小面积的矩形的长宽比。最小外接矩形是通过以离散步长旋转矩形，直到得到最小值来确定的。

c.方向：即最小外接矩形的长边的方向。考虑到跑道标志在视平面上的成像为细长区域，所以使用方向作为特征是合理的。

d.紧致度：即区域外部边界长度的平方与区域面积的比值。

e.区域的位置：即区域最小外接矩形对称中心在视平面上的坐标。

f.投影：通过求取沿最小外接矩形的长边与短边方向的投影，分析区域的形状。

g.两个区域之间相对位置：包括两个区域的距离与相对方向。

得到区域的特征后，与由预估跑道特征点坐标导出的特征值作比较，最终确定两个跑道标志区域。

由于着陆过程UAV与跑道之间夹角较小，跑道特征区域成像时沿跑道方向会有较大的压缩，使得布置在跑道中心线上的三个顶点(点B、D和F)难以准确检测。所以本发明采取的特征点识别策略是：首先使用最小核值相似区(Smallest Univalue Segment Assimilating Nucleus，SUSAN)原则检测两个跑道特征区域的边界和角点，并选择每个区域曲率最大的两个角点与点A、C、E和G相对应；由于经过点E、C与经过点G、A的两直线的交点H和经过点E、A与经过点G、C的两直线的交点I都位于跑道中心线上，同时点B、D和F也位于这条线上，所以，可以通过求取过点H、I的直线与两个跑道区域边界的交点确定点B、D和F。

关于视觉算法的实时性要求，视觉处理的过程是比较复杂的任务，需要一定时间，要做到较高的帧速率(如高于30帧/秒)是非常困难的，需要有非常高性能的图像处理硬件，因此机载摄像机系统24的测量信息一般输出频率较低，而且有一定的延迟。同时，由于环境的变化或处理任务的变化，图像处理的时间也是不定的。当系统进行搜索操作时，视觉算法会在整个图像平面进行。而当系统成功捕获目标并进行跟踪后，由于可以准确的预估特征标志的成像位置，图像处理仅在预估的一个较小范围进行。所以图像处理的时间会有较大的不同。

根据对我们现有的原形系统进行测试，系统在搜索目标过程中，图像处理的帧速率约8帧/秒，延迟约150ms(包括采集卡采集时间)；在跟踪目标过程中，图像处理的帧速率约18帧/秒，延迟约75ms(包括采集卡采集时间)。

其中，信息融合和状态估计算法，随着机载传感器数量的增多，多传感器信息融合技术已成为状态估计的重要手段。作为信息融合中进行位置估计的有效方法——卡尔曼滤波算法，由于采用了递推形式，数据存储量小，不仅可以处理平稳随机过程，而且可以处理多维和非平稳随机过程。目前卡尔曼滤波技术已成为实现多传感器信息融合的主要技术手段。本节主要论述如何将视觉信息与惯导、高度表信息融合，构造适合于UAV自主着陆中多传感器多速率扩展卡尔曼滤波器。

关于系统测量方程和动态方程构造，状态估计中最重要的就是机载摄像机系统24通过计算机视觉技术得到的特征点信息，本方案将这7个特征点在视平面坐标系{I}中的测量值作为系统测量值的一部分。这里假设系统得到的特征点测量值由于图像采集、量化及处理等操作，存在相互独立的白噪声[η_ui，η_vi]^T使之与真实值之间存在如下关系：

$\left[\begin{array}{c}{z}_{2i-1}\\ z_{2i}\end{array}\right]=\left[\begin{array}{c}\widetilde{u_i}\\ \widetilde{v_i}\end{array}\right]=\left[\begin{array}{c}{u}_i\\ v_i\end{array}\right]+\left[\begin{array}{c}{\mathrm{\η}}_{\mathrm{ui}}\\ {\mathrm{\η}}_{\mathrm{vi}}\end{array}\right],i=\mathrm{1,2},\·\·\·,7.---\left(7\right)$

除了上述14个测量值，系统还存在由高度表系统22得到的飞行高度和由磁罗盘23得到的偏航角的测量值。可表示为：

$\left[\begin{array}{c}{z}_{15}\\ z_{16}\end{array}\right]=\left[\begin{array}{c}\tilde{H}\\ \widetilde{\mathrm{\ψ}}\end{array}\right]=\left[\begin{array}{c}H\\ \mathrm{\ψ}\end{array}\right]+\left[\begin{array}{c}{\mathrm{\η}}_H\\ {\mathrm{\η}}_{\mathrm{\ψ}}\end{array}\right]---\left(8\right)$

由式(7)表示的图像特征点信息和式(8)表示的其他传感器信息可以通过关系式h(X(k))与UAV在惯性坐标系中的位置和姿态信息联系起来，在k时刻，可以表示为：

Z(k)＝h(X(k))+ζ_z(k)    (9)

其中，Z(k)＝[z₁，z₂，…，z₁₆]^T；X(k)是系统的状态向量，包括UAV在惯性坐标系中的位置(x，y，z)、速度(V_x，V_y，V_z)以及姿态角(φ，θ，ψ)；ζ_z(k)是协方差阵为对角阵R(k)的白噪声向量。特征点测量值由机载摄像机系统24通过图像处理模块243直接得到，而特征点测量值的估计值，则是根据系统状态X(k)，通过摄像机系统模型32对跑道模型31进行处理，按照图2所示，通过公式(1)-(5)计算得到。

在状态估计中，我们取UAV在惯性坐标系中的位置(x，y，z)和速度(V_x，V_y，V_z)以及UAV的姿态角(φ，θ，ψ)作为系统的状态变量X(k)，通过UAV的运动学关系，得到系统的动态方程：

X(k+1)＝Φ(X(k))+ζ_x(k)。    (10)

其中，Φ(·)是系统的非线性状态方程，而ζ_x(k)是协方差阵为对角阵Q(k)的白噪声向量。

关于多速率扩展卡尔曼滤波器，通过式(9)给出的测量方程和式(10)给出的动态方程，利用扩展卡尔曼滤波器(EKF)，建立UAV的动态估计器，从而可以估计出UAV在空间的位置和姿态。EKF方法，必须假设在每次状态更新和测量更新时，各个传感器在该时刻均有测量值。但是，我们注意到由于机载传感器子系统2中各传感器系统给出的信息具有不同的更新频率，不同时间延迟特性，特别是机载摄像机系统24，它的更新速率和延迟特性不是固定不变的。因此需要根据信息的特点，对扩展卡尔曼滤波器进行改进，设计出能真正处理UAV多传感系统信息的多速率扩展卡尔曼滤波器(MEKF)。

由系统动态方程式(10)可知，系统状态变量可由惯导系统给出。机载惯导系统21具有较高的输出频率，这里假设为1/T₁；而量测方程式(9)的输出频率由机载摄像机系统24、高度表系统22和磁罗盘23的更新频率决定，而机载摄像机系统24相对于两个传感器输出频率较低，延迟最大。不妨假设三个传感器都与机载摄像机系统24输出频率1/T_V相同，输出延迟都与摄像机系统延迟T_d相同。为了简便起见，设T_V＝pT₁，T_d＝qT₁，其中p，q为可变正整数。

MEKF对多速率测量和测量延迟的处理，主要体现在下面两个运行机制上：

1)基于事件驱动：当没有视觉测量数据时，滤波器只进行状态预估和误差协方差的传播；而当测量发生后，用测量的数据去校正滤波器的预估状态和误差协方差，如式(11)所示。

2)基于延迟校正的数据平滑：由于摄像机系统存在延迟T_d，kT₁时刻获得的测量值与状态X(k-q)相对应，因此需要利用存储的各个时刻的状态值X(i)，i＝k-q，…k，先对原来的状态和误差协方差进行校正，再使用滤波器动态方程，进行数据平滑，更新当前的状态估计和协方差，即求得式(11)中的Φ_d(·)。

通过MEKF对机载传感器子系统2各个测量值的处理，导航系统不但具有与惯导系统相同的高带宽，同时由于视觉系统的存在，可以修正惯导系统的漂移，得到高频率高精度的导航信息。

本发明一种基于视觉的无人驾驶飞机自主着陆导航系统，其优点是：不依赖外界信息的情况下，只利用机载惯导系统、高度表系统、磁航向仪、机载视觉系统等被动传感器和地面合作标志图像，为UAV在着陆过程中提供UAV相对于跑道的导航信息，提高飞机的生存能力，同时也可以作为有人飞机着陆过程中的导航辅助信息的提供源。

(四)附图说明：

图1基于视觉的组合导航方案坐标系定义示意图。

图2基于视觉的UAV自主着陆组合导航系统结构图。

图3(a)系统采集到的彩色图像。

图3(b)图像预处理后的图像。

图3(c)区域分割后的图像。

图3(d)特征提取与目标识别(经放大)。

图中标号如下：

1跑道特征           11跑道特征点(A～G)

2机载传感器子系统   21机载惯导系统   22高度表系统

221气压高度表       222雷达高度表    23磁罗盘

24机载摄像机系统    241自由度云台    242摄像机

243图像处理模块

3信息融合子系统     31跑道模型       32摄像机系统模型

33数据处理模块

(五)具体实施方式：

本发明一种基于视觉的无人驾驶飞机自主着陆导航系统，由软件算法及硬件装置两部份组成；

该软件算法包括有：计算机视觉算法及信息融合和状态估计算法；

请参阅图2所示，该硬件装置包括有：布置在跑道平面上的跑道特征1、用于测量UAV状态的机载传感器子系统2和用于处理传感器测量信息的信息融合子系统3；

该机载传感器子系统2包括有机载摄像机系统24、机载惯导系统21、高度表系统22、磁罗盘23；通过机载惯导系统21、高度表系统22、磁罗盘23等传感器，对UAV真实状态进行测量，通过机载摄像机系统24对跑道特征1进行跟踪与分析，得到跑道特征点11的测量值，这些测量信息传给信息融合子系统3；

该信息融合子系统3根据前一时刻其对飞机状态的估计值以及机载传感器子系统2在当前时刻对飞机状态的测量值，通过跑道模型31、摄像机系统模型32得到跑道特征点11的估计值，与跑道特征点11的测量值进行比较，并融合其他测量信息，通过数据处理模块33的计算，最终得到高精度的导航信息。

为了在导航过程中利用跑道上布置的特征信息来估计UAV相对于跑道的位置和姿态，我们必须将地面上的特征与摄像机捕捉到的特征联系起来，建立它们之间的函数关系。因此，我们需要定义坐标系；该坐标系主要包括有：惯性坐标系{E}、机体坐标系{B}、摄像机坐标系{C}及视平面坐标系{I}；

不同坐标系的定义请参阅图1所示，主要包括惯性坐标系{E：o-xyz}，机体坐标系{B：o_b-x_by_bz_b}，以及摄像机坐标系{C：o_c-x_cy_cz_c}和视平面坐标系{I：(u，v)}。摄像机坐标系{C}是机体坐标系{B}经过简单的平移，然后依次水平转动ψ_c和俯仰转动θ_c得到(ψ_c、θ_c是安装摄像机的二自由度云台相对于机体坐标系的转动角)。为便于分析，假设安装摄像机的云台转动中心和摄像机光轴中心是重合的。视平面坐标系{I}的定义和摄像机坐标系{C}一致。

根据系统中的几何关系，给出如下符号定义：R_EB表示从{E}到{B}的旋转变换；R_BC是从机体坐标系{B}到摄像机坐标系{C}的旋转变换；

表示UAV在惯性坐标系{E}的位置；

表示摄像机在机体坐标系{B}中的位置。其中，R_EB变换常用从惯性坐标系{E}到机体坐标系{B}的欧拉角(φ，θ，ψ)表示；R_BC可以用摄像机安装云台的方位角和俯仰角(θ_C，ψ_C)表示，如式(1)、(2)所示。

$R_{\mathrm{EB}}=\left[\begin{array}{ccc}\cos \mathrm{\θ}\cos \mathrm{\ψ}& \cos \mathrm{\θ}\sin \mathrm{\ψ}& -\sin \mathrm{\θ}\\ -\cos \mathrm{\φ}\sin \mathrm{\ψ}+\sin \mathrm{\φ}\sin \mathrm{\θ}\cos \mathrm{\ψ}& \cos \mathrm{\φ}\cos \mathrm{\ψ}+\sin \mathrm{\φ}\sin \mathrm{\θ}\sin \mathrm{\ψ}& \sin \mathrm{\φ}\cos \mathrm{\θ}\\ \sin \mathrm{\φ}\sin \mathrm{\ψ}+\cos \mathrm{\φ}\sin \mathrm{\θ}\cos \mathrm{\ψ}& -\sin \mathrm{\φ}\cos \mathrm{\ψ}+\cos \mathrm{\φ}\sin \mathrm{\θ}\sin \mathrm{\ψ}& \cos \mathrm{\φ}\cos \mathrm{\θ}\end{array}\right]---\left(1\right)$

$R_{\mathrm{BC}}=\left[\begin{array}{ccc}\cos {\mathrm{\θ}}_c\cos {\mathrm{\ψ}}_c& \cos {\mathrm{\θ}}_c\sin {\mathrm{\ψ}}_c& -\sin {\mathrm{\θ}}_c\\ -\sin {\mathrm{\ψ}}_c& \cos {\mathrm{\ψ}}_c& 0\\ \sin {\mathrm{\θ}}_c\cos {\mathrm{\ψ}}_c& \sin {\mathrm{\θ}}_c\sin {\mathrm{\ψ}}_c& \cos {\mathrm{\θ}}_c\end{array}\right]---\left(2\right)$ 设第i个特征点在惯性坐标系{E}中坐标为

，则其在摄像机坐标系{C}中坐标表示为：

${\stackrel{\→}{P}}_i^C=R_{\mathrm{BC}}(R_{\mathrm{EB}}({\stackrel{\→}{P}}_i-{\stackrel{\→}{P}}_B)-{\stackrel{\→}{P}}_C^B)=R_{\mathrm{BC}}\·R_{\mathrm{EB}}({\stackrel{\→}{P}}_i-{\stackrel{\→}{P}}_B)-R_{\mathrm{BC}}\·{\stackrel{\→}{P}}_C^B---\left(3\right)$

令 $R_{\mathrm{BC}}\·R_{\mathrm{EB}}=\left[\begin{array}{ccc}{r}_1& r_2& r_3\\ r_4& r_5& r_6\\ r_7& r_8& r_9\end{array}\right],$ $-R_{\mathrm{BC}}\·{\stackrel{\→}{P}}_C^B={(k_x,k_y,k_z)}^T$ ，将式(3)写成分量形式为：

$\left[\begin{array}{c}{x}_i^C\\ y_i^C\\ z_i^C\end{array}\right]=\left[\begin{array}{c}{r}_1(x_i-x)+r_2(y_i-y)+r_3(z_i-z)+k_x\\ r_4(x_i-x)+r_5(y_i-y)+r_6(z_i-z)+k_y\\ r_7(x_i-x)+r_8(y_i-y)+r_9(z_i-z)+k_z\end{array}\right]---\left(4\right)$

摄像机坐标系{C}与视平面坐标系{I}之间采用基于针孔摄像机模型的透视投影。因此，摄像机的焦距为f时，第i个特征点在视平面坐标系{I}中的坐标表示为：

$\left[\begin{array}{c}{u}_i\\ v_i\end{array}\right]=f\·\left[\begin{array}{c}{y}_i^C/x_i^C\\ z_i^C/x_i^C\end{array}\right]---\left(5\right)$

由于特征点相对于机场跑道的位置是已知的，通过式(4)、式(5)，就可以得到视平面坐标[u_i，v_i]^T、惯性坐标[x_i，y_i，z_i]^T与UAV相对于跑道的位置和姿态的关系。

UAV的进入基于视觉的自主着陆阶段以前，一般会对机载导航系统进行多次空中校准，但由于此时UAV飞行高度较高，速度较快，所以校准的精度还不足以导引UAV完成着陆操作。这里假设在进入基于视觉的自主着陆阶段以前：

(1)飞机被成功的导引到指定的区域；

(2)机载导航系统进行了空中校准，其高度误差小于±30m，水平方向的位置误差小于±200m，速度误差小于±1m/s，欧拉角测量误差小于±1度。

在UAV进入基于视觉的自主着陆过程后，机载摄像机系统根据导航系统的测量值，预估特征点的位置，并控制摄像机系统的云台，使摄像机在一定区域内搜索预先设置在机场跑道上的特征图像；当系统获取到特征图案后，摄像机系统进入跟踪模态，即控制云台以跟踪特征图像，并对图像进行相应的图像处理，提取特征图像上的特征点的信息；融合机载惯导系统信息，同时结合高度表系统、磁罗盘等机载传感器的测量信息，获得高精度的UAV导航信息。

其中，跑道特征1的选择，能够在摄像机视平面上成像的每个跑道特征点11，都会通过式(4)、式(5)给出以UAV位置和姿态为参数的两个方程。由于这些方程是非线性方程，若只有三个特征点，会得到位置和姿态的多组解。为了得到唯一解，至少需要4个一般布局的特征点。在自主着陆导航系统中，为了减小噪声对系统的影响，提高系统的估计精度，采用7个特征点作为跑道特征。

考虑到提取多边形区域的顶点算法成熟、鲁棒性好，而三角形和四边形的顶点曲率大，更易于顶点提取，同时跑道颜色较深，所以选取在跑道起点附近喷涂灰度值较高的(白色)三角形与四边形组合图案的方法来布置跑道特征1，如图1点A至G所示。两个图形关于跑道中心线对称，同时点B、D和F位于跑道中心线上，这些跑道特征点11在惯性坐标系{E}中的坐标分别为：A(30，-15，0)、B(10，0，0)、C(30，15，0)、D(70，0，0)、E(200，-20，0)、F(150，0，0)和G(200，20，0)。采用两个不同图形组合的方式，还可以帮助UAV判断着陆方向。由于飞机着陆过程与跑道之间夹角较小，沿跑道方向在的图案成像时会有较大的压缩，所以多边形区域沿跑道方向设计得较长。将标志布置在飞机着陆点之前，可以防止由于飞机滑跑刹车时，在标志上留下过多的刹车痕迹，影响其他UAV的识别效果。同时可以使飞机下滑时，得到尽量大的图像。

机载摄像机系统24由二自由度云台241、摄像机242以及图像处理模块243组成。二自由度云台241固定在UAV下部，可以在云台控制器的控制下，相对于UAV作俯仰运动和连续的水平运动，使系统完成搜索目标和锁定目标的任务。摄像机242采用PAL制彩色摄像机一体机，可以在控制指令的控制下进行变倍操作，使得跑道特征11在摄像机242中的成像大小利于视觉算法的运算。图像处理模块243可以对摄像机242拍摄的场景进行采集，同时对采集的图像进行处理，得到跑道特征点11在视平面上成像的坐标值。图像处理模块243中对图像进行处理的计算机视觉技术是机载摄像机系统24的关键，具体内容将在下面加以论述。

机载惯导系统21采用惯性测量单元(Inertial Measurement Unit，IMU)，它由固连的三个正交安装的加速度计和三个正交的陀螺仪组成。IMU的直接测量值为飞机在体轴向的三个加速度和三个角速度，可以通过信息融合子系统3计算出飞机的速度、位置和姿态等信息。一般认为，IMU具有优良的高更新率特性(可以达到100Hz以上)，且为实时输出。

高度表系统22采用了气压高度表221和雷达高度表222的组合系统。根据气压高度表221的低频特性和雷达高度表222的高频特性，利用互补滤波方式(其运算在数据处理模块33种完成)，消除了气压高度表221产生的稳态误差以及雷达高度表222较大的测量噪声，得到高精度的高度估计。由于采用了两种高度表组合的方式，使得系统采样频率较低，但其输出是实时的。高度表系统22采样频率为30Hz。

信息融合子系统3利用信息融合技术，可以充分融合机载传感器子系统2中各机载传感器在空间和时间上的冗余或互补信息，从而取长补短，精确地给出UAV的导航信息，消除传感器测量值的不确定性，提高系统的可靠性。考虑到UAV着陆时，对机载传感器子系统2的信息融合主要是检测级的融合，而卡尔曼滤波方法正好适用于实时融合动态的低层次冗余数据，所以本方案选用基于卡尔曼滤波方法的融合算法。

关于计算机视觉算法，在自主着陆过程中，机载摄像机系统24根据对UAV状态的估计值，控制二自由度云台241和摄像机242的焦距，使摄像机能够搜索、捕捉和跟踪跑道特征图案，并在图像处理模块243中通过一系列的计算机视觉算法，得到用于UAV位置和姿态估计的特征点坐标。视觉处理过程主要分为：图像预处理、区域分割与标记和特征提取与目标识别三个阶段。

1)图像预处理

一般情况下，摄像机242获得的原始图像由于受到种种条件限制和随机干扰，往往不能在视觉系统中直接进行分析处理，必须在图像预处理阶段对原始图像进行灰度校正、噪声过滤等图像预处理。

根据UAV机载摄像机系统24的任务特点，考虑到对灰度图的处理算法比较成熟，同时运算速度较快、运算量相对比较少，首先通过公式：

Y＝0.299×R+0.596×G+0.211×B    (6)

将获取的彩色图像转化为灰度图像。其中，R，G，B分别表示图像中红、绿、蓝三种颜色的分量。

由于获取的图像存在噪声，必须对其进行滤波处理。一般认为图像采集过程中存在的噪声可以近似为白噪声。中值滤波是一种具有很好低通特性，同时还能尽可能多的保存图像边缘细节的非线性平滑方法，它的主要思想是用邻域中亮度的中值代替图像的当前点。邻域中亮度的中值不受个别噪声毛刺的影响，因此中值滤波可以在相当好的消除脉冲噪声同时，还对图像的边缘细节进行保留。本方案选用7×7的中值滤波器对灰度图像进行处理。

图3(a)是一幅UAV着陆过程中采集到的图像，转换为灰度并经过中值滤波的图像见图3(b)。

2)区域分割与标记

本阶段任务是从经过预处理后的图像中得到特征识别所需的候选区域，需要经过阈值化分割(Thresholding)和区域生长与标记(Region growing andLabeling)两个过程。

对进行过滤波的图像进行阈值化，将灰度图转化为二值图，这样可以有效地减少后续处理工作的运算量。阈值化分割算法首先需要确定一个处在图像灰度取值范围之中的灰度阈值，然后将图像中各个像素的灰度值都与之比较，并根据比较的结果将对应的像素化分为两类：像素灰度大于阈值的为一类，即区域生长阶段的种子区域；像素灰度小于阈值的为另一类。考虑到在不同时间着陆，摄像机捕捉到的图像亮度会随着光照不同而变化，所以阈值化时不能选择固定的阈值。由于阈值化的目的是为了得到区域生长的种子，而且跑道特征在图像中的灰度值会比较大，所以选择的阈值可以相对比较高。经过对不同的阈值选取方法的实验比较，采用设置处于图像最大与最小灰度之间固定比例的灰度值作为阈值的方法，虽然简单，但该方法可以得到鲁棒性与高分割质量的最好折中。

经过阈值化得到的种子区域，采用区域生长的方法，得到包括完整跑道特征图案在内的待处理区域。区域生长是根据预先定义的生长准则把像素或子区域集合成较大区域的处理方法，也就是以一组“种子”区域开始，将那些属性类似于种子的邻域像素附加到对应种子上。这里，生长准则定义为：若相邻待选像素的灰度值与种子区域的平均灰度值之间的差小于一个预先选定的固定值，则认为该像素与种子区域类似。标识就是在区域生长完成后给每个不相邻的区域标志一个唯一的数字(整数)。

经过区域分割与标记的图像见图3(c)。

3)特征提取与目标识别

本阶段的任务就是从多个不相邻的候选区域中提取能够用于识别的特征，对各个区域进行抽象的描述，并通过对这些特征的分析，识别出与跑道标记所对应的两个区域，最后从这两个区域中得到所需的七个特征点在视平面坐标系{I}中的坐标值，用于飞机的位置和姿态估计。

考虑到机载摄像机系统24在进行视觉处理之前，可以根据其他传感器信息得到跑道特征点在视平面成像的预估值，再根据跑道标志的特点，选择下面几种区域的描述作为特征：

h.区域的面积：即区域包含的像素总个数。

i.细长度：即包围区域的最小面积的矩形的长宽比。最小外接矩形是通过以离散步长旋转矩形，直到得到最小值来确定的。

j.方向：即最小外接矩形的长边的方向。考虑到跑道标志在视平面上的成像为细长区域，所以使用方向作为特征是合理的。

k.紧致度：即区域外部边界长度的平方与区域面积的比值。

l.区域的位置：即区域最小外接矩形对称中心在视平面上的坐标。

m.投影：通过求取沿最小外接矩形的长边与短边方向的投影，分析区域的形状。

n.两个区域之间相对位置：包括两个区域的距离与相对方向。

得到区域的特征后，与由预估跑道特征点坐标导出的特征值作比较，最终确定两个跑道标志区域。

由于着陆过程UAV与跑道之间夹角较小，跑道特征区域成像时沿跑道方向会有较大的压缩，使得布置在跑道中心线上的三个顶点(点B、D和F)难以准确检测。所以本发明采取的特征点识别策略是：首先使用最小核值相似区(Smallest Univalue Segment Assimilating Nucleus，SUSAN)原则检测两个跑道特征区域的边界和角点，并选择每个区域曲率最大的两个角点与点A、C、E和G相对应；由于经过点E、C与经过点G、A的两直线的交点H和经过点E、A与经过点G、C的两直线的交点I都位于跑道中心线上，同时点B、D和F也位于这条线上，所以，可以通过求取过点H、I的直线与两个跑道区域边界的交点确定点B、D和F，如图3(d)所示。

关于视觉算法的实时性要求，视觉处理的过程是比较复杂的任务，需要一定时间，要做到较高的帧速率(如高于30帧/秒)是非常困难的，需要有非常高性能的图像处理硬件，因此机载摄像机系统24的测量信息一般输出频率较低，而且有一定的延迟。同时，由于环境的变化或处理任务的变化，图像处理的时间也是不定的。当系统进行搜索操作时，视觉算法会在整个图像平面进行。而当系统成功捕获目标并进行跟踪后，由于可以准确的预估特征标志的成像位置，图像处理仅在预估的一个较小范围进行。所以图像处理的时间会有较大的不同。

根据对我们现有的原形系统进行测试，系统在搜索目标过程中，图像处理的帧速率约8帧/秒，延迟约150ms(包括采集卡采集时间)；在跟踪目标过程中，图像处理的帧速率约18帧/秒，延迟约75ms(包括采集卡采集时间)。

关于信息融合和状态估计算法，随着机载传感器数量的增多，多传感器信息融合技术已成为状态估计的重要手段。作为信息融合中进行位置估计的有效方法——卡尔曼滤波算法，由于采用了递推形式，数据存储量小，不仅可以处理平稳随机过程，而且可以处理多维和非平稳随机过程。目前卡尔曼滤波技术已成为实现多传感器信息融合的主要技术手段。本节主要论述如何将视觉信息与惯导、高度表信息融合，构造适合于UAV自主着陆中多传感器多速率扩展卡尔曼滤波器。

关于系统测量方程和动态方程构造，由图2可知，状态估计中最重要的就是机载摄像机系统24通过计算机视觉技术得到的特征点信息，本方案将这7个特征点在视平面坐标系{I}中的测量值作为系统测量值的一部分。这里假设系统得到的特征点测量值由于图像采集、量化及处理等操作，存在相互独立的白噪声[η_ui，η_vi]^T，使之与真实值之间存在如下关系：

$\left[\begin{array}{c}{z}_{2i-1}\\ z_{2i}\end{array}\right]=\left[\begin{array}{c}\widetilde{u_i}\\ \widetilde{v_i}\end{array}\right]=\left[\begin{array}{c}{u}_i\\ v_i\end{array}\right]+\left[\begin{array}{c}{\mathrm{\η}}_{\mathrm{ui}}\\ {\mathrm{\η}}_{\mathrm{vi}}\end{array}\right],i=\mathrm{1,2},\·\·\·,7.---\left(7\right)$

除了上述14个测量值，系统还存在由高度表系统22得到的飞行高度和由磁罗盘23得到的偏航角的测量值。可表示为：

$\left[\begin{array}{c}{z}_{15}\\ z_{16}\end{array}\right]=\left[\begin{array}{c}\tilde{H}\\ \widetilde{\mathrm{\ψ}}\end{array}\right]=\left[\begin{array}{c}H\\ \mathrm{\ψ}\end{array}\right]+\left[\begin{array}{c}{\mathrm{\η}}_H\\ {\mathrm{\η}}_{\mathrm{\ψ}}\end{array}\right]---\left(8\right)$

由式(7)表示的图像特征点信息和式(8)表示的其他传感器信息可以通过关系式h(X(k))与UAV在惯性坐标系中的位置和姿态信息联系起来，在k时刻，可以表示为：

Z(k)＝h(X(k))+ζ_z(k)    (9)

其中，Z(k)＝[z₁，z₂，…，z₁₆]^T；X(k)是系统的状态向量，包括UAV在惯性坐标系中的位置(x，y，z)、速度(V_x，V_y，V_z)以及姿态角(φ，θ，ψ)；ζ_z(k)是协方差阵为对角阵R(k)的白噪声向量。特征点测量值由机载摄像机系统24通过图像处理模块243直接得到，而特征点测量值的估计值，则是根据系统状态X(k)，通过摄像机系统模型32对跑道模型31进行处理，按照图2所示，通过公式(1)-(5)计算得到。

在状态估计中，我们取UAV在惯性坐标系中的位置(x，y，z)和速度(V_x，V_y，V_z)以及UAV的姿态角(φ，θ，ψ)作为系统的状态变量X(k)，通过UAV的运动学关系，得到系统的动态方程：

X(k+1)＝Φ(X(k))+ζ_x(k)。        (10)

其中，Φ(·)是系统的非线性状态方程，而ζ_x(k)是协方差阵为对角阵Q(k)的白噪声向量。

关于多速率扩展卡尔曼滤波器，通过式(9)给出的测量方程和式(10)给出的动态方程，利用扩展卡尔曼滤波器(EKF)，建立UAV的动态估计器，从而可以估计出UAV在空间的位置和姿态。EKF方法，必须假设在每次状态更新和测量更新时，各个传感器在该时刻均有测量值。但是，我们注意到由于机载传感器子系统2中各传感器系统给出的信息具有不同的更新频率，不同时间延迟特性，特别是机载摄像机系统24，它的更新速率和延迟特性不是固定不变的。因此需要根据信息的特点，对扩展卡尔曼滤波器进行改进，设计出能真正处理UAV多传感系统信息的多速率扩展卡尔曼滤波器(MEKF)。

由系统动态方程式(10)可知，系统状态变量可由惯导系统给出。机载惯导系统21具有较高的输出频率，这里假设为1/T₁；而量测方程式(9)的输出频率由机载摄像机系统24、高度表系统22和磁罗盘23的更新频率决定，而机载摄像机系统24相对于两个传感器输出频率较低，延迟最大。不妨假设三个传感器都与机载摄像机系统24输出频率1/T_V相同，输出延迟都与摄像机系统延迟T_d相同。为了简便起见，设T_V＝pT₁，T_d＝qT₁，其中p，q为可变正整数。

MEKF对多速率测量和测量延迟的处理，主要体现在下面两个运行机制上：

1)基于事件驱动：当没有视觉测量数据时，滤波器只进行状态预估和误差协方差的传播；而当测量发生后，用测量的数据去校正滤波器的预估状态和误差协方差，如式(11)所示。

2)基于延迟校正的数据平滑：由于摄像机系统存在延迟T_d，kT_l时刻获得的测量值与状态X(k-q)相对应，因此需要利用存储的各个时刻的状态值X(i)，i＝k-q，…k，先对原来的状态和误差协方差进行校正，再使用滤波器动态方程，进行数据平滑，更新当前的状态估计和协方差，即求得式(11)中的Φ_d(·)。

通过MEKF对机载传感器子系统2各个测量值的处理，导航系统不但具有与惯导系统相同的高带宽，同时由于视觉系统的存在，可以修正惯导系统的漂移，得到高频率高精度的导航信息。

Claims (6)

1.一种基于视觉的无人驾驶飞机自主着陆导航系统，该无人驾驶飞机，以下简称：UAV，其特征在于，该系统由软件算法及硬件装置两部份组成；

该软件算法包括有：计算机视觉算法及信息融合和状态估计算法；

该硬件装置包括有：布置在跑道平面上的跑道特征(1)、用于测量UAV状态的机载传感器子系统(2)和用于处理传感器测量信息的信息融合子系统(3)；

该机载传感器子系统(2)包括有机载摄像机系统(24)、机载惯导系统(21)、高度表系统(22)、磁罗盘(23)；通过机载惯导系统(21)、高度表系统(22)、磁罗盘(23)的传感器，对UAV真实状态进行测量，通过机载摄像机系统(24)对跑道特征(1)进行跟踪与分析，得到跑道特征点(11)的测量值，这些测量信息传给信息融合子系统(3)；

该信息融合子系统(3)根据前一时刻其对飞机状态的估计值以及机载传感器子系统(2)在当前时刻对飞机状态的测量值，通过跑道模型(31)、摄像机系统模型(32)得到跑道特征点(11)的估计值，与跑道特征点(11)的测量值进行比较，并融合其他测量信息，通过数据处理模块(33)的计算，最终得到高精度的导航信息

2.根据权利要求1所述的一种基于视觉的无人驾驶飞机自主着陆导航系统，其特征在于：该跑道特征(1)能够在摄像机视平面上成像的每个跑道特征点(11)，都会给出以UAV位置和姿态为参数的两个方程，为了得到唯一的解，至少需要4个一般布局的特征点，在自主着陆导航系统中，为了减小噪声对系统的影响，提高系统的估计精度，采用7个特征点作为跑道特征；而三角形和四边形的顶点曲率大，更易于顶点提取，采用两个不同图形组合的方式，可以帮助UAV判断着陆方向，所以选取在跑道起点附近喷涂白色三角形与四边形组合图案的方法来布置跑道特征(1)，两个图形关于跑道中心线对称，同时点B、D和F位于跑道中心线上，这些跑道特征点(11)在惯性坐标系{E}中的坐标分别为：

A(30，-15，0)  B(10，0，0)  C(30，15，0)  D(70，0，0)  E(200，-20，0)  F(150，0，0)G(200，20，0)

3.根据权利要求1所述的一种基于视觉的无人驾驶飞机自主着陆导航系统，其特征在于：该机载传感器子系统(2)中的机载摄像机系统(24)，由二自由度云台(241)、摄像机(242)以及图像处理模块(243)组成；

该二自由度云台(241)固定在UAV下部，可以在云台控制器的控制下，相对于UAV作俯仰运动和连续的水平运动，使系统完成搜索目标和锁定目标的任务；

该摄像机(242)采用PAL制彩色摄像机一体机，可以在控制指令的控制下进行变倍操作，使得跑道特征(11)在摄像机(242)中的成像大小利于视觉算法的运算；

该图像处理模块(243)可以对摄像机(242)拍摄的场景进行采集，同时对采集的图像进行处理，得到跑道特征点(11)在视平面上成像的坐标值，图像处理模块(243)中对图像进行处理的计算机视觉技术是机载摄像机系统(24)的关键。

4.根据权利要求1所述的一种基于视觉的无人驾驶飞机自主着陆导航系统，其特征在于：该机载传感器子系统(2)中的高度表系统(22)，采用气压高度表(221)和雷达高度表(222)的组合；根据气压高度表(221)的低频特性和雷达高度表(222)的高频特性，利用互补滤波方式其运算在数据处理模块(33)中完成，消除了气压高度表(221)产生的稳态误差以及雷达高度表(222)较大的测量噪声，得到高精度的高度估计；由于采用了两种高度表组合的方式，使得系统采样频率较低，但其输出是实时的，高度表系统(22)采样频率为30Hz。

5.根据权利要求1所述的一种基于视觉的无人驾驶飞机自主着陆导航系统，其特征在于：该计算机视觉算法是在自主着陆过程中，机载摄像机系统(24)根据对UAV状态的估计值，控制二自由度云台(241)和摄像机(242)的焦距，使摄像机能够搜索、捕捉和跟踪跑道特征图案，并在图像处理模块(243)中通过一系列的计算机视觉算法，得到用于UAV位置和姿态估计的特征点坐标；视觉处理过程主要分为：图像预处理、区域分割与标记和特征提取与目标识别三个阶段。

6.根据权利要求1所述的一种基于视觉的无人驾驶飞机自主着陆导航系统，其特征在于：该信息融合和状态估计算法，随着机载传感器数量的增多，多传感器信息融合技术已成为状态估计的重要手段，作为信息融合中进行位置估计的有效方法是卡尔曼滤波算法，由于采用了递推形式，数据存储量小，不仅可以处理平稳随机过程，而且可以处理多维和非平稳随机过程。

Images