基于计算机视觉技术的无人机自动导航研究

基于计算机视觉技术的无人机自动导航研究 中图分类号:TP391 论文编 号:1028703 13-S222 学科分类号:081101 硕士学位论文 基于计算机视觉技术的 无人机自动导航研究 研究生姓名 陶琨 学科、专业 控制理论与控制工程 研究方向 计算机测试与控制 指导教师 王道波教授 南京航空航天大学 研究生院 自动化学院 二О 一三年三月 Nanjing University of Aeronautics and Astronautics The Graduate School College of Automation Engineering Research on Automatic Navigation of Unmanned Aerial Vehicle Based on Computer Vision A Thesis in Control Science and Engineering by Tao Kun Advised by Prof. Wang Daobo Submitted in Partial Fulfillment of the Requirements for the Degree of Master of Engineering March, 2013 承诺书 本人声明所呈交的硕士学位论文是本人在导师指导下进 行的研究工作及取得的研究成果。除了文中特别加以标注和致 谢的地方外，论文中不包含其他人已经发表或撰写过的研究成 果，也不包含为获得南京航空航天大学或其他教育机构的学位 或证书而使用过的材料。 本人授权南京航空航天大学可以将学位论文的全部或部 分内容编入有关数据库进行检索，可以采用影印、缩印或扫描 等复制手段保存、汇编学位论文。 保密的学位论文在解密后适用本承诺书 作者签名: 日期: 南京航空航天大学硕士学位论文 摘 要 随着计算机视觉技术和微电子技术的快速发展，利用图像信息估计无人机飞行姿态和空间 位置的研究成为自动导航控制领域的研究热点，为高自主级别的无人机控制系统提供了新 的思路和实践。 针对小型无人机撞线回收进近阶段的相对导航问，设计了适用于撞线回收方式的计算机 视觉导航系统，提出了一种全自动的基于图像信号的无人机相对导航算法，改进了基于模块匹 配的运动目标跟踪算法，使其能够对尺度外形产生旋转平移等较大变化的目标进行有效地在线 跟踪，并进行了在线仿真，结果表明该系统解决了回收系统中无人机目标的导航参数自动获取， 目标自动识别和稳定实时跟踪等问题。 提出了一种利用计算机视觉技术实现未知场景中无人机运动轨迹估计的导航策略，研究了 基于视觉的同步定位和地图构建技术及其算法步骤，采用扩展卡尔曼滤波算法预测运动轨迹。 仿真实验表明无人机可以搭载摄像机对场景中的特征进行跟踪，通过惯性组件和高度计实现无 人机位置姿态等导航参数和运动轨迹的实时估计、环境稀疏特征地图的构建等问题，具备一定 的理论价值和工程价值。 关键词:计算机视觉，无人机，撞线回收，模块匹配，运动轨迹估计，同时定位与地图构建 I 基于计算机视觉技术的无人机自动导 航研究 ABSTRACT With the rapid development of computer vision and micro-electronic technologies, it gradually becomes a popular way to estimate the flight attitude and the relative position of Unmanned Aerial Vehicles UAVs via the image information in the field of automatic navigation, which provides a new method to the design of the high-level autonomous control systems. A navigation system based on computer vision is designed for the navigation in UAV Cable-hock recovery approach, and this research proposes an automatic navigation algorithms based on computer vision. An improved algorithm, based on template matching technique, is adopted to track targets that change drastically in size or appearance. The experiments show that the issue of navigation parameters acquired, and target recognized automatically as well as and stable real-time tracking is solved by the recovery system. This research proposed a movement estimating navigation strategy of UAV in the unknown scene. In the study of visual Simultaneous Localization And Mapping SLAM algorithm steps, the Extended Kalman Filter algorithm EKF predicts trajectory. Simulation experiments show that the UAV can be equipped with a camera to acquire the UAV position and attitude of navigation parameters, the trajectory of the real-time estimate, the sparse feature mapping and so on by the Inertial Measurement Unit IMU and altimeter is solved with a certain theoretical and engineering value. Key words: computer vision , UAV, Cable Hock recovery, trajectory estimating, template matching, SLAM II 南京航空航天 大学硕士学位论文 目 录 摘 要.......................................................................................................................................................I 目 录....................................................................................................................................................III 图表清 单.................................................................................................................................................V 注释 表.................................................................................................................................................. VII 缩略 词.................................................................................................................................................VIII 第一章 绪 论............................................................................................................................................ 1 1.1 研究背景和意 义........................................................................................................................ 1 1.2 计算机视觉中的关键技 术........................................................................................................ 1 1.2.1 数字图像处 理................................................................................................................. 1 1.2.2 视觉跟踪技 术.................................................................................................................2 1.2.3 计算机视觉自动导航技 术.............................................................................................3 1.3 本课题研究的内容和论文安 排................................................................................................4 第二章 计算机视觉技术的基本原 理.....................................................................................................6 2.1 序列图像的获取和分 析............................................................................................................6 2.1.1 使用CCD 摄像机获取序列视 频...................................................................................6 2.1.2 CCD 摄像机的成像原理和标 定.....................................................................................6 2.2 视觉目标的跟踪方 法................................................................................................................9 2.2.1 光流 法.............................................................................................................................9 2.2.2 图像背景建模 法........................................................................................................... 10 2.2.3 基于核的跟 踪............................................................................................................... 12 2.3 运动建模与跟踪方 法.............................................................................................................. 15 2.3.1 卡尔曼滤 波................................................................................................................... 15 2.3.2 粒子滤 波....................................................................................................................... 16 2.4 图像特征提取方 法.................................................................................................................. 19 2.4.1 尺度不变特征转换方 法...............................................................................................20 2.4.2 角点检测方 法...............................................................................................................21 2.5 本章小 结.................................................................................................................................23 III 基于计算机视觉技术的无 人机自动导航研究 第三章 基于计算机视觉技术的无人机撞线回 收...............................................................................24 3.1 计算机视觉系统组成和导航原 理..........................................................................................25 3.1.1 无人机视觉回收装 置...................................................................................................25 3.1.2 二轴伺服转台的工作原 理...........................................................................................26 3.1.3 摄像机的标 定...............................................................................................................27 3.1.4 无人机目标空间位置解 算...........................................................................................29 3.1.5 无人机自动回收的导航原 理.......................................................................................30 3.2 无人机自动识 别......................................................................................................................31 3.2.1 目标运动区域识 别.......................................................................................................31 3.2.2 运动目标识 别...............................................................................................................32 3.2.3 运动目标的提 取...........................................................................................................33 3.3 一种改进的基于模块匹配的跟踪算 法..................................................................................34 3.3.1 基于模块匹配的基本原 理...........................................................................................34 3.3.2 改进算法的基本原理和算 法.......................................................................................37 3.4 仿真实验与分 析......................................................................................................................39 3.4.1 仿真硬件设 备...............................................................................................................39 3.4.2 仿真结 果.......................................................................................................................40 3.5 本章小 结.................................................................................................................................41 第四章 基于计算机视觉技术的无人机运动轨迹估 计.......................................................................42 4.1 SLAM 的原理与算 法..............................................................................................................42 4.1.1 SLAM 的原 理...............................................................................................................42 4.1.2 SLAM 的算 法...............................................................................................................43 4.2 视觉SLAM 的原理与算 法.....................................................................................................46 4.2.1 视觉SLAM 的原 理......................................................................................................46 4.2.2 视觉SLAM 算 法.........................................................................................................47 4.3 仿真试验与分 析......................................................................................................................54 4.4 本章小 结.................................................................................................................................56 第五章 总结和展 望..............................................................................................................................57 5.1 本文的主要工作总 结..............................................................................................................57 5.2 展 望.........................................................................................................................................57 参考文 献................................................................................................................................................59 致 谢........................................................................................................................................................63 攻读硕士学位期间发表的学术论文及科研工 作.................................................................................64 IV 南京航空航天大学硕士学位论文 图表清单 图2.1 针孔成像摄像机线性成像关 系................................................................... ................7 图2.2 窗口在二维图像上移动时各向变化情 况.................................................................22 图2.3 基本动态系统的马尔可夫 链..................................................................................... 15 图2.4 卡尔曼滤波两个回路的基本流 程............................................................................. 16 图2.5 粒子滤波原理示意 图................................................................................................. 19 图3.1 无人机各向回路中的航迹控制回 路.........................................................................25 图3.2 视觉回收系统组成原理框 图.....................................................................................25 图3.3 撞线回收系统组成示意 图.........................................................................................25 图3.4 二轴伺服转台在系统中的功能示意 图.....................................................................26 图3.5 二轴伺服转台实物 图.................................................................................................26 图3.6 理想直流电机机理模型 图.........................................................................................27 图3.7 二轴伺服转台控制系统的三环控制结构 图.............................................................27 图3.8 双摄像机计算机视觉定位原理 图.............................................................................30 图3.9 无人机视觉回收策略流程 图.....................................................................................31 图3.10 无人机目标自动识别流程 图...................................................................................31 图3.11 无人机目标实时自动跟踪流程 图...........................................................................31 图3.12 光流法计算流程 图...................................................................................................33 图3.13 模块匹配跟踪原理 图................................................................... ............................35 图3.14 周期更新目标模块原理示意 图...............................................................................38 图3.15 图像采集流程 图.......................................................................................................39 图3.16 采用Camera Calibration Toolbox for Matlab 工具包进行标 定.............................39 图3.17 对17 幅图像采用直接标定法进行标定结果 图.....................................................40 图3.18 实验室条件下对外形尺度等变化较大的移动目标进行实时跟 踪.......................41 图4.1 GPS 失效情况下的无人机自动导航系统 图.............................................................42 图4.2 一个典型的SLAM 场 景............................................................................................43 图4.3 EKF-SLAM 过程示意 图.............................................................................................45 图4.4 无人机装载单摄像机进行视觉SLAM 的装置示意 图............................................46 图4.5 视觉SLAM 算法总体架 构........................................................................................47 V 基于计算机视觉技术的无人机自动 导航研究 图4.6 利用欧拉角表示旋转矩 阵.........................................................................................48 图4.7 平滑运动的形象化模 型.............................................................................................49 图4.8 摄像机图像帧向量和特征的几何关 系.....................................................................50 图4.9 特征深度的测 量.........................................................................................................50 图4.10 平面特征三维方向估计的流程 图...........................................................................54 表3.1 华硕N46VZ 摄像头标定结 果..................................................................................40 VI 南京航空航天大学硕士学位论文 注释表 OXYZ 坐标系 m ，? 方向参 数 P 、Q 世界坐标系中两点 R 角 点质量判断式 a b P Q 、 世界坐标系中 、 两点的像 M 像素点相关矩阵 f 摄像机焦距 A B C D 像素 点相关矩阵元素 , , , s 扭曲因子 H 回收杆支架高度 ? 非线性畸变值 h 缆线长度 0 I 图像灰度 ?h 捕捉线下降距离 F 光流 d 两摄像机光心距离 X 随机变量 r 位移矢量 ? 位置参数 st 目标状态 ? 尺度参数 ? 特征路 标建立的地图 g 像素灰度值 z 观测到的特征路标 ? 权重 u 输入控制量 1 ? 学习常数 n 数据关联 T 阈值 ? 特征状态向量 x x 灰度向量 r 摄像机位置向量 y 当前帧候选模型的位置 q 四元组向量 p * 概率密度函数 v 摄像机的运动线速度 ? 克罗内克函数 ζ 摄像机运动的角速度 C 归一化常数 a 线加速度 h 带宽 ? 角加速度 d y 巴氏系数表示的距离函数 f 状态向量的更新估计 ? ? Q p u y0 y 0 处候选目标的概率 、P 噪声协方差矩阵 ? 相当小量 Bel * 目标状态后验概率 VII 基于计算机视觉技术的无人机自动导航研究 缩略词 英文全称 UAV Unmanned Aerial Vehicle ACL Autonomous Control Level GPS Global Position System SLAM Simultaneous Localization and Mapping EKF Extended Kalman Filter PF Particle Filter CCD Charge-Coupled Device SIFT Scale-Invariant Feature Transform SSD Sum of Squared Differences 缩略词 VIII 南京航空航天大学硕士学位论文 第一章 绪论 1.1 研究背景和意义 无人机 Unmanned Aerial Vehicle ，UAV 是无人驾驶飞机的简称，也称为空中机器人， 具有遥控、自动、半自主、全自主飞行的能力，结构简单、造价低廉、生存能力强、机动性 能好，能携带多种设备完成相应任务。自上世纪90 年代以来，随着微电子技术、智能技术、 传感技术、数字通信技术和虚拟现实技术等的发展，一些技术发展道路上的障碍逐渐被攻克， [1] 无人机的发展日益蓬勃 。军事上，无人机常用于执行侦察、战场态势监控、信号中继以及 目标照射等任务。经过多年发展，无人机飞行控制技术已经比较成熟，并应用于多种无人机 [2] 产品，较为著名的有美国的捕食者、全球鹰、火力侦察兵等 。 与此同时，随着无人机自主控制级别 Autonomous Control Level，ACL 定义的不断明确， 其自主导航及飞行控制技术正与人工智能相结合，并在一定程度上具备了对环境感知和决策 [3] 。在对无人机的自的能力，而视觉作为一种感知环境的方式也已应用其中 主控制能力进行 研究之前，需要对自主控制级别进行划分，目前的划分尚停留在定性描述阶段。Ziegler 于 [4] 2000 年将自主能力分为了三级 ;美国军队科学委员会于2001 年提出了一套自主控制级别 [5] 划分 ;美国国防部在 2005 年公布了无人机系统路线图 《Unmanned Aircraft System [6] Roadmap 2005-2030》 ，其中将自主控制级别分为11 级，前5 级适用于单架无人机，后6 级适用于无人机集群,从自动控制层面逐渐过渡到半自主任务控制，最后完 全摆脱人为干预， 达到全自主式系统。虽然对于ACL 的定义各不相同，但都遵循了从人为干涉到自动控制， [7] 最后发展为自主控制的过程 。为了满足无人机在未知环境下完成复杂任务的需要，近年来 基于视觉的导航、制导和控制是无人机自主飞行控制领域内的研究热点[8][9][10] 。 本课题源自于某小型无人机回收技术研究课题和某高原型无人机平台设计项目，要求能 够在海岛或舰船甲板等狭小区域实现无人机安全回收的功能。某高原型项目要求该型无人机 平台能够适应我国西部地区高原复杂地形，携带任务设备模拟控制机动目标等功能。为了保 证无人机的安全稳定回收以及在复杂地形环境下的飞行安全，本文着重研究了基于计算机视 觉技术的辅助导航系统在无人机飞行控制中的应用。 1.2 计算机视觉中的关键技术 1.2.1 数字图像处理 数字图像处理是指将模拟设备得到的图像信号转换为数字信号，然后利用计算机进行处 理。上世纪以来，计算机技术的进步、元件微小化革命以及大规模存储和显示系统的发展壮 大，促进了CCD 摄像机、照相机、扫描仪等成像设备和传真机等图像输出设备的发明研究， 1 基于计算机视觉技术的无人机自动导航研究 奠定了数字图像处理的基础;与此同时，多媒体技术发展与普及也异常迅猛，作为多媒体技 术主要内容的数字图像处理技术也广受重视。 早期常用的图像处理方法是图像的增强复原以及编码压缩等。20 世纪60 年代，加利福 尼亚喷气推进实验室对月表照片进行的处理奠定了图像增强复原技术的基础;1970 年，该 技术以及图像识别技术被用来处理地球卫星遥感图片;1971 年，英国电子工程师亨斯菲尔 德发明了世界上第一台基于图像重构技术的 X 射线脑断层摄像仪，并因此获得诺贝尔奖; 从70 年代开始，人们尝试结合人工智能技术，拓展增强计算机对图像的理解能力;80 年代 末和90 年代，高速计算机和大规模集成电路的发展使图像压缩、文本图像 的理解、文 [11] 字的识别等技术取得了重大进展 。 一般来说，数字图像处理的研究内容主要集中在: 1 空间域和频域图像的增强。该技 术的目标是使处理后的图像比原始图像更适合于特定场合。空间域方法是指对图像像素直接 进行处理，频域方法是指运用数学工具如傅里叶变换等对图像进行改换。由于处理效果的评 价具有较高的主观性，因此要便于计算机的识别和处理[12][13] 。 2 图像复原。图像复原技术 的目的是基于客观基础改善图像，利用某种先验知识来解决诸如模糊等图像退化的问题。该 方法假设图像模型为线性位置不变并带有加性噪声，通过复原算法或专用硬件进行滤波、使 用卷积模板减少周期性噪声等[14][15] 。 3 图像压缩。相对于传统信息，图像信息量较大，图 像压缩的目的是尽量减少数字图像表示所需的信息量，其内容包括数据压缩或信息编码，涉 [16] 及到图像压缩的模型、无误差压缩和有损压缩以及不同图像数据的压缩标 准 。 4 图像分 割。图像分割即输入为图像，而输出为图像中感兴趣或有意义的部分。该方法是基于灰度值 的不连续性和相似性进行研究，如对图像边缘的检测分割、基于区域的生长、聚合等。在多 数视觉识别场合，针对不同具体问题选择合适的分割算法，可以为深入分析图像解决问题做 好准备[17][18] 。 5 图像的匹配与识别。该方法可以自动从图像中提取出感兴趣或有意义的信 息、生成非图的描述，最终输出不是图像而是数值、符号等，旨在将图像更本质的特征或属 性表示出来加以利用[19][20] 。 目前，图像处理技术在各个领域的应用都取得了巨大进展和显著的经济效益，在国民经 济中扮演的角色越来越重要，因此，数字图像处理技术的研究对人类社会的发展和进步具有 重要意义，受到了广泛重视。 1.2.2 视觉跟踪技术 视觉跟踪技术在视频监视、图像压缩、三维重构、虚拟现实等方面有大量应用，是当 前计算机视觉领域中的研究热点之一。根据场景中运动目标的数目、摄像机的数目、是否有 相对运动、运动类型以及获取途径的不同等，可以将视觉跟踪问题分为许多种类，而处理这 些问题的思路大致可归结为两种，一种是不依赖于先验知识，直接从图像序列中获得目标的 运动信息并进行跟踪;另一种思路依赖于所构建的模型或先验知识，在图像序列中进行匹配 运算 相似距离最为接近则认为跟踪上运动目标 或求解后验概率 选择最大后验概率所对应 2 南京航空航天大学硕士学位论文 的状态向量作为运动目标的当前状态 。利用先验知识对跟踪问题建立模型，然后利用实际 图像序列验证模型正确性的方法具有坚实的数学理论基础，可以采用多种数学工具，一直是 [21] 理论界研究视觉跟踪问题的主流方法 。 20 世纪 80 年代至今，出现了众多的视觉跟踪算法: 1 基于运动矢量的方法。由于运 动目标在图像中必定具有一定的运动特征，而将时间段内运动性质一致的点进行归类，从而 [22] 可以开展跟踪研究，光流法即是最为普遍的一种方法 。该方法假设在相邻图像帧上，物 体同一点的像素灰度应保持恒定不变，并利用灰度空间偏导数推导出计算光流场的基本等 [23] 式。 2 基于模板匹配的方法 。该方法的关键是如何描述图像特征、如何评价模板与搜索 区域内待匹配部分的相似度以及如何进行有效搜索。由于灰度图像特征一般出现在边界，而 彩色图像在不同区域内具有不同颜色特征，而还有一些图像具备特殊的纹理特征，因此基于 边缘信息和目标区域的颜色以及纹理特征信息的处理是模板匹配的主要处理思路[24][25] 。 3 基于滤波的方法。滤波是从混合信号中提取研究中感兴趣的部分，对于无明显变化规律的随 机信号如无人机飞越山区时无线电高度表的输出信号等，即使在相同环境条件下、初值相同， 信号每次的实现都不一样，无法根据确定频谱进行滤波。虽然早先的研究表明在理论上可以 通过功率谱特性进行滤波，但此类滤波器难以实现，很难应用到实际场合。卡尔曼滤波是一 [26] 种时域上的线性最小方差估计方法 ，由美国工程师鲁道夫.E.卡尔曼于1960 年首次提出。 该方法引入了现代控制理论中的状态空间思想，由于采用递推计算，因此卡尔曼滤波在计算 机实现、时变系统、非平稳信号和多维信号处理上具有优势;扩展卡尔曼滤 波器 Extended [27] Kalman Filter, EKF 是将卡尔曼滤波理论在非线性情况下的延伸应用 ;由于实际系统的状 态估计问题往往是非常复杂的，如非线性、非高斯、高维等因素都会影响估计效果，粒子滤 波算法并不受限于随机变量必须满足高斯分布这一约束条件[28][29] ，因此尽管只是真实分布 的一种近似，却能建立比高斯模型更广泛的分布模型，对非线性特性的适应性更好。 1.2.3 计算机视觉自动导航技术 导航是一种为运载体航行提供连续、安全、可靠服务的技术，作用是引导飞机等运载体 安全准确地沿着选定路线到达目的地，任务是为运载体提供实时的位置信 息，因此其最基本 [30] 的功能就是定位 。 [31] 自动导航是指在导航系统在具备按照程序精确执行任务能力 ，是发展为自主导航逐 步提升无人机自主级别的必经之路。经过多年的发展，自动导航系统日趋成熟，按照导航信 息的获取方式主要可以分为惯性导航系统、天文导航系统、计算机视觉导航系统等。其中， 惯性导航系统是目前发展最为完善的导航系统;天文导航是通过运载体与自然天体的相对位 置解算运载体的位姿，如全球卫星定位系统 Global Position System ，GPS 、俄罗斯的 [32] GLONASS 系统、我国的北斗卫星导航定位系统、欧盟的 “伽利略”计划等 。 基于计算机视觉技术的自动导航是指通过电荷耦合组件CCD 摄像机等成像装置获取图 像，进而对图像进行分析理解，获取运动目标位姿等导航信息。该技术处于多学科的交叉领 3 基于计算机视觉技术的无人机自动导航研究 域，与图像处理、机器视觉、导航等学科产生较强联系，可在地面、水下、天空、太空等空 间执行任务，按照传感器类型可分为:被动视觉导航 CCD 摄像机、照相机等 和主动视觉导 航 激光、雷达、声纳等 ;按照导航对地图的依赖程度可分为地图型导航、无地图导航以及 同时建立地图的导航。近年来随着无人机的迅猛发展，而传统导航设备受限于载荷和尺寸的 限制，使用CCD 摄像机进行计算机视觉导航的方法逐渐得到重视。 根据导航对地图的依赖程度可分为: 1 基于地图的导航方法。该方法发展较早，最初 是利用投影关系将环境中的突出特征标注在地图中，涉及避障技术、人工智能技术、自然地 标相对定位算法、与运动目标保持相对不变的特征提取技术、基于地面特征标志的位姿测量 [33-38] 技术、三角测量误差建模技术 等。 2 无地图导航方法。该方法主要针对目标的特征进 [39] [40] 行跟踪，其中基于光流向量的视觉导航方法涉及光流场方法 、利用阵列相机的避障技术 等;基于特征跟踪的视觉导航方法涉及特征提取，如室内地面角点特征跟踪技术[41][42] 。 3 地图生成型导航方法。该方法通过视觉传感装置获得对环境地图的全局、局部或特征描述， 从而实现定位。随着研究的深入，同时定位和地图建立方法 Simultaneous Localization and Mapping ，SLAM 能够解决目标在未知环境中实时定位，并同时完成地图建立的问题，即从 视觉信息中逐步恢复摄像机运动与环境特征的位置，涉及基于地标特征的定位技术、构建基 于概率的稀疏特征地图进行实时跟踪的技术、人工引导建立地图后自动规划最优路径的训练 导航技术、在线建立地图并实时检测与回避障碍技术、未知环境中二维地图构建技术等 [43][44] 。 1.3 本课题研究的内容和论文安排 第一章介绍了数字图像处理、视觉跟踪、计算机视觉导航等计算机视觉技术的发展概况， 阐述了本课题研究的背景和现实意义。 第二章总结了基于计算机视觉技术的无人机自动导航技术中的序列图像获取、分析、视 觉跟踪、特征提取、运动建模与跟踪等理论与技术，为有效解决小型无人机撞线回收进近阶 段的导航控制以及在GPS 信号短暂消失情况下无人机的导航参数估计这两个具体问题奠定 了理论基础。 第三章围绕小型无人机撞线回收进近阶段所涉及的相对导航问题，设计了适用于撞线回 收方式的计算机视觉导航系统以解决回收系统中无人机目标的导航参数自动获取，目标自动 识别和稳定实时跟踪等问题，提出了一种全自动的基于图像信号的无人机相对导航算法，并 针对回收场景中无人机目标尺寸和外形变化较大的问题，改进了基于模块匹配的运动目标跟 踪算法，并在实验室条件下进行了在线仿真实验。 第四章针对GPS 信号短暂消失情况下无人机导航参数估计的问题，提出了一种利用计 算机视觉技术实现未知场景中无人机运动轨迹估计的导航策略，研究了基于视觉的同步定位 和地图构建技术 SLAM 及其算法步骤，采用扩展卡尔曼滤波算法 EKF 预测运动轨迹，并在 实验室条件下进行了在线仿真实验。 4 南京航空航天大学硕士学位论文 第五章是全文的总结，为进一步实现和完善基于计算机视觉技术的无人机自动导航研究 提出了建议。 5 基于计算机视觉技术的无人机自动导航研究 第二章 计算机视觉技术的基本原理 利用计算机视觉技术实时识别跟踪无人机、估计无人机运动轨迹和位姿，以实现无人机 的自动导航是本文的研究重点。首先，视觉传感装置与传统装置区别较大，需要特定软硬件 设备获取信号，并进行优化改善;其次，无人机是运动目标，如何在纷繁复杂甚至是未知环 境中识别、跟踪捕获目标，并利用运动目标的性质和特点进行可靠的处理也是非常重要的问 题;此外，无人机是高速运动物体，虽然在回收着陆、山区飞行等特定场合速度会略有下降， 但是由于环境与目标的复杂性以及视觉信息数据量庞大的特点，各种技术在保证可靠性的同 时都应具备较好的实时性，因此有必要对上述问题展开深入的研究，这些研 究涉及到序列图 像的获取和预处理技术、视觉跟踪技术、特征提取技术以及相关估计算法。 2.1 序列图像的获取和分析 序列图像是在连续时间上对单帧图像等间隔采样，表征了图像帧与帧之间的相关信息， 是进行目标跟踪、特征匹配等任务至关重要的处理对象。通常情况下，为确保人眼观察到连 续的运动，连续图像的采样速率是25 帧/s，即采样间隔为0.04ms，以达到实时处理的。 2.1.1 使用CCD 摄像机获取序列视频 电荷耦合组件 Charge-Coupled Device，CCD 是一种集成电路，由许多排列整齐的感光 电容组成，经外部电路控制，每个小电容能将其所带电荷转移给相邻电容，从而实现将图像 光学信号转变成计算机可以处理的数字信号。CCD 摄像机即是利用CCD 感光原理制作的光 电转换装置，本质上是一种实现三维世界到二维图像映射的工具。与常用的红外图像相比， CCD 摄像机对于图像细节的把握优势更加明显，在颜色的量化精度上分辨率更高，因此利 CCD 摄像机进行图像识别、跟踪、匹配等任务的精准度和可信度更高;用 同时CCD 摄像 机中的图像数据还需要通过图像采集卡这种摄像机与计算机之间传送转换数据的中介装置， 将模拟信号转换成计算机能处理的数字信号。 2.1.2 CCD 摄像机的成像原理和标定 [45] X O Y 图2. 1 所示为摄像机成像关系 。其中uIv 为成像面，无量纲; f f f 是根据成像面 建立的以长度为量纲的图像坐标系; 为摄像机坐 标系， 为摄像机镜头的光心; O X Y Z O c c c c c 、b 分别为世界坐标系中P 、Q 两点的像。 O X Y Z 为世界坐标系，a w w w w 6 南京航空航天大学 硕士学位论文 Y c Y w X c O c v Y f a X f u O f b P c O X w w I Q Z c Z w 图2. 1 针孔成像摄像 机线性成像关系 1 不同空间坐标系的转换关系 O X Y 若 的坐标在uIv 中 为 ， 轴与 轴方向上的像素间距分 别为 、 ，则图 f u , v f f dx dy 0 0 像物理坐标系和摄像机坐标系之间有如下转换关系: X