红外序列图像帧间匹配算法研究

红外序列图像帧间匹配算法研究 总第 185 期 Vol . 29 No . 11 舰 船 电 子 工 程2009 年第 11 期 181 Ship Elect ro nic Engineering 3 红外序列图像帧间匹配算法研究 徐 彤 () 海军驻江南造船集团有限责任公司军事代室 上海 200011 摘 要 文章在现有单帧图像检测算法的基础上 ,提出了一种可同步跟踪运动目标的帧间匹配算法 。算法采取对相邻两帧间像素点匹配 ,匹配过程与当前两帧外的其余帧无关 ,把匹配结果兴趣区域像素点对应的另一个全零矩阵位置值赋为 1 ,顺利输入检测后的单帧图像 ,执行匹配操作 ,实时形成目标运动轨迹 。该算法结构简单 、存储量少 、计算速度快 ,硬件平台 要就低 ,可有效地完成对多个目标 、交叉目标 、迎头目标的检测与跟踪 。根据仿真和实拍照片的试验 ,证实了算法理论上的 优点 ,有较高的应用价值 。 关键词 红外图像 ; 序列图像 ; 匹配图像 ; 目标跟踪 ; 目标检测 中图分类号 T P391 Res e a rc h on a n Al gori t h m of M a t c hi ng bet wee n I nf r a re d I m a ge S e q ue nces Xu To n g ( )Milita r y Rep re sentative Office of Navy Statio ned in J iangna n Ship building Bloc , Sha nghai 200011 A b s t r a c t Ba sed o n t he re sea rch of many ta rget det ectio n algo rit hms used fo r single2f rame image , t hi s a rticle p re sent s a n algo rit hm of matching bet ween inf rared image sequence s. The algo rit hm merit lie s in adop ting to t wo adjacent f rame i ma2 ges element match , t he cur rent match p roce ss ha s no t hi ng to do wit h o t her f ra mes ; In t he match result , we ca n o btain t he in2 terest regio n pixel point , t hen cha r ge t he co r re spo nding pixel val ue of t he pixel point s in a no t her entire zero mat rix to 1 ; In2 p ut s t he p ret reat ment bina r y image s gradually , p erfo r ms matching operatio n a nd fo r ms real ti me ta r get t rajecto r y synchro2 no usly. Esp ecially , t he match p roce ss doe s no t cha nge by t he mo ving state o r t he number of ta r get s , a nd t he match p rocess i s no diff erent bet ween a si ngle ta r get and multi2ta r get s , cro ss2 ta r get s , head2o n ta r get s. Acco r ding to t he simulatio n and t he real image s experiment , we have al ready co nfi r med t he abo ve2mentio ned merit s. The algo rit hm ha s t he merit s such a s simple st r uct ure , le ss sto rage , high co mp uting speed , so it ha s t he high applicatio n val ue . Ke y w o r ds IR image , image sequence s , image matching , ta r get t racking , ta r get detecting Cl a s s N u m b e r T P391 目标的轨迹还是容易淹没于虚警点之中 。但是 ,当1 引言传感器以适当的频率对红外远距离目标进行采样 [ 1,2 ] 时 ,目标由于距离远 、成像面积小 、运动速度低 ,所 前期我们采用常规算法进 行单 帧 图像 检 以其特征量很少 ,且目标的运动状态在相邻两帧间 测 ,已经实现了较少的虚警个数 ,但如果仅仅将这 不可能有太大的跳跃 ,其信号强度也不会突变 ,随 些通过检测处理的连续帧图像进行目标跟踪 ,由于 虚警点的线性累加性 ,随着处理帧数的增加 ,真正 机噪声则因其随机性不具备上述特点 ,给跟踪算法 3 收稿日期 :2009 年 7 月 6 日 ,修回日期 :2009 年 8 月 5 日 为了解决上述问题 ,提高实际应用价值 ,我们现有大部分算法大多是在预先知道兴趣区域提出了序列图像帧间匹配算法 。仿真实验结果表 情况下才可以对当前帧做出一定的判断 。以区别 明 ,该算法具有检测概率高 、输出虚警率低 、跟踪速 与其它算法显示本匹配算法的优点 , 程序执行中选 度快等优点 。 取一 。如果八个判断式子中有一个成立 , 即当 ( ) ( ) 前帧 x , y像素点与上一帧 x , y周围的像素点匹 2 帧间匹配算法描述) ( 配成功 , D x , y 称兴趣区域像素点 , 为可能目标2 按采样顺序选取图像预处理后的相邻帧间二 点 。相应取与 D行列相同的零矩阵 C 中第 x 行 y2 值化矩阵 D和 D, 对 D和 D中全部像素点匹 1 2 1 2 ( ) ( ) 列像素点值 C x , y= 1 , 否则 , C x , y值不变为 0 。( 配 , 把兴趣目标像素点对应矩阵 C 与 D 相同行列 方案一 :方案二 :) 的零矩阵中像素点值赋为 1 , 输出矩阵 C 即可实 ( ) ( ( ) ( ) ) Dx , y= Dx - 1 , y= 1Dx , y= Dx - 1 , y= 12 1 1 2 时观察目标的运动情况 , 依次输入序列图像 , 循环 ( ) ( ) ( ) ( ) Dx , y= Dx - 1 , y + 1= 1Dx , y= Dx - 1 , y+ 1 = 12 1 1 2 执行上述过程 , 形成运动目标轨迹 , 算法主要流程 ( ) ( ) ( ) ( ) Dx , y= Dx , y + 1= 1Dx , y= Dx , y + 1= 12 1 1 2 如图 1 所示 。 ( ) ( ) ( ) ( ) Dx , y= Dx , y= 1Dx , y= Dx , y= 12 1 1 2 ( ) ( ) ( ) ( ) Dx , y= Dx + 1 , y + 1= 1Dx , y= Dx + 1 , y + 1= 12 1 1 2 ( ) ( ) ( ) ( ) Dx , y= Dx + 1 , y - 1= 1Dx , y= Dx + 1 , y= 12 1 1 2 ( ) ( ) ( ) ( ) Dx , y= Dx + 1 , y - 1= 1Dx , y= Dx + 1 , y - 1= 12 1 1 2 ( ) ( ) ( ) ( ) Dx , y= Dx , y - 1= 1Dx , y= Dx , y - 1= 12 1 1 2 ( ) ( ) ( ) ( ) Dx , y= Dx - 1 , y - 1= 1Dx , y= Dx - 1 , y - 1= 12 1 1 2 ) 3对 D2 中全部像素点循环执行上一步 , 即可 以得到 D2 中与 D1 中相匹配的全部可能目标点 , 对应矩阵 C 中的像素点值取 1 。同一位置的像素 点周围的像素点比对 , 1 像素步长有 9 个点 , 2 像素 步长有 25 个点 , 对符合条件点相应更新 C 点值 , 输 出 C 图像 。 )4 对 D和 D进行上述操作 , 得到目标移位2 3 图 1 匹配算法流程图( 的前两个像素点 。随着采样各帧图像 D i 为输入i ) 帧次数的输入 , 循环上述操作 , 可以同步在输出图 3 算法主要运行步骤 像 C 中得到运动目标轨迹 。对于没有形成轨迹的 [ 7 ] 由于红外热像仪输出图像的大小相同, 直接 疑似点可认为是运动目标点 。 对其单帧红外图像分割 , 为了算法在编写上更具可 ) 5读取第 i + 1 帧待输入图像 D, D为当 i + 1 i + 1 操作性 , 把预处理后的图像进行二值化 , 将有疑似 ) 前待检测帧 , 释放第 i - 2 帧图像 , 转入步骤 2判断 目标像素点上的值取 1 , 背景取 0 。 ) 1初始 化 读 取 第 一 帧 二 值 化 图 像 矩 阵 记 为 操作 。 ( D, 再读取第二帧图像矩阵为 D也可以间隔几帧 1 2 ) 读取, 可知 D、D行列相同 , 且矩阵中只有 0 和 1 1 2 4 试验及工程验证两个数值 。 4 . 1 仿真单个目标的轨迹跟踪) 2由于目标运动速度的大小和方向不可能突 ( 试验为在典型海空背景下的红外图像 大小为变 , 运动轨迹局部光滑 , 加上我们采样的是高帧频 ) 320 ×240中随机加入信噪比为 1 的点目标 , 目标 ( ) ( ) 累计速度 V = 2 水平, V = 2 垂直, 初始位置为 x y 图像序列 , 所以可以假设目标的运动速度不大于 1 [ 40 , 45 ] , 共连续选取 30 帧 。通过选用的单帧检测 183 2009 年第 11 期舰 船 电 子 工 程 算法已经基本滤除大量杂波 , 从图 2 中选取的经多 向梯度检测结果并二值化的第 5 帧 、第 15 帧 、第 25 帧图像可以看出单帧图像中不超过 10 个虚警点 。 图 2 单帧图像 —由左到右分别为第 5 , 15 , 25 帧检测结果 从图 3 显 示 的实 验结 果得 到 : 目 标 累 计 速 度 V = 2 像素/ 帧 , V = 2 像素/ 帧 , 每帧运动像素值 x y 刚好在步长为 2 范围内 , 取步长为 1 时 , 检测不到 图 4 算法对实际应用目标检测与匹配结果目标点 , 不能实现跟踪 。步长为 2 时 , 可以完全显 定 ,与其它帧无关 ,大大增强了算法在实际应用中 示目标运动轨迹 , 但有几个虚警点 。步长为 3 时 , 也可以完全显示目标运动轨迹 , 但也多了几个的虚 的同步特点 。 警点 。可见步长越小虚警就越少 , 但不能很好的显 从这 40 帧图像的跟踪结果看 ,当步长为 1 时就示目标运动轨迹 , 但随着步长增大 , 目标运动轨迹 可以显示出目标的轨迹 。这表明我们选择的采样频 可以完全显示可以增加一些虚警点 。然而 , 步长越 率对距离约 20km 处高速飞行的飞机可实现控制帧 大 , 检测的范围就越大 , 1 步长为 9 点 , 2 步长为 25 间目标移位在 1 个像素 ,随着红外图像采集技术的 点 , 3 步长为 49 点 , 必然导致运算速度降低 , 无法 发展 ,对于中远距离高速飞行的目标 ,选择合适的采 保证算法的实时性 。 样频率 ,易可实现相邻红外图像帧间目标移位在算 法适用的范围内 ,确保算法在复杂海天背景条件下 , 多目标不飞行时的目标跟踪的问题 。 但步长为 2 时显示的目标运动轨迹比步长为 1 时显示的轨迹增强了很多 ,说明步长为 2 时匹配成 功的像素点多 。这是因为飞机在红外图像上虽然 是弱点目标 ,但并不是单个的像素点 ,可能是一个 不规则的像素块 ,在步长为 1 时有一些相邻帧间目 图 3 单个目标跟踪结果显示 —由左到右 标的边缘匹配成功 ,当步长为 2 时 ,大部分的目标 分别为步长为 1 、2 、3 的跟踪结果 (边缘像素点都能匹配成功 步长为 3 时轨迹没有变 4 . 2 实拍红外图像帧间匹配算法的工程验证 ) 化,形成完整的运动轨迹 。上文仿真的结果表明 ,针对点目标检测与轨迹 [ 8 ] 传统算法在解决多个像素组成的小目标问 跟踪问题 ,本算法是有效的 ,初步证实了算法的可 题时 ,逻辑判断就比较复杂 ,存储空间要求高 ,运算 行性 。本节我们结合舰载光电跟踪仪在工程中的 速度就较慢 。相比本算法就不存在目标点多少或应用情 况 , 以 距 离 约 20 k m 处 的 飞 机 作 为 目 标 对 所占像素点多少的问题 ,算法对目标多少和目标所 象 ,进行工程验证 。 占像素点多少运算过程一样 ,运算速度相同 ,这也 连续选取 40 帧图像 ,由于目标距离远 、成像面 是本算法的优点 。积小 、相对运动速度低 ,帧间目标移位像素值可控 制在 2 像素以内 。我们对实拍的红外图像进行预 5 结语 处理和相邻帧间匹配 ,最后实现目标的快速跟踪 。 本文提出的序列帧间匹配算法是一种实用的目 我们选取 40 帧图像中的第 3 帧 、第 33 帧舰载光电 标轨迹检测与跟踪算法 ,实验结果证实了算法的可靠 ( ) ( ) 跟踪仪照片 ,如图 4 中 a和 b图所示 ,在天空背 性和可行性 。尤其是算法结构简单 、存储方便 、易于硬 景下 ,红外图像单帧噪声污染少 ,经过预处理和二 件实现 ,同步实时处理能力比传统算法有了提高 。随 () ( ) 值化显示结果分别对应于图 4 中 c和 d图 。 实 着研究的进一步深入 ,综合对红外采集系统硬件标准 、际工作过程中 ,运动目标轨迹连续 ,高帧频 成像原理和目标飞行等方面的 ,会给出算法采集可以实现目标的帧间移位不超过 1 像素 ,算法 () 实际应用范围和各项参数指标 。下转第 187 页匹配过程仅需 9 个像素点 ,且无需复杂的判断 ,运 算速度快 ,实时显示轨迹过程由当前帧和前一帧决 讯模块 、错误处理模块 、I/ O 控制模块 、显示模块 、文 [ 1 ] 杨 元 恺 . 美 国 惯 导 侧 试 设 备 测 试 技 术 的 现 状 及 趋 势 [ C ] . 中国惯性技术学会 ,1987 :1,9 件管理模块 、指令解释模块 、CAM 模块 、插补伺服控 [ 2 ] 吴玉华 . 惯性测试转台的发展状况 [ J ] . 中国科技信息 , 制模块 、算法模块等 。这些不同的模块代表不同的 2005 :8 工作任务 ,它们按工作性质可以分为两类 ,即实时任 [ 3 ] 周长义 . 三轴飞行仿真转台控制系统与控制算法研究 务模块和非实时任务模块 。模块划分如图 6 所示 。 [ D ] . 长春 :中国科学院博士学位论文 ,2004 [ 4 ] 李尚义 ,赵克定 ,吴盛林 ,等 . 三轴飞行仿真转台总体设 () 计及其关键技术 [J ] . 孙航学报 ,1995 ,16 2:64,65 [ 5 ] 韩曾晋 . 自适应控制 [ M ] . 北京 :清华大学出版社 ,1995 [ 6 ] 黄令龙 ,郭阳宽 . 高精密伺服转台控制系统的设计 [ J ] . () () 清华大学学报 自然科学版,2004 ,44 8:10,54 [ 7 ] 王茂 ,姚文圣 . 转台控制系统的 DSP 实现 [ M ] . 中国惯 () 性技术学报 ,2001 ,9 3:70,72 [ 8 ] 固高科技 GT 系列运动控制器用户手册 [ Z ] [ 9 ] 松下 M IN A S A4 全数字式交流伺服电机与驱动器手册 [ Z] [ 10 ] 王田苗 ,丑武胜 . 机电控制基础理论及应用 [ M ] . 北京 : 清华大学出版社 ,2003 图 6 软件模块图[ 11 ] 金钰 ,胡佑德 ,李向春 . 伺服系统设计指导 [ M ] . 北京 : 北京理工大学出版社 ,2000 4 结语 本文以机动无磁三轴转台研制为背景 ,针对控 制 系统创造性地提出了伺服电机与液压马达联合 () 上接第 183 页 () 于机动目标跟踪 [J ] . 现代雷达 ,2006 ,28 12:55,57 参 考 文 献[ 5 ] Chu P L . Op timal p rojectio n fo r multidimentio nal sig2 nal detectio n [ J ] . IE E E Trans. O n Aco ustic s , Speech [ 1 ] 宗思光 ,王江安 ,陈启水 . 海空复杂背景下红外弱点目 () 标检测新算法 [J ] . 光电工程 ,2005 ,32 4:9,12 () and Signal Proce ssing ,1988 ,36 5:775,786 [ 2 ] 王卫华 ,何艳 ,陈曾平 . 光电图像序列运动弱点目标实 [ 6 ] 黄林梅 ,张桂林 ,王新余. 基于动态规划的红外运动小目 () 时检测算法 [J ] . 光电工程 ,2006 ,33 4:14,18 () 标检测算法[J ] . 红外与激光工程 ,2004 ,33 3:303,306 [ 3 ] 胡文江 ,应陈克 ,赵亦工 . 基于高阶统计判据的红外弱 [ 7 ] 王江安 ,王乐东 ,吴荣华 . 复杂背景下迎 头点目标检测 () 小运动目标检测 [J ] . 红外与激光工程 ,2007 ,36 3:417 () 算法 [J ] . 光电工程 ,2009 ,36 5:1,5 ,420 [ 8 ] 张长城 ,杨德贵 ,王宏强. 红外图像中弱小目标检测前跟 [ 4 ] 段芳芳 ,韩星 ,景占荣 . 遗传算法的模糊 Kal ma n 滤波用 () 踪算法研究综述[J ] . 激光与红外 ,2007 ,37 2:104,107