多聚焦图像融合中小波基函数选取的研究

多聚焦图像融合中小波基函数选取的研究 3 多聚焦图像融合中小波基函数选取的研究 11 2 婷申晓华,艾宝,王 () 1 河南大学 ,河南开封 475001 ;2 河南理工大学 ,河南焦作 454100 [ 摘要 ] 在基于小波变换的多聚焦图像融合算法中 ,小波基的选取是一个问 。分别从基于像素的融合算法 和基于区域的融合算法两个方面 ,选取不同的小波基 ,做了大量的实验 。考虑到评价参量的典型性和算法的 复杂度 ,选取熵、均值 、差 、可见度 ,平均交叉熵 5 个参量对实验结果进行评价 。 [ 关键词 ] 多聚焦图像融合 ;小波变换 ;小波基 [ 中图分类号 ] TP3911 4 [ 文献标志码 ] A Study on the Selection of Wavelet Ba se f or Muti2f ocus Image Fusion 1 2 1S H EN Xiao2hua,A I Bao, WA N G Ting () 1 Henan U niver sit y , Hena n Kaif eng 475001 , China ;2 Hena n Pol ytechnic U niver sit y , Hena n J iaozuo 454100 ,ChinaAbstract :In t he multi2focus image f usio n ba sed o n wavelet t ra nsfo r m , t he choice of wavelet ba se i s a que stio n. I did a lo t of exp eriment s in t wo met ho ds ba sed o n pixel and ba sed o n regio n , using ma ny diff erent wavelet ba se s. The rep re2 sentative a nd co mplexit y of estimate sta nda r d i s t ho ught a bo ut , I cho se ent rop y , average val ue , sta nda r d er ro r , vi sibili2 t y and mea n2cro ss ent rop y to eval uate t he re sult of t he experiment s. Key words :multi2focus image f usio n ; wavelet t ra nsfo r m ; wavelet ba se 2 两种基于小波变换的图像融合算法 基于小波变换的图像融合方法主要是利用 1 引言 人眼对局部对比度变化比较敏感这一事实 ,根据 多聚焦图像融合是图像融合的研究内容之 一定的融合规则 ,在多幅原图像中选择出最显著 一。多聚焦图像是指当摄像机拍摄与镜头距离 的特征 ,例如边缘、线段等 ,并将这些特征保留在 不同的多个目标时 ,由于无法同时聚焦到这些目 最终的合成图像融合中 ,在一幅图像的小波变换 标使其都清晰 ,常常分别聚焦到各个目标多次拍 中 ,绝对值较大的小波系数对应于边缘这些较为 摄而得到多幅图像 ,再通过图像融合技术得到各 显著的特征 ,尺度系数决定了图像的轮廓 。文中 个目标都清晰的融合图像 ,这就是多聚焦图像融 讨论了两种融合规则来决定尺度系数和小波系 合。多聚焦图像融合技术能够有效地提高图像 数的选取。 信息的利用率和系统对目标探测识别的可靠性 , () 1基于像素的融合规则 ,逐个考虑原图相应 广泛应用于机器视觉、数码相机、目标识别等领 [ 1 - 3 ] 位置的尺度系数和小波系数。低频选择加权平 域。目前 ,采用小波分解进行图像融合存在 均 ,高频选择绝对值较大的小波系数的融合方法。 两个问题 ,即最佳小波基函数的选取和最佳小波 [ 4 ] 分解层数的选取。文中对第一个问题进行了 各个频域的融合算子 : 对于两幅图像 X 和 [ 7 ] 讨论 ,分别采用了两种融合规则进行了研究 : 基 Y , 经过小波分解 , 按照值选择三层, 可分 于像素的融合规则和基于区域的融合规则。针 别得到相应的小波系数和尺度系数 。假设融合图 对这两种情况选择不同的小波基函数 ,通过大量 ( ) 像的 j 层的尺度系数为 C x , y:j 的实验得出了一些结论。 ( ) ω( ) Cx , y= ×Wφ j , x, y+ j 1 1 1 ( )ω( ) 1 ×Wφ j , x, y22 2 3 收稿日期 :2006 - 05 - 19 ;修回日期 :2006 - 10 - 20() 作者简介 :申晓华 1980 - ,男 , 河南新乡市人 ,硕士研究生 ,研究方向 :图像处理。 h v d ( ) ( ) ( ) 对于 j 层的高频系数 D x , y, D x , y,D x , y。j j j H H H ( )( ) ( ) W ψ j , x1 , y1 | Wψ j , x1 , y1 |?|Wψ j , x2 , y2 |h ( ) ( )D j x , y=2 H H H ( )( ) ( ) W ψ j , x, yWψ j , x, y|Wψ j , x, y|| < | 2 2 1 1 2 2 ξ 对角三个方向 ; L P表示第 j 层对应的小波系数其它的和其他层的高频分量也采取绝对值j ξ 取大的原则。 ( ) 矩阵 ; w m,′ n′为与 L P对应的权系数 。选择j ( ) 2基于区域的融合规则。由于图像的局部 1 2 1 特征往往不是由一个像素所能体现 , 而是由某一 1 [ 6 ] 2 4 2 ?; J , K 定义局部区域的w , w= 局部区域的多个像素来表征和体现的; 同时 , 通 16 1 2 1 常图像中某一局部区域内的各像素之间往往有 ( ) 大小 3 ×3, m,′ n的变化范′围在 J , K 内 。 较强的相关性 , 所以考虑区域的情况 , 用区域的 能量来决定小波系数的选取。各个频域的融合算 ?计算两幅图像的对应局部区域的匹配度子 : 局部区域大小可以为 3 ×3 、5 ×5 、7 ×7 等 , 按 ξ ξ ξ () ( ) Mm , n2 w[ 5 ] m,′ n′L P j , AB = j , A ? 照经验值选择 3 ×3 。 m?′J , n ?K ξ?分别计算两幅图像相应分解层上对应局( ) m + m,′ n + n′ ) m + m,′ n + n′L P ( j , B ξ ξ ( )( ) ( )4 Em , n+ Em , nj , A j , B ξξ E及 E部区域的“能量”: j , A j , B ( T 通 ξ ξ ξ ?确定融合算子 : 先定义一匹配阈值( ( ) () Em , n= w m,′ n′[ L P j m +j ? m?′J , n ?K )常取 0 . 5 , 1 , 文中取 0 . 72) ( )m,′ n + n′] 3 ξ ( ) 若 M n , m< T , 则 :j , AB ξ ( ) ( ) 式中 : Em , n表示第 j 层上 , 以 m ×n为中心j ξ 位置的局部区域能量 ,= 1 , 2 , 3 为水平 、垂直和 ξ ξ ξ ξ ( ) = ( )( )( )? Em , nD m , nD m , nEm , nj , B j , F j , A j , A ( )5 ξ ξ ξ ξ = ( )( )( )( )D m , nD m , nEm , n< Em , nj , F j , B j , A j , B ξ 若 M( )? Tn , mj , AB ξ ξ ξ ξ ξ ξ ξ ( ) ( )( ) ( )( ) ( ( ))= ? Em , nD m , nw m , nD m , n+ w m , nD m , nEm , nj , B j , F j , max j , A j , min j , B j , A ( )6 ξ ξ ξ ξ ξ ξ ξ ( )( ) ( )( ) ( )( )( )D m , nw m , nD m , n+ w m , nD m , nEm , n< Em , n= j , F j , min j , A j , max j , B j , A j , B ξ 1 - M(m , n) 1 1 ξ j , AB ( )= - w m , nj , min 2 2 1 - T( )7 ξ ξ ( )( ) w m , n= 1 - w j , min m , nj , max ξξξ- j ( ) 式中 D( ) ξ( ) m , n, Dm , n表示融合图像在 2 分辨率下 ,方向上 , m , n处的小波系数 , D( )j , A j , F m , nj , B - j ξ( ) 分别表示图像 A 和图像 B 在 2 分辨率下 ,方向上 , m , n处的小波系数 。 M - 1 N - 1 ( ) ( )( )M EA N = F i , j/ M ×N 9 ??i = 0 j = 0 3 图像融合效果的评价M - 1 N - 1 2 目前的融合效果评价主要有主观评价法和 ( ( )F i , j) ) ( S T D = - M EA N / M ×N ??i = 0 j = 0 [ 7 ] 客观评价法。其中客观评价法常分为三大类 : ( )10 ) ( ) 1根据单幅图像 源图像和融合图像统计特 M - 1 N - 1 λ+1( ) F i , j- V I = M EA N | / M EA N |) )征; 2根据融合图像与标准参考图像关系; 3 ??i = 0 j = 0 根据融合图像与源图像关系。针对单幅图像的融( )11 合评价 , 考虑到评价参量的典型性和算法的复杂 λ 为视觉常数 , 一般取 01 6 , 01 7 。度 , 选取熵、均值、标准差 、可见度 4 个参量 。令 M 熵的大小反映了图像携带信息的多少 ; 图像 ( ) ×N 的图像区域 F i , j的总灰度级数为 L , Pi均值是像素的灰度平均值 ,对人眼反映为平均亮 表示灰度值为 i 的像素数与总像素数之比 , 4 个 度 ;标准差反映了图像灰度相对于灰度平均值的评价参量分别定义为 : 离散情况 ,在某种程度上也可用来评价图像对比 越大 ,就表明图像融合效果越好。还引入了平均,bio r2 . 2 和 bio r4 . 4 的综合性能较双正交小波中 交叉熵 ,是评价两幅图像差异的关键指标 ,可直 好 ; bio r2 . 2 和 bio r4 . 4 的综合性能较正交小波较 接反映原始图像和融合图像之间对应像素的差 优 。db2 和 sym2 的融合性能一样。 ) 异。差异越小 ,表明融合图像从原始图像中提取 2用上述的评价标准 ,几种不同的小波基 , 基于区域的融合算法对融合结果比较分析。的信息越多。使用平均交叉熵可以更准确地确 表 2 不同小波基于区域融合算法的图像融合结果 定各种融合效果的优劣。 不同的小波 4 图像融合实验基得到的 熵均值标准差可见度() 1图 1 ,图 2 给出了两幅聚焦不同的 、大小 融合图像 为 512 ×512 图像。 db4 7 . 0319 78 . 409 40 . 406 8202 7 . 04 78 . 497 40 . 285 8167 . 2 sym2 7 . 0742 78 . 497 40 . 274 8165 . 2 bio r2 . 2 bio r4 . 4 7 . 0798 78 . 495 40 . 309 8170 . 1 从表 2 数据比较看出 , 基于区域的融合算 法 ,db4 的融合结果中 , 可见度最大 ; bio r2 . 2 和 bio r4 . 4 综合性能较优。基于区域的融合算法 , 用双正交小波较优。 图 1 聚焦右边的图 2 聚焦左边的() 2用图 3 和图 4 聚焦不同的两幅图像 , 作 待融合图像 待融合图像 进一步研究。表 3 给出了基于像素融合算法的 ) 1选择常用的几种类型的小波基函数 ,基于不同小波基的融合结果 ;表 4 给出了基于区域的 像素的图像融合算法 ,得到不同的融合图像 。用 不同融合算法的几种小波基的融合结果 。 上述的几种评价标准比较分析 。 不同小波基的基于像素图像融合结果表 1 不同小波 平均基得到的 熵均值标准差可见度交叉熵 融合图像 7 . 018 78 . 497 40 . 523 8198 . 6 0 . 06443 Haar 小波 db2 小波 7 . 0455 78 . 462 40 . 398 8190 . 9 0 . 028207 聚焦右边的 图 3图 4 聚焦左边的db4 小波 7 . 0364 78 . 406 40 . 441 8207 . 9 0 . 026931 待融合图像 待融合图像 db8 小波 7 . 0469 78 . 475 40 . 309 8172 . 2 0 . 038487 sym2 小波 表 3 不同小波基的基于像素图像融合结果 7 . 0455 78 . 462 40 . 398 8190 . 9 0 . 028207 sym4 小波 不同小波7 . 0689 78 . 477 40 . 295 8167 0 . 04545 sym6 小波 平均基得到的 sym8 小波 熵均值标准差可见度7 . 0553 78 . 462 40 . 326 8171 . 3 0 . 034931 交叉熵 融合图像 coif 2 小波 7 . 0542 78 . 457 40 . 353 8184 . 3 0 . 03721 coif 4 小波 7 . 0428 78 . 423 40 . 42 8198 . 4 0 . 044734 7 . 0399 122 . 95 47 . 001 5437 . 3 0 . 37007 Haa r 小波coif 5 小波 db2 小波 7 . 0447 78 . 469 40 . 327 8177 . 3 0 . 039589 7 . 0488 122 . 94 46 . 912 5429 . 8 0 . 34653 db4 小波 7 . 0783 78 . 495 40 . 272 8163 . 8 0 . 039192 7 . 0532 122 . 94 46 . 879 5426 . 3 0 . 32957 db8 小波 78 . 497 40 . 34 8177 . 3 0 . 057277 bio r2 . 2 小波 7 . 08977 . 0557 122 . 94 46 . 841 5424 0 . 31622 sym2 小波 bio r4 . 4 小波 7 . 0682 78 . 462 40 . 354 8173 . 5 0 . 0464498 7 . 0488 122 . 94 46 . 912 5429 . 8 0 . 34653 sym4 小波 bio r5 . 5 小波 7 . 0261 78 . 425 40 . 427 8192 . 1 0 . 04993 7 . 0418 122 . 94 46 . 816 5421 . 9 0 . 34462 sym6 小波 bio r6 . 8 小波 7 . 0587 78 . 485 40 . 299 8174 . 3 0 . 037978 sym8 小波 7 . 0479 122 . 94 46 . 821 5420 . 3 0 . 32884 coif 2 小波 7 . 0519 122 . 95 46 . 849 5422 . 7 0 . 32888 从表 1 数据比较可以看出 ,用 Ha r r 小波融coif 4 小波 7 . 0461 122 . 94 46 . 862 5424 . 4 0 . 34172 合的图像熵值相对较小 ,交叉熵相对较大 ,综合 coif 5 小波 7 . 0497 122 . 95 46 . 844 5422 . 4 0 . 33017 性能较差。D bN 系列小波比较得出 , 熵值 、均 7 . 0484 122 . 94 46 . 831 5422 . 9 0 . 33609 值、标准差比较接近 ,但是用 db4 小波融合的图122 . 94 46 . 979 5434 . 6 0 . 35505 bio r2 . 2 小波 7 . 0484像 ,可见度最大 , 平均交叉熵最小 。SymN 系列 bio r4 . 4 小波 7 . 0548 122 . 94 46 . 853 5429 . 6 0 . 33867 bio r5 . 5 小波 7 . 0448 小波比较 , 可以看出 sym2 小波综合性能较好。 122 . 94 46 . 838 5421 . 7 0 . 34023 Coif N 系列小波比较 ,coif 5 小波综合性能较好。 bio r6 . 8 小波 7 . 0541 122 . 94 46 . 886 5427 . 7 0 . 33236 Haa r 小波熵值较小 ,平均交叉熵较大 ,整体应用选择不同的小波基。在多聚焦图像的融合 应用中 ,如果要求融合图像的清晰度高 ,可以首 综合性能较差 ; D bN 系列小波中 , db4 小波和 选 db4 小波 。要求一般的图像融合 ,可选择基于 db8 小波较优 ; SymN 系列小波中 , sym2 小波综 像素的融合算法 ,选择 db4 小波和 sym2 小波就 合性能较优 ; Coif N 系列小波中 coif 4 综合性能 可以满足。在要求性能高的情况下 ,可选择基于 较好 ;双正交小波中 , bio r2 . 2 和 bio r4 . 4 综合性 区域的融合算法 ,选择双正交小波 ,双正交小波 可以首选使用 bio r2 . 2 和 bio r4 . 4 小波。对于异 能较好 ; db2 和 sym2 的融合性能一样。bio r2 . 2 质多传感器图像 ,如可见光图像与红外图像 , 可 和 bio r4 . 4 的综合性能较正交小波较优。 见光图像与毫米波图像 ,荧光图像与透射图像等 表 4 不同小波基于区域融合算法的图像融合结果 的融合情 况 , 小 波基 的 选 取 问 题 需 要 进 一 步 不同的小波研究 。 基得到的 熵均值标准差可见度[ 参 考 文 献 ] 融合图像 db4 7 . 0457 122 . 94 46 . 815 5422 . 2 7 . 0397 122 . 94 46 . 802 5421 sym2 [ 1 ] Hall D L , L lina s J . A n int ro ductio n to multi sen2 7 . 057 122 . 94 46 . 812 5421 . 4 bio r2 . 2 ( ) so r dat a f usio n[ J] . Proc . of IE E E , 1997 , 85 1: 7 . 0573 122 . 94 46 . 864 5416 . 8 bio r4 . 4 6 - 23 . 由表 4 、图 5 、图Va r shney P K. M ulti senso r data f usio n[ J] . Elec2 [ 2 ] 6 、图 7 可知 , 在基于 () t ro n. Co mmun. Eng. J . , 1997 , 9 6:245 - 253 . 区域的图像融 合中 , A ggarwal J K. M ulti senso r f usio n fo r co mp ut er vi2 [ 3 ] db4 小波的融合结果 , sio n[ M] . Berlin : Spinger2Verlag , 1993 . 李树涛 ,王耀南 ,龚理专. 多聚焦图像融合中最佳小 可见度仍然较高 ; 双 [ 4 ] 波分解层数的选取 [ J] . 系统工程与电子 技术 , 正交小波 bio r2 . 2 和 图 5 db4 小波基于区域融() 2002 ,24 6:45 - 48 . bio r4 . 4 小波 综 合 性 合算法的融合图像 Wa ng Wei2wei , Shui Peng2la ng , So ng Guo2xiang. [ 5 ] 能相对较优。 M ulti2focus image f usio n in wavelet do main [ J] . ( ) Syst ems Engineering and Elect ro nic s. 2004 ,26 5: 668 - 671 . Qing2Feng L iu , Guo2Fang Sheng , Zhao2Xiao [ 6 ] L eng. Image f usio n scheme ba sed o n t he bio rt ho g2 o nal wavelet t ra nsfo r m[ A] . Proceedings of Seco nd Inter natio nal Co nf erence o n Machine L ear ning a nd 图 6 bio r2 . 2 小波基小波基于bio r4 . 4 图 7Cyber netics[ C] . Xi’a n ,2003 , 2864 - 2868 . 于区域融合算 区域融合算法 Z HAN G Z , BL U M RS. A Catego rizatio n of multi2 法的融合图像 的融合图像 [ 7 ] scale 2 deco mpo sitio n2ba sed image f usio n schemes 结论5 wit h a perfo r ma nce st udy fo r a digital camera appli2 () catio n[ J] . Proceedings of t he IE E E , 1999 , 87 8: 小波变换的基函数非常丰富 ,可针对不同的 1315 - 1326 . () 2bandgap copla2 o n va racto r loaded elect ro magnetic上接第 230 页 na r waveguide s[ J] . IE E E Tra nsactio ns o n Micro2 ba ndgap antenna s a nd co mpo nent s fo r micro wave () ( ) wave Theo r y and Technique s. 2005 ,53 8:2506 - and sub millimeter wave applicatio ns [ J] . IE E E Transactio ns o n A ntenna s and Propagatio n 2003 ,51 2514 . () 10:2667 - 2677 . Ban2L eo ng Ooi . Co mpact EB G in2p ha se hybrid2 [ 3 ] [ 2 ] Emma nuel Pi sto no , Philippe Fer ra ri , L io nel Duvil2 ring equal po wer divider[ J] . IE E E Transactio ns o n la ret , J ea n2Ma rc Ducha mp and Ro bert G Ha r ri so n. ( ) Micro wave Theo r y and Technique s , 2005 , 53 7: Hybrid na r ro w2ba nd t una ble ba ndp a ss filt er ba sed 2329 - 2334 .