数字图像处理(matlab版)第八章 图像融合算法

第八章图像融合算法8.1图像融合技术的发展过程随着科学的发展和技术的进步，采集图像数据的手段不断完善，出现了各种新的图像获取技术。如今，图像融合方法已经运用于社会的很多领域，像遥感卫星图像，光图像，红外图像，医学图像，尤其是多传感器图像融合应用以来，它已成为计算机视觉，目标识别，机器人以及军事等方面研究的重要方面。8.2基于小波变换图像融合的基本原理如果一个图像进行L层小波分解，我们将得到（3L＋1）层hvd子带，其中包括低频的基带Cj和3L层的高频子带D,DD和。用fxy(,)代源图像，记为C0，设尺度系数Φ()x和小波函数Ψ()x对应的滤波器系数矩阵分别为HG与，则二维小波分解算法可描述为：⎧CHCHj+1=j′⎪h⎪Djj+1=GCH′⎨(jJ=−0,1,...,1)v′⎪Djj+1=HCG⎪d′⎩Djj+1=GCG（8-1）小波重构算法为：hvdCHCHGDHHDGGDGjj−1=+++′′j′′jj(jJJ=,−1,...,1)（8-2）图8.1基于DWT图像融合过程基于二维DWT的融合过程如图1.1所示，ImageA和ImageB代表两幅源图像A和B，ImageF代表融合后的图像，具体步骤如下：（1）图像的预处理：①图像滤波②图像配准（2）对ImageA和ImageB进行二维DWT分解，得到图像的低频和高频分量。（3）根据低频和高频分量的特点，按照各自的融合算法进行融合。（4）对以上得到的高低频分量，经过小波逆变换重构得到融合图像ImageF。8.3融合效果性能评价指标8.3.1均值和标准差用G（x,y）=g表示图像中第（x，y）个像素的灰度为g，L为图像灰度级数，图像尺寸为Row*Column,则图像的灰度均值可以表示为：1RowColumnµ=∑∑Gx(,y)（8-3）Row×Columnxy==11设一幅图像的灰度分布为，为灰度等于g的像素数与图像总的像素数的比值，且，其灰度标准差的定义为：L−12（8-4）δµg=−×∑()()gpgg=08.3.2熵图像的信息熵是衡量图像信息丰富程度的一个重要指标,表示图像所包含的平均信息量的多少。融合图像的熵值越大,说明融合图像携带的信息量越大,信息就越丰富。L−1EN=−∑pg()log()×2pg（8-5）g=08.3.3平均梯度平均梯度用来表征图像的清晰度，反映图像质量的改进,及图像中微小细节反差和纹理变换特征，平均梯度越大,及图像中微小细节反差和纹理变换特征，平均梯度越大,图像的平均梯度定义为:11RowColumn2⎡22⎤AGGxyGxy=∆+∆∑∑⎣xy(,)(,)⎦（8-6）Row×Columnxy==118.3.4互信息互信息量是信息论中的一个重要概念,可作为两个变量之间相关性的量度,或一个变量包含另一个变量的信息量的量度。两图像A和B的互信息可以定义如下：MIAB(,)=HA()+−HB()HAB(,)（8-7）（8-8）HAB(,)=−∑PA,2,BAB(,)log(,)ggPABABggggAB,、这里PA()gABBP()g为边缘概率密度函数，PggA,BAB(,)为联合概率密度函数。它们可以由下式得到：hg(,)ABgPggAB,(,)AB=（8-9）∑hg(,)AgBggAB,PA()gAAB=∑h(,)gg（8-10）gBPB()gBAB=∑h(,)gg（8-11）gAh是这两幅图像的联合直方图。它是一个二维的矩阵：⎡hh(0,0)(0,1)"hL(0,A−1)⎤⎢hh(1,0)(1,1)"hL(1,−1)⎥h=⎢A⎥（8-12）⎢""""⎥⎢⎥⎣hL(1,0)(1,1)(1,1)BB−−hL"hLBA−−L⎦hg(,)gAB是矩阵h的元素，gLgLAABB∈[0,−∈−1],[0,1]，hg(,)AgB的值表示在图A中具有灰度值为gA，在图B中具有灰度值gB的相关点对的个数。图像融合评价中的互信息可定义为：ABMF=+MI(,)FAMI(,)FB（8-13）8.3.5归一化指标设Qi表示第个指标，归一化指标定义如式（8-14）所示：QQii−min()Ω=i()i=1,2,3.....I（8-14）max(QQii)−min()Q其中，min(Qi)表示i()iI≤中的最小值，max(Qi)表示中Qi()iI≤的最大值。8.4高频融合方法研究8.4.1均值法对两幅源图像进行小波分解，获取需要的小波系数，对相应的像素进行比较取均值，获取的系数通过小波逆变换重构出图像。Kii,其中（）FxyJkkJk(,)=×∑cD,(xy,)c=0.58-15k=1K表示多焦距图像的数目ck表示各图像的加权系数i=1,2,3表示水平、垂直和对角线的小波分解系数iDkJ,(,xy)表示第k幅图像在的第层小波分解系数。iFxJ(,y)表示融合图像在的第层小波分解系数。实验结果如图8.2（a）所示，可见，取平均值的方法使图像变平滑，对低频的处理较为可靠，但细节部分缺乏完整的表征，融合后感兴趣的高频信息丢失严重，图像模糊不易于识别，不是一种可靠的融合方法。(b)(a)图8.2不同图像融合效果8.4.2最大值法在图像小波分解,绝对值较大的小波系数对应于图像较大的边缘等特征,而人眼对于这些特征比较敏感。iiFxyJkJ(,)=maxabsD(，(,xy))（8-16）K{}i其中，abs((,))DkJ，xy表示对小波分解系数i取绝对值max(DkJ,)KDi(,xy)kJ，表示对K个小波分解系数取最大值实验结果如图2.2所示，可见取最大值的方法能很好的图像显示每个源图像的高频信息，效果较好，然而却容易引起高低频边缘的失真，出现条纹现象等,特别是在两幅源图像质量差别较大的地方，出现明显的融合痕迹。8.4.3基于区域的最大值法此方法中，每个像素点和周围相关各点被同时考虑，融合图像的每个像素点处于考察区域的中心，将高频子带的参考区域内各个高频系数的绝对值进行求和，比较两幅源图像中各个高频子带对应区域的和，并选取和最大的区域中心的像素点作为融合图像的高频系数。ii⎧⎫（）FJkJ(,xy)=++max⎨abs(D，(xm,yn))⎬8-17K∑∑⎩⎭mMnN∈∈i其中，DxkJ，(,y)表示第k个图像的像素（x，y）在J尺度下的分解系数i=1,2,3表示水平、垂直、对角线的分解系数8.4.4基于区域能量的图像融合方法基于区域能量融合的思想是:对待融合图像进行二维小波分解,计算待融合图像高频成分的区域能量及匹配度,然后比较匹配度与给定阈值以及待融合图像区域能量的大小,决定采用选大选小融合法还是区域中值加权法。（1）区域特征的定义：iEJ(,xy)表示高频系数矩阵中以为(,xy)中心的区域大小为的M×N能量，定义为：2ii⎡⎤（）EJkJ(,xy)=++∑⎣D,(xmy,n)⎦8-18mMnN∈∈,mn,的变化范围在之内，区域大小一般3355×，或××77等。区域中值的定义为：iiDxmynkJ,(,)++MEDJ(,xy)=∑（8-19）mMnN∈∈,MN×小波分解后的高频图像以区域特征的能量作为融合算子,定义两幅图像对应区域能量的匹配度为：2(,)(,)×Diixm++×ynDxm++ynMatchi(,xy)=AJ,,BJJ∑ii（8-20）mMnN∈∈,ExyExyAJ,(,)+BJ,(,)（2）高频融合规则：1)计算ImageA和ImageB两幅图像高频分量的小波系数矩阵iEiiMEDiMatch的区域能量A,J、EA,J，区域中值J和匹配度J2）选取高频图像匹配度阈值（一般取Thr≥0.5）i3）若MatchJ≤Thr，则融合后的高频系数为：⎧Diii(,xy),当Ex(,y)≥Ex(,y)i⎪A，JAJBJ,,FxyJ(,)=⎨（8-21）iii当⎩⎪DB，JAJBJ(,xy),Ex,,(,y)Thr，则融合后的高频系数为：MEDii(,xy)+MED(,xy)Fxyi(,)=AJ,,BJ（8-22）J2图8.3中（a）（b）（c）（d）分别是以office一组图（如图8.12（a）（b）所示）在取Thr=0.5,0.6,0.7,0.8的仿真图像。（a）（b）（c）（d）图8.3基于区域能量融合方法中不同阈值仿真图8.4.5基于边缘强度的自适应融合法（1）边缘强度定义：i用表示第DkJ，(,xy)k个图像的像素（x，y）在J尺度下的分解系数，窗口大小取为M×N，边缘强度定义为：iiiDxmynMEDxykJ,,(,)++−kJ(,)ExykJ，(,)=∑mMnN∈∈,MN×−1（8-23）i其中MEDkJ,(,xy)表示第k个图像的像素（x，y）在J尺度下的区域中值，定义见式（8-19）。图8.5中（a）和（b）分别是窗口取的仿真图像，从融合图像可以看出，窗口为的融合图像由于考察图像边缘强度的范围增大，使得图像融合的整体性更好，融合痕迹得到更大的抑制.8.4.6基于PCNN的图像融合方法8.4.6.1PCNN的基本模型PCNN是由若干个PCNN的神经元互连所构成的反馈型网络,其每一神经元由三个部分组成:分支树、链接器和脉冲产生器，模型如图8.5所示。LYlαljTWljβjadjustvjlTLthresholdαjαkjΣΣYkWkjLjθjαFJjljFjMljΣYjUjMkjFαkjIj图8.6PCNN基本模型PCNN的

数学

数学高考答题卡模板高考数学答题卡模板三年级数学混合运算测试卷数学作业设计案例新人教版八年级上数学教学计划

模型可以描述为：⎧FFMjkjkjkj=∑exp(−⊗αtYtI)()+⎪k⎪L=−⊗+WtYtJexp(αL)()⎪jkjkjkj∑⎪k⎨UFjj=+(1βjjL)⎪TT⎪θαθjjjjj=−+VY()t（8-24）⎪Yt()=−setpU(θ)⎪jjj⎩8.4.6.2图像融合中的PCNN设计数字图像应用中的PCNN是一个单层的二维横向连接的脉冲耦合神经元。神经网络中的神经元数与输入图像的像素数相等，神经元与图像的像素点一一对应。每个像素点与唯一的一个神经元相联，每个神经元与周围的神经元相联。图像融合中的PCNN可以用下面的式子描述：⎧kk⎪Fnij()=Iij⎪kk⎪Lnij()=−exp(αL)Lnij(−+1)VL∑Wij,mnYmn(n−1)⎪mn,⎪kkk⎨Unij()=∗+Fnij()(1βLnij())⎪kkk（）⎪θαθij(nnVYn)=−exp(θθ)ij(−+1)ij(−1)8-25⎪kk⎪⎧1,if:Uij(n)>θij(n)⎪Ynk()=⎪ij⎨⎩⎩⎪0,otherwise8.4.6.3基于PCNN的高频融合算法实现PCNN融合方法可以按如下方法进行：ii1）IAJ,,(,xy)和IxBJ(,y)表示源图像ImageA和ImageB的第层小波分解系数。ii2）归一化IxyIxyAJ,,(,)和BJ(,)在[0,1]之间，并将归一化的值作为通道输入i激励网络。FFJ(,xy)PCNN3）初始化Lxyii(,,0)=Uxy(,,0)0=，i，可以JJθJ(,xy,0)1=看出，初始状态时像素点都没有着火，ii即YxyJ(,,0)0=，产生脉冲数TxyJ(,,0)0=。4）根据式5.1～5.5计算iiiiLJJJJ(,xyn,)===U(,xyn,)θ(,xyn,)Y(,xyn,)5）进行脉冲次数统计iiiiTxynTxynJJ(,,)=−+(,,1)YxynJ(,,),其中TxynJ(,,)已初始化为0n=N6）如果nthTxyNi(,,)TxyNi(,,)其中，AJ,maxBJ,maxCA=iiii,CB=TAJ,(,xyN,max)++TBJ,(,xyN,max)TAJ,(,xyN,max)TBJ,(,xyN,max)由于式4.18具有平滑图像的作用，可以看出，如果满足的元素越多，图像中被平滑的部分越多，通过取不同的我们统计得到被平滑的像素点与关系如图2.7所示：Tth图8.9与平滑的像素点关系图为比较不同下的融合效果，我们取不同的阈值进行融合比较，图8.10中(a)~(d)是取阈值分别为0.5、0.8、0.95、0.99的融合结果。Tth(a)(b)(c)图8.10(d)8.4.8高频域内不同融合方法比较高频域融合算法比较1.21最大值法0.8区域最大值区域能量0.6边缘强度PCNN归一化指标0.4改进PCNN0.20平均值标准差平均梯度熵互信息图8.11不同高频融合方法的比较高频域融合方平均值标准差平均梯度熵互信息法方法181.374159.21835.60107.501016.4526方法281.419161.34079.18197.482616.1729方法381.419861.32929.11197.483316.1780方法481.413561.30839.00287.487516.1809方法581.392461.01568.44487.490716.2178方法681.419361.34119.18697.483316.1737方法781.408661.32299.03137.485316.1840表8-2不同高频融合算法比较8.5低频融合方法8.5.1低频平均法图像模糊是由于其细节信息（高频信息）丢失较多，而整体信息（低频信息）则保持较好，对于一个目标的多聚焦图像，对应区域的低频分量几乎是相同的，由于两幅源图像的低频信息在小波变换过程中保存较好，因此融合图像的低频分量可通过对小波分解后的低频系数求平均的方法。K−10∑CkJ()C=k(8.29)JK8.5.2基于低频边缘的选择

方案

气瓶 现场处置方案 .pdf气瓶 现场处置方案 .doc见习基地管理方案.doc关于群访事件的化解方案建筑工地扬尘治理专项方案下载

对图像A的尺度系数定义一个变量EA，222EFCFCFCAJ,1,=∗()()()AJ+∗2,AJ+∗3,AJ(8.30)其中，∗表示卷积−12　　　　−1⎡⎤−−−111　　　　⎡⎤⎡−10　　　−1⎤⎢⎥⎢　　　　⎥⎢⎥F=222　　　　　F2=−−121F3=04　　　01⎢⎥⎢⎥⎢⎥　　　　⎢　　　⎥⎣⎦⎢⎥−−−111　　　　⎣⎢−12−1⎦⎥⎣−10−1⎦变量E在一定程度上反映了图像在水平、垂直和对角线方向的边缘信息。为了较好地保留源图像的细节,可对两幅图像的尺度系数计算出变量E,E较大的尺度系数作为合成图像的尺度系数。算法描述：CWCWCFJ,,,,,=AJAJ+BJBJ⎪⎧1，如果：EEAJ,,≥BJWAJ,=⎨⎩⎪0，其它⎪⎧1，如果：EEBJ,,≥AJWBJ,=⎨⎩⎪0，其它8.5.3基于PCNN的低频融合方法PCNN的基本模型和图像中PCNN的用法已经在高频域的融合方法中介绍过，这里不再介绍。PCNN是模拟猫的视觉皮层细胞对视觉信号的处理机制，对高频域和低频域信号具有相似的处理方法，因此高频域的PCNN模型也能用于低频域。直接将图像的低频系数矩阵CA,JCBJ,代入PCNN模型中，取Nmax=3000图8-12基于PCNN低频融合方法结果8.5.4低频域内不同融合方法比较平均值标准差平均梯熵互信息度平均法81.419161.34079.18197.482616.1729表8-3边缘选82.466967.82869.86817.239516.5175择低频90.372764.58449.70097.670216.6219PCNN高频融合算法比较（源图像：clock图）1.210.8平均法0.6边缘选择低频PCNN归一化指标0.40.20平均值标准差平均梯度熵互信息平均值标准差平均梯度熵互信息平均法32.121637.04106.23796.090912.7427边缘选择55.855661.23768.71636.475613.9132低频59.367561.18797.62506.501213.9999PCNN•（1）边缘选择的方法得到的融合图像与低频直接取平均得到的融合图像相比，图像亮度明显增大，边缘保留更多，细节信息更为丰富。从实验数据来看，低频边缘选择的方法比在低频直接取平均得到标准差、平均梯度、互信息均有明显提高，边缘和细节保留较好，融合图像保留了更多源图像的信息。•（2）基于PCNN的低频融合方法与基于低频边缘的选择方案相比，前者得到的标准差和平均梯度均比后者高，说明基于PCNN的低频融合方法对微小细节及纹理反映很好，能够很好的保留图像的边缘。熵和互信息比后者稍小但很接近，基于PCNN的低频融合方法所得融合图像在保留源图像信息上稍微于后者。但对于视觉观察来说，边缘和纹理信息更为重要，而细微的信息差别基本分辨不出来，可见，低频域内采用基于PCNN的低频融合方法是一种提高图像融合效果的非常有效的方法。•（3）与低频直接取平均相比，对小波变换低频部分进行特征提取后图像所有指标均有大幅度提高，图像无论在亮度、边缘信息、细节信息还是包含源信息上均有大幅度提高。低频域主要包含待融合图像的近似特性，低频系数反映了图像的轮廓,低频系数的选择对融合图像质量的好坏起到非常重要的作用。可见，基于小波变换的图像融合中，根据图像特征进行低频系数的选择是非常重要的，应当予以足够的重视。•1.最终融合算法的确定根据高、低频中各种算法的研究结果，我们采用高、低频内各自性能最好的融合方法，对于office图像，我们在低频采用边缘选择的融合方法，高频采用改进的PCNN融合方法。最终融合结果最终融合算法低频平均，高频最大值法•低频平均，高频区域最大值1.21低频平均，高频区域能量0.8低频平均，高频边缘强度0.6低频平均，高频PCNN0.4低频平均，高频改进PCNN0.20低频边缘选择，高频最大值低频PCNN，高频最大值熵均值平标准差互信息最终融合方法：低频PCNN，高平均梯度频改进PCNN归一化指标平均值标准差平均梯度熵互信息90.382864.57679.57497.669516.6195•结论从仿真图像和实验数据可见，根据源图像最终确定的高、低频域融合方法，无论是直观视觉效果，还是图像融合指标上均有极大提高，融合效果很好。1.本文提出的“改进的PCNN图像融合方法”在PCNN融合方法的基础上大大提高了互信息，不仅保持了基于PCNN的图像融合方法很好保留图像边缘和纹理的特点，而且包含了源图像更多的信息。其信号形式和处理机制更符合人类视觉神经系统的生理学基础，具有提高目标的识别率的作用，是一种高效的图像融合方法，具有广阔的应用前景，值得深入研究。•另外，本文改进的PCNN图像融合方法中阈值的选择是通过大量实验调试的，如何针对图像进行自适应阈值选择或者进行基于PCNN的自适应融合算法将是一个非常有价值的课题。•2.在图像融合中，保证融合图像良好的边缘和纹理信息与更多的保留源图像的信息之间存在矛盾，如何在应用中进行侧重和综合考虑，提高图像在边缘、纹理、保留更多源图像信息等方面的综合性能，是一个值得研究的课题。•3.基于小波变换的图像在低频域主要包含待融合图像的近似特性和图像的主要能量，低频系数反映了图像的轮廓，低频系数的选择决定了融合图像的视觉效果，对融合图像质量的好坏起到非常重要的作用，这在以后图像融合的研究中应当引起足够的重视并进行深入研究。