基于多传感器决策级融合的远距离目标检测

基于多传感器决策级融合的远距离目标检测 基于多传感器决策级融合的远距离目标检测 【关键词】 可见光图像序列; 红外图像序列; 决策级融合; D S证据理论 Abstract: Aim at the problem of detecting for long distance targets with visual and thermal infrared image sequences, a method of targets detection based on multisensor decision level fusion was developed. The algorithm firstly acquires targets detection from each sensor by frame difference accumulation and local intensity image; and then fuses the results using “and” logic to reduce the part of redundant information. Then extracts the multiple features of these target candidate areas in fusion detection result from the two sensor images as the evidence to eliminate redundant information. Finally, to distinguishe the false target from real target using D S evidence theory based on multiple features, and send the recognition result to the target detection output of the whole system. The experimental results demonstrated that this approach is feasible and robust. Key words: visual image sequences; thermal infrared image sequences; decision level fusion; D S evidence theory 引 言 多传感器远距离目标的检测在军事应用领域中具有重要的意义， 多传感器信息融合已经成为信息处理技术领域中研究的热点问。由 于单传感器图像提供的信息具有局限性，而多传感器图像数据之间存 在互补性和冗余性，可以将不同传感器数据进行融合，增强目标检测 的可靠性。 目前关于多传感器融合的远距离目标检测文献较少，李 振华等,1,提出一种基于运动目标检测的红外和可见光动态图像的 融合方法，但该方法适应于大目标检测。赵鹏等,2,提出了一种红 外与可见光图像的新的特征级融合与运动目标跟踪方法，这种方法不 需要图像配准，降低了融合的计算复杂度。D.Borghy,3,提出了一 种基于多传感器图像序列融合的目标检测，在单传感器图像中通过七 种纹理检测。D.Borghy,4,提出了一种基于单幅图像特征级融合目 标检测与运动目标检测相结合的决策级融合，但是该方法需要进行多级融合。李秋华等,5,提出一种基于D S证据理论的红外小目标融合检测方法和一种采用D S证据理论的双色红外小目标融合检测,6,的方法，但以上两种都只是适合于红外小目标。 本文针对摄像头静止的情况下，提出了一种基于决策级融合的检测方法，该方法通过帧间差累积，在各传感器的图像中确定了运动目标区域，并提取当前帧的局部灰度图像和目标区域，利用融合的规则确定了最后的目标区域。然后在各传感器图像中提取融合检测结果中各候选区域的多个图像特征，最后采用采用D S证据理论对各候选区域进行基于多特征检测识别得到最终的检测结果。本文方法的优点是多传感器的融合增强了检测结果的可靠性，算法比较简单。 1 运动区域提取及目标特征提取 [*2]1.1 运动区域提取 首先采用帧间差运算,7,，假设第i帧图像为fi，帧间差图像为dfi，定义公式为:dfi(x, y),|fi，t(x, y),fi (x, y)|, (1)式中:fi+t(x,y)为第i+t帧的灰度值，fi(x,y)为第i帧的灰度值，t为帧间间隔的帧数。对于慢速运动的目标，连续帧间差不能反映运动的区域，需要间隔t帧，t是由目标运动的速度决定。 在一幅帧间差图像中目标会存在空洞效应，对多帧帧间差图像进行累积，可以清除空洞效应。假设gfi(x,y)为i帧帧间差分相累积，其公式为:gfi(x,y)=dfi(x,y)+dfi,t(x,y), (2)式中dfi(x,y)代表第i帧帧间差，dfi,t(x,y)代表第 i,t帧帧间差，累积帧数根据运动目标的速度而定。 先对帧间差分累积图像进行阈值分割，接着对其进行膨胀操作确定运动区域。 根据运动目标，提取出局部灰度图像。假设运动区域图像记作F(x,y)，在运动区域内像素点的值为1，非运动区域内像素点的值为0， ff(x,y)表示红外灰度图像，Bf(x,y)表示红外局部灰度图像，公式Bf(x,y) = ff(x,y) × F(x,y). (3)类似的，可见光的灰度图像记作fv(x,y)，相应的局部灰度图像记作Bv(x,y)，公式 Bv(x,y) = fv(x,y)×F(x,y),(4)式 中(x,y)?s，s表示运动区域，×表示逻辑符号。 提取两种传感器的局部灰度图像后，再分别提取目标区域。 1.2 目标特征提取 分别提取两种传感器的局部灰度图像之后，可以发现，在图像平面上目标比周围的背景亮度要高。本文通过在局部灰度图像上提取目标的对比 均值和均值来表示目标与周围背景区域的平均强度对比和平均强度。 在提取目标之前，针对局部灰度图像，这里定义一个具有方向的矩阵滑窗，如图1。其中T为当前象数(x0,y0)上定义的目标区域,8,(目标窗口):B(H)TB(H)图1 目标与背景区域T={(x0+i,y0+j)|i?,,2×tw,2×tw,, j?,,th,th,}. (5)目标窗口的大小为 (4×tw+1,2×th+1)，这里tw和th选择比所检测的最大目标尺寸稍大的数值;B(H)为当前像素在水平方向上的对比背景区域(背景窗口)B(H)={(x0+i,y0+j)|i?,,bw,bw,, j?,,bh,,th,?,th,bh,}, (6)这里选择背景窗口的大小和目标窗口的大小相同，即 bw=2×tw,bh=2×th.(x0,y0)?(1,2,„，M)×(1,2,„,N);图像的大 小为M×N。目标的各个特征定义 (1) 对比均值Cs(x,y)=1NT (i,j)?T(x,y)fs(i,j),1NB (i,j)?B(x,y)fs(i,j), (7)式中:NT=(4×tw+1,2×th+1)——目标窗口内的像素数;NB=(2×bw+1,2×bh+1),NT——水平方向背景窗口内的像素数;fs(i,j)为在第s(s=1,2)个传感器中当前帧的局部灰度值。 (2) 灰度均值μs=1NT (i,j)?T(x,y)fs(i,j),(8)式中:μs在第s(s=1,2)个传感器中局部灰度图像的灰度均值;其它与式(7)相同。 1.3 两种传感器“与”逻辑融合检测 在两种传感器成像系统中，首先对两种传感器得到的局部灰度图像进行阈值分割，得到检测的二值图像(采用0表示背景点，1表示目标点)，然后将该二值图像通信到中心处理器。在中心处理器中，采用“与”逻辑对两个局部传感器检测的结果进行融合，得到两种传感器检测的结果，其公式 fusion(x,y)=fin(x,y)&fvi(x,y),(9)式中fin(x,y)和fvi(x,y)分别表示红外和可见光图像检测二值图像;fusion(x,y)为融合中心。可以看出，只用两种传感器都对应于目标候选点时，融合中心才是候选点。 2 基于D S证据理论的决策融合 在得到某个候选区域对应的多个特征之后，首先根据该区域的多个特征值采用相应的基本概率分配计算该区域基于各个特征属于目标和背景的基本可信度及不确定度;然后应用D S证据理论正交规则对来自多个特征的证据进行综合，得到该候选区域属于目标和背景的信任度和不否定度，即置信区间;最后根据决策规则对该候选区域进行判决得到目标识别结 果。