基于决策级融合的掌纹掌静脉多特征融合匹配算法研究

基于决策级融合的掌纹掌静脉多特征融合匹配算法研究 基于决策级融合的掌纹掌静脉多特征融合 匹配算法研究 张青，孙冬梅 (北京交通大学计算机学院，北京 100044) 5 摘要:针对单一模态的生物特征识别系统存在固有的缺点，本文提出一种新的基于决策级融 合的掌纹掌静脉多特征融合识别的方法。首先,对掌纹及掌静脉两种模态分别进行初级分类 器设计，用多种匹配算法决策融合,得出识别结果;然后将提取出的掌纹与掌静脉特征点集, 以串联的方式形成新的特征，构成二级分类器，再用同样的方法,得出一个识别结果;最后 将上述两个识别结果再进行决策级融合,得到系统最后的结果(实验结果证明,本算法能有效 10 的提高系统的通过率，降低误识率。 关键词:掌纹掌静脉融合;多特征融合;决策级融合 Decision Fusion Of Palm And Plam Vein Matching Algorithm Based on Multiple Feature Fusion 15 ZHANG Qing, SUN Dongmei (Beijing Jiaotong University of Computer and Information, Beijing 100044) Abstract: For a single modal biometric system have shortcomings, this paper proposes a new palm vein-based decision level fusion of palm multi-feature fusion recognition method. First, the two modes of palm and palm vein were the primary classifier design, a variety of matching algorithms 20 decision fusion, obtained recognition results; then extracted palm and palm vein feature points set in series the formation of new features, constitute the two classifiers, and then in the same way, and come to a recognition result; the last of the two recognition results for decision level fusion, and to get the final result of the system. Experimental results show that this algorithm can effectively improve the system by reducing the error rate. 25 Keywords: Palm And Palm Vein Fusion; Multi-feature Fusion; Decision Level Fusion 1 引言 研究现状 1.1 随着对个人物品、内部网络、建筑物通道、Internet 乃至电子商务的安全性的要求日趋 30 严格，对于身份认证技术的需求也变得越来越紧迫，生物认证与识别技术即是安全和便捷的 身份认证与识别方法。在众多生物认证与识别方案中，有指纹认证与识别，人脸认证与识别、 虹膜认证与识别、掌形认证与识别、步态认证与识别等多种认证与识别方式，这些认证与识 别人的身份的方式仅停留在观察人的生物特征的“象”上，安全系数较低。 35 2005 年至 2010 年，有关掌部特征的识别或认证系统的研究相当充分，其中 IEEE 有关 掌部特征的论文有 400 余篇，另外在 EI 中可以检索到 700 余篇相关论文。但这些研究大多 是针对与单一特征进行研究，例如掌纹，手掌轮廓，手指指形等。涉及到双特征，乃至多特 征的融合认证的研究相对较少，在 IEEE 或是 EI 中关于掌部特征融合认证的仅能检索到 40 余篇。在这些融合认证中，再细化到包含手掌静脉的融合却仅有 10 余篇。最后具体到掌纹 与掌静脉的融合认证的论文只有 4 篇。 40 基金项目:北京市自然科学基金(No. 4102051) 作者简介:张青，(1987-)，男，硕士，模式识别。 通信联系人:孙冬梅，女，教授，信号与信息处理，模式识别与职能系统，人机交互工程，信息安全。E-mail: dmsun@bjtu.edu.cn -1- 本文主要工作 1.2 多模态生物特征身份识别技术,是将多个生物特征结合来提供更充分的识别信息，弥补 了单种生物特征认证不稳定、错误率较高等很多缺点，具有良好的应用前景[1]。国际上已有 很多学者致力于多模态身份识别技术的研究，文献[2]最早提出利用多个特征进行身份认证的 [3]提出了一种用贝叶斯方法在决策层上整 方法，并在匹配层上整合了人脸和语音识别;文献45 合不同的生物特征;文献[4]从理论上证明了多模态生物特征认证系统相对于单生物特征认证 系统在实现效率上的提高;文献[5]提出将掌纹与人脸识别的结果融合，并对多生物特征的融 合进行了综述。近几年来对多模态的研究大多都是基于掌纹、人脸、声纹、掌纹及虹膜等模 态的融合策略[6-9]。而本文研究的多模态生物特征身份识别方法选择掌纹与掌静脉，双模态 进行决策级融合，是因为这两种模式在身份识别的应用中具有较强的互补性。掌纹识别的识 50 别率很高，但存在掌纹纹路易受损坏，手掌表面情况对图像采集影响较大及易被窃取等弊端。 与掌纹识别相比，静脉识别采用的是手掌内部的静脉图像特征，手掌表面的情况对识别结果 没有影响，静脉图像很难伪造且采用非接触式采集方式，但静脉模式存在可提取的特征少的 缺点。因此将这两种模态特征结合，能够充分利用两者的优势，构建良好的身份识别系统。 本文提出了基于二级决策的掌纹与掌静脉识别的多钟匹配的决策级融合方法，首先针对第一 55 级分类的掌纹和掌静脉识别采用基于细节点匹配[10],距离匹配和点间最小平均距离匹配的方 法，匹配结果由三者决策融合得出,，然后将提取出的掌纹与掌静脉特征点集,以串联的方式 形成新的特征，构成二级分类器，再用同样的方法,得出一个特征融合后的识别结果，这样 不仅尽可能多地保留了参与融合的多特征间的有效鉴别信息，而且由于两种模态均采用基于 特征点的特征提取方式，也避免了多模态间由于特征量纲相差较大而导致直接串联出现的特 60 征不平衡的情况;最后将上述三个分类器的识别结果进行了决策级融合，将融合后的结果作 为最终的识别结果。 2 系统框架 ROI , , 图 2-1 系统框架图 65 -2- 系统框架图如图 2-1 所示，整个系统大致可分为 3 大模块，数据采集模块，特征提取模 块以及匹配认证模块。 数据采集主要完成接入视频数据，并在适当时刻截取其中一帧图像。最后对截取的图像 进行简单的预处理，主要是位置固定地截取图像中手掌所占的中心部分。 70 特征提取模块主要完成 ROI 区域的确定，所得 ROI 图像的旋转与缩放。然后在经过必 要的滤波去噪处理之后，提取掌纹与掌静脉的特征，之后进过细化处理，再提取点特征。 匹配认证模块包括掌纹与掌静脉的匹配，还有特征融合匹配,三者所得结果的匹配决策。 3 预处理及特征点提取 图像采集及预处理 3.1 采集器 75 3.1.1 图 3-1 采集器 采集器外形如图 2-1 所示，其外壳采用硬质塑料，轻巧坚固，且可隔绝外部光源干扰。 80 在采集器的上表面，有一方形口，且在方形口外围有 5 道手指型的凹陷，用于指引用户手掌 的大致摆放。 摄像头位于采集器的底部，其周围布置有红外光发光模块和高亮 LED 冷光灯。 高亮 LED 冷光灯照射方面垂直向上，其中心正对手指间隙部分，这样可以抵消掉外部 光源的影响。 85 图 3-2 采集图像 以上是采集器采集的掌纹和掌静脉图像。左边为掌纹，右边为掌静脉。 -3- 预处理 3.1.2 90 对采集的图像进行图像裁剪,图像灰度化,确定 ROI 区域,滤波去噪，二值化及细化等一系 列预处理操作得到经过预处理的图像，如图 3-3 所示。 (a)原始图像 (b)二值化 (c)去噪 (d)细化 图 3-3 图像预处理过程 95 特征点提取 3.2 细节特征提取是在预处理中得到的细化图上提取的，而所有的静脉特征中，最常见的具 有特殊的点就是端点和分叉点的方法，使用这 2 类特征点就足以描述静脉的唯一性，因此只 要找到提取端点和分叉点的方法即可。通过对提取到的静脉图象进行预处理后获得细化后的 100 二值图像，图中任意一个像素点 P 的 8 邻域如图 3-4 所示。 P3 P2 P1 P4 P P0 P5 P6 P7 图 3-4 任意一个像素点 K 的 8 邻域 本文对静脉特征点的提取采用的就是这种基于 8 邻域判断的特征点提取方法。在这里我 有以下的定 : 105 (1)象素值为 1 的点称为目标点。 (2)象素值为 0 的点称为背景点。 (3)P 的 8 个邻点即以 P 为中心的 3×3 区域中除了 P 以外的 8 个点 P1 到 P8。 如果 P=1，表明 P 是细化后静脉网络上的一个像素点，利用下面的式(3-1)可以计算出图 像 P 点处 8 邻域的纹线点数(P 邻域周围非零像素点数)。 8 (3-1) 110 Tn (P) , Pi i ,1 对于细化图像, 象素点的灰度值只有 2 种情况(1 或 0)，0 为背景点灰度(白点);1 为骨架点灰度(黑点)。对于细化图像上的任意点 P(P 表示该象素的灰度值)，如图 3-3 所示，其交叉数由式 3-2 得出为。 1 8 (3-2) C n (P) , Pi Pi ，1 2 i,1 115 然后遍历细化图像中的每一个像素点,计算其Tn (P) 和 Cn (P) ，根据下面的条件即可得到 所有的端点和分叉点: (1)当Tn (P) =1， Cn (P) =1 时，细节特征点 P 为端点。 (2)当Tn (P) =3， Cn (P) =3 时，细节特征点 P 为分叉点。 -4- 提取结果如图 3-4 所示，其中空心方形标记的是端点，空心圆标记的是交叉点。 120 图3-5 特征点 所有交叉点已经全部提取出来之后将图像中分支点归类为交叉点进行存储，得到所有的 J n {( x1 , y1 ),( x2 - y 2 ), … ,( x N - y N )} 。 所 有 的 端 点 序 列 为 交叉点序列为 Dn ( x1 y1 )( x2 y 2 ),....( xn yn ) 。 125 4 特征点匹配算法 算法流程图 4.1 图 4-1 算法流程图 130 如图 4-1 所示, 首先针对第一级分类的掌纹和掌静脉识别采用细节点匹配,中心距离匹 配和点间最小平均距离匹配的方法，匹配结果由三者决策融合得出,，然后将提取出的掌纹 与掌静脉特征点集,以串联的方式形成新的特征，构成二级分类器，再用同样的方法,得出一 个特征融合后的识别结果，这样不仅尽可能多地保留了参与融合的多特征间的有效鉴别信 息，而且由于两种模态均采用基于特征点的特征提取方式，也避免了多模态间由于特征量纲 135 相差较大而导致直接串联出现的特征不平衡的情况;最后将上述三个分类器的识别结果进行 了决策级融合，将融合后的结果作为最终的识别结果。 -5- 点匹配 4.2 取待匹配图像的一点与模板图像的所有同类点进行比对，取两点的欧式距离最小且小于 阈值的特征点作为匹配点。重复上述过程，寻找每个特征点的对应匹配点。记匹配成功的点 140 数与匹配的次数之比为 ，1 。 基于中心距离的点匹配 4.3 匹配特征点到中心点的距离，已知所有特征点序列 (x1 ,y 1),(x2 ,y2)…(xi, yi)，定义其中 心为: x1 ， x2 ， ...xi y1 ， y 2 ， ... yi 145 , ) (1) (x i , y i ) , ( i i 中心到每个特征点的距离为: d i , (x i - x j ) 2 ， (y i - y j ) 2 (2) 将 d 按照点的从左到右、从上到下的顺序排列，得到一个距离向量: (3) d , (d1 , d 2 ,..., d i ) 150 同上,也可以计算另一图的距离向量为: (4) d' , (d1 ', d 2' ,..., d i ' ) 比对两图的距离向量的分量之比是否约为 1，即: d m , 1, m , 1,2,..., i (5) d'm ，1 ， ，2 ， ， 与阈值 记式(5)成立的次数与比较总次数之比为 ，2 。总的匹配参数为 ， , 2 155 比较，判断匹配是否成功,得出的结果为 r1 ，作为与后面的方法融合匹配的参数。 基于点间最小平均距离的点匹配 4.4 对于空间中 2 有限点集 A , (a 1 , a 2 ,..., a n ) 和 B , (b1 , b 2 ,..., b m ) ，将 A 与 B 之间的点 间最小平均距离定义为: (6) D( A, B) , max( d(A, B), d(B, A) ) 160 式中 d(A, B) 和 d(B, A)分别为集合 A 到集合 B,集合 B 到集合 A 的单向点间最小平均距 离: 1 b B d(A, B) , (7) min | a - b | N A a A 1 a A d(B, A) , (8) min | b - a | N B b B 式中:| * |表示欧式距离;NA 表示 A 集合中点的个数;NB 表示 B 集合中点的个数; 165 d(A, B) 表示，对点集 A 中的每个点 ai，求取距离此点最近的 B 集中的任一点 bj 之间的距离 | ai - bj |，并将这个距离相加，取平均值，为 d(A, B) 的值;同理可得 d(B, A)。 D( A, B) 取 d(A, B) 和 d(B, A)中的大者，它反映了集合 A 和集合 B 的不匹配程度，D( A, B) 的值越大， 说明 2 个集合间相差越大。 -6- 综上所述，使用点间最小平均距离的匹配方法的具体步骤如下: 170 AB; a(根据距离变换公式(6)计算出特征点集 A 到特征点集 B 的点间最大小平均距离 D b(同理计算出特征点集 B 到特征点集 A 的点间最小平均距离 DBA; c(将 DAB 与 DBA 中的大者作为相似性度量值与预设阈值进行比较，判断匹配是否成功， 得出的结果为 r2 。 r1 ， r2 , 1，那么一级分类器的匹配成功，否则失败。 如果 175 5 二级决策的融合方法 二级分类器的设计 5.1 在二级分类器的设计上，采用特征串联的方式将掌纹与掌静脉两组特征首尾相连形成一 个新的特征，在高维的特征空间进行识别。这种方式属于特征级融合的范畴，其优势是明显 的，对同一模式提取的不同的生物特征矢量总是反映模式的不同特性，对这些特征进行优化 组合，不仅能利用特征间的互补信息来提高系统准确性，从而更充分地利用各个生物特征提 180 供的有效信息，也能在一定程度上消除了由于主客观因素带来的冗余信息，对分类识别具有 重要的意义。由于本文掌纹与掌静脉均采用基于特征点的方式进行识别，因此将提取出的掌 纹特征点集与静脉特征点集以特征串联方式构成二级分类器时就避免了由于不同模态间特 征量纲相差较大而导致直接串联出现的特征空间不相容或特征在融合中不平衡等情况。二级 分类器匹配方法如下: 185 , 1 :设模板掌纹图像特征 a(计算模板掌纹图像和模板掌静脉图像的融合特征向量集合 点集合为，1 , (a 1 , a 2 ,..., a n ) ，模板静脉图像特征点集合为 ,1 , (b1 , b 2 ,..., b m ) ，则特征串 联后的模板融合特征向量集合 , 1 , (， 1 , ,1 ) , (a 1 , a 2 ,..., a n , b1 , b 2 ,..., b m ) 。 b(计算待匹配的掌纹图像和掌指静脉图像的融合特征向量集合 , 2 ，设待匹配掌纹图像 190 特征点集合为 ， 2 , (s1 , s 2 ,..., s i ) ，待匹配静脉图像特征点集合为 , 2 , (t 1 , t 2 ,..., t j ) ，则特 征串联后的待匹配融合特征向量集合 , 2 , (， 2 , , 2 ) , (s1 , s 2 ,..., s i , t 1 , t 2 ,..., t j ) 。 c(用上述一级分类器的匹配方法得出特征融合特征点的二级分类器的匹配结果。 决策级融合方法 5.2 由于决策级融合是一种高层次融合，其通信量小，抗干扰能力强，容错性好，能有效地 195 反映环境或目标各个侧面的不同类型信息;因此，本文在得到上述 3 个分类器的结果后，采 用决策级融合方法得到最终的识别结果。在完成一级和二级分类识别后，得到掌纹匹配结果 plam、掌静脉识别结果 Rvien 及二级分类器的匹配结果 Rfusion。最终结果的取值为 0 或 1;0 R 代表匹配失败;1 代表匹配成功。最终的识别结果 R。 由上述得到的 Rplam，Rvien 与 Rfusion 采用投票的方式获得，当有 2 个及以上的分类器识别 结果为通过时，R 的结果为通过。具体公式如下: 200 1 (R plam ， R vien ， R fusion , 2) R, (其他) 0 -7- 6 实验结果 205 为衡量算法的性能，采用错误接受率 FAR 和错误拒绝率 FRR 两个指标。对 50 人进行 取样，每人采集 5 幅，取一幅存入样本数据库，其它作为匹配样本，随机取样本图像对模板 图像进行匹配运算。分别采用掌纹单独匹配、掌静脉单独匹配和融合决策法进行实验，实验 数据如表 6-1 和表 6-2。 表 6-1 错误拒绝率 210 匹配算法 匹配次数 成功次数 失败次数 FRR 静脉匹配 200 186 14 7% 掌纹匹配 200 190 10 5% 融合决策 200 197 3 1.5% 表 6-2 错误接受率 匹配算法 匹配次数 成功次数 失败次数 FAR 静脉匹配 200 0 200 100% 掌纹匹配 200 0 200 100% 融合决策 200 0 200 100% 而且用本文方法性能并与文献[3]使用的贝叶斯方法及文献[11]使用的 D-S 证据理论方法 215 进行比较。实验时从每个人的 5 幅掌纹图像中，任选 1 幅作为待识别样本构成验证库，其余 4 幅构成模板库;静脉识别及融合识别以同样的方式构成验证库与模板库。实验结果如图 6-3 所示。 图 6-3 三种识别方法的 ros 曲线 220 从图 6-3，这三种方法的 roc 曲线图可以看出，本文方法的整条曲线均位于另外 2 种方 法的 roc 曲线的下方，说明本融合方法不仅误识率低于其他 2 种方法，拒识率也较这 2 种方 法低。此外，本文方法不需要训练样本作为先验知识，避免了贝叶斯方法存在的实验结果易 受训练样本好坏的影响及 D-S 证据理论方法计算量较大的缺陷，性能更好，效果十分理想。 225 7 结束语 掌纹和掌静脉特征融合提高了识别的活体性、稳定性、防伪性。融合掌纹和掌静脉建立 多模态生物特征识别的系统，弥补了单生物特征在安全性和实用性上的不足,为我们这个信 息社会日益加剧的安全需求提供了一个很好的解决方案。相信经过深入研究，对算法进行改 -8- 善，一定能构成一个鲁棒高、准确率高，快速的识别系统。掌纹和掌静脉特征融合的系统的 应用前景非常广阔。 230 [参考文献] (References) [1] Jain A K, Ross A, Pankanti S. An introducti biometric recognition[J]. IEEE Transactions on cuit and System for Video Technology, 2004. [2] Brunelli R, Falavinga D.Person identification multiple cues[J].IEEE Transactionson Patter nalysis and Machine 235 Intelligence., 2001. [3] Bugun E S, BigunI D B, etal. Expert conciliatiomultimodal person authen ticationsys tem by Bian statistics Proc of the Audio Video Personal Authentication. Montana Grans Mon press, 1999. [4] Hong L, Jain A K. Intergrating faees ans plam. IEEE Transactions on Pattern Analysis and chine Intelligence, 2000. 240 [5] Jain A K, Ross A. Multibiometric system.munication of the ACM, Special Issueon Multi Inerfaces ,2004. [6] 刘红毅，王蕴红，谭铁牛(基于改进 ENN 算法的物特征融合的身份验证(自动化学报, 2004. [7] Shukla, Anupam. Fusion of face and speech fea with artificial neural network for speaker authetion. IEEE Transactions on system, 2006. [8] Feravi F, Chibelushi C, Maso J S D . A revie speech based bimodal recognition. IEEE Trations on Multimedia, 245 2002. [9] Frischholz R W, Dieckmann U. A multimodal metric identification system. IEEE Transac on Computer, 2000. [10] 田捷，罗希平(自动指纹识别中的图像增强和细节匹配算法(软件学报，2002. [11] 王杰贵，靳学明，罗景青(基于 ESM 与 ELINT 信息融合的机载辐射源识别[J](电子学报，2006. 250 -9-