基于半监督流形学习的人脸识别方法

* )基金项目:重庆市自然基金资助项目( NO. CSTC2006BB215)。黄 鸿 博士生,主要研究方向为图像处理、模式识别、流形学习、生物特征识 别等;李见为 教授,博士生导师,主要研究方向为图像处理、模式识别、地理信息系统( GIS) 等;冯海亮 副教授,主要研究方向为应用数学、黎 曼流形、图像处理、人脸识别等。 计算机科学 2008Vol1 35 l1 12 基于半监督流形学习的人脸识别方法* ) 黄 鸿 李见为 冯海亮 (重庆大学光电技术及系统教育部重点实验室 重庆 400030) 摘 要 如何有效地将流形学习( M anifold lea rning, ML)和半监督学习( Sem-i supervised learning, SSL)方法进行结合是 近年来模式识别和机器学习领域研究的热点问题。提出一种基于半监督流形学习( Sem-i supervised manifo ld learning , SSML)的人脸识别方法,它在部分有标签信息的人脸数据的情况下,通过利用人脸数据本身的非线性流形结构信息和部 分标签信息来调整点与点之间的距离形成距离矩阵,而后基于被调整的距离矩阵进行线性近邻重建来实现维数约简,提 取低维鉴别特征用于人脸识别。基于公开的人脸数据库上的实验结果表明,该方法能有效地提高人脸识别的性能。 关键词 流形学习,半监督学习, 局部线性嵌入,维数约简,人脸识别 Face Recognition Based on Sem-i supervised Manifold Learning HUANG H ong L I Jian-wei FENG H a-i liang ( Key Lab. on Opto-E lect ron ic Techniqu e of State E du cation Minist ry of C hina, Ch on gqin g U niversi ty, Ch ongqing 400030, Ch ina) Abstract Recently, manifo ld learning and sem-i super vised learning are tw o hot topics in the field o f machine learning. However , ther e a re only a few researches on how to incorpo rate sem-i supervised learning and manifo ld learning, espe- cia lly for face recognition. A new sem-i super vised manifold learning for face r ecognit ion was propo sed. T his method re- lies on the distance matrix formed by both labeled and unlabeled samples, and then the lo cal linear embedding ( LLE) method w as used to ext ract discr iminativ e manifold features acco rding to the modified distance matrix. T he propo sed method produces better classification per formance w hich captur es the intr insic manifold structur e co llectively r evealed by labeled and unlabeled samples. Exper imental results on public face dat abases show that the propo sed method can im- proves face classification perfo rmance effectively . Keywords Manifo ld learning , Sem-i super vised learning , Local linear embedding ( LLE) , D imensiona lit y r eduction, Face recognition 1 前言 人脸识别是模式识别研究领域的重要课题,可描述为:给 定一个静止或视频图像, 利用已有的人脸数据库来确认图像 中的一个或多个人[1]。如何提取有效的鉴别特征和降低鉴别 向量的维数是人脸图像分析的焦点 ,即如何进行有效的维数 约简。维数约简肩负两方面的使命, 一是寻找针对模式的最 具鉴别性的描述,以使此类模式的特征能最大程度地区别于 其他类;二是在适当的情况下实现模式数据描述的维数压缩, 尤其描述模式的原始数据空间对应较大维数时尤为突出, 而 人脸图像是典型的高维数据。 维数约简可以分为线性和非线性两类, 线性方法主要有 主成分分析( PCA ) , Fisher 判别分析( FDA )等, 但是对非线性 结构的数据就无能为力。之后,随着核方法的成功应用 ,将其 引入人脸识别,出现了如 KPCA( kernel PCA) , KLDA ( kernel LDA)等[2, 3]。近年来,有科学家提出人脸图像很可能位于一 个低维的非线性子流形上, 可以实现将高维输入数据点映射 到一个全局低维坐标系, 既能够降低数据维数,减少运算, 同 时又很好地保留了各类人脸样本的拓扑结构, 其中具有代表 性的流形学习方法有等距映射 ( isometr ic feature mapping , ISOMAP) [4]、局部线性嵌入 ( local linear embedding, LLE) [ 5] 和拉普拉斯本征映射( laplacian eig enmaps, LE) [ 6]等。针对这 些算法都是非监督的学习算法, 出现了监督流形学习方法[ 7] , 在保留人脸局部流形结构的同时引入样本类别信息, 取得不 错的分类效果。监督流形学习方法需要所有的样本具有标签 信息, 但在许多机器学习的问题中,容易获取大量未标签的数 据, 而标签的数据则是相对有限的,或是获得它们需要付出一 定的代价, 因而半监督流形学习是模式识别和机器学习领域 研究的热点课题。半监督流形学习的基本思想是: 如果高维 数据采样于一个低维流形且样本的标签在流形上具有某种比 较好的性质, 就可以用大量的无标签样本学习出数据中的内 在几何结构, 然后利用这种结构和它的标签性质, 通过少量的 标签样本学习出整个流形上的标签信息。在人脸识别问题 中, 标签性质指样本标签在流形上具有比较好的分布, 同类样 本聚集在一起[8]。文献 [ 9]对 LLE, ISOMAP, LTSA 等几种 经典的流形学习方法与半监督学习进行结合, 但该方法需要 事先了解部分样本的低维嵌入, 这限制了其应用。文献[ 10] 在支持向量机 ( SVM )的正则化框架中引入体现数据内在几 何信息的惩罚项, 得到半监督流形学习的正则化框架, 并在表 示定理的基础上给出了 Laplacian 正则化框架, 它具有与 SVM 类似的求解过程, 但是计算复杂。文献[ 11]把流形学习 与半监督学习相结合, 研究了流形上的半监督回归问题, 能够 #220# 利用数据所在流形的内在几何结构进行回归估计, 但是不适 用于人脸分类问题。 本文秉承流形学习的思想,从半监督学习入手, 提出了人 脸识别的一种新方法 ) ) ) 半监督局部线性嵌入算法 ( Sem-i superv ised local linear embedding, SS-LLE)。它通过利用人 脸数据本身的非线性流形信息和部分标签信息来调整点与点 之间的距离形成距离矩阵, 而后基于被调整的距离矩阵进行 线性近邻重建来实现维数约简, 提取低维鉴别特征用于人脸 识别。在 YaleB 和 CMU PIE 人脸库上的实验结果表明, 该 方法能有效地提高人脸识别的性能。 2 算法介绍 2. 1 局部线性嵌入( LLE) LLE [5]算法的目的是对在高维欧氏空间R D中的高维数 据集X = { x 1 , x 2 , ,, x N } I R n @ m , 将这些样本映射到一个低 维空间R d ( d < < D)中, 得到 X 的低维嵌入为 Y = { y 1 , y 2 , ,, y N }。LLE 的主要思想是认为流形上每一个局部邻域内 的任意一点从都可以描述为邻域内其他点的线性表示。通过 最小化这种线性表示的误差,可建立如下模型 J LLE = argminE ni= 1 + y i - E kj= 1w ij y j + 2 ( 1) 约束条件为: E ni= 1 y i = 0, YT Y= I ,式中 T 为转置。利用 Lan- g rage乘子法, 该模型可以转化为方程 MY= KY ( 2) 的特征值求解问题,式中 M= I- W T I - W 。 从上述算法可知, 通过利用线性重构的局部对称性质, LLE 能够学习非线性流形的全局结构, 比如从人脸和文本图 像中学习到有意义的特征等。 2. 2 监督局部线性嵌入( SLLE) 针对 LLE 未能利用样本的类别信息的缺点, Dick 等提出 一种有监督的 LLE算法 ,即 SLLE[ 7]。传统的 LLE 算法在第 一步时是根据样本点间的欧氏距离来寻找 k 个近邻点, 而 SLLE 在处理这一步时,增加了样本点的类别信息。SLLE 的 其余步骤同 LLE 算法是一致的。 SLLE 算法在计算点与点之间的距离时, 采用如下公式: Dc= D+ Amax (D)$ ( 3) 其中, Dc是计算后的距离; D 中是定义为样本之间的距离; max( D)是表示类与类之间的最大距离; $取 0或者 1,当两点 属于同类时, $取为 0, 否则取 1;A是控制点集之间的距离参 数,是一个经验参数。当 A取为零时, 此时的 SLLE 和 LLE 算法相同。 2. 3 半监督局部线性嵌入( SS-LLE) 本文将半监督学习的思想引入 LLE 算法中,结合部分样 本标签信息, 提出一种新的半监督局部线性嵌入算法( SS- LLE)。SS-LLE 算法主要思想是在结合样本本身的流形结构 信息和部分标签信息调整样本点之间的距离, 使用调整后的 距离矩阵来实现线性近邻重建。 给定人脸图像数据集 X = { ( x 1 , c1 ) , ( x 2 , c2 ) , ,, ( x l , cl ) , x l+ 1 , x l+ 2 , ,, x l+ u} I R n @ m , 其中有 l 个标签样本和 u 个 无标签样本, c i 是 x i 的类别标签, Y I R n @ d , Y 为嵌入于高维 空间的流形, d n m。SS-LLE 算法的具体步骤如下: St ep1 计算样本点 x i 和 x j 之间的欧式距离, 距离定义 如下式: d(x i , x j ) = dist( x i , x j )= ( + x i - x j + 2 ) ( 4) St ep2 利用 d( x i, x j )计算每个点的 k 近邻点, x i 的 k 近 邻点表示为 knn( i) ,结合样本的部分标签信息和近邻信息,将 距离矩阵调整为: D( x i , x j )= 1- exp(- d2 ( x i , x j ) /B) - A 1- exp(- d2 ( x i , x j ) /B) exp( d2 ( x i , x j ) /B) if ci = c j if x i or x j isunlabeled, x i I knn( j ) or x j I knn( i) other- w ise ( 5) 其中参数 B用于防止在d ( x i , x j )较大时 D( x i , x j )增长过快。 D( x i , x j )函数曲线如图 1 所示。 图 1 D( x i, x j )函数的曲线图 从图 1可以得到, 当欧式距离 d ( x i , x j )相同时, 具有相 同标签的类内距离小于 1- A, 不同类间距离大于 1,无标签近 邻样本之间的距离小于 1, 方法保证了类间距离比类内距离 大, 因而 SS-LLE 方法适用于人脸识别此类的模式分类问题。 通过 D( x i , x j )重新计算每个点的 k近邻。 Step3 通过 x i 的近邻点计算 x i 的线性重构的权值 W ij ,使得 minE( W ) = E i + x i - E j w ij x j + 2 ( 6) 式中 W ij 是 x i 与近邻点 x j 之间的权值,且要满足: E W ij = 1, W ij 可以通过以下方法进行计算: 首先计算 x i 的近邻协方差 矩阵 C C j k = ( x i - x j ) ( x i - x k ) ( 7) 而后可以通过求解线性方程E CW= 1来求解 W ij 。 Step4 通过稀疏矩阵 M= Di j - W ij - W j i + E k W ki W kj 来 求解式( 2)的特征向量。从而可以计算由 W ij 最优重构的低 维嵌入向量 y i。 本文对 Sw iss- ro ll数据集进行 2000 点采样的数据进行实 验, 验证 SS-LLE 方法的性能, 实验中 A= 0. 1, SS-LLE 方法 中具有类别标签信息的数据点为 200 个,各种算法的二维嵌 入结果如图 2所示。 图 2 应用 SS-LLE得到 Sw is s- roll数据集的二维映射图 从图 3可以得知, LLE 方法可以有效地发现 Sw iss- ro ll #221# 数据集的流形结构,但是并未考虑类别的联系, 并不适合于应 用于人脸识别此类分类问题, 而 SLLE 方法充分考虑了类别 间的联系,在形成距离矩阵时将具有不同类别标签信息的距 离增加,从而在线性重构时充分利用同类间的数据, 取得较好 的维数约简效果,一些同类的数据甚至嵌入为一点, 可以在分 类时取得较好的效果, 但是需要所有的数据具有标签信息。 SS-LLE 可以有效的学习非线性流形的全局结构, 并且利用 部分数据的标签信息来调整距离矩阵, 进而实现对不同类别 标签的样本之间具有较好的可分性 ,取得相对较好的维数约 简效果。 在使用 SS-LLE 将人脸图像特征映射到低维鉴别空间中 后,便可使用分类器进行分类。本文使用基于欧式距离的最 近邻分类器进行分类。 3 实验结果及分析 本文在 YaleB 人脸库[12]和 PIE 人脸库[ 13] 上对本文算法 与 Eigenfaces( PCA ) 算法、LLE 算法、SLLE 算法进行比较。 YaleB是目前应用广为使用的数据库之一, 该数据库全面地 反映了不同光照和表情下的人脸成像。在实验中, 本文选用 其中一个子库 Ya leB01作为测试数据库,该库中包含 39 个人 在不同光照下的 2414 张图像, 分辨率为 168 @ 192, 灰度级为 256。PIE 人脸库包含由 68 个人组成的 41368 张人脸图像, 由于 PIE 是个较大的人脸图像数据库, 本实验选用的图像为 5 个接近正面的人脸子集, 分别是 C05, C07, C09, C27, C29, 这些子集中的图像充分反映了人脸的位置、光照和表情的变 化。在预处理阶段,将 YaleB01 脸库中所有图片进行裁剪,将 其分辨率设置为 64 @ 64, 然后对其进行下采样, 以达到32@ 32 的分辨率。对于 PIE 子集中的图像, 将其分辨率设置为 64 @ 64。最后将两个数据库中的每张图像都进行均值为 0、方 差为 1的规格化。图 3是两个人脸库进行预处理后的图片示 例。 在实验中与 LLE 相关的算法中的参数近邻 k= 12,A= 0. 1。 每次实验时,在 YaleB01 和 P IE 库子集中每人随机选取 20幅 人脸图像,其中 10 幅为训练集, 10 幅图像为测试集, 特别地, 在 SS-LLE 实验中, 每人 4 幅人脸图像具有类别标签, 其余的 都是无标签图像。在各种算法对预处理后的人脸图像进行维 数约简后, 用最近邻分类器对嵌入的子流形特征进行分类。 为了尽可能减少分类器对算法的影响,对每个算法进行 10 次 实验, 取其平均值。各种算法在两个人脸库中不同嵌入维数 下的识别结果如图 4和图 5所示。 图 5 不同算法在 PIE库上识别率与鉴别维数关系图 从图 4与图 5 中总体识别结果来看, 不考虑鉴别性能的 非监督方法如 PCA 方法和 LLE 方法获得的识别曲线很相 似, 都能尽可能减少每一类的重建误差,随着鉴别矢量的数量 增加, 重建误差会越来越小,识别率也会逐步上升, 但是由于 没有考虑类别信息, 识别率的上升会有明显的极限, 因此识别 效果不是非常理想。而 SLLE 与 SS-LLE 方法在考虑数据线 性重建的同时, 通过强调类之间的差异来突出鉴别性能, 因此 都能很快地达到较高的识别率,取得较理想的识别效果。SS- LLE 方法由于只有部分的标签信息可以利用, 相对 SLLE 方 法, 识别率有所下降,但是 SS-LLE 方法充分利用数据的结构 信息和有限的标签信息,使具有标签信息的同类样本之间的 距离最小化, 不同类数据之间的距离最大化, 进而可以有效地 提取数据的低维鉴别子流形, 使得分类性能要远优于非监督 的维数约简方法。 从维数约简的目的来看, 在图 4 和图 5 中相对其他算法, 基于 SLLE 和 SS-LLE 的方法达到较高识别率所需要的鉴别 维数的数目要明显少于其他方法, 这更有利于维数约简, 而 SS-LLE方法仅需少量的数据具有标签信息, 因而可以更好 地应用于模式识别和机器学习领域。 结束语 本文在对 LLE 和 SLLE 算法进行分析后, 提出 了一种半监督局部线性嵌入算法( SS-LLE) , 并将该算法应用 于人脸识别。该算法将人脸图像的局部流形结构信息和样本 部分标签信息进行有效地结合,来调整点与点之间的距离形 成距离矩阵, 而后基于被调整的距离矩阵进行线性近邻重建 来实现维数约简, 提取低维鉴别特征用于人脸识别。在 YaleB 和 CMU PIE 人脸库上的实验表明,该方法通过利用较 少的标签信息能有效的提高人脸识别的性能。半监督流形学 习研究中还有很多需要深入的问题, 如建立相应的统计学习 基础, 以及将算法向面部表情、种族、年龄等群体特征识别进 行扩展等等。 参 考 文 献 [ 1] 郑宇杰,杨静宇,吴小俊.一种新的核线性鉴别分析算法及其在 人脸识别上的应用[ J] .计算机科学, 2006, 33( 7) : 223-226 [ 2] 罗四维,赵连伟.基于谱图理论的流形学习算法[ J] .计算机研究 与发展, 2006, 43( 7) : 1173-1179 [ 3] Yan g J , Zh ang D, Yang J Y. Globally m axim izing, locally min-i mizin g: Unsuper vis ed Discriminant Project ion w ith appl ication s to face and palm biom et rics [ J ] . IEEE T ran . Pat tern Analysi s and M achine Intel ligen ce, 2007, 29( 4) : 650- 664 [ 4] Row eis S T , Saul L K . Nonl inear dimen sional it y reduct ion by Locally Linear Embedding [ J ] . Science, 2000, 290 ( 5500) : 2323- 2326 #222# [ 5] T enenb aum J B , Silva V D , Langfor d J C . A global geom et ric f ramew ork for n on linear dim ensionalit y r educt ion [ J ] . Science, 2000, 290( 5500) : 2319- 2323 [ 6] Belkin M , Niyogi P . Laplacian Eigenmaps and spect ral tech- n iqu es for embedding and clus tering [ C] . Advances in Neural Informat ion Process ing System s. Cambridge, MA, USA: Th e M IT Pr ess , 2002, 14: 585-591 [ 7] Okun O, Kou ropteva O. Su pervis ed locally linear emb edding al- gorithm [ C] MProc. of the T enth Finnish Art if icial Intell igence C onference. Finland: FAIC, 2002: 50-61 [ 8] Zhu X J. Sem-i super vis ed learning lit erature su rvey [ R] . Un-i versity of Wis consin-Madison. T ech Rep: 1530. December 2007 [ 9] Yang X , Fu H Y , Zha H Y . Sem i- supervised n on linear dimen- sionalit y redu ct ion[ C] MProc. of th e 23r d Internat ional Confe- rence on Machine Learning. Pit t sbu rgh, Pen nsylvania, 2006, 148: 1065- 1072 [ 10] Belkin M , Niy ogi P, Sindhwaniyd V. Manifold regu lari zat ion: A geom et ric f ram ew ork for learnin g f rom exam ples [ J] . Journal of Machin e Learning Research, 2006, 7( 11) : 2399-2434 [ 11] 杨剑,王珏,钟宁.流形上的Laplacian半监督回归[ J] .计算机研 究与发展, 2007, 44( 7) : 1121-1127 [ 12] Face database. Yale Un iversi ty, 2002. ht tp: / / cvc. yale. edu / pro- ject s/ yalefaces/ [ 13] S im T , Baker S , Bsat M . Th e CMU databas e [ J] . IEEE T ran. Pat tern Analysis and M ach ine Intel ligen ce, 2003, 25: 1615- 1618 (上接第 215 页) 从图 4. 3, 图 4. 4 可以看出, 只要阈值选得合适, 噪声是 可以很准确检测到的。给确认为噪声的像素做上标记, 直接 从初始图像取同位置的像素点三基色的值赋予噪声像素点, 或者取清晰化过程中此处还未出现噪声的图像的同位置像素 点三基色的值赋予噪声像素点, 就可以去掉噪声。图 4. 5 就 是用源图像同位置的像素值填充噪声像素值得到的图片。 图 4. 5 3 实验 我们定义 Qi 为第 i 次的源模糊图像, A i 和 B i 分别为将 Q i 进行一次和二次模糊后的图像, Ci 为由 Q i , A i , B i 计算出 的第 i 次清晰图像。算法步骤如下。 # 初始化:读入源模糊图像 Q1 ,并计算每个像素三基色 的模以及三基色分量与坐标轴的夹角; # 将 Qi 模糊一次得到 A i ,再次模糊得到 B i ; # 计算系数: K i1= - +A i - Qi ++ Qi + , K i2= - +B i - Qi + +Qi + ; #得到第 i次的清晰图像: Ci = Qi + K i1 * (A i - Qi ) + K i2 * ( B i - Qi ) ; Qi+ 1= Ci ; # i+ + , 返回第二步,直至得到满意的图片。 4 实验结果 每一个算法都需要通过实验来证明其有效性。图 5 就显 示了本文算法将模糊图片逐步清晰化的过程。实验中所使用 的图片的模糊方式是用模糊过滤器进行模糊的。 结束语 本文提出了一种新的彩色图像增强算法, 并通 过实验证明了算法的有效性和实用性。由于在高维空间中图 像可以表示为一个点,我们能够应用高维空间点分析的理论 和观点来分析研究图像之间的相关性, 提出了/ 模糊-再模糊- 清晰0的图像增强方法, 这种方法比传统的图像增强方法更直 观、简单。但是, 本算法还需要进一步完善, 比如找出更符合 图像退化的曲线和增强后图片的去噪等。 图 5 模糊图片逐步清晰化过程 参 考 文 献 [ 1] 王守觉.仿生模式识别(拓扑模式识别) ) ) ) 一种模式识别新模 型的理论与应用[ J] .电子学报, 2002, 30( 10) : 1417-1420 [ 2] 黄凯琦,王桥,吴镇杨.基于视觉特性和颜色空间的多尺度彩色 图像增强算法[ J] .电子学报, 2004, 32( 4) : 673-676 [ 3] Wang Shou- jue, Cao Yu, H uang Yi. A novel image res torat ion approach based on point locat ion in high-dimension space geom- et ry[ C] MICCN& B. 05 [ 4] 王守觉, 王柏南.人工神经网络的多维空间几何分析及其理论 [ J] .电子学报, 2002, 30( 1) : 1-4 [ 5] Jiang Xin g-fang, Jin Long, H e L on g-hu a , et al. Research of the Color Remote Sensin g Im age Fusing Method Based on Ret inex and E dge Ext ract ion [ J] .光子学报, 2007, 36( 3) : 565-567 [ 6] 王守觉,孙华.一种基于矢量关系运算的人脸检测算法[ J ] .微型 计算机信息, 2006, 22( 10) : 294-296 [ 7] 杨欧,郭宝平,郭轩,等.基于 H SI 彩色空间的加权中值滤波算 法[ J] .科学技术与工程, 2007, 7( 6) : 3408-3413 [ 8] 石美红,李永刚,张军英,等.一种新的彩色图像增强方法[ J ] .计 算机应用, 2004, 24( 10) : 69-71 #223#