基于半监督流形学习的人脸识别方法

3 )基金项目 :重庆市自然基金资助项目 (NO. CSTC2006BB215) 。黄　鸿　博士生 ,主要研究方向为图像处理、模式识别、流形学习、生物特征识 别等 ;李见为　教授 ,博士生导师 ,主要研究方向为图像处理、模式识别、地理信息系统 ( GIS) 等 ;冯海亮 　副教授 ,主要研究方向为应用数学、黎 曼流形、图像处理、人脸识别等。 计算机科学 2008Vol135 №112 　 基于半监督流形学习的人脸识别 3 ) 黄 　鸿 　李见为 　冯海亮 (重庆大学光电技术及系统教育部重点实验室 　重庆 400030) 　 摘 　要 　如何有效地将流形学习 (Manifold learning ,ML)和半监督学习 (Semi2supervised learning ,SSL)方法进行结合是 近年来模式识别和机器学习领域研究的热点问题。提出一种基于半监督流形学习 (Semi2supervised manifold learning , SSML)的人脸识别方法 ,它在部分有标签信息的人脸数据的情况下 ,通过利用人脸数据本身的非线性流形结构信息和部 分标签信息来调整点与点之间的距离形成距离矩阵 ,而后基于被调整的距离矩阵进行线性近邻重建来实现维数约简 ,提 取低维鉴别特征用于人脸识别。基于公开的人脸数据库上的实验结果明 ,该方法能有效地提高人脸识别的性能。 关键词 　流形学习 ,半监督学习 ,局部线性嵌入 ,维数约简 ,人脸识别 　 Face Recognition Based on Semi2supervised Manifold Learning HUAN G Hong 　L I Jian2wei 　FEN G Hai2liang ( Key Lab. on Opto2Elect ronic Technique of State Education Minist ry of China , Chongqing University ,Chongqing 400030 ,China) 　 Abstract 　Recently ,manifold learning and semi2supervised learning are two hot topics in the field of machine learning. However ,there are only a few researches on how to incorporate semi2supervised learning and manifold learning ,espe2 cially for face recognition. A new semi2supervised manifold learning for face recognition was proposed. This method re2 lies on the distance matrix formed by both labeled and unlabeled samples ,and then the local linear embedding (LL E) method was used to extract discriminative manifold features according to the modified distance matrix. The proposed method produces better classification performance which captures the int rinsic manifold st ructure collectively revealed by labeled and unlabeled samples. Experimental result s on public face databases show that the proposed method can im2 proves face classification performance effectively. Keywords 　Manifold learning ,Semi2supervised learning ,Local linear embedding (LL E) ,Dimensionality reduction , Face recognition 　 1 　前言 人脸识别是模式识别研究领域的重要课题 ,可描述为 :给 定一个静止或视频图像 ,利用已有的人脸数据库来确认图像 中的一个或多个人 [1 ] 。如何提取有效的鉴别特征和降低鉴别 向量的维数是人脸图像分析的焦点 ,即如何进行有效的维数 约简。维数约简肩负两方面的使命 ,一是寻找针对模式的最 具鉴别性的描述 ,以使此类模式的特征能最大程度地区别于 其他类 ;二是在适当的情况下实现模式数据描述的维数压缩 , 尤其描述模式的原始数据空间对应较大维数时尤为突出 ,而 人脸图像是典型的高维数据。 维数约简可以分为线性和非线性两类 ,线性方法主要有 主成分分析 ( PCA) ,Fisher 判别分析 ( FDA)等 ,但是对非线性 结构的数据就无能为力。之后 ,随着核方法的成功应用 ,将其 引入人脸识别 ,出现了如 KPCA (kernel PCA) , KLDA (kernel LDA)等 [2 ,3 ] 。近年来 ,有科学家提出人脸图像很可能位于一 个低维的非线性子流形上 ,可以实现将高维输入数据点映射 到一个全局低维坐标系 ,既能够降低数据维数 ,减少运算 ,同 时又很好地保留了各类人脸样本的拓扑结构 ,其中具有代表 性的流形学习方法有等距映射 (isometric feature mapping , ISOMA P) [4 ] 、局部线性嵌入 (local linear embedding ,LL E) [5 ] 和拉普拉斯本征映射 (laplacian eigenmaps ,L E) [6 ]等。针对这 些算法都是非监督的学习算法 ,出现了监督流形学习方法 [7 ] , 在保留人脸局部流形结构的同时引入样本类别信息 ,取得不 错的分类效果。监督流形学习方法需要所有的样本具有标签 信息 ,但在许多机器学习的问题中 ,容易获取大量未标签的数 据 ,而标签的数据则是相对有限的 ,或是获得它们需要付出一 定的代价 ,因而半监督流形学习是模式识别和机器学习领域 研究的热点课题。半监督流形学习的基本思想是 :如果高维 数据采样于一个低维流形且样本的标签在流形上具有某种比 较好的性质 ,就可以用大量的无标签样本学习出数据中的内 在几何结构 ,然后利用这种结构和它的标签性质 ,通过少量的 标签样本学习出整个流形上的标签信息。在人脸识别问题 中 ,标签性质指样本标签在流形上具有比较好的分布 ,同类样 本聚集在一起 [8 ] 。文献 [ 9 ]对 LL E , ISOMA P ,L TSA 等几种 经典的流形学习方法与半监督学习进行结合 ,但该方法需要 事先了解部分样本的低维嵌入 ,这限制了其应用。文献 [ 10 ] 在支持向量机 (SVM) 的正则化框架中引入体现数据内在几 何信息的惩罚项 ,得到半监督流形学习的正则化框架 ,并在表 示定理的基础上给出了 Laplacian 正则化框架 ,它具有与 SVM 类似的求解过程 ,但是计算复杂。文献[11 ]把流形学习 与半监督学习相结合 ,研究了流形上的半监督回归问题 ,能够 ·022· 利用数据所在流形的内在几何结构进行回归估计 ,但是不适 用于人脸分类问题。 本文秉承流形学习的思想 ,从半监督学习入手 ,提出了人 脸识别的一种新方法 ———半监督局部线性嵌入算法 ( Semi2 supervised local linear embedding , SS2LL E) 。它通过利用人 脸数据本身的非线性流形信息和部分标签信息来调整点与点 之间的距离形成距离矩阵 ,而后基于被调整的距离矩阵进行 线性近邻重建来实现维数约简 ,提取低维鉴别特征用于人脸 识别。在 YaleB 和 CMU PIE 人脸库上的实验结果表明 ,该 方法能有效地提高人脸识别的性能。 2 　算法介绍 2. 1 　局部线性嵌入( LLE) LL E[5 ]算法的目的是对在高维欧氏空间　 R D中的高维数 据集 X = { x1 , x2 , ⋯, x N } ∈R n×m ,将这些样本映射到一个低 维空间　 R d ( d < < D) 中 ,得到 X 的低维嵌入为 Y = { y1 , y2 , ⋯, y N } 。LL E 的主要思想是认为流形上每一个局部邻域内 的任意一点从都可以描述为邻域内其他点的线性表示。通过 最小化这种线性表示的误差 ,可建立如下模型 J LL E = argmin ∑ni = 1 ‖y i - ∑kj = 1 w ij y j ‖2 (1) 约束条件为 : ∑ni = 1 y i = 0 , Y T Y = I ,式中 T 为转置。利用 Lan2 grage 乘子法 ,该模型可以转化为方程 M Y =λY (2) 的特征值求解问题 ,式中 M = I - W T I - W 。 从上述算法可知 ,通过利用线性重构的局部对称性质 , LL E 能够学习非线性流形的全局结构 ,比如从人脸和文本图 像中学习到有意义的特征等。 2. 2 　监督局部线性嵌入( SLLE) 针对 LL E 未能利用样本的类别信息的缺点 ,Dick 等提出 一种有监督的 LL E 算法 ,即 SLL E[7 ] 。传统的 LL E 算法在第 一步时是根据样本点间的欧氏距离来寻找 k 个近邻点 ,而 SLL E在处理这一步时 ,增加了样本点的类别信息。SLL E 的 其余步骤同 LL E算法是一致的。 SLL E 算法在计算点与点之间的距离时 ,采用如下 : D′= D +αmax ( D)Δ (3) 其中 , D′是计算后的距离 ; D 中是定义为样本之间的距离 ; max ( D)是表示类与类之间的最大距离 ;Δ取 0 或者 1 ,当两点 属于同类时 ,Δ取为 0 ,否则取 1 ;α是控制点集之间的距离参 数 ,是一个经验参数。当α取为零时 ,此时的 SLL E 和 LL E 算法相同。 2. 3 　半监督局部线性嵌入( SS2LLE) 本文将半监督学习的思想引入 LL E 算法中 ,结合部分样 本标签信息 ,提出一种新的半监督局部线性嵌入算法 ( SS2 LL E) 。SS2LL E 算法主要思想是在结合样本本身的流形结构 信息和部分标签信息调整样本点之间的距离 ,使用调整后的 距离矩阵来实现线性近邻重建。 给定人脸图像数据集 X = { ( x1 , c1 ) , ( x2 , c2 ) , ⋯, ( x l , cl ) , x l + 1 , x l + 2 , ⋯, x l + u} ∈R n×m ,其中有 l 个标签样本和 u 个 无标签样本 , ci 是 x i 的类别标签 , Y ∈R n×d , Y 为嵌入于高维 空间的流形 , d ν m。SS2LL E 算法的具体步骤如下 : Step1 　计算样本点 x i 和 x j 之间的欧式距离 ,距离定义 如下式 : d( x i , x j ) = dist ( x i , x j ) = ( ‖x i - x j ‖2 ) (4) Step2 　利用 d( x i , x j )计算每个点的 k 近邻点 , x i 的 k 近 邻点表示为 knn( i) ,结合样本的部分标签信息和近邻信息 ,将 距离矩阵调整为 : D ( x i , x j ) = 1 - exp ( - d2 ( x i , x j ) /β) - α 1 - exp ( - d2 ( x i , x j ) /β) exp ( d2 ( x i , x j ) /β) if ci = cj if x i or x j isunlabeled , x i ∈knn( j) or x j ∈knn ( i) other2 wise (5) 其中参数β用于防止在 d ( x i , x j ) 较大时 D ( x i , x j ) 增长过快。 D ( x i , x j )函数曲线如图 1 所示。 图 1 　D( x i , x j) 函数的曲线图 从图 1 可以得到 ,当欧式距离 d ( x i , x j ) 相同时 ,具有相 同标签的类内距离小于 1 - α,不同类间距离大于 1 ,无标签近 邻样本之间的距离小于 1 ,方法保证了类间距离比类内距离 大 ,因而 SS2LL E 方法适用于人脸识别此类的模式分类问题。 通过 D ( x i , x j )重新计算每个点的 k 近邻。 Step3 　通过 x i 的近邻点计算 x i 的线性重构的权值 W ij ,使得 minε(W ) = ∑i ‖x i - ∑ j w ij x j ‖2 (6) 式中 W ij是 x i 与近邻点 x j 之间的权值 ,且要满足 : ∑W ij = 1 , W ij 可以通过以下方法进行计算 :首先计算 x i 的近邻协方差 矩阵 C Cjk = ( x i - x j ) ( x i - x k ) (7) 而后可以通过求解线性方程 ∑CW = 1 来求解 W ij 。 Step4 　通过稀疏矩阵 M =δij - W ij - W ji + ∑k W ki W kj 来 求解式 (2)的特征向量。从而可以计算由 W ij 最优重构的低 维嵌入向量 y i 。 本文对 Swiss2roll 数据集进行 2000 点采样的数据进行实 验 ,验证 SS2LL E 方法的性能 ,实验中α= 0. 1 ,SS2LL E 方法 中具有类别标签信息的数据点为 200 个 ,各种算法的二维嵌 入结果如图 2 所示。 图 2 　应用 SS2LL E 得到 Swiss2roll 数据集的二维映射图 从图 3 可以得知 ,LL E 方法可以有效地发现 Swiss2roll ·122· 数据集的流形结构 ,但是并未考虑类别的联系 ,并不适合于应 用于人脸识别此类分类问题 ,而 SLL E 方法充分考虑了类别 间的联系 ,在形成距离矩阵时将具有不同类别标签信息的距 离增加 ,从而在线性重构时充分利用同类间的数据 ,取得较好 的维数约简效果 ,一些同类的数据甚至嵌入为一点 ,可以在分 类时取得较好的效果 ,但是需要所有的数据具有标签信息。 SS2LL E 可以有效的学习非线性流形的全局结构 ,并且利用 部分数据的标签信息来调整距离矩阵 ,进而实现对不同类别 标签的样本之间具有较好的可分性 ,取得相对较好的维数约 简效果。 在使用 SS2LL E 将人脸图像特征映射到低维鉴别空间中 后 ,便可使用分类器进行分类。本文使用基于欧式距离的最 近邻分类器进行分类。 3 　实验结果及分析 本文在 YaleB 人脸库 [12 ]和 PIE 人脸库 [13 ] 上对本文算法 与 Eigenfaces ( PCA) 算法、LL E 算法、SLL E 算法进行比较。 YaleB 是目前应用广为使用的数据库之一 ,该数据库全面地 反映了不同光照和表情下的人脸成像。在实验中 ,本文选用 其中一个子库 YaleB01 作为测试数据库 ,该库中包含 39 个人 在不同光照下的 2414 张图像 ,分辨率为 168 ×192 ,灰度级为 256。PIE 人脸库包含由 68 个人组成的 41368 张人脸图像 , 由于 PIE 是个较大的人脸图像数据库 ,本实验选用的图像为 5 个接近正面的人脸子集 ,分别是 C05 ,C07 ,C09 ,C27 ,C29 , 这些子集中的图像充分反映了人脸的位置、光照和表情的变 化。在预处理阶段 ,将 YaleB01 脸库中所有图片进行裁剪 ,将 其分辨率设置为 64 ×64 ,然后对其进行下采样 ,以达到32 × 32 的分辨率。对于 PIE 子集中的图像 ,将其分辨率设置为 64 ×64。最后将两个数据库中的每张图像都进行均值为 0、方 差为 1 的规格化。图 3 是两个人脸库进行预处理后的图片示 例。 在实验中与 LL E相关的算法中的参数近邻 k = 12 ,α= 0. 1。 每次实验时 ,在 YaleB01 和 PIE 库子集中每人随机选取 20 幅 人脸图像 ,其中 10 幅为训练集 ,10 幅图像为测试集 ,特别地 , 在 SS2LL E 实验中 ,每人 4 幅人脸图像具有类别标签 ,其余的 都是无标签图像。在各种算法对预处理后的人脸图像进行维 数约简后 ,用最近邻分类器对嵌入的子流形特征进行分类。 为了尽可能减少分类器对算法的影响 ,对每个算法进行 10 次 实验 ,取其平均值。各种算法在两个人脸库中不同嵌入维数 下的识别结果如图 4 和图 5 所示。 图 5 　不同算法在 PIE 库上识别率与鉴别维数关系图 从图 4 与图 5 中总体识别结果来看 ,不考虑鉴别性能的 非监督方法如 PCA 方法和 LL E 方法获得的识别曲线很相 似 ,都能尽可能减少每一类的重建误差 ,随着鉴别矢量的数量 增加 ,重建误差会越来越小 ,识别率也会逐步上升 ,但是由于 没有考虑类别信息 ,识别率的上升会有明显的极限 ,因此识别 效果不是非常理想。而 SLL E 与 SS2LL E 方法在考虑数据线 性重建的同时 ,通过强调类之间的差异来突出鉴别性能 ,因此 都能很快地达到较高的识别率 ,取得较理想的识别效果。SS2 LL E 方法由于只有部分的标签信息可以利用 ,相对 SLL E 方 法 ,识别率有所下降 ,但是 SS2LL E 方法充分利用数据的结构 信息和有限的标签信息 ,使具有标签信息的同类样本之间的 距离最小化 ,不同类数据之间的距离最大化 ,进而可以有效地 提取数据的低维鉴别子流形 ,使得分类性能要远优于非监督 的维数约简方法。 从维数约简的目的来看 ,在图 4 和图 5 中相对其他算法 , 基于 SLL E 和 SS2LL E 的方法达到较高识别率所需要的鉴别 维数的数目要明显少于其他方法 ,这更有利于维数约简 ,而 SS2LL E 方法仅需少量的数据具有标签信息 ,因而可以更好 地应用于模式识别和机器学习领域。 结束语 　本文在对 LL E和 SLL E 算法进行分析后 ,提出 了一种半监督局部线性嵌入算法 ( SS2LL E) ,并将该算法应用 于人脸识别。该算法将人脸图像的局部流形结构信息和样本 部分标签信息进行有效地结合 ,来调整点与点之间的距离形 成距离矩阵 ,而后基于被调整的距离矩阵进行线性近邻重建 来实现维数约简 ,提取低维鉴别特征用于人脸识别。在 YaleB 和 CMU PIE人脸库上的实验表明 ,该方法通过利用较 少的标签信息能有效的提高人脸识别的性能。半监督流形学 习研究中还有很多需要深入的问题 ,如建立相应的统计学习 基础 ,以及将算法向面部表情、种族、年龄等群体特征识别进 行扩展等等。 参 考 文 献 [ 1 ] 郑宇杰 ,杨静宇 ,吴小俊. 一种新的核线性鉴别分析算法及其在 人脸识别上的应用[J ] . 计算机科学 ,2006 ,33 (7) :2232226 [ 2 ] 罗四维 ,赵连伟. 基于谱图理论的流形学习算法[J ] . 计算机研究 与发展 ,2006 ,43 (7) :117321179 [ 3 ] Yang J ,Zhang D , Yang J Y. Globally maximizing ,locally mini2 mizing : Unsupervised Discriminant Projection wit h applications to face and palm biomet rics [ J ] . IEEE Tran. Pattern Analysis and Machine Intelligence ,2007 ,29 (4) :6502664 [ 4 ] Roweis S T , Saul L K . Nonlinear dimensionality reduction by Locally Linear Embedding [J ] . Science ,2000 ,290 (5500) :23232 2326 ·222· [ 5 ] Tenenbaum J B , Silva V D , Langford J C . A global geomet ric f ramework for nonlinear dimensionality reduction [J ] . Science , 2000 ,290 (5500) :231922323 [ 6 ] Belkin M , Niyogi P . Laplacian Eigenmaps and spect ral tech 2 niques for embedding and clustering [ C ] . Advances in Neural Information Processing Systems. Cambridge , MA , USA : The MIT Press ,2002 ,14 :5852591 [ 7 ] Okun O , Kouropteva O. Supervised locally linear embedding al2 gorit hm [ C] ∥Proc. of t he Tent h Finnish Artificial Intelligence Conference. Finland : FAIC ,2002 :50261 [ 8 ] Zhu X J . Semi2supervised learning literature survey [ R ] . Uni2 versity of Wisconsin2Madison. Tech Rep :1530. December 2007 [ 9 ] Yang X , Fu H Y , Zha H Y . Semi 2 supervised nonlinear dimen 2 sionality reduction [ C] ∥Proc. of t he 23rd International Confe2rence on Machine Learning. Pit t sburgh , Pennsylvania , 2006 ,148 :106521072[10 ] Belkin M , Niyogi P , Sindhwaniyd V. Manifold regularization : Ageomet ric f ramework for learning f rom examples [J ] . Journal ofMachine Learning Research ,2006 ,7 (11) :239922434[11 ] 杨剑 ,王珏 ,钟宁. 流形上的 Laplacian 半监督回归[J ] . 计算机研究与发展 ,2007 ,44 (7) :112121127[ 12 ] Face database. Yale University ,2002. ht tp :/ / cvc. yale. edu/ pro2ject s/ yalefaces/[ 13 ] Sim T ,Baker S ,Bsat M. The CMU database [J ] . IEEE Tran.Pattern Analysis and Machine Intelligence ,2003 ,25 :161521618 (上接第 215 页) 　　从图 4. 3 ,图 4. 4 可以看出 ,只要阈值选得合适 ,噪声是 可以很准确到的。给确认为噪声的像素做上标记 ,直接 从初始图像取同位置的像素点三基色的值赋予噪声像素点 , 或者取清晰化过程中此处还未出现噪声的图像的同位置像素 点三基色的值赋予噪声像素点 ,就可以去掉噪声。图 4. 5 就 是用源图像同位置的像素值填充噪声像素值得到的图片。 图 4. 5 3 　实验 我们定义 Qi 为第 i 次的源模糊图像 , A i 和 B i 分别为将 Q i 进行一次和二次模糊后的图像 , Ci 为由 Q i , A i , B i 计算出 的第 i 次清晰图像。算法步骤如下。 ·初始化 :读入源模糊图像 Q1 ,并计算每个像素三基色 的模以及三基色分量与坐标轴的夹角 ; ·将 Qi 模糊一次得到 A i ,再次模糊得到 B i ; ·计算系数 : Ki1 = - ‖A i - Qi ‖‖Qi ‖ , Ki2 = - ‖B i - Qi ‖ ‖Qi ‖ ; ·得到第 i 次的清晰图像 :Ci = Qi + Ki1 3 ( A i - Qi ) + Ki2 3 ( B i - Qi ) ; Qi + 1 = Ci ; ·i + + ,返回第二步 ,直至得到满意的图片。 4 　实验结果 每一个算法都需要通过实验来证明其有效性。图 5 就显 示了本文算法将模糊图片逐步清晰化的过程。实验中所使用 的图片的模糊方式是用模糊过滤器进行模糊的。 结束语 　本文提出了一种新的彩色图像增强算法 ,并通 过实验证明了算法的有效性和实用性。由于在高维空间中图 像可以表示为一个点 ,我们能够应用高维空间点分析的理论 和观点来分析研究图像之间的相关性 ,提出了“模糊2再模糊2 清晰”的图像增强方法 ,这种方法比传统的图像增强方法更直 观、简单。但是 ,本算法还需要进一步完善 ,比如找出更符合 图像退化的曲线和增强后图片的去噪等。 图 5 　模糊图片逐步清晰化过程 参 考 文 献 [ 1 ] 王守觉. 仿生模式识别 (拓扑模式识别) ———一种模式识别新模 型的理论与应用[J ] . 电子学报 ,2002 ,30 (10) :141721420 [ 2 ] 黄凯琦 ,王桥 ,吴镇杨. 基于视觉特性和颜色空间的多尺度彩色 图像增强算法[J ] . 电子学报 ,2004 ,32 (4) :6732676 [ 3 ] Wang Shou2jue , Cao Yu , Huang Yi. A novel image restoration approach based on point location in high2dimension space geom2 et ry[ C] ∥ICCN &B’05 [ 4 ] 王守觉 ,王柏南. 人工神经网络的多维空间几何分析及其理论 [J ] . 电子学报 ,2002 ,30 (1) :124 [ 5 ] Jiang Xing2fang ,Jin Long , He Long2hua ,et al . Research of t he Color Remote Sensing Image Fusing Met hod Based on Retinex and Edge Ext raction[J ] . 光子学报 ,2007 ,36 (3) :5652567 [ 6 ] 王守觉 ,孙华. 一种基于矢量关系运算的人脸检测算法[J ] . 微型 计算机信息 ,2006 ,22 (10) :2942296 [ 7 ] 杨欧 ,郭宝平 ,郭轩 ,等. 基于 HSI 彩色空间的加权中值滤波算 法[J ] . 科学技术与 ,2007 ,7 (6) :340823413 [ 8 ] 石美红 ,李永刚 ,张军英 ,等. 一种新的彩色图像增强方法[J ] . 计 算机应用 ,2004 ,24 (10) :69271 ·322·