基于半监督聚类的人脸检测方法

基于半监督聚类的人脸检测方法 王 燕，蒋正午 (兰州理工大学计算机与通信学院，兰州 730050) 摘 要：将肤色与连续 AdaBoost 算法相结合进行人脸检测，并引入半监督策略指导肤色聚类从而建立肤色模型。在肤色聚类过程中，提 出一种基于半监督的 SKDK算法引导肤色聚类，依据各个像素簇的概率统计分布特性得到肤色模型。在此基础上利用数学形态学等知识对 图像进行处理，得到人脸候选区域，将其作为连续 AdaBoost 分类器的输入进行人脸检测。实验结果表明，在多人脸的场景下，该方法的 检测效果优于直接使用连续 AdaBoost方法进行人脸检测的检测效果。 关键词：人脸检测；半监督策略；聚类；肤色模型；数学形态学；连续 AdaBoost Face Detection Method Based on Semi-supervised Clustering WANG Yan, JIANG Zheng-wu (School of Computer and Communication, Lanzhou University of Technology, Lanzhou 730050, China) 【Abstract】The paper proposes a method of face detection combined color of skin with continuous AdaBoost algorithm. In order to establish skin color model, this paper takes advantage of semi-supervised strategy to guide skin color clustering, and it also proposes a new algorithm SKDK in the process of clustering. skin color model can be established by the probability statistics distribution characteristics of each pixel cluster. On this basis, mathematical morphology of knowledge is used to handle image and find face candidate, which is the input of continuous AdaBoost classifier for final face detection. Experimental results prove that face detection ability of the method is superior to that directly using continuous AdaBoost method for face detection especially in multi-face situation. 【Key words】face detection; semi-supervised strategy; clustering; skin color model; mathematical morphology; continuous AdaBoost DOI: 10.3969/j.issn.1000-3428.2012.12.054 计 算 机 工 程 Computer Engineering 第 38卷 第 12期 Vol.38 No.12 2012年 6月 June 2012 ·人工智能及识别技术· 文章编号：1000—3428(2012)12—0182—03 文献标识码：A 中图分类号：TP391.4 1 概述 人脸检测是指给定任意一副图像，判断在这幅图像中是 否存在人脸，如果存在则在输入图像中确定所有人脸的位置、 大小和姿态的过程[1]。在如今的高速信息时代下，信息安全 越来越受到人们的重视。传统的安全措施，如密码、个人识 别码、磁卡和钥匙等已经不能完全满足社会需求。所以生物 特征识别，尤其是人脸检测与识别技术一度引起了世界的广 泛关注。相对于传统的身份验证，生物识别技术的优势表现 在不管是生理特征还是行为特征都不易为人所伪造或窃取而 不被怀疑。更重要的是这些特征都是人类自身拥有的，在可 靠性、安全性和可用性等方面有着压倒性的优势。但是人脸 是一类非刚性的自然形体，虽然具有很强的共性，但由于个 体表情、光照、遮掩以及成像角度等因素的影响，使得人脸 具有比较复杂而细致的模式变化。因此人脸检测也是当前模 式识别领域的一个极其具有挑战性的研究课。 人脸检测的早期研究主要在模板匹配[2]、子空间方法[3]、 变形模板匹配[4]等方面。而近期的研究主要基于数据驱动的 学习方法，如神经网络学习方法[5]、统计知识理论和支持向 量机方法[6]、基于隐马尔科夫的方法[7]、基于肤色的人脸检测 法[8]。目前应用较多的人脸检测方法为 AdaBoost学习算法[9]。 许多学者在研究中发现肤色聚类具有稳定性高、检测速 度快、对光照不敏感，且头部姿态、面部表情、人脸上的装 饰物和部分遮挡物所产生的噪声对其影响不大的特点，并且 用它做人脸检测的检测率较高。例如肤色聚类与先验知识相 结合的方法[10]，复杂背景下的人脸检测方法[11]。它们都是利 用肤色分割作为对人脸图像粗定位，再利用人脸区域的不变 特征，如眼睛、鼻子等进行验证检测。在单人脸简单背景下 取得了理想的检测效果。但是在多人脸复杂背景下进行检测 时，人脸区域、其他皮肤区域、类肤色区域都将被分割为肤 色区域，并且这些区域还互相连通，眼睛、嘴等特征区域会 被漏掉，导致最终方法的难以准确定位和分割，误检率较高。 而 AdaBoost算法在人脸检测发展中具有里程碑的意义，该算 法的检测精度比较理想，且 Hear型特征、积分图像的提出， 以及级联分类器的结构都大幅改善了前人工作中检测精度和 速度无法兼顾的问题。但是 AdaBoost方法对平面旋转的人脸 检测的鲁棒性较差，且在多人脸检测中漏检现象比较明显。 本文将肤色和连续 AdaBoost方法相结合，提出了基于半 监督策略的人脸检测方法。在建立肤色模型方面提出一种 SKDK(Seed-Kernel-Decision-K)均值算法，使半监督策略应用 在 K-均值聚类算法上进行肤色聚类。改进 K-均值聚类完全 依赖无监督信息的传统模式，针对质心距离和簇中已有标签 数据的类别以及数量的情况，定义 deci函数。通过核技巧的 合理使用建立肤色模型，将得到的肤色簇作为连续 AdaBoost 算法的输入进行人脸检测。 2 基于 SKDK算法的肤色模型建立 本文提出的算法基于核 -K-均值聚类算法，通过加入 Seed集初始化聚类中心，并引导聚类过程。考虑到当样本部 基金项目：甘肃省自然科学基金资助项目(1014RJZA009) 作者简介：王 燕(1971－)，女，副教授，主研方向：模式识别，数 据库技术，图像处理；蒋正午，硕士研究生 收稿日期：2011-07-22 E-mail：jiang865760@sina.com 第 38卷 第 12期 183 王 燕，蒋正午：基于半监督聚类的人脸检测方法 分有标签数据时，如果采用传统的 K-均值聚类算法，遵循欧 式距离最小的原则，这样就忽视了其标签信息所隐含的约束 条件。例如 A、B 分别代表部分有标签的数据簇，在 A 与 B 之间存在一个与 A 中标签相同且与 B 不同的点 a，并且 a 与 簇 B的欧式距离小于 a与簇 A的欧式距离，这时依据欧式距 离最小原则应该把点 a划到簇 B中，但根据领域标签知识， a点明显属于簇 A。因此，在决定把一个样本划入到哪个簇时， 对于无标签数据可以根据最小欧式距离来决定，而对于有标 签数据，则需要综合考虑距离和类别标签信息来确定。根据 以上分析，对于任一样本数据 Xi以及某个样本集合 Cj，本文 定义了 deci函数来平衡距离与类别的冲突，如下式所示： ( , ) _ ( , ) ( , ) ( _ ( , ) ( , )) i j i j i j i j i j deci X C cannot linked X C different X C must linked X C same X C     (1) 其中， _ ( , )i jcannot linked X C 表示集合 jC 中与 iX 有 _cannot linked 关系的样本个数； ( , )i jdifferent X C 表示集合 jC 中与 iX 具有不同类别标签的样本个数；而这里 _ ( , )i jmust linked X C 表 示集合 jC 中与 iX 有 _must linked 关系的样本个数； ( ,isame X )jC 表示集合 jC 中与 iX 有相同类别标签的样本个数。此外， 若 iX 是无标签数据，则 deci函数的值为 0。当考虑是否把一 个数据 iX 划分到簇 jC 时，除了欧式距离，还要看簇 jC 中已 有标签数据与 iX 是否是同一标签。如果函数 ( , )i jdeci X C 的值 较大，簇 jC 中不同标签较多，则不倾向于将 iX 划分到 jC 中，否则相反。 对于 N 个无标记样本 ( 1,2, , )ix i N  组成的数据集 X ， 算法的目的是得到 X 的一个划分 1{ }Kk kX  ，使得对于采用加入 了 deci函数的平方和误差形式的目标函数为最小。 取 X 中的 SN 个样本 ix 组成 X 的子集 S ( )S X ，然后 对 S 中的样本进行标记，并且假定 X 的每一个簇 kX 中，都 至少存在一个 ix S 的点。这样就得到 SN 个有标记样本 sx 组 成的集合 sX ，这些有标记样本 sx 被称为 Seed，它们组成的 集合 sX 称为 Seed集，得到 sX 的一个划分 1{ }k KS kX  。其中， sX 的第 k类中有 kS N 个有标记样本，则原数据空间的聚类中心 为： 1 i k k k i x SS m x N    。 通过使用核技巧，利用核函数可以将原始空间的距离计 算转化为特征空间的内积计算，如下式所示： 2 2 1 2 1 1 1 1( ) ( ) ( ) ( ) 1 11 2 ( , ) ( , ) k k S S Sk k k k K Ns i k i i iS N N N l j j i j j lS S x m x x N K x x k x x N N                  (2) 其中， ( , )K   是核函数，本文都采用 RBF(高斯核)核函数。 2 2( , ) exp( ),2 i j i j x x K x x R    SKDK算法依据下述目标函数，将样本 iX 归入使得式(3) 值最小的簇 ( 1,2, , )kC k K  中。 2 1 1 ( ) ( ) ( , ) SkNK i k i k k i J X C deci X C          (3)  取值按照式(4)计算： 2 1 1 ( ) ( ) SkNK i k k i X C N         (4) 其中，N 是所有具有监督信息的样本个数； 2 1 1 ( ) ( ) SkNK i k k i X C      是样本 iX 到所有簇中心的核形式的欧式距离之和。对比传统 欧氏距离判定方法，新的判定函数加入了半监督信息   ( , )i kdeci X C ，平衡了距离与类别的冲突，实现了样本更精确 的划分。每次将上次的划分结果作为下次的初始划分，进行 迭代并计算前后 2 次的函数 J 的差的绝对值。当这个差值小 于一个给定的阈值时，认为目标函数达到最小，停止迭代并 输出结果。否则，继续迭代下去。 基于以上的 SKDK算法，本文提出了一种肤色模型建立 算法，算法的描述如下： (1)图像预处理。对输入的图片首先进行光照补偿，然后 从 RGB颜色空间转换到 YCbCr颜色空间。 (2)生成 Seed 集。对图片中的人脸像素和非人脸像素进 行少量标记，得到 Seed集，指导半监督聚类的进行。 (3)肤色聚类。使用本文提出的 SKDK均值聚类算法，调 节核函数参数，分别对每幅包含人脸的图片进行聚类，生成 肤色簇。通过选取不同比例的 Seed集做聚类实验，发现参数 1.52  ，Cb值在 100~125 之间，Cr值在 130~175 之间的所 有样本密集分布，聚类效果最佳。 (4)输出阶段。依照概率统计各个像素簇的分布特性，得 到肤色模型，对肤色簇进行膨胀、腐蚀等处理，然后将其二 值化，分离肤色和非肤色区域。再利用人脸几何先验知识得 到的肤色区域作为人脸候选区域，整个过程如图 1所示。 (a)原图 (b)聚类生成肤色簇 (c)去噪处理后的图像 (d)人脸候选区域 图 1 获得人脸候选区域的过程 3 连续型 AdaBoost人脸检测过程 基于 Haar 型特征是利用积分图进行运算的离散型 AdaBoost算法，将其与 Cascade结构结合，学习出基于离散 型 AdaBoost 算法的瀑布型人脸检测器。文献[16]对离散型 AdaBoost算法进行改进，将其从处理离散二值判定规则推广 到处理具有连续置信度输出的弱分类器，即值域为实数域 R。 从本质上看 Boost 的目标是最大化分类边界，而这种连续的 置信度能够更精确地刻画分类边界。文献[16]还提出了如何 针对 AdaBoost 弱分类器的连续置信度输出，，使得算法 的收敛速度得以加快，并在此基础上学习出来基于连续型 AdaBoost 算法的瀑布型人脸检测器。这种基于连续型 AdaBoost算法和 Cascade结构的人脸检测器是目前检测正确 率最高的人脸检测系统之一，同时其检测速度也远快于几乎 所有的基于其他算法的人脸检测器。本文结合连续 AdaBoost 分类器验证肤色模型的准确性和适用性。整个检测过程如 图 2所示。 184 计 算 机 工 程 2012年 6月 20日 图 2 本文人脸检测过程 4 实验结果与分析 本文方法对单人脸彩色图像及多人脸彩色图像进行了检 测实验，并在多人脸的场景下与直接使用连续 AdaBoost算法 的检测效果进行了对比。 实验数据主要来自 2个方面： (1)来源于MIT训练样本库，用来训练连续 AdaBoost 分类器，共有样本 7 087个，其中人脸样本 2 706个，非人脸 样本 4 381个，且样本大小都是 20×20像素。 (2)测试样本，来自于标准 CMU_PIE 彩色人脸库和部分 自己生活照和互联网的图片。测试环境为：Core T6600 2.20 GHz CPU，2 GB内存，操作系统为 Windows XP，在 Matlab R2009b平台上编程实现。 实验部分检测结果如图 3所示。 (a)效果 1 (b)效果 2 (c)效果 3 图 3 部分测试图片检测效果 而在多人脸场合下，本文提出的检测方法与传统连续 AdaBoost 方法进行对比，对比结果如表 1 所示。图 4、图 5 选取了其中一幅图片作为对比实验观察，并对其中的检测结 果进行了统计，如表 2所示。 表 1 多人脸环境下的性能对比 检测算法 实际人脸数量 正确检测数量 误检数量 检测率/(%) 本文算法 1 030 925 58 89.80 连续 AdaBoost 算法 1 030 732 95 71.60 图 4 传统算法人脸检测效果 图 5 本文算法人脸检测效果 表 2 传统连续 AdaBoost算法与本文算法的对比 测试项 连续 AdaBoost 算法 本文算法 实际人脸数量 12 12 正确检测人脸数量 8 11 检测率/(%) 66.7 91.6 检测时间/ms 209 377 实验表明本文提出的算法虽然在检测时间上要略多于连 续 AdaBoost 算法，在多人脸的情况下检测效果相对于连续 AdaBoost人脸检测算法有显著的提高。 5 结束语 本文基于半监督策略的思想，提出一种 SKDK均值聚类 算法，用于肤色聚类并建立肤色模型，利用该肤色模型作为 监督信息，将待检测图片进行肤色聚类得到肤色簇，再对肤 色簇所在区域进行膨胀腐蚀和二值化处理，得到人脸候选区 域。最终用这些候选区域作为连续 AdaBoost 算法的输入进 行人脸检测。本文算法和传统连续 AdaBoost人脸检测算法相 比，在多人脸的情况下检测效果得到了优化，但是在对多角 度人脸检测率低、如何选取 SKDK均值算法中的标记点以及 如何处理 Seed集中的噪声等方面的问题还需进一步研究。 参考文献 [1] 李 铭. 自动人脸检测与识别系统中若干问题的研究[D]. 北京: 北京交通大学, 2005. [2] 梁路宏, 艾海舟, 徐光佑, 等. 基于模板匹配与人工神经网确 认的人脸检测[J]. 电子学报, 2001, 29(6): 744-747. [3] 冯亚丽, 蒋文文, 刘泽光. 一种改进的基于肤色分割和 PCA 人 脸检测方法[J]. 科学技术与工程, 2010, 10(10): 2345-2346. [4] Govindaraju V, Srihari S N, Sher D B. A Computational Model for Face Location[C]//Proc. of the 3rd International Conference on Computer Vision. [S. l.]: IEEE Press, 1990: 718-721. [5] Rowley H A, Baluja S, Kanada T. Neural Network-based Face Detection[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 1998, 20(1): 23-38. [6] 王瑞平, 陈 杰, 山世光, 等. 基于支持向量机的人脸检测训 练集增强[J]. 软件学报, 2008, 19(11): 2922-2929. [7] 徐毅琼, 李弼程, 王 波. 基于隐马尔可夫模型的人脸检测与 识别[J]. 中国图象图形学报, 2003, 8(z1): 667-669. [8] 肖 红, 南威治. 基于肤色模型与人脸结构特征的人脸检测[J]. 科学技术与工程, 2010, 10(21): 5180-5182. [9] Viola P, Jones M. Rapid Object Detection Using a Boosted Cascade of Simple Features[C]//Proc. of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition. [S. l.]: IEEE Computer Society, 2001: 511-518. [10] Yang Ming-Hsuan, Kriegman D, Ahujia N. Detection Faces in Images: A Survey[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2002, 24(1): 34-58. [11] 王延江, 袁宝宗, 唐晚芳. 一种快速彩色图像中复杂背景下人 脸检测方法[J]. 电子学报, 2002, 30(10): 1566-1568. [12] 王志良 , 孟秀艳 . 人脸工程学[M]. 北京: 机械工业出版社 , 2008. [13] Kulis B, Basu S, Dhillon I S, et al. Semi-supervised Graph Clustering: A Kernel Approach[C]//Proc. of the 22nd International Conference on Machine Learning. New York, USA: ACM Press, 2005: 457-464. [14] Girolami M. Mercer Kernel-based Clustering in Feature Space[J]. IEEE Trans. on Neural Networks, 2002, 13(3): 780-784. [15] Camastera F, Verri A. A Novel Kernel Method for Clustering[J]. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2005, 27(5): 801-805. [16] Schapire R E, Singer Y. Improved Boosting Algorithms Using Confidence-rated Predictions[J]. Machine Learning, 1999, 37(3): 297-336. 编辑 顾逸斐