人脸识别系统

人脸识别系统 湖南省大学生研究性学习和创新性实验计划 项 目 申 报 表 项目名称:人脸识别在支付系统中的探究 学校名称 湖南工业大学 学生姓名 学 号 专 业 性 别 入 学 年 份 潘伟伟 2012.09 何武林 2012.09 肖志豪 2012.09 雷晓军 2012.09 丁进 2013.09 指导教师 宓茜 职称 学科专业 学生曾经参与科研的情况 本项目组成员参加过全国大学生电子大赛，湖南挑战杯大赛以及在学校和同学一起做过多种实训:比如有基于单片机的万年历系统、智能刷卡系统、温度检测系统、基于数电的简单的报警系统、基于模电的简易收音机以及跟随老师做过静脉输液报警器等研究课，有一定项目实战经验。 指导教师承担科研课题情况 项目: [1]融合不确定性与随机统计信息的回转干燥过程建模新研究 国家自 科基金项目 [2]基于支持向量机的回转干燥过程混合建模与能耗/排放优化新方法研究 教育厅青年项目(型并联控制技术的研究 教育厅项目(编号:10C0604) 项目研究和实验的目的、内容和要解决的主要问题 一、 项目研究的目的 随着科技的飞速发展，传统的身份识别(如口令、身份卡等)容易遗失，易 被破解等问题逐渐暴漏，已不能满足各种安全需要。人们期望有一种更加可 靠的技术来进行身份鉴别。生物特征识别技术给这一切带来了(新的)可能。 由于人脸的面部特征难以复制和假冒，从而被应用到最现代化的门禁系 统，网上支付系统等等领域中。人脸识别技术是利用计算机人脸，从中 提取出有效的特征和识别信息，通过与数据库的人脸比较来管理和控制的技 术，与以往的身份识别系统相比提高了安全防范的可靠性。 2015年3月15日晚间，全球瞩目的汉诺威消费电子、信息及通信博览会(CeBIT)在德国开幕。马云在开幕式上，向德国总理默克尔与中国副总理马凯演示了蚂蚁金服的Smile to Pay扫脸技术，并展示了结合人脸识别的支付系统，这给人们传统的支付方式带来了新的惊喜。看来通过“刷脸”来进行支付操作已经离我们越来越近了。 受此启发，我们小组对人脸识别在支付系统中的应用产生了非常大的兴趣，我们认为这种新的支付方式?给人们带来新的购物体验，?可收集更多的顾客信息，?减少顾客现金，银行卡、身份证等资金或身份物品的携带量，也减少了遗失率，?减少支付排队时间。所以希望借此对人脸识别在支付系统中的应用做更多的探究。 人脸识别 二、项目研究的内容 特征提取 人脸比对是指对于给定的一幅任意图像,首先进行人脸检测,对其中的人脸部分进行特征提取,根据这些提取的特征参数,与另外一幅任意给定的图像中的所含人脸部分的特征参数进行比对,判断两者是否为同一个人。 人脸检测 典型的人脸自动比对系统如图1.5所示,它以含人脸的静态图像或者视频作为输入,以比对之后的结果作为输出,其中包括了人脸图像获取、人脸检测、人脸特征提取和人脸识别四个主要的环节。 人脸图像获取 图1.5 人脸识别系统一般框架 (1)人脸图像的获取 一般来说，图像的获取都是通过摄像头摄取，但摄取的图像可以是真人，也可以是人脸的图片或者为了相对简单，可以不考虑通过摄像头来摄取头像，而是直接给定要识别的图像 (2)人脸检测 人脸检测(Face Detection),就是给定静态图像或者视频,判断其中是否有人脸存在,如果存在,则给出人脸的大小、位置等状态信息。由于受异常人脸的干扰,在人头定位的基础上实现了人脸检测,异常人脸的排除成了这一部分的关键内容。 (3)人脸特征提取 人脸特征提取即提取人脸面部中所具有的特征,它的本质就是将一般的图像数据映射到机器空间中去,以此可以利用模式识别或图像分析的方法进行后续的处理和研究。基于人脸的先验知识,每个人脸特征都有唯一不变性和变化多样性这两个特点,只有充分利用唯一不变性和变化多样性这两个特点才能够进行后面的人脸比对识别操作。 (4)人脸识别 人脸识别指的是对输入的两个人脸图像,利用两个人脸图像的特征参数,采取某种算法进行人脸之间的比对,最终返回人脸比对的结果。 目前,依据人脸比对技术所采用的特征,可将人脸比对技术主要分为两类:(1)基于人脸图像的几何特征比对,(2)基于人脸图像的统计特征比对。前者主要考虑人脸五官所在的相对位置具有不变性和唯一性;后者主要考虑了每个人脸图像的象素数据具有的稳定性和唯一性。 (5)后台支付系统的人脸比对 人脸识别结束后，与计算机数据库的人脸进行比对，比对正确进行支付系统的启动。 三、解决的主要问题 (1) 图像的采集。 采集过程中需要保持人信息的完整性，包括拍摄图像时要保持拍摄环境的一致性，如光照，拍摄角度等要保持一致;需要保持人脸图像的姿态，即拍摄正面的人脸图像;并保持拍摄时人脸的表情和配饰的一致性，如戴或不戴眼睛，是否化妆等等。) 红色部分这样表述或许会好些:采集过程中需要保证拍摄正面的人脸图像，这要求拍摄图像时要保持拍摄环境的一致性，如光照，拍摄角度等和保持拍摄时人脸的表情和配饰的一致性，如戴或不戴眼睛，是否化妆等 (2)人脸识别方法的选择问题。 在进行识别方法的选择时，既要考虑到识别算法的实用性和有效性，又要考虑识别方法的识别效率和准确率的问题。综合考虑现有的人脸识别方法，从中选择适合于本系统需求的人脸识别方法。 (3)需要识别的人脸图像发生变化，如需要识别的人员增加、减少、人员 的相关信息发生变更等问题。 国内外研究现状和发展动态 到现在为止，人脸识前期以Allen和Parke为代表，主要研究人脸识别所需要的面部特征，研究者用计算机实现了较高质量的人脸灰度图模型。这一阶段工作的特点是识别过程 全部依赖于操作人员，显然这不是一种可以完成自动识别的系统。中期是人机交互式识别阶段，代表性工作有:Harmon和Lesk用几何特征参数来表示人脸正面图像。他们采用多维特征矢量表示人脸面部特征，并设计了基于这一特征表示法的识别系统。Kayak Kobayashi则采用了统计识别方法，用欧氏距离来表征人脸特征。但这类方法需要利用操作员的某些先验知识，仍然摆脱不了人的干预。后期是真正的机器自动识别阶段。随着高速度、高性能计 算机的发展，人脸模式识别方法有了较大的突破，提出了多种机器全自动识别系 统，人脸识别技术进入了实用化阶段。 人脸识别技术在世界范围内得到广泛的关注，更多的研究开始集中在基于视频的人脸识别上面。视频下的人脸识别系统主要是针对视频图像序列进行分析处理， 它通常涉及到人脸检测、人脸跟踪、特征提取、人脸识别几个过程。其近些年来，随着计算机计算能力的加强，基于视频流下的人脸识别发展迅速，各种面向复杂应用背景的视频 人脸识别系统也随之涌现。由于基于视频流下的人脸识别系统具有如此大的应用前景，它引起了许多国家的高度关注。国内外众多的大学和研究机构，如美国的CMU MIT UIUC大学、英国的剑桥大学、日本的Toshiba公司和国内的清华 大学、中科院自动化所等单位都对基于视频的人脸识别进行了广泛而深入的研究，尽管基于视频的人脸识别技术取得了很大成果，但在实际应用中还存在很大 的局限性，面临着许多困难与瓶颈，这些问题也决定了基于视频人脸识别技术的发展趋势及今后的研究方向， 本项目学生有关的研究积累和已取得的成绩 一、研究积累 目前，项目进行了前期调研，完成了部分数据采集，取得了一定进展，为项目整体推进打下良好基础，项目学生的有关研究积累和取得成绩如下: 1. 通过人脸识别系统项目设计研究在软件方面对算法有了比较深入的了解，在图像处理方面也有了新的突破，在图文信息采集方面也有一定的了解。 2. 基本了解自动检测技术。 3.已进行市场和技术调研，并根据用户需求，对此人脸识别进行初步设计。 二、已取得的成绩 我们对人脸识别支付系统的项目研究到至今，我们已经初步完成了软件和硬件的规划。 项目的技术路线、进度安排及预期成果 一、 技术路线 人脸检测的技术主要是用到基于Adaboost算法的检测方法。 daboost算法的步骤如下: 1.指定训练样本库S,正负样本的总数分别为X和Y;T是训练的总共循环次数; 2.初始化每个样本的权值为1/n; 3.开始迭代: (1)在所有训练样本的不同概率分布情况下,训练得到每轮的弱分类器; (2)计算基于这个弱分类器分类的错误率; (3)选择适当的闽值,使得错误率最小; (4)更新所有样本的权重分布: (5)判断是否达到总共的最大循环次数,达到则退出该循环,否则继续迭代; 4.最后得到一个强分类器。 样本库S，正样本总 数X个，负样本总数 Y个，循环次数T 初始化样本的权值 为1/n 训练弱分类器 计算弱分类器的 错误率 daboost算法流程图 选择合适阈值 更新样本权重 否判断是否 达到最大循 环次数 是 最后得到一个 强分类器 基于Adaboost算法的人眼和嘴巴的检测，嘴巴的训练和检测过程是和人眼训练和检测过程是一样的,只是训练的时候正样本有所区别, 1样本库的构造 在训练分类器之前,需要输入的数据主要有人眼样本(即正样本)、非人眼样本(即负样本)、矩形特征。 (l)正样本库的构造 人眼样本的选取,对最终训练得到的人眼检测系统有着很大的影响。人眼样本的选择如果过于单一,比如没有考虑光照,姿态等的变化,那么最后训练得到的分类器的漏检率就会比较高,人眼检测系统就很不完善,所以样本库必须要有丰富的正样本数据。 截取的部分人眼图像 (2)负样本库的构造由于背景的复杂性,因此在收集非人眼样本时,图像背景不能单一,纹理要比较丰富,图像要更贴近实际生活。用了MIT的非人脸库,共有4381幅非人眼图像,里面的图像有着很大差异,是专门针对分类器训练制作的负样本库,对分类器的训练有很大帮助,能提高分类器的分类性能。 MIT的非人脸库的部分图像 选取的人眼样本全部是睁开人眼的样本,含有戴无色眼镜,当人眼闭着的时候,就 检测不到人眼,可以视为异常人脸。 2人眼分类器的训练 由于在矩形窗口中矩形特征的数目非常多,选取所有的矩形特征参与分类计算,计算量非常可观。通过实验发现,利用这些特征中的一小部分就能组成一个有效的分类器,可以采用弱学习算法来逐次选择对分类最有利的矩形特征。对于每一个特征来说,弱学习算法确定一个错分样本最少的最优闭值分类函数。一个弱分类器h(x)包含一个特征f(x),一个闽值氏和用来表示不等式方向的Pj，Pj取正负1。如下图: Adaboost算法通过迭代的方式对一组带有权值的向量进行训练,初始时所有的向量数据都被分配成相等的权值。每一轮迭代,就训练得到一个相应的弱分类器,进入下一轮迭代前,对于被错误分类的向量数据就增加其权值,而对于被正确分类的向量数据就减小其权值。最终得到的强分类器是T(T是迭代的总共次数个弱分类器的加权集成,其中每个不同弱分类器的权值与训练的误差成反比。Adaboost还具有特征选择的功能,每一轮的训练过程中仅用一个特征进行训练并最后选择最有利于分类的特征作为弱分类器。 Adaboost算法的训练过程如下: 给定一系列的训练样本:(X1,Yl),(X2,Y2),(Xn,Yn)，Xi为图像样本,Yi为样本的类别标志, Yi =o表示图像为非人眼图像,Yi=1表示图像为人眼图像;其中,i=1,2,„,n, 为总共的样本数。将两类不同的样本的分别赋予权值: m和l分别为样本总数和非人眼样本总数。假设要训练T个弱分类器,这里T也是选定的特征数目。 假设t=1,„,T,执行循环如下: (l)归一化权值: (2)使得为概率分布,即 (3)对于每一个矩形特征,训练得到一个仅利用该矩形特征的弱分类器而。计算hj的加权误差: (4)从所有的矩形特征所对应的弱分类器中选择一个加权训练误差为最小的弱分类器。这个分类器表示为h,,训练误差为: (4)按照得到的最佳弱分类器,调整样本权重: 当样本被正确的分类时。ei=0,当样本被错误的分类时，，因为总是比0.5小，所以，每轮训练之后,正确分类的样本权值减小,错误分类的样本权值增大。 最后训练得到的强分类器由总共T个特征的弱分类器组成: 在每一轮训练的过程中,该算法从所有的矩形特征中总是选择分类误差最小的矩形特征。简单的训练流程图如图: 人眼样本集非人眼样本集 计算各样本的积分图 计算矩形特征值 矩形特征集 挑选使分类错误最小的矩形特征 作为一弱分类器，并确定其阈值 和分类值，更新样本权重并归一化 验证非人眼 样本，判断是否满足误检 率要求 是 否 判断是否达到强分 类器个数 是 级联分类器 否 强分类器 人眼分类器的级联 随着弱分类器数目的不断增加,最终的强分类器H(x)也会变得越来越复杂。 多个强分类器级联成多层分类器一些结构简单的强分类器仍然具有较高的效率,它们可以用来排除大多数的非人眼图像区域而同时检测出几乎所有可能存在的人眼区域。为了提高分类器整 体的检测性能同时又减少检测时间,可将多个强分类器按照从简单到复杂的顺序联接起来从而就构成了分类器的级联,使整个的人眼检测过程形成一个简单决策树,如图3.13 所示。分类器级联前端的结构简单的分类器通过简单的计算来排除大多数的非人眼窗口,而后面的结构较复杂分类器通过更多的处理来进一步排除剩余的非人眼窗口,降低检测的错误率。对于级联系统的每一级来说,如果该分类器的输出为T,则认为该检测窗口可能含有人眼区域,将该检测窗口输入到下一级的分类器进行进一步的判定;否则,在该级分类器将检测窗口判断为非人眼区域进行排除。通 过该级联系统,最终可以得到一个比较稳定输出的人眼区域。 人眼检测的实现 人眼检测可以分为几下几步:输入待检测的图像,利用序列图像里面截出人脸图像,在人脸图像里面加载训练好的分类器,检测并用圆形框标出人眼位置。 嘴巴检测的实现 利用Adaboost的方法同样可以实现嘴巴的检测和定位。 在构造样本库的时候只需要把正样本库的图片换为嘴巴的图片,负样本库不变,利用Adaboost算法进行分类器的训练,得到最后的级联强分类器,利用强分类器在人脸区域进行嘴巴的搜索,找出并标示出人的嘴巴的位置。通过截取ORL人脸库和MIT人脸库中2500幅人的不同表情,不同光照情况下人的嘴巴的图片作为训练所用的正样本。 人眼检测和嘴巴检测的结果: 人眼和嘴巴检测的事例 以上的四幅图片就是用Adaboost算法最后训练出来的分类器检测得到的结果,其中第一幅、第二幅和第四幅是脸部没有任何遮挡物的人眼检测和嘴巴检 测,第三幅是戴无色眼镜的人眼和嘴巴的检测结果。 部分检测和错检的人脸图像 上图是用Adaboost算法训练的分类器检测人眼和嘴巴出现漏检和错检的情况,之所以会存在漏检和错检的情况,是因为人脸图片情况比较多变,表情的变化,姿势的变化都会对人眼检测和嘴巴检测产生影响。 选取了200幅图像进行了人眼和嘴巴的检测和定位,这些图像多数是正面人脸图像,因为转角比较大的侧面人脸图像有时候就拍不到人脸面部的部分特征,所有该方法对其就没有检测的意义。部分存在人眼的漏检和错检,部分存在嘴巴的漏检和错检,最终实验结果如下表。 上图是部分人脸的检测情况,可以看出只能检测出人眼或者嘴巴,不能完成人眼和嘴巴的同时检测。从而就可以排除异常人脸,启用报警装置并提示操作人员摘下遮挡物。如果操作人员摘下遮挡物,则进行第二次的人眼和嘴巴检测。否则提示ATM环境存在非法人员入侵。 最后证明该方法能在绝大多数的情况下检测到正常人脸的人眼和嘴巴特征,而对于异常人脸只能检测到部分的人脸特征(检测不到嘴巴或者人眼,或者同时检测不到嘴巴和人眼)。通过基于人脸面部特征的检测人脸的方法是可行的,通过这一步的处理,留下人脸特征和数据库的人脸进行对比工作。 进度安排: 2015年4月-8月，建立人脸识别系统的基本模型 。 2015年9月-12月，对模型进行优化设计，并完成系统的并进行计算机仿真验证。 2016年1月-3月，根据模型设计方案，制作智能家具的人脸识别的实物。 2016年4月-5月，对样品的实际运用进行分析，并对其实用性能进行估算。 2015年6月-7月，写出总结，根据设计成果，整理一篇论文准备投稿，并提交1-2项专利申请。 预期成果: ? 总结报告一份。 ? 争取在国内知名刊物上发表论文1篇。 参考文献 [1]刘璇 : 人脸定位与追踪技术的研究与实现 2010.03.01 [2]蔡静，尹邵红 .:基于MATLAB的人脸识别研究 . 电子世界2012.11.15 [3]郑晓薇 ，于梦玲 : 基于Matlab多核集群的人脸识别算法的并行化设计 . 期刊 2011.10.11 [4]尹方平 : 复杂背景下的人眼检测方法. 计算机仿真 2009.10.15 [5]李子青 . 人脸识别技术应用和市场分析 . 中国安防 2007.08.01 [6]丁勇 . 基于小波变换的正则化人脸预处理和烟花人脸识别 武汉理工大学 2007.05.01 [7]姜贺 . 基于几何特征的人脸识别算法的研究 .大连理工大学 2008.12.10 [8]向璐.基于单目视觉的边坡位移检测方法研究.农业网络信息.2012.11 [9]黄灿,张大禹.基于单目视觉的移动机器人目标测距方法研究.软件.2012.11 [10]刘威,张丛磊,于红绯,袁淮.基于单目视觉的横穿障碍物检测.东北大学学报(自然科学版).2013.02 指导教师意见 签字: 日期: