基于粗糙集与混合特征的人脸表情识别研究（可编辑）

基于粗糙集与混合特征的人脸表情识别研究（可编辑） 江苏大学 硕士学位论文 基于粗糙集与混合特征的人脸表情识别研究 姓名:段丽 申请学位级别:硕士 专业:计算机应用技术 指导教师:张建明 20091215江苏大学硕士学位论文 摘 要 人脸表情识别 ,是指利用计算机技术对人脸 表情信息进行特征提取,按照人的思维方式加以归类和理解,进而从人脸信息中 去分析理解人的情绪,是涉及生物特征识别、模式识别、图像处理、机器视觉、 运动跟踪、生理学、心理学等研究领域的一个极富挑战性的交叉课题,是情感计 算、智能人机交互的重要组成部分,有着广泛的应用前景和潜在的市场价值。 本文首先综述课题的研究背景,并分析目前国内外已提出的表情特征提取方 法以及表情识别方法。在此基础上,提出基于粗糙集与混合特征的人脸表情识别 方法,主要内容如下: 把粗糙集引入到人脸表情识别中,提出改进的粗糙集属性约简算法, 弥补了原有的启发式属性约简算法仅从核属性出发的缺点,既考虑了属性的重要 度,又考虑了各属性对信息系统贡献的重复度,可以有效的选择表情特征。 针对已有的只是强调人脸图像中某一个或两个位置的信息,加 权特征区域形状不够灵活的缺点,提出改进的加权主成分分析算法, 分散强调对表情变化有重要贡献的人脸中眼睛、眉毛、嘴巴区域,使面部表情特 征更加突出;加入水平、垂直两方向的渐变比例系数,实现加权区域的双向可调。 为提取更有效的特征,提出基于局部几何特征和整体特征相融合的混 合特征提取方法。采用定位图像序列中人脸图像的特征点,选取其中眉毛、 眼睛、鼻子、嘴巴、脸颊区域的个关键点,然后计算每幅图像的不同点的不 同距离,再采用粗糙集进行特征选择,得到局部几何特征;采用与粗糙 集相结合的方法提取表情图像的整体特征。两种特征的优缺点相互补充,采用核 典型相关分析对这两种特征进行融合,将融合后的特征作为离散的观察值 向量,取得较好的识别率。 采用面向对象的设计方法,设计实现基于图像序列的人脸表情识别原 型系统,该原型系统主要包括:图像预处理、表情特征提取和相 关操作、特征选择、情感特征融合和典型表情识别等功能模块。 关键词:表情识别,主动表观模型,粗糙集,,特征融合,,离 散江苏大学硕士学位论文 ,. ., , , ., ,, ? ., . , 。 : , , .. . , 胛 . , , .,. , . ,,,,, , ; ., . ., , : , . : ,, , , ?学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文 的规定,同意学校保留并向国家有关部门或机构送交论文的 复印件和电子版,允许论文被查阅和借阅。本人授权江苏大 学可以将本学位论文的全部内容或部分内容编入有关数据 库进行检索,可以采用影印、缩印或扫描等复制手段保存和 汇编本学位论文。 保密 口,在 年解密后适用本授权书。 本学位论文属于 囤。 不保密 指导教师签名: 学位论文作者签名:住、韵 日 ?寸叩年月;日 》?气年?只.;独创性声明 本人郑重声明:所呈交的学位论文,是本人在导师的指 导下,独立进行研究工作所取得的成果。除文中己注明引用 的内容以外,本论文不包含任何其他个人或集体已经发表或 撰写过的作品成果。对本文的研究做出重要贡献的个人和集 体,均已在文中以明确方式标明。本人完全意识到本声明的 法律结果由本人承担。 学位论文作者签名:隹?两 ’;日 日期:沙年/工月江苏大学硕士学位论文 第一章绪论 .研究目的及意义 随着计算机技术的发展与普及,软、硬件取得了极大的进步,计算机的使用 者也从计算机专家迅速扩大到广大未受过专门训练的普通用户,由此极大地提高 了用户界面的重要性,强烈地刺激了人机交互界面的进步。新型的人机交互 ,技术正逐渐成为研究热点。人类自然形成的与 自然界沟通的认知习惯和形式必定是人机交互的发展方向,一方面要求计算机能 看、能说、能听、能感觉,即能够智能地感知使用者的意图,另一方面,使用者 可以不必坐在计算机前通过鼠标和键盘操作计算机,而是可以在三维空间中以更 加自然和人性化的方式同计算机交流。 表情是一个人的情感状态、内心活动、意图、个性的外在表现,传达的是一 种非口头语言信息,可以帮助交谈双方理解隐藏在话语下面的潜在意图,是人际 交往中信息传达、情感交流不可缺少的手段,也是了解他人主观心理状态的客观 指标。关于表情传递信息的作用,心理学家】给出了一个公式:感情表 露%的言词%的声音%的面部表情。可以看出表情包含了大部分非语言 交流中传递的情感信息,借助表情,我们才能“察言观色”,在别人的举手投足 间洞悉他的内心感受,人脸表情在人们的交流中起着非常重要的作用,是人们进 行非语言交流的一种重要方式【】。表情含有丰富的人体行为信息,是情感最主要 的载体,是智能的体现,对它的研究可以进一步了解人类对应的心理状态。在计 算机视觉领域中,通过人脸面部信息的理解,能够在时间和空间上,详尽的估计 脸部运动,测量肌肉的动作,精确表征人脸表情,推动了生物学结构所支持的运 动视觉通信在人类的交流中起着重要的作用,表情的识别对低带宽的数据传 递,先进的编码通信和动态的交互系统研究中,以及对动态序列图像中的人脸识 别和多媒体面部图像处理的问题等,都将有很大的贡献,对实现人体语言和自然 语言的融合,以及语言和表情的连接模型的建立有重要的意义。 人脸表情包含描述人感情状态的各种行为信息,如恐惧、愤怒、高兴、悲伤、 惊讶、憎恶以及很多复杂感情。对人类的信息交流具有重要作用。在常生活中, 人们不可能永远保持一种固定不变的脸部表情,通过脸部表情来表达自己情感是 人们最自然的表现方式。脸部表情在表达人微妙情绪反应的同时,填补语言交流 的不足。由于人的脸部表情是反映人内心情绪和想法的最自然最直接的方式,而 在工程应用、心理学、人类学、整容术和牙科等许多领域,人脸和表情都得到广江苏大学硕士学位论文 泛的研究,成为一个重要的研究课题。因此,基于数字图像的人脸表情识别技术 的研究是继人脸检测及识别之后的又一研究热点。本文便是在这样的背景下开展 人脸表情识别的相关研究工作。 .国内外研究现状 人脸表情识别 ,是计算机对人脸的表情信 息进行特征提取并归类的过程,它使计算机能获知人的表情信息,进而推断人的 心理状态,从而实现人机之间的高级智能交互,是模式识别、生理学、心理学、 计算机视觉等多学科交叉的一个极富挑战性的课题。 最初表情相关的研究主要集中在生理学、心理学和认知科学等领域, 年等【】对选定的连续图像序列中脸部固定的个点进行跟踪识别并与原型 模式进行比较以实现识别,将表情识别引入机器视觉领域。年代,以和 的工作为起点,使用计算机进行自动人脸表情分析的研究工作迅速展开。 目前国际上有很多机构都在进行人脸表情识别方面的研究,对人脸表情识别 及其相关方向的研究主要有美国的麻省理工大学、卡耐基梅隆大学、马里兰 大学、 伊利诺大学香槟分校、斯坦福大学、日本的名古屋大学、城螟大学、东京大学、 大阪大学和研究所,瑞士的戴尔莫尔感知人工智能研究所等。国内从事这 方面研究的研究机构与大学有清华大学、哈尔滨工业大学、中科院、南京理工大 学等。卡耐基梅隆大学已经建立了比较简单的自动面部分析系统。荷兰的代夫特 大学研制的系统】主要处理静态图像,识别过程中需要同时得到人脸的正面剖面 两幅图像,由两幅图像上的特征点构成特征向量,利用专家系统规则识别面部表 情活动。提出了蓝眼睛,其主要目标是给电脑以人类的触觉、听觉和 视觉感受,并进一步达到能够分析人类目光和表情,察觉人类情感的状态。美国 伊利诺斯大学的教授一直致力于通过面部表情的识别读取人物情绪状态 的研究。 ..人脸表情自动识别系统 人脸表情识别所要研究的就是如何自动、可靠、高效地利用人脸表情所传达 的信息。人们对表情识别的研究可以追溯到世纪年代,早期主要集中在从 心理学和生物学方面进行研究和分析。法国学者莫罗在他的《关于人相学》的论 文中试图阐明各种表情的意义和起源。达尔文在他著名论著《人类和动物的表情 中阐述了人的面部表情和动 物的面部表情之间的联系和区别;并提出苦恼、忧郁、担心、悲哀、绝望、喜悦、 反省、默想、不平、怨恨、愤怒等种人类的表情,他的这些研究为后人对人 江苏大学硕士学位论文 类行为的研究提供了丰富的资料。年,和【研究了种基本 表情:即高兴、悲伤、惊讶、恐惧、愤怒和厌恶,并系统地建立了上千幅不同的 人脸表情图像库以及种不同的表情倾向,说明了具有这六种表情的人脸特征 与无表情的人脸特征相比有相对独特的肌肉运动规律。 人脸表情自动识别系统包括人脸检测、面部特征提取和人脸表情分类三个核 心环节。人脸检测部分是在脸部图像或图像序列中定位人脸:面部特征提取是从 脸部图像中提取所需的脸部运动或形变信息;表情分类是将输入的脸部图像归入 某个表情类别中。人脸检测和面部特征提取之间根据某些具体算法的要求可能需 要人脸分割和脸部归一化等操作,人脸分割能够有效的去除背景干扰,分离无用 特征;脸部归一化主要指人脸姿态、尺寸、灰度和位置的归一化。面部特征抽取 和表情分类之间可能还需要进行人脸描述,人脸描述是人脸表情识别前期工作, 包括特征区域描述,稀疏特征描述,高级特征描述等多种方式,人脸描述方式决 定了人脸表情特征抽取的方法。人脸表情识别的框架图如图.所示。 脸部整体信息厂孚区域分莉 表 情 图 人脸检测 像 序 列 尺寸归一化 灰度均衡化 图.人脸表情识别的基本框架 人类识别人脸信息几乎没什么困难,但对计算机却相当不容易。因此,采用 计算机对人脸表情进行自动分析与识别是一项具有挑战性的任务。虽然已经取得 了一些成绩,但是实用化还需要不懈努力。由于静态图像很难精确揭示表情变化, 基于图像序列的表情识别便已成为目前研究的热点。由于人脸表情变化表现在图 像上会产生多种不同的变化,如五官位置、形状,以及皮肤纹理、阴影等,因此 将多种特征混合起来,最大限度地利用表情变化产生的信息,更完整地表示表情。 ..人脸检测与定位 人脸检测 .可以描述为对任意一副静止图像或一段动态图像序 列,采取一定策略,从未知的图像背景中分割、提取并确认可能存在的人脸,如 江苏大学硕士学位论文 果检测到人脸,提取人脸特征,并返回人脸的位置、大小和姿态。人脸检测问题 所包含的内容十分广泛,从不同的角度可以有多种分类方法,见表.所示。 表.人脸检测问题的分类九 分类依据 类 别 动态图像即视频序列,包括作 静:图像包括如数字化的照片、 台前的人脸序列保安监控录像、 数码相机拍摄的图片等,目前考虑 图像 图像来源 影视资料等,往往与人脸的跟踪 的主要问题是算法的适应性和鲁 问题交织在一起,对算法的速度 类型 棒性,算法速度在其次 有很高的要求 颜色信息 彩色 灰度 镜头类型 头肩部图像 、卜身/全身图像 人脸姿态 正面包括端正及平面内旋转 侧面包括俯仰、侧影及旋转 图像 未知需要判定图像中是否存在 单人又可以称为人脸定位,是人 前景 人脸,人脸的数目以及各个人脸 人脸数目 脸检测问题在已知人脸数目情况 的尺度和位置,即完全的检测问 下的特例 题 复杂背景指背景的类型和特征 简单背景指无背景或背景的特征 不受约束,某些区域可能在色彩、 被严格约束,在该条件卜只利用人 图像背景复杂程度 纹理等特征上与人脸相似,必须 脸的轮廓、颜色、运动等少量特征, 利用较多的人脸特征才能做剑准 就能够进行准确检测 确枪测 人脸信息处理验证、识别、表情分析等系统、视频会议或远程教育 应用领域 系统、视觉监视与跟踪、基丁内容的图像与视频检索等等 人脸检测的基本思想是用知识或统计的方法对人脸建模,比较待检测区域与 人脸模型的匹配程度,从而得到可能存在人脸的区域。大致可分为以下两类: 基于统计的人脸检测:将人脸图像视为一个高维向量,将人脸检测问题 转化为高维空间中分布信号的检测问题,分为三种:?子空间方法:这类方法把 人脸区域图像变换到某一低维特征空间,根据其在特征空间中的分布将其归类。 将变换引入人脸检测,利用求出主元子空间特征脸,子空 间方法的特点在于简便易行,但由于没有利用反例信息,对于人脸类似的物 体辨别能力不足。?法:模板分为固定模板和变形模板。固定模板是求取测 试样本与参考样本之间的某种度量,由阈值大小的定义来判断测试样本是否是人 脸。它多用于粗检测和预处理过程【】。变形模板包含一些非固定的元素, 加入了 惩罚机制,以参数化或自适应的曲线和曲面来构成人脸模板。?样本学习:将人 脸检测视为从非人脸样本中识别人脸样本的模式分类问题,通过对人脸样本集和 非人脸样本集进行学习以产生分类器。目前幽际上普遍采用人工神经网络。 基于知识的人脸检测:是利用人的知识建立若干规则,从而将人脸检 测问题转化为假设/验证问题。分为三种:?颜色、纹理信息:同一种族人的面 江苏大学硕士学位论文 部肤色在颜色空间中的分布相对比较集中,颜色信息在一定程度上可以将人脸从 大部分背景区分开来。?对称性:人脸具有一定的轴对称性,各器官也具有一定 的对称性。】提出了广义对称变换方法检测局部对称性强的点来进行人脸 器官定位。?人脸规人脸规则是人脸遵循的一些几乎是普遍适用的空间相关 性。它包括:灰度分布规则。如五官的空间位置分布大致符合“三停五眼, 人脸不同区域的明显关系不变,眼睛的灰度总是比『额和颧骨低,鼻梁的灰度一 般比两侧亮等。轮廓规则。人脸的轮廓可以简单地看作一个近似椭圆,而人 脸检测可以通过椭圆检测来完成。运动规则。通常相对背景人总是在运动的, 利用运动信息可以简单有效地将人从任意复杂背景中分割出来。 ..表情特征提取 表情特征提取需要对人脸的器官特征、纹理区域和预定义的特征点进行定位 和提取,是表情识别系统中的核心,决定着最终的识别结果。有效的表情特征提 取工作将大大提高表情识别的性能。表情识别特征提取常见方法:基于统计的方 法、基于几何特征的方法、基于模型的方法、基于神经网络的方法、其他方法【】。 基于统计的方法 基于统计的方法是通过对整幅人脸或人脸图像中特别的区域进行变换,获取 人脸各种表情的特征来进行识别的。与下面基于几何特征的方法相比,它主要是 强调尽可能多的保留原始人脸表情图像中的信息并允许分类器发现表情图像中 相关的特征。通过对人脸表情图像进行变换,获取特征来进行识别。这种全局表 情特征未必有明确的含义,但在某种意义上是易于分类的。由于基于全局的表情 识别方法具有强相关性及高冗余度,因此如何在抽取优化特征的同时提高识别的 自适应性,至今还没有一个行之有效的方法。 在基于统计的识别方法中最有代表性、应用最为广泛的就是主成分分析,方 法,现在已成功的用于人脸识别和人脸表 情识别中,其基本原理是:它借助于一个下交变换将其分量相关的原图像向量转 化成其分量不相关的新随机向量。在代数上表现为将原随机向量的协方差阵变换 成对角形阵,在几何上表现为将原坐标系变换成新的正交坐标系,使之指向样本 点散布最开的个正交方向,然后对多维变量进行降维处理,使之能以一个较高 的精度转换成低维变量系统。它的优点是最大化的保留了原始数据的差异,缺点 是当样本类间离散度增大的同时,样本类内离散度也在增大。、 等【详细的介绍了在面部表情识别方面的应用。 基于几何特征的方法 江苏大学硕士学位论丈 最早,研究人员利用人脸特征显著点导出一组用于识别的特征进行人脸及其 表情识别【。采用几何特征提取方法是通过提取人脸的眼睛、鼻子、嘴巴、下巴 等重要特征点的位置,尺度,以及相互间的比率,将人脸用一组几何特征矢量表 示。、和用脸部一系列的特征点组成可变形的模型,通过 检测特征点的相互位置和形状来识别人脸表情。 。 基于几何特征的谚别方法具有如下优点:?符合人类识别人脸的机理,易于 理解;?对每幅图像只需存储一个特征矢量,存储量小;?对光照变化不太敏感。 该方法同样也有缺点:?从图像中抽取稳定的特征比较困难,特别是在特征受到 遮挡时;?对强烈的表情变化和姿态变化的适应性较差:?一般几何特征只描述 了部件的基本形状与结构关系,忽略了局部细微特征,造成部分信息丢失。 基于模型的方法 基于模型的特征提取方法主要是建立精确的物理模型,根据解剖学知识确定 关键特征并通过比较这些特征的变化来识别人脸表情。点分布模型 是一种参数化的形状描述模型,用一组离散的控制点来描述对 象的形状,并用方法建立起各个控制点的运动模型,对控制点的基准位置 和移动模式作了约束,从而保证模型的整体形变始终在可接受的范围之内。此方 法在模型中引人了与目标特征有关的信息,从而降低了对噪声和形变的影响,不 过运算量较大。活动外观模型” 也是一种基于 模型的方法,它建立了一种对目标对象变化程度的参数化描述。这种方法首先从 训练集中通过手工标定一组点构成形状信息,然后通过灰度插值法得到灰度 信 息,综合这两种信息并用主成份分析法去除冗余信息得到基向量。在应用 时,要对实际图像进行形状定位与灰度信息获取,然后计算这些信息在各个 基向量上的投影,调整模型参数使得通过模型合成图像与真实图像间的差 异达到最小,并以满足这个条件时的模型参数构建表情特征向量。主动形状模型 最初是由】等人提出的一种用于在图像中搜索某一特定类型对象 的方法。其主要思想和方法类似,不同的是它在搜索目标模型的变形时 依赖于训练集,这就保证了目标搜索的正确性。”】等利用颜色信息对 方法进行了改进,在彩色空间模拟特征点的局部结构,使用转换 对面部特征重新排序,补偿了头部姿态变化和数据到转换的影响。 基于神经网络的方法 神经网络是在生物神经学研究成果的基础上提出的人工智能的概念,是对人 类大脑系统一阶特性的一种描述。对于人脸这类复杂的,难以显式描述的模型, 基于人工神经网的方法具有独特的优势。在利用神经网络进行模式识别的系统 中,神经网络的输入策略主要有两种:一种是将提取得到的特征向量作为输入向 江苏大学硕士学位论文 量,这种输入策略可以有效地控制神经网络的规模,提高神经网络的运行速度, 但对提取特征的要求较高;同时提取什么特征以及提取多少特征才能满足识别的 要求很难先验得出。第二种是将人脸图像像素直接输入神经网络,这种输入策略 对于特征提取的要求降低,并可以根据样本自身的群体特性来进行特征选择,但 同时带来的问题是网络的规模扩大而造成收敛的缓慢和不稳定。 其它方法 用小波方法进行图形识别的技术已趋成熟。 和和 等用小波进行面部表情信息的压缩编码,但在图像序列中只考 虑特征点位移纹理信息,并未运用颜色信息。为实现自动识别运用了三种 提取表情信息的方法:特征点跟踪、流跟踪和边缘检测。和研究了 人脸表情建模与合成,用基于模型图像编码的方法使用遗传算法来编码,识别与 合成各种不同的表情。 ..表情识别分类 表情分类指定义一组类别,并设计相应的分类机制对表情进行识别,归于相 应的类别。如按照脸部动作分类,将脸部的动作分类到个 ;或按照情感分类,将表情分类到和定义的种基本情感。 目前主要的方法如下: 基于模板的匹配方法。为每一个要识别的表情建立一个模板,将待测表 情与每种表情模板进行匹配,匹配度越高,则待测表情与某种表情越相似。对 种典型的基本人脸表情可以建立相应的模板,但对于识别非典型脸部表情比如混 合表情时较困难,很难用有限的模板来代表无限多的人脸表情的情况。 基于似然度的方法。把被测表情图像归入与该图像最为相似的类别中, 这种相似性通常由欧氏距离 和余弦相似度来度量,欧 氏距离判定规则为:与某类的中心欧氏距离最小,则与该类最为相似,判为该类; 余弦相似度的规则为:与某类的夹角余弦值最大,则与该类最为相似,判为该类。 基于人工神经网络的方法。人工神经网络 可以作为单纯的分类器不包含特征提取、选择,也可以用作功能完善的分类器。 近年来,用于表情识别的人工神经网络分类器主要有:多层感知器、网、 网。使用多层感知的神经网络来进行表情识别,训练并测试了 种网络,得出形函数和径向基函数的神经单元混合,能较好地适合于前馈神经 网络的结论。等使用反向传播算法训练人工神经网络,在人脸表 情库上能够达到%的识别率。和采用一个×的反向传 播神经网络,输入层的神经元对应从输入脸部图像中提取的亮度分布数据,输出 江苏大学硕士学位论文 神经元对应种基本表情类别。但是,如果对自然表情类型而不是种基本表情 分类,那么神经网络方法的训练过程的工作量会非常大。针对现有的脸部表情分 析与识别方法往往对头部的姿态与光照条件等很敏感,算法在识别前往往需要很 复杂和耗时的预处理等问题。瑞士的 采用卷积神经网络进行特征的提 取和脸部表情的识别,该方法无需对图像进行预处理,即可解决多姿态、多角度 和大小不一等面部表情识别的问题,使得算法具有很强的鲁棒性。 , 基于支持向量机的方法。支持向量机 是一种泛化能力很强的分类器,它在解决小样本、非线性及高维模式识别问题方 面表现出了许多特有的优势,其基本思想可概括为:将训练样本经非线性变换映 射到另一高维空间中,在变换后的高维空间内寻找一最优的分界面,在类间空隙 最大的情况下将样本无错误或接近无错误分开。由于表情识别一般是多类别的分 类问题,因此需要将方法扩展到多类别的情形。主要有两种策略,一种是 将多类别问题分解成一系列二类别『题来求解;另外一种是将包含一类不同样本 的多类别问题分解成一个二类别问题,每次任选类样本作为二类别问题的一 类,剩下的一类样本作为另一类。 基于隐马尔科夫模型瑚?旧的方法。表情是一个动态过程,如何有效地 利用动态信息将影响识别结果。隐马尔可夫模型 ,能 够有效地对动念信息进行建模,既可以描述瞬态的随机过程又可以描述动态 的随 机过程的转移特性,在语音识别、手写体识别、形状识别和图像分割等领域 有着 广泛的应用。同样很容易使用隐马尔可夫模型对表情动态信息进行建模。 等人提出了一种基于时间与空间分类的来识别图像序列中的表情 的方法,此方法通过多级对图像序列中的而部表情进行建模,对四种基本 表情如高兴、生气、害怕、伤心分别进行了实验。从实验结果知,此方法对 单个 人的平均识别率达到了.%;而且他们分别对基于时间、空间、及时间与空 间联合的建模进行了实验,发现在上述几种方法中,所获得的性 能是最优的。等人提出了基于面部运动参数法与多流的的人脸表 情自动识别系统。从实验结果知,此方法可获得的最高识别率为.%,多流 的比联合特征的单流的系统性能提高了大约%。伪. ,利用进行表情识别,图像序列中的每一帧用其内嵌的 表示,图像的行和列或数行、数列分别对应的小超状 态和的状态,整个图像序列用表示。 等【采用多层 结构对视频图像进行自动分割和表情识别,考虑六种基本表情,分别训练 一个,共六个作为底层组,解码底层组的状态序列, 并把其作为一个新的观测序列作为高层的输入信号,这个高层由 江苏大学硕士学位论文 个状态组成,分别代表六种表情和中性表情,对高层状态序列解码得到视 频序列中每一帧所对应的表情。近几年的文献中,被普遍采用。 其它分类方法。方法将多个弱分类器结合起来训练形成强分类 器,不同分类器针对不同的特征,通过训练可以达到特征选择的目的。 用方法训练查找表型的弱分类器进行表情识别,在自己收集的数据库 上的测试结果略优于。分层识别的思想,即先使用一种方法粗分类各种表 情,然后再使用别的方法进行细分类表情。 虽然人脸表情识别技术已被很多人所研究,但是现有的方法没有分散强调对 表情变化有重要贡献的人脸部眼睛、眉毛、嘴巴等区域的信息,而且,单一的特 征提取方法并不能涵盖所有的有效信息,为此,本文提出基于粗糙集与混合特征 的人脸表情识别方法。 .论文的研究内容及主要工作 本文在广泛阅读国内外现有的关于人脸表情特征提取和表情识别技术的文 献后,比较和借鉴现有成功的人脸表情识别方法,对相应的人脸表情特征提取及 识别的关键技术进行改进和完善,同时提出自己的算法,并开发相应的人脸表情 识别原型系统。论文的主要研究内容和工作包括以下几方面: 研究快速、准确的人脸关键特征点定位方法及加权主成分分析方法 特征部件或特征点的准确定位是人脸表情识别的重要前提,其准确性和高效 性是表情识别系统的重要性能指标,本文采用主动表观模型标定人脸关键特征 点。针对现有的加权主成分分析方法的不足,提出改进的三中心双向加权主成分 分析方法,用以突出对人脸表情变化有重要贡献的人脸部眼睛、眉毛、嘴巴区域 的信息。 基于粗糙集的表情特征选择方法 把粗糙集引入到人脸表情识别中,提出改进的粗糙集属性约简算法,弥补了 原有的启发式属性约简算法仅从核属性出发的缺点,既考虑到了属性的重要度, 又考虑到了各属性对信息系统贡献的重复度,可以有效地选择表情特征,降低提 取到的表情特征的维数。 研究混合特征的提取方法 特征提取足表情识别的至关重要的一步,特征的有效提取直接影响分类识别 的准确性。基于多种类型特征融合的混合方法成为发展的主要方向。本文主要提 取两种特征:采用主动表观模型和粗糙集相结合的方法.提取表情的局 部几何形变特征,采用改进的加权主成分分析法和粗糙集.相结合提 取表情的整体特征。 江苏大学硕士学位论文 基于混合特征融合与离散隐马尔可夫模型的表情识别算法 基于上文提取的两种特征,采用高维小样本下的核典型相关分析进行特征融 合。将融合后的特征作为离散的观察值向量,进行分类识别,最后得到分 类结果。 佟人脸表情识别原型系统设计 采用面向对象技术设计并实现人脸表情识别原型系统。该系统由人脸图像预 处理,人脸特征定位,表情特征提取,特征选择。表情分类识别五个模块组成, 并从实验角度验证上述方法的有效性。 最后,对全文的内容进行了总结,并提出进一步研究的目标和方向。 .论文的结构 本文共分七章,主要内容概括如下: 第一章介绍课题的研究背景和研究意义,概述人脸表情识别所涉及的研究领 域及其潜在的应用领域。综述国内外的研究现状并介绍表情识别各阶段的主 要算 法,对这些算法的优缺点从理论上给出比较,同时分析和提出本文的主要研 究工 作。 第二章阐述人脸检测和表情图像的预处理,介绍本文使用的人脸检测算法以 及针对人脸表情图像所采用的预处理算法,预处理算法主要包括表情图像旋 转调 整、尺寸归一化和灰度均衡化算法。 第三章详细阐述本文所使用的局部特征提取方法:主动表观模型和粗糙集相 结合的特征提取方法。首先分别介绍和粗糙集理论,然后给出具体的表情 特征提取算法,并给出实验结果与分析。 第四章详细阐述改进的加权主成分分析与粗糙集相结合的整体特征提取方 法。首先介绍改进的加权主成分分析方法,接着介绍表情特征提取算法,最后给 出实验结果与分析。 第五章介绍核典型相关分析的特征融合算法以及基于离散隐马尔可 夫模型的人脸表情识别算法。首先介绍核典型相关分析和隐马尔可夫模 型的基本理论和算法,然后将提取的两种表情特征通过典型相关分析进行特征融 合,并采用离散进行分类识别,最后给出实验结果及分析。 第六章介绍采用面向对象及设计模式的思想设计并开发人脸表情识别原型 系统的方法与过程,并给出了系统的部分功能界面图。 第七章对全文工作进行总结,并指出下一步需要开展的工作。 江苏大学硕士擘住论文 第二章人脸检测与表情图像的预处理 在进行人脸表情识别之前的第一步就是要准确地进行人脸检测。人脸检测的 月的是检测图像中的人脸并从背景中分割出来,是人脸表情自动识别系统中不可 缺少的部分。对人脸表情图像进行预处理是表情识别系统中一个重要的环节。人 脸图像由于实际的拍摄条件不『叫,如光照以及拍摄设备的性能优劣等诸多因素的 影响,往往存在噪卢.对比度不足等缺陷。另外,拍摄时的距离、角度以及具体 的位置的不矧.使得人脸在整个图像中位置和大小都是不确定的,还有可能发生 人脸倾斜等情况。囚此,对于图像进行归一化等工作,可以有效减少噪卢、光照、 脸型等因素对表情的影响。 .人脸检测 人脸检测是表情识别的前提。是开源计算机视觉库,它由一 系列函数和少量类构成.实现了图像处理和计算机视觉方面的很多通用 算法【埘。本文采用基于的算法的人脸检测方法,和 于年提出了基于的方法删,该方法简单,实时性好, 检测速度快,是目时的研究热点。 检测出人脆位置的区域,以两眼球中心位置的水平距离为基准,根据人脸的 面部特征和几何模型确定的矩形区域对人脸图像进行裁剪,从而得到纯人脸表情 区域,作为后续处理的数据。几何模型如图所示如图.所示。 毒 喊 圉.人脸裁剪示意图 .表情图像的旋转调整 人脸的正面图像往往也存在一定角度的倾斜,虽然倾斜的角度不大,但是微 弱的变化也会产牛一定程度的影响,冈此我们耍校【人脆倾斜的角度,以保证 人 脸位置的致性。江苏大学硕士学位论文 根据人脸的生理学知识,绝大多数人脸满足如下假设,即没有旋转的人脸正 面图像上两眼是位于同一水平线上的。所以求出两跟与水平线的央角口,按 这个 角度进行反向旋转.就可以得到矫正后的图片。 萝一日钞 囤 人脸旋转示意周 设两眼的瞳孔坐标分别为“,和恐,儿,则占的求取公式如下: 口:产?』车坠? ?一‘魄一 设图像中任意点的坐标为,”,旋转后该点的坐标为;,则: ,,嚣;竺, 值得注意的是,数字图像灰度图是以矩阵形式来存储的,因此,如果不 扩大存放处理后图像的矩阵大小,则会出现图像的部分内容移出画面的情况 如 图.所示。 鑫仑忿 原图像 旋转后的围像部分被裁去 旋转后的图像扩大目傅 图.旋转前与旋转后的图像 为了避免这种情况,需要进行如下处理:首先计算图像四个顶点旋转后的坐 标,其次根据这些坐标的最大最小值,确定旋转后图像的高度和宽度,最后对 图 像矩阵进行扩展。 .寰情图像的尺寸归一化 尺度归一化的思想是将尺寸各不相同的人脸图像调整为统一的标准尺寸图 像以便于人脸特征的提取。本文选用了效果较好、速度较快的双线性插值方 法。 在双线性插值中,输出像素值是它在输入图像中邻域采样点的平均值,相当 于一 种平滑操作。具体算法如下:江苏太擘硕士学位论文 尺寸的缩小: ,。,;。 【’’::【 ,分剐为水 其中?是原始图像的像素值,岱 。是变换后图像的像素值, 平方向和垂直方向的比例因子。 尺寸的放大: 在尺寸放大的过程中.会出现一些原始图像中没有的像素点,这时需要进行 插值运算来计算出该点的像素值。为了能最好地消除放大时出现的马赛克现象, 我们采用双线性插值算法,首先将原始图像中矩形顶点的灰度值复制到放大后的 图像矩形对应的顶点然后对原始图像中所有点的灰度值,采用双线性插值算法计 算,实现尺寸归一。假设点‰和’分别是矩形的两个对角顶点,点, 包含在该矩形中,且满足任.,,则所求点的灰度值,&,, 按如下方法计算: :,葛,%仁一而?气一而【,“,一, :,,而,咒一而,气一%【,,咒一,而, :,“,似%?/一似咒一,“ 图显示了两种不同大小的表情图像经尺寸归一化处理后的效果 融翻 崮一冒 尺寸归一化之后的图像 圉.表情图像足寸的归一化 .囊情豳像灰度均衡化 在图像采集中光照的改变容易导致图像呈现不同的明暗程度,因此为了更好 地提取出人脸表情特征,就需要对人脸图像进行灰度均衡化处理,其作用是增强 人脸图像的整体对比度,并使灰度分布均匀,以消除光照变化的影响,此外还可 以消除不同人种的肤色差异。但图像的获取条件是有限制的,所以要通过算法对江苏大学硕士学位论文 获得的图像进行获度均衡。 灰度对称化处理 人脸图像采集时,由于光照方向不一致,会引起有些图像中的人脸左右两侧 对称区域灰度差异过大,而人脸表情基本是对称的,所阻在这种情况下选取和校 准图像灰度分布较近的侧面,将其对称到另一个侧面,从而减少光照方向不一致 产生的影响。 ?直方图灰度均衡化 目的是进一步消除光照强度的影响并增强面部区域的对比度,从而使我们感 兴趣的面部区域的图像细节更加清晰。它与直方图规定化的区别是直方图规定化 是消除不同圈像间的获度差异,而直方图灰度均衡化是消除同一幅图像的不同区 域由于光照等影响而引起的分布密度的“跳跃式”变化。 囡一圜 秭灰度归一化北理后的袁情图像厦其直方围 困袁情围像的友度归一化 其计算步骤如下: ?列出原始图像的灰度级,。,‘,工一,其中 是灰度级的个数? ?统计备灰度级的像素数目月,,,,‘?,工一?江苏大学硕士学位论文 ?计算原始图像直方图各灰度级的频数弓 :,『:,,?,工一,其中以 为原始图像总的像素数目。 。 ‘。。‘。 ’ ?计算累计分布函数弓,,『,’?,七,?,三一 、?应用以下公式计算映射后 的输出图像的灰度级&,,’?,,为输 出图像灰度级的个数,刀订【一一厂血.】,其中,为取整 符号。 ?统计映射后各灰度级的像素数目%,,,?,一。 ?计算输出图像直方图只堕,,,?,一。 , ?用正和&的映射关系修改原始图像的灰度级,从而获得直方图近似为均匀 分布的输出图像。 图.是图像灰度均衡化『后图像的比较。 .小结 在表情识别过程中人脸特征区域定位与表情图像预处理是后续表情特征提 取和分类识别的基础。本章首先介绍了人脸检测的方法,接着介绍了表情图 像旋 转调整、尺寸归一化、灰度均衡化表情图像预处理算法。 人脸特征区域定位使得后继的表情特征提取算法只需考虑包含表情特征的 小范围区域,减小了计算量,同时提高了表情特征提取的精确性。人脸图像的旋 转调整能够降低由于人脸倾斜带来的影响。表情图像的尺度归一化将所有表情图 像归整为统一的标准尺寸,可以克服不同图像大小带来的影响。表情图像的灰度 均衡化使得所有图像具有相同的灰度均值和方差,即表情图像的明暗程度及对比 度得到统一,从而有效屏蔽了光照变化所产生的影响,还可以屏蔽不同肤色的差 异。江苏大学硕士学位论文 第三章基于与粗糙集相结合的特征提取 在人脸表情识别研究中,表情特征的有效提取是关键,能否正确的提取人脸 表情特征直接影响识别的结果。但是,特征提取过程中往往会产生两种极端:提 取特征太少,不能完全表达表情的有效信息,不利于分类;提取特征太多,常常 会产生过多的冗余,造成重复和浪费,甚至会把有用的主要分类特征淹没在大量 无用特征之中,造成所谓“特征维数灾难’’,从而占用大量的存储空间和机器处 理时间。因此,如何找到一个平衡点来化解特征维数的高低所造成的矛盾冲 突是 解决这一问题的关键所在,比较理想的方法就是删除冗余信息,保留具有关键和 决策意义的有效数据。针对上面问题,本文引入了改进的粗糙集属性约简方法。 .基于主动表观模型的人脸特征点定位 算法的思想可以追溯到年等人提出的方法,年 等人提出使用参数化的可变形模板来代替模型,可变形模板概念的 提出为的产生奠定了理论基础。年等人提出的算法是 的直接前身,其采用参数化的采样形状来构成对象形状模型,并利用 方法建立描述形状控制点的运动模型,最后利用一组参数组来控制形状控制点的 位置变化,从而逼近当前对象的形状,该方法只单纯利用对象的形状,因此准确 率不高。年,’等人在算法的基础上首先提出,建立 了一种对目标对象变化程度的参数化描述。这种方法首先从己给定的训练集中提 取对象的模型,再对模型通过某种规则进行组合以形成新的对象。这种机制能在 新图像中搜索定位既定目标,并用较少的参数对新对象进行描述。中的模 型不仅利用了对象的形状信息而且利用了对象的纹理信息,使其定位能力更加健 壮,并具有更高的准确性。其后的研究团队对算法进行一系列的改 进,使该算法引起了各方的关注,世界上众多著名的研究机构加入该算法的 研究 领域。 方法是一个最优化问题,根据图像和模型参数合成表观模型,通过调 整模型参数使得模型表观与实际图像的差别最小。差向量可以表示为如下形 式: ?嘟.。,其中是当前图像的纹理向量,。是合成模型的纹理向量。 为了得到和图像匹配的最优模型,需要通过调整模型参数来最小化模型和图 像之 间的灰度差向量?。。由于基于表观模型可能会有很多参数,从而导致这个优 化问题是一个高维优化问题。一般选用迭代方法调整模型参数最小化网。 中的模型参数根据式.控制模型的形状和纹理【冽: 江苏大学硕士学位论文 、’ 舻茎二等 雪皱 其中,量是模型的平均形状,雪是模型的平均纹理,和是通过训练样本集 得到的描述模型变化的矩阵。 算法的关键是需要得到平均形状和平均纹理,以及描述模型变化的矩阵。这 是利用训练样本并结合主元分析得到的。下面首先介绍方法的训练过程。 对于模型形状,建模过程包括训练样本集中模型形状的对齐和对样本集中形 状变化的分析【。在对样本集中的每个样本点标定完毕之后,得到了一组描述模 型形状的形状特征向量,毛咒,薯,咒,...,%,‰,?,%,%,???, 其中是训练样本的数目,胛是模型中标定点的数目。为了能够通过这些形状特 征向量得到每个标定点的变化信息,需要对所有形状特征向量进行对齐操作,主 要是为了消除由于头部位姿不同带来的模型形状变化。已知两个形状薯和恐,将 艺对齐五是指找到一个变换使得变换后的形状凳,满足加权等式: 五一,【艺】一 五一,【恐】一 ? 其中,是缩放参数;秒是旋转角度;乙,,?,乞,,是平移分量;?是对角 型权值矩阵。变换,定义如下: ?‰? 郴,蹦四 饥. 则令 ,,, 口 口 × ? 邑匕 也以 乞?邑也 ?砭 一 ? ,:毗, 其中,置?%%,×?, ?%五磊 ‘ 七 ?%‰‰。:。,?%‰一‰恐。,是权矩阵?对角线上的第个元素。训练样本 形状对齐算法如下,刈: 将训练样本中的所有形状与某个样本对齐第一个。 ?计算所有形状的平均形状; ?归一化平均形状; ?将所有样本对齐归一化的平均形状; ?如果收敛,则结束;否则,转到?。 秒,上述优化问题便转化成如下最小二乘解问题:江苏大学硕士学位论文 形状对齐后消除了由于头部位置导致的模型形状变化,保留了真正的由物体 形状不同导致的形状差异。然后使用主元分析提取和描述这些差异。平均形 状是 对齐后的所有形状的平均,土。计算标记点的协方差矩阵: 百 。吉?一甸一量 然后利用主元分析得到形状的线性表示,如玉/?%,即 龛见吃,其中为主元分析中的截断长度。这样便得到了描述模型形状的 一组基向量。 同样,对于纹理信息首先也要消除光照不同带来的纹理差异,然后找到一组 基向量表示训练样本的纹理差异。对训练样本的纹理向量进行放缩口和偏 移‖变 换,妇/。如同形状对齐操作中的变换参数,需要选择口和‖使得当 前纹理向量与平均纹理向量匹配效果最好。雪是归一化后训练样本纹理向量 的均 值。选择缩放系数和偏移参数使得所有样本的和为零,方差为一。因此可得, 口拥?雪,‖拥?/。这里是纹理向量的长度。完成纹理向量的对齐后, 同样使用主元分析得到一组基向量表示模型纹理的变化,从而得到雪岛%。 物体的形状和纹理可以使用参数眈和吃表示。由于形状和纹理之间有一定的 内在关联,所以对形状和纹理的组合参数进行主元分析,定义如下: 即, 譬.袈譬 其中,形是形状参数的对角权矩阵,表示不同标定点作用的不同。进行主元分 析可以得,这里就是模型的参数。通过调整可以改变模型的 表观。由此形状和纹理的表示形式变为: ? 、 睡鬻之 【雪弓 其中: 二 任意图像都可以使 ?近似表示。 最简单的模型参数变化&与灰度差向量以之间的关系是线性关系, 万。这个模型已经能够很好地满足实际应用的需要。训练图像初始模型 参数为,对初始模型参数在参数空间中进行位移昆,新的模型参数为 &。从这个参数中可以得到形状向量,并利用式得到纹理向量‰。 江苏丸学硕士学位论吏 然后与从图像中依据形状向量得到的经变形后的纹理向量豇作比较,得到当 前 模型误差曲岛一靠。通过在训练集上估算可以得到的估计?训练得到模型 的所有参数后,算法模型参数估计的一步迭代过程如下所示芦捌: 当前模型参数估计为“,图象中依据形状向量得到的变形后的纹理向量晶, 从算法的一步迭代过程如下: ?计算纹理差向量,岛岛一,; ?计算当前误差,毛曲。; ?设置步长控制参数,女.; ?计算预测位移,&。; ?计算新的模型参数,?&; 以新的模型参数计算纹理差向量,; ?如果新的纹理误差满足要求,妇。岛,则认为新的模型参数是一个好 的估计;否则,令步长.等,进行再次搜索。 基于模型的方法需要预先定义物体的模型。方法是利用物体上的某些 关键点或有意义的特征点标定点作为物体模型的描述。根据需要,模型的标 定 点数目和位置可能有所不同。本文采用脸部的个特征点构建脸部模型,如图 .所示。 删.脸郝标记点 本文在利用进行特征提取的时候,首先给出眼睛定位方法得到模型的 初始搜索位置,减少搜索量,同时也提高了特征提取的准确性,算法的具 体实现使用了由丹麦技术大学提供的动态链接库,脸部特征提取的算 法在.锄库匕进行检测。本文选用了幅图像作为训练集,在 ‰.库中%以上的图像都能够得到满意的结果。图.给出了使用 从方法进行脸部特征点定位得到的结果图。江苏大学硕士学位论文 酸.警鬣 臣融?鬣戮 图.的定位结果 .人脸表情特征的提取 工表情结构的特点 生物学家达尔文所做的心理学实验表明,面部表情的含义不随着地区和国家 的不同而不同。和等在前人研究成果的基础上.定义了种最基 本的表情:惊奇、恐惧、厌恶、生气、悲伤、高兴和种不同的表情倾向,说 明了具有这种表情的人脸特征与无表情即中性表情的人脸特征相比有相对 独 特的肌肉运动规律。目前,大多数的人脸表情识别研究都是基于柚定义的 这种基本表情以及中性表情。表.给出了种单一表情及其表现特点。 袁 种单一表情的表现特点 表情 撷头、眉毛 眼睛 脸的下半部 .唇角向后拉并抬高 .嘴可能被张大,牙齿可 .下眼脸下边可能有皱纹, 能露出来 高兴 眉毛稍微下弯 可能鼓起.但并不啭张 一道皱纹从鼻子一直 鱼尾纹从外眼角向外扩张 延伸到嘴角外部 .脸颊被抬起 嘴角下拉 眉毛内角皱在一起,抬 悲伤 眼内角的上眼皮被抬起 高。带动眉毛下的皮肤 .嘴角可能在颤抖 .眉毛被抬起爿?,以 .眼睛睁大了,上眼皮被抬 高。下眼皮下落 下颤下落,嘴张开。以至 至于变高、变弯 惊奇 .眉毛下的皮肤被拉 .眼白可能在瞳孔的上方露 于唇和齿分开,但嘴部并 伸 出来,下边的也可能露出 不紧张,也不拉伸 来 .皱纹可能横跨额头江苏大学硕士学位论文 .眉毛抬起来并皱在 包 上限脸抬起来,下眼皮非常紧 恐惧 额头的皱纹只集中 张,向后拉:或拉长,同 张.并且被拉上来 时向后拉 在中部.并不横跨 整个额头 下眼皮非常紧张。可能被 眉毛皱在一起.并 或可能不被抬起 且被压低了 .上眼皮是紧张的,眉毛可 。霎磊.唇角拉直或向 愤怒 在眉宇阃出现了竖 能被压低 下,张开,仿佛要喊 直皱纹 鼓眼睛愤怒地瞪着,可鼓 鼻孔可能张大 起 上厝抬起 下唇与上唇紧闭上,推 眉毛压低,并压低上眼 在下眼皮下部出现横纹.脸颊 动下唇向上,嘴角下 厌恶 睑 推动其向上,但井不紧张 拉,厝轻微凸起 鼻子皱起 脸颊抬起 上表情特征的提取 人脸中眉毛、眼睛、鼻子、嘴巴等是其主要构成部件,它们也构造了丰富多 彩的人脸表情变化。正是因为这些器官的形状、大小和相对位置的各种变化才使 得人脸表情千差万别,这也可以从上一节中描述的表情的结构特点中看出来。因 此提取出这些器官的形状和结构关系变化等的几何描述可以作为人脸表情识别 的重要依据,即利用人脸中显著的特征点导出一组用于识别的特征进行表情识 别,简单且易于实现。本文在参考多篇国内外文献卅的基础上,从上文 标定的个点中选取个主要的面部特征点,如图.所示。 霉露 ‰ 【 州 四 ?? 、\、??。一// 人脸原国度特征点帅象化的人脸度特征点 图.标定的脸特征 利用图.人脸中标定的显著的特征点导出一组用于识别的特征,即用点与 点之间