【word】 基于色素分布的驾驶员面部特征点的定位方法

【word】 基于色素分布的驾驶员面部特征点的定位方法 基于色素分布的驾驶员面部特征点的定位 方法 第28卷第4期 2007年4月 东北大学(自然科学版) JournalofNortheasternUniverSity(NaturalScience) Vo1.28,No.4 Apr.2007 基于色素分布的驾驶员面部特征点的定位方法 杨英.,赵广耀.,杨佳,盛敬. (1.东北大学机械工程与自动化学院,辽宁沈阳110004;2.辽东学院装备与材料学院,辽宁丹东118001) 摘要:利用嘴唇和眼睛色素分布定位驾驶员面部特征点,首先根据嘴唇为红色这一特征,对OCD采集 的彩色图像进行亮度规一化处理后,再向由色彩信息构成的UV空间坐标系投影,根据红色素从投影中分割 出嘴唇区域,用边缘提取和红色像素点相结合的方法确定嘴唇形状;采用夹逼法确定描述嘴部状态的特征点. 根据人脸结构尺寸,初步确定眼睛区域,根据眼睛为黑色的特征,采用与嘴巴相同的方法,确定识别眼睛张开 和闭合状态的特征点.实验结果明,该方法可以有效去除嘴唇和眼 睛周围的阴影干扰,无论光线是否均匀, 该算法的准确率均达到94.3%以上,该算法具有实时,准确的特点,为 进一步判断驾驶员是否处于疲劳状态 提供重要的判断依据. 关键词:色度;亮度;规一化;驾驶员;面部特征点;定位 中图分类号:U270文献标识码:A文章编 号:1005—3026(2007)04—0557—04 MethodtoLocateDriver’SFaceFeaturePointsbyChrominance Distribution YANGYing.,ZHAOGuang-yao,YANGJia,SHENGJing (1.SchoolofMechanicalEngineering&Automation,NortheasternUniversity,Shenyang110004,China;2. SchoolofEquipmentandMaterial,EasternLiaoningUniversity,Dandong118001,China.Correspondent:YANG Ying,E-maihyangyingsy@163.con) Abstract:AnewmethodiSproposedtolocateadriver’Sfacefeaturepointsbychrominance distribution.Basedonthefacethathumanlipsarered,theluminanceofcolorimagesacquiredby (CDiSnormalizedandtheimagesarepr0jectedintoanUVspacecoordinatesystemcomposedof colordata.Separatingthelipregionfromtheprojectionofimagesinaccordancetored chrominance,theshapeoflipsisdeterminedbywayofcombiningedgeextractionwithred pixels,withthestatefeaturepointsofmouthdeterminedbywayofbracketingandapproaching. Then,theeyeregionispreliminarilydeterminedaccordingtofacefigure/sizeand,basedonthe factthatChineseeyeballsaremostlyblack,thesamemethodiSusedtodetermineandidentifythe statefeaturepointsduringeyeclosing/opening.Experimentalresultsshowedthatthemethod proposediseffectivetogettingridoftheshadowdisturbancearoundlipsandeyes,regardlessof whethertheluminanceiSeven.withanaccuracyoffereduptohigherthan94.3%.Themethod isthusregardedasrealtime,accurateandavailabletobeanimportantcriterionforwhethera driveriSinastateoftiredness. Keywords:chrominance;Juminance;normalization;driver;facefeaturepoint;Jocating 驾驶员觉醒水平低下是导致交通事故频繁发 生的主要因素之一.随着机器视觉与模式识别技 术,特别是人脸检测与识别技术的不断发展,利用 机器视觉可以监视驾驶员的状态,在对驾驶员脸 部定位的研究中,大多学者采用的是模板匹配法 定位眼睛,这个办法在光照均匀及背景极为简单 收稿日期:2006—04.04 基金项目:国家自然科学基金资助项目(10402008). 作者简介:杨英(1962一),女.辽宁台安人,东北大学副教授. 时可以.然而,大范围的模板匹配的计算量相当 大【,不利于实时处理,而且模板匹配的条件比 较苛刻,对尺度,光照,旋转角度等的影响极为敏 感.驾驶员在不同天气,以及不同光照强度和角度 下,其面部图像会有很大变化,用上述方法很难判 断驾驶员的眼睛以及嘴部的位置.本文根据嘴唇 558东北大学(自然科学版)第28卷 和眼睛的颜色与其他肤色明显区别的特点,将彩 色图像亮度规一化处理后J,再用边缘检测和寻 找特定色像素点相结合的方法对嘴唇和眼睛区域 进行分割和提取.该方法可以有效去除周围的阴 影干扰,完整地将嘴唇和眼睛从原图中提取出来, 再利用”逼近法”分别对嘴巴,眼睛的张开与闭合 状态进行特征点定位. 1嘴部定位及其特征点提取 唇色是人脸彩色图像中数据量相对集中且稳 定的区域,利用唇色来检测图像中驾驶员嘴 巴[3l,尤其在1:3型识别中,具有简便易行的特点. 文献[4]的研究结果表明,各种视频采集设备采集 的不同性别,不同年龄,不同肤色的人脸图像在彩 色空间分布的差异,主要存在于亮度上而不在色 彩上,通过彩色图像的亮度规一化,不同人之间的 唇色的差异能得到明显减弱. 为了消除颜色本身所包含的亮度信息,在 RGB空间将颜色值进行规一以后,用[r,g,b]表 示,可用如下换算得到: 00R +G+R 00 00 × 算式(1)定义了从RGB空间到色度空间的映像, 即从一个三维空间到二维空间的变换.蓝色在规 一 化后成为冗余信息,因为r+g+b=1. 实验表明,人类的唇色在彩色空间确有聚类 性,不同人之间的唇色差异可以通过彩色的亮度 规一化得到缩小.亮度归一化后,颜色的亮度信息 即失去作用,直观地反映了彩色信息在己,平面 上的分布,如图1所示.寻找不因人而变的唇色空 间,就是在色度的UV平面上寻找一个适当的相 位角,使得唇色值能够相对集中地体现在这个 轴上,即用这样的坐标轴(空间)来表现数据,能得 唇色的最强体现. 唇色的相位角的分布一般在85.,102.之 间,通过对图像的对比处理,取89.作为唇色坐标 系的U.轴效果较佳,与之垂直的方向为l轴. .’6 l;1.在Ul和l轴上投影函数为 Pu(z)=,),P.()=,)., I(xYI(xY J=11 (2) 由于驾驶员正面图像中嘴唇的长度大于宽 度,水平投影两相邻波谷间的最长距离为嘴唇的 长度,竖直投影中两相邻波谷的最大距离为嘴唇 的宽度,从而定位出嘴部的区域J,如图2所示. 嘴部区域确定后,在嘴部图像中提取嘴唇形状,单 纯的边缘提取有可能使不少其他非嘴唇边缘部分 保留下来或嘴唇边缘断裂不完整J,很大程度上 影响特征点的定位[.采用边缘提取和红色像素 点提取相结合的方法对嘴唇进行提取.可以使嘴 唇边缘更为完整,提取噪声更少,还可以有效地将 原图的嘴唇区域定位出来,如图3所示. 图2红色像素点投影 Fig.2Projectionofredpixels ?’ 图3嘴唇及其边缘提取图 Fig.3Lipsandedgeimageextracted 第4期杨英等:基于色素分布的驾驶员面部特征点的定位方法559 2嘴唇特征点的定位方法 嘴唇特征点定位的目的是描述驾驶员口型处 于闭合,张开以及打哈欠等状态.嘴唇特征点有6 个,如图4所示:左右嘴角A,B点;上嘴唇中 心最上和最下点C,D;下嘴唇中心最上和最下 点E,F.本文采用逼近法对嘴巴特征点进行定 位[81. A 日 A ?图4嘴唇及其特征点 Fig.4Lipsandfeaturepoints 2.1嘴部处于闭合状态 采用上下两个指针,同时从嘴唇区域的中间 开始,沿着嘴唇的边缘向左移动,当这两个指针所 指位置的距离很小,或继续往左移动时没有边缘 点时,就认为此处就是左嘴角点A,对应的坐标 A(XA,YA),如图4所示.按照类似的方法得到右 嘴角的坐标B(锄,蚴). 定出左右嘴角点的坐标以后,以这两个点为 基本点,分别将两个指针由两边向中间移动,设定 w是嘴唇的长度,即两个嘴角间的距离,则 W=~/(A—B)一(YA一). 由于上下嘴唇外边缘中点与左嘴角的水平距 离是固定的,即告W,这样就定出了c秕F.两 指针分别从两嘴角连线的中点出发,垂直向上,向 下移动,直到没有边缘点时,即为和,因此 确定了上唇C和下唇F点的坐标. 在嘴闭合时,D,E两点重合,嘴唇特征点只 有5个. XA+XB DE—, C+F 如—一? D,E点的坐标值为D(xD,YD),E(,YE).嘴部 处于闭合状态时的5个特征点全部定出. 2.2嘴部处于张开状态 嘴部张开时,共有A,B,C,D,E,F6个 特征点.其中A,B,C,F的定位方法与A,B, C,F点相同;由于嘴部张开时D,E两点不重 合,根据嘴巴的对称性,D,=,一生,用 两指针从两嘴角连线中点出发,垂直向上,向下移 动,直到遇到嘴唇边缘点时,即为如,和,,至此, 确定了嘴巴张开时的6个特征点. 3眼睛定位及其特征点提取 根据人脸尺寸,以嘴唇的位置为基础,可以对 眼睛进行定位9.由于驾驶员在瞌睡闭眼时,两 只眼睛的闭合状态是一致的.因此只须研究一只 眼睛,可以减少计算量,便于实时在线监测驾驶员 的精神状态. 3.1右眼定位算法 由于嘴巴长度为w,根据面部五官的排列 顺序: 右眼的高度HighofEye为 HighofEye=0.31W;(3) 右眼的长度LengthofEye为 LengthofEye=0.63W;(4) 右眼区域的起始坐标(2,Y2)为 x2=rightx一0.1LengthofEye, Y2=righty=1.35W.(5) 3.2右眼特征点的提取 推算出右眼的范围后,考虑到人脸的长度和 宽度不一样,且头部可能有一定的水平旋转和深 度旋转问题,由经验参数定出的区域可能与实际 情况有较大的出入,因为眼珠呈天然的黑色,利用 与嘴唇区域提取类似的方法,取为295.,确定出 眼睛的准确区域.采用与嘴唇特征点相同的定位 算法,对眼睛特征点进行定位.当驾驶员眼睛处于 张开状态时,定位出5个特征点,左右眼角点,上, 下眼皮中心点,眼睛中心点;当驾驶员眼睛处于闭 合状态时,定位出三个特征点,定位结果如图5所 示. 图5眼睛区域的投影图特征点 Fig.5Projectedimagefeaturepointsineyeregion 4脸部特征点定位实验及结果分析 为了适应不同光线分别把测试车辆停在实验 室附近,选择阳光均匀直射;车辆处于遮避状态, 光线被遮避不均匀;多云天气,光线不均匀且较暗 和黄昏光线昏暗四种照度状态.把CCD摄像机安 装在驾驶室内,采集”驾驶员”脸部图像. P 东北大学(自然科学版)第28卷 测试对象分别来自东北大学本科和硕士生的 男女自愿者,每人分别采集闭嘴,打哈欠,睁眼和 闭眼4幅图像,共采集176人次,图像704幅.采 用上述嘴唇和眼睛区域的特征点定位算法对上述 图像进行分析处理,定位结果如图6所示,其中识 别结果为正确的图像总数为638幅,占全部图像 的86.2%.实验计算结果与原图像对比如表1所 示.可见,驾驶室内的光线亮度是影响识别准确率 的主要因素,但是只要有一定的亮度,无论光线是 否均匀,该算法的准确率可达到94.3%以上,即 克服了光线不均匀对图像分析的影响;但在黄昏 时分,光线非常昏暗时,识别的准确率急剧下降. 对于不同性别的驾驶员,识别准确率也有所不同, 女性略微高于男性,主要原因是女性嘴唇的红色 素较男性多. 表1实验计算结果与原始图像对比 Table1Computedresultscomparedwith 堕!塑 驾驶室内正确图像数/图像总数准确率/% 光线状况男生女生男生女生 光线充足均匀直射118/12075/7698.398.7 光线被遮避不均匀112/11666/6896.697.1 光线不均匀较暗83/8876/8094.395.0 光线昏暗78/11230/4469.768.2 图6面部特征点定位图与驾驶员觉醒状态 Fig.6Locationoffacefeaturepointsshowing driver’sstateoftiredness 实验结果表明,采用彩色图像亮度规一化处 理后,由于只保留了色彩信息,所以光照不均匀, 对结果影响不大,但若光线昏暗,则错误率提高. 5结论 唇色是人脸彩色图像中数据量相对集中且稳 定的区域,利用唇色来检测图像中驾驶员嘴巴,尤 其在121型识别中,具有简便易行的特点.这种基于 唇色的快速面部定位和跟踪方法,通过彩色图像 的亮度规一化,使得不同人之间,甚至同一人在不 同的光照条件,不同的服饰条件下,唇色的差异明 显减弱,因此用色度表示面部特征,具有姿态不变 性,且特征相对稳定,不受繁杂背景的影响.实验 结果表明,该方法可以有效去除嘴唇和眼睛周围 的阴影干扰,有效地克服了驾驶室内由于光照不 均匀,驾驶员面部特征难以准确识别的缺点,无论 光线是否均匀,该算法的准确率达到94.3%以 上;但在黄昏时分,光线非常昏暗时,识别的准确 率下降.进一步研究应考虑亮度信息对驾驶员面 部特征点定位的影响,以及如何适当确定亮度信 息的作用.本文采用的基于色素分布的面部特征 点定位方法可以快速,准确,实时地对人脸特征点 进行定位,算法简单,满足实时监测系统对于人脸 检测的要求,因此,该方法在驾驶员疲劳监测系统 中具有重要的应用价值. 参考文献: 【1】Rein-lienH,Abdel—mottaleb,JainAK.Facedetectionin colorimages【J】IEEETransPAM1,2002,24(5):696— 706. 【2】TerrillonJC,ShiraziMN.FukamachiH.Comparative performanceofdifferentskinchrominancemodelsand c~nancespacesfortheautomaticdetectionofhumanfaces incolorimages【C】//ProcIEEEInternationalConferenceon 61. FaceandGestureRecognition.Grenoble,2000:54— 【3】ChungJK,HuangRS,LinTG.3一Dfacialmodelestimation fromsinglefront—viewfacialirnage[J】.IEEETramCircuits Systen~VideoTechnology,2002,12(3):183—192. 【4】姚鸿勋,刘明宝.基于彩色图像的色系坐标变换的面部定 位与跟踪法【J】.计算机,2000,23(2):158,165. (YaoHong-xun,LiuMing-bao.Methodoffacelocatingand trackingbasedonchromaticcoordinatestransformationofcolor images[J】.JournalofComputer,2000,23(2):158—165.) 【5】YangMH,KriegrnanD.Detectingfacesinimages[J】.IEEE TransPatternAnalysisandMachineIntelligence,2002,24 (1):34—58. 【6】TangCY,ChenZ,HuangYP.Automaticdetectionand trackingofhumanheadsusinganactivestereosystem【J】. InternationalJournalofPatternRecognitionandArtificial lntelligenee,2000,14(2):137—166. 【7】ShahSG,CaoB,GaoW.Extendedfisherfaeeforface recognitionfromasingleexampleimageperperson[J】.IEEE InternationalS3mlpodumonCircuitsandSyae,ns,2002,2: 81—84. 【8】王荣本,郭克友,储江伟.适用驾驶员疲劳状态监测的人眼 定位方法研究【J】.公路交通科技,2003,20(5):111—114. (WangRong-ben,GuoKe-you,ChuJiang-wei.Studyonthe eyelocationmethodindriverfatiguestatesurveillance【J】. 114.) RoadandTransportTechnology,2003,20(5):111— 【9】陆继祥,张增芳,李陶深.基于24位彩色人脸图像嘴唇的 分割和提取【J】.计算机工程,2003,29(2):2—4. (LuJi—xiang,ZhangZeng-fang,LiTao-shen.Segmentation andextractionofhumanmouthb~sedon24bitcolorimage 【J】.ComputerEngineering,2003,29(2):2—4.)