为了正常的体验网站,请在浏览器设置里面开启Javascript功能!

多姿态眼球中的瞳孔定位算法

2014-04-03 7页 pdf 940KB 131阅读

用户头像

is_212044

暂无简介

举报
多姿态眼球中的瞳孔定位算法 第23卷第8期 计算机辅助设计与图形学学报 V01.23No.8 2011年8月 JournalofComputer—AidedDesign8.ComputerGraphics Aug.201l 多姿态眼球中的瞳孔定位算法 王先梅,杨 萍,王志良 (北京科技大学计算机与通信工程学院电子信息系 北京 100083) (plum—wang@tom.com) 摘要:针对当前基于普通光源的瞳孑L定位算法主要适用于眼睛开度较大、眼球较完整的问题,提出一种适用于多 姿态眼球的瞳孑L定位算法.该算法在采用Adaboost进行人脸...
多姿态眼球中的瞳孔定位算法
第23卷第8期 计算机辅助设计与图形学学报 V01.23No.8 2011年8月 JournalofComputer—AidedDesign8.ComputerGraphics Aug.201l 多姿态眼球中的瞳孔定位算法 王先梅,杨 萍,王志良 (北京科技大学计算机与通信工程学院电子信息系 北京 100083) (plum—wang@tom.com) 摘要:针对当前基于普通光源的瞳孑L定位算法主要适用于眼睛开度较大、眼球较完整的问题,提出一种适用于多 姿态眼球的瞳孑L定位算法.该算法在采用Adaboost进行人脸检测后,利用多分辨率ASM技术进行面部关键点分析 并实现眼睛定位;在眼睛定位的基础上,利用滑动窗口技术遍历整个眼部图像,并根据眼睛的灰度分布特点采用2级 灰度信息分析的方法进行瞳孔定位.实验结果表明:在光线分布比较合理的情况下,采用文中算法不仅可以在眼睛 开度正常、瞳孔较完整的情况下进行瞳孔定位,肖瞳孑L位于眼睛边缘、眼睛开度较小等瞳子L不完整的情况下也具有 良好的定位效果. 关键词:多姿态眼球;瞳孑L定位;主动形状模型;灰度分布 中图法分类号:TP39l PupilLocalizationforMulti—viewEyeballs WangXianmei,YangPing,andWangZhiliang (DepartmentofElectroniclnfimmationEngineering。SchoolofComputerandCommunicationEngineering,UniversityofScienceand TechnologyBeijing,Beijing100083) Abstract:Thispaperdescribesapupillocalizationapproachthatiscapableofprocessingmulti—view eyeballundernaturallightenvironment.Intheproposedmethod,theAdaboostalgorithmisusedto detecthumanfaceandthemulti—resolutionASMmethodisusedtolocatethefacialfeaturepoints. Theneyeimagescanbeobtainedbyfoureye’Sfeaturepoints.Afterthelocationoftheeyes,asliding windowtechniqueisemployedtoanalyzetheeyes’grayinformationdistribution.Thelocalarea coveredbytheslidingwindowwithlowestgrayintensityisassumedtobethepupilcandidatearea. Finally,asimilarlocalareaanalysistechniqueisdevelopedtoadjustthepositionofthepupilcandidate area.Experimentsonmulti—vieweyeballsshowthattheproposedmethodcaneffectivelylocalizethe pupilnomatterthepupiliscompleteorincomplete. Keywords:multi—vieweyeball;pupillocalization;activeshapemodel;graydistribution 认知心理学的研究成果表明:眼睛是人类心理 活动的一个重要外在表现‘1|.因此眼睛状态分析是 心理学、情感计算、和谐人机交互等领域的重要研究 .眼睛状态分析主要包括眼睑运动分析与眼球 运动分析两部分。其中瞳孔定位算法是眼球运动分 析的重要内容,是眼球运动快慢和视线方向估计的 基础. 根据光源性质的不同,可以将当前的瞳孔定位 算法分为基于红外光源的定位算法陪钉与基于普通光 源的定位算法睁80两大类.红外瞳孔定位算法在检测 收稿日期:2010-10—26;修回日期:201卜05—13.基金项目:国家“八六i”高技术研究发展计划(2007AA012160).王先梅(1974一),女,博 士,副教授。主要研究方向为模式识别、人机交互;杨萍(1986~)。女.硕士研究生,主要研究方向为图像处理、人机交互;王志良(1956~).男。 博士,教授,博士生导师.主要研究方向为人工心理、人机交互、物联网技术. 万方数据 1428 计算机辅助设计与图形学学报 第23卷 效果、跟踪稳定性和运行时间方面都有良好的性能, 但系统复杂,造价昂贵.基于普通光源的瞳孑L定位算 法对硬件系统要求低,主要包括霍夫变换法[4]、变形 模板法‘争6|、边缘特征分析法‘川、对称变换法‘81,以及 这些方法的综合利用[9].霍夫变换法和对称变换法 的优点在于抗干扰能力强,具有很好的鲁棒性,但是 计算量大、运算速度慢、对存储空间需求大;变形模 板法具有运算速度快的优势,但是它用模板匹配图 像瞳孑L,由于不同图像眼睛大小不一,所以其准确度 存在一定差异;边缘特征分析法通过灰度投影曲线 确定瞳孔和眉毛区域,算法速度快,缺点是对图像要 求严格,当头部倾斜度过大等情况下适应性不强.现 有的瞳孔定位算法还有一个共同的缺点是:它们主 要适用于眼睛开度较大、眼球完整的情形,当眼球位 于眼睛的不同边缘或者眼睛开度较小(例如眯眼)时 眼球的结构已经不完整,常规定位方法的定位效果 不好,甚至失效. 针对常规的瞳孔定位算法不适用于多姿态眼球 的缺点,本文对多姿态眼球中的瞳孑L定位算法进行 了探索,提出一种利用主动形状模型(activeshape models,ASM)算法与区域灰度信息进行瞳孔定位 的算法.首先利用Adaboost和多分辨率ASM实现 人脸检测和面部关键特征点定位,获取人的眼部图 像;然后基于眼部图像灰度分布的特点,利用多级灰 度信息对眼部图像进行分析并完成瞳孑L的定位.该 算法具有计算简单、快速、鲁棒性好、硬件系统要求 低的特点,不仅能较好地实现正常情况下的瞳孑L定 位,当瞳孔位于眼睛边缘(例如尽力向上、向左、向右 看)以及眯眼时也具有良好的定位效果. 1 系统原理 人眼的外观由巩膜、虹膜和瞳孔三部分构成,其 中虹膜与瞳孔组成了眼球.巩膜是眼球外围的白色 部分,约占总面积的30%;眼睛中心为瞳孑L部分,约 占5%;虹膜位于巩膜和瞳孔之间,包含了最丰富的 纹理信息,占据65%.在人眼图像中,瞳孔的灰度值 最小,巩膜的灰度值最大,虹膜的灰度值介于二者之 间.由于眼睛不同部分之间的灰度存在着较大差异, 因此可以利用灰度信息对眼部图像进行分析,并完 成瞳孑L的定位. 本文所采用的系统主要分为眼睛定位与瞳孑L定 位两大部分,其结构如图1所示. Adaboost人脸检测 直方图均衡 + ◆ 1图片/视频流}叫ASM面部特征点定位——_I一 基于滑动窗口的灰度分析 ● 士 眼睛图像的获取 基于相似灰度分布的瞳孔调整 眼睛定位 瞳孔定位 图1 瞳孔定位系统的结构 1)眼睛定位.眼睛定位的主要目标是从输入的 图像或视频流中检测出眼睛的位置,包括人脸检测、 面部特征点定位、人眼图像的获取三部分.其中人脸 检测采用Adaboost算法,面部特征点定位采用 ASM算法.由于ASM对初始位置的依赖性比较 高,因此将Adaboost人脸检测的结果作为ASM模 型定位的初始模型位置可以加快ASM算法收敛的 速度. 2)瞳孔定位.在眼睛定位的基础上,通过对眼 部图像的灰度分析完成瞳孔的精确定位,主要包括 基于直方图均衡的图像对比度增强、基于滑动窗口 进行灰度信息分析的瞳孑L粗定位以及利用相似灰度 分布的瞳孔位置调整三部分. 2眼睛定位 眼睛定位主要是通过ASM算法进行的.ASM 是由Cootes等[1们提出的,用于精确定位目标对象 和特征配准.ASM的应用主要分为2个阶段:训练 阶段统计模型的建立与搜索阶段的形状匹配.在训 练阶段,通过对训练集中的大量样本形状实例进行 统计,建立反映目标形状变化规律的形状统计模 型——点分布模型,同时利用标定点所在轮廓法线 方向上的灰度信息来建立反映灰度分布规律的局部 灰度模型.在搜索过程中,首先利用训练得到的局部 灰度模型进行搜索,之后利用形状模型来对搜索到 万方数据 第8期 王先梅。等:多姿态眼球中的瞳孔定位算法 1429 的形状进行近似表达,并对其合理性进行判断.通过 循环迭代。最终得到理想的匹配结果.ASM训练得 到的平均形状模型能很好地覆盖各种人脸几何外形 子空闻,具有较高的定位精度.但是AsM也有一些 需要改进的地方,如平均模型对初始化位置非常敏 感、匹配速度慢等. 为了克服AsM算法对初始搜索位置敏感的缺 点,本文采用Adaboost算法定位的人脸区域作为 AsM初始搜索区域,从而将AsM的初始搜索位置 固定在人脸检测的范围内.为了加快搜索速度,采用 多尺度框架进行最优形状匹配的搜索过程. 2.1基于Adabozat的人脸检舅 在人脸检测的训练过程中,采用Lienhart等“” 提出的14种Haar特征对人脸进行描述,利用 GentleAdaboost弱学习算法[1”从一个较大的特征 集中选择少量最优的关键特征,将其组合产生一个 不太高效的强分类器;再用级联方式将选出来的强 分类器合成一个更加复杂的瀑布型级联分类器,使 图像的背景区域快速淘汰,最终得到图片中人脸的 位置. 2.2基于多尺度搜索的ASM搜索原理 多尺度搜索的基本思想是:开始时在一个粗糙 的图像中搜索目标,当得到适当的结果后就以当前 结果作为下一尺度匹配过程的初值,继续在大尺度 上迭代匹配,直到收敛.由于在小尺度灰度模型的匹 配过程中。每个特征点的搜索范围相对大尺度情况 下要大得多,这样就可以有效提高匹配的速度no]. 在构造形状子空间模型的过程中,人脸模型记 为M(s;口)[s]+sf,其中s表示基准形状,5表示缩 放因子,口表示旋转因子,S—Ixlf’Y,,,z“,强,⋯, ‰,Y。]7表示模型中心.假设ns为当前点两边所 取样本点的数目,N一为每层所允许的最大迭代次 数,L~为允许迭代的最大层数.s。表示每次迭代所 产生的形状,基于多分辨率框架的ASM搜索算法 过程步骤如下: Stepl.设定层数变量r=L~. Step2.当L≥0时t Step2.1.在金子塔第L层图像中计算形状子空问模 型点的位置,用平均形状作为初始形状si.o; Step2.2.对s.中的每个关键特征点搜索在其两边轮 廓法线上”。个像素点作为候选点,具有最小马氏距离的那 个候选点作为该关键点的新位置.从而得到g; Step2.3.以s:为目标调整平移、旋转和伸缩等变换 参数以及形状参数(S,0,5.岛).获得当前形状S+-=M(5, 口)·[s]+墨。并使S+I与毹最佳匹配} Step2.4.如果S和s件,之间差别足够zb(算法收敛。 占关键点总散P由.以上的关键点的搜索得到的量优点在离 当前点的-dZ个像素范圈内).或此层叠代次数已达到 N一.则该层算法收敛.执行下一步,否剜转Step2.2} Step2.5.如果L>O剜L呻(L—1). Step3.算法结束,第0层收敛得到结果便是最终的定位 结果. 经反复实验,本文所用的关键参数取值如下: Lw,一4,n.=6,N一一10,Pdine一0.9. 图2所示为一个用68个点描述的ASM定位 效果图,每个眼睛用5个点表示,其中第5个点是眼 睛的中点. 落蔫巾?霹■ ^ASM标定人脸储个点b肼医曩关曩目寻征赢j辱记 图2 ASM定位示意图及眼睛区域的关健点标记 2.3眼部图像的获取 假设每个特征点的坐标表示为[只.z~Py3,则 眼部图像E及其尺寸可以表示如下: 左\右眼宽度.Wd=IP29.z—Pmzl。W。一 l P32.z—P“.zl; 左\右眼高度.Hd=IP30.Y—PmYl,H。一 IP35.,一P33.,l# 左眼图像.n(z,y)一U{f(x’,Y’)},0≤z≤ Wd。O≤Y≤HtI,z’>P27.z&工7 P28.y&y’P34.工&oT’ P33.y&Y’计算公式
为 ME=100X÷JJ—O."-础I'+—1c'.。-odt_.L/。。 智 Wt /’ 其中C,o和cP分别表示采用式(2)(3)所计算出来 的第i张图片中的瞳孔位置,础和c等表示第i张 图片的真实瞳孔位置。n表示参与测试的图像个数. 从表1中可以看出。当滑动窗口的尺寸选为眼睛宽 度的1/5比较合适,此时的平均粗定位误差最小.因 此后续实验中均采用t£,=1/5. ’ 囊1不同滑动膏口尺寸对t孔粗定位精度的影响 4.2相似区域参数的确定 表2所示为不同K值下瞳孔的定位精度.可以 看出,当K取5个像素值比较合适,此时的整体平 均定位误差最小. 裹2 K的取值对t孔定位误差的影响 4.3多姿态眼球的瞳孔定位分析 图5所示为不同姿态眼球的瞳孔定位效果.可 以看出,本文方法对瞳孔位于眼睛中问、偏左、偏右、 偏上甚至眯眼等都有较高的定位精度;但是当眼睛 向下看且眼皮遮盖虹膜较大时,其定位精度(尤其是 横坐标的定位精度)不高. a眼球完整 b眼球向左看 c眼球向右看 d眼球向上看 e眼球向下看 f睬鼹 图5多姿态眼球中瞳孔定位效果 本文通过对那些定位精度较低的图像进行分析 发现,当眼睛开度较小时,浓密的睫毛、眼睑的覆盖 或者眼角光照不足等情况容易造成除瞳孔之外还有 其他低灰度区域的存在.如果这些区域的平均灰度 值小于瞳孔区域,那么在粗定位时该区域中心就被 定义为包含待校正的瞳孔中心.大量实验结果表明, 这些区域一般分布在眼睛边缘.因此可以先在ASM 眼睛图像定位的基础上沿着定位点向里缩进从而裁 减小部分眼睛边缘,这样在一定程度上既可以减少 搜索范围,又可以消除上述不良影响. 4.4系统定位速度分析 本文对一段分辨率为320×240、含353帧完整 面部图像的24位真彩视频进行了系统定位速度的 测试,最终得到的平均定位速率为14.42ms/帧,其 中眼睛定位部分的定位速率为12.90ms/帧。瞳孔部 分的平均定位速率为1.52ms/帧,可见系统的计算 量主要体现在眼睛定位部分.由于瞳孔定位是在眼 睛定位的基础上进行的,涉及的图像面积很小,且仅 用灰度信息进行分析,因此计算量很小.由于不同文 献所采用的硬件条件、软件环境各不相同,且本文的 目的在于对多姿态眼球中的瞳孔定位方法进行尝试 与探索,因此我们没有与其他系统的定位速度进行 对比. 本文的研究目的是对普通摄像头环境下的多姿 态研究定位方法进行探索,而目前的主流方法主要 是研究正常眼睛开度下的瞳孔定位或眼睛定位,因 此本文没有对不同算法的定位精度进行对比. 万方数据 1432 计算机辅助设计与图形学学报 第23卷 5 结 语 本文针对目前普通光线下的瞳孑L定位算法不适 用于多姿态眼球中瞳孑L精确定位的缺点,根据眼睛 的灰度分布特点,利用多分辨率ASM算法与眼睛 灰度信息对多姿态眼球中的瞳孔定位方法进行了尝 试与探索.实验结果表明了该方法的有效性. 我们在实验中发现了如下问题:1)若眼角周围 有黑痣且ASM定位精度不太高时,黑痣也可能成 为眼部图像的一部分,由于无反光,其灰度可能更 黑,因此也容易被误识别成瞳孔.2)眼睑阴影对定位 精度有一定影响.3)在眼睛往下看时,长而黑的睫毛 对瞳孔定位有较大影响. 在后续研究中,我们拟采用以下技术进行瞳孑L 定位精度的改进:加入边缘提取技术或者颜色信息 对粗定位的瞳孔进行验证;在进行瞳孑L粗定位的过 程中分析每个滑动窗口与周围一定范围内局部区域 的灰度关系,从而有效地排除眼睑阴影、黑痣等因素 的影响;在ASM定位的基础上,采用多边形描述方 式获取眼部图像. 本文算法适用于普通光线下与眼动分析相关的 瞳孔定位,根据瞳孔位置可以估计眼球的运动状态, 例如运动快慢、眼球滑动与注视、视线的方向与分 布,因此可以应用于人机交互、情感分析、心理学研 究等场合. 参考文献(References): F1]Baron—CohenS.Howtobuildababythatcanreadminds: cognitivemechanismsin mindreadingFJI. Current PsychologyofCognition·1994,13(5):513—552 [2]VillanuevaA,CabezaR.Anovelgazeestimationsystemwith onecalibrationpoint[J].IEEETransactionsonSystems, Man,andCybernetics--PartB:Cybernetics,2008,38(4): 1123-1138 [33KoYJ,LeeEC,ParkKR.Arobustgazedetectionmethod bycompensatingforfacialmovementsbasedoncorneal specularitiesEJ].PatternRecognitionLetters,2008,29(10): 1474-1485 [4IBhatiaN。ChhabraM.ImprovedHoughtransformforfast irisdetection[c]//Proceedingsofthe2ndInternational ConferenceonSignalProcessingSystems.LosAlamitos: 1EEEComputerSocietyPress,2010:172—176 [53PerezCA,AravenaCM,VallejosJ l,eta1.Faceandiris localizationusingtemplatesdesignedbyparticleswarm optimization[J].PatternRecognitionLetters,2010,31(9): 857-868 [6]MoriyamaT,KanadeT,XiaoJing,eta1.Meticulously detailedeyeregionmodelanditsapplicationtoanalysisof facialimages[J].IEEETransactionsonPatternAnalysisand MachineIntelligence,2006,28(5):738—752 [7]DuZhijun.WangYangsheng.Eyelocatingalgorithmfor frontalviewfaceimage[J].JournalofComputer—Aided Design&ComputerGraphics,2009,21(6):763—769(in Chinese) (杜志军,王阳生.正面人脸图像中眼睛的定位算法[刀.计算 机辅助设计与图形学学报,2009,21(6):763-769) [83ZhangYongzhong。LiuFu,SunLingming,eta1.Pupil preciselocalizationmethodbasedonsymmetrytransform[J]. JournalofJilinUniversity:InformationScienceEdition. 2009。27(3):268-272(inChinese) (张勇忠,刘富,孙令明,等.基于对称变换的瞳孔定位方 法EJ].吉林大学学报:信息科学版,2009,27(3):268—272) [9]TorricelliD,ConfortoS,SchmidM,eta1.Aneural—based remoteeyegazetrackerundernaturalheadmotion[J]. ComputerMethodsandProgramsinBiomedicine,2008。92 (1):66-78 [103CootesTF,HillA,TaylorCJ,eta1.Theuseofactive shapemodelsforlocatingstructuresinmedicalimages[J]. ImageandVisionComputing,1994,12(6):355-366 [11]LienhartR,MaydtJ.AnextendedsetofHaar—likefeatures forrapidobjectdetection[C]//ProceedingsofIEEE InternationalConferenceonImageProcessing.LosAlamitos: IEEEComputerSocietyPress。2002:900-903 [12]FriedmanJ,HastieT,TibshiraniR.Additivelogistic regression:astatisticalviewofboosting[J].TheAnnalsof Statistics,2000。28(2):337-407 万方数据 多姿态眼球中的瞳孔定位算法 作者: 王先梅, 杨萍, 王志良, Wang Xianmei, Yang Ping, Wang Zhiliang 作者单位: 北京科技大学计算机与通信工程学院电子信息系 北京 100083 刊名: 计算机辅助设计与图形学学报 英文刊名: Journal of Computer-Aided Design & Computer Graphics 年,卷(期): 2011,23(8) 参考文献(12条) 1.Baron-Cohen S How to build a baby that can read minds:cognitive mechanisms in mind reading 1994(05) 2.Villanueva A;Cabeza R A novel gaze estimation system with one calibration point[外文期刊] 2008(04) 3.Ko Y J;Lee E C;Park K R A robust gaze detection method by compensating for facial movements based on corneal specularities[外文期刊] 2008(10) 4.Bhatia N;Chhabra M Improved Hough transform for fast iris detection 2010 5.Perez C A;Aravena C M;Vallejos J I Face and iris localization using templates designed by particle swarm optimization[外文期刊] 2010(09) 6.Moriyama T;Kanade T;Xiao Jing Meticulously detailed eye region model and its application to analysis of facial images[外文期刊] 2006(05) 7.杜志军;王阳生 正面人脸图像中眼睛的定位算法[期刊论文]-计算机辅助设计与图形学学报 2009(06) 8.张勇忠;刘富;孙令明 基于对称变换的瞳孔定位方法[期刊论文]-吉林大学学报(信息科学版) 2009(03) 9.Torricelli D;Conforto S;Schmid M A neural-based remote eye gaze tracker under natural head motion[外文期刊] 2008(01) 10.Cootes T F;Hill A;Taylor C J The use of active shape models for locating structures in medical images[外文期刊] 1994(06) 11.Lienhart R;Maydt J An extended set of Haar-like features for rapid object detection 2002 12.Friedman J;Hastie T;Tibshirani R Additive logistic regression.:a statistical view of boosting[外文期刊] 2000(02) 本文链接:http://d.wanfangdata.com.cn/Periodical_jsjfzsjytxxxb201108020.aspx
/
本文档为【多姿态眼球中的瞳孔定位算法】,请使用软件OFFICE或WPS软件打开。作品中的文字与图均可以修改和编辑, 图片更改请在作品中右键图片并更换,文字修改请直接点击文字进行修改,也可以新增和删除文档中的内容。
[版权声明] 本站所有资料为用户分享产生,若发现您的权利被侵害,请联系客服邮件isharekefu@iask.cn,我们尽快处理。 本作品所展示的图片、画像、字体、音乐的版权可能需版权方额外授权,请谨慎使用。 网站提供的党政主题相关内容(国旗、国徽、党徽..)目的在于配合国家政策宣传,仅限个人学习分享使用,禁止用于任何广告和商用目的。
热门搜索

历史搜索

    清空历史搜索