第23卷第8期 计算机辅助设计与图形学学报 V01.23No.8
2011年8月 JournalofComputer—AidedDesign8.ComputerGraphics Aug.201l
多姿态眼球中的瞳孔定位算法
王先梅,杨 萍,王志良
(北京科技大学计算机与通信工程学院电子信息系 北京 100083)
(plum—wang@tom.com)
摘要:针对当前基于普通光源的瞳孑L定位算法主要适用于眼睛开度较大、眼球较完整的问题,提出一种适用于多
姿态眼球的瞳孑L定位算法.该算法在采用Adaboost进行人脸检测后,利用多分辨率ASM技术进行面部关键点分析
并实现眼睛定位;在眼睛定位的基础上,利用滑动窗口技术遍历整个眼部图像,并根据眼睛的灰度分布特点采用2级
灰度信息分析的方法进行瞳孔定位.实验结果表明:在光线分布比较合理的情况下,采用文中算法不仅可以在眼睛
开度正常、瞳孔较完整的情况下进行瞳孔定位,肖瞳孑L位于眼睛边缘、眼睛开度较小等瞳子L不完整的情况下也具有
良好的定位效果.
关键词:多姿态眼球;瞳孑L定位;主动形状模型;灰度分布
中图法分类号:TP39l
PupilLocalizationforMulti—viewEyeballs
WangXianmei,YangPing,andWangZhiliang
(DepartmentofElectroniclnfimmationEngineering。SchoolofComputerandCommunicationEngineering,UniversityofScienceand
TechnologyBeijing,Beijing100083)
Abstract:Thispaperdescribesapupillocalizationapproachthatiscapableofprocessingmulti—view
eyeballundernaturallightenvironment.Intheproposedmethod,theAdaboostalgorithmisusedto
detecthumanfaceandthemulti—resolutionASMmethodisusedtolocatethefacialfeaturepoints.
Theneyeimagescanbeobtainedbyfoureye’Sfeaturepoints.Afterthelocationoftheeyes,asliding
windowtechniqueisemployedtoanalyzetheeyes’grayinformationdistribution.Thelocalarea
coveredbytheslidingwindowwithlowestgrayintensityisassumedtobethepupilcandidatearea.
Finally,asimilarlocalareaanalysistechniqueisdevelopedtoadjustthepositionofthepupilcandidate
area.Experimentsonmulti—vieweyeballsshowthattheproposedmethodcaneffectivelylocalizethe
pupilnomatterthepupiliscompleteorincomplete.
Keywords:multi—vieweyeball;pupillocalization;activeshapemodel;graydistribution
认知心理学的研究成果表明:眼睛是人类心理
活动的一个重要外在表现‘1|.因此眼睛状态分析是
心理学、情感计算、和谐人机交互等领域的重要研究
.眼睛状态分析主要包括眼睑运动分析与眼球
运动分析两部分。其中瞳孔定位算法是眼球运动分
析的重要内容,是眼球运动快慢和视线方向估计的
基础.
根据光源性质的不同,可以将当前的瞳孔定位
算法分为基于红外光源的定位算法陪钉与基于普通光
源的定位算法睁80两大类.红外瞳孔定位算法在检测
收稿日期:2010-10—26;修回日期:201卜05—13.基金项目:国家“八六i”高技术研究发展计划(2007AA012160).王先梅(1974一),女,博
士,副教授。主要研究方向为模式识别、人机交互;杨萍(1986~)。女.硕士研究生,主要研究方向为图像处理、人机交互;王志良(1956~).男。
博士,教授,博士生导师.主要研究方向为人工心理、人机交互、物联网技术.
万方数据
1428 计算机辅助设计与图形学学报 第23卷
效果、跟踪稳定性和运行时间方面都有良好的性能,
但系统复杂,造价昂贵.基于普通光源的瞳孑L定位算
法对硬件系统要求低,主要包括霍夫变换法[4]、变形
模板法‘争6|、边缘特征分析法‘川、对称变换法‘81,以及
这些方法的综合利用[9].霍夫变换法和对称变换法
的优点在于抗干扰能力强,具有很好的鲁棒性,但是
计算量大、运算速度慢、对存储空间需求大;变形模
板法具有运算速度快的优势,但是它用模板匹配图
像瞳孑L,由于不同图像眼睛大小不一,所以其准确度
存在一定差异;边缘特征分析法通过灰度投影曲线
确定瞳孔和眉毛区域,算法速度快,缺点是对图像要
求严格,当头部倾斜度过大等情况下适应性不强.现
有的瞳孔定位算法还有一个共同的缺点是:它们主
要适用于眼睛开度较大、眼球完整的情形,当眼球位
于眼睛的不同边缘或者眼睛开度较小(例如眯眼)时
眼球的结构已经不完整,常规定位方法的定位效果
不好,甚至失效.
针对常规的瞳孔定位算法不适用于多姿态眼球
的缺点,本文对多姿态眼球中的瞳孑L定位算法进行
了探索,提出一种利用主动形状模型(activeshape
models,ASM)算法与区域灰度信息进行瞳孔定位
的算法.首先利用Adaboost和多分辨率ASM实现
人脸检测和面部关键特征点定位,获取人的眼部图
像;然后基于眼部图像灰度分布的特点,利用多级灰
度信息对眼部图像进行分析并完成瞳孑L的定位.该
算法具有计算简单、快速、鲁棒性好、硬件系统要求
低的特点,不仅能较好地实现正常情况下的瞳孑L定
位,当瞳孔位于眼睛边缘(例如尽力向上、向左、向右
看)以及眯眼时也具有良好的定位效果.
1 系统原理
人眼的外观由巩膜、虹膜和瞳孔三部分构成,其
中虹膜与瞳孔组成了眼球.巩膜是眼球外围的白色
部分,约占总面积的30%;眼睛中心为瞳孑L部分,约
占5%;虹膜位于巩膜和瞳孔之间,包含了最丰富的
纹理信息,占据65%.在人眼图像中,瞳孔的灰度值
最小,巩膜的灰度值最大,虹膜的灰度值介于二者之
间.由于眼睛不同部分之间的灰度存在着较大差异,
因此可以利用灰度信息对眼部图像进行分析,并完
成瞳孑L的定位.
本文所采用的系统主要分为眼睛定位与瞳孑L定
位两大部分,其结构如图1所示.
Adaboost人脸检测 直方图均衡
+ ◆
1图片/视频流}叫ASM面部特征点定位——_I一 基于滑动窗口的灰度分析
● 士
眼睛图像的获取 基于相似灰度分布的瞳孔调整
眼睛定位 瞳孔定位
图1 瞳孔定位系统的结构
1)眼睛定位.眼睛定位的主要目标是从输入的
图像或视频流中检测出眼睛的位置,包括人脸检测、
面部特征点定位、人眼图像的获取三部分.其中人脸
检测采用Adaboost算法,面部特征点定位采用
ASM算法.由于ASM对初始位置的依赖性比较
高,因此将Adaboost人脸检测的结果作为ASM模
型定位的初始模型位置可以加快ASM算法收敛的
速度.
2)瞳孔定位.在眼睛定位的基础上,通过对眼
部图像的灰度分析完成瞳孔的精确定位,主要包括
基于直方图均衡的图像对比度增强、基于滑动窗口
进行灰度信息分析的瞳孑L粗定位以及利用相似灰度
分布的瞳孔位置调整三部分.
2眼睛定位
眼睛定位主要是通过ASM算法进行的.ASM
是由Cootes等[1们提出的,用于精确定位目标对象
和特征配准.ASM的应用主要分为2个阶段:训练
阶段统计模型的建立与搜索阶段的形状匹配.在训
练阶段,通过对训练集中的大量样本形状实例进行
统计,建立反映目标形状变化规律的形状统计模
型——点分布模型,同时利用标定点所在轮廓法线
方向上的灰度信息来建立反映灰度分布规律的局部
灰度模型.在搜索过程中,首先利用训练得到的局部
灰度模型进行搜索,之后利用形状模型来对搜索到
万方数据
第8期 王先梅。等:多姿态眼球中的瞳孔定位算法 1429
的形状进行近似表达,并对其合理性进行判断.通过
循环迭代。最终得到理想的匹配结果.ASM训练得
到的平均形状模型能很好地覆盖各种人脸几何外形
子空闻,具有较高的定位精度.但是AsM也有一些
需要改进的地方,如平均模型对初始化位置非常敏
感、匹配速度慢等.
为了克服AsM算法对初始搜索位置敏感的缺
点,本文采用Adaboost算法定位的人脸区域作为
AsM初始搜索区域,从而将AsM的初始搜索位置
固定在人脸检测的范围内.为了加快搜索速度,采用
多尺度框架进行最优形状匹配的搜索过程.
2.1基于Adabozat的人脸检舅
在人脸检测的训练过程中,采用Lienhart等“”
提出的14种Haar特征对人脸进行描述,利用
GentleAdaboost弱学习算法[1”从一个较大的特征
集中选择少量最优的关键特征,将其组合产生一个
不太高效的强分类器;再用级联方式将选出来的强
分类器合成一个更加复杂的瀑布型级联分类器,使
图像的背景区域快速淘汰,最终得到图片中人脸的
位置.
2.2基于多尺度搜索的ASM搜索原理
多尺度搜索的基本思想是:开始时在一个粗糙
的图像中搜索目标,当得到适当的结果后就以当前
结果作为下一尺度匹配过程的初值,继续在大尺度
上迭代匹配,直到收敛.由于在小尺度灰度模型的匹
配过程中。每个特征点的搜索范围相对大尺度情况
下要大得多,这样就可以有效提高匹配的速度no].
在构造形状子空间模型的过程中,人脸模型记
为M(s;口)[s]+sf,其中s表示基准形状,5表示缩
放因子,口表示旋转因子,S—Ixlf’Y,,,z“,强,⋯,
‰,Y。]7表示模型中心.假设ns为当前点两边所
取样本点的数目,N一为每层所允许的最大迭代次
数,L~为允许迭代的最大层数.s。表示每次迭代所
产生的形状,基于多分辨率框架的ASM搜索算法
过程步骤如下:
Stepl.设定层数变量r=L~.
Step2.当L≥0时t
Step2.1.在金子塔第L层图像中计算形状子空问模
型点的位置,用平均形状作为初始形状si.o;
Step2.2.对s.中的每个关键特征点搜索在其两边轮
廓法线上”。个像素点作为候选点,具有最小马氏距离的那
个候选点作为该关键点的新位置.从而得到g;
Step2.3.以s:为目标调整平移、旋转和伸缩等变换
参数以及形状参数(S,0,5.岛).获得当前形状S+-=M(5,
口)·[s]+墨。并使S+I与毹最佳匹配}
Step2.4.如果S和s件,之间差别足够zb(算法收敛。
占关键点总散P由.以上的关键点的搜索得到的量优点在离
当前点的-dZ个像素范圈内).或此层叠代次数已达到
N一.则该层算法收敛.执行下一步,否剜转Step2.2}
Step2.5.如果L>O剜L呻(L—1).
Step3.算法结束,第0层收敛得到结果便是最终的定位
结果.
经反复实验,本文所用的关键参数取值如下:
Lw,一4,n.=6,N一一10,Pdine一0.9.
图2所示为一个用68个点描述的ASM定位
效果图,每个眼睛用5个点表示,其中第5个点是眼
睛的中点.
落蔫巾?霹■
^ASM标定人脸储个点b肼医曩关曩目寻征赢j辱记
图2 ASM定位示意图及眼睛区域的关健点标记
2.3眼部图像的获取
假设每个特征点的坐标表示为[只.z~Py3,则
眼部图像E及其尺寸可以表示如下:
左\右眼宽度.Wd=IP29.z—Pmzl。W。一
l P32.z—P“.zl;
左\右眼高度.Hd=IP30.Y—PmYl,H。一
IP35.,一P33.,l#
左眼图像.n(z,y)一U{f(x’,Y’)},0≤z≤
Wd。O≤Y≤HtI,z’>P27.z&工7
P28.y&y’P34.工&oT’
P33.y&Y’计算公式为
ME=100X÷JJ—O."-础I'+—1c'.。-odt_.L/。。
智 Wt /’
其中C,o和cP分别表示采用式(2)(3)所计算出来
的第i张图片中的瞳孔位置,础和c等表示第i张
图片的真实瞳孔位置。n表示参与测试的图像个数.
从表1中可以看出。当滑动窗口的尺寸选为眼睛宽
度的1/5比较合适,此时的平均粗定位误差最小.因
此后续实验中均采用t£,=1/5.
’
囊1不同滑动膏口尺寸对t孔粗定位精度的影响
4.2相似区域参数的确定
表2所示为不同K值下瞳孔的定位精度.可以
看出,当K取5个像素值比较合适,此时的整体平
均定位误差最小.
裹2 K的取值对t孔定位误差的影响
4.3多姿态眼球的瞳孔定位分析
图5所示为不同姿态眼球的瞳孔定位效果.可
以看出,本文方法对瞳孔位于眼睛中问、偏左、偏右、
偏上甚至眯眼等都有较高的定位精度;但是当眼睛
向下看且眼皮遮盖虹膜较大时,其定位精度(尤其是
横坐标的定位精度)不高.
a眼球完整
b眼球向左看
c眼球向右看
d眼球向上看
e眼球向下看
f睬鼹
图5多姿态眼球中瞳孔定位效果
本文通过对那些定位精度较低的图像进行分析
发现,当眼睛开度较小时,浓密的睫毛、眼睑的覆盖
或者眼角光照不足等情况容易造成除瞳孔之外还有
其他低灰度区域的存在.如果这些区域的平均灰度
值小于瞳孔区域,那么在粗定位时该区域中心就被
定义为包含待校正的瞳孔中心.大量实验结果表明,
这些区域一般分布在眼睛边缘.因此可以先在ASM
眼睛图像定位的基础上沿着定位点向里缩进从而裁
减小部分眼睛边缘,这样在一定程度上既可以减少
搜索范围,又可以消除上述不良影响.
4.4系统定位速度分析
本文对一段分辨率为320×240、含353帧完整
面部图像的24位真彩视频进行了系统定位速度的
测试,最终得到的平均定位速率为14.42ms/帧,其
中眼睛定位部分的定位速率为12.90ms/帧。瞳孔部
分的平均定位速率为1.52ms/帧,可见系统的计算
量主要体现在眼睛定位部分.由于瞳孔定位是在眼
睛定位的基础上进行的,涉及的图像面积很小,且仅
用灰度信息进行分析,因此计算量很小.由于不同文
献所采用的硬件条件、软件环境各不相同,且本文的
目的在于对多姿态眼球中的瞳孔定位方法进行尝试
与探索,因此我们没有与其他系统的定位速度进行
对比.
本文的研究目的是对普通摄像头环境下的多姿
态研究定位方法进行探索,而目前的主流方法主要
是研究正常眼睛开度下的瞳孔定位或眼睛定位,因
此本文没有对不同算法的定位精度进行对比.
万方数据
1432 计算机辅助设计与图形学学报 第23卷
5 结 语
本文针对目前普通光线下的瞳孑L定位算法不适
用于多姿态眼球中瞳孑L精确定位的缺点,根据眼睛
的灰度分布特点,利用多分辨率ASM算法与眼睛
灰度信息对多姿态眼球中的瞳孔定位方法进行了尝
试与探索.实验结果表明了该方法的有效性.
我们在实验中发现了如下问题:1)若眼角周围
有黑痣且ASM定位精度不太高时,黑痣也可能成
为眼部图像的一部分,由于无反光,其灰度可能更
黑,因此也容易被误识别成瞳孔.2)眼睑阴影对定位
精度有一定影响.3)在眼睛往下看时,长而黑的睫毛
对瞳孔定位有较大影响.
在后续研究中,我们拟采用以下技术进行瞳孑L
定位精度的改进:加入边缘提取技术或者颜色信息
对粗定位的瞳孔进行验证;在进行瞳孑L粗定位的过
程中分析每个滑动窗口与周围一定范围内局部区域
的灰度关系,从而有效地排除眼睑阴影、黑痣等因素
的影响;在ASM定位的基础上,采用多边形描述方
式获取眼部图像.
本文算法适用于普通光线下与眼动分析相关的
瞳孔定位,根据瞳孔位置可以估计眼球的运动状态,
例如运动快慢、眼球滑动与注视、视线的方向与分
布,因此可以应用于人机交互、情感分析、心理学研
究等场合.
参考文献(References):
F1]Baron—CohenS.Howtobuildababythatcanreadminds:
cognitivemechanismsin mindreadingFJI. Current
PsychologyofCognition·1994,13(5):513—552
[2]VillanuevaA,CabezaR.Anovelgazeestimationsystemwith
onecalibrationpoint[J].IEEETransactionsonSystems,
Man,andCybernetics--PartB:Cybernetics,2008,38(4):
1123-1138
[33KoYJ,LeeEC,ParkKR.Arobustgazedetectionmethod
bycompensatingforfacialmovementsbasedoncorneal
specularitiesEJ].PatternRecognitionLetters,2008,29(10):
1474-1485
[4IBhatiaN。ChhabraM.ImprovedHoughtransformforfast
irisdetection[c]//Proceedingsofthe2ndInternational
ConferenceonSignalProcessingSystems.LosAlamitos:
1EEEComputerSocietyPress,2010:172—176
[53PerezCA,AravenaCM,VallejosJ l,eta1.Faceandiris
localizationusingtemplatesdesignedbyparticleswarm
optimization[J].PatternRecognitionLetters,2010,31(9):
857-868
[6]MoriyamaT,KanadeT,XiaoJing,eta1.Meticulously
detailedeyeregionmodelanditsapplicationtoanalysisof
facialimages[J].IEEETransactionsonPatternAnalysisand
MachineIntelligence,2006,28(5):738—752
[7]DuZhijun.WangYangsheng.Eyelocatingalgorithmfor
frontalviewfaceimage[J].JournalofComputer—Aided
Design&ComputerGraphics,2009,21(6):763—769(in
Chinese)
(杜志军,王阳生.正面人脸图像中眼睛的定位算法[刀.计算
机辅助设计与图形学学报,2009,21(6):763-769)
[83ZhangYongzhong。LiuFu,SunLingming,eta1.Pupil
preciselocalizationmethodbasedonsymmetrytransform[J].
JournalofJilinUniversity:InformationScienceEdition.
2009。27(3):268-272(inChinese)
(张勇忠,刘富,孙令明,等.基于对称变换的瞳孔定位方
法EJ].吉林大学学报:信息科学版,2009,27(3):268—272)
[9]TorricelliD,ConfortoS,SchmidM,eta1.Aneural—based
remoteeyegazetrackerundernaturalheadmotion[J].
ComputerMethodsandProgramsinBiomedicine,2008。92
(1):66-78
[103CootesTF,HillA,TaylorCJ,eta1.Theuseofactive
shapemodelsforlocatingstructuresinmedicalimages[J].
ImageandVisionComputing,1994,12(6):355-366
[11]LienhartR,MaydtJ.AnextendedsetofHaar—likefeatures
forrapidobjectdetection[C]//ProceedingsofIEEE
InternationalConferenceonImageProcessing.LosAlamitos:
IEEEComputerSocietyPress。2002:900-903
[12]FriedmanJ,HastieT,TibshiraniR.Additivelogistic
regression:astatisticalviewofboosting[J].TheAnnalsof
Statistics,2000。28(2):337-407
万方数据
多姿态眼球中的瞳孔定位算法
作者: 王先梅, 杨萍, 王志良, Wang Xianmei, Yang Ping, Wang Zhiliang
作者单位: 北京科技大学计算机与通信工程学院电子信息系 北京 100083
刊名: 计算机辅助设计与图形学学报
英文刊名: Journal of Computer-Aided Design & Computer Graphics
年,卷(期): 2011,23(8)
参考文献(12条)
1.Baron-Cohen S How to build a baby that can read minds:cognitive mechanisms in mind reading 1994(05)
2.Villanueva A;Cabeza R A novel gaze estimation system with one calibration point[外文期刊] 2008(04)
3.Ko Y J;Lee E C;Park K R A robust gaze detection method by compensating for facial movements based on corneal
specularities[外文期刊] 2008(10)
4.Bhatia N;Chhabra M Improved Hough transform for fast iris detection 2010
5.Perez C A;Aravena C M;Vallejos J I Face and iris localization using templates designed by particle swarm
optimization[外文期刊] 2010(09)
6.Moriyama T;Kanade T;Xiao Jing Meticulously detailed eye region model and its application to analysis of facial
images[外文期刊] 2006(05)
7.杜志军;王阳生 正面人脸图像中眼睛的定位算法[期刊论文]-计算机辅助设计与图形学学报 2009(06)
8.张勇忠;刘富;孙令明 基于对称变换的瞳孔定位方法[期刊论文]-吉林大学学报(信息科学版) 2009(03)
9.Torricelli D;Conforto S;Schmid M A neural-based remote eye gaze tracker under natural head motion[外文期刊]
2008(01)
10.Cootes T F;Hill A;Taylor C J The use of active shape models for locating structures in medical images[外文期刊]
1994(06)
11.Lienhart R;Maydt J An extended set of Haar-like features for rapid object detection 2002
12.Friedman J;Hastie T;Tibshirani R Additive logistic regression.:a statistical view of boosting[外文期刊] 2000(02)
本文链接:http://d.wanfangdata.com.cn/Periodical_jsjfzsjytxxxb201108020.aspx