一种新的基于瞳孔-角膜反射技术的视线追踪方法

书书书 第３３卷　第７期２０１０年７月 计　　算　　机　　学　　报ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ Ｖｏｌ．３３Ｎｏ．７Ｊｕｌｙ２０１０　 收稿日期：２００８１２１９；最终修改稿收到日期：２０１００１１２．本课得到国家“八六三”高技术研究发展项目基金（２００７ＡＡ０１Ｚ１６０）、国 家自然科学基金（６０７７５０４２）和中国教育部博士后基金（２００６０４００４００）资助．张　闯，男，１９８２年生，博士研究生，主要研究方向为图像处 理与、视线追踪、人工智能、模式识别等．Ｅｍａｉｌ：ｚｈａｎｇｃｈｕａｎｇｔｃ＠１６３．ｃｏｍ．迟健男（通信作者），男，１９６７年生，博士后，副教授，主要 研究方向为图像处理与分析、计算和视觉、嵌入式系统、智能控制技术、光学测试与计量等．Ｅｍａｉｌ：ｓｙ＿ｊｎｃｈｉ＠１２６．ｃｏｍ．张朝晖，男，１９６５ 年生，博士，教授，主要研究领域为图像处理与分析、信号处理、太赫兹波检测技术、嵌入式测量仪器．王志良，男，１９５６年生，博士，教授， 主要研究领域为人工心理、机器人、人脸识别、虚拟现实、数字人． 一种新的基于瞳孔角膜反射技术的视线追踪方法 张　闯１），２）　迟健男１），２）　张朝晖１），２）　王志良１），２） １）（北京科技大学信息工程学院　北京　１０００８３） ２）（北京科技大学钢铁流程先进控制教育部重点实验室　北京　１０００８３） 摘　要　针对现有单相机单光源视线追踪系统存在的几个问题：精度不高、头动受限以及标定复杂，提出了一种新 的基于瞳孔角膜反射（ＰＣＣＲ）技术的视线追踪方法．通过提出的瞳孔边缘滤波算法（ＲＤＰＥＦ）和三通道伪彩色图 （ＴＣＰＣＭ）解决了近红外条件下瞳孔定位误差较大、瞳孔跟踪鲁棒性较差的问题，进而提高了视线特征提取的精 度．通过提出的头部位置补偿方法以及个体差异转化模型，使二维映射模型允许使用者头部运动并且只需要单点 标定．该方法提高了单相机视线追踪的精度和应用范围，为面向人机交互的视线追踪系统提供了有效的低成本解 决． 关键词　视线追踪；瞳孔定位；瞳孔跟踪；视线估计；瞳孔角膜反射（ＰＣＣＲ）技术 中图法分类号ＴＰ３９１　　　犇犗犐号：１０．３７２４／ＳＰ．Ｊ．１０１６．２０１０．０１２７２ 犃犖狅狏犲犾犈狔犲犌犪狕犲犜狉犪犮犽犻狀犵犜犲犮犺狀犻狇狌犲犅犪狊犲犱狅狀犘狌狆犻犾犆犲狀狋犲狉犆狅狉狀犲犪 犚犲犳犾犲犮狋犻狅狀犜犲犮犺狀犻狇狌犲 ＺＨＡＮＧＣｈｕａｎｇ１），２）　ＣＨＩＪｉａｎＮａｎ１），２）　ＺＨＡＮＧＺｈａｏＨｕｉ１），２）　ＷＡＮＧＺｈｉＬｉａｎｇ１），２） １）（犛犮犺狅狅犾狅犳犐狀犳狅狉犿犪狋犻狅狀犈狀犵犻狀犲犲狉犻狀犵，犝狀犻狏犲狉狊犻狋狔狅犳犛犮犻犲狀犮犲犪狀犱犜犲犮犺狀狅犾狅犵狔犅犲犻犼犻狀犵，犅犲犻犼犻狀犵　１０００８３） ２）（犓犲狔犔犪犫狅狉犪狋狅狉狔犳狅狉犃犱狏犪狀犮犲犱犆狅狀狋狉狅犾狅犳犐狉狅狀犪狀犱犛狋犲犲犾犘狉狅犮犲狊狊（犕犻狀犻狊狋狉狔狅犳犈犱狌犮犪狋犻狅狀）， 犝狀犻狏犲狉狊犻狋狔狅犳犛犮犻犲狀犮犲犪狀犱犜犲犮犺狀狅犾狅犵狔犅犲犻犼犻狀犵，犅犲犻犼犻狀犵　１０００８３） 犃犫狊狋狉犪犮狋　Ｆｏｒｓｅｖｅｒａｌｃｏｍｍｏｎｄｒａｗｂａｃｋｓｏｆｅｘｉｓｔｉｎｇｇａｚｅｔｒａｃｋｉｎｇｓｙｓｔｅｍｓｕｓｉｎｇｓｉｎｇｌｅｃａｍｅｒａ ａｎｄｓｉｎｇｌｅｌｉｇｈｔｓｏｕｒｃｅ：Ｌｏｗａｃｃｕｒａｃｙ，ｒｅｓｔｒｉｃｔｅｄｈｅａｄｍｏｖｅｍｅｎｔａｎｄｔｅｄｉｏｕｓｃａｌｉｂｒａｔｉｏｎ，ｔｈｉｓｐａ ｐｅｒｐｒｅｓｅｎｔｓａｎｏｖｅｌｇａｚｅｔｒａｃｋｉｎｇｍｅｔｈｏｄｂａｓｅｄｏｎｐｕｐｉｌｃｅｎｔｅｒｃｏｒｎｅａｒｅｆｌｅｃｔｉｏｎ（ＰＣＣＲ）ｔｅｃｈ ｎｉｑｕｅ．Ｐｕｐｉｌｌｏｃａｔｉｏｎｆｏｒｇａｚｅｔｒａｃｋｉｎｇｈａｓｂｅｅｎｗｅｌｌｉｎｖｅｓｔｉｇａｔｅｄａｎｄａｌｌｍｅｔｈｏｄｓｗｏｒｋｅｄｏｎｎｅａｒ ｉｎｆｒａｒｅｄｉｍａｇｅｓ．Ｔｈｉｓｍａｋｅｓｔｈｅｅｙｅｄｅｔａｉｌｓｓｍａｌｌａｎｄａｃｃｕｒａｃｙｉｓａｆｆｅｃｔｅｄ．Ｔｈｉｓｐａｐｅｒａｄｄｒｅｓｓｅｓ ｔｈｅｓｅｐｒｏｂｌｅｍｓｂｙｐｒｏｐｏｓｅｄｒａｄｉａｌｄｉｓｔａｎｃｅｐｕｐｉｌｅｄｇｅｆｉｌｔｅｒａｌｇｏｒｉｔｈｍ（ＲＤＰＥＦ）ａｎｄｔｒｉｐｌｅｃｈａｎ ｎｅｌｐｓｅｕｄｏｃｏｌｏｒｍａｐ（ＴＣＰＣＭ）．Ｏｕｒｐｕｐｉｌｔｒａｃｋｅｒｉｍｐｒｏｖｅｓｔｈｅａｃｃｕｒａｃｙｏｆｇａｚｅｆｅａｔｕｒｅｅｘｔｒａｃ ｔｉｏｎ．Ｔｈｅ２Ｄｍａｐｐｉｎｇｂａｓｅｄｇａｚｅｅｓｔｉｍａｔｉｏｎｍｅｔｈｏｄｓｈａｖｅｔｗｏｃｏｍｍｏｎｄｒａｗｂａｃｋｓ．Ｔｈｉｓｐａｐｅｒ ａｄｄｒｅｓｓｅｓｔｈｅｓｅｐｒｏｂｌｅｍｓｂｙｐｒｏｐｏｓｅｄｈｅａｄｐｏｓｉｔｉｏｎｃｏｍｐｅｎｓａｔｉｏｎｍｅｔｈｏｄａｎｄｉｎｄｉｖｉｄｕａｌｄｉｆｆｅｒ ｅｎｃｅｔｒａｎｓｆｏｒｍａｔｉｏｎｍｏｄｅｌ．Ｔｈｅａｄｖａｎｔａｇｅｏｆｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｂａｓｅｄｏｎ２Ｄｍａｐｐｉｎｇｂａｓｅｄ ｇａｚｅｅｓｔｉｍａｔｉｏｎｉｓｔｈａｔｉｔｃａｎｅｓｔｉｍａｔｅｔｈｅｇａｚｅｏｆｕｓｅｒａｃｃｕｒａｔｅｌｙｕｎｄｅｒｎａｔｕｒａｌｈｅａｄｍｏｖｅｍｅｎｔ． Ｆｕｒｔｈｅｒｍｏｒｅ，ｉｔｍｉｎｉｍｉｚｅｓｔｈｅｃａｌｉｂｒａｔｉｏｎｐｒｏｃｅｄｕｒｅｔｏｏｎｌｙｏｎｅｃａｌｉｂｒａｔｉｏｎｐｏｉｎｔｆｏｒａｎｅｗｉｎｄｉ ｖｉｄｕａｌ．Ｔｈｅｐｒｏｐｏｓｅｄｍｅｔｈｏｄｓｗｉｌｌｉｍｐｒｏｖｅｔｈｅａｃｃｕｒａｃｙａｎｄｕｓａｂｉｌｉｔｙｏｆｔｈｅｇａｚｅｔｒａｃｋｉｎｇｕｓｉｎｇ ｓｉｎｇｌｅｃａｍｅｒａａｎｄｓｉｎｇｌｅｌｉｇｈｔｓｏｕｒｃｅ，ａｎｄｐｒｏｖｉｄｅｓａｎｅｆｆｅｃｔｉｖｅｌｏｗｃｏｓｔｇａｚｅｔｒａｃｋｉｎｇｆｏｒｈｕｍａｎ ｃｏｍｐｕｔｅｒｉｎｔｅｒａｃｔｉｏｎ． 犓犲狔狑狅狉犱狊　ｇａｚｅｔｒａｃｋｉｎｇ；ｐｕｐｉｌｌｏｃａｔｉｏｎ；ｐｕｐｉｌｔｒａｃｋｉｎｇ；ｇａｚｅｅｓｔｉｍａｔｉｏｎ；ｐｕｐｉｌｃｅｎｔｅｒｃｏｒｎｅａｒｅ ｆｌｅｃｔｉｏｎ（ＰＣＣＲ）ｔｅｃｈｎｉｑｕｅ １　引　言 视线是眼睛注视的方向．它代表一个人关注的 焦点．近几十年，视线追踪一直都是比较活跃的研究 课题．视线追踪在交互和诊断［１］两个领域都存在着 很大的应用潜力，如人机交互界面（ＨＣＩ）、虚拟现 实、眼部疾病诊断、人类行为研究等．例如，当使用者 注视显示器屏幕，可以通过视线追踪系统估计出使 用者在屏幕上的注视点．因此，视线可以作为先进的 计算机输入手段［２］，其已经被证明比传统输入设备 （比如鼠标指针）更有效率［３］，而且身体残障的人士 也可以使用系统．此外，基于视线追踪技术的互动显 示器也可以实现［４］，该显示器的显示画面可随视线 的变化而变化．视线追踪也被认知科学家广泛地应 用于人类的认知［５］和记忆［６］研究． 高精度和高鲁棒性的视线追踪系统是研究视线 追踪技术的最终目标．用于诊断的视线追踪系统对 精度要求较高，往往可以采用接触式的视线追踪系 统以达到更高的精度［１］．用于交互的视线追踪系统 除了对精度、鲁棒性、实时性的要求以外，需要最大 程度地减少或消除对使用者的干扰．随着数字摄像 机和微型计算机两项技术的迅速发展，基于数字视 频分析（ＶｉｄｅｏＯｃｕｌｏｇｒａｐｈｉｃ，ＶＯＧ）的视线追踪技 术成为非接触式视线追踪热点研究方向．因为不要 求与使用者有任何形式的接触，使用者的视线完全 通过处理眼睛图像的方法而得到，对于使用者来说 是舒适的，没有干扰的． 基于ＶＯＧ的视线追踪系统随着硬件的不同和 提取图像特征的不同而产生很多变化．视线（Ｌｉｎｅ ＯｆＳｉｇｈｔ／ＰｏｉｎｔＯｆＲｅｇａｒｄ，ＬＯＳ／ＰＯＲ）是通过计算 眼部图像的特征而进行估计的，例如计算瞳孔中心 与角膜反射的向量（ＰＣＣＲ）［７８］、角膜反射阵列 （ＣｒｏｓｓＲａｔｉｏｓＭｅｔｈｏｄ）［９］或者虹膜的椭圆（“Ｏｎｅ Ｃｉｒｃｌｅ”Ａｌｇｏｒｉｔｈｍ）［１０１１］． 视线追踪系统有些是基于单相机和单红外光 源［１２］．有些系统则加入第２个光源［１３］或更多，目的 是为了创造出特殊的角膜反射模式［１４］以增加跟踪 的鲁棒性和准确性．Ｔｏｍｏｎｏ［１５］使用的系统由３个 相机和两个不同极性的偏振光源构成．由可控制的 偏振光所产生的图像，通过滤光片，被相机捕获，从 而减少了该系统对外部光线变化的敏感性．Ｙｏｏ和 Ｃｈｕｎｇ［１６］使用５个红外光源和两个相机，通过角膜 反射与瞳孔中心的位置特征和屏幕的实际大小来估 计注视点，方法是使用投影平面不变的交比（Ｃｒｏｓｓ Ｒａｔｉｏｓ）值．Ｂｅｙｍｅｒ和Ｆｌｉｃｋｎｅｒ［１７］采用４个相机和 两个光源，以区分头部检测和视线估计．其系统采用 广角立体相机来检测人脸的位置，然后控制活动的 窄视野立体相机来追踪高分辨率的眼睛图像．其后， Ｂｒｏｌｌｙ和Ｍｕｌｌｉｇａｎ［１８］减少系统配置，使用３个相 机，删除其中一个窄视野相机．Ｏｈｎｏ和Ｍｕｋａｗａ［１９］ 提出一个与Ｂｅｙｍｅｒ和Ｆｌｉｃｋｎｅｒ类似的解决方案， 在眼睛模型上有所不同．Ｈａｎｓｅｎ和Ｐｅｃｅ［２０］和 Ｗａｎｇ等［２１］对降低系统硬件配置进行了尝试，使用 单相机无红外光源进行视线估计，方法是基于虹膜 检测．Ｈａｎｓｅｎ和Ｐｅｃｅ［２０］研究了头部姿态不变情况 的视线估计的基本特性，其方法不需要预先知道相 机、屏幕和使用者眼球的空间位置．Ｗａｎｇ等［２１］使用 一个头部模型，并通过基本的投影几何关系计算椭 圆虹膜圈的法线方向，作为视线方向． 本文提出一种包括瞳孔定位跟踪和视线估计的 实时视线追踪方法．下面将详细介绍该方法的整个 流程． ２　基于瞳孔角膜反射技术的视线追踪方法 理想的视线追踪系统需要满足以下几点要求： （１）准确的．例如，精确到分；（２）可靠的．结果可重 复；（３）鲁棒的．可以在各种条件下正常工作，例如 室内／室外，带眼镜，带隐形眼镜；（４）非接触式的． 对用户无害，舒适的；（５）允许自由的头部运动； （６）不需要初始校准；（７）实时的． 瞳孔角膜反射技术是基于ＶＯＧ的视线追踪 系统最普遍使用的方法．视线方向（或显示器表面的 注视点）的估计方法是追踪瞳孔中心和角膜反射的 ３７２１７期 张　闯等：一种新的基于瞳孔角膜反射技术的视线追踪方法 user 矩形 相对位置．角膜反射是光源（一般是近红外光源）在 角膜表面反射形成的虚像．相机获取到的眼睛图像 中的瞳孔是真实瞳孔经过角膜折射后形成的虚像． 系统的精确性可以通过设置与相机镜头同轴的 近红外（ＩＲ）发光二极管进一步提高，其产生的“亮 瞳”现象（如图１所示）会使视频图像更容易处理．本 文采用的近红外（ＩＲ）发光二极管的功率在安全阈 值以下，对人体无害，而且对于使用者是不可见的． 亮瞳和暗瞳的产生原理见图１． 图１　亮瞳和暗瞳 基于瞳孔角膜反射技术的视线追踪大致可分 为两类：基于二维映射模型的视线估计方法［４，２２］和 直接的三维视线估计方法［１７，２３２４］． 三维视线估计方法有以下几个优点：（１）因为 采用立体视觉，可以检测使用者头部的空间位置，所 以允许使用者头部自然运动．（２）因为采用几何模 型进行视线估计，映射函数不依赖于标定位置，所以 视线估计的精度不会随着头部远离标定位置而下 降．（３）因为只要标定视线与眼球光轴的夹角，不需 要依靠标定确定眼睛特征参数与视线的映射函数， 所以标定点数较少，在双相机双光源的条件下可以 做到单点标定．（４）三维视线估计方法估计的是空 间视线方向，而不是屏幕视线落点，所以视线估计不 依赖于屏幕位置、大小、形状，可以计算视线在任何 物体上的注视点，并且不需要重新标定视线估计 函数． 同时，三维视线估计方法有以下几个缺点：（１）因 为三维视线估计需要使用立体眼睛特征参数，增加 了眼睛特征检测和参数提取的复杂性．（２）因为需 要采用立体视觉，所以至少需要两个相机．（３）因为 需要估计角膜球面中心的空间位置，而角膜球面中 心不可见，需要至少两个光源的像去估计角膜球面 中心的空间位置，所以至少需要两个光源．（４）三维 视线估计的精度依赖于立体视觉的精度，对硬件配 置要求较高．（５）需要进行相机标定，光源位置标定 和屏幕位置标定，并且三维视线估计对以上位置非 常敏感，相机发生变化不仅要对自身重新进行标定， 而且要对光源和屏幕重新进行标定，光源和屏幕发 生变化要对自身重新进行标定． 二维视线估计方法有以下几个优点：（１）因为 二维视线估计仅需要使用平面眼睛特征参数，眼睛 特征识别和参数提取简单快速．（２）因为不需要采 用立体视觉，所以可以使用单相机．（３）不需要估计 角膜球面中心的空间位置，仅需要知道平面图像上 的一个角膜反射与瞳孔中心的相对位置就可以进行 二维视线估计，所以可以采用单光源．（４）二维视线 估计的精度依赖于用户标定算法而不依赖于立体视 觉，不需要进行三维重建，对硬件配置要求较低． （５）不需要进行相机标定、光源位置标定和屏幕位 置标定，仅需进行用户标定． 同时，二维视线估计方法有以下几个缺点：（１）二 维视线估计依赖于标定位置，视线估计的精度随着 使用者头部远离标定位置而迅速下降，所以使用者 需要保持头部静止．（２）需要依靠标定确定眼睛特 征参数与视线的映射函数，所以标定点数较多． 为了解决以上问题，提出一种新的基于瞳孔角 膜反射技术的视线追踪方法，包括特征参数提取、视 线映射函数和头部位置及个体差异补偿算法，如 图２所示． 图２　本文基于瞳孔角膜反射技术的视线追踪方法 本文创新工作主要体现在以下几个方面：（１）利 用亮瞳现象提出一种新的基于多通道图像的亚像素 瞳孔定位算法．（２）针对角膜反射对瞳孔边缘的影 响，提出一种基于径向距离的瞳孔边缘专用滤波算 法（ＲＤＰＥＦ算法）．（３）针对亮瞳现象提出用于瞳孔 跟踪的三通道伪彩色图（ＴＣＰＣＭ）的概念．（４）结合 改进的粒子滤波算法，提出一种针对实时视线追踪 的伪彩色瞳孔跟踪算法．（５）提出一种单相机单光 源条件下的视线估计方法，在保证回归和泛化能力 的前提下，减少标定点数到一点．（６）提出了一种单 相机单光源条件下头部位置的补偿算法．（７）提出 了一种单相机单光源条件下使用者个体差异的转化 模型． 本文硬件系统由光源、滤光片、镜头、采集卡、 ＣＣＤ、ＧＰＩＯ卡、单片机、主机和屏幕组成． 使用者注视屏幕，由ＣＣＤ摄像机获取人脸图 像，通过图像采集卡传送到主机，主机通过特征参数 提取和视线映射函数来得到视线落点，显示在屏 ４７２１ 计　　算　　机　　学　　报 ２０１０年 user 矩形 幕上． 另一方面，为了得到方便处理的人脸图像，采用 ＧＰＩＯ卡（ＧｅｎｅｒａｌＰｕｒｐｏｓｅＩｎｐｕｔ／Ｏｕｔｐｕｔ）获取ＣＤＤ 视频图像的帧同步信号，再通过单片机控制光源的 开关．通过内外环光源的交替亮灭产生交替的亮瞳 和暗瞳图像． 本文硬件系统结构见图３．红外光源配置见图４． 图３　本文硬件系统结构 图４　红外光源配置 ３　基于眼睛检测和跟踪的特征参数提取 ３．１　基于主动红外光源的眼睛检测和跟踪 传统的眼睛检测和跟踪方法主要利用眼睛在外 观和形状上与人脸其它部分的差别．眼睛的特点，如 黑色的瞳孔、白色的巩膜、圆形的虹膜、眼角、眼睛的 形状等，可以用来区分人眼与其他对象．但由于闭 眼、眨眼、眼睛大小和位置的可变性、不同的照明条 件、人脸的方向等原因，这些眼睛的特点将减小甚至 消失． 基于主动红外光源的眼睛检测和跟踪是一种简 单有效的方法．其利用瞳孔对近红外光的反射现象 定位瞳孔．有很多基于此原理的眼睛追踪系统［２５３１］， 包括一些商业产品［１２１４，２５］．其依靠主动红外光源产 生的亮瞳和暗瞳效果．Ｅｂｉｓａｗａ等［２６］利用两个红外 光源（近轴光源和远轴光源）产生亮瞳和暗瞳图像． 通过跟踪差分图像中的亮瞳孔，可以有效地跟踪眼 睛．Ｅｂｉｓａｗａ在文献［２７］中进一步改善其方法，利用 瞳孔亮度的稳定性，来消除眼镜反光的影响． Ｍｏｒｉｍｏｔｏ［２８］利用两个红外光源产生亮瞳和暗瞳图 像，在阈值化后的差分图像中检测瞳孔．Ｍｏｒｉｍｏｔｏ［２９］ 针对不同光照条件下的眼睛检测和跟踪做了一些工 作，通过动态的设置差分图像的阈值来消除背景的 影响．Ｈａｒｏ［３０］在亮瞳和暗瞳的基础上，结合眼睛的 外观，进行眼睛检测和跟踪．Ｊｉ等［３１］对差分图像进 行滤波，以消除外部光线干扰． ３．２　特征参数提取框架 特征参数提取是视线估计的前提，本文提取瞳 孔中心到角膜反射的向量作为视线估计的依据．特 征参数提取需要满足以下几点要求：（１）眼睛检测 与跟踪的特征参数提取过程是自动的，不需要使用 者干预．（２）整个特征参数提取过程快速准确，满足 视线估计对参数的精度和实时性要求．（３）能够提 取用于视线估计的所有特征参数，包括估计头部位 置所需要的参数．（４）特征参数提取过程能适应个 体差异，不因为眼睛大小、形态个体差异而影响算法 性能． 特征提取方面影响最终视线估计精度的原因主 要有以下几点：（１）角膜反射造成瞳孔轮廓改变，造 成瞳孔定位误差．（２）瞳孔运动造成差分图像瞳孔 区域不全，造成运动瞳孔定位误差．（３）角膜反射形 状的不规则和边界的不确定性造成角膜反射中心定 位误差．（４）作为头动补偿的其它特征参数产生的 误差． 瞳孔及角膜反射中心定位是本文视线追踪系统 实现的必要步骤，为满足上述要求，并针对影响特 征提取精度的主要原因，本文提出一种基于多通道 图像的特征参数提取方法．在追求高精度亚像素特 ５７２１７期 张　闯等：一种新的基于瞳孔角膜反射技术的视线追踪方法 征参数提取及鲁棒性方面做了如下研究：（１）角膜 反射是造成瞳孔轮廓改变的主要因素，是影响瞳孔 中心定位精度的主要因素之一．针对角膜反射对瞳 孔边缘的影响，提出一种基于径向距离的瞳孔边缘 专用滤波算法（ＲＤＰＥＦ算法），提高了瞳孔定位的 精度．（２）瞳孔运动造成差分图像瞳孔区域不全是 造成运动瞳孔定位误差的主要因素，通过迭代扩展 的方式还原运动瞳孔区域，提高了运动瞳孔定位的 精度．（３）角膜反射区域形状的不规则和边界的不 确定性是造成角膜反射区域定位误差的主要因素， 通过多阈值分割角膜反射的模糊区域，减小了模糊 的边界区域对质心结果的影响．（４）建立了一个多 特征参数提取的流程，提取人眼特征的多个参数，为 下一步的视线估计提供了参数依据．本文提出的检 测方法优于通常采用的阈值分割方法，实验结果及 系统实际应用证明了本文方法的有效性．下面介绍 该方法的整个流程和关键步骤． 图５　特征参数提取框架 本文方法整个流程如图５所示．首先，亮瞳（图６ （ａ））与暗瞳图像（图６（ｂ））相减得到差分图像（图６ （ｃ）），对差分图像做滤波，得到瞳孔区域．检测瞳孔 区域的边缘（图７（ａ））并在眼睛区域附近基于灰度 搜索角膜反射（图７（ｂ））．求质心定位角膜反射中心 （图７（ｅ）），并对瞳孔边缘做滤波消除角膜反射对瞳 孔边缘轮廓的影响（图７（ｃ）），椭圆拟合定位瞳孔中 心，得到亚像素的中心坐标（图７（ｅ））．最后提取的 视线特征向量犔狋（图７（ｆ））如下： 犔狋＝Δ狓，Δ狔，犪ｍａｊｏｒ犪ｍｉｎｏｒ，θ，犻犮，犼（ ）犮， 其中（Δ狓，Δ狔）＝狆犻狆犼狆－狆犻犮犼犮为瞳孔中心到角膜反射 的向量，犪ｍａｊｏｒ犪ｍｉｎｏｒ为瞳孔椭圆长短轴的比，θ为瞳孔椭 圆长轴与垂直方向的角度，（犻狆，犼狆）为瞳孔中心在图像中的位置，（犻犮，犼犮）为角膜反射在图像中的位置． 使用者１的部分数据见表１． 图６　亮瞳、暗瞳和差分图像 图７　人眼特征提取过程 表１　使用者１的部分数据 犔狋 （犌狓，犌狔） （４．８７０，１１．２０７，１．２１３，１１７．５５２，２８７．６３７，４３７．９３２）（８８，８６） （－０．８８０，１１．３５７，１．０５８，６５．２５６，２３１．９１，４４３．７７０）（７２６，３４） （－６．２６９，１０．８６６，１．１３９，５４．７５５，１８５．９６６，４５３．１３６）（１２１６，７５） （５．１５９，７．８２４，１．０５７，１４７．１０６，２１３．８１９，４５９．７１２） （４２，４６９） （－０．９０１，７．７１８，１．０６６，１２．６１８，１９９．００４，４６７．３０４）（７０７，３８７） （－７．２３１，７．７１０，１．１４２，４２．５２９，１７７．４０４，４７１．３７９）（１２０５，３８４） （５．０６３，３．７８３，１．１８２，２５６．７０５，２０８．６２８，４７５．３６５） （２６，８６０） （－０．９７９，３．２８７，１．１４０，３．６３５，１９６．６３３，４７７．３６５） （５８１，８００） （－６．９２２，３．６１７，１．１０４，１３．３７３，１７３．４８５，４８５．３５１）（１２０１，８７４） ３．２．１　瞳孔运动补偿 提取差分图像眼睛区域的边缘之前，要消除瞳 孔运动对差分图像瞳孔区域的影响．瞳孔运动造成 亮暗瞳图像瞳孔区域不完全重合，以至差分图像瞳 孔区域不完全是造成运动瞳孔定位误差的主要因 素，本步骤通过迭代扩展的方式还原运动瞳孔区域， 规则如下： ６７２１ 计　　算　　机　　学　　报 ２０１０年 犿犪狆犌＝犅犔犗犅 ｄｏ 犿犪狆犌＝犿犪狆犌∪｛狆犱犻犼｜（犘狆狇）（犘狆狇∈犿犪狆犌∧狆犱犻犼 狋犺狉犲狊１∧狆犻犼－狆狆狇＝１）｝． ｕｎｔｉｌ犿犪狆犌ｃｏｎｖｅｒｇｅｎｃｅ． 对滤波后的瞳孔区域犅犔犗犅进行扩展，在与 犅犔犗犅边界相邻的像素中，迭代搜索暗瞳像素灰度 狆犱犻犼小于暗瞳灰度阈值狋犺狉犲狊１的像素并将其加入扩展后的瞳孔区域犿犪狆犌，直至犿犪狆犌收敛． ３．２．２　质心定位角膜反射中心求解 求角膜反射中心的方法一般有两种：一种是先 求角膜反射的轮廓，然后对角膜反射边缘进行椭圆 拟合，通过拟合椭圆的中心估计角膜反射中心［１７］； 另一种是通过质心来估计角膜反射中心．文献［８］在 差分阈值化后的二值图像中求角膜反射区域的质 心，并且通过５００个样本比较了两种方法的效果，结 果是两种方法精度相当．由于角膜反射区域边界的 不确定性，图像二值化时采用的阈值对最后的角膜 反射中心估计结果有较大影响．本文通过以下两种 方法来减小角膜反射中心的估计误差：（１）采用多 个阈值分别分割出多个角膜反射区域，对各个区域 分别求质心后的平均结果作为角膜反射中心． （２）分割出多个角膜反射区域后，不在二值图像中 而在暗瞳图像中求质心，因为角膜反射中心是角膜 反射区域中最亮的部分，越往边界亮度越低，这样可 以减小模糊的边界区域对质心结果的影响．具体方 法如下： 首先，采用多个阈值分别分割出多个角膜反射 区域： 犫犾狅犫狆狌狉１犫犾狅犫狆狌狉２…犫犾狅犫狆狌狉犓．然后，对各个区域分别求质心，将各个区域质心 的平均值作为角膜反射中心： 犻犮＝∑犓犽＝１犻犮犽犓＝∑ 犓 犽＝１ ∑狆犻犼∈犫犾狅犫狆狌狉犽狆犻犼·（ 犻∑狆犻犼∈犫犾狅犫狆狌狉犽狆犻）犼 犓， 犼犮＝∑犓犽＝１犼犮犽犓＝∑ 犓 犽＝１ ∑狆犻犼∈犫犾狅犫狆狌狉犽狆犻犼·（ 犼∑狆犻犼∈犫犾狅犫狆狌狉犽狆犻）犼 犓，式中，（犻犮犽，犼犮犽）分别为区域犫犾狅犫狆狌狉犽的质心，（犻犮，犼犮）为最后估计的角膜反射质心，如图７（ｅ）所示． ３．２．３　边缘滤波 角膜反射是造成瞳孔轮廓改变的主要因素，是 影响瞳孔中心定位精度的主要因素之一．文献［３２］ 通过迭代逼近的方法定位瞳孔中心，可以在部分情 况下减小角膜反射对瞳孔椭圆拟合的影响，但是该 方法存在以下几点问题：（１）当角膜反射在瞳孔内 部而不与瞳孔轮廓相交的情况下会造成错误滤波， 造成瞳孔中心定位错误．（２）有些使用者的角膜反 射较大，而瞳孔较小，这种情况下该滤波算法不能有 效地消除角膜反射产生的边缘．（３）迭代方法效率 较低，增加处理时间． 为了有效消除角膜反射对瞳孔椭圆拟合的影 响，首先判断角膜反射与瞳孔椭圆的相对位置，当角 膜反射与瞳孔椭圆相离时，角膜反射对瞳孔轮廓无 影响，不需要进行滤波，当角膜反射与瞳孔椭圆相交 或包含时，角膜反射改变瞳孔轮廓，需要进行滤波． 理想的实心椭圆区域是一个有界严凸集，其边界是 一个具有严格凸性的全局闭凸曲线，即使由于采样 误差和离散误差，图像中瞳孔的边界也应该是一个 全局闭凸曲线，正是由于角膜反射的存在，对瞳孔边 界产生了较大的影响．本文通过对瞳孔边界求凸壳 来还原瞳孔区域，用还原后的瞳孔区域去判断与角 膜反射的位置关系．本文采用一种简单快速的凸壳 检测算法，其时间复杂度为１ｌｏｇ犖［３３］．在此基础上， 本文提出一种基于径向距离的瞳孔边缘专用滤波算 法（ＲＤＰＥＦ算法）．规则如下： ｉｆｃｏｎｖｅｘｈｕｌｌ（犿犪狆犎）∩犫犾狅犫狆狌狉犓≠ 犿犪狆犓｛＝狆犻犼｜狆犻犼∈犿犪狆犎∧（狆狆狇） 犼－犼犮犻－犻犮＝狇－犼犮狆－犻犮→狆犻犼－狆犻犮犼犮狆狆狇－狆犻犮犼（ ）｝犮 ｅｌｓｅ 犿犪狆犓＝犿犪狆犎． 首先，判断通过凸壳算法还原后的瞳孔区域 ｃｏｎｖｅｘｈｕｌｌ（犿犪狆犎）与角膜反射区域犫犾狅犫狆狌狉犓的位置关系，当角膜反射与瞳孔椭圆相离时不进行滤波， 当角膜反射与瞳孔椭圆相交或包含时进行滤波． 在瞳孔边缘犿犪狆犎中，以角膜反射中心狆犻犮犼犮为圆心，在每一个半径方向上，如果存在两点狆犻犼和 狆狆狇，狆犻犼到角膜反射中心狆犻犮犼犮的直线的斜率犼－犼犮犻－犻犮与 狆狆狇到角膜反射中心狆犻犮犼犮的直线的斜率狇－犼犮狆－犻犮相同， 即狆犻犼和狆狆狇在同一半径方向上，远端边缘点为瞳孔形成的边缘，近端边缘点为角膜反射形成的边缘，过 滤掉角膜反射形成的边缘后的眼睛区域边缘如图７ （ｃ）所示．ＲＤＰＥＦ算法示意图如图８所示． ３．３　眼睛跟踪 以上的参数提取过程在相邻两帧中完成，可以 在接下来的视频序列中重复进行以上参数提取过 程，得到实时的视线参数．但是这样做有下面两点问 ７７２１７期 张　闯等：一种新的基于瞳孔角膜反射技术的视线追踪方法 图８　ＲＤＰＥＦ算法示意图 题：（１）每次在整幅图像中搜索瞳孔，效率低，时间 长，影响系统的实时性．（２）由于没有使用瞳孔的历 史信息，使瞳孔定位的鲁棒性差，对外部光照、眼睛 角度、眨眼等情况的适应性差，不能满足系统的鲁棒 性要求．所以在初始帧中对瞳孔进行定位以后，需要 在接下来的视频序列中对瞳孔进行跟踪． Ｅｂｉｓａｗａ和Ｓａｔｏｈ［２６］利用亮暗瞳现象跟踪瞳 孔，其后，卡尔曼滤波［３１］、均值漂移［３４］、组合卡尔曼 滤波与均值漂移［３５］，相继被用于瞳孔跟踪．这些方 法依赖于瞳孔的外观，跟踪效果仍然受外部光照、眼 睛角度等条件的影响，对于眨眼的跟踪效果较差［３６］． 瞳孔运动具有以下特点：（１）由于头部运动和 眼球运动的随机性，瞳孔运动属于非线性、非高斯问 题．（２）由于眨眼和闭眼的存在，瞳孔目标存在固有 的遮挡和消失问题．由于以上原因，卡尔曼滤波与均 值漂移不能很好地跟踪瞳孔． 粒子滤波是处理非线性、非高斯问题的有效工 具，可以处理由于眨眼和闭眼造成的瞳孔目标遮挡 和消失问题．文献［２０］采用粒子滤波对虹膜进行跟 踪，文献［３７］采用粒子滤波对瞳孔进行跟踪．但是这 些粒子滤波跟踪方法没有考虑瞳孔目标的形状特 点，瞳孔目标区域是椭圆的，通常的矩形目标模型不 能有效区分瞳孔前后景． 用于实时视线追踪系统的瞳孔跟踪需要满足以 下几点要求：（１）由于采用的是灰度图像，所以必须 充分利用亮瞳和暗瞳两个通道的图像信息，以增加 跟踪的鲁棒性．（２）由于瞳孔尺寸较小，所以必须选 择一种能充分区分前景和背景的目标模型，以减小 背景对目标模型的干扰． 为满足上述要求，并针对现有瞳孔跟踪方法 的不足，本文提出一种基于伪彩色图的粒子滤波 瞳孔跟踪算法，解决了视线追踪系统中红外图像 瞳孔跟踪鲁棒性差的问题．工作主要体现在以下几 个方面：（１）利用亮暗瞳现象，提出三通道伪彩色图 （ＴＣＰＣＭ）的概念，并将其引入瞳孔跟踪过程， ＴＣＰＣＭ充分利用了各通道信息，瞳孔特征明显，瞳 孔区域的色彩明显与人脸其它部位不同，提高了跟 踪的稳定性与精确性．（２）建立一种符合瞳孔形态 特征和变化规律的瞳孔目标模型，充分区分前景和 背景，减小了背景对目标模型的干扰．下面介绍该方 法的整个流程和关键步骤． 跟踪方法框架如图９所示．本文提出基于三通 道伪彩色图（ＴｒｉｐｌｅＣｈａｎｎｅｌＰｓｅｕｄｏＣｏｌｏｒＭａｐ， ＴＣＰＣＭ）的瞳孔跟踪，ＴＣＰＣＭ定义如下： 犜犆犘犆犕＝｛狆犻犼｜狆１犻犼＝狆犫犻犼∧狆２犻犼＝狆犱犻犼∧狆３犻犼＝犫犾狅犫犻犼｝， 式中，狆１犻犼，狆２犻犼，狆３犻犼分别为ＴＣＰＣＭ的３个通道上的 像素点，狆犫犻犼为亮瞳图像的像素点，狆犫犻犼为暗瞳图像 的像素点，犫犾狅犫犻犼为差分图像滤波后瞳孔图像的像素 点．ＴＣＰＣＭ为三通道伪彩色图，如图１０所示．红外 图像中，瞳孔的灰度与脸部其它区域比较接近，特征 不明显，区分度较低．ＴＣＰＣＭ充分利用了各通道信 息，瞳孔特征较明显，瞳孔区域的色彩明显与人脸其 它部位不同，提高了跟踪的稳定性与精确性． 图９　瞳孔跟踪算法框架 ８７２１ 计　　算　　机　　学　　报 ２０１０年 图１０　ＴＣＰＣＭ 特征参数提取成功时，记录目标模型．本文根据 瞳孔的形态特征和运动特征，提出一种用于跟踪的 瞳孔模型．瞳孔状态犡由９个状态变量描述： 犡狋＝（犮狓，犮狔，犪ｍａｊｏｒ，犪ｍｉｎｏｒ，θ，狏狓，狏狔，犪·，θ·），式中，犮狓，犮狔为瞳孔椭圆的中心，犪ｍａｊｏｒ，犪ｍｉｎｏｒ为瞳孔椭圆的长轴与短轴，θ为瞳孔椭圆长轴与垂直方向的 角度，狏狓，狏狔为瞳孔椭圆分别在狓和狔方向的运动速 度，犪　·为瞳孔椭圆尺度的变化率，θ　·为瞳孔椭圆方向θ 的变化率．记录目标时，犮狓，犮狔，犪ｍａｊｏｒ，犪ｍｉｎｏｒ，θ已经在 特征参数提取环节中得到，狏狓，狏狔，犪·，θ·初始设置为零．瞳孔初始状态如图１１所示． 图１１　瞳孔初始状态 计算目标区域犡的加权直方图时采用犱（狓）＝ 狓狓－犮狓犪ｍａｊ（ ）ｏｒ ２＋狓狔－犮狔犪（ ）ｍｉｎｏｒ ２做为距离度量，称为“等灰度线距离”，作为衡量瞳孔像素点重要性加权的依据， 犱（狓）越小，像素权值越大．犱（狓）相同的点构成一条 椭圆曲线，该曲线上的点具有相同的灰度值．瞳孔椭 圆轮廓线的犱（狓）等于１，向瞳孔中心点方向犱（狓）逐 渐减小，直至犱（狓）等于０时，等灰度线为瞳孔椭圆 中心点． ４　视线估计 ４１　基于二维映射模型的视线估计方法基于二维映射模型的视线估计方法，通过一个 经过标定的视线映射函数来估计视线方向，映射函 数的输入是从眼睛图像提取的一系列二维眼动特 征，输出是视线注视点．二维映射模型不需要估计三 维的视线方向，所以不需要使用立体视觉系统，不需 要进行相机的标定，不需要进行光源和屏幕三维位 置的标定，为低硬件配置条件下的视线估计提供了 有效的解决方案． 提取的二维眼动特征随视线而变化，使它们之 间的关系可以由一个视线映射函数来表示．为了得 到视线映射函数，需要对每个使用者进行在线标定． 但是，二维眼动特征随着头部位置的变化而显著变 化，因此，标定的视线映射函数对头部位置非常的敏 感［２２］．因此，为了得到准确的注视点，使用者需要保 持头部静止．如果使用者保持其头部固定，或通过支 架限制其头部活动，眼睛注视点跟踪的结果可以达 到非常高的精度．平均误差可以小于１°（对应在计 算机屏幕上小于１０ｍｍ）．但是如果头部离开使用者 标定时的位置，视线追踪系统的准确性将显著下降， 文献［２２］报告了详细的数据，数据显示，视线映射函 数的准确性将严重降低．可以通过使用者局部手工 重新标定解决这个问题［３８］，但是这给使用者带来许 多麻烦．大部分的商业视线追踪系统［１２１４，２５］是建立 在二维映射模型之上，大多可以容忍小的头部运动． 例如，ＬＣ视线追踪系统［１２］可以容忍少于２平方英 寸的头部运动．ＡＳＬ视线追踪系统［２５］可以容忍约一 平方英尺的头部运动．消除了对头部静止的限制，方 法是结合了磁性头部跟踪器和带云台的相机．不过， 如何处理头部运动的细节是不公开的．此外，结合了 磁性头部跟踪器和带云台的相机的系统不仅是复杂 的而且对普通用户是昂贵的． 总括来说，现有的基于二维映射模型的视线追 踪系统都存在两个共同的缺点：（１）用户在使用视 线追踪系统前都需要进行个体标定，以确定视线落 点与用户依赖参数的关系；（２）用户需要保持头部 静止，无显著的头部运动． 针对现有视线估计方法的不足，本文提出一种 可适应自然头动的视线估计方法．在单相机单光源 条件下实现了头动对视线参数影响的补偿，既不需 要繁杂的系统标定，又实现了自然头动视线估计，并 且简化用户标定为单点标定． ４．２　基于犘犆犆犚的视线估计方法 本文视线估计方法包括个体差异校准、视线映 射函数和头部位置补偿，如图１２所示． 采用非线性多项式模型对视线进行估计，用经 过训练的ＳＶＲ计算头部运动引起的全屏视线估计 误差．用估计的误差对视线进行补偿．实现头部运动 情况下的视线方向检测．采用个体差异模型对使用 ９７２１７期 张　闯等：一种新的基于瞳孔角膜反射技术的视线追踪方法 图１２　视线估计框架 者眼球个体差异进行估计，用经过标定的补偿系数 校准个体差异引起的特征参数变化．用校准后的特 征参数进行视线估计．实现不同使用者的视线方向 检测． 头部位置补偿模型采用离线建模，只需在建立 模型时进行一次．首先在头部静止状态下，使用者盯 视屏幕上的标定点，标定多项式模型对视线进行估 计，然后在头部不同姿态下，盯视屏幕上的标定点， 计算盯视点视线落点误差，用来训练ＳＶＲ以计算头 部运动引起的全屏视线估计误差．以后使用者使用 系统时，用估计的误差对视线进行补偿，得到最终的 视线估计结果． 个体差异校准模型采用在线标定，只需在初次 使用系统时进行一次．首先在头部标定位置下，使用 者盯视屏幕上的标定点，标定其个体差异系数，然后 使用者使用系统时，用标定的个体差异系数对视线 特征参数进行校准，得到消除个体差异的特征参数． 系统经一次标定后能够记忆使用者的个体差异参 数，后续使用时可免于初始标定． 　　（１）个体差异补偿． 本文采用的视线特征向量犔狋如下： 犔狋＝Δ狓，Δ狔，犪ｍａｊｏｒ犪ｍｉｎｏｒ，θ，犻犮，犼（ ）犮． 为了补偿个体差异对视线估计的影响，本文经 过大量实验总结出以下事实：（１）不同的使用者在 同一位置注视同一点的情况下，眼球的方位是大致 相同的，因此（Δ狓，Δ狔）的方向是大致相同的，其方向 的差异是由于视线和眼球光轴夹角的个体差异造成 的，如图１３（ａ）所示，这个差异可以通过单点用户标 定进行捕捉．（２）不同的使用者在同一位置注视同 一点的情况下，（Δ狓，Δ狔）的长度差异往往大于方向 的差异，其差异是由于角膜球面半径大小的个体差 异造成的，这个差异也可以通过单点用户标定进行 捕捉．如图１３（ｂ）所示，当角膜球面半径发生变化 时，瞳孔中心犘１发生线性变化，图像中的瞳孔中心 狆１也随之线性变化，而图像中的普尔钦斑犵１不变． 即角膜球面半径增加犽倍，犵１到狆１的向量（Δ狓，Δ狔） 长度随之增加犽倍．（３）不同的使用者在同一位置 注视同一点的情况下，犪ｍａｊｏｒ犪ｍｉｎｏｒ，θ，犻犮，犼（ ）犮可以认为是 相同的． 图１３　角膜个体差异示意图 本文提出一种视线特征向量个体差异校准方 法，通过单点标定确定使用者的角膜半径比例系数 犽和视线偏角λ，校准方法如下： （Δ狓′，Δ狔′）＝（Δ狓，Δ狔）×犽（ｃｏｓλ＋犻ｓｉｎλ）， 式中，（Δ狓′，Δ狔′）为校准后的瞳孔中心到普尔钦斑 向量．校准后的视线特征向量犔′狋为 犔′狋＝Δ狓′，Δ狔′，犪ｍａｊｏｒ犪ｍｉｎｏｒ，θ，犻犮，犼（ ）犮． （２）多项式模型 完整的视线映射函数（犌狓，犌狔）＝犉（Δ狓，Δ狔）是 一个复杂的非线性函数，本步骤讨论的是使用者和 头部位置固定情况下的视线映射函数（犌狓，犌狔）＝ 犳（Δ狓，Δ狔）．在本文的系统配置下，其函数规律总结 如下： 犌狓＝犳狓（Δ狓，Δ狔）≈犪１（Δ狔）＋犪２（Δ狔）Δ狓， 犪１（Δ狔）≈犪３＋犪４Δ狔， 犪２（Δ狔）≈犪５＋犪６Δ狔， 犌狔＝犳狔（Δ狓，Δ狔）≈犫１（Δ狓）＋犫２Δ狔＋犫３Δ狔２， 犫１（Δ狓）≈犫４＋犫５Δ狓． 可以看到，（犌狓，犌狔）＝犳（Δ狓，Δ狔）中有８个未 知数，通过４个以上的标定点就可以确定其关系，为 了覆盖屏幕落点的各个区域，本文通过９点标定对 应的１８个等式对８个未知数进行多项式回归．这个 回归过程只在建立模型的时候进行一次，一旦８个 未知数已经确定，以后不同使用者使用系统时，因为 ０８２１ 计　　算　　机　　学　　报 ２０１０年 已经经过上个步骤的个体差异校准，所以可以直接 使用这个视线映射函数，无需重新进行回归过程． （３）头部位置补偿 由于二维图像不能提取眼睛的精确空间位置， 本文采用视线特征向量犔′狋反映眼睛的空间状态，通 过ＳＶＲ对由眼睛空间状态变化引起的视线估计误 差进行回归，其表达式如下： （Δ犌狓，Δ犌狔）＝犳ΔΔ狓′，Δ狔′，犪ｍａｊｏｒ犪ｍｉｎｏｒ，θ，犻犮，犼（ ）犮． 　　本文采用５个不同距离，每个距离上９个头部 位置，在每个位置上注视屏幕上的９个点的方式，对 视线估计误差函数犳Δ进行回归训练．这个训练过程只在建立模型的时候进行一次，以后不同使用者使 用系统时，因为已经经过个体差异校准，所以可以直 接使用犳Δ对头部位置引起的误差进行补偿，无需重新进行训练过程． 头部位置补偿公式如下： （犌狓′，犌狔′）＝（犌狓，犌狔）＋（Δ犌狓，Δ犌狔）． 表２　使用者２的部分数据 犔狋 （Δ狓′，Δ狔′） （犌狓，犌狔） （Δ犌狓，Δ犌狔） （犌狓′，犌狔′） （４．８７０，１１．２０７，１．２１３，１１７．５５２，２８７．６３７，４３７．９３２） （５．４３０，１２．４９５） （８８，８６） （６，－１８） （９４，６８）（－０．８８０，１１．３５７，１．０５８，６５．２５６，２３１．９１，４４３．７７０） （－０．９８１，１２．６６３） （７２６，３４） （－５１，２４） （６７５，５８）（－６．２６９，１０．８６６，１．１３９，５４．７５５，１８５．９６６，４５３．１３６） （－６．９８９，１２．１１５） （１２１６，７５） （－２６，－７） （１１９０，６８） （５．１５９，７．８２４，１．０５７，１４７．１０６，２１３．８１９，４５９．７１２） （５．７５２，８．７２３） （４２，４６９） （５３，６） （９５，４７５）（－０．９０１，７．７１８，１．０６６，１２．６１８，１９９．００４，４６７．３０４） （－１．００４，８．６０５） （７０７，３８７） （－５０，４７） （６５７，４３４） （－７．２３１，７．７１０，１．１４２，４２．５２９，１７７．４０４，４７１．３７９） （－８．０６２，８．５９６） （１２０５，３８４） （－２３，８０） （１１８２，４６４）（５．０６３，３．７８３，１．１８２，２５６．７０５，２０８．６２８，４７５．３６５） （５．６４５，４．２１８） （２６，８６０） （５３，３０） （７９，８９０）（－０．９７９，３．２８７，１．１４０，３．６３５，１９６．６３３，４７７．３６５） （－１．０９１，３．６６５） （５８１，８００） （４２，９６） （６２３，８９６） （－６．９２２，３．６１７，１．１０４，１３．３７３，１７３．４８５，４８５．３５１） （－７．７１８，４．０３３） （１２０１，８７４） （－１５，１８） （１１８６，８９２） ５　实验结果 通过一系列实验来本文方法的效果，包括 参数提取与视线估计两部分． ５．１　不同头部位置的参数提取 由于特征提取是视线追踪系统的共性问题，要 求在不同的头部位置都能有效地进行，为了验证本 文特征提取方法的效果，本文对１５０使用者进行了 实验，实验过程在室内进行，不同使用者测试的环境 不相同，包括白天晚上、晴天阴天、室内照明灯开关 等各种室内光线情况，图１４为使用者１，２，４在各种 头部位置的检测结果，可以看到，即使在头部转动明 显的情况下，本文方法也能有效地提取视线特征 参数． ５．２　眨眼情况下的参数提取 用于视线追踪的眼睛跟踪，要求在眨眼的情况 下也能有效地跟踪，图１５为使用者１，２，３在眨眼情 况下的跟踪结果，可以看到，在眨眼的情况下，本文 方法也能有效地跟踪眼睛． ５．３　佩戴眼镜情况下的参数提取 用于视线追踪的眼睛参数提取，要求在使用者 佩戴眼镜的情况下也能有效地进行，图１６为使用者 １，５，４在佩戴眼镜的情况下的检测结果，可以看到， 即使在镜片反光情况下，只要反光不遮盖瞳孔，本文 方法就能有效地提取视线特征参数． 图１４　不同头部位置的参数提取 图１５　眨眼情况下的参数提取 １８２１７期 张　闯等：一种新的基于瞳孔角膜反射技术的视线追踪方法 图１６　佩戴眼镜情况下的参数提取 ５．４　与其它眼睛跟踪方法的比较 对用于视线追踪系统的眼睛跟踪方法进行了对 比．图１７给出使用者８眼睛跟踪结果中心点与目标 真实中心点之间的均方根误差（ＲｏｏｔｏｆＭｅａｎ ＳｑｕａｒｅＥｒｒｏｒ，ＲＭＳＥ），其中，真实位置采用手工逐 帧标定．由图１７可见，（ａ）最初，３种算法都能正确 跟踪目标；（ｂ）随着跟踪进行，文献［３３，３７］方法虽 仍能跟踪目标一段时间，但结果已明显不再准确， 而本文方法在整个跟踪过程中，都能一直保持对眼 睛的稳定跟踪能力；（ｃ）相对于文献［３３］中组合卡 尔曼滤波与均值漂移的方法和文献［３７］中的粒子滤 波方法，本文提出的方法能更为准确和稳定地跟踪 目标，其跟踪结果与目标真实位置的误差最小，完全 能满足实时视线追踪对眼睛跟踪的精度要求． 图１７　瞳孔中心点位置均方误差 ５．５　不同使用者的视线估计结果 本文对不同使用者的视线估计效果进行了实 验，部分结果见表３，水平方向平均精度１．５左右， 竖直方向平均精度１．９左右．图１８为使用者３的视 线估计结果． 表３　不同使用者的视线估计结果 使用者 水平方向精度（λ，σ） 竖直方向精度（λ，σ） １ １２．００±７．５４ｍｍ（０．８６°±０．５４°） １４．２４±８．６５ｍｍ（１．０２°±０．６２°）２ ２６．１１±１０．１９ｍｍ（１．８７°±０．７３°） ３２．８３±１２．４２ｍｍ（２．３５°±０．８９°）３ ２６．８１±５．５８ｍｍ（１．９２°±０．４０°） ３３．８０±６．２８ｍｍ（２．４２°±０．４５°）４ １６．８９±６．４２ｍｍ（１．２１°±０．４６°） ２３．４６±７．４０ｍｍ（１．６８°±０．５３°）５ １８．４３±４．１８ｍｍ（１．３２°±０．３０°） ２４．０２±５．７２ｍｍ（１．７２°±０．４１°）６ ２８．４９±９．２１ｍｍ（２．０４°±０．６６°） ３７．４４±１２．９８ｍｍ（２．６８°±０．９３°）７ ２４．３０±４．７４ｍｍ（１．７４°±０．３４°） ２６．８１±７．２６ｍｍ（１．９２°±０．５２°） 图１８　估计视线与真实视线比较 ５．６　人机交互系统基于本文视线追踪方法的人机交互系统界面如 图１９所示，实验中准确率在９５％以上． ５．７　与其他系统的比较与其它视线追踪系统比较结果见表４，可以看到，本文提出的方法是一种单相机单光源条件下的、 单点用户标定、可以允许头部较大范围运动、高性价 比的视线追踪解决方案． 图１９　基于视线追踪的人机交互系统 表４　与其它系统的比较 方法 头部允许运动范围（相机光轴方向） 平均精度 配置 标定 文献［２３］ ＜７０ｍｍ ０．８° 多相机多光源单点 文献［１７］犖／犃，犫狌狋＞７０ｍｍ ０．６°（一个使用者）四相机多光源单点 文献［７］ ２００ｍｍ １．６° 双相机双光源单点文献［４］ ５００ｍｍ ５° 单相机单光源多点文献［２４］ ４０ｍｍ ０．９° 单相机双光源多点文献［８］ １００ｍｍ １．０° 单相机四光源单点本文 ３００ｍｍ １．８° 单相机单光源单点注１．文献［８］需要另外配置立体相机，用来标定相机、光源和屏幕的空间三维位置； 注２．本文方法在头部运动小于５０ｍｍ时，平均精度在１．０°左右． ２８２１ 计　　算　　机　　学　　报 ２０１０年 ６　结论与展望 现有单相机单光源条件下的视线追踪系统存在 以下几个问题：（１）精度不高．（２）头动受限．（３）标 定复杂．本文提出一种单相机单光源条件下视线追 踪的高性价比解决方案．首先利用亮瞳现象提出一 种新的基于多通道图像的亚像素瞳孔定位算法，通 过ＲＤＰＥＦ滤波解决了角膜反射对瞳孔中心定位的 影响．以此为基础结合改进的粒子滤波算法，提出一 种针对实时视线追踪的ＴＣＰＣＭ瞳孔跟踪算法，解 决了近红外图像中瞳孔色彩不突出的问题．接下来 针对ＰＣＣＲ技术存在的主要问题：限制使用者头部 运动和个体标定问题，提出了一种单相机单光源条 件下头部位置的补偿方法，并提出一种个体差异的 转化模型，进而简化标定过程为单点标定．最后以此 为基础提出一种新的视线估计方法，本方法允许使 用者头部运动并且只需要单点标定． 本文的视线追踪方法为具有普适应用价值的低 成本视线追踪提供了有效的解决方案．本方法具有 以下几个特点：（１）通过高质量的特征检测与跟踪， 使视线估计精度达到了满足实时人机交互的水平． （２）在相机视野范围内，头部可以自由移动，头部移 动不会带来视线估计精度的明显下降．（３）通过个 体差异校准机制，实现了单相机单光源条件下的单 点标定． 在未来的研究中，建立单相机单光源条件下解 析形式的精确头部位置补偿模型是一项重点工作． 自然光照条件下的精确视线追踪也是今后研究的方 向之一． 参考文献 ［１］ＤｕｃｈｏｗｓｋｉＴ．ＥｙｅＴｒａｃｋｉｎｇＭｅｔｈｏｄｏｌｏｇｙ：ＴｈｅｏｒｙａｎｄＰｒａｃ ｔｉｃｅ．ＮｅｗＹｏｒｋ：ＳｐｒｉｎｇｅｒＶｅｒｌａｇ，２００３ ［２］ＪａｃｏｂＲＪＫ．Ｔｈｅｕｓｅｏｆｅｙｅｍｏｖｅｍｅｎｔｓｉｎｈｕｍａｎｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｏｎｔｅｃｈｎｉｑｕｅｓ：Ｗｈａｔｙｏｕｌｏｏｋａｔｉｓｗｈａｔｙｏｕｇｅｔ． ＡＣＭＴｒａｎｓａｃｔｉｏｎｓｏｎＩｎｆｏｒｍａｔｉｏｎＳｙｓｔｅｍｓ，１９９１，９（３）： １５２１６９ ［３］ＺｈａｉＳ，ＭｏｒｉｍｏｔｏＣＨ，ＩｈｄｅＳ．Ｍａｎｕａｌａｎｄｇａｚｅｉｎｐｕｔｃａｓ ｃａｄｅｄ（ｍａｇｉｃ）ｐｏｉｎｔｉｎｇ／／ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＳＩＧＣＨＩＣｏｎｆｅｒ ｅｎｃｅｏｎＨｕｍａｎＦａｃｔｏｒｓｉｎＣｏｍｐｕｔｉｎｇＳｙｓｔｅｍｓ．ＮｅｗＹｏｒｋ， ＵＳＡ，１９９９：２４６２５３ ［４］ＺｈｕＺ，ＪｉＱ．Ｅｙｅａｎｄｇａｚｅｔｒａｃｋｉｎｇｆｏｒｉｎｔｅｒａｃｔｉｖｅｇｒａｐｈｉｃ ｄｉｓｐｌａｙ．ＭａｃｈｉｎｅＶｉｓｉｏｎａｎｄＡｐｐｌｉｃａｔｉｏｎｓ，２００４，１５（３）： １３９１４８ ［５］ＬｉｖｅｒｓｅｄｇｅＳＰ，ＦｉｎｄｌａｙＪＭ．Ｓａｃｃａｄｉｃｅｙｅｍｏｖｅｍｅｎｔｓａｎｄ ｃｏｇｎｉｔｉｏｎ．ＴｒｅｎｄｓｉｎＣｏｇｎｉｔｉｖｅＳｃｉｅｎｃｅ，２０００，４（１）：６１４ ［６］ＭａｓｏｎＭＦ，ＨｏｏｄＢＭ，ＭａｃｒａｅＣＮ．Ｌｏｏｋｉｎｔｏｍｙｅｙｅｓ： Ｇａｚｅｄｉｒｅｃｔｉｏｎａｎｄｐｅｒｓｏｎｍｅｍｏｒｙ．Ｍｅｍｏｒｙ，２００４，１２（５）： ６３７６４３ ［７］ＺｈｕＺ，ＪｉＱ．Ｎｏｖｅｌｅｙｅｇａｚｅｔｒａｃｋｉｎｇｔｅｃｈｎｉｑｕｅｓｕｎｄｅｒｎａｔｕ ｒａｌｈｅａｄｍｏｖｅｍｅｎｔ．ＩＥＥＥＴｒａｎｓａｃｔｉ