基于眼部行为的驾驶疲劳监测方法

第 39卷第 2期 2011年 2月 同 济 大 学 学 报(自 然 科 学 版) JOURNAL OF TONGJI UNIVERSITY(NATURAL SCIENCE) Vo1．39 No．2 Feb．2011 文章编号 ：0253．374X(2011)02．0231—05 DOh 10．3969／j．issn．0253—374x．2011．02．014 基于眼部行为的驾驶疲劳监测方法 潘晓东，李君羡 (同济大学 道路与交通工程教育部重点实验室，上海 201804) 摘要：为了克服 percentage of eyelid closure(PERCLOS)法作 为疲劳监测方法对仪器要求过高的弱点，通过室外行车实验 验证其实时监测的适用性的同时，在室 内以眨眼次数和闭眼 时间为主要实验分析研究对象，检验两者的数值与驾驶疲劳 程度之间的关系以开发新的疲劳监测指标．通过实验分析结 果论证 PERCLOS实际应用的可能性 ，眨眼次数与闭眼时间 作为驾驶疲劳眼部行为的评价指标的有效性和应用价值． 关键词：驾驶疲劳；疲劳监测；眼部行为；评 价指标 ；眼 动仪 中图分类号：U 491．3 文献标识码：A Eye State．based Fatigue Drive Monitoring Approach PANXiaodang，LIJunxian (Key Laboratory of Road and Traffic Engineering of the Ministry of Education，Tongii University，Shanghai 201804，China) Abstract： Considering the percentage of eyelid closure (PERCL0S) method requires too much in equipment as a fatigue monitorig method，an out-of—door experiment was set to check out whether the PERCL0S method was feasible in real—time monitoring，and a laboratory measurement was set to test the availability of other eye states indices such as the frequency of blink and how long all blinks lasted，in order to find out more indices to monitor fatigue drive．Based on the results of the experiments，the possibility of using PERCLOS method in real—time is discussed and the relativity between the new indices and the degree of fatigue is validated． Key words： fatigue drive； fatigue monitoring； eye s切te monitoring；indices；eye tracking system 因长时间驾驶或其他原因引起的驾驶疲劳已成 为导致交通安全事故的重要原因之一．据统计，我国 因疲劳驾车而造成的交通事故 占总起数的 20％左 右，占特大交通事故的 40％以上ll1]．可见，减少疲劳 驾驶对降低交通事故发生率有着重大的意义．而选 定用以判断驾驶员疲 劳状态 的指标就显得尤为 必要 ． 现阶段国内外的研究明，疲劳与瞳孔直径、眼 球转动、眼睑开合[2-3]等行为有关，即眼部的某些行 为能够反映人所处的精神状况．比较直观的是当人 体处于疲劳状态时，眼睛闭合的频率及持续的时问 都会有所变化．因此，可以通过监测眼睛的闭合状态 即眼睑 的活动情况来判 定被试 者 的疲 劳状态． PERCLOS(percentage of eyelid clousure)法就是使 用眼睛闭合时间占特定时间的比率确定疲劳程度 的，这里闭合是指瞳孔被眼睑遮住的状态．此方法有 P70，P80和EM 3种判定，分别表示瞳孔被眼睑 纵向遮住 70％的时间比率、遮住 80％的时间比率以 及眼睑均方闭合率．PERCLOS法被认为是现阶段对 疲劳进行测定的最好方法，而 P80则被验证为与疲 劳相关性较好的标准__4-5]．但是 PERCLOS法现阶段 的实验大多仅限于室内进行，实验室内环境以及被 试者心理都与实际驾驶状态有不小的差距．笔者结 合行车实验进一步验证PERCLOS指标(P80)与驾驶 疲劳的关系．同时考虑到监测的实用性，探讨眨眼次 数、总闭眼时间等作为疲劳监测评价指标的可行性． 1 实验 1．1 实验目的 ①验证 PERCLOS法的实际应用效果；②总结出 更易测得的指标，检验其 与疲劳之问的相关性． 大多数的实验以室内实验为基础，将室外实验 收稿 日期：2009—11—03 基金项目：国家自然科学基金(50878157)；浙江省交通科技项 目(2009H10) 第一作者：潘晓东(1960--)，男，教授，博士生导师，工学博士，主要研究方向为道路交通安全与环境工程、交通工效学及应用技术 、道路交 通规划与设计等．E．mail：panxd3@163．COrn 同 济 大 学 学 报(自然 科 学 版) 第 39卷 作为验证室内实验结论的手段予以实施．笔者前期 的实验是基于 PERCLOS法的原理进行的，其测试方 法、指标有效性、指标阈值等方面的研究已经颇为成 熟，可以省略室内实验的部分，直接对其进行实际应 用验证．而后期的实验 目的是验证预先选定指标的 有效性，是一个比较初步的研究阶段．若直接采用室 外实验不仅没有必要而且存在一定危险性，故采用 在室内实验的方法，待实验指标确定、测定技术亦比 较成熟时，可以考虑进行行车测试． 1．2 实验原理及方法 对睡眠的趋向是疲劳的主要表征之一．许多针 对疲劳的测试如头部位置检测_6]、斯坦福睡眠尺度 表[7]、脑电波测试 等都是将疲劳与睡眠相互联系， 认为监测出被试者趋于睡眠状态则可说明被试者处 于逐渐疲劳的状态．笔者延续这一理念，通过监测被 试者是否困倦从而判断被试者的疲劳状态． 室外实验采用 P80作为基于眼动的驾驶疲劳监 测标准．仪器选用 日本 NAc公司生产的EMR8型眼 动系统，该系统在驾驶员注视点与行车安全关系、逆 光条件下交通标志的可视距离、隧道进出口视觉特 性等研究中均得到有效应用． 实验过程中通过图像采集卡对瞳孔图像处理可 以得到各时间点的瞳孔纵向开合程度(即瞳孔直 径)，进而可以求出任意时刻的PERCLOS值 P ．从 而确定被试者的疲劳状态．图 1中 t ，t ， 。分别表 示 3次眨眼时瞳孔纵向张开不超过20％的时间． 摹 嚣 lOO 茎 厦 40 20 徊 0 图 1 PERCLOS值的求解原理 Fig．1 Principle of how to calculate the percentage of eyelid closure 设在连续的采样时段 T内有他次闭眼，且第 i 次闭眼瞳孔被眼睑遮住 80％的时间为 t。，则 P。 值可 由下式求出：P =∑t ／T． 对于某一时刻，可以根据在线及脱机监测 2种 情况选取．对于在线监测，选择测试点之前的时间段 作为采样时段，对于脱机监测，选择测试点之前的 T／2时间段以及之后的 T／2时间段作为采样时段． T的长短对疲劳判定的正确率有一定影响，较长的 采样时间可以保证较高的正确率，对于脱机监测，值 可以取大一些，一般为 60 S，而对于在线监测，则因 为有实时性的要求可取小一些，但是过小的采样时 间会大幅降低正确率，对某些被试者，15 S的采样时 间会导致高达 24％的错误率L9]，因此，在线监测时应 根据实时性要求、被试者状况合理选择采样时间． 求得 P 后，使用相应的 P 与疲劳状态的对应 关系_1。。进行疲劳程度的评判，即可得到任意时刻的 疲劳状态． 室内实验以摄像机对被试者眼部行为进行观 测．结合被测者的脸部特征及实验员对被测者状态 的实时记录判断被试者的疲劳状态，提取不同状态 的典型代表片段 30 s(摄像机画面 750帧)．应用视 频编辑软件 VirtualDub对提取片段进行帧判别，以 每秒 25帧的速度对眨眼次数和闭眼时间进行统计． 分别对被试者各个状态下单位时间内的眨眼次数和 总闭眼时间进行对照分析． 对被试者录像进行典型片断的提取时，尽可能 大量提取每种状态下的典型片断．如提取 3组瞌睡 状态下的典型片断，取其眨眼特征均值作为此状态 代表值，来弥补个体样本数量的不足和提高可靠性． 1．3 实验制定 1．3．1 室外实验 本实验意在确定 PERCLOS法能否在被试者处 于清醒、可疑、瞌睡 3种情况下都能有效实施，尤其 是与驾驶疲劳相关性极大的后 2个阶段．最接近现 实的方法是让被试者坐在驾驶员的位置承担驾驶工 作，对其眼部行为进行观测，但是这样做需要让驾驶 员本身进入瞌睡状态，危险性极大．经过综合考虑， 采用让被试者坐在副驾驶席上接受测试的方法，近 似认为被试者的疲劳状态与驾驶员相似，在安全性 和真实性两者之间达到平衡． 室外实验选定在春季晴好天气下进行．考虑实 验结果的通用性，以高速公路为主要实验道路类型． 选择浙江上三高速公路的非隧道段作为主要实验路 段，此路段路况 良好，线形设计符合要求，限速80～ i00 km·h一．实验车辆采用桑塔纳 2 000型． 初步选定 4名被试者，请其就坐后，由有一定驾 驶经验的驾驶员于基本不出现拥堵的时段在交通密 度较小的路段上驾驶，要求被试者始终注意驾驶路 况，允许被试者进入瞌睡状态．实验结束后，通过对 数据的提取分析，判断被试者状态，以验证眼动仪在 实时车载实验中的有效性． 1．3．2 室内实验 第 2期 潘晓东，等：基于眼部行为的驾驶疲劳监测方法 选择有午睡习惯在前一晚正常睡眠的青年学生 共 12名，其中男生 10名，女生 2名，年龄均为 22～ 26岁之间． 选择青年学生实施驾驶疲劳实验有一定的弊 端，因为这一群体可能无法代表驾驶员的疲劳特征． 但室内实验以测定疲劳状态与预定指标的关系为研 究对象，同样是以被试者经历由清醒到疲劳的各个 阶段为主要要求，基本上，选择青年学生完成实验就 可以满足要求．但是在证明总闭眼时间和眨眼次数 与疲劳确实存在相关性之后，有必要引入驾驶员群 体辅助完成实验，增加实验的可信度． 由于人的睡眠受人体生理节律的影响，一般来 说，午夜到清晨之间和白天中午 2个时间段是正常 睡眠的人想打瞌睡的时间．午餐后均有疲劳感增加， 加上有午睡习惯，容易出现疲劳瞌睡状态．因此，本 实验测量时间选定为 12：30~16：00l1 ． 将拍摄并挑选出来的行车录像资料通过投影仪 在大屏幕上连续放映，每个测试过程为 30 rain．实验 环境尽量模拟车内驾驶环境．被试者调整完毕后实 验者开始播放行车录像．于此同时，将摄像机对准被 试者眼部进行拍摄．另外，考虑到将主观监测方式和 客观监测方式相结合的办法能够使实验收到更好的 效果 ，将配备实验人员在现场对被试者的行为进行 5 l0 l5 20 25 30 时间 ／S a样本1 人工记录，作为主观监测结果，以便对被试的行为作 出更全面的分析 ． 2 实验结果的整理与分析 2．1 室外实验 利用眼动仪的自动分析系统对实验结果进行分 析．图2即为不同疲劳状态下被试者的眼部图像，当 人体处于疲劳状态时，眼睛的开合状态通常如图2b， 2c的情况． ■ ■ ■ 以实验中的2个样本数据为例，其瞳孔开合程 度数据的统计结果片断如图 3所示．由P 的求解公 式可得样本 l的 P 为0．118，由P 阈值标准可知被 试者处于可疑状态 ；样本 2的 P 为 0．198，由 P 阈 值标准可知被试者处于瞌睡状态． 时间 ／S b样本2 图3 30 S瞳孔纵向开合程度样本片断 Fig．3 Examples of the exposed pupil in vertical dimension in a sampling 2．2 室内实验 2．2．1 实验的预分析处理 室内实验对被试者的精神状态判断是由实验者 主观确定的，相对于指标阈值已知的室外实验准确 性不足，将被试者的疲劳状态仅用可疑和瞌睡 2个 等级来描述存在困难，故在此将被试者的精神状态 划分为 4个等级：清醒、安稳、瞌睡前、入睡前． 室内实验的目的在于探索 2个新引进指标与疲 劳之关系，所以对实验样本有一定的要求，需要预先 确定有效实验样：本的问题． 有效实验样本是指符合实验设计、能达到实验 的预期要求、误差控制在可以接受的范围内实验数 据可以利用的样：本．在本实验中，其判别主要取决于 被试者在实验过程中是否经历了各种状态以及仪器 是否清楚地记录 了这些状态的发生．如果整个 过程 被测者都精神抖擞或很兴奋、情绪较高，并未表现出 ∞暑；踟 ∞ ∞∞ ∞ m 0 ，． ． 誊＼ 尽 趔 同 济 大 学 学 报(自然 科 学 版) 第 39卷 疲劳迹象，则不能达到研究状态变化的目的，视为无 效实验样本．现将样本的有效性划分为4个水平，如 表 1所示 ． 表 1 样本有效性评级 Tab．1 Validity of the samples 注：√为有此状态出现；一为疑似状态出现；×为无此状态出现． 2．2．2 数据分析 几种状态下具体的眨眼特征数据提取如表 2，其 中总闭眼时间和平均一次闭眼时间以图像的帧数计 (30 S图像含 750帧)． 基于原始的实验数据，从各个状态下 3个指标 的平均值及各 自与正常状态下的差别 2个方面进行 讨论分析 ． (1)4种精神状态下眨眼次数．在不同的状态 下，眨眼次数平均值有所差异．正常状态下眨眼次数 较其余 3种状态频繁，这符合常理．但从表中可以看 到，瞌睡前状态下眨眼次数稍小于正常状态，却高于 安稳状态，这有悖于预期的假设．总体看来，随着瞌 睡程度的加深，到入睡前状态时，眨眼次数大幅度降 低．通过其余 3种状态与正常状态的比较，即与正常 状态时的眨眼次数平均值差值的分析更加说明了此 过程 的变化．采用软件 Origin7．5应用方差分析 (AN0VA)对不同疲劳状态之间眨眼次数进行 F检 验，统计发现不同疲劳状态下眨眼次数平均值差异 显著，显著性水平 为0．010 2． 表 2 3个指标在不同状态下的测试数据 Tab．2 Data of the 3 indices in different statuses (2)4种精神状态下总闭眼时间．由表 2知，在 不同的状态下，总闭眼时间平均值差异较大．安稳状 态较正常状态下闭眼时间稍有增加，总闭眼时间所 占总时间比例也稍有上升，由7％上升到 8％．随着 进入瞌睡前状态，总闭眼时间快速增加，总闭眼时问 的比例比安稳状态时增加 1倍，达到 16％．且入睡程 度越深，总闭眼时间越长，到本实验的人睡前阶段， 闭眼占到一半以上的时间．这些数据符合正常的疲 劳瞌睡前状态进程闭眼的变化规律．同样对不同疲 劳状态下闭眼时间平均值进行 F检验，得到显著性 水平 a为0．000 1，差异显著． (3)平均一次闭眼时间．考虑到眨眼次数很可 能因被试者的个人习惯而异，而眨眼次数多则闭眼 时间必然长，故总闭眼时问在一定程度上也会受到 眨眼次数的影响．为排除此类影响，可用总闭眼时间 和眨眼次数求商得到的平均一次闭眼时间作为指标 进行观察，获得更为显著的比较效果．由表 2可见， 在不同的状态下，平均一次闭眼时间差异很大．安稳 状态下平均一次闭眼时间为正常状态时的2．33倍， 随着进入瞌睡前状态，闭眼时间逐渐增加，为正常状 态下的3．67倍，而到入睡前状态时，增加就更加显 著，增幅倍数为 51．30倍．统计发现不同疲劳状态下 平均一次闭眼时间差异显著性水平 为 0．000 2，差 异显著． 3 结论与讨论 3．1 实验结论 室外实验不仅再次验证了PERCLOS法的 P80 指标与疲劳的相关性，更充分说明了这种方法在实 时观测中也能起到良好的效果，能区分被试者的疲 劳状态．即 PERCL0S法在车载实验中依然行之有 效．一旦将来改进实验仪器，以非接触式的实验方式 替代如今的眼动仪接触式实验测试 PERCLOS值，这 种方法将有更好的应用前景． 通过上述对室内实验诸多数据的分析，关于新 引进的 2个评价指标可以得出以下几条结论 ： (1)眨眼次数随状态不同而变化的规律性不太 第 2期 潘晓东，等：基于眼部行为的驾驶疲劳监测方法 强．主要表现为瞌睡前状态下眨眼次数的增加，但随 着进入入睡前状态，眨眼次数大幅降低．造成上述结 果的原因，一方面是由于本实验样本数据有限，另一 方面可能是被试者在刚开始进入瞌睡前状态时，精 神较为紧张(考虑到驾驶的现状)，在入睡与清醒之 间挣扎，想睡而不敢睡，稍微清醒眼睛就睁开，但睁 眼持续时问明显低于正常状态，且此时视觉效果及 功能也明显降低． (2)随着瞌睡前瞌睡程度的加深，总闭眼时间 逐渐增加． (3)平均一次闭跟时间这个指标综合反映了眨 眼次数和总闭眼时间这 2个指标的变化，此指标值 随状态不同而变化的规律性较强，随着瞌睡前瞌睡 程度的加深，平均一次闭眼时间显著延长． 3．2 讨论与总结 随着计算机应用的普及，PERCLOS法以其精确 性和易操作性可成为判断驾驶疲劳的主要指标，从 而带动其他眼部行为在疲劳监测方面的应用．经验 证，PERCLOS法在实时行车实验上依然具备良好有 效性．但本室外实验是在一定 自然条件和路段条件 下实施的，结果可能受到限制，其他道路或环境条件 下 PERCLOS法的适用性尚需进一步研究． 经过验证，单位时间内的眨眼次数和总闭眼时 间可作为眼部行为指标以评价被试者疲劳水平．由 于这 2个指标均与被试者疲劳状态下的生理反应有 直接关系，所以由2个指标经过计算得到的平均一 次闭眼时间指标相对更加准确，可以考虑进一步对 其进行深入研究，探讨其实用性． 另外，作为疲劳评价研究的初步探索，本实验 目 的是确定指标的适用性，即能否有效地测定被试者 的疲劳状态．今后将采用大量样本的实验确定以此 指标判断疲劳状态的具体阂值，同时有必要选用有 驾驶经验的被试者，使测得的评价阈值更有实效性． 参考文献 ： [1] 陈勇，黄琦，刘霞，等．一种全天候驾驶员疲劳检测方法研究 EJ]．仪器仪表学报，2009，30(3)：636． CHEN Yong， HUANG Qi， LIU Xia， et a1． All—weather detection method of driver fatigue L J]．Chinese Journal of Scientific Instrument，2009，30(3)：636． [2] 杜志刚，潘晓东，郭雪斌．高速公路隧道进出口视觉适应实验 EJ]．哈尔滨工业大学学报 ，2007，39(12)：1998． DU Zhigang， PAN Xiaod ong， GUO Xuebin． Experimental studies of visual adaptation during freeway tunnel’S entrance and exit[J]．Journal of Harbin Institute of Technology：Natural Science Edition，2007，39(12)：1998． [3] 潘晓东，宋永朝，杨轸，等．基于视觉负荷的公路隧道进出口环 境改善 范 围[J]．同济 大学 学 报：自然科 学 版，2009，37 (6)：777． PAN Xiaod ong．S()NG Yongchao，YAN G Zhen，et a1．Visual environment improving scope at entrance and exit of highway tunnel based on visual load[J]．Journal of Tongji University： Natural Science，2009，37(6)：777． r 4] Anneke Heitmann，Rainer Guttkuhn，Acacia Aguirre，et a1． Technologies for the monitoring and prevention of driver fatigue[Cff／A Proceeding of the First International Driving Symposium on Human Factor in Driver Assessment，Training and Vehicle Design，Iowa：University of Iowa．Public Policy Center，2001：81—86． [5] 王荣本，郭克友 ，储江伟，等．适用驾驶员疲劳状态监测的人眼 定位方法研究EJ3．公路交通科技，2003，20(5)：111． WANG Rongben，GUO Keyou，CHU Jiangwei，et a1．Study on the eye location method in driver fatigue state surveillance[J]． Journal of Highway and Transp0rtation Research and Development，2003，20(5)：111． [6] 周玉彬，俞梦孙．疲劳驾驶检测方法的研究[J]．医疗卫生装 备，2003，24(6)：25． ZH0U Yubin，YU Mengsun．Research on method of detecting drowsy driver[J3．Chinese Medical Equipment Journal，2003， 24(6)：25． [7] 郑培，宋正河，周一呜 机动车驾驶员驾驶疲劳测评方法的研 究状况及发展趋势_J]．中国农业大学学报 ，2001，6(6)：101． ZHENG Pei。SONG Zhenghe，ZH0U Yiming．Study situation and developing trend on detecting and evaluating techniques of motor driver fatigue [J]．Journal of China Agricultural University，2001，6(6)：101． [8] 颜松，魏建勤，吴永红．汽车驾驶员瞌睡状态脑电波特征提取 的研究rJ]．中国生物医学工程学报，2005，24(1)：110． YAN Song，WEI Jianqin， WU Yonghong． Study of EEG features extraction for doze car drivers lJ]．Chinese Journal of Biomedical Engineering，2005，24(1)：110． [9] 于兴玲，王民，张立材．驾驶 员眼睛疲劳状态监测技术研究 lJ]．传感器与微系统，2007，26(7)：16． YU Xingling，WANG Min，ZHANG Licai．Study on driver’S eye fatigue state detection technique[J]．Transducer and Microsystem Technologies，2007，26(7)：16． [10] Hayami T， Matsunaga K， Shidoji K， et a1．Detecting drowsiness while driving by measuring eye movement a pilot study r C]／／The IEEE 5th International Conference on Intelligent Transportation Systems Proceedings．New York： IEEE，2002：156—161． [u] 殷艳红．基于脑电波与眨眼的驾驶员疲劳模拟实验研究[D]． 上海：同济大学交通运输工程学院，2008． YIN Yanhong．Research on driver’S fatigue state based on analyzing EEG and eye blink in stimulated driving environment [D]．Shanghai：Tongji University．College of Traffic and Transportation Engineering，2008．