驾驶员疲劳状态的检测

技术与市场 第17卷第8期2010年 0 引言 随着社会经济的发展，机动车辆与日俱增，随之而来的人 身安全越来越受到人们的关注。最近的研究表明：造成汽车碰 撞事故的原因25%～30％产生于驾驶疲劳。驾驶疲劳问已经 引起了广泛的关注，西方发达国家投入大量的人力、物力对这 一领域展开研究，近年来也成为国内许多专家、学者的研究热 点。早期对驾驶疲劳的客观测评主要从医学角度出发,借助医 用脑电图仪、心电图仪、肌电图仪测试驾驶员的脑电波形、心电 波形、肌电波形,从而确定其疲劳程度。尽管这种方法比较准确, 但测试条件苛刻,过程复杂,不易推广应用，在各种检测方法中 能满足以上要求且效果较为理想的是用摄像机进行实时拍摄， 通过图像处理和模式识别来检测司机眼部的反应。本文提出了 一种基于图像处理的实时检测驾驶疲劳的方法，利用肤色信 息、投影和连通域相结合的方法检测眼睛，通过Adaboost算法 检测人脸区域、Camshift动态跟踪人脸区域、灰度积分投影法与 Hough变换椭圆检测法相结合定位人眼，获取上下眼睑距离以 及根据PERCLOS参数来判断是否疲劳。本方法无需接触式的 佩戴装置，采用多种信息融合的方式进行人脸与眼睛状态的判 断，采用了高效的检测跟踪算法以确保在极高的检测率情况下 达到实际应用实时性的要求。 1 原理 首先，用图像预处理方法对从摄像头获取的一帧图像进行 处理，将图像中参杂的噪声滤除掉，减小后续过程中图像的定 位和识别带来的误差。然后采用Adaboost和Camshift对人脸的 识别和跟踪，第一步用Adaboost方法将人脸区域从整幅图像中 分割出来，即检测出图像中最大人脸区域；第二步用Camshift 方法跟踪找到的最大人脸区域，确保我们需要的最大人脸区 域不被丢失。其次，对人眼的定位和检测，用积分投影法对 二值化的图像进行水平和垂直投影，然后采用Hough变换椭 圆检测快速而准确的找到人眼。最后，对驾驶员疲劳状态的 检测，也就是用PERCLOS原理来判断驾驶员是否疲劳，以此 为依据，如果驾驶员疲劳了，可以对驾驶员发出警告信息， 避免车祸的发生。 2 人脸定位 摄像机对驾驶员进行实时拍摄，并返回连续的图像序列， 首先对图像进行预处理，然后对处理后的图像进行，对人 脸的定位涉及到两个步骤：对单帧图像的人脸检测和对连续帧 图像的动态人脸跟踪。对于人脸检测，采用Adaboost算法；而对 于人脸区域跟踪，采用Camshift算法，通过这两个步骤达到对人 脸的实时定位，检测出人脸区域R。 2.1 人脸图像预处理 自然条件下的图像中不可避免地伴有噪声的影响，这会对 图像的定位和识别带来很大影响，必须在图像处理之前对其进 行噪声消除，以最大限度地减少噪声带来的影响。中值滤波是 一种能有效抑制图像中噪声的非线性信号处理技术，它对于干 扰脉冲和点状噪声有良好的抑制作用，同时又能保护好图像边 缘。本文采用模板为3×3的中值滤波法，取得了较好的效果。 2.2 基于Adaboost算法的人脸检测 1995年，Freund和Schapire提出了Adaboost算法。Adaboost人 脸检测算法是一种基于积分图、级联检测器和Adaboost算法的 人脸检测算法，该方法的核心思想是将分类能力一般的弱分类 器加权构造成强分类器。 具体算法的描述如下： (1)样本集包含n个训练样本：(x1,y1),(x2,y2),Λ,(xn,yn),fj (xi)，代 表第i个训练图像的第j个Haar特征，xi∈X表示输入的训练样 本，yi∈Y={1,- 1}分别表示真假样本。 (2)初始化权重wij=1/2a,1/2b,其中a,b分别表示真样本、假样 本的数目，总样本数n=a+b。 (3)对于T轮训练For t=1，2，…，T： ①对所有样本的权重进行归一化 wti=wti/ n i = 1 Σwt,i (1) ②对于每个样本中第j个Haar特征，可以得到一个简单分 类器hj，也就是确定阈值θj和pj偏置，使得误差εj= n i = 1 Σwt,i |hj(xi)- yi| 达到最小，而 驾驶员疲劳状态的检测 黎明华1，罗李焱2，陈雅琳2 （1．四川大学 计算机学院, 四川 成都 610065；2. 四川大学 电气信息学院, 四川 成都 610065） 摘 要：为了减少由于驾驶员疲劳驾驶引起的交通事故，提出驾驶员疲劳状态检测。 根据驾驶员这一特殊群体的特 点，设计基于人眼的疲劳检测系统。 首先，利用Adaboost算法和Camshift算法对人脸进行动态跟踪定。 其次，利用积分投影 和Hough变换椭圆检测进行人眼定位， 根据椭圆的面积判断人眼的睁闭状态。 最后， 疲劳检测采用PERCLOS指标。 用 VS2008仿真实现了该系统，并验证了该设计的准确性和有效性。 关键词：Adaboost算法；Camshift算法；积分投影；Hough变换 doi:10.3969/j.issn.1006- 8554.2010.08.007 技术研发 17 TECHNOLOGY AND MARKET Vol.17,No.8,2010 hj(x)= 1,pjfj＜pjθj 0,其j 它 (2) 偏置pj决定不等式方向，只有±1两种情况。 ③在确定的简单分类器中，找出一个具有最小误差εt的弱 分类器ht。 ④对所有样本的权重进行更新 wt+1,i=wt,iβt1- ei，其中βt=εt/(1- εt)，如果xi被ht正确分类，则ei=0， 反之ei=1。 (4)最后得到的强分类器为 H(x)= 1, T t = 1 Σαtht(x)≥0.5 T t = 1 Σαt 2，其 t t tt t t t t t 他 (3) 其中αt=ln(1/βt)，是根据ht的预测错误衡量的，也就是对第t 轮产生的分类规则ht的评价，αt越大，ht的重要性越大。 以上训练的物理意义可以表达为，当已经获得的分类器对 于某些样本分类正确，那么减小这些样本的权重；当分类错误， 增加这些样本的权重。这样，后面训练提取的简单分类器就会 更加强化对这些分类错误样本的训练。最终，通过权重组合所 有的弱分类器以形成强分类器。 2.3 基于camshift算法的动态人脸跟踪 通过Adaboost算法，已经成功的检测出人脸区域R，但是由于 我们采用的是由摄像机不断的采集人脸图象，即我们需要处理 的是连续的图像序列，对于相邻的两帧图像中人脸区域可能发 生变化，为了提高处理速度，不可能对每一帧图像都重新采用 Adaboost算法，于是我们采用Camshift算法。Camshift算法能够对 已经检测到的人脸区域R进行动态跟踪，如果跟踪失败，则重新 使用Adaboost算法进行人脸检测，这样能有效的提高检测速度。 CamShift算法，即“Continuously Apative Mean- Shift”，是一 种运动跟踪算法，它主要通过视频图像中运动物体的颜色信息 来达到跟踪的目的。这个算法主要有三部分： (1) Back Projection计算； (2)Mean Shift算法； (3) CamShift算法。 2.3.1 Back Projection计算。 由于RGB颜色空间对光照亮度变化较为敏感，为了减少此 变化对跟踪效果的影响，首先将图像从RGB空间转换到HSV空 间；然后对其中的H分量作直方图，在直方图中代表了不同H分 量值出现的概率或者像素个数，就是说可以查找出H分量大小 为h的概率或者像素个数，即得到了颜色概率查找表；将图像中 每个像素的值用其颜色出现的概率对替换，就得到了颜色概率 分布图，这个过程就叫反向投影，即Back Projection。 2.3.2 Mean Shift算法 Mean Shift算法可以分为以下4步： (1)在颜色概率分布图中选取搜索窗W； (2)计算零阶矩：Z0,0=∑∑I(i,j)， (4) 计算一阶矩：Z1,0= x Σ y Σx×I(x,y)， (5) Z0,1= x Σ y Σy×I(x,y)； (3)搜索窗口质心：xc=Z1,0/Z0,0，yc=Z0,1/Z0,0； (6) (4)调整窗口中心到质心； (5)重复(2)、(3)、(4),直到收敛。 2.3.3 Camshift算法 将 MeanShift算法扩展到连续图像序列，这样就形成了 CamShift算法。该算法通过颜色概率分布图像的零阶距、一阶 距和二阶距计算质心位置和目标方向角，不需计算每帧图像所 有的像素点的颜色概率分布，只需计算比搜索窗口大一些的区 域内的像素点的颜色概率分布，所以，可以大大节省计算量，并 且能够自动调节搜索窗的大小和位置，定位被跟踪目标的中心 和大小，并利用当前帧定位结果来预测下一帧图像中目标的中 心和大小，当视频序列变化时，即可实现连续跟踪。 整个算法的具体步骤分5步： (1)将整个图像设为搜寻区域； (2)初始话Search Window的大小和位置； (3)计算Search Window内的颜色概率分布，此区域的大小 比Search Window要稍微大一点； (4)运行MeanShift算法，获得SearchWindow新的位置和大小； (5)在下一帧视频图像中，用Step 3获得的值初始化Search Window的位置和大小，跳转到Step 3继续运行。 3 基于积分投影和Hough变换椭圆检测的人眼定位 对于人眼定位有许多种方法，例如基于遗传算法和决策树 的人脸定位算法、基于神经网络的人眼定位算法、基于模板匹 配的眼睛定位方法，但上述多种方法有的太过复杂，定位时间 复杂度太大，有的定位精度不够准确，所以，我们选择了基于积 分投影和Hough变换椭圆检测相结合的人眼定位。 通过Adaboost算法和Camshift算法实现了连续的对人脸区 域的动态跟踪和定位，检测到人脸区域R，对于区域R，首先采 用水平积分投影和垂直积分投影找到人眼的纵坐标和水平坐 标，然后采用Hough变换椭圆检测的方法精确定位人眼和判定 人眼的睁闭状态。 3.1 用积分投影初定位人眼 人脸图像的灰度分布是有一定特点的，即头发、眉毛、眼 睛、嘴的灰度值要比周围肤色的小，于是可以利用这一特定做 积分投影，初步定位人眼的坐标。 在人脸定位一步，已经获得了人脸区域R，为方便后面进 行积分投影，首先对图像进行二值化处理，这里采用最大类间 方差阈值分割法。其基本思想是一副图像被一个阈值分为目标 与背景两部分，当两部分之间的方差最大时，分割效果最好。 对上面二值化的图像做积分投影，设I(i,j)表示图像(i,j)出的 灰度值，则水平投影和垂直投影为： H(y)= x ΣI(i,j) (7) V(x)= y ΣI(i,j) (8) 积分投影图如下： 技术研 发 1818 技术与市场 第17卷第8期2010年 从图1水平积分投影图可以看出，眉毛和眼睛的灰度都较 低，在积分曲线中处于波谷。但是在实际情况下，眼睛有睁眼和 闭眼两种状态，对于闭眼时的灰度积分图，眼睛的积分波谷并 不明显，但是眉毛是一个比较稳定的特征，而眉毛和眼睛的距 离也很近，小于一个常量，于是，可以先通过水平积分找出眉毛 的纵坐标，然后向下滑动一定距离即为眼睛的纵坐标。 找到眼睛的纵坐标之后，这个坐标值向上下扩展一个数 值，然后依此区域做垂直积分投影，如图2所示，可以找到左右 眼的大致水平坐标。 经过水平和垂直积分投影即初步定为到了眼睛的位置。 3.2 用Hough变换椭圆检测法精确定位人眼 Hough变换是曲线检测领域中最有成效的方法，其主要优 点为：对于图像中的噪声点不敏感，利用其得到的结果可有效 地滤除噪声的影响。Hough变换最初由Paul Hough于1962年提 出，利用图像空间到参数空间的映射来进行直线检测。它的基 本思想是利用点与线的对偶性：图像空间中共线的点对应参数 空间中相交的直线：参数空间中相交于同一点的直线对应于图 像空间中共线的点，通过统计参数空间中每一点的穿越直线数 可以检测出图像空间中的直线。将参数空间扩展到5维，即使椭 圆检测。 椭圆的参数形式如下所示： B2- C＜0 (1+C)(CF+2BCE- D2C- B2F- E2)＜! 0 (9) Hough变换检测椭圆的基本步骤如下： (1) 设E为图像空间的边缘点集，P为参数空间的参数单元 集； (2)从E中随机采样5点，计算这5点所确定的二次曲线参数 P0，求得P0，若满足上式，则对参数单元集P进行搜索，若存在 参数Pm，与P0的误差在容许范围之内，则将参数Pm的计数值 Cm加1，并将参数Pm更新；如果不存在符合上述条件的参数 Pm，则在参数空间P中插入新的参数Pm； (3)当参数Pm的计数值Cm达到指定阈值T时，该参数对应 的椭圆即成为候选椭圆； (4)判断该候选椭圆是否为真实椭圆，若满足条件，则检测 成功；否则，从P中去掉该参数，继续重复步骤(1)～(3)进行检 测，直到边缘点集E检测完毕。 4 疲劳判别 目前，眼睛的疲劳参数有眼皮的运动、眼球的运动、瞳孔的 运动等，但是眼皮的运动能够较准确的判定，大部分研究驾驶 疲劳的机构都采用PERCLOS(PercentEyehdClosure，眼睛闭合时 间占特定时间的百分率)作为生理疲劳程度的测量指标。人在 疲劳磕睡时，眼睑的眨动一般较频繁，眼睛闭合时间也较长。一 般情况下人们眼睛闭合的时间在0.12～0.135之间，驾驶时若眼 睛闭合时间达到0.155就很容易发生交通事故。 在上面采用Hough变换椭圆检测检测到眼睛的瞳孔后，先 求椭圆的面积，然后根据椭圆的面积的大小来判定眼睛的睁闭 状态，即面积小于一定值即判断眼睛为闭合状态。然后通过多 帧图像综合求出眼睛闭合的时间，即可求出PERCLOS。 5 结论 实验证明，本文采用的眼睛定位方法能够简单快速地定位 人眼，并且这种方法鲁棒性很强，不受人脸背景、人脸肤色、姿 态的影响，在很大程度上排除了驾驶室内的复杂背景、驾驶员 各种面部姿态、表情对眼睛定位的影响。 参考文献： [1] Gary Bradski，Adrian Kaehler.Learning OpenCV ［M］.O’ Reilly Media，2008，(9). [2] Gary R. Bradski, Santa Clara, CA. Intel Corporation Computer Vision Face Tracking For Use in a Perceptual User Interface [C]. Proceedings of IEEE Workshop Applications of computer Vision. Princeton,NJ: IEEE, 1998, 214～219. [3] Paul Viola, Michael J. Jones. Robust RealTime Face Detection [J]. International Journal of Computer Vision 2004，57(2)：137-154. [4] 郭玉珂，张松敏，高翔 .Adaboost人脸检测算法研究［J］.科 技信息，2009，（10）：211-214. [5] 佘九华，王敬东，李鹏.基于Camshift的人脸跟踪算法［J］.计 算机技术与发展，2008，（9）：12-16. [6] 邢诚，沈琦，谭小波.一种基于随机Hough变换的椭圆检测 方法［J］.计算机与数字工程，2008，（1）：23-25. 图2 人脸图像垂直积分投影图 图1 人脸图像水平积分投影图 技术研发 19