疲劳驾驶检测中的快速人眼定位方法

疲劳驾驶检测中的快速人眼定位方法 金璐、杨述斌、章振保 武汉大学电气信息学院 摘要：为了减少因疲劳驾驶所引发的交通事故的发生，人眼定位在疲劳驾驶检测技术中起着重要的作用。在对人眼进行定位的过程中，采用多摄像头获取图像并对这些图像进行筛选，将检测到的人脸面积最大，并且能够完整检测到双眼状态的图像做为最佳输入图像，接着采用Adaboost算法对其进行人脸定位以减小检测区域，再对其进行灰度投影将检测范围缩小在眉眼区域，然后进行一种新的LMS匹配，精确定位眼睛区域。在人脸成功定位的基础上，该算法经过二次眼睛定位，较传统的模板匹配方法，平均模板匹配检测时间提高到了30.5ms，准确率提高到了97%。实验表明：将灰度投影法和改进的LMS（最小均方误差）模板匹配两种人眼定位的方法相结合来进行人眼的定位，与传统的模板匹配相比检测的效率大大提高了，检测的准确率也提高了，使得疲劳驾驶检测系统能更高效准确的进行实时检测，该方法能适用于疲劳驾驶检测等需要快速人眼定位的场合。 关键词：疲劳驾驶，人眼定位，多摄像头，灰度投影，LMS模板匹配 中图分类号：TP391 文献标识码：A Fast eye location method in driver fatigue detection Jin Lu， Yang Shubin，Zhang Zhenbao Electrical and Information College of Wuhan Institute of Technology，WuHan 430205 China Abstract：In order to reduce the traffic accident,Eye location is acted an important role in the fatigue driving detection.During the process of the eye location,the images was got by multi-camera and choosen the best to input, At first ,the face was located by Adaboost method. Secord, the area was narrowed in facial features by the gray projection,and applied a new LMS template matching.Then the area of eye was located accurately.Based on the face location accurately, through the twice eye location, the efficiency of this algorithm was improved to 30.5ms,and the accuracy of the eye location was improved to 97%. The experiment showed that,after the combination of the gray projection and the LMS template matching, the efficiency and the accuracy had been improved greatly,and the fatigue driving detection system is more efficient and detect in time.So it is applied in the fatigue driving detection that needed rapid eye location. Key Words: fatigue driving , eye location ,multi-camera, gray projection, LMS template matching 1、引言 疲劳驾驶引起的交通事故占据我国交通事故中很大的一部分，因此，研究有效、可行、操作简易的疲劳驾驶检测系统显得尤为重要。疲劳驾驶检测可以从多方面对驾驶员进行检测，国外已经研制出了几款比较成功的疲劳驾驶检测预警系统，例如日本先锋公司在1994年研制出来的心跳速度检测仪，美国Ellison Research Labs在2000年研制出来的车道偏离报警系统DAS2000系统，澳大利亚人在1995年研制出来的头部位置检测仪系统，与此类似的还有转向盘检测系统。根据国外的几种疲劳驾驶检测预警系统，国内的一些专家学者根据这些方法对此进行了试验，石坚、吴远鹏、卓斌[1]等人通过传感器测量驾驶员驾驶时方向盘、踏板等运动参数来判别驾驶员的疲劳状态，该方法的灵敏度较高，且不用与驾驶员身体相接触，但是检测结果的可靠性与准确率一般。毛喆[1]采集了驾驶模拟器上被测试者在驾驶操作时的心率、肌电、皮电、皮温、呼吸频率及呼吸深度等几项生理指标，提取了疲劳状态时被测试者的生理特征值来判断，该方法的检测结果比较有效可靠，准确率高，但是该系统要与身体相接触，影响驾驶员的正常驾驶操作。还有通过测量车辆与路面相关参数来判断驾驶员的疲劳状态，这种方法虽然有效，但是测量的信息不是很可靠。结合前面的几种疲劳驾驶检测方法的优点和缺陷，采用眼睛状态对疲劳驾驶进行检测。由于眼睛是驾驶员最能反映疲劳状态的因素，所以，根据眼睛的状态来判断疲劳驾驶比较有效可靠，且易于操作，不会影响驾驶员正常驾驶。由于疲劳驾驶检测中，需要保证检测系统的实时性，高效率以及准确性，故而，一种快速的高效的人眼定位方法显得尤为重要。设计二次定位，结合灰度投影并且选用基于LMS模板匹配用于人眼定位，效果良好。 2、系统总体设计 选用多个摄像头对驾驶员进行图像采集，并进行图像预处理，其中，图像预处理包括光照均衡预处理，直方图均衡化，去噪等等，目的是为了增强图像对比度，使图像更清晰。将筛选后的图像选择最优的进行输入，继而进行脸部定位，然后运用积分投影对人眼进行粗定位，初步将人眼定位在眉眼区域，接着运用LMS模板匹配对图像进行最终定位。整个过程采用的是一种由粗到细的思路进行，最终达到定位更准确，效率更高。人眼定位系统总体设计框图如图1所示： 图1 人眼定位系统框图 Fig1 Positioning system block diagram 3、图像筛选 司机在驾驶时，难免会出现扭头之类的头部运动，因此，这些都会影响到摄像头的拍摄，也影响检测的准确率。为了克服这一问，采用多个摄像头拍摄，在人脸的不同方位，等距离的安装多个摄像头，通过多个摄像头在不同的方位对驾驶员进行拍摄，将拍摄获取的图像进行筛选后，再输入，再对输入的图像进行检测。这里对摄像头拍摄到的图像进行筛选，根据面积大小进行筛选，也就是说，将拍摄到的图像中，能完整的拍摄到整个脸部的并且脸部面积最大的作为输入进行检测。 将人脸的形状模拟成一个椭圆，用椭圆的面积公式来求取人脸的面积 图2 筛选图像 Fig2 Filtered image 计算人脸面积如图3所示： 图3 计算人脸面积 Fig3 Calculate the area of the face 如图3中，左右脸边缘线之间的距离为椭圆的长轴用a来表示，额头顶部与下巴底端之间的距离为椭圆的短轴用b来表示。脸部的面积就模拟为椭圆的面积用S来表示， ，通过比较各个摄像头拍摄到的图片的脸部面积大小，取面积最大的作为样本图片进行输入。 如图4，图5，图6分别是几种角度拍摄的图片： 图4 正面图片 图5 双眼拍摄不完整图片 图6 侧面图片 Fig4 Positive picture Fig5 Incomplete picture of eyes Fig6 The side picture 通过上述比较方法，选择人脸面积大并且双眼拍摄完整的图4作为输入图片进行检测。 4、 Adaboost算法进行人脸定位 通过CCD摄像头采集驾驶员的面部图像，然后对其面部图像进行脸部定位，脸部定位有很多种方法[2] [3]，例如有基于肤色的人脸检测方法，基于模板匹配的人脸检测等等。但是由于图像中有一些类似肤色区域，因此，用基于肤色的检测方法会把类似肤色区域也错判为人脸，模板匹配法大多是用归一化互相关直接计算两幅图像之间的匹配程度。因此，这种检测方法对图像的要求比较高。所以，采用Adboost算法[4]进行人脸检测。 AdaBoost 算法是通过把一些比较弱的分类方法合在一起，组合成一种新的且较强的分类方法的一种算法。一个弱分类器 包括一个类 Harr 特征 和 一个分类阈值 以及一个分类方向 ，并有如下关系： 弱分类器既可以是任何单一特征也可以是组合特征的分类器，只要其能对候选区域做二值判断即可，在由类 Harr 特征组成的弱分类器中，一般具有一个特征，用来对候选区域进行特征运算并得到特征值，特征值阈值和代表大于/小于阈值者通过的方向则对应每一个特征。选择错误率最小的特征值作为弱分类器的阈值，它的方向符号作为弱分类器的方向符号。强分类器具有否决权，强分类器用下式来定义 每个弱分类器根据不同的自身分类精度具有不同的票权值，如果候选区域通过了该弱分类器，则它的投票权值会被累加，如果权值累加值达到一个预先设定的阈值也就是强分类器的阈值时，则该区域通过了该强分类器。 如图7，图8，图9分别是原始图像，二值化后的图像，人脸定位后的图像： 图7 原图 图8 二值化图像 图9人脸定位 Fig7 The original picture Fig8 Two value image Fig9 Face location 经过Adaboost算法训练出来的级联分类器就具有很高的识别率。能较准确的检测到人脸。 5、人眼定位 对于眼睛的定位检测有很多种方法，例如Hough变换[5]法，但是Hough变换是三维的，计算比较复杂。阈值分割法，由于该方法对于如人眼闭合，戴眼镜等一些情况定位效果较差。模板匹配法[6]，由于这种方法对图片要求比较高，所以，仅仅靠模板匹配来进行检测不是很准确。还有利用灰度大小来判断，由于眉毛区域的灰度也比较低，因此仅仅靠灰度来对人眼进行检测会将眉毛进行误判。所以，提出将灰度投影[7]与模板匹配相结合的方法进行判断，最后准备的定位出人眼。 5.1、用灰度投影法勾选出大致的人眼位置 因为人的脸部器官的各个灰度不同，眉眼区域相对来说比较黑，因此其灰度比较小，采用水平积分投影将图像定位在眉眼区间，以缩小检测范围。 如图10是经过灰度投影法后初步框选出的眼睛区域： 图10 框选出眼睛区域 Fig10 Mark the area of the eye 根据水平和垂直的灰度投影大致可以框选出眉眼区间的位置。由于图片越大，在后续的模板匹配中的匹配速度就越慢，因此，初步框选出眼睛区域后的匹配速度要比直接进行模板匹配快得多。 5.2基于LMS的模板匹配最终定位人眼 由于眼睛区域经常会受到眼皮睫毛之类的遮挡，因此，在对眼睛进行进一步定位前先对眼睛区域进行边缘检测。 LMS算法即最小均方误差，它是通过调节自身权矢量，使得误差能量达到最小。这里是指使得模板和匹配目标的误差达到最小，从而使其能更加准确的匹配。 对于模板匹配，首先要利用以下公式衡量模板 和匹配目标 的相似性： 再将其归一化后，得到模板匹配的相关系数： 当模板和子图完全一样时，相关系数 。在被搜索图S中完成全部搜索后，找出R的最大值 ，其对应的子图即位匹配目标。显然，用这种公式做图像匹配计算量大、速度慢。因此，本文选用另外一种算法最小均方误差（LMS）来计算， 来衡量 和 的误差，其公式为： 通过调整权矢量 ，使得均方误差最小，即使得 EMBED Equation.3 ，达到匹配效果。 如下图11和图12分别是未经过灰度投影初步框选眼睛和经过灰度投影初步框选眼睛后利用本文提出的算法的模板匹配的结果图： 图11 未经初步框选定位眼睛 Fig11 Eye location without the initial marking 图12经初步框选后定位眼睛 Fig12 Eye location with the initial marking 传统的模板匹配法是对整幅图像进行模板匹配，这样会提高计算的复杂度，并且检测时间较长，经过初步的定位之后，缩小了模板匹配的区域，将其缩小在比较小的眼睛区域进行匹配，采用LMS模板匹配对图像进行匹配，大大提高了匹配的速度，提高了匹配的准确率，也降低了模板匹配的复杂度。将传统的模板匹配[8]人眼定位与本文提出的人眼定位算法进行比较，比较结果如表1所示： 表1 人眼定位方法的比较 人眼定位的方法 模板匹配检测平均时间（ms） 准确率（%） 传统模板匹配 170.2 94.16 LMS模板匹配（未经框选定位） 90.5 96 LMS模板匹配（经初步框选定位） 30.5 97 在人眼定位仿真实验中，选用了100幅图片对其进行定位，其中未经初步框选的能准确定位的有96幅，经过初步框选的能准确定位的有97幅，相比传统的模板匹配，其准确率提高了。并且在未经过初步框选的模板匹配的检测时间提高到了90.5ms，经过初步框选后的模板匹配时间提高到了30.5ms，检测效率也提高了。在定位眼睛的过程中，对传统的定位方法进行了改进，将灰度投影法，模板匹配法几种方法结合起来，对眼睛区域进行多次定位，提高定位的检测时间和准确率。由以上不难看出，在有了前面的初步定位的基础之上，新的模板匹配定位人眼不仅检测时间大大缩短，准确率也提高了。 6、结束语 采用多个摄像头对司机进行拍摄，这样避免了单个摄像头在司机扭头或者其他一些动作的时候不能及时拍到司机的头部画面而不能对其当时的状态进行检测，采用的多个摄像头拍摄在保证不影响司机正常驾驶的情况下，提高了检测的准确率，降低了漏检率。接着采用了将灰度投影法和改进的LMS模板匹配两种人眼定位的方法相结合来进行人眼的定位，在有了前面的初步定位的前提下，新的模板匹配比传统的模板匹配检测的效率大大提高了，检测的准确率也提高了。对眼部状态进行司机疲劳驾驶的检测是比较有效的。但是根据驾驶的环境的不同，不同的人的驾驶状态也不同，每个人疲劳驾驶的判定的差异很大，而且每种疲劳驾驶检测的方法的侧重点不同。因此，为了提高疲劳驾驶的准确性与有效性，多种疲劳驾驶方法相结合是我们今后发展研究的重点。 参 考 文 献 [1]甄轶佳．基于眼部特征的疲劳驾驶检测技术研究[D]．沈阳工业大学硕士学位论文，2009． [2]王荣本．驾驶员驾驶行为监测中的面部定位方法的研究[J] ．公路交通科技，2003，1002-0268(2003)02-0096-04． [3]李逢博．人脸检测与标定技术的实现与研究[D]．西北大学硕士学位论文，2004． [4]范一峰，颜志英． 基于Adaboost算法和肤色验证的人脸检测研究[J]．微计算机信息，2009，1008-0570(2010)07-3-0231-02． [5]刘念，苏杭，郭纯宏，周静．基于Hough变换圆检测的人眼定位方法改进[J]．计算机工程与设计,2011，1000-7024（2011）04-1359-04． [6]舒梅，董秀成．基于肤色和模板匹配的人眼定位[J]．计算机工程与应用，2009，45(2)：237-239． [7] 冯建强 , 刘文波 ,于盛林．基于灰度积分投影的人眼定位[J]．计算机仿真，2005，1006-9348(2005) 04-0075-02． [8]刘鹏，江朝晖，熊进，刘爱萍，冯焕清．用于驾驶疲劳检测的人眼定位及状态判别算法[J]．计算机工程与应用， 2010，46（24）：185-188． _1404933099.unknown _1404970505.unknown _1404971099.unknown _1404992379.unknown _1424513485.unknown _1425401038.unknown _1424503002.unknown _1424503006.unknown _1404970549.unknown _1404969977.unknown _1404932993.unknown _1404933096.unknown _1404933097.unknown _1404933098.unknown _1404932999.unknown _1404932980.unknown _1404932988.unknown _1404452949.unknown _1404899422.unknown