基于车道线斜率的车道偏离检测

基于车道线斜率的车道偏离检测 第 39 卷第 7 期 光电工程Vol.39, No.7 2012 年 7 月 Opto-Electronic Engineering July, 2012 文章编号:1003-501X(2012)07-0043-06 基于车道线斜率的车道偏离检测 121余厚云 ，张为公 ，赵转萍 ( 1. 南京航空航天大学 机电学院，南京 210016; 2. 东南大学 仪器科学与工程学院，南京 210096 ) 摘要:针对结构化道路上运动车辆的车道偏离检测问题～采用单目视觉作为感知手段～分别从针孔模型下摄像机成像的空间几何关系和图像中车道线消失点的位置特点两个方面出发～推导出车辆直行情况下车道偏离率与两侧 车道线斜率比之间的简单函数关系～该函数与摄像机内外参数无关。同时完成了在摄像机不同方向角下的车道偏 离率测量试验～结果明由于行车方向瞬时变化引起的摄像机方向角微小改变对车道偏离检测的影响可以忽略。 道路现场试验结果表明～上述视觉测量方法得到的车道偏离率与手工实测结果相比～其相对误差小于 5%。基于 车道线斜率的单目视觉检测方法避开了繁琐的摄像机参数标定过程～达到了较高的车道偏离检测精度。 关键词:车辆安全,车道偏离,单目视觉,车道线斜率,车道线消失点 中图分类号:TP212.9 文献标志码:A doi:10.3969/j.issn.1003-501X.2012.07.007 Lane Departure Detection Based on the Slope of Lane Lines 121YU Hou-yun，ZHANG Wei-gong，ZHAO Zhuan-ping ( 1. College of Mechanical and Electrical Engineering, Nanjing University of Aeronautics and Astronautics, Nanjing 210016, China; 2. Department of Instrument Science and Engineering, Southeast University, Nanjing 210096, China ) Abstract: To resolve the lane departure detection on structural road, monocular vision is adopted as the perception. Respectively based on the verification of projective geometry and the position of the vanishing point of lane lines in the picture with pinhole camera model, the relationship between lane departure and the ratio of lane line’s slope is concluded as a simple function which is unconcerned with the parameters of camera. Moreover, the experiment of measurement for the quantity of lane departure is performed with different camera orientation angles, and the result shows that the influence of small change of the orientation angles caused by the traffic direction can be neglected. Actual experiment result demonstrates that the precision of lane departure detection by this method is high, and the relative error is less than 5% compared with manual measurement. As stated above, the precision of lane departure detection by the method introduced is high and the complicated calibration of monocular camera can be avoided. Key words: safety of vehicle; lane departure; monocular vision; slope of lane lines; vanishing point of lane lines 0引言 当车辆在行驶过程中一部分接触或越过车道线时，称车辆发生了车道偏离。引起车道偏离的原因除了 天气恶劣、车道线不清晰等客观因素外，驾驶员疲劳驾驶、聊天、接听手机等造成的注意力不集中、对车 辆在车道中的当前位置缺乏正确判断也是其中的重要因素。研究结果表明，在车辆行驶时运用横向位置检 收稿日期:2011-12-08; 收到修改稿日期:2012-04-12 基金项目:国家教育部博士点新教师基金资助项目(200802861061);江苏省汽车工程重点实验室开放基金资助项目(QC200603);江苏省交通 科学研究资助项目(06C04) 作者简介:余厚云(1975-)，男(汉族)，安徽合肥人。讲师，博士，主要研究工作为机器视觉、测控技术。E-mail:meehyyu@nuaa.edu.cn。 [1] 测系统将可以预防约 53,的单车车道偏离事故。为此，各国学者和机构纷纷研制车道偏离告警系统以降低驾驶员的工作强度，提高道路交通的安全性。 道路感知是车道偏离告警系统的核心内容之一，其主要 功能是确定车辆在当前车道内的位置，为车道 [2]偏离决策提供判断依据。常用的道路感知方法主要有基于道路构造的感知和基于车辆的感知两种。前者 对车辆横向位置的估计精度较高，但其最大的缺陷是需对现有道路进行改造，耗资巨大。而后者则主要是 利用机器视觉获取道路曲率、宽度等几何信息，并检测出车辆相对于车道的位置。在此方面，目前国外已 经有相关的商业化产品出现，具有代表性的主要包括 AutoVue、Mobileye_AWS 和 ROADSCOPE 系统等。 国内近十几年来在车道偏离检测和告警系统方面的研究也取得了一定进展，但从事该工作的主要局限于清 [3][4]华大学、吉林大学等几所高校。由于起步较晚和一些技术上的原因，目前还没有商业化的产品面世。 [5-7]在通过机器视觉进行车道偏离检测时，国内外现有的检测方法大都需要通过测量车辆到车道边界的 准确距离来给出车道偏离结果，对摄像机标定结果的依赖性很强。摄像机标定过程本身就非常复杂，而且 车载摄像机外部参数在车辆行驶过程中会发生改变，因此也就无法保证车道偏离检测结果的正确性。同时， 单帧图像中道路边界的随机性给距离测量带来的影响在车道偏离检测中也无法避免，由此发出的车道偏离告警错误率很高。为此，本文根据摄像机针孔模型的成像特点及射影几何性质，推导出车道偏离率与图像 中车道线斜率之间的函数关系，在无需对摄像机进行标定的情况下可以计算出车道偏离的程度。 车道线直线模型1 在结构化道路上运动车辆车道偏离检测中，车道线的准确识 Lane line 别至关重要。为了提高车道线识别时的建模精度，研究人员常采 [8-10]Reference line 用二次或三次曲线作为道路模型，并且识别过程针对整幅图 像进行，算法复杂且实时性较差。为此，本文参照文献[11]的方 R H 法，考虑到我国公路工程技术标准规定的高速公路最小曲线半径 R=650 m，截取合适的感兴趣区域高度 H(例如在图 1 中取 H=2 m)， 则采用直线模型来表示车道线，产生的误差: Region of interest ε 2 2 (1) ε = R ? R ? (H 2)?0 .8 (mm) < 1 mm 计算结果表明采用简单的车道线直线模型可以满足车道偏离图 1 车道线直线模型的误差示意图 [12] 检测精度要求。在此基础上，采用 Hough 变换识别直线的方法， Fig.1 Sketch map for the error of linear road model 并结合 Kalman 滤波对车道线进行检测与跟踪。如图 2 所示，在 路面及周围环境存在干扰的情况下很好地实现了道路两侧车道线的检测。 图 2 路面及环境中存在干扰情况下的车道线检测结果 Fig.2 Result of lane lines detection with road surface disturbance or environmental interference 第 39 卷第 7 期 余厚云，等:基于车道线斜率的车道偏离检测 45 基于射影几何的车道偏离检测2 在图 3 中，假设摄像机光心位置为 O，光轴与道路平面交于点 G，与图像平面交于点 G′。按文献[13] c 介绍的方法调整摄像机安装位置以设定其外部参数，使摄像机方向角及侧倾角为 0。此时，摄像机光轴在 道路平面内的投影 CG 与车辆行驶方向一致。当车辆在道路上直行时，CG 与道路平面内左、右两侧车道 线平行。由摄像机针孔模型下的投影关系，道路平面内左、Right lane line Left lane line 右两侧车道线及直线 CG 在图像平面内的投影分别为直线 Road surface G PA′、PB′和 C′G′。又由射影几何性质可知，道路平面内的一 d Rd L组平行直线在图像平面内的投影交于一点 P，P 点即为车道 A B C 线在图像平面内的消失点。 Image plane 由简单的空间几何关系可以证明，图 3 中过光轴 OG 及 c P 其投影 CG 的平面同时垂直于道路平面和图像平面。不失一 般性，任取道路平面内与两侧车道线垂直的直线 AB，点 C 为直线 AB 与直线 CG 的交点，则直线 AB 与图像平面平行。 O c Traffic direction 令直线 CG 到左、右两侧车道线的距离分别为 d和 d，它们 L R 实际上度量了路面上车辆到两侧车道线的距离。于是，在 图 3 车道偏离检测示意图 ΔOCA 和 ΔOC′A′中: Fig. 3 Schematic diagrams of lane departure detection cc ′′ d | C A| | CA | L = (2) =′ | OC | | OC | | OC | c c c 同理，在 ΔOCB 和 ΔOC′B′中，有 cc ′′ | CB | d | C B| R = (3) = ′ | OC | | OC | | OC | c c c 联立式(2)和式(3)得 ′′ | C A|d L =(4) ′′d | C B R 同时，在图像平面内的 ΔPC′A′和 ΔPC′B′中， ′′ | C A| k R(5) = ? ′′ | C B| k L 式中:k和 k分别为左、右车道线在图像平面内投影直线的斜率。因此，由式(4)和(5)可得 L R kd RL= ? (6) d k R L 若令车道宽度为 d=d+d，从而可定义车辆到左侧车道线距离占整个车道宽度的比值为车道偏离率c， LR 则由式(6)有 d k L R (7) c = =d k?k R L 由式(7)可见，只要从图像中检测出左、右两侧车道线的斜率，代入公式即可确定直行情况下运动车辆 当前的车道偏离程度。 基于车道线消失点的车道偏离检测3 当车辆在车道内直行时，行车方向角α=0，左、右两侧车道线的消失点位于图像中过摄像机主点(u， 0 [13]v)的竖直直线上。此时左、右两侧车道线在图像中的斜率k ′和 k′分别为 0L R t cos? + t sin ?t cos? + t sin ?dx dx y z y z ′ ′ (8) k= ?k= ?, LRdy ?d cos?d cos?dy L R 式中:dx、dy 分别为图像中像素点在水平和竖直方向上的物理。t、t分别为摄像机外部参数中的平移 yz 分量，?为摄像机俯仰角，d、d的含义同上。则由式(8)可以推导出车道偏离率 c 为 LR ′kd L R c = =(9) ′ ′d k?k RL 由此可见，在计算车道偏离率时，式(9)得到了与式(7)同样的结论。式(7)和(9)表明车辆车道偏离程度 的度量只与图像中道路两侧车道线的斜率有关，而与摄像机内外参数无关。若车道偏离率的值超过预先设 定的阈值 ε，则说明这时车辆已经偏离车道，应向驾驶员发出告警信号并提示车道偏离方向。 事实上，车辆在高速公路上行驶的过程中，如果一直是在车道内沿车道线方向行驶，车道偏离量始终 保持不变，则不会发生车道偏离事故。只有当车辆斜向行驶，且距离行车方向一侧的车道线距离过近时才 会发生危险。因此，实际应用中必须研究车辆斜向行驶时的车道偏离检测问题。 4车辆斜向行驶时的车道偏离检测 当车辆在车道内斜向行驶时，图像中两侧车道线的消失点偏离过主点(u, v)的竖直直线。但由于这种 00 斜向行驶通常是在驾驶员无意识情况下的车向“漂移”，行车方向角α即使不为零也是一个很小的值。例如 当行车方向角α=5?时，假设车速为 80 km/h，计算出此时车辆的侧向速度v ? 1.94 m/s。除非车辆进行有意C 识的换道，否则车辆不可能以这么大的侧向速度行驶。 如图 4 所示，拍摄了车辆相对于道路横向位置不变情况下按 1?~5?的不同行车方向角α(α角度为正表示 右偏，为负表示左偏)分别向左、右两侧车道线斜向行驶时的图像，并由各图中两侧车道线斜率计算出车道 偏离率的值列于表 1 中。由表 1 中的数据可以看出，在行车方向角较小的情况下，两侧车道线的斜率比变 化很小，因此当车辆在斜向行驶时也可以近似地用式(9)来计算车道偏离率。 (a) α =?5?(b) α=?4?α=?3?α=?2?α=?1?(c) (d) (e) (f) α=1?α=2?α= 3?(i) α = 4?(j) α= 5?(g) (h) 图 4 摄像机不同方向角下拍摄的道路图像 Fig.4 Picture of the lane with different camera orientation angles 表 1 车辆以不同方向角行驶时的车道偏离率 Table 1 Ratio of lane departure with different orientation angles of the vehicle Orientation angles of the vehicle/? Slope of left lane line Slope of right lane line Ratio of lane departure ?5 0.839 0.575 -0.621 ?4 0.842 0.576 -0.621 ?3 0.834 0.571 -0.626 ?2 0.829 0.569 -0.628 ?1 0.831 0.570 -0.627 1 0.816 0.568 -0.620 2 0.817 0.568 -0.621 3 0.819 0.569 -0.620 4 0.818 0.570 -0.618 5 0.817 0.569 -0.619 第 39 卷第 7 期 余厚云，等:基于车道线斜率的车道偏离检测 47 试验结果5 采用上述车道偏离检测方法，在高速公路上进行了现场试验。如图 5 所示，摄像机拍摄车辆在两条车 道线间不同位置直行以及向两侧车道线斜向行驶等各种行车状态下的道路图像，并计算图像中两侧车道线的斜率比，求出车道偏离率。表 2 中列出了该方法检测结果和道路现场手工实测的车道偏离结果。由表 2 中的结果可见，采用本文方法测得的车道偏离率在车辆直行时相对误差小于 2%，车辆斜向行驶时相对误 差小于 5%。与手工实测结果的比较表明，采用计算图像中两侧车道线斜率比来检测车道偏离的方法简单 可行，且具备了较高的检测精度。 (a) (b) (c) (d) (e) 图 5 车辆在各种行驶状态下拍摄的道路图像 (a)~(c) 车辆直行;(d) 车辆向左侧车道线斜向行驶;(e) 车辆向右侧车道线斜向行驶 Fig.5 Picture of the lane in different direction of the vehicle (a)~(c) Vehicle is travelling straight; (d) Vehicle is turning left; (e) Vehicle is turning right 表 2 视觉检测及现场实测的车道偏离结果 Table 2 Result of lane departure detection by vision and manual measurements Result of visual inspection Result of manual measurement Distance between Traffic state Slope of left lane Slope of right Ratio of lane Ratio of lane left lane line and Lane width/m line lane line departure departure the camera/m 0.662 0.503 1.74 3.41 0.510 Travelling straight (a) -0.671 1.253 0.272 0.90 3.41 0.264 Travelling straight (b) -0.467 Travelling straight (c) 0.396 0.822 2.76 3.41 0.809 -1.830 Turning left (d) 1.151 0.298 0.98 3.41 0.287 -0.488 0.750 0.439 1.47 3.41 0.431 -0.588Turning right (e) 6结论 本文从车辆主动安全技术中对车辆进行横向控制的角度，研究了采用机器视觉感知运动车辆在车道内的横向位置，提出了基于道路图像中车道线斜率的车道偏离检测方法。文中定义了车道偏离率来反映车辆 车道偏离的程度，并通过对摄像机针孔模型的理论推导，得到了车辆直行时车道偏离率与图像中两侧车道 线斜率比之间简单的比例关系。同时，根据车辆发生车道偏离的实际情况，通过试验结果证明了当车辆按 较小的方向角斜向行驶时该比例关系仍然近似成立。 由于车载摄像机外部参数在车辆行驶过程中是不断改变的，因此采取摄像机先标定再测量的方法在实 际应用中无法准确检测车辆的车道偏离量。与国内外现有的车道偏离检测方法相比，基于车道线斜率的车 道偏离检测采用车载摄像机内部参数离线标定、外部参数在线调整的方法，避免了摄像机内外参数均要标 定的复杂过程，节约了计算成本。同时，在无需测量车辆在道路中横向位置的情况下实现车道偏离检测， 消除了摄像机标定结果对车道偏离检测的影响。道路现场试验结果与手工测量结果的比较表明该方法达到 了较高的车道偏离检测精度。 参考文献: CHEN Mei～Jochem Todd～Pomerleau Dean. AURORA:A Vision-Based Roadway Departure Warning System[C]// IEEE [1] Proceedings of 'Human Robot Interaction and Cooperative Robots' in International Conference on Intelligent Robots and Systems～Pittsburgh～PA～USA～Aug 5-9～1995:243-248. 王春燕～吴超仲～丁振松～等. 基于磁道钉导航的智能公路车道保持硬件控制系统研究 [J]. 公路交通科技～2003～20(1): [2] 129-131. WANG Chun-yan～WU Chao-zhong～DING Zhen-song～et al. Study on Hardware Controlling System for Lane-Following on Intelligent Highway with Embedded Magnetic Nails [J]. Journal of Highway and Transportation Research and Development～2003～20(1):129-131. 李兵～张朋飞～何克忠. 基于增强转移网络(ATN)的室外移动机器人道路图像理解 [J]. 中国图象图形学报～2004～9(3): [3] 380-384. LI Bing～ZHANG Peng-fei～HE Ke-zhong. Road Image Recognition Based on ATN for Outdoor Mobile Robot [J]. Journal of Image and Graphics～2004～9(3):380-384. 余天洪. 基于机器视觉的车道偏离预警系统研究 [D]. 长春:吉林大学～2006. YU Tian-hong. Study on Vision-Based Lane Departure Warning System [D]. Changchun:Jilin University～2006. [4] LIN Qing～Han Youngjoon～Hahn Hernsoo. Real-Time Lane Departure Detection Based on Extended Edge-linking Algorithm [C]//Second International Conference on Computer Research and Development～Kuala Lumpur～Malaysia～May 7-10～ [5] 2010:725-730. Leng Yu-Chi～Chen Chieh-Li. Vision-based Lane Departure Detection Dystem in Urban Traffic Scenes [C]//11th International Conference on Control Automation Robotics and Vision～Singapore～Dec 7-10～2010:1875-1880. HE Jia～RONG Hui～GONG Jin-feng～et al. A Lane Detection Method for Lane Departure Warning System [C]//International [6] Conference on Optoelectronics and Image Processing～Haikou～China～Nov 11-12～2010:28-31. Park Jong Woung～Lee Joon Woong～Jhang Kyung Young. A Lane-Curve Detection Based on An LCF [J]. Pattern Recognition [7] Letters(S0167-8655)～2003～24(14):2301-2313. Wang Yue ～ Shen Dinggang ～ Teoh Eam Khwang. Lane Detection Using Spline Model [J]. Pattern Recognition [8] Letters(S0167-8655)～2000～21(8):677-689. [9] [10] Wang Yue～Teoh Eam Khwang～Shen Dinggang. Lane Detection and Tracking Using B-Snake [J]. Image and Vision Computing(S0262-8856)～2004～22(4):269-280. [11] 王荣本～徐友春～李兵～等. 基于线性模型的导航路径图像检测算法研究 [J]. 公路交通科技～2001～18(2):47-51. WANG Rong-ben～XU You-chun～LI Bing～et al. Study on Linear Model Based Image Recognition Algorithm of Navigation Route [J]. Journal of Highway and Transportation Research and Development～2001～18(2):47-51. [12] 孙伟～张小瑞～唐慧强～等. Hough 变换和最小二乘拟合的车道线协调检测 [J]. 光电工程～2011～38(10):13-19. SUN Wei～ZHANG Xiao-rui～TANG Hui-qiang～et al. Lane Coordination Detection Based on Hough Transformation and Least Square Fitting [J]. Opto-Electronic Engineering～2011～38(10):13-19. [13] 余厚云～张为公. 基于摄像机模型的运动车辆车道偏离检测 [J]. 东南大学学报:自然科学版～2009～39(5):933-936. YU Hou-yun～ZHANG Wei-gong. Lane Departure Detection for Moving Vehicle Based on Camera Model [J]. Journal of Southeast University:Natural Science Edition～2009～39(5):933-936.