基于智能手机的人行横道红绿灯自动识别

基于智能手机的人行横道红绿灯自动识别 ComputerEngineeringandApplications计算机与应用 基于智能手机的人行横道红绿灯自动识别 徐丽珍.,何耀平,孙霖. XULi.zhen一,HEYao—ping,SUNLin 1_杭州职业技术学院,杭州310018 2.浙江大学计算机科学与技术学院,杭州310027 1.HangzhouVocationalandTechnicalCollege,Zhejiang,Hangzhou310018,China 2.CollegeofComputerScienceandTechnologyZhejiangUniversity,Zhejiang,Hangzhou310027,China E-mail:hzxjf6@126.corn XULi-zhen.HEYao— ping,SUNLin.AutomaticrecognitionoftrafficlightsignalsoncrosswalkbasedOnmoblephone? ComputerEngineeringandApplications,2010,46(23):219—222. Abstract:Whereasthemajorityoftraffictightsforcrosswalksaren'tequippedwithsoundalarmsystem,automaticrecogni— tionoftrafficlightsignalsoncrosswalkwillgreatlyimprovethesafetyoftheblindcrossingtheroad,usingmoblephone withacamera.IntegratingcascadeAdaboostandcolorfiltration,thispaperputsforwardanautomaticidentificationcalculating methodforthetrafficlightsonpedestriancrossing.Firstly,themethodusesAdaboostcalculationtodetectthelocationoftraf- ficlights.Then,theredlightsandgreenlightswillbefilteredandclassifiedbasedonthecoloranalysisinthehuesubspace ofHSIcolormode1.Theexperimentsonthe418imagesofactualcomplexsceneshowthatthiscalculatingmethodhas achievedgreatSuccess. Keywords:trafficlights;trafficsignrecognition;imagedetection 摘要:鉴于目前绝大部分人行横道红绿灯没有配合声音提示,利用带摄像头的智能手机,通过人行横道红绿灯的自动识别技术 将大大提高盲人过马路的安全系数.提出一个融合级联Adaboost与颜色过滤的人行横道红绿灯自动识别算法.该方法首先利 用AdaBoost算法对红绿灯位置进行;然后在HSI色彩模型的色调子空间进行颜色的基础上进行红绿灯的过滤与分类. 用采集的418幅实际复杂场景下的图像数据进行实验,结果表明该方法能达到较好的检测效果. 关键词:红绿灯交通标志;道路交通标志识别;图像检测 DOI:1O.3778/j.issn.1002—8331.2010.23.062文章编号:1002—833l(2010)23—0219.04文献标识码:A中图分类号:TP317.4 1引言 随着社会经济的发展,"智能交通系统"这一新的研究领 域应运而生,并迅速发展起来,对传统的运输系统进行改造而 形成的一种信息化,智能化,社会化的新型运输系统.智能交 通系统的一个重要功能是提高交通的安全水平,降低事故的 可能性和避免事故的发生.人行横道交叉口作为交通枢纽, 是交通事故的多发地带,大多是因为乱穿马路引发的交通事 故.根据公安部的统计数据,2005年我国道路交通伤害导致 死亡人数超过10万人.发生交通事故的原因中,行人违章占 15%左右,而行人违章中大多是因乱穿马路引起.如果采用现 代化技术实现人行横道上的红绿灯交通标志的自动识别,警 示驾驶员和行人(特别是盲人和小孩)红绿灯情况,大大减少 因主观疏忽而造成的交通事故. 近年来,移动通信设备的飞速发展,嵌入式处理器的运 行速度和功能大幅提高,使得手机的功能逐渐增多.许多以 前只能在PC机上实现的应用现在都可以在智能手机上实现, 如基于GPS智能手机的交通信息实时采集与服务研究,车辆 导航监控,视频监控,人脸识别系统,等.智能手机携带方便, 操作简单,非常符合行人穿越十字路口的特点,基于智能手机 的人行横道红绿灯自动识别功能可大大提高行人过人行横道 的安全系数,非常具有现实意义.目前对道路交通标志识别 研究很多,但对人行横道红绿灯交通标志的研究很少,也没有 这方面实时性好,准确率高的应用系统. 对道路交通标志识别研究方法有很多,如以颜色特征为 依据的有阈值分割/21或聚类,彩色边缘检测,区域分裂等; 以形状为依据得主要有匹配法,Hough变换法,图形编 码法等.模板匹配法方法比较简单,但效果较差,Hough变换 法对简单图形有比较好的检测效果,抗噪声比较好,但运算量 较大.颜色和形状的特点单独使用时都有一些很难克服的缺 陷,如果将这两个方面结合起来,比如先用颜色做图像分割, 作者简介:徐丽珍(1979一),女,讲师,研究领域为人脸识别,图形图像处理等;何耀平 (1975.),硕士研究生,研究方向为图像处理,模式识虽,大型 数据库;孙霖(1979一),男,博士,讲师,研究领域为人脸识别,图像处理等. 收稿日期:2009—01.15修回日期:2009.03—26 ComputerEngineeringandApplications计算机工程与应用 再用形状分析方法进行识别,如采用边界【7,环和其他特征来 探测标志轮廓,可以达到较好的效果.另外还涌现出一些新 式算法,例如小波变换,数学形态学,遗传算法,粒子群算法, 神经网络等,这些算法各有优缺点,如神经网络训练过程较 慢,权值不易收敛到最优值,影响识别精度. 本文主要研究用智能手机实时检测十字路口人行道红绿 灯的问题,以大大减少十字路口的交通事故.提出了一种融 合级联Adaboost与色彩过滤的人行横道红绿灯识别算法.该 方法首先提取了基于Haar小波的人行红绿灯重要形状特征, 通过级联AdaBoost算法,训练得到区分红绿灯和各种复杂背 景的分类器参数,然后分析了红灯和绿灯在HSI色彩空间上的 分布情况,通过色彩过滤进一步降低了虚景率,正确区分红灯 和绿灯. 2融合级联Adaboost与色彩过滤的人行横道红绿 灯识别算法 本文的交通标志限制为斑马线道路口的人行横道红绿 灯,如图1所示,为一幅实际拍摄的道路交通场景图.提出的 自动识别算法的基本流程如图2所示. 图1道路交通场景图 Adaboost 廓菊—圈/输入图片产——卜——叫宝卜_—J一/l定位红绿灯}l!!!!JL—竺里— 图2算法流程图 2.1基于级联AdaBoost的人形交通灯定位 2.1.1特征的提取与计算 在红绿灯检测过程中,需要对输入图像进行分析,判断是 否为含有红绿灯的图片,为了达到最优的目标检测效果,选用 一 种简单且有效的扩展Haar—like特征集对目标进行描述.每 个特征由2-3个矩形组成,用于检测目标的边界,细线,中心等 特征. 2.1.2Adaboost算法 Adaboost算法是一种分类器算法,其基本思想是利用大 量的分类能力一般的简单分类器通过一定的方法叠加起来, 构成一个分类能力更好的强分类器,再将若干个强分类器串 联成为级联分类器(cascadeclassifier).如图3为将强分类器 串联在一起形成级联分类器的示意图. 级数 输入 子窗口 ?检测率D 虚警率 ,, , 二:—/ 图3级联分类器的结构图 由级联分类器的特点可知,随着训练级数增加,检测率和 虚警率都在降低.当要得到较高的检测率时势必要降低训练 级数,但此时虚警率又要提高,这不是想要的结果,因此本文 在后面将提出通过增加颜色过滤环节,来降低虚警率,从而找 到合适的级数,以适当提高检测率. 2.2基于HSI色彩空间的过滤与红绿灯分类 通过级联Adaboost算法确定图像中的人行横道交通灯的 位置以后,剩下的问题就是判断红灯还是绿灯,即红绿灯分类 问题.红绿灯的分类在HSI空间的(色调)子空间进行.实 际拍摄的红绿灯图像由于光照等的影响并非为纯红或则纯 绿,因此需要对正样本集做一个颜色统计以得到检测时对颜 色阈值范围的一个比较准确的设定.统计时需将样本由RGB 颜色空间转化为HSI颜色空间.从RGB到HSI颜色空间的转 换步骤如下: 首先对RGB进行归一化 r=R/255 g:G/255 b=B/255 然后进行转换: I=r+g+b/3 s:,一!!墨:! : 90-arctan[]×{o,g>b;180,g6} ,』一 其中: F:二墨二 g—b (1) (2) (3) (4) (5) (6) (7) 以统计红色信息为例,获取实际拍摄的正样本中9O张人 形红灯图片,对每张图片,首先转换成HSI颜色空间,然后对图 片中的每个象素获取颜色值,再设置一个颜色的计数器,根 据颜色值,分别对相应颜色值的计数器进行累加.最后得 到如图4,图5所示颜色统计的直方图: l20 100 80 鏊60 4O 20 0 图4红灯颜色统计直方图 .... ;H值 图5绿灯颜色统计直方图 分析红灯颜色统计直方图,颜色数量主要分布在[315., 360.】及[O.,30.】区域,由此可以将红灯颜色的值定义在红色 加?舯?知加0 咖籁 徐丽珍,何耀平,孙霖:基于智能手机的人行横道红绿灯自动识别 虚线标注的相应范围内,即[315.,360.】及【0.,30.】.同样, 根据绿灯颜色统计直方图,绿色颜色相应的H值可定义在 【150.,210o】. 为了更加准确地判断颜色,对以上的颜色直方图,可以分 别计算出红颜色像素个数和绿颜色像素个数在所有颜色像素 个数中所占的比例.将这个比例定义成参数.其中: :下 Nr ed(8)丁. … : ~V gree.(9)丁 ~red"" ~green分别为红颜色像素个数和绿颜色像素在所有颜色像 素个数中所占的比例;肌,A分别为红颜色象素个数和绿颜 色像素个数,S为红绿灯图片面积. 经过计算,和丑green值约在4O%左右,如此可以设置一个 判断红绿灯颜色的阈值范围为【O.3,0.6],若统计出的颜色数量 在这个范围,就认为是红灯或者绿灯. 识别红绿灯颜色的部分伪代码如下: 读取定位区域中每个像素的红绿蓝颜色信息 转换成HSI颜色空间后获取值 IF[315.,360.】or艉[0.,23.】Then+ ++ IFHe[150.,210.】Then… IF?[O.3,0.6】&&A[0.3,0.6] Then定位区域中为红灯,语音提示红灯 Else判定不是红灯 IF^,Ho.3,0.6】&&^[O.3,0.6】 Then定位区域中为绿灯,语音提示绿灯 Else判定不是绿灯 3基于HSI色彩空间的过滤与红绿灯分类 3.1实验数据 系统采用的智能手机主频500MHz,内存64MBSDRAM, 操作系统为MicrosoftWindowsMobile,摄像头拍摄的分辨率 是640x480像素.在不同地方的十字路口拍摄大小为640× 480的红绿灯图片总计418张.拍照环境条件包括白天,夜晚, 近距离,远距离,正面,及非正面.其中非正面角度控制在正 负15o范围. 将采集到的红绿灯图片共200张作为训练样本,剩余的 218张为测试样本,见表1.训练样本统一处理成大小为24× 24的图片,部分示例见图6.测试样本大小统一处理成大小为 800~600像素的图片. 表1各类样奉图片数量表 图6止样本示例图 3.2红绿灯定位实验结果 将正负样本图片用Adaboost进行训练后,级联分类器各 级的特征数如表2所示. 表2各级的特征数表 级数0123456789101112 特征值233454667771【278 其中0级和1级的Haar特征具体如图7所示. ?一重?一图7特征图 由图7可知,虽然在0级,1级的特征数不多,总共只有5 个,但这些矩形特征却很好的反映了红绿灯小人的水平,倾 斜,垂直边缘,能非常有效地对目标进行检测区别.按以上的 训练结果进行测试,下面给出不同训练级数下检出率和虚警 个数统计表.如表3. 表3检山牢和虚警个数统计表 从表3可知,检测方法中的颜色过滤使错误个数明显下 降.由此得出,文中的颜色过滤其作用不仅可以反馈给盲人 一 个红绿灯的信号,更重要的是经过级联Adaboost算法的检 测后,通过后继的颜色过滤可以排除大部分的Adaboost的错 误识别,大大降低了虚警个数.图8是通过颜色过滤来排除错 误识别的例子:通过计算两个定位区域的值,排除了一个错 误的定位(绘制白框表示),并且确定了正确定位区域内为红灯. 图8颜色过滤示例图 权衡虚警个数和检测率,对于采用级联结构的分类器,12 级虚警个数9,但检测率81.65%,而采用11训练级数时,检测 率有较大提高,达到95.41%,虚警个数却因为颜色过滤而没有 大幅度的提高.所以本系统采用11级较为合适. 2222010,46(23)ComputerEngineeringandApplications计算机工程与应用 采用11级的训练级数,对测试样本中所有红绿灯图片进 行测试,统计结果如表4所示. 表411级红绿灯检出率及虚警个数统计表 3.3与其他方法比较实验结果 同时,也用模板匹配和BP神经网络的方法在采集的图像 库中进行了测试.对于模板匹配方法,用训练样本的平均值 生成模板,然后检测测试样本.对于BP神经网络的方法,将 每个训练样本的像素作为输入向量,进行BP神经网络训练, 然后测试测试样本.图9是模板匹配,BP神经网络和本文方 法的ROC曲线图. 图9模板配,BP神经网络和级联Adaboost与色彩过滤片法的 ROC曲线图 3.4智能手机实验性能 测试了各子系统平均处理每一帧开销,如表5所示,每帧 系统平均响应时间约为41ms,达到了实时性的要求. 表5各子系统平均处理开销 测试样本图库识别结果部分示例,如图1O所示. 4结束语 基于手机的红绿灯识别系统超便携,只需一个带摄像头 的手机.方便盲人实时操作.从实验结果分析,提取的Haar 特征很好地表示了红绿灯的形状轮廓.通过级联结构,大大 减少了分类虚警率,并且通过颜色过滤不仅能正确分辨出了 红灯与绿灯,而且进一步减少了红绿灯识别的虚警率.实验 对不同角度,距离,环境等拍摄图片进行了详细测试,表明本 (a)正面(b)侧面(c)近距离 舅一一(d)远距离(e)夜晚(f)白天 图l0检溯结果部分示例图 方法有很高的识别率和鲁棒性.同时实验表明本方法检测性 能优于模板匹配,神经网络等识别方法.本方法实时性好,同 时能应用于智能汽车,道路监控等方面. 参考文献: [1]黎冰,吴松,曾凡涛人脸识别在智能手机中的实现[J].计算机工 程,2006,32(7):272.275. 【2】Gaox,PodladchikovaL,ShaposhnikovD,eta1.Recognitionof trafficsignsbasedontheircolourandshapefeaturesextracted usinghumanvisionmodels[J].JournalofVisualCommunication andImageRepresentation.2006,17(4):675—685. [3】EscaleraAdela,ArmingolJM,MataM.Trafficsignrecognition andanalysisforintelligentvehicles[J].ImageandVisionComput- ing,2003,21(3):247-258 [4]TorresenJ,.BakkeJW,SekaninaL_Efficientrecognitionofspeed limitsigns[c]//ProceedingsThe7thIntemationalIEEEConfer- enceonIntelligentTransportationSystems,2004:652—656. [5]Lafuente—ArroyoS,Gil-JimenezP,Maldonado—BasconR,eta1. TrafficsignshapeclassificationevaluationI:SVMusingdistance toborders【c】//Pr0ceedingsofIEEEIntelligentVehiclesSympo— sium(IV),2005:557—562. [6】马腾飞,郑永果,赵卫东.基于边缘检测与Hough变换的车牌字符 分割算法[J】.系统仿真,2006,18(8):391—392. [7]SoetedjoA,YamadaK.Fastandrobusttrafficsigndetection[J]. IEEESystems,Man,andCyberneticsSociety,2005:1341—1346. 【8】SoetedjoA,YamadaK.Trafficsignclassificationusingringpani— tionedmethod[J].IEICETransFundamElectronCommunCom— putSci.2005,E88?A(9):2419—2426. [9]朱双东,张懿,陆晓峰.三角形交通标志的智能检测方法[J】_中国图 像图形,2006,11(8):l127—1131. (上接102页) [6】AshriR,RamchumSD,SabaterJ,eta1.Trustevaluationthrough relationshipanalysis[C]//AAMAS'05:ProceedingsoftheFourth InternationalJointConferenceonAutonomousAgentsandMul- tiagentSystems,2005:1005—1011. 【7】SrinivasanT,PriyadarshiniV,AppaiahS.Abusinessmodledap. proachfortrustmanagementinP2P[C]//EighthACISInterna- tionalConferenceonSoftwareEngineering,ArtificialIntelli- gence,Networking,andParallel/DistributedComputing,2007: 653—658. 【8】KamvarSD,ScholosserMT,MolinaHG.TheEigenTrustalgo— rithmforreputationmanagementinP2Pnetworks[c】//The12th Int'lWorldWidWebConf(wWW2003),2003:640—651. [9]窦文,王怀民,贾焰,等.构造基于推荐的Peer-to—Peer环境下的 Trust模软件,2004,15(4):571-583. 『101XiongL,LiuL.Areputation—basedtrustmodelforPeer-to-Peer ecommercecommunities[C]//ProceedingsofIEEEInternational ConferenceonElectronicCommerce,2003:228—229. [11]姜守旭,李建中.一种P2P电子商务系统中基于声誉的信任机制[J]. 软件,2007,18(10):2551?2563. [12]田春岐,邹仕洪,田慧蓉,等.一种基于信誉和风险评价的分布式 P2P信任模型[J]l电子与信息,2007,29(7):1628—1632.