基于车牌自身结构特征的车牌定位算法

基于车牌自身结构特征的车牌定位算法 摘 要 本文提出了一种鲁棒性强的车牌定位算法，该算法主要基于车牌自身的结构特征。首先，利用车牌区域密度比较大的信息得到包含车牌区域在内的若干候选区域，然后利用车牌自身异于背景区域的四个结构特征从若干候选区域中提取车牌区域。本文给出了该算法的三个阈值，通过大量实验得出，该算法的准确率达到了90.17%。 关键词 候选区域;结构特征;车牌定位 1 引言 车牌定位就是将车牌从复杂的背景中分割出来，便于后续的字符分割和字符识别工作。目前，已经有很多学者在这方面进行研究，提出了很多车牌定位的算法。但是，随着车型的日益增加，使得背景变化多端。目前的算法已经难以克服一些新的干扰情况。 在研究大量算法后，基于结构特征的车牌定位的大部分算法都是先提取包[3，含车牌区域在内的若干候选区域，再从这些若干候选区域中提取车牌区域5][8-12]。在得到候选区域的时候，主要的算法有:利用车牌区域的彩色特征，分割【7】车牌区域，该主要在彩色模型HIS空间进行处理，利用I分量与图像的彩色信息无关和H分量抽出了色调而忽略了亮度信息的特点，进行色调抽取，例如针对蓝底白字的车牌，蓝色的色调一般都处在220?20?，这样可以直接将车牌区域分割出来。但是，该方法在车牌颜色磨损、车牌污损、车身具有和车牌同样的颜色的情况时，该方法则不能准确的将车牌区域分割出来;利用车牌区域的纹理特征，分割车牌区域。因为车牌区域有着均匀排列的字符，而字符的垂直纹[1-3][8-10]理较丰富，所以一般用边缘检测的方法检测图像的垂直纹理;在从候选区域中提取车牌区域时，有很多学者了车牌区域的大量特征，归纳如下:?车【1】【8,10】牌区域的宽高比在一定的范围内;这个特征有很多的学者提出来，有的给出了阈值但也没有详细论证，有的则没给。本文就这一特征进行理论和实践相结合的方法去论证，给出了车牌区域宽高比的最佳阈值;?车牌区域的密度很大;这个特征一般作为与其它的区域作比较，没有给出具体值。本文就这一特征进行理论和实践相结合的分析，得出车牌区域密度的最佳阈值。?车牌区域内的灰度【1】跳变次数在一定范围内;有些论文给出了阈值，但是没有具体是怎么得到的，取的是哪几行的跳变次数。本文所得到的阈值范围与其不同，经过理论分析和实践证明得出了最佳阈值。?车牌区域内的垂直投影有规律;由于有噪声的影响，有些车灯区域也有类似的规律，使得这种方法困难。?车牌区域的位置因【1】素;一般车牌区域位于图像的下方，但是干扰严重的区域有车灯和散热器，一般散热器在车牌的上方，但是车灯有时会比车牌区域低一些，所以这种特征在这个情况下会失效。 本文就目前的算法进行新的探索和尝试，并针对汽车垂直纹理干扰比较严重(即车牌散热器是垂直纹理)的情况、车牌区域模糊的情况、整个汽车图像噪声大的情况进行研究，提出了一种利用车牌区域自身异于其它区域的特征的算法来解决此问题。 本文算法中的每个最佳阈值是经过训练了477幅沈阳高速公路收费口夜间行驶车辆车头图像和240幅停车场白天车头图像(每幅图像大小均为256?256的灰度图像)得到的。 2 车牌的结构特征 车牌主要有三个最基本的特征，且它们异于其它背景。 【1】 (1)颜色特征:我国的标准车牌有四种:黄底黑字黑框线、蓝底白字白框线、黑底白字红“使”、“领”字白框线，黑底红字红框线，这些特征使得车牌背景与字符有很大的对比度。 【1】 (2)几何特征:我国的标准车牌是矩形的，且有统一的大小，即宽度为45cm，高度为15cm。车牌上的每个字符宽45mm，长90mm，间隔符宽10mm，字符的笔划宽度为10mm，每个单元间隔12mm，即二、三字符之间距为34mm。 【2】 (3)纹理特征:车牌区域内均匀地排列着8个字符。一般民用牌照第一个字符是汉字，且是各省市的简称，有“京”、“沪”、“津”、“渝”、“晋”、“冀”、“蒙”、“辽”、“黑”、“吉”、“苏”、“浙”、“皖”、 “闽”、“赣”、“鲁”、“豫”、“鄂”、“湘”、“粤”、“桂”、“琼”、“川”、“贵”、“云”、“藏”、“陕”、“甘”、“青”、“宁”、“新”、“军”、“空”、“海”、“北”、“沈”、“兰”、“济”、“南”、“广”、“成”等几十个汉字。第二个字符是大写英文字母，如“A”、“B”、“C”等，是省、直辖市、自治区的名称和发证照及监督机关的代号;接着是一个点“? ”;后面的汽车编号，一般是5 位数字，即从00001~99999。第四个和第五个字符可能是英文字母，也可能是阿拉伯数字，当编号超过10万时，就用大写英文字母，即A代10万，B代表11万，C代表12万，最后一个字母及Z代表33万。英文字母中的I和O避而不用，以免和数字中的1和0混淆。第五个至第八个字符均为阿拉伯数字。如“京B 12345”就是典型的车牌号码。这些特征使车牌区域有着丰富的纹理特性。通过边缘算子的检测，可以很清晰的得到字符的骨架，所以得到车牌区域内的密度很大。 3 车牌定位 3.1 预处理 由于系统工作在室外，所以受到各种因素的影响。我们所做预处理的目的主要是为了去除噪声，本文采用中值滤波的方法去除噪声从而改善图像的质量，便于后续的工作。 3.2 得到若干候选车牌区域 步骤1:用水平Sobel算子 检测图像的垂直边缘，得到边缘检测图像。通过Sobel水平检测算子得到的边缘检测图像中，可以清晰的看到密度较大的区域，即白像素点密集的区域(如图2所示)。从图中可见，车牌区域，车灯区域和散热器区域的密度比较大。 步骤2:用阈值分割法分割出密度较大区域。经过大量实验证明，Otsu阈值分割的算法较好。对边缘检测后的图像进行Otsu阈值分割后，得到的二值图像，密度较大的区域被成功的分割出来(如图3所示)。 步骤3:利用数学形态学对密度较大的区域进行区域融合，使其成为封闭【3】的区域。 本文采用3?3的结构元对得到的二值图像进行数学形态学运算，其具体过程是:膨胀、膨胀、闭运算、腐蚀、腐蚀、腐蚀。最后得到包含车牌区域在内的若干连通区域(如图4所示)。 步骤4:去除噪声。因为车牌区域具有一定的面积，所以很小的区域可当作噪声去除。在得到的若干连通区域中，去除面积(像素个数)小于200的连通区域(去噪后的图像如图5所示)。 【4】步骤5:区域矩形化。为了便于后续运算，所以要对得到的连通区域进行矩形化。这样，得到包含车牌在内的若干候选车牌区域A0，如图6所示，a5中有三个候选区域A0，b5中有五个候选区域A0。 图1 原始灰度图像 图2 边缘检测图像 图3 二值化图像 图4 连通区域图像 图5 去除噪声后的连通区域图像 图6 得到候选区域图像 3.3 提取车牌区域 在得到的包含车牌区域在内的若干候选区域中提取真正的车牌，主要利用了车牌自身异于其它区域的特征。 根据这些特征，得到了三个条件。 条件1:车牌区域内的宽高比在【2，5】之间，且车牌区域的密度大于0.25。 在前面我们分析了车牌区域的特征。我国的车牌是有标准大小的，宽度为【5】450mm，高度为150mm，所以车牌区域有固定的宽高比为450mm/150mm,3。但是，有些车牌在拍摄的时候其车牌的矩形边框(例如蓝底白字的车牌区域其边框是白色的)被遮挡或被相同颜色的背景淹没，拍摄时得到了没有边框的车牌图像，使得车牌区域的宽高比不会等于3了。由于每个字宽45mm，字长90mm，每个字符的宽度为10mm，间隔符宽10mm，每个单元间隔12mm，即二、三字符之间距为34mm。所以整个字符区域，即车牌区域不包含边框的宽度为409mm，高度为字符高度90mm。这时得到没有矩形边框时的车牌区域的宽高比为409mm/90mm,4.544。同时，在得到若干候选车牌区域的过程中，要经过数学形态学运算。用3?3的结构元进行一系列的膨胀、腐蚀、闭运算，有可能扩大或缩小边缘(即增加或减少了车牌候选区域的高度或宽度)，而且在数学形态学运算中还受到噪声的影响，很容易将噪声融合进来，所以，在利用宽高比的特征时，必须选择一个范围，经过大量实验训练，得出车牌区域宽高比的最佳阈值是【2，5】。 因为车牌区域有着均匀排列的字符，且字符颜色与底色有着很强的对比度， 而字符有着很高的垂直纹理特性，所以车牌区域的垂直纹理很丰富。从Sobel的边缘检测图像中可以看出，车牌区域的密度比较大，候选区域内的白像素点(边缘检测后字符的骨架)所占整个候选区域的比例即密度。设候选区域密度为D，宽为L，高为H，黑像素点(如图3)在候选区域的个数为N，则D=N/(L*H)。这个密度是大于一定阈值的。我们先分析车牌区域的字符特征，看看字符的面积占整个车牌区域的面积的最小比例是多少。通过我国制定的标准车牌规定，得到川C 11111这个车牌号所占的比例最小。一个字符的宽度为10mm，高度为90mm，所以得到这个车牌号码的面积为9000 ，而车牌区域的面积为409mm?90mm,36810 ，所以这个比例为9000/36810,0.244。但是由于有噪声的干扰，噪声会加入字符面积进行计算，所以这个比例会稍大一些。经过大量实验训练得到了最佳阈值0.25，即车牌区域的密度要大于0.25。 条件2:在得到的二值图像中，车牌区域内的灰度跳变次数在【5，15】之间。 【6】 车牌内字符之间的间隔比较均匀，字符和牌照底色在灰度值上存在跳变。在对梯度图像进行Otsu阈值分割后的图像中，可以很容易地看出车牌区域内有水平排列的号码，所以，可以利用这一特性计算该区域内灰度跳变的次数。具体做法如下:选择候选区域的中间三行进行水平穿线，计算通过这三行的灰度跳变平均值。经过研究，牌照区域可能出现的几十个汉字中，字符中间灰度跳变最大的是“渝”，可以达到5，最小的是“宁”，可以为1，第二、三个字符为英文字母或数字，其中字母“M”的灰度跳变次数最大为3，字母“C”的灰度跳变次数最少为1，数字“0”的灰度跳变次数最大为2，数字“1”的灰度跳变次数最小为1，所以得到车牌区域中间三行的灰度跳变次数最大为14，最小为7，同样，考虑到噪声的影响，噪声有可能增加灰度跳变次数，同样，在二值化过程中，模糊的图像中汉字的笔划二值化的效果不是很清晰，可能有粘连，所以也要适当减少最小值。经过大量实验训练得到的车牌区域内灰度跳变次数的最佳阈值为【5，15】。 条件3:边缘检测后的图像中，车牌区域图像的方差较小。 在边缘检测后的图像中，由于车牌区域有一系列的排列均匀整齐的字符边缘，即字符骨架。所以，在理论上车牌区域图像的方差相对较小。 计算每个候选区域的边缘检测图像方差dF，dF最小的候选区域为真正的车牌区域。计算方差的公式如下: (1) 其中，X为候选区域的边缘检测图像的像素灰度值，a为候选区域边缘检测 后的图像的平均灰度值，L为候选区域的宽度，H为候选区域的高度。 图7 通过条件1后留下的区 图8 通过条件2后留下的区域 图9 通过条件3后留下的区域 提取真正车牌区域的步骤如下所示: 步骤1:在得到若干候选区域A0，通过条件1可以去除部分伪车牌区域，如图7所示。通过条件1得到真正的车牌区域，如图7的a6所示，通过条件1就提取出了车牌区域(为了便于实验，通过条件测试的区域显示其对应原灰度图像)。但是不一定完全将车灯和散热器区域去除。通过条件1得到剩下若干包含车牌区域在内的候选车牌区域B0(如图7的b6所示，通过条件1还剩下散热器区域和车牌区域)。 步骤2:在得到的若干候选区域B0，通过条件2可以去除大部分伪车牌区域。一般车灯区域很容易的被去除掉了，但是仍会有一些垂直纹理的散热器没有被去除。通过条件2得到剩下的若干候选区域C0(如图8所示，还剩下候选区域——散热器区域和车牌区域)。 步骤3:通过条件3，在剩下的候选区域C0中选择缘检测后的图像中候选区域图像的方差最小的一个为真正的车牌区域(如图9所示，车牌区域的方差小于散热器区域的方差)。 4 结论 本文针对于车牌垂直纹理干扰比较丰富(即车牌散热器是垂直纹理)的情况、车牌区域模糊的情况、整个汽车图像噪声大的情况进行研究，提出了一种利用车牌区域自身异于其它区域的特征来解决此问题的算法。 此算法中从若干候选车牌区域提取真正的车牌区域是关键技术。由于垂直纹理散热器和车灯在某些特性上(例如纹理特征等)类似车牌区域的特征，使得提 取真正的车牌变得困难。然而，本文利用车牌4个自身特征，且有效的组合，能很有效的提取真正的车牌区域。 本文中的阈值是通过477幅沈阳高速公路收费口夜间行驶车辆图像 (256?256)和240幅停车 场白天自拍图像(256?256)反复训练得到。 经过实验证明，准确率大大提高，而且不受模糊车牌、散热器是垂直纹理、噪声大的干扰，具有很强的鲁棒性。 参考文献 [1] 牛欣，沈兰荪(基于特征的车辆牌照定位算法(交通与计算机，1999，18(1):30-33 [2] 刘效静(汽车牌照自动识别技术研究(南京航空航天大学学报，1998，30(5):573-576 [3] 戴青云(一种基于小波与形态学的车牌图象分割方法(中国图象图形学报，2000，5(A):411-415 [ 4 ] 张引，潘云鹤(彩色汽车图象牌照定位新方法(中国图象图形学报，2001，6(A):374,377 [5] Sunghoon Kim，Daechul Kim，Younbok Ryu，Gyeonghwan Kim，"A Robust License-Plate Extraction Method under Complex Image Conditions"，16th lnternational Conference On Pattern Recognition"，pp.176-179，2002 [6] 陈寅鹏，丁晓青(复杂车辆图像中的车牌定位与字符分割方法(红外与激光工程，2004，33(1):29,33 [7] 仙怡，周晓，张桂林，张天序(彩色汽车牌照定位方法(红外与激光工 ，31(3) 程，2002 [8] D. Gao and J. Zhou，“Car License Plate Detection from Complex Scene，”In Proceedings of International Conference on Signal Processing， pp. 1409-1414，2000 [9] Hongliang Bai，Junmin Zhu，Changping Liu，“A Fast License Plate Extraction Method on Complex Background”，the 2003 IEEE International Conference on Intelligent Transportation System，pp.985-987，2003 [10]Bai Hongliang，Liu Changping，“A hybrid License Plate Extraction thMethod Based On Edge Statistics and Morphology，” Proceedings of the 17 International Conference on Pattern Recognition，pp. 1051-1054，2004 [11]Seiki Yoshimori，Yasue Vlitsukura，“License Plate Detection System in Rainy Days”，Proceedings 2003 IEEE International Symposium on Computational in Rubotics and Automation，pp. 972-976，2003 [12]Jun-Wei Hsien，Shih-Hao Yu，Yung-Sheng Chen，“Morphology-based thLicense Plate Detection from Complex Scenes，” 16 International Conference On Pattern Recognition，pp. 740-741，2002