粘连棒材图像自动分割计数技术_倪超

© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 文章编号: 100429037 (2007) 0120072206 粘连棒材图像自动分割计数技术 倪　超　李　奇　夏良正 (东南大学自动化学院, 南京, 210096) 摘要: 针对棒材图像自动计数存在的问题, 提出了一种粘连棒材图像自动分割计数技术。首先采用粒度测量术估 计棒材图像尺寸半径分布, 自适应地选取处理参数。然后提出了一种新颖的棒材中心区域标记方法避免了初始 过分割标记, 在此基础上又提出了强、弱粘连概念。根据强弱粘连的特点, 提出两步标记策略。分类粘连图像、获 取图像的初始标记。对强粘连形成的欠分割标记区域采用逐次腐蚀算法, 结合棒材形状面积等知识进行识别, 获 得正确的图像标记。最后融合两步图像中心区域标记结果, 采用基于标记的分水岭分割算法进行图像分割。实验 , 这种方法能准确分割粘连棒材图像, 实现可靠的棒材计数。 关键词: 棒材计数; 分水岭分割; 粘连关系; 图像标记 中图分类号: T P391. 41　　　　文献标识码: A 　收稿日期: 2005211221; 修订日期: 2006206213 Automatic Segm en ta tion and Coun ting of Touch ing Bar Images N i Chao, L i Q i, X ia L iang z heng (D epartm ent of A utom ation, Sou theast U niversity,N an jing, 210096, Ch ina) Abstract: A m ethod fo r au tom at ic segm en ta t ion and coun t ing of touch ing bar im ages is devel2 oped to so lve the p rob lem s of bar im ages au tom at ic coun t ing. F irst ly, the granu lom etry is u sed to ob ta in bar rad iu s to adap t ively select co rrect param eters. T hen a novel m ethod fo r compu t2 ing the cen ter area of the bar is in t roduced to avo id in it ia l over2segm en ta t ion m arkers and the concep t of st rong touch ing, and the w eak touch ing is pu t fo rw ard. A tw o2step m arker m ethod is p ropo sed acco rd ing to touch ing rela t ion sh ip. A fter eroding the im age is classif ied and the in i2 t ia l m arker resu lt is ob ta ined. U nder segm en ta t ion m arker areas are eroded step 2by2step , and the know ledge of bar shape and area is u sed to ob ta in righ t im age m arkers. F inally, tw o2step m arker resu lts are fu sed and the im age is segm en ted w ith a m arker2based w atershed algo rithm. Experim en ts show that the m ethod can effect ively segm en t touch ing bar im ages and ob ta in reli2 ab le the num ber of bars. Key words: bar coun t ing; w atershed segm en ta t ion; touch ing rela t ion sh ip; im age m arker 引　　言 棒材自动计数技术一直是困扰我国棒材生产 企业的一个难题。现阶段我国钢铁企业主要采用光 电管和人工计数两种方式实现棒材的在线计数[1 ]。 光电管计数方式由于受到光电管老化问题、棒材重 叠问题的影响, 计数精度很难保证。人工计数方式 的准确性受到人为因素影响较大, 不可能实现长期 可靠的计数。 近几年电荷耦合器件 (CCD )技术飞速发展, 人 们开始尝试采用图像处理的方法来解决棒材自动 计数问题。但采用图像处理的方法解决棒材自动计 数存在以下几个问题: (1)棒材打包后界线不明显, 造成图像严重粘连; (2) 棒材端面参差不齐, 形成 孔洞, 光照不均匀; (3) 棒材剪切过程中的弯曲、形 状不很规则, 影响计数。 很多学者针对以上问题提出了自己的解决方 法。文献[ 1 ]采用距离变换的思想, 确定棒材中心实 现棒材的自动计数, 但不能很好解决棒材变形及深 第22卷第1期 2007 年 3 月 数 据 采 集 与 处 理 Journal of D ata A cquisit ion & P rocessing V o l. 22 N o. 1 M ar. 2007 © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 度粘连问题, 容易导致误判。文献[ 2 ]提出了基于模 板覆盖法的棒材计数方法, 由于剪切造成的棒材变 形, 导致模板匹配困难很难获得准确计数。文献 [ 3 ]采用边缘检测的方法, 以此获得棒材中心信息, 实现棒材的计数, 但边缘信息受外界影响较大, 很 难实现可靠的提取。本文以某轧钢厂棒材计数为背 景, 提出了一种简单实用的粘连棒材图像自动分割 计数技术。该技术无需棒材尺寸面积等先验信息, 自适应地对不同规格尺寸棒材进行分割计数, 较好 的解决了存在的若干问题。 1　算法设计 111　问题分析 成捆棒材端面图像粒度测量图如图1 所示。棒 材端面图像在简单二值化以及形态学处理之后图 图 1　成捆棒材端面图像粒度测量示意图 像粘连严重, 如图1 (b)所示。可见粘连图像的分割 是实现计数的关键。很多学者对图像粘连问题进行 了研究, 有的利用条件颗粒分割的方法[4 ] , 有的利 用极限腐蚀和条件膨胀相结合的方法[5 ] , 还有的利 用距离变换与分水岭算法相结合的方法[628 ] , 取得 了一定的效果。分水岭算法是一种常用的分割算 法, 但是容易出现过分割现象。若能正确选择棒材 的中心区域作为图像的分割标记, 在此基础上采用 基于标记的分水岭算法[8 ]进行分割, 就能获得满意 的分割计数结果。因此本文从解决图像分割标记问 题入手, 提出了一种新颖的两步标记分割算法。 112　粒度测量术 目前我国钢铁企业生产的棒材, 包括各种规格 的螺纹钢和圆钢, 其端面形状几乎都是圆形[1 ]。出 于不同规格尺寸棒材自动计数的要求, 算法需要估 计棒材图像尺寸半径分布, 从而自适应地选取处理 参数, 获得满意的处理结果。粒度测量术是一种判 断颗粒大小分布的重要工具[8 ]。具体来讲其是采用 一系列尺寸递增的开操作对图像进行处理, 在每次 开操作后计算与前次开操作的面积差, 公式为 a (k ) = ∑ x , y Χa0k2 (f ) - ∑ x , y Χa0 (k- 1) 2 (f ) (1) 式中∑ x , y Χa0 k2 (f ) 为半径为k 的结构元对图像 (f )进 行开操作 (Χa)后图像的总面积。 　　对a (k )进行归一化处理 G (k ) = a (k ) ösum (f ) (2) 式中 sum (f )为图像棒材像素点数。 显然G (k ) 可以看作图像结构尺寸的离散密度 函数, 以G (k ) 为纵坐标, 结构元半径 k 为横坐标画 出尺寸分布图1 (c) , 从图中可以看出图1 (b)棒材图 像半径尺寸主要分布在 k = 10～ 13, 由此可知棒材 端面图像的最大面积为A m ax= Π3 ram ax 2= Π3 132≈ 530, 最小面积为A m in = Π3 ram in 2= Π3 102≈ 315, 作 为棒材识别判断的标准, 其中 ram ax = 13, ram in = 10 分别为端面最大、最小半径。 113　棒材端面中心区域的初步标记 基于圆形特有的几何特性, 当选用比端面半径 略小的圆形作为棒材端面模板在端面内任意滚动 拟合, 则模板中心的滚动轨迹也就是端面内能够容 纳模板的区域, 构成了端面可能的中心区域标记。 采用圆形结构元B 作为端面模板对端面图像A 进 行形态学腐蚀A ( B = { (z û (B ) z Α A }就表示为这样 一个滚动拟合操作, 其结果如图 2 所示。当端面为 不粘连独立颗粒时, 采用半径 rb 的圆形模板对半径 37第 1 期 倪　超, 等: 粘连棒材图像自动分割计数技术 © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net ra 的棒材端面进行滚动拟合, 则模板中心的滚动轨 迹构成图2 (a) 所示的阴影区域, 可见该阴影区域就 是端面的中心区域, 且阴影区域半径 rc= ra- rb。当 端面为相互粘连颗粒时, 为了简化说明, 以两两粘连 颗粒为例。如图2 (b, c)所示, rd 为端面粘连深度, 当 rb> rd 时, 模板中心滚动轨迹在端面内部形成两独 立阴影区域, 显然两阴影区域可分别作为各自端面 中心区域标记, 此时算法克服了端面粘连的影响取 得了正确的标记结果。当rb≤rd 时, 由于受到端面粘 连的影响, 算法在端面粘连处形成不正确的区域标 记, 导致两端面中心区域标记仍相互粘连, 形成欠分 割标记 (简称欠标记)有待进一步标记处理。综上所 述, 模板半径 rb 越大, 算法对于粘连端面标记能力越 强、需进一步处理的欠标记区域越少。理想情况下当 模板半径rb 等于端面半径ra 时, 不论何种粘连程度, 各端面都能获得惟一正确的中心区域标记。 (a)独立端面标记　　 　　　　　 (b) 当 rb> rd 正确标记　　　　　　　　　　　 ( c) 当 rb≤rd 欠标记 图 2　棒材中心区域估计示意图 　　由于受到棒材剪切过程的影响, 棒材端面形状 存在不规则性, 而且部分棒材端面轮廓也存在一定 程度的轻微凹陷, 选取较大尺寸模板半径, 可能会 出现无法标记或是导致过分割的同一端面多个标 记现象, 如图3 (a～ c)所示。图3 (a)中两端面A 与B 相互粘连, 端面A 如箭头所示其轮廓存在轻微凹 陷。选取模板半径rb= 019×ra对端面进行处理, 结 果如图3 (b)所示。显见端面A 由于受到凹陷因素影 响, 该尺寸的圆形模板不能在端面A 内自由滚动, 在同一端面内部形成两相互不连通的区域标记, 若 以此作为分割标记进行分水岭分割, 其结果如 图3 (c) 所示端面A 被误分割成两个小颗粒, 形成 过分割现象。显然过分割现象产生是由于同一端面 内存在多个分割标记, 因此只要保证同一端面内部 只有一个标记 (可能为多个端面一个标记) 就能够 克服过分割现象。根据相关几何原理可知, 受到凹 陷的影响, 当模板半径小于某一数值, 该模板就能 够在端面A 内自由滚动, 在端面内部形成同一标记 克服过分割现象。如图 3 (d) 所示, 选取模板半径 rb= 018×ra对端面进行处理, 端面A 内部形成同一 标记, 在此基础上进行分水岭分割, 获得如图 3 (e) 所示的正确分割结果。 图 3　过分割产生与克服示意图 　　总之, 算法标记结果取决于模板半径的选取。 由于受到端面凹陷以及不规则性的影响为了克服 过分割现象, 模板半径首先必须小于某一数值, 使 得模板能够在所有棒材端面内自由滚动保证同一 端面内部只有一个标记。在此基础上还要选取尽可 能较大的模板半径从而获得较强的去粘连标记能 力, 减少后续处理运算量。选取模板半径rb= 2ö3× ram in对多幅不同规格棒材端面图像进行棒材中心 区域初步标记实验, 其不仅克服同一端面多个标记 现象, 而且具有较强的去粘连能力。选用该尺寸模 板半径对图4 (a)的棒材端面图像进行初步标记, 结 果如图 4 (b) 所示, 虽然该尺寸模板半径可能不是 最优值, 但仍满足实际应用要求。 114　粘连关系的分类 设两棒材端面分别用C 和D 表示, 根据棒材端 47 数 据 采 集 与 处 理 第 22 卷 © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 面中心区域初步标记结果, 可以把端面粘连关系分 为弱粘连与强粘连。 定义1　弱粘连　当用半径为rb 的圆形模板对 端面C , D 进行初步标记, C 与D 分别形成两独立 的中心区域标记, 则称C 与D 为弱粘连关系。 定义2　强粘连　当用半径为rb 的圆形模板对 端面C , D 进行初步标记, 形成仍相互粘连的区域 标记, 则称C 与D 为强粘连关系。 如图4 (b) 所示, 根据以上定义, 颗粒A 与B , D 与E , E 与F , E 与H 以及F 与G 之间是弱粘连, H , C 与D 三者之间为两两相互强粘连。可见经过初步 标记, 弱粘连以及不粘连的棒材端面形成完整惟一 的中心区域标记且各端面标记满足面积阈值A sm in=Α×Π× (ram in- rb) 2, 其中0< Α< 1, 本文选取Α= 018。 图 4　粘连标记分割示意图 115　棒材中心区域标记的实现 从强弱粘连的定义可知, 弱粘连以及不粘连棒 材端面, 经过算法的初步标记就能够获得完整唯一 中心区域标记。相反强粘连棒材端面由于粘连严 重, 算法在端面粘连处形成不正确的初步标记, 各 自端面中心区域仍相互粘连, 不能实现正确的标 记。因此对于强粘连棒材端面必须在初始欠标记结 果基础上进一步处理, 从而获得最终的标记结果。 强粘连棒材端面经过初步标记形成如图 4 (e) 的欠标记结果, 可见欠标记区域包含各自端面的中 心区域, 其仍保持原端面图像的几何形态呈凸集特 性, 且区域粘连处的凹陷相对原端面图像更加明 显。针对欠标记区域的这一特点, 采用半径为 1 的 圆形结构元, 依次对该区域进行形态学腐蚀, 每次 相当于从标记图像中剥离厚度为1 的一层边缘, 作 用与边界剥离算法[9 ]类似。随着剥离的不断进行, 区域首先在凹陷最明显的粘连处断开, 粘连部位消 失, 新的标记区域分离。在每次剥离过程之后必须 对是否有新的区域分离进行判断, 若存在新区域分 离, 则对该区域进行判断, 去除那些不符合自适应 面积阈值条件A sm in× (1- Β) n 的伪标记区域, 同时 保留正确的棒材标记区域, 采用分水岭算法分割图 像, 根据分割结果对新标记区域进行最终确认并去 除满足条件的新标记区域, 其中0< Β< 1 为面积衰 减因子 n 为腐蚀次数, 本文选取 Β= 0115。如 图4 (d～ h) 所示, 对强粘连形成的欠标记区域采用 半径为 1 圆形结构元进行腐蚀, 随着腐蚀的进行, 可以看出棒材端面的连接处出现断裂, 最终形成各 自完整惟一的中心区域标记。本文提出的两步标记 策略, 首先对所有端面图像进行初步标记获得弱粘 连以及不粘连棒材端面标记, 在此基础上对强粘连 图像形成的欠标记区域采用逐次腐蚀步步逼近的 方法, 结合自适应面积阈值条件, 最终获得各自端 面标记, 融合两步图像标记结果就实现了对所有端 面图像的标记。 116　粘连分割计数算法 算法的整体如图 5 所示, 具体步骤可参见 图4 粘连标记分割示意图。 ( 1) 运用粒度测量术, 获取端面半径信息, 置 模板半径 rb= 2ö3×ram in。 ( 2) 提取二值图像 bw 初始标记 bw 1= bw ( se, 其中 se 为半径 rb 的圆形结构元。 (3) 以 bw 1 作为图像标记, 对二值图像进行分 水岭分割获得初步分割结果bw 2。 (4) 根据获得的棒材半径与面积信息, 对各连 通域进行判断, 提取符合条件的独立棒材区域, 并 把其对应的中心区域标记放入标记集合M 。同时判 57第 1 期 倪　超, 等: 粘连棒材图像自动分割计数技术 © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 图 5　粘连分割计数算法流程图 别是否存在欠分割区域, 若无完成分割, 否则提取 出欠分割区域bw 3。 (5) 依次从 bw 3 中选取欠分割连通域 bw 4, 其 欠分割标记bw 5= bw 1∩bw 4。置n= 0, 其中n 为腐蚀 次数。 (6) 置bw 5= bw 5( se, n= n+ 1。 (7) 去除bw 5 中面积小于A sm in× (1- Β) n 的伪 标记区域。 (8) 判断是否有新连通区域分离出来, 若存在 以 bw 5 作为标记对bw 4 进行分水岭分割, 提取合适 的棒材区域bw 6 并把该中心区域标记bw 7= bw 5∩ bw 6 加入标记集合M , 置bw 4= bw 4∩ (bw 6) c, bw 5= bw 5∩ (bw 7) c。 (9) 判断bw 4 中是否存在欠分割。若存在则执 行步骤 (5)。 (10) 置bw 3= bw 3∩ (bw 4) c, 判断bw 3 是否仍存 在欠分割区域, 若存在则跳转到步骤 (4)。 (11) 以M 为标记对二值图像bw 进行分水岭 分割, 获得最终的分割计数结果。 2　实验结果 为了验证算法的有效性, 对图1 (a)某规格棒材 端面图像进行分割计数处理, 其结果如图 6 (a) 所 示, 棒材计数结果共计 210 根。本文算法由于采用 了一种新颖的中心区域标记方法, 针对图像强弱粘 连特点采用两步标记策略, 自动估计棒材尺寸信息 从而在初步标记阶段选取合适模板半径保证同一 端面只有一个图像标记, 克服了过分割现象。在对 强粘连图像标记过程中采用逐次腐蚀步步逼近的 方法结合自适应面积阈值条件实现了图像正确标 记, 较好的解决棒材图像的粘连分割问题。相反图 6 (b)为采用距离变换与分水岭算法相结合[7 ]算法 (简称距离法)的处理结果, 由于采用距离变换局部 极大值点作为图像标记, 受到棒材变形凹陷以及粘 连影响, 导致部分端面内部存在多个标记点, 在此 基础上采用分水岭算法进行分割, 不可避免地产生 了严重的过分割现象, 其计数结果为 196 根, 剩余 30 个过分割小颗粒区域无法识别。对 10, 12 以及 16 mm 棒材采用本文算法、距离法以及模板覆盖法 进行测试, 分别选取两组典型测试结果如表 1 所 示。从表1 可以看出, 本文算法取得了比较满意的 计数准确率, 但同时也存在棒材漏计现象。漏计现 象主要是由于本文采用单阈值方法对图像进行预 处理导致由于孔洞烧蚀引起的极少部分灰度极低 的棒材端面在预处理过程端面丢失或缺损, 其对应 的中心区域标记不满足面积阈值条件被去除。下一 步如果采用类似文献[ 10 ]的多阈值融合策略代替 单阈值方法对图像进行预处理, 相信算法计数准确 率会有进一步的提高。相比较而言模板覆盖法与距 离法不仅受到孔洞烧蚀的影响, 且受到棒材形变粘 连的影响, 模板覆盖法采用的端面模板无法覆盖部 分形变棒材, 距离法过分割部分形变粘连棒材图像 形成无法识别小颗粒区域, 但随着棒材尺寸增大, 形变粘连减弱, 计数准确率明显提高。 图 6　实验结果 3　结束语 本文针对棒材图像自动计数存在的问题, 提出 了一种简单实用的粘连棒材图像自动分割计数技 术。采用粒度测量术估计棒材图像尺寸半径分布, 无需棒材半径先验知识。然后提出了一种新颖的棒 材端面中心区域标记方法, 选取合适模板半径在初 步标记阶段避免了过分割标记的形成。在此基础上 又提出了强、弱粘连概念, 实现了粘连图像的分类。 根据强弱粘连的特点, 提出两步标记策略。对强粘 连形成的欠标记区域采用逐次腐蚀算法, 结合自适 应面积阈值去除伪标记区域, 最终获得正确标记。 融合两步图像标记结果, 采用分水岭算法进行图像 分割, 实现棒材计数。实验证明这种方法能准确分 割粘连棒材图像, 实现可靠计数。 67 数 据 采 集 与 处 理 第 22 卷 © 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved. http://www.cnki.net 表 1　测试结果 品种规格ömm 图像编号 实测根数 本文算法 模板法 距离法计数值 准确率ö% 计数值 准确率ö% 计数值 准确率ö% 10 12 16 1 301 299 9913 280 9316 275 9113 2 298 291 9717 277 9219 268 8919 1 210 210 100 204 9711 196 9313 2 208 203 9716 205 9815 192 9213 1 150 150 100 150 100 142 9416 2 151 150 9913 148 9810 146 9616 参考文献: [1 ]　宋强, 徐科, 徐金悟, 等. 基于图像处理的棒材自动计 数技术[J ]. 钢铁, 2004, 39 (5) : 34237. [2 ]　周群, 胡光锐. 基于模板覆盖法的钢筋在线计数技术 [J ]. 上海交通大学学报, 1999, 33 (11) : 146221464. [3 ]　罗三定, 肖飞. 不规则类圆形团块目标图像识别的新 方法[J ]. 中南大学学报, 2004, 35 (4) : 6322637. [4 ]　康晓泉, 首详云, 陈世锐, 等. 条件颗粒分割研究[J ]. 中国图象图形学报, 2004, 9 (5) : 5652570. [5 ]　Shatadal P , Jayas D S, Bulley N R. D igita l im age analysis fo r softw are separat ion and classificat ion of touch ing grainsÊ . classificat ion [J ]. T ransaction of the A SA E, 1995, 38 (2) : 6452649. [6 ]　周莹莉, 曾立波, 刘均堂, 等. 基于图像处理的自动计 数方法及其实现[J ]. 数据采集与处理, 2003, 18 (4) : 4602464. [7 ]　Castlem an K R. 数字图像处理 (影印版) [M ]. 北京: 清华大学出版社, 1998: 4752477. [8 ]　R ao K N R , D emp ster A G. M odificat ion on distancetransfo rm to avo id over2segm entat ion and under2seg2m entation [ C ] ∥ V IP romCom 22002, 4th Eurasip2IEEE R egion 8 In ternational Sympo sium on V ideoöIm age P rocessing and M ultim edia Comm unications.Zadar: IEEE, 2002: 2952301.[9 ]　刘相滨, 邹北骥, 胡峰松. 基于边界剥离的细胞图象分离算法 [J ]. 中国图象图形学报 (A 版) , 2002, 7(3) : 2342239.[ 10 ] 邢延超, 谈正. 基于多阈值融合的图像分割[J ]. 计算机学报, 2004, 27 (2) : 2522256.作者简介: 倪超 (19792) , 男, 博士研究生, 研究方向: 模式识别与图像识别, 计算机视觉, E2m ail: a lend- 79@ seu. edu.cn; 李奇 (19632) , 男, 教授, 博士生导师, 研究方向: 智能控制、综合自动化、计算机监控; 夏良正 (19422) , 男, 教授, 博士生导师, 研究方向: 模式识别与图像处理、计算机视觉。 77第 1 期 倪　超, 等: 粘连棒材图像自动分割计数技术