局部二值模式的改进及其在工业X射线图像中的应用研究

局部二值模式的改进及其在工业X射线图像中的应用研究 局部二值模式的改进及其在工业X射线图像中的应用研 究 局部二值模式的改进 及其在工业射线图像中的应用研究 重庆大学博士学位 壬白 .些 学生姓名?? 石 指导教师:曾 理 教 授 专 业: 仪器科学与技术 学科门类:工 学 重庆大学光电工程学院 二一二年四月.,??.~,;?’一 一 一 ., :, , ,,一 \中文摘要 摘 要 射线成像技术,如断层成像技术, 和数字辐射 成像技术, ,可以通过图像无损地展示被测物体的内部结 构,广泛用于工业探伤和医学检测。在工业应用中,射线无损检测尤其是实时 批量检测有一定的时间限制,这就要求相应的图像处理方法能够快速完成检测任 务;在图和体数据中,铸件的灰度对比度和缺陷的分布呈现出一定的局部 特性,这就要求相应的图像处理方法能够很好地提取局部特征,能够得到较为准 确的边缘检测或特征提取结果。但是传统的图像检测方法受图像数据尺寸或者图 像模糊的影响,难以在这两个方面上取得平衡。 为了提高检测效率,本论文将纹理描述算子局部二值模式, 用于射线图像的图像增强、边缘提取和特征提取等图像处理中。 通过加权代表圆域内像素间灰度差异的二值数值来描述纹理信息,具有计算方式 简单性、信息提取局部性和单调灰度不变性等优势。本论文根据图像和体 数据的特点,在保持这些优势的同时,从加权方式、待处理数据特点和比较 函数上对作相应的改进,提高了对方向和空间信息的提取能力,增强了 对边缘的捕捉能力,弥补了对灰度差异程度描述能力的不足。 铸件图像中缺陷区域的灰度对比度不高,利用的信息提取局部化优 势,可以增强含缺陷的图,但无法同时增强含有不同方向缺陷的子图。 针对对方向信息提取不充分的缺点,我们改进了的加权过程,利用有限 线积分变换, 衄的积分值来确定图像主方向,按主 方向选定合适的权重排列方式来加权对应的二值数值,获得含有方向信息的 值。该利用方向信息改进的算法称为。因的方向优势, 算法可以增强不同方向的缺陷;因信息提取局部化的优势以及单调 灰度不变性,算法可以增强不同对比度下的缺陷。特别的, 可以对强灰度对比度的缺陷进行增强的同时,增强同一区域内灰度对比度相 对偏 弱的缺陷。经增强后,缺陷的特征更为突出,在此基础上提取相应的纹 理特征,可以在一定程度上提高识别背景、铸件强边缘和缺陷的识别率。 体数据尺寸较大,利用的计算方式简单性可以较为快速地获得边缘, 但对微小的灰度变化过于敏感。为了克服这个缺点,我们研究了一种融合 和空间信息的三维边缘提取算法.。通过融合多空间方向的值 来获得二值体数据,以满足在提取边缘时对数据的分段常数化要求。通过融 合多平面值来获得三维边缘,提高对空间信息尤其是三维边缘信息的捕重庆 人学博士学位论文 捉能力。.如可以克服噪声影响,较快地提取细化的、连续的、封闭的、较 为准确的三维边缘。值得注意的是,?能够保留边缘中的细节信息,如裂 纹的尖端,为特殊部位检测分析奠定了基础。该方法同样也适用于其他含有 复杂 结构的体数据边缘提取。 图像较为模糊,利用对非单调灰度变化敏感的优势可以提取边缘, 但无法描述像素间灰度差异的程度,不能区分冗余的微小灰度变化和所要保 留的较大的灰度变化。本论文针对此问题,利用相对光滑的比较函数来改进, 称为.。该算法通过嵌入含有单调递减性质的相对光滑函数来逼近原来阶 跃的比较函数,并考虑了圆域内中心点和圆周邻点的灰度相似距离,以有区别地 对待圆域内的灰度信息。另外,在该算法中增加了一个计数策略,以淘汰冗余的 微小灰度变化。?计算简单,可以较为快速地完成边缘的提取;保留了对较 大灰度变化的敏感性,增强了对灰度差异程度的描述能力,可以有区别地提取铸 件边缘、灰度对比度较弱的小缺陷边缘和灰度不均的铸件号边缘,克服了噪声、 伪影和图像模糊。.也可用于图像、背景复杂的图像和光照不均的图像。 本论文针对射线图像特点和实际检测要求,对作出了相应的改进。实 际实验证实这些方法具有处理时间短和检测效果好两重优势,可有效地增强图像、 提取边缘和识别缺陷,对工业射线无损检测具有指导意义。 关键词: 体数据,图像,,图像增强,边缘提取 ?, , 即 ., , .., , ., 耵 .,衄 丘 , ., ,, ? ’., 锄, 奴 掣 咄 饿 . , 行 , ,, 够 时,, 印 “ 虢 ’ ?咄 .肌 ? ,, ?. , 虢 埘【 瑚【 . . ? .仃’ ; , , ,. , , 重庆火学博士学位论文 . ,., , ? . . ? ,如 撕 , . 匆 .? 虢 ,, . ? ,,, .. , , .? 虢, 删‘ “ . , .? 向. , ., ? .. , 虢 .,? 印 , .?, . ? ,., ,? ., , , : ,, 目 录 目 录 中文摘要.. 英文摘要 绪论.. .引言.. .课题研究意义? .课题研究现状? ..图像预处理 ..边缘检测? ..特征提取? ..缺陷识别和分级? .课题研究难点.. .主要研究内容和创新点??.. .章节安排??.. 基本理论. 射线检测技术 .. 射线检测原理? .. 与检测系统??.. . 与成像特点??.. .有限线积分变换??.. ..二维?. ..三维?. .局部二值模式??.. ..原始?.. ..旋转不变一致变体. .. 其他变体和改进.本章小结??.. 利用方向信息改进的图像增强算法? . 的弓入 . 的改进?.. .. 信息的提取? .. 权重的分布? 重庆大学博学位论文 .图像增强算法.. 算法原理??. .. 算法步骤??. .实验与分析?. .. 和增强效果对比 .. 和其他方法增强效果对比?.. .. 的抗噪分析?. .基于纹理特征的缺陷识别?. .本章小结??. 融合和空间信息的体数据边缘提取算法?“ . 体数据三维边缘提取现状??一 . 对边缘信息的捕捉??. .边缘提取算法???. ..多方向有限线积分变换???.. ..多平面局部二值模式.? .. .算法实现.. .实验与分析?. ..空间方向的选择.. ..空间平面的选择.. ..裂纹体数据边缘提取效果对比.. ..其他体数据边缘提取效果对比.. ..含噪边缘提取和准确性分析.本章小结??. 利用光滑比较函数改进的模糊图像边缘提取算法 .引言. 比较函数的缺点和改进. .边缘提取算法.. .. ?算法原理? . ?算法实现流程.实验与分析?. .. 图像边缘提取效果对比??. ..其它图像边缘提取效果对比?.. .本章小结??. 总结和展望? 目 录 .全文总结??.. .展望?一 致 谢 参考文献 录 附 攻读学位期间发表的论文目录 .:藩 ?:’绪论 绪 论 .引言 射线成像技术,如断层成像技术 , 印和数字辐射 成像技术, ,可以通过图像展示被测物体的内部结构,被 广泛用于工业无损检测。但是,工业无损检测尤其是批量实时检测有一定的 时间 要求,而且,受铸件厚度和射线强度的影响,图和图的灰度对比度和铸件 缺陷的分布都呈现一定的局部特性。受限于此,传统的图像检测方法在检测 时间 和图像效果上较难取得平衡。 为了提高工业射线图像的检测时间和检测效果,本论文将纹理描述算子局 部二值模式, 用于射线图像的增强、边缘提取和缺 陷识别等应用中。针对射线图像的特点,从方向判断、加权方式和比较函数等 方面对做出了一系列的改进,充分发挥了的计算方式的简单性,信息提 取的局部性,单调灰度的不变性等优势,从检测图像效果和检测时间两个方面提 高了工业射线图像的检测效率。 在本章中,将首先对本课题的研究背景、研究意义作简要介绍,说明该课题 研究的必要性。接着阐述本课题的研究现状,说明现有的方法或软件的特点,比 较其优缺点,便于提出我们的研究方法。然后在分析课题研究难点的基础上,概 要地介绍了我们的研究方法,并说明了相应的创新点。最后概述本论文的章节安 排。 .课题研究意义 随着工业科技的进步和工业需求的增大,铸件的应用范围越来越广,包括航 空、航天、铁路等等领域,随之而来,对铸件合格率的要求也越来越高。厂商 对 决定铸件质量的尺寸规格和缺陷分布有着比较严格的要求,因为无法达到行业标 准的铸件轻则使用寿命过低造成经济资源消耗,重则铸件性能丧失造成严重事故。 如果在出厂前对铸件进行检测或者在使用中增加在役检测,判定铸件的质量和预 测使用寿命,可以减少经济损失,避免事故发生。 射线可以穿透绝大部分物质,已成功用于物质无损检测。在射线技术中, 和因其射线能量较高和图像视觉效果直观等特点较多地用于工业检测。然 而的断层图像和的透视图像因成像工艺和设备等因素的影响难免存在噪声 和伪影,遮蔽了铸件的边缘曲线和缺陷的分布。再加上体数据含有多层切片, 而一般用于实时批量检测的在同批检测时通常也有大量的图片,大部分厂商所重庆大学博士学位论文 使用的人工识别方式显得繁琐而且容易疲劳。在这种情况下,容易造成误判和漏 判,给铸件的合格率带来不良影响。 使用计算机识别方法,能够对相应的射线图像进行预处理,增强视觉效果, 便于人眼判断;提取相应射线图像中的目标边缘或纹理信息,便于尺寸测量和 图像分析;定位缺陷,识别缺陷的等级,判定铸件的合格率,避免人力浪费和人 工因素造成的误判漏判。然而,工业射线图像的现有处理软件往往是基于灰度、 直方图和滤波等等传统方法对图像进行处理,现有文献中出现的很多处理方 法因为在处理时间和图像效果上难以取得平衡而较少地应用在工程中。 本课题在考虑检测时问和检测效果两个方面的基础上,将引入到体 数据和图像的增强和边缘提取中。将圆域内的邻点像素和圆心像素进行 灰度值的比较,再将比较结果按二值数值表示,然后将二值数值加权为十进制数 值,统计某个区域内值的概率分布,生成一个直方图,则该直方图就表 征了该区域的纹理特征。因只涉及到简单的和、差和乘积操作,一次计算也 只使用了圆域内有限的几个像素,因此计算简单。而且具有单调灰度不变性, 其旋转不变一致的变体模式还具有旋转不变性,可以较好地提取局部纹理特征, 识别效率较高。因此自提出以来,被广泛用于图像分析、人脸识别、姿态识 别等等实际应用中。本课题将引入到射线体数据和图像的相应处 理中,对进行改进:针对诸如邻域内像素灰度信息提取不足、无方向判 断能力等缺点,改进了的局部邻域信息提取方式,并利用有限线积分’ 赋予判断方向的能力;针对的对微小灰度 变化如一两个灰度级的灰度变化敏感而导致所得边缘较宽的缺点,结合三维 改进了的空间信息提取方式;针对中比较函数不够光滑,对像素间灰度 值差异程度的描述不够明显的缺点,改进中像素灰度的比较方式,增加对灰 度值微小变化进行过滤的策略。综上,本课题提高了对邻点像素信息的利用 率,提高了对空间信息的提取率,赋予了对方向的判断能力,提高了 对像素间灰度值差异程度的描述能力,降低了对噪声或微小灰度变化的 敏感性,扩展了纹理特征的应用范围,加深了对信息提取局部性和单调灰度 不变性的理解,具有较大的学术意义。 从实际上看,本课题从图像增强、边缘提取、缺陷识别等方面推广了机器视 觉的应用。课题中关于模糊图像增强的研究可以增强不同方向的缺陷,突出缺 陷的纹理特征,可以提高缺陷的识别率;课题中关于体数据三维边缘提取的研 究可以获得较为准确的、连续的、封闭的、细化的边缘,为铸件内外壁的测量、 逆向设计、以及数据与模型的比对奠定基础;课题中关于模糊图像 边缘提取的研究可以获得铸件边缘、缺陷边缘和铸件号边缘,便于铸件尺寸的测 绪论 量、缺陷的定位,缺陷几何形状特征的提取,也便于铸件号的分割和识别。因此, 本课题研究可以增强图像的灰度对比度,获得图像边缘,提高检测效率,减轻人 为因素的影响,为产品质量评估带来方便,对实际生产线的质量管理有着较大的 实用意义和经济价值。 .课题研究现状 针对工业射线的铸件体数据和图像这两类图像数据,检测流程一般 可以总结为以下几步:图像预处理,边缘检测,特征提取和缺陷识别分级。图像 预处理包括图像去噪和图像增强;边缘检测即将铸件或缺陷边缘突显出来,也包 括可能会进行的轮廓跟踪或缺陷定位;而特征提取目的在于为后面的识别分级提 供鉴别能力尽可能好、维数尽可能少的特征向量;缺陷识别分级即从背景和铸件 中区分出缺陷,甚至分辨出缺陷的种类和严重程度。 ..图像预处理 针对待检测图像中对比度低的特点,对图像进行增强处理,使待检测部分灰 度对比度加强,便于以后的边缘提取或识别处理,包括使用滤波算子、直方图方 法、灰度拉伸、形态学方法等增强方法【。。在已有的工业射线检测软件中,较 多地使用了图像增强器、放大器等设备,以及直方图均衡化、灰度拉伸或 校正等方法来增强图像,当然也包括了常用的滤波算子,可使用固定的滤波模板 如高斯模板、拉普拉斯模板以及由用户自定义的滤波模板。这些传统的预处 理方 法较为简单,容易实现,但针对性较强,较易抹掉细小缺陷。 目前国内外学者研究了众多图像融合的增强方法,使用较为频繁的如基于加 权、基于模糊算子、基于主成分分析和基于多分辨分析的融合方法。加权融合法 一。?,根据图像的不同质量给出一组最佳的加权系数,然后取加权和,简单易处理, 计算量小,可以用于实时处理,但是得到的图像会出现明显的拼接痕迹,一般很 少单独使用。模糊算子融合法【。使用了包括取大、取小、三角算子或根据图像 性质建立的模糊模型算子,但因为只选择了极少部分的信息,因此对特定的图像 有较好的效果,但没有普适性。主成分分析法, ,该方法计算相关矩阵的特征 值和特征向量,将特征值从大到小排列,选择前几个特征值的特征向量,作为主 成分,计算图像值,提高了影像的空间信息表现能力,但因为需要计算特征值和 特征向量,计算量较大。多分辨分析法,主要包括金字塔融合方法??、小波融合 方法‘。,。以及近年来兴起的多尺度几何分析也叫后小波 的融 合方法‘】。小波融合方法【,。将图像按离散小波变换进行分解,对分解得 到 的高频系数和低频系数分别采用不同的融合方法进行融合,再将融合后的小波高、 低频系数进行小波重构,得到融合后的图像,融合方法接近人的视觉,但是融合重庆大学博士学位论文 效果受小波分解的阶数影响,有明显的分块痕迹,在高维情况下,小波分析不能 充分利用数据本身所特有的几何特征,融合后的边缘有“环绕’’现象‘。后小波‘。】 以构建高维函数来最优逼近具有奇异性的边缘,与小波融合方法类似,区别在于 后小波更针对某一类特定的图像特征进行增强,因此在融合时往往需要采用不同 的后小波算法进行融合。 ..边缘检测 边缘检测的方法较多,简单的如基于阈值化的处理、梯度方法等,复杂的如 偏微分、多尺度分析、马尔科夫链、统计模型等。 梯度算子检测方法,包括传统的一阶、二阶梯度算子,和相应的梯度矩阵如 矩阵等,利用梯度检测缺陷的方法,检测速度快,但容易受到噪声影响, 得到的边缘不够连续。模型【孓用曲面拟合方法拟合出边缘曲线,可以检测 到缺陷的单像素边缘,但得到的边缘曲线在转角处会有断裂。 偏微分方程检测方法将所研究的图像问题归结为一个带约束条件或不带约 束 条件的泛函极小化问题,利用变分方法导出一个或一组偏微分方程,并结合相应 的初始条件或边界条件,用数值方法求解并得到数值解,即为图像目标检测结果。 偏微分方程应用于图像边缘主要是采用活动轮廓模型来实现的,如模型 【,、模型等‘, 。这种方法具有较高的定位精度,具备自动修复噪声造成的 图像轮廓断点的功能,可有效地克服噪声干扰【 ,但在曲线演化过程中要始终保 持水平集函数为符号距离函数,或在迭代过程中需要不断进行水平集初始化,降 低了处理速度,限制了实际中的应用。 多尺度分析方法【是一种具有多分辨性、局部性、临界采样、各向异性的边 缘提取方法,包括小波、脊波、条带、轮廓波、子束波等方法。 脊波‘,。利用变换将线奇异性转化为点奇异性,再利用小波处理点 奇异性,因此脊波能有效处理直线状和超平面的奇异性,但脊波变换对含曲线奇 异性的边缘逼近效率较慢。 轮廓波具有各向异性和尺度相关性,由拉普拉斯金字塔变换实现多尺度分 解,捕获点奇异性,再由方向滤波器组将分布在同方向上的奇异点合成一个系数, 能有效地处理图像中的线奇异性和面奇异性,捕捉光滑边缘,但融合后的图 像在 边缘处有振铃效应。 楔形波【,采用二进剖分思想把各种位置、尺度、方向的二进楔形区域上的 特征函数作为基元素,可以自适应地分割图像的不连续子集,检测边缘的效果较 好,但计算时间长,对弱边缘和细小边缘不敏感。 子束波【,可以有效地分析线段的奇异性,不同尺度和方向的子束波可以提 供平面上光滑曲线的一个稀疏逼近。文献将子束波应用于含噪图像的裂纹检测 绪论 中,可以克服噪声影响,但所得边缘是由线段逼近曲线。 条带波‘,。可以定义图像中几何特征的矢量场,白适应地跟踪图像的几何『 则性。第一代条带波利用重复采样和弯曲小波实现。而第二代条带波将多尺度分 析和方向分析分开进行,多尺度由四叉树剖分实现,然后在剖分子块中根据目标 函数重构误差和计算复杂度最小寻找最优方向。文献在二进剖分后寻找增 强方向,根据增强方向将条带波分为有几何方向的条带波块和无几何方向的条带 波块,由这两种条带波块系数特征,区分出噪声、清晰边缘和模糊边缘。文献 用隐马尔科夫树模型对第二代条带波系数建模,由后验概率对图像进行分割。在 多尺度几何分析工具中,条带波逼近效果较好,但是稀疏的图像表示受剖分子块 尺寸大小的影响,而且在搜索剖分子块内的最优方向时需要极大的计算开销。文 献.】都是针对这点进行改进,一个是修改搜索时的目标函数,一个是修改最 优方向搜索方法,达到加速的目的。 方向波【采用基于整数格理论的最佳重构和临界采样来构造多方向各向异性 的二维小波变换,能够提供比脊波和曲波更稀疏的表示。 总的来说,楔形波适合于提取图像的楔形特征,子束波适合提取直线特征, 条带波能更好的描述光滑平面上。连续的闭合曲线,而方向波能较好的描述交叉 直线。 另外,我们将在逆向设计前的线特征或面特征提取也归为边缘检测中。李宗 剑等人【利用有限线积分模板内的直线分析能力,将改进至三维算法 后应用到体数据的线特征提取。稍后,李宗剑等人又提出了有限面积分, 的概念酬,用于体数据的面特征提取。这两种方 法融合了各个方向的改进值或值,可以克服噪声影响,获得体数据中 的线特征或面特征。但是,由于利用的是模板内的直线段或平面来分析图像,所 得的线特征是由直线段构成,所得面特征是由小平面逼近的,所以线特征和面特 征均在弯曲的部位显得生硬。如果严格地从边缘的角度上看,所得的线特征 和面 特征是断裂的。 现有的工业或图像处理软件一般将边缘检测和图像测量结合为一个功 能,利用边缘提取方法检测出图像边缘再测量长度或面积,或者通过鼠标人工选 取感兴趣区域,利用曲面拟合方法或特定模型拟合出感兴趣目标的图像边缘,然 后计算长度和面积。部分图像处理软件将边缘检测单独列为一个模块,其使用的 边缘检测方法一般为传统的梯度算子方法或小波方法,而偏微分方法和多尺度几 何分析的几种后小波方法出现得较少。 ..特征提取 受工艺水平、使用环境、在役时间等因素的影响,工件中会不可避免地出现重庆大学博士学位论文 一些缺陷,如铸件中的气孔、裂纹、疏松、夹杂,木材中的节疤、内裂、腐朽等 等。在分析纺织物、木材、焊缝和铸件的射线图像缺陷识别的基础上,借鉴了 医学异常部位识别方法,从不同方面综述常用缺陷特征。 ?根据特征描述的目标特性不同,可分为几何形状特征和纹理特征。 从文献上来看,在焊缝缺陷中使用的绝大部分特征都是几何形状特征,而在 木材缺陷、纺织物缺陷和人脸表情分类一般都使用的是纹理特征。 几何形状特征,从字面上理解就是目标的形状和位置之间的描述算子,具体 的有距离,长宽,面积,圆度,紧凑度,伸展度,尖锐度,角度,密度等【州。 如文献列出了个特征:位置,缺陷长轴与短轴之比,短轴和面积之比,圆度。 文献和使用了个特征:边缘平滑度,尖锐度,周长与面积比,缺陷主轴 和焊缝中心线的夹角,缺陷在焊缝中的位置,对称性,填充度序号,相关灰度。 文献提出了个几何特征:与缺陷中心的距离缺陷中心和焊缝中间线的距 离,半径均值,差,圆度,紧凑度周长平方/面积,主轴,缺陷的长和宽 在主轴上的投影,伸展度宽/长,直径,密度均值,密度标准差。 几何形状特征计算简单,但需要在特征提取前就将缺陷位置和缺陷边缘检测 出来, 因此对图像增强、去噪、边缘检测等图像处理有较高的要求。 纹理特征【,反映了图像基元的灰度分布规律,描述了图像局部无规则而宏 观有规则的特性。目前常用的纹理特征包括基于统计分析的纹理特征和基于 直方 图的纹理特征。 基于统计分析的纹理特征指在灰度共生矩阵上提取统计信息作为纹理特征, 反映图像的方向、间隔、变化幅度及快慢等综合信息。从灰度共生矩阵中可 提取 的纹理特征包括:体现图像内容随机性的熵【, ,如文献就使用了两种熵值特征; 体现图像均匀性和平滑性的角二阶矩,也就是能量,,;方差【】;均匀性阳; 相关性,】;均值例;惯性‘】;异质性‘。由灰度共生矩阵提取的纹理特征具有较 好的鉴别能力,但是计算量大,因此在像素级纹理分类应用上受限。此外,人眼 对于二阶以上的纹理辨别不太敏感,因此该类纹理特征对训练集进行视觉分类效 果不佳,但对于微纹理图像中反映灰度的分散程度、起伏分布和反差等有较好的 描述能力。 基于直方图的纹理特征,以某种信息如二值模式、梯度方向或梯度值等信息 的直方图作为纹理的特征向量,如局部二值模式 ,【。,尺度不变特征变换 ,,?,梯度位置和方向 直方图 锄,【等。这类纹理描述 算予或者直接将直方图以特征向量的形式参与识别;或者将直方图作为向量,计 算向量之间的距离,通过匹配的方式来识别缺陷。 绪论 是由.提出的【.,将半径为的圆周上的个邻点和圆心点的灰 度值进行比较,比较结果以二值码字形式表示,称为二值模式,然后统计这些模 式出现的次数,生成模式的直方图,以此作为相应的纹理特征。为减少特征的冗 余度,在该特征中加入了一致性和旋转不变性,即【】,减少了特征的 维数。因该描述算子在圆域内比较灰度值的大小而且考虑了特征旋转后的特点, 可以描述像素级和区域级信息,被广泛应用于图像配准和识别中。 随着的应用范围扩大,学者们针对的不足进行了改进。 可以提取像素级和区域级信息,这些都是局部信息,为了补充全局信息, 将修改为级联直方图描述岭卜,即将图像分为若干子块,在每个子块上提取 纹理,生成子图的直方图,然后按一定顺序,将这些子图的直方图整合 成一个直方图,作为全局信息的描述,或者利用的尺度多变性,使用尺寸不 同的多个窗口的【,,来提取特征。 为圆域中的纹理算子,具有各向同性的特点,为了提高对方向的描 述,在比较过程中加入方向信息如使用方向模板【或者整合直方图时按四个方向 进行整合恂?。然而前者对每一个邻域都需要按照增加的个方向模板进行比较, 较大地增加了计算量和存储量;后者按个方向对二值模式进行排列,一个圆域 就有个结果,仅适用于只有左光照或只有右光照的情况。 中比较函数的不连续性导致对噪声敏感,针对这个问题,学者们较 多地选择修改的比较函数,增加比较项使其成为三值模式【卜、四值模式【 、 五值模式【 。,或者将比较函数中考虑的“大于等于”和“小于”两种情况拆分为“大 于”、“等于”和“小于”三种情况峭。 还有部分学者修改了的比较阈值,如用区域均值代替中心点的灰度值 ,。】,改进比较范围为关于中心点对称的圆域邻点【,只选取“十字’’型邻域和“对 角”邻域内的周围点灰度值进行比较【】等等,这些改进一定程度上提高了分类和识 别的效率。 纹理算子是在空域原像素基础上的,因此也有学者将与多分辨分析 相结合,如与小波结合【,与结合等。 而对三维情况,将本身扩展到三维形式的改进算法较少。在视频处理中, 除了考虑当前帧的像素点,还有前后帧的像素点。如文献中选取了当 前帧内点,前后帧内各点,构成,但因所选的样本点太多,权值已排列 到“”,权值的影响已经超过了本身狄度值的作用。而降低了所选的样本 点数目,选取了当前帧内点,前帧和后帧各一个点,总共点。文献 将数据视为一个立方体,在立方体的个面上选取中心点,共点与体中心像 素比较。这两种方法更像是经验选择,样本点的选择不太符合体数据的结构特重庆大学『尊士学位论文 点。 和生成的都是梯度方向的直方图,同时具有位置和方向信息。 描述算子‘,。具有尺度不变和旋转不变性,可以较好描述模糊的纹理信息,但 算子不包括颜色和全局信息。而【。是针对鲁棒性和可分性的扩 展,能更好的描述结构特征,但在尺度不变方面不及。 ?根据特征的提取空间,又可以分为空域特征和变换域特征。 空域特征,即直接在图像上提取的特征,几何结构特征几乎都是空域特征, 梯度信息直方图的纹理特征也是空域特征。 变换域特征,即为在变换域上提取的相关特征,如在频域上提取的特征,或 在小波变换或后小波变换基础上提取的特征。与多分辨分析结合的特征就是 这样的特征【 ,】。变换域特征可以具有各向同性和各向异性,高效非线性的逼近 人眼视觉系统,但因小波分解重构或后小波变换基函数的计算,该特征的提取往 往耗费较多的时问。 复合特征,即将各种特征结合起来使用,以求得到更多的特征信息【。。这 种特征可以包含空域和变换域特征,但因所提取的特征较多,为得到这些特征而 进行的前续处理也需要花费较多的时间。 一般的,现有的工业和图像处理软件能够提取较为简单的图像特征用 于后续图像分析。所提取的几何形状特征一般为感兴趣区域的像素点计数个数、 长度、密度、面积等。部分软件也能提供基于统计信息的纹理特征提取功能,这 些纹理特征包括感兴趣区域的某种信息量均值、标准差、最大值、最小值等。而 基于直方图的纹理特征因受图像分块大小的影响较少出现在现有图像处理软件 中。这些工业和图像处理软件所提供的图像特征一般为空域特征。 ..缺陷识别和分级 铸件缺陷种类较多,然而我国公认的射线数字图像中铸件缺陷种类和级别 的定义标准仍在制定中,厂商一般依靠专家的丰富经验来识别。可以借鉴已有严 格标准的焊缝缺陷分类方法和纺织物缺陷、木材缺陷的分类方法。从文献来看, 应用较为频繁的是决策树分类方法、基于模糊理论的分类方法、神经网络分类方 法,支持向量机分类方法,其他结合方法。其中决策树和模糊方法出现时间较早, 现在多将这类方法与其他方法结合使用。人工神经网络和支持向量机因为接近人 的识别方式而被广泛应用于缺陷识别中。下文简要介绍这几种方法的优缺点。 异类分类,即将异常点视为一类,将该类从正常点中分离出来。异类分类应 用到缺陷检测时,一般需要先对图像划分区域,提取几何特征或纹理特征后,再 用相应的分类方法得到含缺陷的类【孓。异类分类方法受区域划分大小的影响, 也受所能得到的异常点数据信息的影响。绪论 神经网络分类‘,。,识别效率较高,但所需样本规模较大,而且需要对图 像进行预处理,分类效果受所选取特征的影响,同时神经网络易出现过学习现象。 分类,,。,支持向量机也是一种网络结构,基于维理论以最小 结构风险代替最小期望风险,能克服“过学习”和“欠学习”的现象,分类效果优于传 统的机器识别方法,然而支持向量机对小样本事件分类效果较好,对大规模数据 的分类效果却不尽人意。 分类阳,。,无需先验信息,适用于不同条件下的数据,但是受模糊 规则和特征选取过程的影响。 分类【,是将若干弱分类器结合起来,构成一个强分类器的过程, 关键在于选择合适的融合方法,以及适当的更新权值,否则容易出现过拟合。 决策树分类【,,已有成型的软件,但是决策树分类与神经网络相比更容易 “过拟合”,描述和生长能力也不如神经网络。 从现有的工业或的图像处理软件来看,缺陷的分类一般由人机交互完 成,可分为两类:机器增强再人工识别;机器初识别再人工判定。前者对软件的 增强效果要求较高,并且要求在软件中加入操作人员的培训模块。后者对机器的 自动识别能力要求较高,在识别前必须输入识别的参数设置。这些软件中使 用的 分类方法包括利用前后帧的图像差异识别、利用决策树分类方法识别、利用简单 的分类规则识别等等。 对于缺陷分级,水果中的缺陷分级【。 可以借助水果的外表颜色、杆茎蒂的 形状、尺寸等参数来完成缺陷分级,而铸件的射线图像中缺陷能够直接得到的 信息一般只有灰度分布信息,其几何形状参数因部分缺陷深陷于铸件内部而无法 直接通过物理仪器接触测量获得,这就需要利用相应的检测技术和数学方法来计 算得出,同样,其纹理特征也需要相应的提取过程。文献对汽车产品缺陷进 行时,首先生成了不同等级缺陷的数据库,然后参照数据库,按掉漆的长度, 对缺陷评定等级。对于焊缝缺陷来说,已有统一的行业标准,并且缺陷分级是按 条形缺陷和圆形缺陷的两个视觉形状来划分的:按长宽比区分形状、再将条形或 圆形缺陷的点数进行统计,以点的个数来判定严重程度,达到分级目的,如文献 ;也可以对缺陷进行椭圆投影,按长短轴的长度和比率来判定严重程度,实 现分级,如文献。 对于射线图像中铸件的缺陷分类和等级判定,不同厂家有不同的要求,虽 然已有铸件金相图的缺陷分类分级行业标准,但这些标准在射线数字图像中未 得到完全的认可。因此,可以建立完整的缺陷图像数据库,以数据库中的参照图 像作为训练样本,或直接对比输入图像和参照图像,实现缺陷分类分级;也可以 重庆大学博士学位论文 促进统一量化标准的制定,以标准中的具体量化数值为分类准则,达到缺陷分类 分级的目的。 .课题研究难点 工业成像速度较快,一般用于实时批量检测,因此要求相应的图像处理时 间较短。同时工业图像中噪声和伪影混杂,因此要求相应的图像处理方法应该 具备一定的抗噪性或者具有平滑效果。另外工业图像中边缘较为模糊,虽然强 边缘,即铸件和空气之间的交界或较厚铸件部位的边缘,可用一般的边缘检测方 法检测出来,但是弱边缘,即缺陷和铸件之间的分界,因为两者之问的灰度对比 度较低,甚至人眼难以分辨,较难提取出来。图像的弱对比度和丰富的灰度层 次,要求相应的图像处理方法具有较好的局部特性,能够克服噪声和伪影的影响, 能够对局部微特征有较好的提取能力,但又不能过度提取微小的灰度变化。 体数据的灰度对比度较强,边缘较为清晰,但仍然不可避免地存在噪声和 伪影,因此体数据的相应处理方法同样也要求具有较好的平滑特性。体数据由上 百张切片构成,位于同张切片之内的像素相关性较大,信息之间的联系较为紧密, 而不同切片之问的像素受层间采样数据不连续的影响,当问距较大时层问像素的 相关性较小,因此直接使用立方体或球形的模板会造成信息提取的不恰当,即要 求相应的图像处理方法立足于三维空间,但又要注重横截平面。除此之外,体数 据尺寸相对较大,这就要求在提高检测视觉效果的同时也要缩短检测时间。 射线图像中缺陷种类繁多,概括来说包括气孔、夹杂、疏松和裂纹等等。 对而言,我国铸件缺陷识别的量化标准仍在制定中,在此之前还没有统一的、 公认的识别准则。铸件金相图像的缺陷识别标准可以给我们提供参考,但是缺陷 分类和分级的定义较为模糊。例如,铸件中的疏松缺陷可以划分为分散状疏松、 树枝状疏松、管状疏松。其中,树枝状疏松的主干部分和管状疏松形似,分散 状 疏松和气孔形似,容易混淆判别。当类似于管状疏松的缺陷和树枝状疏松分布位 置较为接近,貌似气孔的缺陷和分散状疏松分布位置较为接近时,该如何判定缺 陷类别,是前者,还是归于后者在无长期丰富工作经验的前提下,很难将这些 形状相似的缺陷进行分类分级。 .主要研究内容和创新点 在概述了射线图像检测方法和分析了射线图像检测难点后,我们将局部 二值模式引入到相应的射线图像处理中。使用局部模板中的像素进行 比较,利用局部纹理表达像素信息,克服单调灰度变化的影响,适合用于提取点 和边缘等微特征;计算简单,易于实现,可以节省处理时间。因此,应 绪论 用于射线图像检测中是可行的。但是,也存在一些不足:对微小的灰 度变化都很敏感,无法描述灰度差异程度,较大程度上受噪声、伪影和冗余灰度 变化的影响,需要对提取特征的力度加以控制,防止出现过提取现象; 无方向信息,可与其他方法结合,加强对特征的描述能力。 针对射线图像的特点和的以上缺点,我们对进行了一系列改进。 本论文的主要的创新性工作包括以下几点: 首先,铸件图像中缺陷区域灰度对比度偏低,将具有信息提取局部化特点 的应用于含缺陷子图的图像增强。针对不具有方向信息提取能力的缺点, 我们研究了一种利用方向信息来改进加权过程中权重排列方式的图像 增强算法,称之为。在实验中,我们发现,的权重按顺时针从大到 小排列或按顺时针从小到大排列,分别对含某个方向缺陷的子图有独特的增强效 果,但本身无法判定缺陷的方向。基于此特性,将和结合,通过 计算模板中的有限直线的积分值来判定和标记缺陷的方向,再由缺陷方向来 决定使用相对应的、给定的、三种权重排列方式中的某一种,对二值码 字加权求和,使得对不同方向的含缺陷子图有不同的增强效果。原对圆 域内信息提取不够充分,已有的改进算法提取结果受分块大小或阈值的影响。 在本论文中,同样也改进了信息提取的方式,以圆域内每个像素的局部均值代替 相应像素的灰度值,提取结果不受分块大小的影响。.算法利用的 积分过程和信息提取的局部均值过程对噪声进行一部分的平滑;利用的直线 方向来弥补没有方向特性的不足;利用和使用模板的局部特性, 再加上对单调灰度的不变性,提取弱对比度下的局部细节。因此该算法可以 增强不同对比度下、不同类型、不同方向的缺陷。尤其是可以同等力度增强位于 灰度对比度较强缺陷附近的灰度对比度偏弱的缺陷。另外,突出了缺陷 的特征,在增强后的图像上提取纹理特征可以提高识别率。 其次,体数据尺寸较大,要求检测速度较快,将应用于体数据边 缘提取。针对对微小灰度变化过度敏感的问题,研究了一种融合空间 方向信息和空间平面信息的三维边缘提取算法,记为?。对单调 灰度的不变性也可以通俗的理解为:对位于灰度跃变区域如边缘的像素点的 描述强于对位于灰度光滑区域如背景的像素点的描述,因此将用于边缘提 取具有可行性。但源于比较函数的阶跃性定义,圆域内微小的灰度变化对 值影响较大,体现为提取的边缘较宽。但是,如若在二值结果上使用, 则可以得到细化甚至是单像素的边缘。由此思想出发,本论文所研究的.如 算法先利用多方向的提取空间方向信息,通过融合多方向信息得到二值体数 据,达到边缘提取对数据的分段常数化要求,然后在二值体数据上使用多平重庆大学博十学位论文 面并融合结果,得到体数据的三维边缘。.如算法使用了多个方向 的有限线积分,克服了噪声和伪影的影响;融合了多个空问方向的信息,保证二 值结果较好地保留了实际物体的边缘曲线和走势;使用的空间方向较多地分布于 同一个平面,保证了提取的信息中切片层内信息紧密于层问信息,符合体数据 由多张切片构成的事实;使用了多个平面的值,可以从上下层间信息中弥补 二值化过程中丢失的信息,保证了所提取的三维边缘是边缘面的特点;对多平面 的信息使用了融合方法,使得所得边缘如薄膜一般紧密贴被测物体,保留了边缘 的细节;方法简单,实现速度快。所以该方法可以较快地提取细化的、连续的、 封闭的三维边缘,所得边缘较为准确,能保留如裂纹尖端等细节。同时该方法也 适用于其他含有复杂结构的体数据边缘提取。 再次,图像模糊,而可以较好的描述灰度之间的差异,因此将 用于边缘提取。但是无法描述灰度差异的程度,本论文针对该问题通过嵌入 光滑比较函数函数来改进,改进后的算法简称为?。一般的边缘提取 方法在一定时间要求下无法准确提取模糊图像的完整边缘。而?在图 像模糊和灰度多变的情况下,只能提取到部分强边缘。由分析得知,受点噪 声影响严重的原因在于的比较函数函数是一个阶跃函数,这使得该函数容 易走向两个极端:在某些情况下,圆域邻点灰度值的稍微一点变化都能导致比较 函数的函数值发生变化;圆域邻点灰度值变化的差异程度不同,如相差几个狄度 级和一百个灰度级,其对应的比较函数的函数值可能都是一样的。因此我们将一 个相对光滑的函数嵌入到中,以逼近原来的阶跃函数,并增加了中心点 和圆域邻点的灰度值相似性距离的计算,以有区别地对待圆域邻点的灰度信息。 同时,我们还增加了一个计数策略,以淘汰冗余的微小灰度变化和噪声。? 算法继承了的对灰度变化的敏感性和信息提取的局部特性,可以在去除图像 中的冗余微小变化的前提向下,有区别地、完整地、较快地提取模糊图像边 缘, 甚至是对比度较弱的小缺陷边缘和灰度不均的铸件号边缘。而针对其它实际图像 的实验也表明该算法具有适用性,可用于图像、背景复杂的图像和光照不均的 图像。该算法为缺陷识别的几何形状特征提取和纹理特征窗口选择提供了基 础。 本论文对在权重排列方式、方向特性、和比较函数的光滑性等方面进行 的改进,提高了射线无损检测的检测效率,拓宽了的应用范围。实际图像 测试验证这些改进的算法在工业和无损检测上具有检测时间和检测 效果两重优势,可有效地提取边缘和分级缺陷。 .章节安排 按照研究内容,本论文的章节安排如下: 第一章是绪论部分。首先介绍了本课题的工程背景和研究意义,说明了本课 题研究的必要性。然后从国内外文献和现有软件角度介绍课题的研究现状,给出 现有算法或软件的优缺点。接着,在此基础上说明本课题的研究难点。然后具体 地介绍了本课题的研究内容和相应的创新点。最后说明本论文的章节安排。 第二章介绍了本论文所涉及的基础知识。首先介绍了射线成像原理、和 检测系统的结构和图像特点以便于理解本论文中所提出的针对图像特点的各 种方法。然后对本论文中所用到的算法原理和后续发展进行了详细介绍。接 着,在本章中介绍了算法的提出和发展,以及被较多使用的几个变体。 在第三章中,介绍了二维模糊图像的增强算法。首先按照图像的特点, 说明了图像增强的必要性。并结合文献和我们的研究介绍了的信息提取和权 重分布对结果的影响,而且以实例说明了权重排列方式对方向的敏感。在此基础 上,分析和的优缺点,将两者结合,提出了针对含缺陷的图像增强 算法。以具体的实验说明了所提出的图像增强算法能够增强不同方向和不同对比 度下的不同缺陷。与其他增强方法对比,该算法能够在有强灰度对比度缺陷分布 于附近的情况下,同步增强对比度偏弱的缺陷。最后以分类实验说明了该方法能 够突出缺陷特征,提高识别率。 在第四章中,我们提出了一种快速的、简单的、三维边缘提取算法?。 首先,强调体数据边缘提取的难点。再说明在增强实验中发现的对边缘 的描述能力,并将其具体分析,找出边缘提取的条件。在介绍了利用提取边 缘的思想后,分别给出了基于空间多方向信息的二值化方法,和基于 空间多平面信息的边缘提取方法,然后给出了将两者结合用于体数据边缘提取 的具体步骤。接着以实例说明空间方向个数选择和空间平面个数选择的缘由。最 后展示多个实际体数据的边缘提取结果,从处理时间和图像效果上,说明该算 法的可行性和有效性,并对比模拟体数据边缘提取前后的体积说明该算法的准确 性。 第五章具体介绍了二维模糊图像的边缘提取算法。首先分析了. 算法用于模糊图像边缘提取结果不尽人意的原因,再对比较函数的缺点 进行总结,列举了对这些缺点进行的改进算法。由此,引出我们的改进算法的原 理,然后根据原理给出了边缘提取的具体流程。接着以实际图像上的效果,说 明我们算法的可行性和有效性,并给出了该算法的应用前景。最后以其它实际图 像实验说明该算法的普适性。重盎盔堂堕主堂笪笙奎?? ?????????????????????????????一 第六章对本论文的主要工作做了总结,并根据这些内容提出下一步的目标和 可行的后续工作。 基本理论 在本章中将具体说明所要利用到的理论知识。首先,本论文的实验对象是 射线图像,包括体数据和图像,所以在本章中分别对射线成像原理和 射线检测系统给出了详细的介绍,然后说明了体数据和图像的图像特点。 这些对设计相应的图像处理方法有指导意义。其次,在本论文中两次利用来 改进,因此在本章中也阐述的原理和后续发展。再次,本论文将被广泛 用于识别和分类的算子用于体数据和图像的相关处理中,将从权重 排列、信息提取和比较函数等等方面对进行改进,因此在这里也介绍了 的原型和常用变体,作为研究的基础。 . 射线检测技术 自从年德国物理学家 发现射线以来,射线逐渐成 为医学诊断和工业探伤的常用探测信号。不同于光谱、红外或者微波,射线的 拥有纳米级棚甚至是皮米级的波长,能够有效地穿透包括医学骨骼器官 和工业合金铸件在内的大部分物质。不同的物质对射线的吸收率不同,密度较 大的物质如金属或骨骼等吸收的射线多于密度较小的物质如空气、水或软组织。 将被吸收后的射线聚集在胶片或探测器上,可以通过信号转换和数学重建得到 物体的相应图像,其中不同灰度的模式代表了不同密度的物质。利用射线的这 种特性,将射线应用于物质内部结构检测,无需剖开被测物体,就可以观察到 物体的内部分布。 在工业上,使用较多的射线检测技术为、和,其中得到的是 胶片,而和得到的是数字信号,再转换为图像显示。在本论文中,研究的 图像是由和得到的数字图像,以下对这两种检测方式进行具体介绍。 .. 射线检测原理 射线穿过物质时会发生一定程度的衰减。一个射线强度为厶的单能射线, 平行地射出,穿过路径长度为的被测物体后,射线强度衰减为,,若与物体密 度成正比的物体线衰减系数为“,,则有关系式【?: . 厶一甜,讲 由入射前的射线强度和入射后的射线强度,就可以计算出积分值?: . “,少讲厶/, ? 对同一被测物体,当入射的角度足够多时,可得到的积分值也足够多,则可重 庆大学博士学位论文 以由数学方程计算得出“,的值。以一个简单的数学模型来说明“,的求解。 如图.【 ,以一个×的矩阵为例,先不去研究矩阵中的数值代表什么物 理含义,也不知道矩阵中元素的具体取值是多少,但已知矩阵中第一行元素 之和 为,第二行元素之和为,第一列元素之和为,第二列元素之和为,求矩阵 每一个元素的值。 一? 一?图.矩阵求解示例 .. 要求解这个问题,可以建立简单的线性方程组如下: ? . 五十而 恐? 结果可以解得:/?\ 确物崩舭 这个模型可以看做是射线扫描成像的简化版。其中,沿行的元素和值以及 沿列的元素和值代表了不同方向下探测器检测得到的射线和,也称为线积分值或 者投影值,矩阵中的元素代表了成像图像的像素值。由投影值求解出图像像素值 的过程称为图像重建。 沿一个方向投影得到的投影值,就是透视数据,也就得到了图像。当检测基本理论 一 ???????????????????????????????????????二??????一一一 的物体结构比较复杂时,例如现实中的铸件由多种合金构成,仅有个或个投 影方向所生成的低阶矩阵是无法完整地描述被测物体内部信息的,这就需要沿多 个方向投影。在多角度下沿对角线对矩阵求和,然后重建图像,也就得到了断 层图像。 .. 与检测系统 工业和检测系统的外形尺寸可以按照被测物体的材质和规模量身定 做。然而就检测系统的组成而言,两个检测系统基本上是相同的,工业设备也 可以用于成像。按各组成部分的功能,可以划分为:射线源系统、探测系统、 数据采集系统、机械系统、控制系统、图像处理系统和辐射防护系统引,见图. 所示。 图.系统组成示意图.. 射线源系统,主要指用于产生穿透被测物体射线的射线源和用于校正射线束 的前准直器。射线源按射线的发生装置不同可以分为同位素辐射源、射线源和 电子直线加速器。其中,放射性同位素由于不受其他因素影响稳定性最好,射 线球管机和电子直