基于边缘的结构相似度模糊图像质量评价

基于边缘的结构相似度模糊图像质量评价 CN4321258/ T P 年第 33 卷第 2 期2011 计算机与科学 ISSN 10072130 X Vol1 33 ,No1 2 ,2011 CO M PU T ER EN GIN E ER IN G & SCIEN C E () 文章编号 :10072130 X 20110220133204 3 基于边缘的结构相似度模糊图像质量评价 Bl u r re d Ima ge Q ualit y A s se s sme nt Ba se d o n Edge St r uct u ral Si mila rit y 戚尚菊 , 纪秀花 QI Shang2ju , J I Xiu2hua ( 山东经济学院计算机科学与技术学院 , 山东 济南 250014) ( School of Computer Sc ience and Technology , Shandong Economic Un iversity , Jinan 250014 , China) 摘 要 :结构相似性理论是一种关于图像质量评价的新思想 ,它很好地模拟了人眼视觉特性的整体功能。本文首先介绍了传统图像质量评价方法的不足 ,分析了基于视觉特性的结构相似度理论 。作为结构 ( ) ( ) 相似性理论的一个实现 ,结构相似度模型 SSIM 简单且评价性能优于峰值信噪比 PSN R或均方误差 ( ) M S E,但 SSIM 模型不能较好地评价严重模糊的降质图像。基于此 ,在 SSIM 基础上 ,本文提出了一种 ( ) 新颖的、基于边缘的图像质量评价模型 ESS IM。该模型充分考虑了图像的边缘信息和人类视觉系统的 关系。实验结果表明 , ESS IM 是一种有效的图像质量评价方法 ,尤其在对模糊图像的质量评价上优于结 构相似度的评价方法 SSIM 。 Abstract : The p hilo sop hy of st r uct ural si mila rit y i s a new i dea a bo ut i ma ge qualit y a sse ssme nt , ( ) w hich mo del s t he lo w level co mpo sitio n of H u ma n Vi sual Syst e ms HV S. The p ap er i nt ro duce s t he sho r t co mi ngs of t he t ra ditio nal i ma ge qualit y a sse ssme nt met ho ds fi r stl y ,a nd a nal yze s t he st r uct ural si m2 ila rit y t heo r y ba se d t he h uma n vi sual syst e ms. A s a n i mp le me nt atio n of t he new p hilo sop hy , t he St r uc2 ( ) ( t ural Si mila rit y mo del SSIMi s si mp le a nd ha s bee n p ro ved to be bet t er t ha n t he PSN R Pea k Si gnal to ) ( ) Noi se Ratio o r t he M S E Mea n Squa re Er ro rmo del , b ut t here still re mai n so me deficie ncie s i n a sse ss2 i ng ba dl y bl ur re d i ma ge s. O n t he fo undatio n of SSIM , t he p ap e r p ropo se s a new i ma ge qualit y a sse ss2 ( ) me nt met ho d ba se d o n t he Edge St r uct ural Si mila rit y ESSIM. It ma ke s u se of t he relatio n ship bet wee n t he e dge of i ma ge a nd t he h uma n vi sual syst e m. The e xp e ri me nt al re sult s sho w t hat t he ESSIM mo del i s a n eff ective met ho d , a nd mo re co n si st e nt t ha n t he SSIM mo del . 关键词 :图像质量评价 ;结构相似度 ;图像边缘 ;人眼视觉特性 Key words :i ma ge qualit y a sse ssme nt ; st r uct ural si mila rit y ;i ma ge edge ; h uma n vi sual syst e m doi :10 . 3969/ j . i ssn . 10072130 X. 2011 . 02 . 026 中图分类号 : T P391文献标识码 : A 3 收稿日期 :2010204201 ;修订日期 :2010206225 ( ) () 基金项目 :国家自然科学基金资助项目60573114;山东省教育厅科技项目J 07 YJ 10通讯地址 :250014 山东省济南市山东经济学院计算机科学与技术学院 Address :School of Co mp ut er Science a nd Technolo gy , Sha ndo ng Eco no mic U niver sit y ,J i na n , Sha ndo ng 250014 , P . R . Chi na 压缩及图像的视觉质量评价的工作基础上提出的 SSIM 方法包括亮度 、对比度和结构三个方面。设 1 引言原始图像块为 X , 待评价图像块为 Y ,则它们的结 构相似性的模型定义为 : 图像质量评价方法一般来说可分为主观质量 γ α β 评价方法和客观质量评价方法。由于人眼视觉系 ( )( )( )( )1 S S I M = l x , y c x , y s x , y ( ) 统 HV S是图像处理的终端 , 所以最合理的图像 其中 :质量评价方法是主观评价方法 。然而 ,主观评价需 2 2 ( )l x , y ( )uu2 = uu + c/ + + c x y 1 x y 1要组织观察者对失真图像进行评分 ,从而使劳动强 2 2σ( ) σσσ32+ c/ + ( )xy 2 x + cc x , y = y 2 度增加 ,费时费力 ,且不能直接应用于图像处理系 ( )( )σs x , y = / σσ+ c4 统中 ,以便随时改善图像处理算法。客观评价方法 + c3x y 3 xy采用数学模型计算失真图像和原始图像的相似度 , ( ) ( ) ( ) l x , y、c x , y和 s x , y分别为两幅图像的亮度得到评价结果 ,因而具有简单 、便于内置于图像处 比较函数、对比度比较函数和结构相似度比较函 理系统中的优点。 数。其中 , u、u为图像 X 、Y 的均值 , 反映图像的x y 对于客观质量评价方法 ,目前人们最常用的指 σσ亮度信息; 、为图像 X 、Y 的方差 , 反映图像的x y ( 标是 均 方 误 差 M S E Mea n Squa re Er ro r , 简 称 σ对比度信息;为 X 、Y 的相关系数 , 反映其结构 x y ) ( M S E和峰值信噪比 PSN R Pea k Si gnal Noi se Ra2 ) tio ,简称 PSN R,它们都是基于统计特性的客观图 信息的相似性。c, c, c均为很小的正数 , 是为了1 2 3 像质量评价方法。但是这两种方法都是基于逐像 α 避免分母为零或接近于零而造成不稳定 ; 参数>素点比较图像差别 , 对图像中所有像素点同样对 β γ β γ ) α ( 0 ,> 0 ,> 0 。一般取= = = 1 , c= kL 1 1 待 ,没有充分考虑人眼的视觉特性 ,只能是对人眼 2 2 2 ( ) ( ) , c= kL , c= c/ 2, k< < 1 , k2 2 3 2 1 2 主观视觉感觉的有限度的近似 ,因此不能很好地和 < < 1 , L 是图像中像素灰度的变化范围。结构相视觉质量相吻合 ,这对图像这种最终信宿为人眼的 似度的值越高 , 图像块 X 和 Y 越相似。信号而言是非常不合理的。 近几十年来 ,许多研究者致力于寻找符合人眼 视觉系统特性的数学模型 ,并提出了一些有效的算 3 基于边缘的结构相似度的图像质法。文献[ 1 ]中给出了一种将 H V S 与图像余弦变 量评价模型( ESSIM )换和图像质量评价相结合的基于 H V S 的图像质 量评价方法。文献[ 2 ]中提出了一种基于失真模型 对于模糊图像 , 实验表明 SSIM 的评价结果并的图像质量评价方法 ,分别从空间距离 、空间频率、 [ 5 ] 图像尺寸对比度的变化及对比度掩盖效应等方面 不正确。因为模糊图像的结构信息不再明显 ,而 考察图像失真情况。最近几年 ,随着人们对人眼视 研究表明人眼对图像的边缘部分非常敏感 ,边缘可 觉系统的研究 , Wa ng 等认为人眼视觉系统的主要 以很好地反映图像中的纹理变化 ,可以用来评价图 [ 3 ] 功能是提取图像和视频中的结构信息,并在文献 像的清晰程度 ,所以将边缘作为图像的主要结构信 ( ) [ 4 ]中提出了结构相似度 SSIM的图像质量评价 息 ,进而提出了基于边缘的结构失真的图像质量评 方法 , 通过仿真证明了它优于传统的评价方法 价方法 。 M S E 和 PSN R 方法。虽然 SSIM 算法评价性能较 在数字图像的处理中 ,梯度幅值反映了相邻像好 ,但 SSIM 算法不能较好地评价严重模糊图像的 点的纹理变化 ,图像边缘上的梯度幅值一般较大。[ 5 ] 质量。基于 SSIM 方法存在的问 ,本文提出了 因此 ,我们首先计算像点的梯度幅值 ,然后根据梯一种基于边缘的结构相似度的图像质量评价方法 度幅值提取图像边缘。我们使用了 Ro ber t s 算子 , ( ) ESSIM。由两个方向的算子组成 ,即水平边缘算子和垂直边 缘算子 : 1 0 0 1 H1 =, H2 =0 - 1 - 1 0 梯度幅值定义为 : φ( )- x i + 1 , j + 1 i , j= x i , j + x ( ) 2 基于结构相似度的图像质量评价x i + 1 , j - x i , j + 1 5 E , 初始 取适当门限 T H , 设图像边缘集合为 方法( SSIM ) 个阈值 , 则该点为图像边缘点 , 将其并入集合 E ; 否 则 , 该点不是边缘点 , 不加入边集合 E 。 ( ) ( ) 2求出下一个邻接点 i , j + 1点的梯度幅度 ( ) 值 , 执行 1。 ( ) ( ) ( ) 3重复步骤 1和 2, 遍历所有的像点 , 得到 ( ) 图像的边缘集{ E i , j} 。 ( ) 定义图像边缘点集{ Ei , j } 和测试图像 x ( ) 边缘点集{ Ei , j} 的边缘差异结构信息为 :y ( ( ) ) 2 Ex i , jEy i , j+ c3 ?? j i ( ) ex , y= 2 2 ( )( ) Ex i , jEy i , j+ c3+ ?? ?? j i j i ( ) 6 ( ) ( ) 其中 , Ei , j 、Ei , j 分别为原图像块 X 和降质 x y 图像块 Y 对应边缘梯度幅值 。 ( ) ( ) 将 SSIM 模型即式 1中的 s x , y 用边缘差 图 1 Girl 图像和测试图像( ) 异结构信息 e x , y代替 , 得到基于边缘的结构相 觉效果最差 ,图 1 b 的视觉效果处于两者之间 ,因此 ( ) 似度 ESSIM: M S E 评价结果不再准确。对于三幅测试图像使用 α β γ ( )( )( ) l x , yc x , ye x , yES S I M = SSM 方法 ,对加噪声但不模糊的图像 ,测试数据为 ( )7 0 . 561 8 、0 . 803 3 ,与视觉效果一致。但是 ,对于模 整幅图像基于边缘的结构相似度可由各子图 糊图像 ,图 1 b 和图 1c 的测试数据分别为 0 . 561 8 像块的 ESS IM 的均值得到 : 和 0 . 682 3 ,从数据来看 ,图 1c 比图 1 b 理想 ,但实M 1 际并非如此 ,因此 SSM 方法对模糊图像不再准确。( )ES S I M x , y ( )j j 8 M ES S I M = ?M j = 1 利用本文 ESSIM 方法测试的数据分别为 0 . 717 0 、 其中 , M 为图像块的数量 。 0 . 880 7 和 0 . 651 9 ,从数据得出图 1 中的评价效 果与视觉结果保持完全一致 , 由此可见评价方法 4 实验及结果比较 ESSIM 比 SSIM 方法和 M ES 方法更具可区分性 。 实验二 为了进一步验证 ESSIM 对模糊图像 M S E 算法 、SSIM本节用标准图像对新算法与 的有效性 , 对模糊程度不同的三幅 Pepp er s 图像 算法进行比较。标准图像中选取了 Gi rl 、L e na 和() 如图 2 所示,利用 ESSIM 方法进行测试 ,测试结 Pepp e r s 三幅图像 , 分别对其添加高斯噪声、图像 果数据如表 2 所示 。 模糊处理和加椒盐噪声 ,得到测试图像 。对图像进 行 8 ×8 分块 ,分别运用 M S E 、SSIM 、ESSIM 方法 求出评价数据。 实验一 对图 1 中 b 、c 、d 三幅图像的评价数 据结果如表 1 所示。 表 1 不同算法的评价数据 Ga ussia n Salt Bl ur red MSE 209 . 295 4 209 . 648 9 208 . 657 1 SSIM 0 . 561 8 0 . 803 3 0 . 682 3 ESSIM 0 . 717 0 0 . 880 7 0 . 651 9 由表 1 可知 : 图 1 中测试图像的 M S E 值分别 为 209 . 295 4 、209 . 648 9 和 208 . 657 1 ,利用传统的 均方差对测试图像的评价结果基本相同。但是 ,从 视觉效果来看 ,图 1d 的视觉效果最好 ,图 1c 的视图 2 Pepper s 图像与模糊图像 表 2 ESSIM 算法对模糊图像的实验 用图像边缘作为结构信息 ,这种评价方法利用了人 图 2b图 2c图 2d眼对图像的边缘部分的敏感特性 ,能较好地估计图 ESSIM 0 . 844 4 0 . 556 4 0 . 419 3 像纹理结构遭到破坏的模糊图像的质量 ,对其它类 型降质图像的评价性能和 SSIM 一致。仿真实验 从图 2 的三幅模糊图像的视觉效果来看 , 图 证明了 ESSIM 模型优于 SSIM 和 M S E 模型 ,是一 2 b 效果最好 ,图 2c 效果次之 , 图 2d 效果最差 , 而 种有效的图像评价方法。 ESSIM 算法得出的数据大小关系与图 2 的视觉效 果一致。 :参考文献 实验三 选取标准 L e na 图像、噪声图像和模 [ 1 ] 杨军 ,刘藻珍 ,王寅龙. 基于人眼视觉特征的图像质量评价模糊图像进行实验 ,实验图像及其数据分别如图 3 和 ( ) 型[J ] . 弹箭与制导学报 ,2003 ,23 2:59262 . 表 3 所示 。 Da mera2Ven kat a N , Kit e T D , Gei sler W S , et al . Image [ 2 ] Q ualit y A sse ssment Ba sed o n a Degradatio n Mo del [J ] . I E EE ( ) Tra ns o n Image Proce ssi ng ,2000 ,4 4:6362650 . Wang Zho u , Bo vi kA C , L u Li2gang . Why Is Image Q ualit y [ 3 ] A sse ssment so Difficult ? [ C ] ?Proc of I EE E Int ’l Co nf o n Aco u stics , Speech , a nd Signal Proce ssi ng ,2002 :331323316 . Wa ng Zho u , Bo vi k A C , Shei k h H R , et al . Image Q ualit y [ 4 ] A sse ssment : Fro m Er ro r Vi si bilit y to St r uct ural Si milarit y ( ) [ J ] . I EE E Tra n s o n Image Processi ng , 2004 , 13 4 : 6002 612 . Cadi k M , Slavi k P. Eval uatio n of Two Pri ncipal App roache s [ 5 ] to Objecti ve Image Q ualit y A sse ssment [ C ] ?Proc of t he 8t h Int ’l Co nf o n Info r matio n Vi suali2Satio n , 2004 :5132518 . Cadi k M , Slavi k P. Eval uatio n of Two Pri ncipal App roache s [ 6 ] to Objecti ve Image Q ualit y A sse ssment [ C ] ?Proc of t he 8t h Int ’l Co nf o n Info r matio n Vi suali2satio n ,2004 :5132518 . 狄红 卫 ,刘显峰. 基于结构相似度的图像融合质量评价[ J ] . 光子 ( ) 学报 , 2006 , 35 5: 7662770 . [ 7 ] 图 3 L ena 图像和测试图像J aya nt N J , J o hn sto n J , Saf ra ne k R , et al . Signal Co mp re s2 对图 3 中的图像不同算法评价数据 表 3 sio n Ba sed o n Mo dle s of Hu ma n Percep tio n [ J ] . Proceedi ng [ 8 ] ( ) ()( )of t he I EE E , 1993 , 81 10:138521422 . Ga ussia n bl ur red c bl ur red d MSE 196 . 548 8 197 . 732 4 194 . 467 2 SSIM 0 . 564 1 0 . 629 5 0 . 567 3 ESSIM 0 . 821 5 0 . 623 8 0 . 478 2 ( ) 戚尚菊 1964 - ,女 ,山东新泰人 , 硕 士 ,副教授 , 研究方向为数字图像处理 。 实验三的数据表明 ,在使用传统 M S E 方法测 E2ma il :qi sha ngj u @sina . co m 试结果基本相同的情况下 ,三幅图像的视觉效果差 QI Shang2ju , bo r n i n 1964 , M S , a sso2 别很 大 , 因 此 M S E 方 法 不 是 很 准 确 。而 对 于 ciat e p rof e sso r , her re search interest in2 SSIM 方法 , 对非模糊图像 , SS IM 与 ESSIM 算法 cl ude s digit al image p roce ssing. 测试数据与视觉效果一致 , 但对于模糊图像 , ES2 SIM 算法得到的数据与视觉效果更能保持一致。() 纪秀花 1964 - ,女 ,山东平原人 ,博 士生 ,教授 , 研究方向为数字图像处理 。 5 结束语E2ma il :J i xiuhua @sdie . edu. cn JI Xiu2hua , bo r n in 1964 , PhD candi2 本文在 SSIM 方法的基础上 ,提出了一种新的date , p rof e sso r , her re search interest in2 图像质量 评价方 法 ESSIM 。ESSIM 方法 由于利cl ude s digit al image p roce ssing.