模糊图像去模糊

模糊图像去模糊 随着“平安城市”的广泛建设，各大城市已经建有大量的视频监控系统，虽然监控系统己经广泛地存在于银行、商场、车站和交通路口等公共场所，但是在公安工作中，由于设备或者其他条件的限制，案情发生后的图像回放都存在图像不清晰，数据不完整的问题，无法为案件的及时侦破提供有效线索。经常出现嫌疑人面部特征不清晰，难以辨认，嫌疑车辆车牌模糊无法辨认等问题。这给公安部门破案、法院的取证都带来了极大的麻烦。随着平安城市的推广、各地各类监控系统建设的进一步推进，此类问题会越来越特出。 第一章(模糊图像产生的原因 造成图像模糊的原因很多，聚焦不准、光学系统的像差、成像过程中的相对运动、大气湍流效应、低光照、环境随机噪声等都会导致图像模糊。另外图像的编解码、传输过程都可能导致图像的进一步模糊。总体来说，造成图像模糊的主要原因有以下几大方面: 1.系统自身因素 一个全模拟监控系统中，从前端到后端由图像采集、图像传输、图像存储、图像显示等几个环节构成。在每一个环节或都会产生视频信息损失，也就是让图像质量变差或变模糊。 镜头:影响进入摄像机的光通量和成像的精确性，会直接导致图像模糊;摄像机感光元件Sensor:影响到光信号的采集和光电转换效果，会直接导致图像模糊;视频传输电缆两端的BNC接头:因信号屏蔽的缝隙会造成信号损失，视频传输电缆经过长距离的传输，传输线缆的电阻、屏蔽、阻抗匹配等问题，都会引起信号的衰减，也会直接导致图像质量变差变模糊，监视器图像呈现端也会有一定的信号损失。 在一个全数字视频监控系统中，采用网络传输，经过数字化编码的视频信号的传输和存储相对于模拟系统，可以更有效避免因信号衰减造成图像损伤。但是，在镜头、图像采集以及后端呈现时的图像信号耗损仍然无法避免。另外，在数字视频监控系统中，又增加了视频信号的A/D转换、视频编码压缩环节，这些环节仍会导致图像信息的损失。现有的视频压缩编码算法都是有损压缩，会直接导致视频信息的丢失，影响视频清晰度。 实际生活中,以下情况都可以归结为系统自身因素.例如: (1)镜头聚焦不当、摄像机故障等。 (2)传输太远、视频线老化 (3)光学镜头的极限分辨率和摄像机不匹配导致的模糊; (4)相机分辨率低，欠采样成像。 2. 自然环境 除系统本身因素以外，自然环境对视频图像清晰度影响也非常大。若遇到刮风、下雨、下雪、大雾等自然天气，都会导致图像质量急剧下降或模糊不清。除此以外，还有照度不足、背光、逆光、温度过低或过高等，都会对图像还原系统造成影响，影响到图像清晰度。在光线不足的条件下，摄像机的Sensor成像会产生很多噪声，这些噪声会影响图像清晰度，而且会使图像编码的码流大幅增加。例如: (1)摄像机罩或镜头受脏污、受遮挡等。 (2)大雾，沙尘、雨雪等环境影响等。 3.人为环境 供电系统的电源不“干净”，即窜入比较强的干扰信号，具体是指在50Hz的正弦波上叠加有干扰信号，如果电网中有大功率可控硅调频调速装置、可控硅整流装置、可控硅交直流变换装置等都会对电源产生污染。 电视监控系统附近有很强的电磁干扰源或电磁辐射。电磁干扰源如电焊、无线电发射、大电机、大继电器的干扰等，也会导致对视频信号干扰。电磁干扰会导致图像有间距相等的竖条或图像呈规律性闪烁条纹等，从而导致图像模糊。还有，就是人为破坏导致，比如被弄得难以识别的车牌等，致使摄像机无法摄取车牌号等。例如: (1)环境电磁干扰; (2)视频压缩算法、传输带宽导致的模糊。 (3)运动目标高速运动导致的运动模糊等; 第二章 模糊图像常用的处理方法 对于模糊图像处理技术，国内大学和科研机构在多年以前就在研究这些理论和应用，相关文献也发布了不少，已经取得了一些很好的应用。美国Cognitech软件是相当成熟的一套模糊图像恢复应用软件，在美国FBI及其他执法机构中已有多年实际应用，其恢复出的图像可以直接当作法庭证据使用，可见模糊图像处理技术已经取得了相当的实际应用。 模糊图像的去模糊处理 前面提到，造成图像模糊的原因有很多，要取得比较好的处理效果，不同原因导致的模糊往往需要不同的处理方法。从技术方面来向，模糊图像处理方法主要分为三大类，分别是图像增强、图像复原和超分辨率重构。 2.1图像增强 增强图象中的有用信息，它可以是一个失真的过程，其目的是要改善图像的视觉效果，针对给定图像的应用场合，有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊的需要。 图像增强可分成两大类:频率域法和空间域法。前者把图像看成一种二维信号，对其进行基于二维傅里叶变换的信号增强。采用低通滤波(即只让低频信号通过)法，可去掉图中的噪声;采用高通滤波法，则可增强边缘等高频信号，使模糊的图片变得清晰。具有代表性的空间域算法有局部求平均值法和中值滤波(取局部邻域中的中间像素值)法等，它们可用于去除或减弱噪声。 图像增强的方法是通过一定手段对原图像附加一些信息或变换数据，有选择地突出图像中感兴趣的特征或者抑制(掩盖)图像中某些不需要的特征，使图像与视觉响应特性相匹配。在图像增强过程中，不分析图像降质的原因，处理后的图像不一定逼近原始图像。图像增强技术根据增强处理过程所在的空间不同，可分为基于空域的算法和基于频域的算法两大类。基于空域的算法处理时直接对图像灰度级做运算基于频域的算法是在图像的某种变换域内对图像的变换系数值进行某种修正，是一种间接增强的算法。 基于空域的算法分为点运算算法和邻域去噪算法。点运算算法即灰度级校正、灰度变换和直方图修正等，目的或使图像成像均匀，或扩大图像动态范围，扩展对比度。邻域增强算法分为图像平滑和锐化两种。平滑一般用于消除图像噪声，但是也容易引起边缘的模糊。常用算法有均值滤波、中值滤波。锐化的目的在于突出物体的边缘轮廓，便于目标识别。常用算法有梯度法、算子、高通滤波、掩模匹配法、统计差值法等。 2.1.1图像增强的几个方面及方法 1.对比度变换:线性变换、非线性变换 2.空间滤波:图像卷积运算、平滑、锐化 3.彩色变换:单波段彩色变换、多波段彩色运算、HIS 4.多光谱变换:K-L变换、K-T变换 5.图像运算:插值运算、比值运算 2.1.2图像增强的应用概况 数字图像处理在40多年的时间里，迅速发展成一门独立的有强大生命力的学科，图像增强技术已逐步涉及人类生活和社会生产的各个方面，下面我们仅就几个方面的应用举些例子。 (1)航空航天领域的应用 早在60年代初期，第3代计算机的研制成功和快速傅里叶变换的提出，使图像增强技术可以在计算机上实现。1964美国喷气推进(JPL)的科研人员使用IBM7094计算机以及其它设备，采用集合校正、灰度变换、去噪声、傅里叶变换以及二维线性滤波等方法对航天探测器“徘徊者7号”发回的几千张月球照片成功的进行了处理。随后他们又对“徘徊者8号”和“水手号”发回地球的几万张照片进行了较为复杂地数字图像处理，使图像质量得到进一步的提高，从此图像增强技术进入了航空航天邻域的研究与应用。同时图像增强技术的发展也推动了硬件设备的提高，比如1983年LANDSAT-4的分辨率为30m，而如今发射的卫星分辨率可达到3-5m的范围内。图像采集设备性能的提高，使采集图像的质量和数据的准确性和清晰度得到了极大地提高。 (2)生物医学领域的应用 图像增强技术在生物医学方面的应用有两类，其中一类是对生物医学的显微光学图像进行处理和分析，比如对红细胞、白细胞、细菌、虫卵的分类计数以及染色体的分析;另一类应用是对X射线图像的处理，其中最为成功的是计算机断层成像。1973年英国的EMI公司在制造出第一台X射线断层成像装置。由于人体的某些组织，比如心脏、乳腺等软组织对X射线的衰减变化不大，导致图像灵敏度不强。由此图像增强技术在生物医学图像中得到广泛的应用。 (3)工业生产领域的应用 图像增强在工业生产的自动化和产品质量检验中得到广泛应用，比如机械零部件的检查和识别、印刷电路板的检查、食品包装出厂前的质量检查、工件尺寸测量、集成芯片内部电路的检测等等。此外计算机视觉也可以应用到工业生产中，将摄像机拍摄图片经过增强处理、数据编码、 压缩送入机器人中，通过一系列的控制和转换可以确定目标的位置、方向、属性以及其它状态等，最终实现机器人按照人的意志完成特殊的任务。 (4)公共安全领域的应用 在社会安全管理方面，图像增强技术的应用也十分广泛，如无损、指纹、虹膜、掌纹、人脸等生物特征的增强处理等等。图像增强处理也应用到交通监控中，通过电视跟踪技术锁定目标位置，比如对有雾图像、夜视红外图像、交通事故的分析等等。 2.1.3图像增强的研究目的和意义 人类传递信息的主要媒介是语言和图像。据统计在人类接受的各种信息中视觉信息占80%，所以图像信息是十分重要的信息传递媒体和方式。图像传递系统包括图像采集、图像压缩、图像编码、图像存储、图像通信、图像显示这六个部分。在实际应用中每个部分都有可能导致图像品质变差，使图像传递的信息无法被正常读取和识别。例如，在采集图像过程中由于光照环境或物体表面反光等原因造成图像整体光照不均，或是图像采集系统在采集过程中由于机械设备的缘故无法避免的加入采集噪声，或是图像显示设备的局限性造成图像显示层次感降低或颜色减少等等。因此研究快速且有效地图像增强算法成为推动图像分析和图像理解领域发展的关键内容之一。 图像增强处理是数字图像处理的一个重要分支。很多由于场景条件的影响图像拍摄的视觉效果不佳，这就需要图像增强技术来改善人的视觉效果，比如突出图像中目标物体的某些特点、从数字图像中提取目标物的特征参数等等，这些都有利于对图像中目标的识别、跟踪和理解。图像增强处理主要内容是突出图像中感兴趣的部分，减弱或去除不需要的信息。这样使有用信息得到加强，从而得到一种更加实用的图像或者转换成一种更适合人或机器进行分析处理的图像。图像增强的应用领域也十分广阔并涉及各种类型的图像。例如，在军事应用中，增强红外图像提取我方感兴趣的敌军目标;在医学应用中，增强X射线所拍摄的患者脑部、胸部图像确定病症的准确位置;在空间应用中，对用太空照相机传来的月球图片进行增强处理改善图像的质量;在农业应用中，增强遥感图像了解农作物的分布;在交通应用中，对大雾天气图像进行增强，加强车牌、路标等重要信息进行识别;在数码相机中，增强彩色图像可以减少光线不均、颜色失真等造成的图像退化现象。 图像工程是一门综合学科，它的研究内容非常广泛，覆盖面也很大。从1996年起，《中国图像图形学报》上连续刊登了对图像工程文献统计分类的综述文章。根据各文献的主要内容将其分别归入图像处理、图像分析、图像理解、技术应用和综述5个大类，并在此基础上对国内15种有关图像工程的重要中文期刊进行了各期刊各类文献的统计和分析。选取的刊物名 有:《CT理论与应用研究》、《测绘学报》、《电子测量与仪器学报》、《电子学报》、《电子与信息学报》、《计算机学报》、《模式识别与人工智能》、《数据采集与处理》、《通信学报》、《信号处理》、《遥感学报》、《中国生物医学工程学报》、《中国体视学与图像分析》、《中国图象图形学报》、《自动化学报》。 从中我们挑选了最近5年的统计数据:在2005年的112期上发表的2 734篇学术研究和技术应用文献中，属于图像工程领域的文献有656篇。在2006年的112期上发表的3013篇学术研究和技术应用文献中，属于图像工程领域的文献有711篇。在2007年的118期上发表的3312篇学术强究和技术应用文献中，属于图像工程领域的文献有895篇。在2008年的120期上发表的3359篇学术研究和技术应用文献中，属于图像工程领域的文献有915篇，2009年的134期上发表的3604篇学术研究和技术应用文献中，有1008篇属于图像工程领域的文献。这些统计数据显示，无论是论文总数还是选取总数都是逐年增长的。论文总数的增长表明刊物的不断发展，选取总数的增加表明图像工程的研究和应用的不断壮大。据统计从1995年至2009年，发表图像处理的文章总计2720篇，占图像工程总体的33.1%;发表图像分析的文章总计2434篇，占图像工程总体的29.6%;发表图像理解的文章总计1192篇，占图像工程总体的14.5%;发表技术应用文章1797篇，占图像工程总体的21.9%;发表综述评论文章74篇，占图像工程总体的0.9%，其中关于图像增强技术方面的文章增长率尤其较高。因此图像增强技术在今后一段时间内仍将是一个热点。 影响图像质量清晰程度有很多因素，室外光照度不均匀会造成图像灰度过于集中;摄像头获得的图像经过数/模转换，线路传输时都会产生噪声污染，图像质量不可避免降低，轻者变现为图像伴有噪点，难于看清图像细节;重者图像模糊不清，连大概物体面貌轮廓都难以看清。因此，对图像进行分析处理之前，必须对图像进行改善，即增强图像。图像增强并不考虑图像质量下降的原因，只是将图像中感兴趣的重要特征有选择性的突出出来，同时衰减不需要的特征，目的就是提高图像的可懂度。 图像增强的方法分为空域法和频域法两种，空域法是对图像中的像素点进行操作，用公式描述如下: g(x,y)=f(x,y)*h(x,y) 其中是f(x,y)原图像;h(x,y)为空间转换函数;g(x,y)表示进行处理后的图像。 频域法是间接的处理方法，是先在图像的频域中对图像的变换值进行操作，然后变回空域。例如,先对图像进行傅里叶变化到频域，再对图像的频谱进行某种滤波修正，最后将修正后的图像进行傅里叶反变化到空域，以此增强图像。可用图1来描述该过程。 2.1.4图像增强技术国外发展状况 20世纪20年代图片第一次通过海底电缆从伦敦传往纽约。当时人们通过字符模拟得到中间色调的方法来还原图像。早期的图像增强技术往往涉及硬件参数的设置，如打印过程的选择和亮度等级的分布等问题。在1921年年底提出了一种基于光学还原的新技术。在这一时期由于引入了一种用编码图像纸带去调制光束达到调节底片感光程度的方法，使灰度等级从5个灰度级增加到15个灰度等级，这种方法明显改善了图像复原的效果。到20世纪60年代早期第一台可以执行数字图像处理任务的大型计算机制造出来了，这标志着利用计算机技术处理数字图像时代的到来。1964年，研究人员在美国喷气推进实验室(JPL)里使用计算机以及其它硬件设备，采用几何校正、灰度变换、去噪声、傅里叶变换以及二维线性滤波等增强方法对航天探测器“徘徊者7号”发回的几千张月球照片进行处理，同时他们也考虑太阳位置和月球环境的影响，最终成功地绘制出了月球表面地图。随后他们又对1965年“徘徊者8号”发回地球的几万张照片进行了较为复杂的数字图像处理，使图像质量进一步提高。这些成绩不仅引起世界许多有关方面的注意而且JPL本身也更加重视对数字图像处理地研究和设备的改进，并专门成立了图像处理实验室IPL。在IPL里成功的对后来探测飞船发回的几十万张照片进行了更为复杂的图像处理，最终获得了月球的地形图、彩色图以及全景镶嵌图。从此数字图像增强技术走进了航空航天领域。 20世纪60年代末和20世纪70年代初有学者开始将图像增强技术用于医学图像、地球遥感监测和天文学等领域。X射线是最早用于成像的电磁辐射源之一，在1895年X射线由伦琴发现。20世纪70年代Godfrey N. Hounsfield先生和Allan M. Cormack教授共同发明计算机轴向断层技术:一个检测器围绕病人，并用X射线源绕着物体旋转。X射线穿过身体并由位于对面环中的相应检测器收集起来。其原理是用感知的数据去重建切片图像。当物体沿垂直于检测器的方向运动时就产生一系列的切片，这些切片组成了物体内部的再现图像。到了20世纪80年代以后，各种硬件的发展使得人们不仅能够处理二维图像，而且开始处理三维图像。许多能获得三维图像的设备和分析处理三维图像的系统已经研制成功了，图像处理技术得到了广泛的应用。进入20世纪90年代，图像增强技术已经逐步涉及人类生活和社会发展的各个方面。计算机程序用于增强对比度或将亮度编码为彩色，以便解释X射线和用于工业、医学及生物科学等领域的其他图像。地理学用相同或相似的技术从航空和卫星图像中研究污染模式。在考古学领域中使用图像处理方法已成功地复原模糊图片。在物理学和相关领域中计算机技术能增强高能等离子和电子显微镜等领域的实验图片。直方图均衡处理是图像增强技术常用的方法之一。1997年Kim 提出如果要将图像增强技术运用到数码相机等电子产品中，那么算法一定要保持图像的亮度特性。在文章中Kim提出了保持亮度特性的直方图均衡算法(BBHE)。Kim的改进算法提出后，引起了许多学者的关注。在1999年Wan等人提出二维子图 直方图均衡算法(DSIHE)。接着Chen和Ramli提出最小均方误差双直方图均衡算法(MMBEBHE)。为了保持图像亮度特性，许多学者转而研究局部增强处理技术，提出了许多新的算法:递归均值分层均衡处理(RMSHE)、递归子图均衡算法(RSIHE)、动态直方图均衡算法(DHE)、保持亮度特性动态直方图均衡算法(BPDHE)、多层直方图均衡算法(MHE)、亮度保持簇直方图均衡处理(BPWCHE)等等。 2.1.5图像增强技术国内发展状况 在借鉴国外相对成熟理论体系和技术应用体系的条件下，国内的增强技术和应用也有了很大的发展。总体来说，图像增强技术的发展大致经历了初创期、发展期、普及期和应用期4个阶段。初创期开始于20世纪60年代，当时的图像采用像素型光栅进行扫描显示，大多采用中、大型机对其进行处理。在这一时期由于图像存储成本高，处理设备造价高，因而其应用面很窄。20世纪70年代进入了发展期，开始大量采用中、大型机进行处理，图像处理也逐渐改用光栅扫描显示方式，特别是出现了CT和卫星遥感图像，对图像增强处理提出了一个更高的要求。到了20世纪80年代，图像增强技术进入普及期，此时的计算机已经能够承担起图形图像处理的任务。20世纪90年代进入了应用期，人们运用数字图像增强技术处理和分析遥感图像，以有效地进行资源和矿藏的勘探、调查、农业和城市的土地规划、作物估产、气象预报、灾害及军事目标的监视等。在生物医学工程方面，运用图像增强技术对X射线图像、超声图像和生物切片显微图像等进行处理，提高图像的清晰度和分辨率。在工业和工程方面，主要应用于无损探伤、质量检测和过程自动控制等方面。在公共安全方面，人像、指纹及其他痕迹的处理和识别，以及交通监控、事故分析等都在不同程度上使用了图像增强技术。图像增强是图像处理的重要组成部分，传统的图像增强方法对于改善图像质量发挥了极其重要的作用。随着对图像技术研究的不断深入和发展，新的图像增强方法不断出现。例如一些学者将模糊映射理论引入到图像增强算法中，提出了包括模糊松弛、模糊熵、模糊类等增强算法来解决增强算法中映射函数选择问题，并且随着交互式图像增强技术的应用，可以主观控制图像增强效果。同时利用直方图均衡技术的图像增强也有许多新的进展:例如提出了多层直方图结合亮度保持的均衡算法、动态分层直方图均衡算法。这些算法通过分割图像，然后在子层图像内做均衡处理，较好地解决了直方图均衡过程中的对比度过拉伸问题，并且可以控制子层灰度映射范围，增强效果较好。 很多传统图像算法都可以减轻图像的模糊程度， 比如图像滤波、几何变换、对比度拉伸、直方图均衡、空间域锐化、亮度均匀化、形态学、颜色处理等。单个来讲，这些算法比较成熟，相对简单。但是对于一个具体的模糊图像，往往需要上面的一种或者多种算法组合，配合不同的参数才能达到理想的效果。这些算法和参数的组合进一步发展为具体的增强算 法，比如“图像去雾”算法、“图像去噪”算法、“图像锐化”算法、“图像暗细节增强”算法等。 2.2图像复原 2.2.1图像复原概述 在图像的获取、传输以及保存过程中，由于各种因素，如大气的湍流效应、摄像设备中光学系统的衍射、传感器特性的非线性、光学系统的像差、成像设备与物体之间的相对运动、感光胶卷的非线性及胶片颗粒噪声以及电视摄像扫描的非线性等所引起的几何失真，都难免会造成图像的畸变和失真。通常，称由于这些因素引起的质量下降为图像退化。 图像退化的典型表现是图像出现模糊、失真，出现附加噪声等。由于图像的退化，在图像接受端显示的图像已不再是传输的原始图像，图像效果明显变差。为此，必须对退化的图 [1]像进行处理，才能恢复出真实的原始图像，这一过程就称为图像复原。 图像复原技术是图像处理领域中一类非常重要的处理技术，与图像增强等其他基本图像处理技术类似，也是以获取视觉质量某种程度的改善为目的，所不同的是图像复原过程实际上是一个估计过程，需要根据某些特定的图像退化模型，对退化图像进行复原。简言之，图像复原的处理过程就是对退化图像品质的提升，并通过图像品质的提升来达到图像在视觉上的改善。 由于引起图像退化的因素众多，且性质各不相同，目前没有统一的复原方法，众多研究人员根据不同的应用物理环境，采用了不同的退化模型、处理技巧和估计，从而得到了不同的复原方法。 图像复原算法是整个技术的核心部分。目前，国内在这方面的研究才刚刚起步，而国外却已经取得了较好的成果。早期的图像复原是利用光学的方法对失真的观测图像进行校正，而数字图像复原技术最早则是从对天文观测图像的后期处理中逐步发展起来的。其中一个成功例子是NASA的喷气推进实验室在1964年用计算机处理有关月球的照片。照片是在空间飞行器上用电视摄像机拍摄的，图像的复原包括消除干扰和噪声，校正几何失真和对比度损失以及反卷积。另一个典型的例子是对肯尼迪遇刺事件现场照片的处理。由于事发突然，照 [2]片是在相机移动过程中拍摄的，图像复原的主要目的就是消除移动造成的失真。 早期的复原方法有:非邻域滤波法，最近邻域滤波法以及效果较好的维纳滤波和最小二乘滤波等。随着数字信号处理和图像处理的发展，新的复原算法不断出现，在应用中可以根据具体情况加以选择。 目前国内外图像复原技术的研究和应用主要集中于诸如空间探索、天文观测、物质研究、遥感遥测、军事科学、生物科学、医学影象、交通监控、刑事侦察等领域。如生物方面，主要是用于生物活体细胞内部组织的三维再现和重构，通过复原荧光显微镜所采集的细胞内部逐层切片图，来重现细胞内部构成;医学方面，如对肿瘤周围组织进行显微观察，以获取肿瘤安全切缘与癌肿原发部位之间关系的定量数据;天文方面，如采用迭代盲反卷积进行气动光学效应图像复原研究等。 2.2.2图像退化模型 图像复原问题的有效性关键之一取决于描述图像退化过程模型的精确性。要建立图像的退化模型，则首先必须了解、分析图像退化的机理并用数学模型表现出来。在实际的图 [3]像处理过程中，图像均需以数字离散函数表示，所以必须将退化模型离散化。 对于退化图像: g(x,y) ，,，, (1) g(x,y),f(,,,)h(x,,,y,,)d,d,，n(x,y),,,,,, h 如果上式中，，，g按相同间隔采样，产生相应的阵列,,、,,、f(i,j)h(i,j)nfABCD M，N,,n(i,j)、,,g(i,j)，然后将这些阵列补零增广得到大小为的周期延拓阵列，为ABAB M,A，C,1N,B，D,1了避免重叠误差，这里，。由此，当k=0,1,L,M-1;l=0,1,L,N-1 时，即可得到二维离散退化模型形式: M,1N,1 g(k,l),f(i,j)h(k,i,l,j)，n(k,l) (2) ,,eeeei,0j,0 如果用矩阵表示上式，则可写为: (3) g,Hf，n MN，1MN，MNgn其中，f,,为一个行堆叠形成的列向量，H为阶的块循环矩阵。 2.2.3几种较经典的复原方法介绍 图像复原算法有线性和非线性两类。线性算法通过对图像进行逆滤波来实现反卷积，这类方法方便快捷，无需循环或迭代，直接可以得到反卷积结果，然而，它有一些局限性， 比如无法保证图像的非负性。而非线性方法通过连续的迭代过程不断提高复原质量，直到满足预先设定的终止条件，结果往往令人满意。但是迭代程序导致计算量很大，图像复原时耗较长，有时甚至需要几个小时。所以实际应用中还需要对两种处理方法综合考虑，进 [4]行选择。 (1) 维纳滤波法 维纳滤波法是由Wiener首先提出的，应用于一维信号处理，取得了很好的效果。之后，维纳滤波法被用于二维信号处理，也取得了不错的效果，尤其在图像复原领域，由于维纳滤波计算量小，复原效果好，从而得到了广泛的应用和发展。 维纳滤波器寻找一个使统计误差函数 ,22 (7) e,E{(f,f)} , 最小的估计。E是期望值操作符，是未退化的图像。该表达式在频域可表示为 ff 2,H(u,v)1, (8) F(u,v)[]G(u,v)2H(u,v)，H(u,v)S(u,v)/S(u,v),, 其中， 表示退化函数 H(u,v) 2 H(u,v),H,(u,v)H(u,v) 表示的复共轭 H,(u,v)H(u,v) 2S(u,v),N(u,v)表示噪声的功率谱 , 2S(u,v),F(u,v)表示未退化图像的功率谱 f S(u,v)/S(u,v)比率称为信噪功率比。在IPT中维纳滤波使用函数deconvwnr来实现的。 ,, (2) 正则滤波法 另一个容易实现线性复原的方法称为约束的最小二乘方滤波，在IPT中称为正则 滤波，并且通过函数deconvreg来实现。 在最小二乘复原处理中，常常需要附加某种约束条件。例如令Q为f的线性算子， 2, 那么最小二乘方复原的问题可以看成使形式为的函数，服从约束条件Qf 2,2的最小化问题，这种有附加条件的极值问题可以用拉格朗日乘数法g,Hf,n 来处理。 , 寻找一个，使下述准则函数为最小: f 22,,,2 (9) W(f),Qf，,g,Hf,n ,式中叫拉格朗日系数。通过指定不同的Q，可以得到不同的复原目标。 (3)Lucy-Richardson算法 L-R算法是一种迭代非线性复原算法，它是从最大似然公式印出来的，图像用泊松分布加以模型化的。当下面这个迭代收敛时模型的最大似然函数就可以得到一个令人满意的方程: ,,gxy(,)fxy,fxyh,x,y, (10) (,)(,)[(,)]k，k1, hxy,fxy(,)(,)k , *代表卷积，代表未退化图像的估计，g和h和以前定义一样。 f 在IPT中，L-R算法由名为deconvlucy的函数完成的。 (4)盲去卷积 在图像复原过程中，最困难的问题之一是，如何获得PSF的恰当估计。那些不以PSF为基础的图像复原方法统称为盲区卷积。 它以MLE为基础的，即一种用被随机噪声所干扰的量进行估计的最优化策略。工具箱通过函数deconvblind来执行盲区卷积。 图像复原与图像增强技术一样，也是一种改善图像质量的技术。图像复原是根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用各种逆退化处理方法进行恢复，改善图像质量。 图像复原和图像增强是有区别的，二者的目的都是为了改善图像的质量。但图像增强不考虑图像是如何退化的，只有通过试探各种技术来增强图像的视觉效果，而图像复原就完全不同，需知道图像退化过程的先验知识，据此找出一种相应的逆过程方法，从而得到复原的图像。图像复原主要取决于对图像退化过程的先验知识所掌握的精确程度。 对由于离焦、运动、大气湍流等原因引起的图像模糊，图像复原的方法效果较好，常用的算法包括维纳滤波算法、小波算法、基于训练的方法等。 在知道退化模型的情况下，相对图像增强来说，图像复原可以取得更好的效果。 2.3图像超分辨率重构 现有的监控系统主要目标为宏观场景的监视，一个摄像机，覆盖很大的一个范围，导致画面中目标太小，人眼很难直接辨认。这类由于欠采样导致的模糊占很大比例，对于由欠采样导致的模糊需要使用超分辨率重构的方法。 超分辨率复原是通过信号处理的方法，在提高图像的分辨率的同时改善采集图像质量。其核心思想是通过对成像系统截止频率之外的信号高频成分估计来提高图像的分辨率。超分辨率复原技术最初只对单幅图像进行处理，这种方法由于可利用的信息只有单幅图像，图像复原效果有着固有的局限。序列图像的超分辨率复原技术旨在采用信号处理方法通过对序列低分辨率退化图像的处理来获得一幅或者多幅高分辨率复原图像。由于序列图像复原可利用帧间的额外信息，比单幅复原效果更好，是当前的研究热点。 序列图像的超分辨率复原主要分为频域法和空域法两大类，频域方法的优点是:理论简单,运算复杂度低，缺点是:只局限于全局平移运动和线性空间不变降质模型,包含空域先验知识的能理有限。空域方法所采用的观测模型涉及全局和局部运动、空间可变模糊点扩散函数、非理想亚采样等,而且具有很强的包含空域先验约束的能力。常用的空域法有非均匀插值法、迭代反投影方法(IBP)、凸集投影法(POCS)、最大后验估计法(MAP)、最大似然估计法(ML)、滤波器法等，其中，MAP和POCS法研究较多，发展空间很大。 模糊图像处理的关键和不足 虽然很多模糊图像的处理方法在实际应用中取得了很好的效果，但是当前仍然有一些因素制约着模糊图像处理的进一步发展，主要如下: 1、 算法的高度针对性; 绝大部分的模糊图像处理算法只适用于特定图像，而算法本身无法智能决定某个算法模块的开启还是关闭。举例来说，对于有雾的图像，“去雾算法”可以取得很好的处理效果，但是作用于正常图像，反而导致图像效果下降，“去雾算法”模块的打开或者关闭需要人工介入。 2、 算法参数复杂性; 模糊图像处理里面所有的算法都会包含大量的参数，这些参数的选择需要和实际的图像表现相结合，直接决定最终的处理效果。目前算法还没有办法智能选择这些最优参数。 3、 算法流程的经验性; 由于实际图像很复杂，需要处理多种情况，这就需要一个算法处理流程，对于一个具体的模糊视频，采用什么样的处理流程很难做到自动选择，需要人工选择一个合适的方法，只能靠人的经验。 实践和总结 由于环境、线路、镜头、摄像机等影响，监控系统建成运营一段时间后，都会出现一部分的视频模糊不清的问题。 前面提到了针对模糊图像的各种处理算法，虽然这些算法都取得了一些较好的处理效果，但是再好的算法都是一种后期的补救措施。如果能及时发现监控系统中图像的各种问题，并及时维修，必然会起到事半功倍的效果。为此，东方网力股份科技有限公司利用先进的视频诊断技术，开发出适用于各种需求场景的视频质量诊断系统。它能够对视频图像出现的模糊、噪声、亮度异常和视频丢失等低质视频以及常见摄像机故障问题进行诊断，有效预防因硬件问题导致的图像质量低下所带来的损失。从几路视频到几百上千、上万路视频，均可高效的进行检测，自动生成检测报告，提供及时且精准的维护信息，第一时间从根源上解决图像模糊的问题。 对于低光照、雨雾、运动和欠采样等客观原因造成的图像模糊，只能依靠图像处理算法。为此，东方网力推出了专门的“视频增强服务器”产品，包括了各种常用的视频增强、图像复原和超分辨率重构算法。对于算法高度针对性的问题，可以灵活动态控制各个算法模块的开启或者关闭;对于参数复杂性的问题，算法给出不同参数下处理结果的列表，然后通过人工方式选定最优参数，降低使用门槛;对于算法流程，对于常见的各种图像缺陷，给出推荐的处理流程，方便使用。 总体来说，虽然模糊图像处理算法已经取得了非常广泛的应用，但是图像算法毕竟有自己的局限性，我们不能将所有问题都寄希望于图像算法，对于不同种类的模糊问题，要区别对待。对于由镜头离焦、灰尘遮挡、线路老化、摄像机故障等造成的模糊或者图像质量下降，在视频诊断系统的帮助下，一定要及时维修，从源头上解决问题。对于低光照等优先选择日夜两用型高感光度摄像机，对于雨雾、运动和前采样等造成的图像质量下降，可以借助于“视频增强服务器”包含的各种模糊图像处理算法，提升图像质量。