基于核主成分分析的图像去噪

基于核主成分分析的图像去噪 科学技术与 基于核主成分分析的图像去噪 贾亚琼 (华南理工大学理学院，广东省广州市，510640) 摘要:本文简介了核主成分分析的原理及利用核主成分分析的图像去噪问题。通过使用核函数～在特征空 间中对噪声图像使用主成分分析进行降噪处理～基于MDS的思想～使用核方法计算出在特征空间中降噪后 的图像与其邻域点之间的内积约束关系～通过核函数重构出在原空间中降噪图像与其邻域点的内积约束关 系～基于此内积约束关系在原空间中重构出降噪图像～从而达到通过核主成分分析对图像降噪的目的。对 比原有的MDS方法～本文的算法更稳定～对图像的噪声部分有更好的去除效果。 关键词:核主成分分析;核函数;局部线性重构;投影系数 中图分类号:TN911.4 文献标准码:A Image Denoising Based on Kernel Principal Component Analysis JIA Yaqiong (School of science, South China University of Technology, Guangzhou,510640,China) Abstract: In this paper, we address the principle of kernel principal component analysis and the problem of image denoising based on the kernel principal component analysis. At first, we process image denoising using principal component analysis in feature space. Based on MDS, we obtain inner product between the reconstructed point and its neighbors in the origin space through the dot product kernel function using the inner product between the reconstructed point and its neighborhood points in the feature space. And finally we reconstruct the pre-image in the origin space using this relationship of the inner product constraint. Compared with the original MDS, the algorithm of this paper gets better results on the image denoising and better stability. Keywords: kernel principal component analysis; kernel function; local linear reconstruction; coefficient of the projection. 在原空间中找到降噪后的样本，即求出0引言 ，使得。该问题的难 点在于，由于原始空间和特征空间一般不是图像降噪的研究是图像处理领域的一 同构的，并且特征空间一般是有更高维数的个重要方面。基于核主成分分析的图像降噪 空间，映射的逆是不存在的，因而，方法是近年来出现的一种基于机器学习的 在原空间中的重构点 的其精确解是不存降噪技术，它将核方法引入到主成分分析方 在的。但是有一些求解出其近似解的方法，法中，其基本思想是通过一个非线性变换将 1999年S.Mika和B.Schölkof等人采用梯图像映射到高维的特征空间中，在特征空间 度下降法[1]来寻找原像，但所面临的往往中提取线性主成分。 是复杂的非线性优化问题，因而该方法容易对于核主成分分析的图像降噪问题可 陷入局部最优。2004年G.H.Bakir和以描述为:对于一个有噪声的图像样本 J.Weston等人提出利用核岭回归[2]来寻找，先用映射将其映射的特征空间中， 近似原像，该方法把寻找原像的过程看作是得到。然后在特征空间中将其投射到 从特征空间向原空间的一个映射，但该方法由特征空间中的个主分量构成的子空间 要求训练样本有一个很好的分类。与此同上，得到，即用主成分分析对其降 时，J.T.Kwok与I.W.Tsang提出基于多尺噪。最后，问题的关键在于，如何将已在特 度分析(Multidimensional Scaling, MDS)征空间中降噪的样本嵌入回原来的空间中， 收稿日期:2009-06-24 作者简介:贾亚琼(1984年)，新疆，硕士研究生，研究方向:计算智能与信息处理 科学技术与工程 的距离约束算法[3]寻找原像，该方法首先其中中心矩阵: ，为在特征空间中选取降噪点的若干最近邻训单位矩阵，是一个维练样本点，并假设在特征空间和原空间中降向量，然后对进行特征分解: 噪点与其邻域点之间有相同的距离保持关 (2) 系，然后在原空间中确定近似原像。2005其中，是的特征向量年，K.I.Kim等人提出利用KHA算法(Kernel 构成的矩阵，，Hebbian Algorithm)[4]去改进基本的核主，为相对 成分分析算法，从而使得改进后的模型能够应的特征值组成的对角矩阵。由于在特征空应用于大规模复杂的图像降噪问题中。2006间上映射数据的协方差矩阵为 (3) 年，W.Zheng等人提出结合弱监督先验信息 [5]寻找原像的方法，该方法寻找原像的若其中，,因而由矩阵的奇干最近邻正类和负类样本，在原来优化目标个特征向量: 异值分解可以得到的第k的基础上，增加了尽量接近正类而远离负类 这样两个约束，从而改善了梯度下降法寻找 (4) 原像的效果。2007年，Pablo Arias等人提出，， 其中结合外样本问题(out-of-sample problem)。由此可以得利用Nyström 延拓方法[6]来求解在原像，在原空间中的噪声样本在特征空间的子到该方法更好的考虑了在特征空间中样本的空间中的上的投影系数为: 正则化问题，因而在一定程度上提高了求解 原像的准确度。2008年，Nicolas Thorstensen 等人提出了一种基于几何解释的对求解原 像的正则化方法[7]，在此正则化方法基础 (5) 上，文献[1],[3],[6]中的算法的结果都得其中，令: 到了一定的改善。 本文基于MDS的思想，通过利用在特 征空间中用主成分分析降噪的点与其邻域 点的内积关系，使用点积核函数重构出在原 空间中的内积关系，利用此内积约束关系在 原空间中重构出降噪点的模型。该方法由于 不需要大量复杂的距离运算而提高了算法 (6) 的稳定性，并且在一定程度上更好的提高了 图像的信噪比。 记: 1核主成分分析简介 核主成分分析是主成分分析的改进算 法，它采用非线性方法来提取主成分，即通 过非线性映射把原空间中的向量映射到 高维特征空间，在上进行主成分分析。 (7) 假设是原空间中所以投影系数可进一步简化为: 的一个训练样本集合，为到特征空间的 (8) 映射函数，即:。定义核函数最后，在特征空间中由前个主分量张 ，设核矩阵为，成的的子空间上的重构点为: ，，因而在 中进行主成分分析时可以利用核函数来进 行计算。首先中心化核矩阵为: (1) (9) 科学技术与工程 由于是在特征空间，因此我们对于感知器核函数: 需要在原始空间中找到它的降噪模型。在引 言中提到过它的精确是不可能存在的，因而 (15) 我们只能找到近似解: 其中，是参数,则得到在原空间中向 量的内积为: 2 基于内积约束关系的MDS算法 (16) 由于特征空间的维数一般总是高于设样本点p在特征空间中降噪后的点原空间的维数。因此，可以将在原的邻域点集为，为从训练集合空间中的重构点看成是在原始空 中选择的在特征空间中的与间中嵌入的点，基于这个想法，可以通过 相似度最大的s个点组成的集合Q保持邻域关系来找出的嵌入点，也 就是利用与在特征空间中的像集，可以利用内积关系来的局部线性重构关系。因为在原空间中重构确定: 点的精确解不存在，所以此学习模型是一个 (17) 通过邻域学习的近似方法。 在这之前我们已经求出噪声样本在特其中: 征空间的成分上的投影系数: = (10) 同时，我们也可求出的邻域点，在 特征空间的成分上的投影系数: 由此可以得到集合Q，假设集合 (11) ，，，由此可以得到在特征空间中降噪后的点它的中心为:，设为 的中心矩阵，是将中心化，即将的与其邻域点在特征空间中的内 每一个点减去中心点，使得的中心点为: 积: (18) 的协方差矩阵为，因而上式 对的SVD分解得到的矩阵是由 的协方差矩阵的特征向量构成的，因而是 在原空间中由张成的子空间的坐标。 (12) 设p在特征空间中降噪后的点在该基于MDS的思想，与样本点相似度越大的邻子空间中坐标为，由公式(12)和(14)可知: 域点对样本点的重构将起到更重要的影响， 并且在原空间中仍然存在在特征空间中的 局部的邻域点的结构。因而，我们利用用点(19) 积核函数:来所以， 重构在特征空间中的向量的内积与原空间 中的向量的内积的关系: (13) 对于核函数，若它的逆存在，则在原空间 中的向量的内积为: (14) 科学技术与工程 在这里我们选择感知器核函数: ，其中， 是参数来进行实验。其中可以通过: (20) (23) 从而得到p在特征空间中降噪后的点 来确定。对于参数，可以通过 (24) 在原空间中的重构点为: 来确定。 . (21) 图1是添加了不同的高斯噪声的测 试样本图像，图2是对添加了不同的高3 实验及结果 斯噪声的图像，即由图1显示的不同结果这里我们选用USPS数据集(可以从使用文献[3]中J.T.Kwok的基于距离的MDS下载)进行方法去噪的效果，图3是使用本文的算法实验分析，该数据集包含了手写体 的去噪后的效果，对比图2可以直观的看阿拉伯数字样本。在该数据集中，我们随机 出本文的方法更好的提高到了图像的清晰选择300个训练样本和100个测试样本进行 度。1是用文献[3]中J.T.Kwok的基于实验，其中，在300个训练样本中每个数字 距离的MDS方法所得的去噪结果与本文的有30个样本，在100个测试样本中每个数 去噪方法所得去噪结果的SNR(信噪比)比字有10个样本。再对测试样本添加不同 的高斯噪声，然后对其去噪。其中较，通过表1的SNR结果可以得出结论本主成分数为: 文的方法对于图像的信噪比有更大的提 高，因而本文的基于内积关系的MDS的算 (22) 法优与J.T.Kwok的基于距离的MDS算法。 其中，是加了噪声的测试样本是 未加噪声的测试样本在特征空间中的投影。 图1.添加高斯噪声的测试样本图像 图2.J.T.Kwok的MDS方法去噪 科学技术与工程 图3.本文算法的去噪效果: 表1.两种基于MDS方法的SNR比较 SNR 4.2646 2.9353 0.8819 -0.7817 高斯噪声图像 4.0158 5.2310 6.2892 6.4615 [3]中的MDS方法 7.8370 7.5548 7.0424 6.5863 本文的MDS方法 7. Nicolas Thorstensen, Florent Segonne, Renqud Keriven. Normalization and preimage problem in Gausian kernel 4 结论 PCA. IEEE Transactions On Neural Networks, 2008, 3: 741-744 本文提出了一种新的基于MDS思想的 核主成分分析的图像降噪噪算法，即，基 于内积约束关系的MDS算法，首先，使用 核主成分分析在特征空间中对图像进行降 噪，其次，利用MDS思想，通过核方法来 计算向量在特征空间的内积约束关系，利 用核函数重构出在原空间中降噪图像与其 领域点的内积约束关系，基于该内积约束 关系从而重构出在原空间中的降噪图像。 最后通过数值实验验证了该方法的有效 性，并且对比原有MDS算法，本文的算法 在一定程度上提高了图像的信噪比。 参考文献: 1. S. Mika, B. SchÖlkopf, A. SMOLA, K. R. Muller. Kernel PCA and de-noising in feature spaces. Advances in Neural Information Processing Systems,1999,11:536-542 2. G. H. Bakr, J. Weston and B. SchÖlkopf. Learning to Find Pre-images. Advances in Neural Information Processing Systems,2004,16:449-456 3. J. T. Kwok and I. W. Tsang. The Pre-image Problem in Kernel Method. IEEE Transactions On Neural Networks, 2004, 15(6):1517-1525 4. K. I. Kim, M. O. Franz, B. SchÖlkopf. Iterative kernel principal component analysis for image modeling. IEEE Trans. on PAMI,2005, 27(9):1351-1366 5. Wei-Shi Zheng and Jian-Huang Lai. Regularized locality preserving learning of pre-image problem in kernel principal component analysis. IEEE Transactions On Neural Networks, 2006,2:456-459 6. Pablo Arias, Gregory Randall, Guillermo Sapiro. Connecting the out-of-sample and pre-image problems in kernel methods. IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 2007,6:18-23