基于PSO算法的模糊神经网络的网络异常检测

2009，45（6） 近几年来，随着 Internet的不断发展，带来了许多复杂难以 解决的问题，网络安全信息全成为人们日益关注的问题。为了 给用户提供安全可靠的网络服务，入侵检测[1]系统被广泛应用。 目前入侵检测的方法主要有两种，即误用检测和异常检测。异 常检测是假设入侵者的行为在某种程度上与正常行为有所不 同，用网络及系统的某些特性参数和阈值来定义正常行为和系 统的正常轮廓。然后用暂态轮廓与正常轮廓进行比较，若超出 某种程度的差异，即确定为异常。因此，检测异常和入侵实质上 就是检测这些特性参数与正常状态值的背离程度[2]。近来，由于 人工神经网络自身强大的容错能力及其自组织性，已被广泛应 用于异常检测。例如，用 BP算法训练的多层感知器[3]作为一个 典型的神经网络广泛的应用于实际问题的解决。然而，这些神 经网络存在着自身的缺陷，比如，学习速度慢，容易陷入局部最 优等。基于以上背景，结合模糊数学理论和网络异常检测研究 的最新成果，将粒子群优化算法（PSO）与模糊人工神经网络 （FNN）进行融合，建立了基于 PSO优化算法的模糊神经网络的 网络异常检测模型，并把这一方法用于网络异常检测的系统 中。实验结果明该方法可加快网络学习速度，并能提高负荷 预测的精度。 1 粒子群算法 粒子群算法（Particle Swarm Optimization，PSO）是在 1995 年由美国社会心理学家 James Kennedy和电气工程师 Russell Eberhart 共同提出的，其基本思想是受他们早期对鸟类群体行 为研究结果的启发，并利用了生物学家 Frank Heppner的生物 群体模型。目前，有关 PSO算法的研究大多以带惯性权重的 PSO算法为基础进行扩展和修改。为此将带惯性权重的 PSO 算法称之为 PSO算法。PSO算法将每个粒子看作是在 n 维搜索空间中的一个没有重量和体积的微粒，并在搜索空间中 以一定的速度飞行。该飞行速度由粒子的飞行经验和群体的飞 行经验进行动态调整。 标准 PSO算法的进化方程为[4]： 基于 PSO算法的模糊神经网络的网络异常检测 杨小明 1，施 莹 2 YANG Xiao-ming1，SHI Ying2 1.湖州师范学院 信息工程学院，浙江 湖州 313000 2.江南大学，江苏 无锡 214122 1.Huzhou Teacher’s College，Huzhou，Zhejiang 313000，China 2.Jiangnan University，Wuxi，Jiangsu 214122，China E-mail：ruhuima@126.com YANG Xiao-ming，SHI Ying.Fuzzy Neural Network model based on Particle Swarm Optimization for network anomaly detection.Computer Engineering and Applications，2009，45（6）：131-133. Abstract：In order to improve the detection rate for anomaly state and reduce the false positive rate for normal state in the net－ work anomaly detection，a novel method of network anomaly detection based on constructing Fuzzy Neural Network（FNN） using Particle Swarm Optimization（PSO） algorithm is proposed.The FNN is trained by the hybrid algorithm which is based on PSO and gradient descent.The model makes full use of the global optimization of PSO and local accurate searching of BP.The well-known KDD cup 1999 intrusion detection data set is used as the experimental data.Experimental result on KDD 99 intrusion detection datasets shows that this learning algorithm has more rapid convergence，better global convergence ability compared with the tradi－ tional Gradient Descent（GD） algorithm，and the accuracy of anomaly detection is enhanced.It also shows the remarkable ability of this novel algorithm to detect new type of attacks. Key words：Particle Swarm Optimization（PSO）；Gradient Descent（GD）；Fuzzy Neural Network（FNN）；network anomaly detection 摘 要：在网络异常检测中，为了提高对异常状态的检测率，降低对正常状态的误判率，提出一种基于粒子群优化算法训练模糊神 经网络进行网络异常检测的新方法。在对模糊神经网络训练中采取 PSO算法和梯度下降算法相结合的方法，充分发挥 PSO全局 寻优的能力和梯度下降局部细致搜索优势。实验数据采用 KDD CUP99数据集，实验结果表明，该学习算法与传统的梯度下降法 （GD）相比，收敛速度快，具有更好的全局收敛性，提高了异常检测的准确性，同时该方法对于新的异常也有较高检测率。 关键词：粒子群优化算法；梯度下降；模糊神经网络；网络异常检测 DOI：10.3778/j.issn.1002-8331.2009.06.037 文章编号：１００２－８３３１（２００9）06-0131-03 文献标识码：Ａ 中图分类号：TP393.01 作者简介：杨小明（1978-），男，实验师，研究方向：电路设计、网络安全、系统架构。 收稿日期：2008-01-04 修回日期：2008-04-14 Computer Engineering and Applications计算机工程与应用 131 Computer Engineering and Applications计算机工程与应用2009，45（6） 输出层 h 输出层 k 输出层 i uhj rij 图 1 模糊神经网络结构 vij（t+1）=ωvij（t）+c1r1j（t）（pij（t）-xij（t））+c2r2j（t）pgj（t）-xij（t））（1） xij（t+1）=xij（t）+vij（t+1） （2） 其中，x、v表示种群中相应的粒子 i的位置和速度；r1和 r2为两 两相互独立的[0，1]范围内变化的随机变量；pi是粒子 i的最佳 位置；pg是群体中所有粒子的最佳位置；ω是惯性权重因子；c1， c2为加速常数。 根据文献[5]关于粒子收敛行为的，要保证算法的收敛 性，每个粒子必须收敛于各自的 p点，这是由粒子的追随性和 粒子群的聚集性决定的。第 i个粒子 p点的第 j维坐标为： pj= φ1jpij+φ2jpgjφ1j+φ2j ，其中 φ1j=c1r1j，φ2j=c2r2j （3） 从动力学的角度看，粒子群算法中的粒子收敛过程是以 p 点为吸引子，随着速度的减小不断接近 p点，最后收敛到 p点。 因此整个过程中，在 p点处实际上存在某种形式的吸引势能场 吸引着粒子。这正是整个粒子能保持聚集性的原因。 2 基于粒子群算法的模糊神经网络 2.1 模糊神经网络 设有 n个待训练的样本集合，每个样本有 m项因子特征 值[6]，则有实测因子特征值矩阵： X=（xi，j）m×n （4） 式中 i=1，2，…，m；j=1，2，…，n；xi，j为待训练样本 j特征值 i的 实测值。 n个对象组成的样本集合，其特征向量为： Y=（y1，y2，…，yn） （5） 应用隶属度公式，对对象规格化，即： uj= yj-min yjmax yj-min yj （6） 式中 max yj，min yj分别为样本的最大特征值和最小特征值。由 于 m个因子的特征值的物理量纲不同。有的特征值和对象呈 正相关，有的和对象成反相关。对于成负相关的对象，采用相对 的隶属度公式为： ri，j= max xi，j-xi，jmax xi，j-min xi，j （7） 对于因子与对象呈正相关的对象，采用的隶属度公式如下： ri，j= xi，j-min xi，jmax xi，j-min xi，j （8） 模糊神经网路结构图如图 1所示。 网络中的激励函数可以根据具体情况加以选择，sigmoid 函数应用已经很广泛，此处尝试采用模糊优选模型函数作为激 励函数[7]。以图 1所示三层网络结构为例，其形式如下所示。 （1）对于隐含层 k ukj= 1 1+[（ m i=1 Σωikrij）-1-1]2 = 1 1+（I -1 kj -1） 2 （9） 式中：Ikj= m i=1 Σωikrij；j为样本序数，rij为输入层输入；ωik为 i层和 k 层之间的连接权重；uki为 k层节点输出。其权重调整公式为： ωik（n+1）=ωik（n）+△ωik（n+1）+α△ωik（n） （10） 式中：△ωik（n）=ηrij δik；η为学习效率；α为动量算子；n为迭代次 数；δkj为隐含层误差信号。 （2）对于输出层 h uhj= 1 1+[（ m i=1 Σωkhrkj）-1-1]2 = 1 1+（I -1 hj -1） 2 （11） 式中：Ihj= m i=1 Σωkhukj；j为样本序数，ukj为隐含层输入；ωkh为 k层 和 h层之间的连接权重；uk7为 k层节点输出。其权重调整公式为： ωkh（n+1）=ωkh（n）+△ωkh（n+1）+α△ωkh（n） （12） 式中：△ωkh（n）=ηrkj δhj；η为学习效率；α为动量算子；n为迭代次 数；δhj为隐含层误差信号。 2.2 融合 PSO和模糊神经网络的训练 考虑到 PSO算法的全局寻优能力和反向传播算法善于局 部细致搜索和发展较为成熟的特点，在对模糊神经网络训练 时，采用二者相结合的方法。具体步骤如下： 步骤 1 随机初始化模糊神经网络各个连接权重为一群粒 子（群体规模为 m），包括随机的位置 xi和速度 vi。其中：xi∈ [vup，vdown]，[vup，vdown]是粒子每一维的变化范围；vi∈[-vmax，vmax]，vmax 为粒子的最大速度，是一个常数，通常为每维变化范围的 10%~20%。 步骤 2 给定惯性权重 ω，加速常数 c1和 c2，初始化 pbest、 gbest。神经网络输入层输入样本因子，对网络进行前向计算，每 个粒子的适应度函数定义为 f=M|uj-u軌 j|，评价每个粒子的适应 度。其中：uj为网络实际输出对象值；u軌j为期望输出对象值；M 是一个正常数。 步骤 3 对每个粒子，将它的适应度和它经历过的最好位 置 pbest；将它的适应值和全局所经历过得最好的位置 gbest做比 较，如果较此 gbest好，则重新设置 gbest的索引号，并记录 gbest的 值，采用公式（1）、（2）对 xi和速度 vi进行调整。 步骤 4 粒子群在解空间进行搜索，若适应值小于预先设 定的阈值或小于预设最大迭代数 Imax（max iteration）则转入步 骤 3，否则转入步骤 5。 步骤 5 在 PSO全局寻优的基础上，运行小步长反向传播 算法，进行局部细致搜索，达到要求的收敛精度，则结束网络的 训练。 3 实验分析和结果 实验通过采用标准的 PSO算法以及梯度下降法优化同一 模糊神经网络的参数实现对网络异常的检测。实验中数据采用 KDD CUP99数据集[8]。KDD CUP99数据集中包含 5 000 000 个连接记录，其中共包含 4类攻击方式，即为 Probing、DOS、 U2R、R2L等。将 10%的 KDD CUP99数据集中的数据作为模 糊神经网络的训练样本，这个训练样本数据中共包含 22种不 同的攻击方式，494 021个连接记录，其中有 97 278个正常的 连接记录，每个连接记录都有 41个不同的属性；而测试样本数 据中包含 311 029个连接记录，37种不同的攻击方式，其中有 17种新的攻击方式是在训练样本中没有。 设定初始种群为 50，迭代次数 k为 2 500次，权值 wij、vjk 的取值定义在（-1，1）之间，在 PSO 算法中，[vup，vdown]∈[-1，1]， vmax=0.15×|vup-vdown|ω作为迭代次数的函数从 0.7到 0.2线性减 小，参数 c1，c2均取值为 2。反向传播的参数采用小步长 η= 132 2009，45（6） 迭代次数 0.50 0.45 0.40 0.35 0.30 0.25 0.20 0.15 0.10 0.05 0 500 1 000 1 500 2 000 2 500 适 应 值 PSO-FNN 传统 FNN 图 2 目标函数值的收敛曲线 训练方法 PSO-FNN 传统 FNN 检测率/（%） 91.79 88.27 误判率/（%） 8.98 9.16 表 1 PSO-FNN和传统 FNN异常检测性能比较 训练方法 PSO-FNN 传统 FNN 发现新异常 类型的数量 15 15 检测率/（%） 76.38 70.55 表 2 不同方法训练的 FNN对 新的异常进行检测的性能比较 0.03，动量算子 α取 0.45。用 Mathlab 7.0进行编程，建立粒子 类和粒子群，实现上述算法。实验结果如图 2及表 1、表 2所示。 由表 1可以看出，不同的训练算法对模糊神经网络训练结 果有很大不同。将优化后的 PSO-FNN和传统 FNN，分别用来 进行网络异常检测，PSO-FNN无论从检测率还是误判率，它的 效果都要比传统 FNN要好。由表 2可以看出，无论是对新异常 的发现数还是对其的检测率，PSO-FNN相比于传统 FNN有更 优的效果，它更能适应新的环境，发现未知的异常。图 2是 对网络参数优化后进行的 2 500次迭代得到的平均收敛曲线。 可以看出 PSO-FNN算法不仅收敛速度快，而且在相同的迭代 次数下比传统-FNN算法具有更好的收敛效果，从而也从另一 方面验证了上面的结果。 通过对表 1，表 2以及图 2的分析，可以看出，由 PSO算法 训练的模糊神经网络在异常检测方面有很大的优势，提高了对 异常的检测率，同时降低了对正常状态的误判率，它最大的优 点在于对新型异常的检测率有了很大提高，可见经过 PSO算 法训练的模糊神经网络又很强的适应性。因此，可以看出基于 PSO算法的 FNN对于网络异常检测具有良好的高精度的检测 结果，是一种能被广泛应用的检测方法。 4 结论 网络的异常检测在实际应用中运行具有重要意义。在对 PSO算法和模糊神经网络分析的基础上给出了基于 PSO的模 糊优选人工网络异常检测模型，采用结合 PSO和反向传播算 法的网络权重的训练调整技术，发挥了粒子群算法和模糊神经 网络处理非线性问题的能力，具有训练速度快、学习精度高等 优点。仿真计算表明，PSO—FNN方法具有高效的训练效率和 较强的推广能力，是一个很有效的检测模型。 参考文献： [1] van den Bergh F，Engelbrecht A P.Cooperative learning in neural networks using particle swarm optimizer[J].South African Computer Journal，2000，26：84-90. [2] van den Bergh F，Engelbrecht A P.Training product unit networks using cooperative particle swarm optimizers[C]//Proc IJCNN 2001， Washington DC，USA，2001：126-132. [3] Yumusak N，Temurtas F，Gunturkun R.Harmonic detection using neural networks with conjugate gradient algorithm[C]//LNAI，2004： 304-311. [4] Shi Y，Eberhart R C.A modified particle swarm optimizer[C]//Pro－ ceedings of the IEEE International Conference on Evolutionary Computation．Piscataway：IEEE Press，1998：69-73． [5] Clerc M.The swarm and queen：towards a deterministic and adap－ tive particle swarm optimization[C]//Proc of CEC1999.Piscataway， NJ：IEEE Press，1999：1951-1957. [6] 康重庆，夏清，张伯明．电力系统负荷预测研究综述与发展方向的探 讨[J]．电力系统自动化，2004，28（17）：1-11. [7] 姜勇，卢毅．基于相似日的神经网络短期负荷预测方法[J]．电力系统 及其自动化学报，2001，13（6）：35-40. [8] KDD Cup 1999 Data[EB/OL].（1999）.http：//kdd.ics.uci.edu/databas－ es/kddcup.html. 方法。从中可以看出，把混沌系统用于数据加密是可行的，是能 保证邮件数据传输的安全性的，尤其是采用分段线性混沌系统 并结合应用动态变换查询表技术，达到了十分安全可靠的加密 效果。开发的程序可进行有效的文本加解密，安全性能好，应用 方便简单。 参考文献： [1] 上海洲信信息技术有限公司 .保证电子邮件安全的实现方法： 200510137623[P].2006-06-28. [2] 江波.一种简单易行的、可靠的电子邮件（EMail）安全解决方案： 200510130206[P].2006-07-19. [3] 富士施乐株式会社.通过电子邮件发送或接收图像的装置、程序和 方法：200510129492[P].2007-02-28. [4] 乐金电子（中国）研究开发中心有限公司.电子邮件数据的加密装置 及方法：200610159959[P].2007-04-04. [5] 上海交通大学，华为技术有限公司.一种认证加密方法和电子邮件 系统：200610099182[P].2007-01-31. [6] 北京易恒信认证科技有限公司.一种基于 CPK安全认证的电子邮 件系统和方法：200610072748[P].2006-09-20. [7] 李鹤，陈宏，闻邦椿，等.基于一类离散混沌系统的图像加密技术[J]. 计算机工程与应用，2004，40（28）：30-32. [8] Kocarev L.Chaos-based cryptography：a brief overview[J].IEEE Cir－ cuits and Systems Magazine，2001，1（3）：6-21. [9] Xiao Di，Liao Xiao-feng，Deng Shao-jiang.One-way Hash function construction based on the chaotic map with changeable-parameter[J]. Chaos，Solitons and Fractals，2005，24：65-71. [10] Baranousky A，Daems D.Design of one-dimensional chaotic maps with prescribed statistical properties[J].Int J Bifurcat Chaos，1995，5 （6）：1585-1598. [11] Xiao Di，Liao Xiao-feng，Wong K W.Improving the security of a dynamic look-up table based chaotic cryptosystem[J].IEEE Trans－ actions on Circuits and Systems-蒹，2006，53（6）：502-506. [12] Wong K W.A combined chaotic cryptographic and hashing scheme[J]. Physics Letters A，2003，307：292-298. [13] NIST Special Publication 800-22［EB/OL］.（2001）.http：//csrc.nist. gov/rng/rng2.html. [14] Shannon C E.Communication theory of secrecy systems [J].Bell Systems Technical Journal，1949，28：656-715. [15] Shneier B.Applied cryptography：protocols algorithms，and source code in C[M]．[S.l.]：John Wiley ＆ Sons Inc，1996. （上接 104页） 杨小明，施 莹：基于 PSO算法的模糊神经网络的网络异常检测 133