BP神经网络的异常点检测应用

BP神经网络的异常点检测应用 【摘 要】异常点数据是指数据集中与众不同数据。这部分数据的量小，但是对于我们的日常生产生活的影响极大。因此，异常点检测被广泛应用于网络入侵检测，金融保险，天气预报以及新药研制等领域。相对于大量的正常数据挖掘而言，异常点检测被称作小模式数据挖掘。bp算法是一种常用的数据挖掘算法。但是bp算法进行实际数据的异常点数据挖掘过程中存在:实际数据的维数较高，存在冗余特征的干扰，以及在高维特征下，数据量不充分的问。因此，本文bp神经网络处理各种数据的情况，并进行简单分析。 【关键字】bp bp模型 神经网络 预测 一、bp神经网络介绍 bp是在1986年通过科技小组设计研究出来的，它在目前网络运用bp神经网络的异常点检测应用 张嘉一 (276826 曲阜师范大学 山东 日照)是最为广泛的，是按照误差逆传播算法训练的网络。能够学习和储存大量的映射关系，方便简单的操作和学习。 运用最速下降法的学习规则，通过自身不断的调整网络的要求值，从而以降低网络的误差平方和。bp神经网络模型拓扑结构包括输入层(input)、隐层(hide layer)和输出层(output layer)。就是在学习的过程中运用误差反传误差反向传播算法，主要是要信息 的正、反向传播组成。 (一)输入层通过接收外来的输入信息，传递给中间层个神经元。 (二)中间层通过把信息进行处理和变换，然后根据信息的变化的需求，设计出相应的单隐层或者是多隐层的结构模式。 (三)隐层把消息传递给输出层，通过处理后，完成正向传播处理过程 (四)输出层进行最后的处理，对结果进行传播。 当完成的实际的输出与所期望的输出不相符合的时候，就进入了误差的反向传播阶段。 误差通过输出层，根据误差的梯度下降的方式修正各层的权值。 向隐层与输入层逐层的进行反传。 通过不断的进行这种正反向的传播，来调整各个层面的权值，以达到神经网络学习训练的一种过程，并且这种过程需要极大程度上的减少误差，以达到预先的设置次数，被接受的程度。 bp算法主要包括两个过程，一是由学习样本、网络权值从输入层?隐含层?输出层逐次算出各层节点的输出;二是反过来由计算输出与实际输出偏差构出的误差函数e()，用梯度下降法调节网络权值，即 使误差减小。 设输入层节点数为n，隐含层节点数为r，输出层节点数为m，隐含层与输入层之间的权值矩阵为，隐含层节点阀值为，输出层与隐含层之间权值矩阵为，输出层节点阀值为，并设有n个学习样本其 中为第p个学习样本的输入向量，为其实际输出向量。其中。 二、基于bp神经网络的预测原理 (一)正向建模 正向建模是指训练一个神经网络达系统正向动态的过程，这一过程建立的神经网络模型称为正向模型。其中，神经网络与待辨识的系统并联，两者的输出误差用做网络的训练信号。显然，这是一个典型的有导师学习问题，实际系统作为教师，向神经网络提供算法所需要的期望输出。 系统是被控对象或者是传统控制器时，可以通过选用bp网络、多层次前向网络。 系统为性能评价器时，可以采用多层器的感知器、小脑模型控制器以及选择再励学习算法。 (二)逆向建模 建立动态系统的逆模型，在神经网络中起着关键作用，并且得到了广泛的应用。其中，比较简单的是直接逆建模法，也称为广义逆学习。拟预报的系统输出作为网络的输入，网络输出与系统输入比较，相应的输入误差用于训练，因而网络将通过学习建立系统的逆模型。但是，如果所辨识的非线性系统是不可逆的，利用上述方法将得到一个不正确的逆模型。因此，在建立系统时，可逆性应该先有所保证。 三、异常检测中bp神经网络的设计 (一)可微阈值单元 可微阈值单元，图中为sigmoid单元，与感知器相似，sigmoid单元先计算它的线性组合，然后应用一个阈值到此结果。然而，对sigmoid单元，阈值输出是输入的连续函数。更精确地讲，sigmoid单元这样计算输出。 其中: 经常被称为sigmoid函数或者也可以称为logistic函数。注意它的输出范围为0到1，随输入单调递增。因为这个函数把非常大的书值域映射到一个小范围的输出。也叫挤压函数。 本算法就是想把所有整数据特征映射到一个小范围来处理判断。 (二)bp神经网络学习过程的基本步骤 1.定义误差函数为期望输出与实际输出之差的平方和: 其中yj是输出单元的期望输出，是实际的输出。 2.调节权值的公式为: 其中为学习步长，取正参数，代表上一层神经元的输出，而有两种情况: (1) 如果j是输出层(第m层)的神经元，则 (2) 如果j不在输出层，而是隐含层的神经元，则 是该神经元的输出，而求本层的必须用到上一层的，可见误差函数的求取是一个始于输出层的反向传播的递归过程。 将学习模式不断输入到输入层，再根据输出层产生的误差不断修正神经元间连结的权值和神经元的阈值，直到学习模式全部输入或误差达到一定的值。 反向传播算法在网络规模较大时计算量很大，收敛较慢，而且存在局部最小的问题，根据这一问题，在具体操作时采用了加入动量项的方法: 称为动量因子，这样后一次的权值更新适当考虑上一次的权值更新，可以改善收敛特性。 四、结束语 总地来说，使用神经网络分类，对于相似性比较高，差异集中在局部特征的数据，可以使用特征映射相关技术遗传算法、启发式搜索、特征随机选取等得到这些特征差异。对于正常数据多特征地问题，特别是正常数据有多类数据的，可以采用多神经网络融合，即多神经网络记录多特征。 作者简介: 张嘉一(1992.1-)男，江苏宜兴，曲阜师范大学。