RBF神经网络和BF神经网络优缺点

RBF神经网络和BF神经网络优缺点 1. RBF 的泛化能力在多个方面都优于BP 网络, 但是在解决具有相同精度要求的问题 时, BP 网络的结构要比RBF 网络简单。？？ 2. RBF 网络的逼近精度要明显高于BP 网络,它几乎能实现完全逼近, 而且起来极 其方便, 网络可以自动增加神经元直到满足精度要求为止。但是在训练增多时, RBF 网络的隐层神经元数远远高于前者, 使得RBF 网络的复杂度大增加, 结构过于庞大, 从而运算量也有所增加。？？ 3. RBF神经网络是一种性能优良的前馈型神经网络，RBF网络可以任意精度逼近任意 的非线性函数，且具有全局逼近能力，从根本上解决了BP网络的局部最优问题，而且拓扑结构紧凑，结构参数可实现分离学习，收敛速度快。 4. 他们的结构是完全不一样的。BP是通过不断的调整神经元的权值来逼近最小误差的。 其方法一般是梯度下降。RBF是一种前馈型的神经网络，也就是说他不是通过不停的调整权值来逼近最小误差的，的激励函数是一般是高斯函数和BP的S型函数不一样，高斯函数是通过对输入与函数中心点的距离来算权重的。 5. bp神经网络学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。对 于一些复杂问题，BP算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的。而rbf神经网络是种高效的前馈式网络，它具有其他前向网络所不具有的最佳逼近性能和全局最优特性，并且结构简单，训练速度快。 6. BP网络用于函数逼近时，权值的调节采用的是负梯度下降法，这种调节权值 的方法有它的局限性，既存在着收敛速度慢和局部极小等缺点。而径向基神经网络在逼近能力、分类能力和学习速度等方面均优于BO网络。从理论上，RBF网络和BP网络一样可近似任何的连续非线形函数，两者的主要差别在于各使用不同的作用函数，BP网络中的隐层节点使用的是Sigmoid函数，其函数值在输入空间中无限大的范围内为非零值，而RBF网络的作用函数则是局部的。 7. RBF神经网络与BP神经网络的比较 RBF神经网络与BP神经网络都是非线性多层前向网络，它们都是通用逼近器。对于任一个BP神经网络，总存在一个RBF神经网络可以代替它，反之亦然。但是这两个网络也存在着很多不同点，这里从网络结构、训练算法、网络资源的利用及逼近性能等方面对RBF神经网络和BP神经网络进行比较研究。 （1）从网络结构上看。 BP神经网络实行权连接，而RBF神经网络输入层到隐层单元之间为直接连接，隐层到输出层实行权连接。BP神经网络隐层单元的转移函数一般选择非线性函数（如反正切函数），RBF神经网络隐层单元的转移函数是关于中心对称的RBF（如高斯函数）。BP神经网络是三层或三层以上的静态前馈神经网络，其隐层和隐层节点数不容易确定，没有普遍适用的规律可循，一旦网络的结构确定下来，在训练阶段网络结构将不再变化；RBF神经网络是三层静态前馈神经网络，隐层单元数也就是网络的结构可以根据研究的具体问题，在训练阶段自适应地调整，这样网络的适用性就更好了。 （2）从训练算法上看。 BP神经网络需要确定的参数是连接权值和阈值，主要的训练算法为BP算法和改进的BP算法。但BP算法存在许多不足之处，主要表现为易限于局部极小值，学习过程收敛速度慢，隐层和隐层节点数难以确定；更为重要的是，一个新的BP神经网络能否经过训练达到收敛还与训练样本的容量、选择的算法及事先确定的网络结构（输入节点、隐层节点、输出节点及输出节点的传递函数）、期望误差和训练步数有很大的关系。RBF神经网络的训练算法在前面已做了论述，目前，很多RBF神经网络的训练算法支持在线和离线训练，可以动态确定网络结构和隐层单元的数据中心和扩展常数，学习速度快，比BP算法表现出更好的性能。 （3）从网络资源的利用上看。 RBF神经网络原理、结构和学习算法的特殊性决定了其隐层 单元的分配可以根据训练样本的容量、类别和分布来决定。如采用最近邻聚类方式训练网络，网络隐层单元的分配就仅与训练样本的分布及隐层单元的宽度有关，与执行的任务无关。在隐层单元分配的基础上，输入与输出之间的映射关系，通过调整隐层单元和输出单元之间的权值来实现，这样，不同的任务之间的影响就比较小，网络的资源就可以得到充分的利用。这一点和BP神经网络完全不同，BP神经网络权值和阈值的确定由每个任务（输出节点）均方差的总和直接决定，这样，训练的网络只能是不同任务的折中，对于某个任务来说，就无法达到最佳的效果。而RBF神经网络则可以使每个任务之间的影响降到较低的水平，从而每个任务都能达到较好的效果，这种并行的多任务系统会使RBF神经网络的应用越来越广泛。 总之，RBF神经网络可以根据具体问题确定相应的网络拓扑结构，具有自学习、自组织、自适应功能，它对非线性连续函数具有一致逼近性，学习速度快，可以进行大范围的数据融合，可以并行高速地处理数据。RBF神经网络的优良特性使得其显示出比BP神经网络更强的生命力，正在越来越多的领域内替代BP神经网络。目前，RBF神经网络已经成功地用于非线性函数逼近、时间序列、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。 8. RBF网络的优点： ① 它具有唯一最佳逼近的特性，且无局部极小问题存在。 ② RBF神经网络具有较强的输入和输出映射功能，并且理论证明在前向网络中RBF网络是完成映射功能的最优网络。 ③ 网络连接权值与输出呈线性关系。 ④ 分类能力好。 ⑤ 学习过程收敛速度快。 RBF神经网络除了具有一般神经网络的优点，如多维非线性映射能力，泛化能力，并行信息处理能力等，还具有 很强的聚类分析能力，学习算法简单方便等优点；径向基函数(RBF) 神经网络是一种性能良好的前向网络L利用在多维空间中插值的传统技术, 可以对几乎所有的系统进行辩识和建模L它不仅在理论上有着任意逼近性能和最佳逼近性能, 而且在应用中具有很多优势 [1 ]L 如和Sigmo id 函数作为激活函数的神经网络相比, 算法速度大大高于一般的BP 算法。 RBF 神经网络同BP 网络相比, 不但在理论上它是前向网络中最优的网络, 而且学习方法也避免了局部最优的问题。已经证明：一个RBF网络，在隐层节点足够多的情况下，经过充分学习，可以用任意精度逼近任意非线性函数，而且具有最优泛函数逼近能力，另外，它具有较快的收敛速度和强大的抗噪和修复能力。 在理论上，RBF网络和BP网络一样能以任意精度逼近任何非线性函数。但由于它们使用的激励函数不同，其逼近性能也不相同。Poggio和Girosi已经证明，RBF网络是连续函数的最佳逼近，而BP网络不是。BP网络使用的Sigmoid函数具有全局特性，它在输入值的很大范围内每个节点都对输出值产生影响，并且激励函数在输入值的很大范围内相互重叠，因而相互影响，因此BP网络训练过程很长。此外，由于BP算法的固有特性，BP网络容易陷入局部极小的问题不可能从根本上避免，并且BP网络隐层节点数目的确定依赖于经验和试凑，很难得到最优网络。采用局部激励函数的RBF网络在很大程度上克服了上述缺点，RBF不仅有良好的泛化能力，而且对于每个输入值，只有很少几个节点具有非零激励值，因此只需很少部分节点及权值改变。学习速度可以比通常的BP算法提高上千倍,容易适应新数据，其隐层节点的数目也在训练过程中确定，并且其收敛性也较BP网络易于保证，因此可以得到最优解。 1. RBF 的泛化能力在多个方面都优于BP 网络, 但是在解决具有相同精度要求的问题 时, BP 网络的结构要比RBF 网络简单。？？ 2. RBF 网络的逼近精度要明显高于BP 网络,它几乎能实现完全逼近, 而且设计起来极 其方便, 网络可以自动增加神经元直到满足精度要求为止。但是在训练样本增多时, RBF 网络的隐层神经元数远远高于前者, 使得RBF 网络的复杂度大增加, 结构过于庞大, 从而运算量也有所增加。？？ 3. RBF神经网络是一种性能优良的前馈型神经网络，RBF网络可以任意精度逼近任意 的非线性函数，且具有全局逼近能力，从根本上解决了BP网络的局部最优问题，而且拓扑结构紧凑，结构参数可实现分离学习，收敛速度快。 4. 他们的结构是完全不一样的。BP是通过不断的调整神经元的权值来逼近最小误差的。 其方法一般是梯度下降。RBF是一种前馈型的神经网络，也就是说他不是通过不停的调整权值来逼近最小误差的，的激励函数是一般是高斯函数和BP的S型函数不一样，高斯函数是通过对输入与函数中心点的距离来算权重的。 5. bp神经网络学习速率是固定的，因此网络的收敛速度慢，需要较长的训练时间。对 于一些复杂问题，BP算法需要的训练时间可能非常长，这主要是由于学习速率太小造成的。而rbf神经网络是种高效的前馈式网络，它具有其他前向网络所不具有的最佳逼近性能和全局最优特性，并且结构简单，训练速度快。 6. BP网络用于函数逼近时，权值的调节采用的是负梯度下降法，这种调节权值 的方法有它的局限性，既存在着收敛速度慢和局部极小等缺点。而径向基神经网络在逼近能力、分类能力和学习速度等方面均优于BO网络。从理论上，RBF网络和BP网络一样可近似任何的连续非线形函数，两者的主要差别在于各使用不同的作用函数，BP网络中的隐层节点使用的是Sigmoid函数，其函数值在输入空间中无限大的范围内为非零值，而RBF网络的作用函数则是局部的。 7. RBF神经网络与BP神经网络的比较 RBF神经网络与BP神经网络都是非线性多层前向网络，它们都是通用逼近器。对于任一个BP神经网络，总存在一个RBF神经网络可以代替它，反之亦然。但是这两个网络也存在着很多不同点，这里从网络结构、训练算法、网络资源的利用及逼近性能等方面对RBF神经网络和BP神经网络进行比较研究。 （1）从网络结构上看。 BP神经网络实行权连接，而RBF神经网络输入层到隐层单元之间为直接连接，隐层到输出层实行权连接。BP神经网络隐层单元的转移函数一般选择非线性函数（如反正切函数），RBF神经网络隐层单元的转移函数是关于中心对称的RBF（如高斯函数）。BP神经网络是三层或三层以上的静态前馈神经网络，其隐层和隐层节点数不容易确定，没有普遍适用的规律可循，一旦网络的结构确定下来，在训练阶段网络结构将不再变化；RBF神经网络是三层静态前馈神经网络，隐层单元数也就是网络的结构可以根据研究的具体问题，在训练阶段自适应地调整，这样网络的适用性就更好了。 （2）从训练算法上看。 BP神经网络需要确定的参数是连接权值和阈值，主要的训练算法为BP算法和改进的BP算法。但BP算法存在许多不足之处，主要表现为易限于局部极小值，学习过程收敛速度慢，隐层和隐层节点数难以确定；更为重要的是，一个新的BP神经网络能否经过训练达到收敛还与训练样本的容量、选择的算法及事先确定的网络结构（输入节点、隐层节点、输出节点及输出节点的传递函数）、期望误差和训练步数有很大的关系。RBF神经网络的训练算法在前面已做了论述，目前，很多RBF神经网络的训练算法支持在线和离线训练，可以动态确定网络结构和隐层单元的数据中心和扩展常数，学习速度快，比BP算法表现出更好的性能。 （3）从网络资源的利用上看。 RBF神经网络原理、结构和学习算法的特殊性决定了其隐层 单元的分配可以根据训练样本的容量、类别和分布来决定。如采用最近邻聚类方式训练网络，网络隐层单元的分配就仅与训练样本的分布及隐层单元的宽度有关，与执行的任务无关。在隐层单元分配的基础上，输入与输出之间的映射关系，通过调整隐层单元和输出单元之间的权值来实现，这样，不同的任务之间的影响就比较小，网络的资源就可以得到充分的利用。这一点和BP神经网络完全不同，BP神经网络权值和阈值的确定由每个任务（输出节点）均方差的总和直接决定，这样，训练的网络只能是不同任务的折中，对于某个任务来说，就无法达到最佳的效果。而RBF神经网络则可以使每个任务之间的影响降到较低的水平，从而每个任务都能达到较好的效果，这种并行的多任务系统会使RBF神经网络的应用越来越广泛。 总之，RBF神经网络可以根据具体问题确定相应的网络拓扑结构，具有自学习、自组织、自适应功能，它对非线性连续函数具有一致逼近性，学习速度快，可以进行大范围的数据融合，可以并行高速地处理数据。RBF神经网络的优良特性使得其显示出比BP神经网络更强的生命力，正在越来越多的领域内替代BP神经网络。目前，RBF神经网络已经成功地用于非线性函数逼近、时间序列分析、数据分类、模式识别、信息处理、图像处理、系统建模、控制和故障诊断等。 8. RBF网络的优点： ① 它具有唯一最佳逼近的特性，且无局部极小问题存在。 ② RBF神经网络具有较强的输入和输出映射功能，并且理论证明在前向网络中RBF网络是完成映射功能的最优网络。 ③ 网络连接权值与输出呈线性关系。 ④ 分类能力好。 ⑤ 学习过程收敛速度快。 RBF神经网络除了具有一般神经网络的优点，如多维非线性映射能力，泛化能力，并行信息处理能力等，还具有 很强的聚类分析能力，学习算法简单方便等优点；径向基函数(RBF) 神经网络是一种性能良好的前向网络L利用在多维空间中插值的传统技术, 可以对几乎所有的系统进行辩识和建模L它不仅在理论上有着任意逼近性能和最佳逼近性能, 而且在应用中具有很多优势 [1 ]L 如和Sigmo id 函数作为激活函数的神经网络相比, 算法速度大大高于一般的BP 算法。 RBF 神经网络同BP 网络相比, 不但在理论上它是前向网络中最优的网络, 而且学习方法也避免了局部最优的问题。已经证明：一个RBF网络，在隐层节点足够多的情况下，经过充分学习，可以用任意精度逼近任意非线性函数，而且具有最优泛函数逼近能力，另外，它具有较快的收敛速度和强大的抗噪和修复能力。 在理论上，RBF网络和BP网络一样能以任意精度逼近任何非线性函数。但由于它们使用的激励函数不同，其逼近性能也不相同。Poggio和Girosi已经证明，RBF网络是连续函数的最佳逼近，而BP网络不是。BP网络使用的Sigmoid函数具有全局特性，它在输入值的很大范围内每个节点都对输出值产生影响，并且激励函数在输入值的很大范围内相互重叠，因而相互影响，因此BP网络训练过程很长。此外，由于BP算法的固有特性，BP网络容易陷入局部极小的问题不可能从根本上避免，并且BP网络隐层节点数目的确定依赖于经验和试凑，很难得到最优网络。采用局部激励函数的RBF网络在很大程度上克服了上述缺点，RBF不仅有良好的泛化能力，而且对于每个输入值，只有很少几个节点具有非零激励值，因此只需很少部分节点及权值改变。学习速度可以比通常的BP算法提高上千倍,容易适应新数据，其隐层节点的数目也在训练过程中确定，并且其收敛性也较BP网络易于保证，因此可以得到最优解。