第四章后半部

nullnull三、共轭方向法 1、二维优化问题 （1）任选一初始点X(0),再取坐标轴的方向为初始的搜索方向 null（2）从 点出发，顺次沿着e1,e2作一维搜索得点 和 ，由 和 连线得一新方向 nullnullnullS（1）,S（2）是一对共 轭方向，同样新产生 的方向S（3）同S（2） 方向也是一对共轭方 向null2、n维问题 null缺陷：可能出现在某一轮迭代中其基本方向组为线性相关或近似线性相关的情况。 如：第k轮中，新生方向按下式产生 nullnullnull四、Powell法 1、基本原理 通过一个判定条件来取舍某个方向，如果基本方向组需更换，将使目标数值下降最大的方向舍去，并将新生方向补在最后，null（1）如果这两个条件同时满足，就去掉使目标函数值下降最大的方向 ，并将新生方向补在最后，构成新的搜索方向 （2）如果这两个条件有一个不成立，仍用原来的方向组搜索，初始点 ，就取 中函数值较小的；2、迭代过程nullnullnullnullnullnullnullnullnullnullnullnullnullnull4.3 多变量的梯度法和共轭梯度法 4.3.1 梯度法(最速下降法) 一.基本思想 将n维无约束优化问题转化成一系列沿着目标还是负梯度的方向的一维搜索寻优问题null二.步长 的取法 null1.任意给定一个初始步长，使满足条件： 2.沿负梯度方向做一维探索，以求解一维最优化问题的最优步长α，即对目标函数求极小，以得到最优步长： null三.迭代步骤：null四.优缺点 1.优点： 迭代过程简单，要求的存储量也少，而且在远离极小点时，函数下降还是比较快的. 2.缺点： 计算的函数值愈接近理论极小值时，函数值下降得愈慢，而且常常由于一维搜索的步长误差而产生的扰动不可能取得较高的收敛精度。 null梯度法的一系列搜索 方向是呈直角锯齿形 的，对于一般的二次 函数来说，这些方向 都是偏离函数极小点 方向的。根本原因就 在于梯度的最速下降 性质，只是迭代点邻 域内的一种局部性质。null例1 用梯度法求目标函数 的极小值，nullnullnullnullnull4.3.2 共轭梯度法 一.共轭梯度法的基本思想 鉴于最速下降法在远离极值点时很有效，而经过几步探索之后，尤其在极值点附近，收敛速度迅速减慢等特点，而共轭方向具有二次收敛的优点，于是便形成了先沿最速下降方向(负梯度方向)探索第一步，然后沿与该负梯度方向相共轭的方向进行探索，具有二次收敛性、能迅速达到最优点的共轭梯度法。null二.共轭方向的构成 先讨论二次函数的情况 设二次函数为 f(X)=C+BTX+1/2XTAX， 其中C为常数，B，X为 n维列向量，A为对称正 定矩阵，用共轭梯度法求f(X)的极小点： (1)nullnullnullnull三.共轭梯度法的计算步骤nullnullnull例题：用共轭梯度法求minf(X)=60-10x1-4x2+x12+x22初始点X(0)=[0,0]T,试用共轭梯度法求其极小值，ε＝0.01 解：原函数的梯度为nullnullnullnull四.共轭梯度法的特点： 1.共轭梯度法是使用一阶导数的算法，所用结构简单，并且所需的存储量少；共轭方向在目标函数二次性较强的区域收敛速度比梯度法快；而梯度法则是在非二次性较强的区域收敛较快，因此这两种方法结合起来使用，可以扬长避短，加快收敛速度。 2.理论上，对于二次函数而言，至多经过n次迭代计算就能达到极小点。但是由于存在舍入误差和累计误差，也不一定能n次就收null敛，因此n次迭代后要重新再从负梯度方向开始迭代计算。null4.4 多变量的牛顿法 一.牛顿法 1.基本思想 利用二次曲线来逐点近似原目标函数，以二次曲线的极小点来近似原目标函数的极小点并逐渐 逼近该点。 下面以一个一元二次函数来一下这个 问题，这个二次曲线φ(x)如何取呢？null φ(x) 可以取原目标函数f(x)在各迭代点附近的二阶Taylor展开式。即： null对于n维的 优化问题null2.收敛效率 对于正定二次函数，只需一次就可以到达极 值点，一般情况不能一步就到极值点nullnullnull3.特点： 1）对于正定二次函数，应用牛顿法只要一次迭代就可以达到极小点，收敛很快 2）如果目标函数不是二次函数，对初始点要求比较严格，选的好也会很快，不好，可能无法收敛 二.修正牛顿法 把原来的定步长进行修改 null迭代步骤：