能量函数

能量函数 —————————————————————————————————— 设网络的状态为 (V,V,...,V)12n Hopfield网络的能量函数定义为 1 E,,WVV，,V,,,ijijii2iji 其中 W,0W,Wijijji —————————————————————————————————— 定理4: 设网络按下式异步更新，则对于网络状态的任何改变，网络能量E都 单调下降 ,证明: 设网络中第k个神经元的状态发生变化，由原状态变为新状态， NVkk 由上式可知，变化后网络的能量为 Nk 1,,,,,EWVV,V ,,，,,,ijijii2iji ,, 其中对于i，j?k 有， 所以 V,VV,Vjjii ,,E,E,E 11,,W,VV,W,VV，,,V ,,ikkikjkjkk22ij ,,,V(WV,,) (4.55) ,kikiki ,E由(4.55)式可见，若=0，=0 无状态变化时，网络总能量不变。 ,Vk ,,若?0，则 ,VVVV2V,,,,kkkkk ,,因此 ,E,,2V(WV,,),,2Vs ,kikikkki 网络状态演变按方程 , V,sgn(s)kk , 进行，由sgn函数性质可推得 >0 或 Vskk , <0 ,E,,2Vskk 即网络的能量随着网络的状态变化单调下降。 —————————————————————————————————— V(t，1),sgn(V(t)W)定理5: 假设网络按方程 (4.9) 同步更新，则在网络权矩阵对称且非负定的条件下，对于网络状态的每 次变化，网络能量E单调下降。 证明: 能量函数可以写成以下矩阵形式: 1TT E,,VWV，,V2 (t)展开成泰勒级数，去两项并稍加整理届可以得到 把E在V 网络由V(t)变为V(t+1)时的能量变化为: 1TT (4.61) ,E,,s(t)(,V),(,V)W(,V)2 s(t),V(t)W,,,V,V(t，1),V(t)其中 由定理4中的分析 (状态增量等于两倍的新状态)，所以,Vs(t),0ii 有 T s(t)(,V),0 又因为W为非负定，(4.61)式中第二项 1T (,V)W(,V),02 因此当,V,0时，必有: ,E,E(t，1),E(t),0 ——————————————————————————————————下面研究由能量函数反推可以得到什么结果。 设网络存贮一个模式x，这时可以定义能量函数，使x与网络状态V最 大拟合时能量达到极小值，以反映联想过程中的最优匹配。这样构造以 下能量函数: 2E,,,(Vx) ,iii 当网络存贮多个模式时，可定义能量函数为: p2kE,,,(Vx) ,,ii,1ki 对上式进行一些处理。首先把二次项记号改为乘积记号，然后交换 运算顺序: pkk E,,,(Vx)(Vx),,,iijj,1kji pkk ,,,(xx)VV,,,ijij,1ijk p1kk ,,(,xx)VV,,,ijij2,1ijk ,, 其中 ，为常数。 ,,0,2 假定某一特定问题能够表达成网络的能量函数形式，而能量函数的 最小值或极小值满足问题的解，则我们可以根据能量函数来决定网络的 连接强度矩阵，也就是说，建立一个相应的Hopfield反馈网络。对此 网络给出特定的初始状态并使之运行，在网络稳定后，就可以得出所给 问题的局部最优解。若再提供一些附加措施，那么可使网络最终稳定在 全局最优，或基本上达到全局最优解。 至此，我们涉及到Hopfield网络的两种运行方式 , 联想记忆 稳定状态给定，通过学习得到W , 优化计算 W已知，寻找具有最小能量值得稳态