为非对称Sigmoid函数时，有：
1f(U)?1?exp(?Uik) (4.13)
ki得
f(Uik)?f(Uik)(1?f(Uik))?X(1?X)?e再考虑式(4.11)中的偏微分项
?Xikkiki (4.14)
，有两种情况需考虑的：
（1）如果k＝m，则是输出层，这时有Yi是输出期望值，它是常数。从式(4.3)有
?e?em??(Xi?Yi) (4.14) km?Xi?Xi从而有
d?x(1?x)(x?Y1) (4.15)
（2）如果k m1m1m1m1?U1k?1?e?e??? (4.16) kk?1k?xi?U?xI1i从式(4.9)中，可知有： ?ek?1?d1 (4.17) ?U1k?1从式(4.2)中，可知有： ?U?xk?11ki??(?Wijxkj)?xki?W1i|j?i (4.18) 故而有 ?ek?1?W?d?1i1 (4.19) ?xik1 15 最后有 dik?xik(1?xik)??W1i?d1k?1 (4.20) 1从上述过程可知：多层网络的训练方法是把一个样本加到输入层，并根据向前传播的规则： Xik?f(Uik) (4.21) 不断一层一层向输出层传递，最终在输出层可以得到输出 Xim。 把Xim和期望输出Yi进行比较．如果两者不等，则产生误差信号e，接着则按下面公式反向传播修改权系数： ?1?Wij????dik?xkj (4.22) ?1Uik??wijxkj (4.23) m其中 dim?x1(1?xim)(xim?Yi)；dj?xi(1?xi)kkk?W1k?11j1d 【18】 4.3 BP算法的缺点及其改进 BP算法原理简单，实用性强，是一个很有效的算法，许多问题都可以由它来解决，因此，BP模型成为神经网络的重要模型之一。但是BP算法本身也存在一些不足： (1) 由于它本质上是一个非线性优化问题，这就不可避免地会遇到常见的局部极小问题，从而问题得不到最优解。 (2) 学习算法收敛速度缓慢，通常要数千步以上。 (3) 网络隐节点的个数的选取缺乏严格的理论依据，一般要根据经验选取。 (4) BP在学习新样本时有遗忘已学样本的趋势，同时刻画每个样本的特征数目也必须相同。 BP算法的这些不足使其在实际应用中很难胜任，在过去的几年中，人们对BP算法进行了大量的研究，提出许多改进的快速学习算法。 16 4.3.1动量法 动量法是其中比较常用的一种，采用动量法能够提高学习速度并增加算法的可靠度。动量法降低了网络对误差曲面局部细节的敏感性，有效地抑制了网络陷于局部最小。 动量法的算法具体如下式： W(k?1)?W(k)?a.[(1??).?W(k)??.?W(k?1)] (4.24) 式中W(k)为权重，?W(k)= ??E为K时刻的负梯度，a为学习率，a>0; ?为动量因子， ?W(k)0???1。 4.3.2拟牛顿法 最速下降法计算方法简便，但收敛速度太慢，经典牛顿法收敛速度快，但计算量太大，实现困难。为克服经典牛顿法的弊端，于是有人提出了拟牛顿法，它既具有快速收敛的优点，又能不计算二阶偏导矩阵及其逆矩阵，就可以构造出每次迭代的搜索方向。 经典牛顿法表达式为： Wk?1?Wk?Hk?1gk (4.25) 式中H为海森矩阵（Hessian Matrix），?Hk?1gk为牛顿步，其方向为牛顿方向。在牛顿法的基础上对H矩阵进行近似，这就是拟牛顿法，也称变尺度法。记海森矩阵的逆矩阵H?1的近似阵为M，则拟牛顿条件为： ?Wk?Mk?1?g k (4.26) 4.3.3 L-M法 L—M法，即Leveberg-Marquardt法，是一种更为高效的算法，就跟拟牛顿法一样，L-M法无需计算海森矩阵，海森矩阵被近似为： H?JTJ (4.27) 而梯度计算被近似为： g?JTe (4.28) 于是L-M法的权重调整值就如下式所示： 17 Wk?1?Wk?[JTJ?uI]?1JTe (4.29) 式中J为误差对权值微分的雅可比矩阵（Jacibian Matrix）,e为网络误差向量， I为单位阵。μ为一系数，在计算过程中，μ是自适应调整的。当μ→∞时，上式即为最速下降法；当μ→0时，上式即为牛顿法，使用近似的海森矩阵。 4.3.4共轭梯度法. 基本的BP算法调整权重时是利用最速下降法，尽管函数沿着负梯度方向是下降得最快，但收敛速度太慢。而牛顿法和阻尼牛顿法收敛速度快，但要计算二阶偏导及其逆矩阵，计算量太大。因此人们希望能够找到一种方法，它兼有两种方法的优点，克服它们的缺点。共轭方向法就是这样的一类方法，它收敛速度比最速下降法要快得多，同时又避免了像(拟)牛顿法那样所要求的海森矩阵的计算、存储和求逆。共轭方向法中最主要的是共轭梯度法，共轭梯度法是使用梯度向量来确定共轭方向，它能够产生比最快下降方向更快的收敛。共轭梯度法有很多形式，但所有的共轭梯度法在迭代开始都是采用最快下降方向(负梯度)，即 Po??go (4.30) 接着采用直线搜索方法沿着当前搜索方向来进行精确一维搜索： Wk?1?Wk?akp k (4.31) 其中ak为搜索步长，由式 设 a?0pk的负梯度方向为-gk，则再接着搜索方向为上一步搜索方向的共轭方 kf(w?mink a)k.pk决定 向，共轭梯度方法产生的方向向量为： pk??gk??kpk?1 (4.32) 式中?k项可以通过多种方式定义，不同的?k定义方式形成不同的共轭梯度法。 4.3.5 SCG算法 SCG算法是共轭梯度法的改进，它改变了共轭梯度法在计算搜索步长时的线性搜索方式，而采用了特别的技巧。它不仅能精确的计算步长?k，还考虑到Hessian矩阵的正定性。 18
