f(x)?11?e?x?????????????????????????（2.15）
f(x)具有连续、可导的特点，且有
f?(x)?f(x)[1?f(x)]????????????????????? （2.16） 根据应用需要，也可以采用双极性Sigmoid（或称双曲线正切函数）
f(x)?1?e?x1?e?x?????????????????????????（2.17）
式（2.11）~ 式（2.17）共同构成了三层前馈网的数学模型。
2.5.2 BP学习算法
下面以三层前馈网为例介绍BP学习算法，然后将所得结论推广到一般多层前馈网的情况。
网络误差与权值调整:
当网络输出与期望输出不等时，存在输出误差E，定义如下
11l2E?(d?o)??(dk?ok)2???????????（2.18）
22k?1将以上误差定义式展开至隐层，有
m1l1l2E??[dk?f(netk)]??[dk?f(?wjkyj)]2???（2.19）
2k?12k?1j?0进一步展开至输入层，有
m1lE??{dk?f[?wjkf(netj)]}22k?1j?0?12{d?f[wf(vx)]}?k?jk?iji2k?1j?0i?0lmn?????????（2.20）
由上式可以看出，网络输入误差是各层权值wjk、vij，的函数，因此调整权值可改变误差E。
显然，调整权值的原则是使误差不断地减小，因此应使权值调整量与误差的负梯度成正比，即
?wjk????E j?0,1,2,?,m k?1,2,?,l??????????（2.21） ?wjk - 13 -
?vij????E i?0,1,2,?,n j?1,2,?,m?????????（2.22） ?vij式中负号表示梯度下降，常数??(0,1)表示比例系数，在训练中反映了学习速率。可以看出BP算法属于?学习规则类，这类算法通常被称为误差的梯度下降算法。
2.5.3 标准BP算法的改进
将BP算法用于具有非线形转移函数的三层前馈网，可以以任意精度逼近任何非线形函数，这一非凡优势使多层前馈网络得到越来越广泛的应用。然而标准的BP算法在应用中暴露出不少内在的缺陷： (1)易形成局部极小而得不到全局最优； (2)训练次数多使得学习效率低，收敛速度慢； (3)隐节点的选取缺乏理论指导；
(4)训练时学习新样本有遗忘旧样本的趋势；
针对上述问题，国内外已提出不少有效的改进算法，下面仅介绍其中3种较常用的方法。
（1）增加动量项
一些学者于1986年提出，标准BP算法在调整权值时，只按时刻误差的梯度降方向调整，而没有考虑t时刻以前的梯度方向，从而使训练过程发生振荡，收敛缓慢。为了提高网络的训练速度，可以在权值调整公式中增加一动量项若用w代表某层权矩阵，
X代表某层输入向量，则含有动量项的权值调整向量表达式为
?W(t)???X???W(t?1)?????????????（2.23）
可以看出，增加动量项即从前一次权值调整量中取出一部分叠加到本次权值调整量中，?称为动量系数，一般有??(0,1)。动量项反映了以前积累的调整经验，对于t时刻的调整阻尼作用。当误差曲面出现骤然起伏时，可减小振荡趋势，提高训练速度。目前，BP算法中都增加了动量项，以至于有动量项BP算法成为一种新的标准算法[13]。 （2）自适应调节学习率
学习率?也称为步长，在标准BP算法中定为常数，然而在实际应用中，很难确定一个从始至终都合适的最佳学习率。从误差曲面可以看出，在平坦区域内?太小会使训练次数增加，因而希望增大?值；而在误差变化剧烈的区域，?太大会因调整量过大而跨过较窄的“坑凹”处，使训练出现振荡，反而使迭代此时增加。为了加速收敛过程，一个较好的思路是自适应调节学习率，使其该大时增大，该小时减小。
- 14 -
（4）引入陡度因子
前面的分析指出，误差曲面上存在着平坦区域。权值调整进入平坦区的原因是神经元进入了转移函数的饱和区。如果在调整进入平坦区后，设法压缩神经元的净输入，是其输出退出转移函数的饱和区，就可以改变误差函数的形状，从而使调整脱离平坦区。实现这一思路的具体作法是，在原转移函数引入一个陡因子
o?11?e?net/?o 1 12 ??1 ??1 0 图2.8 net压缩后的转移函数曲线
当发现
?E接近零而 d?o仍较大时，可判断已进入平坦区，此时令 ??1；当
退出平坦区后，再令??1。从图3.21 可以看出，当??1时， net坐标压缩了?倍，
神经元的转移函数曲线的敏感区段变长，从而可使绝对值较大的net退出饱和值。当
??1时转移函数恢复原状，对较小的net具有较高的灵敏度。应用结果表明该方法对
于提高BP算法的收敛速度十分有效。
2.5.4 基于BP算法的多层前馈网络设计基础
（1）网络信息容量与训练样本数
多层前馈网络的分类能力与网络信息容量相关。如用网络的权值和阀值总数 表征网络信息容量与训练误差之间应满足如下匹配关系
P?nw?????????????????????????（2.24）
上式表明网络的信息容量与训练样本之间存在着合理匹配关系。在解决实际问题时，训练样本常常难以满足以上要求。对于确定的样本数，网络参数太少则不足以表达样本中蕴涵的全部规律，而网络参数太多则由于样本信息太少而得不到充分训练。因此，当实际问题不能提供较多的训练样本时，必需设法减少样本维数，从而降低。
（2）训练样本集的准备
训练数据的准备工作是网络设计和训练的基础，数据选择的科学性以及数据表示的合理性对于网络设计具有极为重要的影响。数据准备工作包括原始数据的收集、数据分
- 15 -
析、变量选择和数据预处理等诸多步骤，下面分几个方面介绍有关的知识。
（3）输入输出的选择
一个待建模系统的输入输出就是神经网络的输入输出变量。这些变量可能是事先确定的，也可能不够明确，需要进行一番筛选。一般来讲，输出量代表系统要实现的功能目标，其选择确定相对容易一些，。输入量必须选择那些对输出影响大且能检测或提取的变量，此外还要求各输入变量之间互不相关或相关性很小，这是输入量选择的两条基本原则。如果对某个变量是否适合作网络输入没有把握，可分别训练含有和不含有该输入的两个网络，对其效果进行对比[14]。
（4）输入量的提取与表示
在很多情况下，神经网络的输入量无法直接获得，常常需要用信号处理与特征提取技术从原始数据中提取能反映其特征的若干特征参数作为网络的输入。提取的方法与解决的问题密切相关，下面仅讨论几种典型的情况。
①文字符号输入 在各类字符识别的应用中，均以字符为输入的原始对象。BP网络的输入层不能直接接受字符输入，必须先对其进行编码，变成网络可以接受的形式。 ②曲线输入 多层前馈网在模式识别类应用中常被用来识别各种设备输出的波形曲线，对于这类输入模式，常用的表示方法是提取波形在个区间分界点的值，以其作为网络输入向量的分量值。个输入分量的下标表示输入值在波形中的位置，因此分量的编号是严格有序的。
③函数自变量输入 用多层前馈网见建立系统的数学模型属于典型的非线形映射问题。一般系统已有大量输入输出数据对，建模的目的是提取其中隐含的映射规则，这类应用比较简单，一般有几个输入量就设几个分量，1个输入分量对应1个输入层节点。 ④图象输入 当需要对物体的图象进行识别时，很少直接将每个像素点的灰度值作为网络的输入。因为图象的像素点常数以万计，不适合作为网络的输入，而且难以从中提取有价值的输入输出规律。在这类应用中，一般根据识别的具体目的从图象中提前一些有用的特征参数，再根据这些参数对输入的贡献进行筛选，这种特征提取属于图象处理的范畴。
（5）输出向量的表示
所谓输出量实际上是指为网络训练提供期望输出，一个网络可以有多个输出变量，其表示方法通常比输入量容易得多，而且对网络的精度和训练时间影响不大。输出量可以是数值变量，也可以是语言变量。对于数值类的输出量，可直接用数据来表示，但由于网络实际输出只能是0~1或-1~1之间的数，所以需要将期望输出进行尺度变换处理，有关的方法在样本的预处理中介绍。
- 16 -
