式中?是学习率常数（?>0）。
上式表明，对一个神经元uj而言，若该神经元有较大的活性度或有较大的输入（即
yi(t)）时，他们之间的联结权值会变大。
（2）误差传播式学习——Delta学习法则 此时，式2.4中的函数G采用下列形式：
G(aj(t),tj(t))??1(tj(t)?aj(t))???????????????????（2.5） 式中?1为正数，把差值(tj(t)?aj(t))称为?。 函数H仍与神经元ui的输出yi(t)成正比：
H(yi(t),Wij)??2yi(t)???????????????????????（2.6） 式中?2为正数。
根据Hebb学习规则可得
?Wij?G(aj(t),tj(t))?H(yi(t),Wij)
??1(tj(t)?aj(t))?2yi(t)
???tj(t)?aj(t))yi(t)????????????????????（2.7） 式中?为学习率常数（?>0）。
在式（3.8）中，如将教师示教信号tj(t)作为期望输出dj，而把aj(t)理解为实际输出
yj，则该式变为：
?Wij???dj?yj)yi(t)???yi(t)???????????????????（2.8） 式中??dj?yj为期望输出与实际输出的差值。称式（2.8）为?规则，又称误差修正规则。根据这个规则可以设计一个算法，即通过反复迭代运算，直至求出最佳的Wij值，使?达到最小。这个规则就是BP（反向传播）网络的算法基础。
从上述简化过程可知，在选用简化的G函数时，我们实际上令yj?aj(t)，也就是用了线性可分函数。故式（2.8）不适合用于采用式（2.2）的非线性函数的情况，此时就需要采用广义的?规则。
??Wij??(pij?pij)。不同状态时实现联结的概率来调整其间的权值：式中?为学习率，
??pij、pij分别是神经元i和j在输入、输出固定状态及系统为自由状态时实现联结的概率。??调整的原则是：当pij>pij时增加权值，否则减小权值。
（3）竞争式学习
这种学习是无教师示教学习，网络分成不同的层，网络中的神经元之间分成兴奋性联结和抑制性联结。在不同性的联结机制中引入竞争。竞争的实质是看哪个神经元受到的刺激最大，由此来调整权值：
- 9 -
?Wij??(Ciknk?Wij) （2.9）
式中?是学习率，Cik是外部刺激k系列中第i项刺激成分，nk是刺激k激励输入单元的总数。
在竞争中，与输入单元间联结权值变化最大的为优胜者，优胜者的联结权值按式（2.9）改变，而失败的单元，其?Wij为零。
2.3.3 学习与自适应
当学习系统所处环境平稳时（统计特性不随时间变化），从理论上讲通过监督学习可以学到环境的统计特征，这些统计特征可被学习系统（神经网络）作为经验记住。如果环境是非平稳的（统计特征随时间变化），通常的监督学习没有能力跟踪这种变化，为解决此问题，需要网络有一定的自适应能力，此时对每一不同输入都作为一个新的例子对待。模型被当作一个预估器，基于前一时刻输入x(n?1)和模型在(n?1)时刻的参数，
?(n)，再将x?(n)与实际值x(n)（作为应有的正确答案）比较，若其它估计n时刻的输出x差值e(n)?0，则不修正模型参数[6]。
2.4 前向神经网络
前向神经网络中的神经元是分层排列的，每个神经元只与前一层神经元相连，最上一层为输出层，最下一层为输入层。输入层和中间层也称为隐层。隐层的层数可以是一层或多层，前向网络在神经网络中应用十分广泛，感知器、线性网络、BP网络都属于这种类型。
2.4.1 感知器
美国学者Rosenblatt于1957年提出一种用于模式分类的神经网络模型，称为感知器，它是一个单层神经网络，神经元模型为阀值模型。与MP模型不同之处在于其联结权值可变，因此它具有学习功能。
感知器信息处理的规则为：y(t)?f(?Wi(t)xi?θ) 式中y(t)为t时刻的输出，xi为输入向量的一个分量，Wi(t)为t时刻第i个输入的权重，θ为阀值，f(?)为阶跃函数。感知器的学习规则如下：
Wi(t?1)?Wi(t)??(d?y(t))xi (2.10)
i?1n其中?为学习率（0
- 10 -
x1x2修正权值 误差 ?? fxn_ + dd
感知器只有一层神经元，这是由感知器学习规则所决定的，因为感知器学习规则只能训练单层神经网络。感知器神经网络这种结构上的局限性也在一定程度上限制了其应用范围。
2.4.2 线性神经网络
线性神经网络是最简单的一种神经网络，它由一个或多个线性神经元构成。1960年由B.Widrow和M.E.Hoff提出的自适应线性单元网络是线性神经网络最早的典型代表。线性神经网络采用线性函数作为传递函数，因此其输出可取任意值。线性神经网络可以采用Widrow-Hoff学习规则来调节网络的权值和阀值，其收敛速度和精度都有较大的改进。该模型的结构如图2.6所示：
p1
p2 a ?? pn b
图2.6 线性神经元模型
和感知器神经网络一样，线性神经网络只能反映输入和输出样本矢量间的线性映射关系，它也只能解决线性可分问题。线性神经网络在函数拟合、信号过滤、预测和控制方面都有着广泛的应用。
2.5 BP控制方法
BP算法的基本思想是，学习过程由信号的正向传播与误差的反向传播两个过程组成。正向传播时，输入样本从输入层传入，经各层传入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出（教师信号）不符，则转入误差的反向传播阶段。误差反传是将输出误差某种形式，通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号没，此误差信号即作为修正各单元权值的依据[12]。这种信号正向传播与误差反向传播的各层权值调整过程，是周而复始地进行的。权值不断调整的过程，也就是网络的学习训练过程。此过程一直进行到网络输出的误差减少到可接受的程度，或进行到预先设定的学习次数为止。
- 11 -
… 图2.5 感知器
2.5.1 基于BP算法的多层前馈网络模型
利用BP算法的多层前馈网络是至今为止应用最为广泛的神经网络。在多层前馈网络的应用中，已图3.15所示的单隐层网络的应用最为普遍。一般习惯将单隐层前馈网络称为三层前馈网或三层感知器，所谓三层包括了输入层、隐层和输出层。三层前馈网中，输入向量X?(x1,x2,?,xi,?,xn)为,如加入x0??1,可为隐层神经元引入阀值；隐层输出向量Y?(y1,y2,?,yj,?,ym)T, T如加入y0??1,可为输出层神经元引入阀值；输
T出层输出向量为O?(o1,o2,?,ok,?,ol);期望输出向量为
d?(d1,d2,?,dk,?,dl)T。输入层到隐层之间的权值矩阵用V表示，V?(V1,V2,?,Vi,?,Vn)T,其中列向量Vj为隐层第j个神经元对应的权向量；隐层到输
出层之间的权值矩阵用W表示，W?(W1,W2,?,Wi,?,Wn),其中列向量Wk为输出层第k个神经元对应的权向量。下面分析各层信号之间的数学关系。
T调整权值
i层 x1 x2 xi xi+1 j层 k层 ? ? ? ? ?
输出层（q个） 隐层（p个）
y1y y2y 误差 _ + 训练信号dt ? 输入层（n个）
图2.7 BP网络结构及反向学习
对于输出层，有
ok?f(netk) k?1,2,?,l?????????????（2.11） netk??wjkyj k?1,2,?,l?????????????（2.12）
j?0m对于隐层，有
yj?f(netj) k?1,2,?,m?????????????（2.13）
netj??vijxi k?1,2,?,m???????????????????（2.14）
j?0m以上两式中，转移函数f(x)均为单极Sigmoid函数
- 12 -
