BP算法收敛速度较慢，但对某些应用而言，则希望有 较快的收敛速度，也有一些加速方法。比如: a. 集中权值调整。 b. 自适应调整学习常数。
c. 权值调整量附加“惯性”项。
（2）随机学习算法 BP算法由于采用直接梯度下降，往往落入代价函数 w 的局部极小点。随机算法则是用于寻找全局最小点，而是 以最大概率达到全局最小点。 下面讨论称为模拟退火的随机学习算法。 模拟退火学习算法有四个步骤： ①产生新状态 w k 1 ； ②计算新状态的能量函数 E k 1 ； ③判断是否接受新状态； ④降低温度 前向网络可以用具体自组织特性的无导师学习算法训练 权值，然而，将前向网络与反馈网络组合在一起进行无导 师训练时，显示出了更强的自组织处理能力。
只要第一隐层的神经元足够多，则由线性阈值单元组成的 三层前向网络可以对任意形状的非交的输入矢量集合进行正 确分类，或者说实现任意离散非线性映射。实际上这种映射 是用分段线性的分界函数逼近任意非线性分界函数。 线性阈值单元取变换函数为双极性阶跃函数时，称为离散 输出模型。若变换函数为 S 函数，即为模拟状态模型。可以 证明，只要隐节点能自由设置，则两层前向网络可以逼近任 何连续函数g ，或者说实现任意连续型非线性映射 y g X 。

X 的线性方程
T ° gX W ° X 0
称为分界函数。
由 M 个线性阈值单元并联而成的单层前向网络，是用 M 个线性分解函数将输入空间 ° X 分割成若干个区域，每个区 域对应不同的输出模式 Y 。
8.2.2 多层前向网络的非线性映射能力
为了将单层前向网络划分的某个区域作为一类，可以将其 I 输出 yi 进行逻辑“与”运算，用符号 表示。
神经网络的学习从方式上分成以下三种情形：
• ① 固定权值计算 如果已知标准的输入—输出模式，可以根据Hebb 规则计算出网络的权值矩阵W，对这样的神经网 络，要求容纳足够多的输出模式，并且有一定的 容些输入 模式作为训练集，对应的输出模式作为导师信号， 基于自适应LMS算法，根据网络对训练样本的响 应与导师信号的差距来调整网络的权值。
S型函数（连续型）：
f (u ) 1 , 0 1 exp(u )
f (u ) 2 1, 0 1 exp(u )
可见：
1 II(u ) 1 exp( u ) lim
8.1.2 人工神经网络模型
可以这样定义人工神经网络：它是由许多个处理单元相 互连接组成的信号处理系统。单元的输出通过权值与其它 单元（包括自身）相互连接，其中连接可以是延时的，也 可以是无延时的。 可见，人工神经网络是由以上许多非线性系统组成的 大规模系统。 处理单元的互连模式反映了神经网络的结构，按连接 方式，网络结构主要分成两大类：前向型和反馈型。 前向型常认为是分层结构，各神经元接收前一级的输 入，并输出到下一级。各层内及层间都无反馈。
常用的变换函数有以下四种：阶跃函数、线性限幅函数、 S函数和随机函数。 其中，阶跃函数和S函数分别称为离散型的连接型的，它 们可以是单极性的，也可以是双极性的。
阶跃函数和S函数的表达式：
阶跃函数（离散型）：
1 f (u ) II(u ) 0
u0 u0
u0 1 f (u) sgn(u) 双极性 1 u 0
N i 1 i i
各种神经元模型的结构是相同的。都由一个处理节点和连 接权（神经键连接强度）组成，带有一个输出端，信号从输 入到输出端单向传输。 各种神经元模型的不同之处仅在于对处理节点中的传递 函数u ( , x) 和激活函数 f (u )的数量描述不同。下图为神经元的 一般模型及其符号。
x [ x1 x2 x N ]
第八章 神经网络信号处理
• • • • •
8.1 8.2 8.3 8.4 8.5
神经网络模型 多层前向网络及其学习方法 反馈网络及其能量函数 自组织神经网络 神经网络在信号处理中的应用
第八章 神经网络信号处理
前面讨论的最佳滤波、自适应滤波和现代谱估计等都是在 线性模型的前提下求最佳估计。但在实际中存在着大量的非线 性模型问题，或者为题的数学模型往往很难建立或者不可能建 立。人工神经网络是一种以自适应为特征的、无固定模型的非 线性网络，可用于处理非线性模型为题或模型很难建立的问题。 下面仅在第一节简要介绍以生物学为基础的简化的神经元 模型，而在其后章节中则是将神经网络作为信号处理的一种手 段，不在追求网络的生物学意义。
• ③ 无导师学习 对于一些问题，既不知道输出模式，又没有导师的信号， 则根据过去输入模式的统计特性来训练网络。这种学习方 式表现了自组织的特点。 无导师学习方式，可以是在线学习，如前面讨论的自适应 Filter那样，也可以边学习边工作。这时要求学习速度能跟 上网络处理速度。
8.2 多层前向网络及其学习算法 8.2.1 单层前向网络的分类能力
由M个神经元（单元）组成，接收N个输入。
X [ x1 x 2 x N ]T y [ y1 y 2 y N ]T
第 j个输入到第 i个神经元的连接权表示为 Wij ，则有 第个神经元的输出是 yi
ui Wij x j , i 1, 2,L , M
w11 w12 w w22 21 W M M wm1 wm 2
取神经元的变换函数为双极性阶跃函数，称这样的处理 单元为线性阈值值单元，其输入输出关系为
N wi xi 0 1, i 0 N T ° ° y sgn W X 1, wi xi 0 i 0 N wi xi 0 无定义， i 0

一种是基于自适应LMS学习算法：即将误差函数的负梯 度作为网络权值的调整量。 另一种是Hebb学习规则，它是基于心理学中的反射机 理给出权值的调整量：
W ji xi yi
式中，x i 是第 i 个神经元的输入；yi 是第 j 个神经元的 输出。 Hebb规则的意义是：如果两个神经元同时兴奋，则它 们之间的联系得以增强。
u Wi xi W 3i xi
i 1 i 0
N
N
~ ~ 为扩展的输入矢量和权矢量： 这样，设 X ,W
x0 ~ T X [ x0 , x1 x N ] X w0 ~ T W [ w0 , w1 wN ] W
8.3 反馈网络及其能量函数
• 反馈网络与线性IIR网络一样存在着稳定性问题，本节先介绍动 态系统稳定性的基本概念和分析方法，然后讨论离散和连续型单 层反馈网络的动态特性和网络权值设计、复合型反馈网络等问题， 主要讨论Hopfield网络。
• 8.3.1 非线性动态系统的稳定性 • 在期望输出的模式设计成网络的稳定平衡态，存储在权值中， 这两个吸引子都是孤立的点，称为不动吸引子。有些吸引子是同 期循环的状态序列，称为极限环，犹如数字循环计数器的稳定循 环状态。另外还有些更复杂的吸引子结构。向某个吸引子演化的 所有初始状态称为这个吸引子的收敛域。
T
W [W1W2 WN ]T
x ：输入矢量； 其中， W ：权矢量 神经元可看成是一个多输入、单输出的非线性信号处理 系统。其输入输出关系为：
y f [u[W , X ], ]
为方便起见，可将阈值 等效成一个恒定的输入，其连 接权为 ，即 x0 1,W0 ，这样净输入写成：
N 1, wi xi t i 1 y t 1 N 0, wi xi t i 1 式中， t 0,1, 2, L 神经元的输入、输出值为0或1。1代表 神经元的兴奋状态，0代表神经元的静止状态。wi 表示第 为神经元的阀值。当各输入 个输入与神经元的连接强度。 与其连接强度的加权和 w x (t ) 超过 时，神经元进入兴 奋状态。
8.2.3 权值计算—矢量外积算法 对离散型单层前向网络，若已确定了输入矢量 A= a1 , a2L an T B b b L b 和相应的标准输出矢量 1 2 m ，用基于Hebb学习准则 的矢量外积法可计算出权值矩阵 W ，即
T
L 个标准输入和输出矢量 Al , Bl l 1,2,L , L ，则 若确定了 L 取 W Bl AlT ，这样的设计的网络具有恢复和容错能力，网 i 1 络在恢复阶段作内积运算。设标准输入矢量是正交的归一化 矢量，即
) 其中 f (为神经元的变换函数，则网络的输出矢量可写成：
Y [WX ]
8.1.3 神经网络的学习方式
• 前面的研究，主要是考察在给定神经网络（存储在网格内 的模式（已知））的输入X后得到的响应y，这个计算过程 常称为神经网络的“回想”。现在要讨论的是网络存储模 式的设计，这是网络学习的结果。 • 神经网络常用来解决难以用算法描述的问题，或者对处理 的对象没有充分的了解，需要作“盲处理”，而神经网络 的设计是通过一些例子或某些准则来训练，从方法上来说， 神经网络信号处理以科学经验主义替代了传统的科学理性 主义。 • 神经网络的学习一般依据两种规则：
8.1 神经网络模型
8.1.1 生物神经元及其模型 生物的脑神经系统通过感觉器官（视觉、嗅觉、味觉、 触觉）接收外界信息，在大脑中枢进行加工，然后通过执 行器官向外输出。从而构成一个具有闭环控制系统特征的 大规模系统。下图显示为神经系统的信息流处理。
1943年，McCulloch和Pitts提出了一种高度简化的神经 元模型，简称M-P模型。 设某一个神经元具有 N个输入，各输入信号的强度分别 为 x1 , x2 ,L , xN 。神经元的输出为 y 。模型的激活规则可 由离散时间的差分方程描述
b1 b W BAT 2 a1a2 L an M bn
AlT Al 1l ; AlT Ak 0 l k
8.2.4 有导师学习法——误差修正法
用来训练网络的输入模式 X1 , X 2 ,L X N 称为训练序列，它 们对应的正确响应d1 , d2 ,L , d N 称为导师信号。根据网络的实际 响应 y1 , y2 ,L , yN 与导师信号的误差自适应调整网络的权矢 量 W ，称为误差修正法，即