第八章 神经网络信号处理
前面讨论的最佳滤波、自适应滤波和现代谱估计等都是在 线性模型的前提下求最佳估计。但在实际中存在着大量的非线 性模型问题，或者为题的数学模型往往很难建立或者不可能建 立。人工神经网络是一种以自适应为特征的、无固定模型的非 线性网络，可用于处理非线性模型为题或模型很难建立的问题。 下面仅在第一节简要介绍以生物学为基础的简化的神经元 模型，而在其后章节中则是将神经网络作为信号处理的一种手 段，不在追求网络的生物学意义。
一种是基于自适应LMS学习算法：即将误差函数的负梯 度作为网络权值的调整量。 另一种是Hebb学习规则，它是基于心理学中的反射机 理给出权值的调整量：
由M个神经元（单元）组成，接收N个输入。
X [ x1 x2 x N ]T y [ y1 y 2 y N ]T
第 j个输入到第 i个神经元的连接权表示为 Wij ，则有 第个神经元的输出是 yi
ui Wij x j , i 1, 2,L , M
w11 w12 w w22 21 W M M wm1 wm 2
f () [] 0
f (ui ) ，定义连接权矩阵 W 为：
L L O L w1N w2 N M wMN
可见，一个前向神经网
引入一个非线性矩阵算子
f () L
0 f ()
络用来将一个N维输入空 间x映射到M维输出空间y， 或者说，将输入模式映射 成输出模式。
常用的变换函数有以下四种：阶跃函数、线性限幅函数、 S函数和随机函数。 其中，阶跃函数和S函数分别称为离散型的连接型的，它 们可以是单极性的，也可以是双极性的。
阶跃函数和S函数的表达式：
阶跃函数（离散型）：
1 f (u ) II(u ) 0
u0 u0
u0 1 f (u) sgn(u) 双极性 1 u 0
u Wi xi W 3i xi
i 1 量和权矢量： 这样，设 X ,W
x0 ~ T X [ x0 , x1 x N ] X w0 ~ T W [ w0 , w1 wN ] W
S型函数（连续型）：
f (u ) 1 , 0 1 exp(u )
f (u ) 2 1, 0 1 exp(u )
可见：
1 II(u ) 1 exp( u ) lim
8.1.2 人工神经网络模型
可以这样定义人工神经网络：它是由许多个处理单元相 互连接组成的信号处理系统。单元的输出通过权值与其它 单元（包括自身）相互连接，其中连接可以是延时的，也 可以是无延时的。 可见，人工神经网络是由以上许多非线性系统组成的 大规模系统。 处理单元的互连模式反映了神经网络的结构，按连接 方式，网络结构主要分成两大类：前向型和反馈型。 前向型常认为是分层结构，各神经元接收前一级的输 入，并输出到下一级。各层内及层间都无反馈。
：神经
元（1）
下层
上层
输入节点为第一层神经元，其余中间层为隐含层神经元。输 出节点为最上层神经元，但一般称权值层为网络的层，即网络 的第一层包括输入节点层，第一隐含层以及它们之间的连接权。 反馈型网络可用一个完全无向图表示：
—横线相当于双 箭头
下面是个简单的用神经网络作处理的例子：
如图所示的单层前向网络：
) 其中 f (为神经元的变换函数，则网络的输出矢量可写成：
Y [WX ]
8.1.3 神经网络的学习方式
• 前面的研究，主要是考察在给定神经网络（存储在网格内 的模式（已知））的输入X后得到的响应y，这个计算过程 常称为神经网络的“回想”。现在要讨论的是网络存储模 式的设计，这是网络学习的结果。 • 神经网络常用来解决难以用算法描述的问题，或者对处理 的对象没有充分的了解，需要作“盲处理”，而神经网络 的设计是通过一些例子或某些准则来训练，从方法上来说， 神经网络信号处理以科学经验主义替代了传统的科学理性 主义。 • 神经网络的学习一般依据两种规则：
N 1, wi xi t i 1 y t 1 N 0, wi xi t i 1 式中， t 0,1, 2,L 神经元的输入、输出值为0或1。1代表 神经元的兴奋状态，0代表神经元的静止状态。wi 表示第 为神经元的阀值。当各输入 个输入与神经元的连接强度。 与其连接强度的加权和 w x (t ) 超过 时，神经元进入兴 奋状态。
8.1 神经网络模型
8.1.1 生物神经元及其模型 生物的脑神经系统通过感觉器官（视觉、嗅觉、味觉、 触觉）接收外界信息，在大脑中枢进行加工，然后通过执 行器官向外输出。从而构成一个具有闭环控制系统特征的 大规模系统。下图显示为神经系统的信息流处理。
1943年，McCulloch和Pitts提出了一种高度简化的神经 元模型，简称M-P模型。 设某一个神经元具有 N个输入，各输入信号的强度分别 为 x1 , x2 ,L , xN 。神经元的输出为 y 。模型的激活规则可 由离散时间的差分方程描述
N i 1 i i
各种神经元模型的结构是相同的。都由一个处理节点和连 接权（神经键连接强度）组成，带有一个输出端，信号从输 入到输出端单向传输。 各种神经元模型的不同之处仅在于对处理节点中的传递 函数u ( , x) 和激活函数 f (u )的数量描述不同。下图为神经元的 一般模型及其符号。
x [ x1 x 2 x N ]
T
W [W1W2 W N ]T
x ：输入矢量； 其中， W ：权矢量 神经元可看成是一个多输入、单输出的非线性信号处理 系统。其输入输出关系为：
y f [u[W , X ], ]
为方便起见，可将阈值 等效成一个恒定的输入，其连 接权为 ，即 x0 1,W0 ，这样净输入写成：