神经网络讲义第三章.ppt
n1
m1
串:yˆ p k aˆi k yˆ p k v ˆ j k uk j
i0
i0
n1
m1
并:yˆ p k aˆi k yˆ p k i ˆ j k uk j
i0
i0
四种形式
n1
1.yp k av yp k i guk uk m 1 i0
cq1wk
m1
2.yp k f yp k yp k n 1 iuk i i0
统求解问题)
j
d
N 1 用model c方法求解
N 2:y
j
N v
v
N 2
v
j
w
z
y
j
对象NL model描述
1、状态方程 2、NL model的四种形式 3、得出的四种辨识结构
状态方程
xk 1 xk,uk, yk xk
系统为具有未知参数的线性对象时,系统可控且可 观,有串联、并联两种形式
Narendra的一般化网络
1、结构 2、学习算法 3、讨论:
1)目前系统仅用model a、b、c即可表示。 2)辨识时w(z)已知,不符合实际情况。 3)动态BP比静态BP复杂的多,实际使用时可能 用静态BP。
学习算法
问题:多层前馈网络BP算法 动态时:How do? 静:仅与误差分布有关 动:寻找出反映动态过程的关系式 1、一般思路 2、具体输入层
2、例:s的差分方程
K 1
Zk 1 f0Zk,,Zk n 1 guk,,uk m 1 wk 1
f Zk 1,,Zk n 1 f0• Zn 1
ek f Zk 1,,Zk n 1 guk,,uk m 1
L
准则 J e2k L为学习序列长度, 为数值。 k 1
NNI: N1实现P1, N2实现P2
NNI的一般结构
1、引言 2、Narendra的一般化网络 3、对象的NL model描述
引言
1、NN:多层前馈网络(BP等)可实现任意NL静态 映射;反馈网络(Hopfield)有动态环节,不可去映 射NN。 2、问题:希望构造新网络,保持2者优点,可映射 任意NL动态网络。 3、解决:将Hopfield网络形式由单层变多层。
隐层H: r2 r1
输出层O:r3:系统输出个数,so:r3 1
MO:r3 l个数
输出向量组成:
x x1txr1t
xi
t
yt ut
i i
,1 i n n 1, n
1iBiblioteka r1NN的输入输出关系
1、各层的输入输出关系 2、权系数修改法则 3、算法步骤(仿真时)
各层输入输出关系
n
I H:neti t vij x j t , x 1阀值 j0
NNI的理论依据
定理:具有任意数目隐单元的三层前续网络可改 逼近平方可积分函数
NNI的优点
1、无需建立实际系统的辨识格式,可省去系统结 构建模这一步,可调参数为NN的权值。 2、可对本质非线性系统进行辨识,在网络外部含 系统I/O特征,非算法式的。 3、辨识算法不依赖于辨识系统的维数,仅与NN本 身和学习算法有关。 4、NN为实际系统的物理实现,可用于在线控制。
3.yˆk N1y y N2u u 4.yˆk Nyu
基于BP网络的辨识
1、考虑SISO问题 2、NN的学习算法 3、例
考虑SISO问题
设 yt f yt 1yt n,ut 1t - m 1
NN结构为3层,各层神经元的选择:
输入层:设n、m分别为y(t)、u(t)之阶次则
r1 n m 1
Ii
f neti t,
f
1 1
e e
x x
r
H O:yˆt Pi Ii t, I 1阀值 i 1
性能指标:
Jm 1 2yt yˆt2
权系数修改法则
pi t a1et Ii t a2pi t 1
作用到 eu
j
b
N 1用静态反馈法
N 2:y yi vk
j k vk j
vk 可用model a中方法计算,利用
j
BP得到
yi
j
c
y Nv wz y Nv
j v
j j
N vJaccobiam阵,
v
N vJaccobiam向量,每一时刻求出
j
求出后代入上式得
y
之线性化方程(动态系
NNI:实质为最优化问题
NNI原理
1、线性模型
Z k 1 a1z k anz k n 1 b1uk
bmuk m 1
hk Z k Z k m 1,uk uk m 1 a1 an , b1 bn
2、对非线性系统无统一数学模型描述现用NN逼近, 给出基于输出误差的NNI 3、NNI原理:在学习系统的I/O数据,建立系统的辨 格式,使误差准则最小,从中得出隐含的I/O关系。
cq1wk 3.yp k f yp k yp k n 1 yuk uk m 1 cq1wk 4.yp k f yp k yp k n 1,uk uk m 1 cq1wk
辨识结构
1.yˆk A q1yk Nuk uk m 1 2.yˆk Nyp k yp k m 1 Bq1uk
神经网络辨识
1、引言 2、NNI的一般结构 3、基于BP网络的辨识 4、基于Hopfield网络的辨识 5、逆动力学系统的建模
引言
1、定义 2、几个基本问题 3、NNI的原理 4、NNI的理论依据 5、NNI的优点
定义
1、辨识就是在输入输出数据的基础上,从一组给定 的模型中确定一个与所测系统等价的模型 L.A.Zadeh
一般思路
PI: J
y yd
2orJ 1 T e i T ik T
2
方法:梯度法 Keynote:计算
j
J j jnom
e
j
具体输入层
1、Model a 2、Model b 3、Model c 4、Model d
a
ek yk wz vk
j j
j
j
vk
用静态反馈法计算,经过 wz 动态环节
2、辨识的三要素:I/O数据、系统结构模型、等价 准则
基本问题
1、模型的选择 原则:兼顾复杂性和精确性 NNI:网络隐节点个数选择由仿真确定
2、输入信号选择 对动态系统而言,输入信号要充分激励,(基本 要求)进一步,最优输入信号设计 NNI:噪声或伪随机信号
3、误差准则的确定
误差准则的确定
L
1、误差的三种形式 J f ew, e 0,l, f • e2 k