wij = εd ik y k 1 j
J J yik d ik = k = k ui yi u ik
取 f () 为 S 型函数,即
y ik = f (u ik ) =
y ik u ik = df (u ik ) du ik =
1 1+ e
uik
k
e ui
1 + e uik
J y ik
2
f ( x) =
1 1 + e x
2) .学习算法
u ik ,输出为 y ik ,则各 设第 k 层第 i 个神经元输入的总和为
变量之间的关系为
y ik = f (u ik )
u ik =
∑ wij y kj 1
j
k = 1,2,L, m
BP 学习算法是通过反向学习过程使误差最小, 因此选择 目标函数为
wij = 1 / Rij ——模拟神经元之间互连的突触特性;
f (u i ) ——放大器的非线性饱和特性,近似于
x i (t ) 表示 t 时刻神经元所处的状态:
1, H i (t ) ≥ 0 xi (t + 1) = sgn(H i (t ) ) = 1, H i (t ) < 0
H i (t ) = ∑ wij x j (t ) θ i ,1 ≤ i ≤ n
j =1 n
其中 wij 表示神经元 i 与 j 的连接强度, θ i 表示神经 元 i 的阈值 离散型 Hopfield 神经网络的计算能量函数定义为
式中
η ——学习因子,0<η ≤ 1; m ——输入层状态为 1 的单元个数.
xj ω ij = η ω ij m
注意, 各单元初始权值的选取, 是选其和为 1 的一组随机数.
6.3 典型前向网络 典型前向网络——BP网络 网络
感知机 基本感知机是一个两层网络,分为输入层和输 出层, 感知机的学习是典型的有教师学习(训练). 训练要素有两个:训练样本和训练规则. 权值修正采用 δ 学习规则,因此感知机的学习 算法为 1.
神经网络是由众多简单的神经元连接而成 的一个网络.是高度非线性动力学系统, 可表达很多复杂的物理系统. 神经网络的下列特性对控制是至关重要的:
– (1)并行分布处理 – (2)非线性映射 – (3)通过训练进行学习 – (4)适应与集成 – (5)硬件实现
6.1 神经网络基础
生物神经元结构:由细胞体,树突和轴突组成. 生物神经元结构:由细胞体,树突和轴突组成.
轴突通过轴突末梢向其它神经元传出神经冲动. 树突相当于细胞的输入端,它用于接受周围其它神经细 胞传人的神经冲动. 神经冲动只能由前一级神经元的轴突末梢传向下一级神 经元的树突或细胞体,不能作反方向的传递. 神经元具有两种常规工作状态:兴奋与抑制,即满足 0—1律. 当传入的神经冲动使细胞膜电位升高超过阈值时,细胞 进入兴奋状态,产生神经冲动并由轴突输出;当传人的神 经冲动使膜电位下降低于阈值时,细胞进入抑制状态,没 有神经冲动输出.
1.前向网络(前馈网络) 前向网络通常包含许多层,含有输入层,隐层和输出层的三层网络. 2.反馈网络 反馈网络从输出层到输入层有反馈,既可接收来自其它节点的反馈输 入,又可包含输出引回到本身输入构成的自环反馈 .
前向网络(前馈网络)
反馈网络
3.相互结合型网络 属于网状结构,构成网络中的各个神经元都可能相互双向 联接.若某一时刻从神经网络外部施加一个输入,各个神经元 一边相互作用,一边进行信息处理,直到使网络所有神经元的 活性度或输出值,收敛于某个平均值作为信息处理的结束. 4.混合型网络 混合型网络联接方式介于前向网络和相互结合型网络之间 ,在同一层内有互联,目的是为了限制同层内神经元同时兴奋 或抑制的神经元数目,以完成特定的功能
第六章 神经网络控制技术
6.1 神经网络基础 6.2 神经网络的结构和学习规则 6.3 典型前向网络 典型前向网络——BP网络 网络 6.4 典型反馈网络 典型反馈网络——Hopfield网络 网络 6.5 应用神经网络产生模糊集的隶属函数 6.6 神经网络控制原理 6.7 神经网络在控制工程中的应用 6.8 单神经元控制的直流调速系统
在时域中,相应的线性动态系统的输入 vi (t ) 和输出 xi (t ) 的 关系分别为:
& i (t ) + x i (t ) = v i (t ) Tx x i (t ) = v i (t T )
x i (t ) = v i (t ) & x i (t ) = v i (t )
3.常用的非线性函数 具有两个显著的特征,一是它的突变性,二是它的饱 和性,这正是为了模拟神经细胞兴奋过程所产生的神 经冲动以及疲劳等特性.
连续型Hopfield网络 网络 连续型
连续型 Hopfield 神经网络动力学系统方程为
du i 1 ui + Ci = Ii + Ri dt
∑ wij v j
j =1
N
vi = f (u i ) =
1 1 + e 2 ui / u o
i = 1,2,L, n
式中 I i ――表示系统外部的输入;
(
)
②若 i 为隐单元层 k ,有
J y ik J u lk +1
=∑
l
u lk +1 y ik
= ∑ w lj d lk +1
l
则
d ik = y ik (1 y ik )
∑ w lj d lk +1
l
综上所述, 学习算法可以归 BP 纳为
wij = εd ik y k 1 j
d im = yim (1 yim ) yim d i d ik = yik (1 yik )∑ wlj d lk +1 l
(
)
6.4 典型反馈网络 典型反馈网络——Hopfield网 网 络
美国物理学家Hopfield提出离散型 Hopfield神经网络和连续型Hopfield神 经网络,引入"计算能量函数"的概念, 给出了网络稳定性判据,尤其是给出了 Hopfield神经网络的电子电路实现,开 拓了神经网络用于联想记忆和优化计算 的新途径.
E = E2 E1 = (
∑ ωmj x j θ m ) < 0
j =1 j ≠m
N
当神经元状态由 1 变为 0 时,能量函数正值的变化量 E 为
E = E1 E 2 =
∑ ω mj x j θ m < 0
j =1 j ≠m
N
结论:总有 E <0,这表明神经网络在运 行过程中能量将不断降低,最后趋于稳 定的平衡状态.
1 n J = ∑ (d j y j ) 2 2 j =1
即选择神经网络权值使期望输出 d j 与实际输出 y j 之差的 平方和最小. 权值的修正量为 式中
wij = ε J (ε > 0) wij
ε ——学习步长.
下面推导 BP
J 学习算法.先求 ω ij
,即有
k J J u i J J ( ∑ wij y k 1 ) = k y k 1 = k = k j j wij u i wij u i wij j u i
= y ik (1 y ik )
d ik = y ik (1 y ik )
J
下面分为两种情况求 yik .
y ik = y im . ① 当 i 为输出层( m 层)的神经元, k = m , 即
由误差定义式得
J y ik = J y im = y im d i
(
)
则
d im = y im (1 y im ) y im d i
wij = ηai y j
其中 η 是学习率常数( η >0), y j (t ) =
f j a j (t ) ,神经
[
]
元 u i 的活性度 ai (t ) ,神经元 u j 的活性度 a j (t ) .
2.误差传播式学习——Delta 学习规则
wij = η ( d i a i ( t )) y j ( t ) = η ( d i yi ) y j (t ) = ηδ y j ( t )
j =1 j ≠i i =1 i≠m
N
N
i≠m
当 x m = 1 时的能量函数值为 E 2 ,则有
1 N E2 = 2 i =1
∑ ∑ wij xi x j + ∑ θ i xi ∑ wmj x j + θ m
j =1 j ≠i i =1 i≠m j =1 j ≠m
N
N
N
i≠m
当神经元状态由"0"变为"1 时,能量函数 E 值的变化量 E 为
2.线性动态系统的传递函数描述 神经元的输入信号来自其它神经元的各种神经冲动,这 种信号具有典型的脉冲特点.
x i (t ) =
∫∞ h(t t ′)vi (t ′)dt ′
t
X i ( s ) = H ( s )Vi ( s )
1 1 Ts 式中 H (s) 通常取为:1, s , 1 + Ts , e .
其中 δ = d i y i ,为期望输出与实际输出的差值,又称 误差修正规则. δ 规则只适用于线性可分函数, 不适用于多层网络 非线性可分函数.
3.竞争式学习 竞争式学习是属于无教师学习方式. 基本竞争学习网络由两层组成.第一层为输入层,第二 层为竞争层.
s j =中具有最高输入总和的单元被定为胜者,其输出 状态为 1,其它各单元输出状态为 0. 权值更新规则表示为
V (t ) = AY (t ) + BU (t ) + W
T
A = {aij }N ×N , B = {bik }M ×M , V = [v1 ,L, v N ] ,