(l ) j
( l 1) i
Nl 1 i 0
式中 y : 前一层(第l-1层)第i个神经元的输出信号 w(jil ) : 第l-1层中第i个神经元到第l层中第j个神经元的连接权值
w(jl0) b (jl ) :加到第l层中第j个神经元的偏置(bias)即阀值
表示输入层的神经元数目) L、L+1: 分别为MLP的级数和层数
- RBF网络是单隐层的网络,而 MLP可以有一个或多个隐层 - RBFN是一个局部逼近器，而MLP是一个全局逼近器。 - RBF网络比单层感知器网络具有更强的功能; 当中心向量 xi确定后, RBF网络只需对输出层进行修正(更新),因此比
MLP网络具有更快的敛速, 是一种非常有效的前饋网络。
23
径向基函数网络 (2)
j 1,2,...,Nl ; l 1,2,...,L
y(jl ) (n) (v(jl ) (n)),
(l ) j Nl 1 i 0
(1)
(2)
17
v (n) w(jil ) (n) yi(l 1) (n)
激活函数
ex e x tanh(x) x e ex
Local minima
Serious local minima
Shorter computation time Longer computation time Longer learning time Shorter learning time
26
自组织特征映射(SOFM)网络
神经网络模型
3. 自组织特征映射网络
18
多层感知器 (1/2)
神经网络模型
1. 多层感知器 • 神经元:如图;第l 层中第j个神经元的如下输入-输出关系:
y(jl ) (n) (v(jl..,L (1)
(2)
其中
v (n) w(jil ) (n) yi(l 1) (n)
a exp(av j ) [1 exp(av j )]2 (4)
- 正切双曲函数:
avj 1 exp(avj ) y j (v j ) tanh( ) , a0 2 1 exp(avj ) 其变化范围为 1 y j 1 ; 其导数为 a a 2 y j ( v j ) [1 2 (v j )] [1 y j ] 2 2
7
深度学习
• 传统学习
8
深度学习
9
从浅层到深度学习
10
在线学习
11
在线学习
12
主要内容
神经网络模型及其训练 主分量分析(PCA)与 独立分量分析(ICA) 支持向量机(SVM)
13
神经网络模型及其训练
引言 神经网络模型
• 静态神经网络 • 动态神经网络
神经网络训练
- 自组织或排序阶段(dering phase) - 收敛阶段(convergence phase)
27
图4
28
时延神经网络(TDNN)
神经网络模型 动态神经网络
1. 基于MLP和RBF的时延神经网络(TDNN) TDNN和具有输出反馈的TDNN分别如图5和图6, 它们起到 如下非线性映射关系：
w ji w ji

δ学习规则(有师学习)
其中ε 为代价函数。
34
训练方法(重点：MLP网络训练)
N N 1 N N 1 x j 1 E w ji xi x j j ( x)dx I j x j 0 2 i 1 j 1 j 1 R j j 1
(10)
N i 1 t t E (t ) u (t ) W u(t ) u(t ) v ( )d 2 i 1 0
(5)
(6)
20
径向基函数网络模型
Alternative to MLP: Function approximation
ˆ(x) w w (x) ˆ f y k k 0
k 1 m1
x xk 2 k (x) exp 2 2 k
神经网络模型 动态神经网络
2.递归神经网络(recurrent networks)
－递归神经网络与前饋神经网络的区别在于:前者至少存在 一个反馈环路, 如图7。 －由于反馈的存在, 对网络学习能力及其性能有深刻的影响 Hopfild 网络 Hopfild网络能量函数[亦称为李雅普洛夫(Lyapunov)函数]为 或
29
y(n)
MLP x(n) x(n-1)… x(n) LTD 图5 x(n-p)
MLP
x(n) x(n-1)… x(n) LTD1 图6 x(n-p) y(n-q) y(n-2) y(n-1)
Z-1
LTD2
30
单元 Z-1 Z-1 Z-1 Z-1 延时
图7
Hopfield 网络
31
递归神经网络
易知 则
ai d i 2 dv
v 0
ai 称为神经元 i的增益
1 1 x 1 1 ln ( x) ai 1 x ai
33
v i1 ( x)
式中 1 ( x) 为单位增益神经元的反函数标准形式。
神经网络训练规则
神经网络训练 训练规则 w j w j w j
图3a
21
1
1
x
x


2
w11
1
2
x
∑
w12

x

n



J
L

x
w1J

∑
x


图3b
22
径向基函数网络 (1)
神经网络模型
2. 径向基函数网络(RBFN:Radial basis function nets)
RBFN的结构: 它是另一种形式的前馈网络, 如图3。
RBFN与MLP的主要差别
y(n) F[ x(n), x(n 1),...,x(n p)]
y(n) F[ x(n), x(n 1),...,x(n p), y(n 1),...,y(n q)]
(9a)
(9b)
分 别 对 应 于 非 线 性 FIR 和 非 线 性 IIR( 即 非 线 性 MA 和 ARMA)，其中 F[]为非线性函数。当F[]为线性函数时， 分别等效为一般的FIR和IIR滤波器。
What is Learning?
3
机器学习简介
• 机器学习是人工智能的核心研究领域之一 • 任何一个没有学习能力的系统都很难被认为是 一个真正的智能系统 • 经典定义：利用经验改善系统自身的性能 • 随着该领域的发展，主要做智能数据分析 • 典型任务：预测 • 典型应用：计算机视觉、Web搜索、机器人等
0
Nl (l 0,...,L):第l层神经元的数目(N
y (j0) (n) x j (n) : xj(n)是输入向量(模式)x(n)的第j个元素
y (jL) (n) o j (n) :oj(n)是输出向量(模式)o(n)的第j个元素
19
多层感知器 (2/2)
神经网络模型 1. 多层感知器
• 训练规则 • 训练方法
14
神经网络模型
神经网络模型 静态神经网络
1. 多层感知器(MLP: Multilayer Perceptron) －多层感知器是信号处理中应用最多的神经网络结构，
如图1所示。 －多层感知器是一种前饋神经网络, 由输入层、输出层和 若干中间层(常称为隐层,hidden-layer )组成 － 多层感知器的每一层包括若干个节点 (node) 或神经元 (neuron), 如图2；神经元是人工神经网络的基本单元.
15
多层感知器模型
输入层
隐层
输出层
神经元
图1
16
神经元( neuron)模型
( l 1) y0 1
w(jl0)
) w(jl 1
( l 1) y1 ( l 1) y2
j
w(jl2)

( l 1) yN l 1

v (jl )
()
y (jl )
l) w(jN l 1
图2第l层第j个神经元模型
神经网络模型
2. 径向基函数网络 RBFN与MLP的主要差别(续) - 表征RBF网络隐单元的核(基函数)一般定义为高斯函数:
x xi x,xi exp 2 2
2
, i 1,2,...,M
(7)
式中x 是输入向量, xi 是第i 单元的中心。由M个隐单元RBF 网络实现的输入输出映射定义为
激活函数
- Logistic函数:
y j (v j )
y j (v j )
1 , a 0 (Sigmoid函数) (3) 1 exp(av j )
a (v j )[1 (v j )] ay j (1 y j )
其变化范围为0 y j 1 ; 其导数为

Hebb学习规则(无师学习)
w j (wT j x)x (v j )x y j x
其中

v j wT y j (v j ) j x,
w m (x w m )
“胜者为王” (Winner-Take-All)学习规则 (无师学习)
其中
wT wT vj} m x max{ j x} max{
u (t )
32
递归神经网络
神经网络模型 动态神经网络
2.递归神经网络(recurrent networks)
可以证明，E(t)函数总是单调下降的。因此，若E(t)有界， 则网络必定稳定，且稳定点对应能量函数的极小点。设