基于模式识别人工神经网络
基于神经网络的模式识别
主讲人:
人工神经网络的概念
人工神经网络是模拟人脑的神经系统,由大量的人工神经 元按照一定的拓扑结构相互连结组成的一种信息处理系统。 • 模拟人的大脑的一个计算系统 • 由大量的人工神经元相互连结构成的网络 • 神经元之间的连结强度用权值表示 • 神经网络的学习通过更新权值实现
前馈网络
• 多层前馈网络的结构特点及基本功能
结构特点是将结点分层安排 处于最低层的输入端子从外 界接收输入信号,并将输入 信号各分量经过不同加权往 送第一隐含层 该层的运算结果又依次送往 其高一层,直至输出层
前馈网络
• 多层前馈网络的结构特点及基本功能
习惯上把含有一个隐含层 的网络称为两层网络 由于在这种网络中信息具 有沿单方向传送的特点, 因此被称为前馈网络。
人工神经元网络工作原理
人工神经元网络的工作原理与特点: (1) 人工神经元网络由数量较多的结点(每个结点是一个神经元)以
适当的方式相互连接组成,每个结点的输入可以是输入数据的某
一个分量,也可以是其他结点的输出。 (2) 每个结点都执行简单的两步运算:对输入信号实现加权和;对
加权和执行非线性映射。
• 1981 , Kohonen 提出自组织映射(SOM)网络
• 1982 , Hopfield 利用能量函数的思想阐述了递归网络的计算性能
• 1986 , Rumelhart, Hinton, Williams 发展了反向传播(BP)算法 • 1989 , Moody 和 Darken 提出了径向基函数(RBF)网络
5判断是否继续迭代还是 结束
前馈网络:反向传播算法
1 正向计算输出
netj ijOi
i
O j f (net j )
前馈网络:反向传播算法
2 计算实际输出和期望输 出之间的误差
E 1 2
j
ˆ j)2 (yj y
前馈网络:反向传播算法
3 计算梯度
j
E net
j
E E net j jOi ij net j ij
(3) 由于结点之间的相互连接,可实现对简单运算的组合,而实现 复杂的运算。
(4) 人工神经元网络实现各种功能取决于所采用的结点间连接方式
以及每个结点的参数值的选择。
前馈网络
感知器的局限性 解决不了异或(XOR)或奇偶校验 如果在输入端与输出结点之间引入隐含层,则上述一些运算的执行就 不成问题 问题在于在人工神经网络研究的早期,人们还不知道如何用训练方式 确定含隐含层结点网络的所有参数 1985年前后分别发表了基于误差回传的训练算法,从而在原理上解决 了多层网格的训练问题
前馈网络:反向传播算法
4 计算修改量
ij j Oi
ij (t 1) ij (t) ij (t)
前馈网络:反向传播算法
4 δj的计算 如果节点j是输出单元
ˆj Oj y
( yj yj ) f ' (netj )
j j
E y j net
生物神经元
功能特性: 脉冲/电位转换功 能 时空整合功能 兴奋与抑制状态 学习、遗忘与疲 劳特性
人工神经元
人工神经元网络的组成
基本组成部分:结点和网络
结点:作为人工神经元网络的结点是仿照生物 细胞结构而造出的。 网络:由结点构成的网状系统。
人工神经元:结点(一)
非线性的映射单元
前馈网络:反向传播算法
反向传播算法基本思想
(1) 设计一个代价函数作为迭代学习过程的 目标函数。
(2) 利用代价函数对各参数的偏导数来确定 各参数的修正量。 (3) 利用网络计算的分层结构导出计算的分 层表示函数 。
前馈网络:反向传播算法
误差回传算法
误差回传算法是一种通过迭代求优化解的方法。
y j
前馈网络:反向传播算法
4 δj的计算 如果节点j不输出单元
E E netk O j j net j k netk O j net j
k jk f ' (netj )
k
前馈网络:反向传播算法
4 f’(net k) 的计算
对于sigmoid函数
前馈网络
• 多层前馈网络的结构特点及基本功能
netj ijOi
i
O j f (net j)
前馈网络
前馈网络需要弄明白的三点:
已知网络的结构
即网络层数和每层结点个数
已知结点的数学模型
非线性函数的数学模型 问题:确定各个结点之间的连接系数Wij 利用训练样本 使得经验误差最小
简单网络模型
Whereas a two-layer network classifier can only implement a linear decision boundary, given an adequate number of hidden units, three-, four- and higher-layer networks can implement arbitrary decision boundaries. The decision regions need not be convex or simply connected
人工神经元:结点(二)
• 结点
• 几十年来,结点模型变化不大
• 主要的变化是所使用的非线性映射函数 • 非线性映射函数:如S型,高斯型
• S型函数
(0,1)
Sigmoid函数 (-1,1)
人工神经元:结点(三)
• S型函数好处
• 非线性 • 单调性 • 无限次可微 • 当权值很大时可近似阈值函数 • 当权值很小时可近似线性函数
其根本目的是使输出与输入之间的实际映射关系与 所期望的映射关系一致。
因此首先要确定一个衡量上述关系一致性的代价函 数,然后找到各参数值的变化对代价函数所起的作 用,从而沿使代价函数值递降的方向调整各个参数 值。
前馈网络:反向传播算法
• 反向传播算法
• 经验风险最小化训练方法
1正向计算输出 2计算实际输出和期望输出 之间的误差 3计算梯度 4计算修改量
• 有了结点运算的非线性映射,才使得人工神经元网络作为一个整
体能实现复杂的非线性映射功能。
人工神经元:网络(二)
人工神经网络
人工神经元网络的成功体现在通过学习机制确定参 数这一点
感知准则函数方法在人工神经元网络中就是单层感 知器 学习确定网络各参数则成为人工神经元网络确定参 数的最基本方法
神经网络为什么会实现复杂计算?
• 感知器(perceptron)
• 感知器:是一种用于线性可分数据集的二类分类器算法 • 只能实现对两类样本的线性分类(数据必须是线性可分的) 或者说他只能将特征空间用线性函数划分成两个区域
人工神经元网络工作原理
• 复杂一些的判别函数
• 将特征空间划分成两个区域
两条射线组成的折线来划分
在折线的一边为y=1, 在折线的另一边y=0 显然用一个神经元是不行
人工神经元网络工作原理
• 复杂一些的判别函数 整个空间将因这两个 函数值的极性不同分 成四个区域 y=0这个区域所具有的 特点 是 与 都 小于零 需要增加一个逻辑运 算才能解决问题 三个运算可以通过三 个神经元结点
人工神经元网络工作原理
f ' (x) 1 y
2
前馈网络:反向传播算法
4 修改量的惯性项 为了加快收敛速度,加上 前一次的权值修正量
ij (t ) j Oi ij (t 1)
前馈网络:反向传播算法
5 判断是否继续迭代还是 结束 达到全局最优
迭代次数最大
总结
神经网络用于模式识别时很好 但用它们进行决策就不那么准确。
使用哪一种非线性函数取决于具体的网络结构及应用
人工神经元:网络(一)
• 人工神经网络:也就是结点之间的连接
• 人工神经元网络之所以能有许多复杂的功能,主要体现在将这些结点 组合成网络。 • 将执行最简单计算的结点组合起来,实现复杂的运算,这就是人
工神经元网络最根本的特点。
• 而之所以能将简单的运算组合成复杂的运算,最主要是一条是结 点的运算中具有的非线性映射。
• 神经网络的记忆通过状态转移实现
• 神经网络简单且易于应用,但它是黑箱模
人工神经网络的发展历史
• 1943, McCulloch 和 Pitts提出了第一个神经元模型: M-P模型 • 1958, Rosenblatt 引入了一种模式识别的新方法: 感知机
• 1961, Minsky 出版著作《感知机》