23
最常用的传递函数
Sigmoid 函数
最常用的传递函数
硬限函数（hard-limit）
阈值逻辑函数（threshold-logic）
感知器 Perceptron 问题：感知器只能解决一阶谓词逻辑问题，不能解决高阶问题。
26
多层感知器
3.反馈神经网络
反馈神经网络Back-Propagation Algorithm， LeCun 1986, Rumelhart, Hinton & Williams 1986
式中， xi(i=1,2,…,n)是输入，wi为该神经元与各输入间的连接权值，
为阈值，y为输出
22
感知器
• 连接权wij： wij>0，称为正连接，表示神经元uj对ui有激活作用 wij<0，称为负连接，表示神经元uj对ui有抑制作用 • 神经网络的各种学习算法的不同特点反映在调整权值的原则 、方法、步骤和迭代过程的参数选择上。 激励函数：通常选取下列函数之一：
15
【基础知识】
三个要素： 神经元的计算特性（传递函数） 网络的结构（连接形式） 学习规则
三要素的不同形成了各种各样的神经网模型，基本可分为三大类：
前馈网络
反馈网络 自组织网络（竞争学习网络）
前馈网络
Hebb 学习规则 基本思想：两个神经元同时兴奋时它们的连接应加强。
前馈网络典型结构
反馈网络
代表：Hopfield 网络 常用于：联想记忆(associative memory) 用于模式识别：可用于模板匹配、可用于特征选择中的优化问题。
环境
输入 神经网络
评价信息
【发展史】
1943年McCulloch（心理学家）和Pitts（数理逻辑学家）发表文章， 提出M-P模型。描述了一个简单的人工神经元模型的活动是服从二值 （兴奋和抑制）变化的。总结了神经元的基本生理特性，提出了神经 元的数学描述和网络的结构方法。—标志神经计算时代的开始 输出表达式 MP模型：
思路类似于先作向量量化（聚类），用 较少的代表点（子类）代表原样本空间，把 这些代表点进行分类。 ——LVQ（学习向量 量化） 与普通向量量化（C均值聚类）的不同： 所得到的代表点本身是有序的，且保持了所 代表的子集在原空间中相对关系。
SOM 用于非监督模式识别
自组织学习过程本身就是一个非监督学习过程SOMA(自组织分析) 基本思路： ① 用未知样本集训练SOM; ② 计算象密度图; ③ 根据象密度图划分聚类(把结点代表的小聚类合并)。 特点： 对数据分布形状少依赖性；可反映真实存在的聚类数 目，尤其适合人机合作分析(高维数据的有效二维显示) 数学上待研究的问题多： 象密度与样本分布密度之间的关系？ 拓扑保持特性？ 如何在SOM 平面上聚类？
神经网络的学习方法

神经网络的学习：从环境中获取知识并改进自身性能，主要指 调节网络参数使网络达到某种度量，又称为网络的训练。
学习方式：

监督学习
非监督学习 再励学习

学习规则：
误差纠正学习算法 竞争学习算法
监督学习

对训练样本集中的每一组输入能提供一组目标输出。

网络根据目标输出与实际输出误差信号来调节网络参数。
本章结束
Rosenblatt 于1950s末提出。
权值：
其中，d(t) 是向量x(t) 的正确输出。
21
感知器
神经元的工作过程：
步骤1：从各输入端接收输入信号xi 。
步骤2：根据各连接权值wi ,求出所有输入的加权和：
＝ni=1wi xi － 步骤3：利用某一特征函数f进行变换，得到输出y：
y= f()＝f(ni=1wi xi － )
当引入邻域相互作用后，出现自组织现象。
SOM 学习算法
SOM 用于模式识别的作法
Kohonen 芬兰语语音识别 ① 用一批（有代表性）的样本训练SOM，（自学习）使之出现自组织 特性，（形成对输入空间的映射）； ② 用一批类别已知的样本（可以与训练样本集相同）去标定在SOM 上 的象，完成对各结点的分类； ③ 输入待识别样本，计算其象结点位置，用象类别标号确定样本类别
多层感知器与BP 算法（MLP&Back-Propagation Algorithm）
多层感知器结构
结点采用Sigmoid 函数
特性：可以实现任意复杂的非线性映射关系用于分类： 两层网（一个隐层）可实现空间内任意的凸形成区域的划分。 三层网（两个隐层）可实现任意形状（连续或不连续）区域划分。
BP 算法：
第9章 人工神经网络
主讲人：李君宝
哈尔滨工业大学
1.基础知识
2.前馈神经网络
3.反馈神经网络
4.自组织映射神经网络
1.基础知识
【基础知识】
自然神经网络的基本构成与特点
神经元（neuron）： 细胞体（cell）、树突（dentrite）、轴突（axon）、突触（synapses）
1 y 0
x x
i i
– M-P模型能完成一定的逻辑运算。 – 第一个采用集体并行计算结构来描述人工神经元和网络工作。 – 为进一步的研究提供了依据 （可以完成布尔逻辑计算）
11
【发展史】
1949年Donala U.Hebb（心理学家）论著《The Organization of Behavior （行为自组织）》，提出突触联系强度可变的假设，认为学习的过程 最终发生在神经元之间的突触部位，突触的联系强度随着突触前后神 经元的活动而变化。 ——赫布规则 多用于自组织网络的学习。即：若两个神经元输出兴奋，则它们之间 的连接权加强，反之减少。
自组织网络
自组织神经网络是神经网络最富有魅力的研究领域之一. 它能够通过其输入样本检测其规律性和输入样本相互之间的关系， 并且根据这些输入样本的信息自适应调整网络，使网络以后的响应 与输入样本相适应。
2.前馈神经网络
感知器 Perceptron
基本神经元： 人工神经网络的神经元通常简化为一个多输入单输出非线性阈值器件：
输入层
竞争层
SOM神经网络平面示意图
几个名词： 象： 随着不断学习，对于某个输入向量，对应的winner 结点令逐步趋于固定， 这个结点称作该样本的象。 原象：若向量x 的象为结点i ，则x 为i 的一个原象。 象密度：同一结点上原象的数目，即有多少样本映射到该结点。 象密度图：按结点位置把象密度(相对值)画到一张图上。
神经系统的自组织功能
生物学研究的事实表明，在人脑
的感觉通道上，神经元的组织原理
是有序排列。因此当人脑通过感官 接受外界的特定时空信息时，大脑 皮层的特定区域兴奋，而且类似的 外界信息在对应区域是连续映象。 对于某一图形或某一频率的特定 兴奋过程，神经元的有序排列以及 对外界信息的连续映象是自组织特 征映射网中竞争机制生物学基础。
13
【发展史】
1986 年美国的一个平行计算研究小组提出了反馈神经网络的 Back
Propagation（BP）学习算法。 • 成为当今应用最广泛的方法之一。
• 该方法克服了感知器非线性不可分类问题，给神经网络研究带来
了新的希望。
y j f ( wij xi j )
iБайду номын сангаас1
n
f (u j )
1 u 1 e j
14
【发展史】
• 1990年汉森(L.K. Hansen)和萨拉蒙(P. Salamon)提出了神经网络集成
(neural network ensemble)方法。 证明： 可以简单地通过训练多个神经网络并将其结果进行拟合，显著地提 高神经网络系统的泛化能力。 神经网络集成可以定义为用有限个神经网络对同一问题进行学习。
BP 算法：
说明：算法可能收敛于局部极小点（梯度算法）；与初值、步长 等的选择有关；更与网络结构（结点数目）有关。
BP 算法： 用于分类： 输入x——样本特征向量（必要时归一化） 输出Y ——类别编码
其它应用：函数拟合、时间序列预测、数据压缩，…… MLP网络也常称作BP 网。
4.自组织映射
自组织映射Self-Organizing Map 亦称SOFM。 Kohonen 提出（1980s）
SOM 特性
自组织特性： （1）在经过充分的学习之后，对用 于学习的样本集，每个样本有且只 有一个象（固定映射到某一结点）， 但一个结点可能有多个原象（也可 能没有）。 （2）在原空间中距离相近的样本趋 于映射到相同或相近的象。 （3）结点象密度与其原象附近原空 间中的样本密度有某种单调关系。
SOM 特性
SOM神经网络结构
基本上为输入层和映射层的双层结构,映射层的神经元互相连接，每 个输出神经元连接至所有输入神经元 SOM网共有两层，输入层模拟 感知外界输入信息的视网膜，输出层模拟做出响应的大脑皮层。
36
SOM 特性
经过适当训练后，结点对输入的响应表现出一定的规律性，这些规律性
反映了输入样本集内部的一些特性（样本分布密度及样本间拓扑关系）。
• • • • 第一次把神经网络研究从纯理论的探讨推向工程实现， 在IBM704计算机上进行了模拟， 证明了该模型有能力通过调整权的学习达到正确分类的结果， 掀起了神经网络研究高潮。
y j f ( wij xi j )
i 1
n
1 f (u j ) 0
uj 0 uj 0
SOM 网结构
神经元呈平面分布(或其它空 间分布)输入向量的每一维连接到 每个结点结点间依分布位置关系而 有相互作用
神经元计算特性：向量匹配，与输入向量最佳匹配者称winner(计算 距离或内积) (最大响应)
自组织特征映射神经网络结构
由芬兰学者Teuvo Kohonen于1981年提出