部分纠错学习规则存在“局部极小值”问 题，不能保证一定收敛于全局最小点
相关学习规则
仅根据相互连接的神经元的激活水平调整 连接权
经常应用在能够实现自联想记忆的人工神 经网络模型中，用于实现执行特殊记忆状 态的死记硬背式学习
随机学习规则
随机学习规则利用了随机过程、概率和能 量的关系调整连接权
2.3 M-P模型
对n个互连神经元中的第j个神经元，其输入
向量为
，其中xi表示神经元的
状态，其取值为0或1，分别代表神经元的
抑制和兴奋状态
各个输入神经元节点i到神经元节点j的加权
向量为
，其中wij表示输入
神经元节点i与神经元节点j之间的连接权
神经元j的阈值为θj， 神经元j的输入加权和sj为 神经元j的转移函数为
Hebb学习规则与“条件反射”学说一致， 已经得到了神经细胞学说的证实
纠错学习规则
应用在采用有指导的学习方式的人工神经 网络模型中
根据来自输出节点的外部反馈(期望输出)调 整连接权，使得网络输出节点的实际输出 与外部的期望输出一致
学习训练时需要大量的训练样本，因此训 练时的收敛速度较慢
网络并不基于某种确定性算法调整连接权 值，而是按照某种概率分布进行处理
可能使网络避免陷入局部极小点而到达全 局最小点
胜者为王学习规则
一种竞争学习规则，应用在采用无指导的 学习方式的人工神经网络模型中
在神经网络的竞争层，对一个特定输入模 式X，只有具有最大加权和的神经元j才能够 获胜
◦ eg： Hopfield网络， Boltzmann机
2.4 人工神经网络的互连结构(2)
2.5 人工神经网络的学习
2.5.1 人工神经网络的学习方式 2.5.2 基本的神经网络学习规则
2.5.1 ANN的学习方式
人工神经网络的学习过程 ◦ 网络连接权值的调整过程
人工神经网络的学习方式 （评价标准） ◦ 有指导的学习 评价标准由外部提供 （期望输出） ◦ 无指导的学习 评价标准由网络自身提供 ◦ 灌输式的学习：通过设计得到网络连接权
阶跃函数，输出状态为
2.4 人工神经网络的互连结构(1)
无反馈的层内无互连层次结构 ◦ 单纯型层次结构：输入层/隐含层/输出层 ◦ eg：BP模型
有反馈的层内无互连层次结构 无反馈的层内互连层次结构
◦ eg：自组织神经网络 有反馈的互连非层次结构
◦ 相互结合型结构，网络中的任意两个神经 元之间都可能存在连接
神经元j的输出为
2.2.2 转移函数(1)
2.2.2 转移函数(2)
线性函数 ◦ 线性函数 ◦ 非线性分段函数
阈值函数 ◦ 阶跃函数
◦ 符号函数
2.2.2 转移函数(2)
非线性函数（S型函数） ◦ Sigmoid函数
◦ 双曲正切函数
概率型函数 ◦ 神经元的输入与输出之间的关系不确定， 使用随机函数描述输出状态为0或1的概率
轴突：细胞的输出端 树突：细胞的输入端 突触：轴突与树突的接口
2.1.2 生物神经元的功能
时空整合功能 兴奋与抑制状态 脉冲与电位转换 神经纤维传导速度 突触延时和不应期 学习、遗忘和疲劳
2.2 人工神经元模型
2.2.1 人工神经元的形式化描述 2.2.2 转移函数
2.5.2 基本的ANN学习规则
Hebb学习规则 纠错学习规则 相关学习规则 随机学习规则 胜者为王学习规则 内星和外星学习规则
Hebb学习规则
调整神经元i到神经元j之间的连接权值wij的 方法是：若第i个神经元与第j个神经元同时 处于兴奋状态，则它们之间的连接应当加 强
胜者为王学习规则调整获胜神经元输入连 接权值的结果就是使其进一步接近当前的 输入模式X
内星和外星学习规则
内星学习规则用于训练内星节点响应一个 特定的输入模式X
外星学习规则用于调整与外星节点j相连的 外星输出连接权Tj，使其接近期望的输出模 式Y
Байду номын сангаас
第2章 人工神经网络基础
目录
2.1 生物神经系统 2.2 人工神经元模型 2.3 M-P模型 2.4 人工神经网络的互连结构 2.5 人工神经网络的学习
2.1 生物神经系统
2.1.1 生物神经元的结构 2.1.2 生物神经元的功能
2.1.1 生物神经元的结构
细胞体：生物神经元的主体 ◦ 细胞核 ◦ 细胞质 ◦ 细胞膜 膜电位：细胞膜内外 电位差
输入神经元节点连接到神经元节点j的加
权向量为
，其中wij表示从
第i个输入神经元节点到节点j的加权值。
神经元j的阈值为θj，如果用x0=1的固定偏 置输入节点表示阈值节点，则它与神经元j之
间的连接强度为w0j=-θj。
2.2.1 人工神经元的形式化描述(3)
神经元j的输入加权和为： 神经元j的输出状态为： 如果向量Xj和Wj分别包含了x0和w0j，则
2.2.1 人工神经元的形式化描述(1)
人工神经元的功能
◦ 加权：对每个输入信号进行处理以确定 其强度
◦ 求和：确定所有输入信号的组合效果 ◦ 转移特性：确定其输出
2.2.1 人工神经元的形式化描述(2)
人工神经元模型
设神经元j的输入向量为
，
其中xi表示第i个神经元的输出，n表示输入 神经元的个数。