层 内 有 连 u 接 层 次 型 结 构
y
神经网络中有的在同一层中的各神经元相互有连接, 通过层内神经元的相互结合，可以实现同一层内神经 元之间的横向抑制或兴奋机制，这样可以限制每层内 能同时动作的神经元数，或者把每层内的神经元分为 若干组，让每组作为一个整体来动作。
输 出 层 到 输 入 层 有 连 接 反 馈

网络结构中，只在输出层到输入层存在反馈，即每 一个输入节点都有可能接受来自外部的输入和来自输出 神经元的反馈。这种模式可用来存储某种模式序列，如 神经认知机即属于此类，也可以用于动态时间序列过程 的神经网络建模。
全 互 连 型 结 构 局 部 互 连 型 网 络 结 构
〇 〇 〇 〇
〇 〇 〇 〇
第十九章 神经网络模型
一个引例
1981年生物学家格若根（W.Grogan）和维什（W.Wirth）发 现了两类蚊子(或飞蠓midges)．他们测量了这两类蚊子每个 个体的翼长和触角长，数据如下：
• • • • • • • • • 翼长 1.78 1.96 1.86 1.72 2.00 2.00 1.96 1.74 触角长 类别 1.14 Apf 1.18 Apf 1.20 Apf 1.24 Af 1.26 Apf 1.28 Apf 1.30 Apf 1.36 Af • 翼长 • 1.64 • 1.82 • 1.90 • 1.70 • 1.82 • 1.82 • 2.08 触角长 1.38 1.38 1.38 1.40 1.48 1.54 1.56 类别 Af Af Af Af Af Af Af
图 飞蠓的触角长和翼长
根据图示，可考虑作一直线，就可将两类飞蠓分开。
例如；取A＝（1.44，2.10）和 B＝(1.10，1.16)，过A、B 两点作一条直线： y＝ 1.47x - 0.017 其中x表示触角长； y表示翼长．
分类规则： 分类直线图 设一个蚊子的数据为（x, y） 如果y≥1.47x - 0.017，则判断蚊子属Apf类 如果y＜1.47x - 0.017；则判断蚊子属Af类．
(4) 高斯函数
2 1 f ( x) e 2 2
x2
该函数也是常用的一 类激发函数。
输入
S个神经元的层
p1 p2 p3
w1,1 b1 1 b2 1
n1
f
a1
输入 P R×1
S个神经元的层
W
S×R
n2
f
a2
1 R
+ Sn ×1 f
S
a S×1
b
S×1 a=f(Wp+b)
pR
ns
wS,R
学习方法是人工神经网络研究中的核心问题
有监督学习方式
神经网络根据实际输出与期望输出的偏差，按照 一定的准则调整各神经元连接的权系数，见下图。期 望输出又称为导师信号，是评价学习的标准，故这种 学习方式又称为有导师学习。
特点： 不能保证得到 全局最优解，要求 大量训练样本，收 敛速度慢，对样本 地表示次序变化比 较敏感。
信息输入
信息传播与处理
信息传播与处理（整合）
信息传播与处理结果：兴奋与抑制
信息输出
突触是神经元之间相互连接的接口部分，即 一个神经元的神经末梢与另一个神经元的树突相 接触的交界面，位于神经元的神经末梢尾端。突 触是轴突的终端。 神经元的功能特性 （1）时空整合功能。 （2）神经元的动态极化性。 （3）兴奋与抑制状态。 （4）结构的可塑性。 （5）脉冲与电位信号的转换。 （6）突触延期和不应期。 （7）学习、遗忘和疲劳。
无监督学习方式
无导师信号提供给网络，神经网络仅仅根据其输入 调整连接权系数和阈值，此时，网络的学习评价标准 隐含于内部。其结构见下图。这种学习方式主要完成 聚类操作。
神经网络的学习规则
联想式学习— Hebb学习规则
Donall Hebb根据生理学中的条件反射机理，于1949年提 出的神经元连接强度变化的规则： –如果两个神经元同时兴奋(即同时被激活)，则它们之 间的突触连接加强
非对称型Sigmoid函数
1 f ( x) 1 ex
或
1 f ( x) , 0 x 1 e
S型函数是一个有最大输出值的非线性函数，其输出值 是在某个范围内连续取值的。以它为传递函数的神经元 也具有饱和特性，是最常用（a）线性作用函数：输出等于输入，即 y f ( x) x
人工神经网络的结构
x1 ┆ xi ┆ xn
(a)多输入单输出
oj
x1 w1j ┆wij xi ┆wnj xn
(b)输入加权
oj
x1 w1j ┆wij xI ┆wnj xn
oj ∑
x1 w1j ┆ wij xI ┆ wnj xn
oj ∑ f
(c)输入加权求和
(d)输入-输出函数
处理单元（人工神经元）结构示意图
分类结果：(1.24，1.80)，(1.28，1.84)属于Af类；(1.40，2.04）属 于 Apf类．
缺陷：根据什么原则确定分类直线？
若取 A=(1.46,2.10), B=(1.1,1.6) 不变，则分类直线变为 y=1.39x+0.071 分类结果变为： (1.24,1.80)， (1.40,2.04) 属于Apf类； (1.28,1.84)属于Af类 哪一分类直线才是正确的呢？ 因此如何来确定这个判别直线是一个值得研究的 问题． 一般地讲，应该充分利用已知的数据信息来确定 判别直线．
w
j 1
n
ji
u j , 处理单元的净输入为 w jiu j i
j 1
n
从而处理单元的输出为
yi f ( wjiu j i )
j 1 n
f函数决定节点（神经元）的输出。


i
f ( xi )


i
f ( xi )
信息输入


i
f ( xi )
信息传播与处理：加权求和
i
现在要调整权值，是误差信号e(n)减小到一个范围。 为此，可设定代价函数或性能指数E(n)：


i
f ( xi )
信息传播


i
f ( xi )
信息传播与处理：非线性


i
f ( xi )
信息输出
神经元的传递函数的选择
(1)阈值型传递函数，如：
1, x 0 f ( x) 0 , x 0 1, x 0 f ( x) 1, x 0
f (x) 1.0
神经生理学和神经
解剖学的研究结果表明， 神经元是脑组织的基本 单元，是神经系统结构 与功能的单位。
生物神经元在结构上由： 细胞体(Cell body)
树突(Dendrite)
轴突(Axon)
突触(Synapse)
四部分组成。用来完成神经
元间信息的接收、传递和处
理。
生物神经元的信息处理机理：神经元间信息的产生、传 递和处理是一种电化学活动。
问题：现抓到三只新的蚊子，它们的触角长和翼长分别为 (l.24,1.80); (l.28，1.84)；（1.40，2.04）．问它们应分别属 于哪一个种类？
方法：
把翼长作纵坐标，触角长作横坐标；那么每个蚊子的翼长 和触角决定了坐标平面的一个点.其中 6个蚊子属于 APf类； 用黑点“〃”表示；9个蚊子属Af类；用小圆圈“。”表示， 得到的结果见下图：
更一般的人工神经元 示意图（MP模型）
称为作用函数或激发函数
求和操作
xi w ji u j i
j 1
n
作用函数 yi f ( xi ) f ( w ji u j i )
j 1
n
人工神经元的工作过程
对于第i个处理单元（神经元）来说，假设来自其他 处理单元（神经元）j的信息为uj，它们与本处理单元的 互相作用强度即连接权值为wji, j=1,2,…,n,处理单元的内 部阈值为θi。那么本处理单元（神经元）的输入为
神经元的人工模型（ MP模型）
人工神经网络的组成与结构 人工神经网络的组成 人工神经网络是由大量处理单元经广泛互连而组成的人 工网络，用来模拟脑神经系统的结构和功能。而这些处理 单元我们把它称作人工神经元。 人工神经网络可看成是以人工神经元为节点，用有向加 权弧连接起来的有向图。在此有向图中，人工神经元就是 对生物神经元的模拟，而有向弧则是轴突—突触—树突对 的模拟。 有向弧的权值表示相互连接的两个人工神经元间相互作 用的强弱。
再如，如下的情形已经不能用分类直线的办法：
新思路：将问题看作一个系统，飞蠓的数据作为输入， 飞蠓的类型作为输出，研究输入与输出的关系。
神经网络模型的生物学背景
人类大脑大约包含有1011~1012个神经元，每个 神经元与大约103～105个其它神经元相连接，构成一 个极为庞大而复杂的网络，即生物神经网络。
阈值型函数又称阶跃函 数，它表示激活值x和其输出 f(x)之间的关系。阈值型函数 为激发函数的神经元是一种 最简单的人工神经元，采用 阶跃作用函数的神经元，称 为阈值逻辑单元。
0
x
(2) S型传递函数
对称型Sigmoid函数
1 ex f ( x) 1 e x
或
1 e x f ( x) , 0 x 1 e
生物神经网络: 由多个生物神经元以确定方式和拓扑结构相互连接 即形成生物神经网络。 生物神经网络的功能不是单个神经元信息处理功 能的简单叠加,而且神经元之间的突触连接方式和连接 强度也是不同的并且具有可塑性（这点非常重要），
这使神经网络在宏观呈现出千变万化的复杂的信息处
理能力。
人工神经网络
人工神经网络是集脑科学、神经心理学和信息科学 等多学科的交叉研究领域，属于仿生学的一部分，是近 年来高科技领域的一个研究热点。