人工神经网络的工作原理
感知器模型
具体的： 这样的话，我们就可以得到
WT X = 0 j
一、引例
• 思路：作一直线将两类飞蠓分开
• 例如；取A＝（1.44，2.10）和 B＝(1.10，1.16)， 过A B两点作一条直线： • y＝ 1.47x - 0.017 • 其中x表示触角长；y表示翼长． • 分类规则：设一个蚊子的数据为（x, y） • 如果y≥1.47x - 0.017，则判断蚊子属Apf类； • 如果y＜1.47x - 0.017；则判断蚊子属Af类．
oj x2
n
-1
y = f (∑ wi xi − θ )
i =1
y = f (∑wxi ) i
i=1
n
• 参数识别：假设函数形式已知，则可以从已有的 输入输出数据确定出权系数及阈值。
简单原理
人工神经网络是根据人的认识过程而开发出的 一种算法。 假如我们现在只有一些输入和相应的输出，而 对如何由输入得到输出的机理并不清楚，那么我们 可以把输入与输出之间的未知过程看成是一个“网 络”，通过不断地给这个网络输入和相应的输出来 “训练”这个网络，网络根据输入和输出不断地调 节自己的各节点之间的权值来满足输入和输出。这 样，当训练结束后，我们给定一个输入，网络便会 根据自己已调节好的权值计算出一个输出。这就是 神经网络的简单原理。
人工神经网络的分类
按网络连接的拓扑结构分类：
层次型结构：将神经元按功能分成若干层，如输入层、 中间层（隐层）和输出层，各层顺序相连 单 纯 型 层 次 型 结 构
人工神经网络的分类
按网络内部的信息流向分类：
前馈型网络：网络信息处理的方向是从输入层到各隐 层再到输出层逐层进行
前 馈 型 网 络
u
y
-1
1 w1 j x1 + w2 j x2 − Tj > 0 输出： 输出：j = o −1 w1 j x1 + w2 j x2 − Tj < 0
则由方程w 则由方程 1jx1+w2jx2-Tj=0确定了二维平面上的一条分 确定了二维平面上的一条分 界线
人工神经网络的工作原理
感知器模型
具体的： 则由方程w 则由方程 1jx1+w2jx2-Tj=0确定了二维平面上的一条分 确定了二维平面上的一条分 界线(Why?) 界线 w1j x1+w2j x2 – Tj = 0 w1j x1 = Tj - w2j x2 x1 = (Tj -w2j x2) / w1j = - ( w2j/ w1j ) x2 +Tj / w1j = a x2 +c
>θ, ≤θ,
i
神经元的传递函数
S型传递函数 型传递函数
f(x) =
1 1+e
−x
f(x) =
2 1+e
−x
f (x) 1.0 0
−1=
1 − e− x 1+e
−x
f (x) 1.0 0.5 x 0
x
-1.0
• 注：一个神经元含有与输入向量维数相同个数的 权系数，若将阈值看作是一个权系数，-1是一个 固定的输入，另有n-1个正常的输入，则式也可表 示为： ‘ x1
• 若取A=(1.46,2.10), B=(1.1,1.6)不变，则分类直线 变为 y=1.39x+0.071 分类结果变为： (1.24,1.80)， (1.40,2.04) 属于Apf类； (1.24,1.80) Apf (1.28,1.84)属于Af类 A: (1.40, 2.04)
B: (1.28, 1.84) C: (1.24, 1.80) Aph
B C A
• 哪一分类直线才是正确的呢？
Af
一、引例
• 再如，如下的情形能不能用分类直线的办法呢？
方法： 方法： 马氏距离判别法、 马氏距离判别法、 Bayes判别法等 判别法等
• 新思路：将问题看作一个系统，飞蠓的数据作为输入， 飞蠓的类型作为输出，研究输入与输出的关系。
人工神经网络模型
前言
θi
f ( xi )
信息传播与处理： 信息传播与处理：加权求和
人工神经元－ 人工神经元－信息处理单元
M
∑
θi
f ( xi )
信息传播
人工神经元－ 人工神经元－信息处理单元
M
∑
θi
f ( xi )
信息传播与处理
人工神经元－ 人工神经元－信息处理单元
M
∑
θi
f ( xi )
ቤተ መጻሕፍቲ ባይዱ
信息输出
神经元的传递函数
人工神经元的基本构成：
x1 w1 w2 · · · xn wn
x2
θ
y
y = f (∑ wi xi − θ )
i =1
n
人工神经元－ 人工神经元－信息处理单元
M
∑
θi
f ( xi )
人工神经元－ 人工神经元－信息处理单元
M
∑
θi
f ( xi )
信息输入
人工神经元－ 人工神经元－信息处理单元
M
∑
神经网络的作用
• 网络说话 • 人们把一本教科书用网络把它读出来（当 然需要通过光电，电声的信号转换）；开 始网络说的话像婴儿学语那样发出“巴、 巴、巴”的声响；但经过B－P算法长时间 的训练竟能正确读出英语课本中 90％的词 汇． • 从此用神经网络来识别语言和图象形成一 个新的热潮。
人工神经网络基本特点
所谓人工神经网络就是基于模仿生物大脑的结 构和功能而构成的一种信息处理系统。 粗略地讲，大脑是由大量神经细胞或神经元组 成的。每个神经元可看作是一个小的处理单元，这 些神经元按某种方式连接起来，形成大脑内部的生 理神经元网络。 这种神经元网络中各神经元之间联结的强弱， 按外部的激励信号做自适应变化，而每个神经元又 随着所接收到的多个接收信号的综合大小而呈现兴 奋或抑制状态。
神经网络的学习规则
关键在于如何决定每一神经元的权值。 常用的学习规则有以下几种： (1)Hebb规则 (2)Delta规则 (最小均方差规则 ) (3)反向传播学习方法 (4)Kohonen学习规则(用于无指导训练网络 ) (5)Grosberg学习方法
神经网络常用模型
共70多种，具有代表性的有： （1）感知器（Perceptron） （2）多层前馈（BP）网络 （3）Hopfield网络 (优化) （4）Boltzmann机（在BP中加入噪声） （5）双向联想记忆网络（快速存储）
生物神经网
基本工作机制：
一个神经元有两种状态——兴奋和抑制 平时处于抑制状态的神经元，当接收到其它神 经元经由突触传来的冲击信号时，多个输入在 神经元中以代数和的方式叠加。
进入突触的信号会被加权，起兴奋作用的信号为正， 起抑制作用的信号为负。
如果叠加总量超过某个阈值，神经元就会被激 发进入兴奋状态，发出输出脉冲，并由轴突的 突触传递给其它神经元。
（1）可处理非线性 （2）并行结构．对神经网络中的每一个神经元来说；其 运算都是同样的．这样的结构最便于计算机并行处理． （3）具有学习和记忆能力．一个神经网络可以通过训练 学习判别事物；学习某一种规律或规则．
（4）对数据的可容性大．在神经网络中可以同时使用量化 数据和质量数据（如好、中、差、及格、不及格等）． （5）神经网络可以用大规模集成电路来实现．如美国用 256 个神经元组成的神经网络组成硬件用于识别手写体的邮政编 码．
人工神经网络的工作原理
感知器模型(单层前向神经网络）
输出类别指示
输入样本
X = ( x1,x2 ,...xi ,...,xn )T
Y = (y1 , y2 ,...yi ,..., ym )T
j=1,2,…,m
W j = ( w1 j ,w2 j ,...wij ,...,wnj )T
人工神经网络的工作原理
• f（X）是激发函数；它可以是线性函数，也可以 是非线性函数．例如，若取激发函数为符号函数
1, x > 0, sgn( x) = 0, x ≤ 0.
1, y = f ( z) = 0,
m i =1 m i
z = ∑ wi xi − θ
i =1
i
m
∑w x ∑w x
i =1 i
神经网络算法 简介
一、引例
• 1981年生物学家格若根（W． Grogan）和维什（W．Wirth）发现了两 类蚊子(或飞蠓midges)．他们测量了这两类蚊子每个个体的翼长和触角 长，数据如下： • • • • • • • • • 翼长 1.78 1.96 1.86 1.72 2.00 2.00 1.96 1.74 触角长 类别 1.14 Apf 1.18 Apf 1.20 Apf 1.24 Af 1.26 Apf 1.28 Apf 1.30 Apf 1.36 Af • 翼长 • 1.64 • 1.82 • 1.90 • 1.70 • 1.82 • 1.82 • 2.08 触角长 1.38 1.38 1.38 1.40 1.48 1.54 1.56 类别 Af Af Af Af Af Af Af
•
图1飞蠓的触角长和翼长
一、引例
• 思路：作一直线将两类飞蠓分开
• 例如；取A＝（1.44，2.10）和 B＝(1.10，1.16)， 过A B两点作一条直线： • y＝ 1.47x - 0.017 • 其中x表示触角长；y表示翼长． • 分类规则：设一个蚊子的数据为（x, y） • 如果y≥1.47x - 0.017，则判断蚊子属Apf类； • 如果y＜1.47x - 0.017；则判断蚊子属Af类．
人工神经网络的生物学基础
电脉冲 输 入 树 形成 细胞体 突 信息处理 传输 轴突 触 出 突 输