当前位置:文档之家› 第三章 前馈神经网络模型

第三章 前馈神经网络模型


x1 0 0 1
“异或”的真值表
x2 0 1 0
感知器的功能
x1 (2)设输入向量X=(x1,x2,x3)T x2 x3
-1
oj
1w x w x w x T 0 1 j 1 2 j 2 3 j 3 j 输出: o j 1w x w x w x T 0 1 j 1 2 j 2 3 j 3 j
则由方程 w1jx1+w2jx2+w3j –Tj=0

感知器模型结构
感知器的模型结构如图所示。感 o1 … oj … om 知器是指只有一层处理单元的感 知器,如果包括输入层在内,应 W1 ○ Wj ○ Wm○ 为两层。图中输入层也称为感知 层,有n个神经元节点,这些节点 ○ ○ ○ ○ 只负责引入外部信息,自身无信 息处理能力,每个节点接收一个 x1 x 2 … xi … xn 输入信号,n个输入信号构成输 入列向量 X 。输出层也称为处理层,有 m 个神经元节点, 每个节点均具有信息处理能力,m个节点向外部输出处理 信息,构成输出列向量O。两层之间的连接权值用权值列 向量Wj表示,m个权向量构成单层感知器的权值矩阵W。 3个列向量分别表示为:
内容提要
感知器
多层感知器
自适应线性元模型
BP算法
第一节
感知器
线性阈值单元

线性阈值单元是前向网络(又称前馈网络)中最 基本的计算单元,它具有 n 个输入( x1,x2,…,xn ), 一个输出y,n个连接权值(w1,w2,…,wn),且
1 y 1 ( 或 0 ) 若 w 0 ix i 若 w 0 ix i
第三章
前馈神经网络模型
前馈神经网络:由一层或多层非线性处理单元组
成。相邻层之间通过突触权阵连接起来。由于前 一层的输出作为下一层的输入,因此此类神经网 络为前向神经网络。 在前向神经网络结构中输入输出之间包含着一层 或多层隐含层。 前向神经网络可以看成是一种一组输入模式到一 组输出模式的系统变换,这种变换通过对某一给 定的输入样本相应的输出样本集的训练而得到, 为了实现这一行为,网络的权系数在某种学习规 则下进行自适应学习,也就是有导师指导学习。
则由方程 w1jx1+w2jx2+…+wnj –Tj=0 确定了n维空间上的一个分界平面。 (3.6)
(3.5)
例一 用感知器实现逻辑“与”功能
逻辑“与”真值 表
x1 0 0 1 1
x2 0 1 0 1
y 0 0 0 1
例一 用感知器实现逻辑“与”功能
感知器结构
x1 x2
○ ○
0.5 0.5

0.75 -1
思考
分界线的方程是什么? 感知器的模型如何表示? – 数学表达式?

感知器的局限性
Rosenblatt 已经证明,如果两类模式在分布空间中可以找
到一个超平面将它们分开,那么感知器的学习过程就一定
会收敛。否则判定边界就会振荡不休,永远不会稳定,这
也正是单层感知器所无法克服的缺陷,所以它连最简单的 异或(XOR)问题也解决不了。
w1j x1+w2j x2 – Tj = 0
x1 * * * * * * * O O O * * O O O * * O O x2 O
w1j x1 = Tj - w2j x2 x1 = (Tj -w2j x2) / w1j = - ( w2j/ w1j ) x2 +Tj / w1j = a x 2 +c

感知器模型结构
T X ( x ,x ,...x ,...,x ) 1 2 i n T O ( o ,o ,...o ) 1 2 i,...,o m
T j=1,2,…,m W ( w ,w ,...w ,...,w ) j 1 j 2 j ij nj
感知器模型结构
net j

i 1
确定了三维空间上的一个分界平面。
感知器的功能
w1j x1+w2j x2 +w3j x3– Tj = 0
x1 * * * * * * x3 * O O * * O O O * * O O x2 O
x1 = a x2 +b x3 +c
感知器的功能
(3) 设输入向量X=(x1,x2,…,xn)T
w1jx1+w2jx2+…+wnj –Tj=0 输出:
n
wij xi
T o sgn ( net T ) sgn ( w x ) sgn ( W ) j j j iji jX i 0

n
感知器的功能
一个最简单的单计算节点感知器具有分类功 能。其分类原理是将分类知识存储于感知器的权 向量(包含了阈值)中,由权向量确定的分类判
决界面将输入模式分为两类。
i 1 i 1 n n
wi
xi
Ө
y
感知器简介


1958 年,美国心理学家 Frank Rosenblatt 提出一种具 有单层计算单元的神经网络,称为Perceptron,即感知器。 感知器是模拟人的视觉接受环境信息,并由神经冲动进行 信息传递的层次型神经网络。感知器研究中首次提出了自 组织、自学习的思想,而且对所能解决的问题存在着收敛 算法,并能从数学上严格证明,因而对神经网络研究起了 重要推动作用。 感知器的结构与功能都非常简单,以至于在解决实际 问题时很少采用,但由于它在神经网络研究中具有重要意 义,是研究其它网络的基础,而且较易学习和理解,适合 于作为学习神经网络的起点。
y
wix1+w2x2 -T=0 0.5x1+0.5x2-0.75=0
例二 用感知器实现逻辑“或”功能
逻辑“或”真值表
x1 0 0 1 1
x2 0 1 0 1
y 0 1 1 1
例二 用感知器实现逻辑“或”功能
感知器结构
x1 x2

1
1

0.5 -1
y

wix1+w2x2 -T=0 x1+x2-0.5=0
感知器的功能
x1
(1)设输入向量X=(x1 ,x2)T
x2
-1
oj
1 输出: o j 1 来自w w T 0 1 jx 1 2 jx 2 j w w T 0 1 jx 1 2 jx 2 j
则由方程 w1jx1+w2jx2-Tj=0 确定了二维平面上的一条分界线。
感知器的功能
相关主题