4-1、神经元的种类有哪些？它们的函数关系如何？
4-2、为什么由简单的神经元连接而成的神经网络具有非常强大的功能？ 4-3、神经网络按连接方式分有哪几类？
四、计算题
1、如图4-24所示的多层前向传播神经网络结构。
假设对于期望的输入
12[,][13]x x =,12[,][0.90.3]d d y y =。
网络权系数的初始值见图。
试用BP 算法训练此网络。
并详细写出第一次迭代学习的计算结果。
这里，取神经元激励函数
1()1x f x e
-=+。
学习步长为1η=。
最大迭代次数为iterafe max 。
误差为e 。
（四舍五入，精确到小数后1位）
答案：
4-1、答案：神经元模型是生物神经元的抽象和模拟。
它是模拟生物神经元的结构和功能、并从数学角度抽象出来的一个基本单元。
它是神经网络的最基本的组成部分。
神经元一般是多输入-单输出的非线性器件。
模型可以描述为
i ij j i i j
Net w x s θ=+-∑
()i i u f Net =
()()i i i y g u h Net ==
假设()i i g u u =，即()i i y f Net =
i u 为神经元的内部状态；i θ为阀值；i x 为输入信号，1,...,j n =；ij w 为表示从j u 单元到i u 单元的连接权系数；i s 为外部输入信号。
常用的神经元非线性特性有以下四种
阀值型
10()00
i i i Net f Net Net ⎧>⎪=⎨≤⎪⎩
分段线性型
00max 0()i i i i i i il i il
Net Net f Net kNet Net Net Net f Net Net ⎧≤⎪=≤≤⎨⎪≥⎩
Sigmoid 函数型
1()1i i Net T f Net e -=
+
Tan 函数型 ()i i
i
i
Net Net T T
i Net Net T T e e f Net e e --
-=+
4-2、答案：神经系统是一个高度复杂的非线性动力学系统，虽然每一个神经元的结构和功能十分简单，但由大量神经元构成的网络系统的行为却是丰富多彩和十分复杂的。
从神经元模型角度来看，有线性处理单元和非线性处理单元。
从网络结构方面来看，有：前向网络、反馈网络和自组织网络。
4-3、答案：神经网络按连接方式分
属于网状结构网络。
输
入输
出
相互结合型网络
神经网络是由通过神经元的互连而达到的。
根据神经元的连接方式的不同，神经网络可分为以下四种形式：
前向网络 由输入层、隐含层和输出层组成。
每一层只接受前一层神经元的输入。
各神经元之间不存在反馈。
属于层次型网络。
..
.输
入输出
前向网络
反馈网络 只在输出层到输入层存在反馈，即每一个输入节点都有可能接受来自外部的输入和来自输出神经元的反馈。
属于层次型网络。
输入
输
出反馈网络
相互结合型网络这种神经网络在任意两个神经元之间都可能有连接。
在这个状态中，信号要在神经元之间反复往返传递，网络处在一种不断改变状态的动态之中，从某种初态开始，经过若干次的变化，才会达到某种平衡状态。
混合型网络通过同一层内神经元的相互结合，可以实现同一层内神经元之间的横向抑制或兴奋机制。
这样可以限制每层内能同时动作的神经元数，或者把每层内的神经元分为若干组，让每组作为一个整体来动作。
它是层次型网络和网状结构网络的一种结合。
四、
1、答案：输入最大容许逼近误差值ε和最大迭代学习次数iterate max。
置初始迭代学习次数0
iterate=。
（1）.置各权值或阈值的初始值：(0),(0)
ji j
wθ为小的随机数值；
回顾：
单一人工神经元有线性和非线性
单一人工神经元线性
单一人工神经元示意图（线性）
1
单一人工神经元的示意图
最简单的人工神经元输入和输出数学表示：
假设输入项Net 由输入信号xj(j=1,2,…,n)的线性组合构成，即
01n
j j j Net w x θ==+∑
0θ为阀值；j w 是决定第j 个输入的突触权系数。
神经元的平衡态输出y 为
01
()n
j j j y w x σθ==+∑
式中()x σ表示神经元的激励函数
前面假设输入项Net 是输入信号xi 的线性函数。
一般情况下，Net 是输入信号xi 的非线性函数。
因此本题的权值111w ，112w ，110w ，1
21w ，122w ，120w
（2）.提供训练样本：输入矢量：,1,2,...,k X k P =；期望输出：,1,2,...,k d k P =；对每个输入样本进行下面iterate max 的迭代；
12[,][13]x x =
（3）.计算网络的实际输出及隐层单元的状态：
()kj j ji ki j i
o f w o θ=+∑
因为12[,][13]T T x x =
1111111112210121(2)132net w x w x w x x =++=+-+=-
11
11221122220122(0)1(1)1net w x w x w x x =++=++-=
11
121
10.119211net o e e -===++ 12211
10.731111net o e e --==
=++ 2222111112210121(0)21 2.1192net w o w o w o o =++=++⨯=
2222221122220121(2)31 -4.3430net w o w o w o o =++=+--⨯=
21110.89281net y e -==+
2221
0.01281net y e -==+
（4）.计算训练误差：
(1)()()kj kj kj kj kj o o t o σ=--输出层
(1)()kj kj kj km mj
m o o w σσ=-∑隐含层
1）输出层
2'211111111()()()(1) 6.8910e-004d d y y f net y y y y δ=-=--=
2'222222222()()()(1)0.0036d d y y f net y y y y δ=-=--=
2）隐含层
1222222111111122111(1)()(1)
(6.8910e-0041(0.0036)1)0.1192(10.1192) 4.5032e-004
k k k
w o o w w o o δδδδ=-=+-=⨯+⨯⨯⨯-=∑
1222222222211222222(1)()(1)
(6.8910e-0040(0.0036)(2))0.7311(10.7311)-0.0014
k k k
w o o w w o o δδδδ=-=+-=⨯+⨯-⨯⨯-=∑ （5）.修正权值和阈值：
(1)()[()(1)]
(1)()[()(1)]
ji ji j ki ji ji j j j j j w t w t o w t w t t t t t ησαθθησαθθ+=++--+=++--
111111 4.5032e-0041 4.5032e-004w x ηδ==⨯=
111212 4.5032e-00430.0014w x ηδ==⨯=
11101 4.5032e-004w ηδ==
1
12121(-0.0014)1-0.0014w x ηδ==⨯=
1
12222(-0.0014)3 0.0042w x ηδ==⨯=-
1
1202-0.0014
w ηδ==
221111 6.8910e-0040.1192 8.2141e-005w o ηδ==⨯=
221212 6.8910e-0040.7311 5.0380e-004w o ηδ==⨯=
22101 6.8910e-004w ηδ==
2221210.00360.1192 4.2912e-004w o ηδ==⨯=
2222220.00360.7311 0.0026w o ηδ==⨯=
222020.0036w ηδ==
(1)()1,2;0,1,2;1,2l
l
l
ji ji ji w iterate w iterate w l i j +=+===
（6）.当k 每经历1~P 后，判断指标是否满足精度要求： ;E εε≤：精度
判断神经网络逼近误差满足要求或迭代学习达到最大容许否？ max t y or iterate iterate ε-<≥
1iterate iterate =+；继续迭代计算直至满足终止条件为止。
（7）.结束。