8
神经网络概述（6）
• 人工神经网络研究的局限性 局限性： 局限性 1. ANN研究受到脑科学研究成果的限制 2. ANN缺少一个完整、成熟的理论体系 3. ANN研究带有浓厚的策略和经验色彩 4. ANN与传统技术的接口不成熟
9
神经元结构与连接（1）
• 神经元是大脑处理信息的基本单元，人脑大约 由百亿个神经元组成，神经元互相连接成神经 网络。神经元以细胞体为主体，由许多向周围 延伸的不规则树枝状纤维构成的神经细胞，其 形状很像一棵枯树的枝干。主要由细胞体、树 突、轴突和突触（又称神经键）组成。
5
神经网络概述（3）
4. 适应与集成 适应与集成：网络能够适应在线运行，并能同 时进行定量和定性操作。神经网络的强适应和 信息融合能力使得它可以同时输入大量不同的 控制信号，解决输入信息间的互补和冗余问题， 并实现信息集成和融合处理。适于复杂、大规 模和多变量系统。 5. 硬件实现 硬件实现：神经网络不仅能够通过软件而且可 以借助硬件实现并行处理。一些超大规模集成 电路实现硬件已经问世，如神经计算机，它的 研制开始于20世纪80年代后期。“预言神”是 我国第一台研制成功的神经计算机。
神经元结构与连接（10）
• 无导师学习 • Hebb学习率 Hebb学习率：如果处理单元从另一个处理单元 学习率 接收到一个输入，并且两个单元都处于高度活 动状态，这时两单元间的连接权重就要被加强。 • 竞争与协同学习规则：利用不同层间或同一层 竞争与协同学习规则 内很近的神经元发生兴奋性连接，而距离较远 的神经元产生抑制性连接。 • 随机连接学习规则 随机连接学习规则：从统计力学、分子热力学 和概率论中关于系统稳态能量的标准出发，进 行神经网络学习的方式称概率式学习。如基于 模拟退火统计优化方法的玻尔兹曼机学习规则。 19
神经元结构与连接（8）
• 神经元互连基本形式（分为前馈和反馈两种）： 神经元互连基本形式（分为前馈和反馈两种）
… … … 输 层 输 … … 隐层 输 网络 … … 层 输 层 隐层 输 馈网络 层 输 层 隐层 输 连网络 层 17
层 隐层 输 层 层内 连网络
神经元结构与连接（9）
• 神经网络训练模式 训练模式： 训练模式 有导师学习：根据期望与实际的网络输出之间 1. 有导师学习 的差调整神经元连接的强度或权，训练方法主 要有Delta规则等。 2. 无导师学习：自动地适应连接权，以便按相似 无导师学习 特征把输入模式分组聚集，训练方法主要有H ebb学习律、竞争与协同学习规则、随机联接 学习规则等。 强化学习：不需要老师给出目标输出，采用一 3. 强化学习 个“评论员”来评价与给定输入相对应的神经 网络输出的优度。遗传算法就是一个例子。 18
神经计算
--吴广发 2011242002
1
神经计算-神经网络算法
• 在实际应用中经常遇到一些复杂优化问题，而 往往需要求解它的全局最优解。由于许多问题 具有多个局部最优解，特别是有些问题的目标 函数是非凸的、或是不可微的、甚至是不可表 达的。这样一来，传统的非线性规划问题算法 就不适用了。二十世纪以来，一些优秀的优化 算法，如神经计算、遗传算法、蚁群算法、模 拟退火算法等，通过模拟某些自然现象和过程 而得到发展，为解决复杂优化问题提供了新的 思路和手段。其中，神经计算是以神经网络为 基础的计算。
10
神经元结构与连接（2）
• 大脑神经网络是由神经元经突触与树突连接起 来形成的。 • 人工神经网络是由基本处理单元及其互连方法 决定的。
电脉冲 输 入 树 形成 细胞体 突 信息处理 传输 轴突 触 出 突 输
图 12.2 生物神经元功能模型
11
神经元结构与连接（3）
• 神经元的M-P模型，即将人工神经元的基本模 M 模型 型和激活函数合在一起构成人工神经元，称之 为处理单元。
25
BP网络及其应用举例（5）
• 问题描述 问题描述： • 基于神经网络及其模型优化技术，对大规模肉 鸡养殖中性能预测问题进行深入研究和建模实 现。大量的研究揭示了气象因素是影响家禽生 长的最重要的环节因素之一。 • 采用小鸡和成鸡的两阶段季节性因素进行建模， 即单因素两输入模型。 • 温度->上市率
21
BP网络及其应用举例（1）
• 感知器算法中，理想输出与实际输出之差被用 来估计直接到达该神经元的连接的权重的误差。 当为解决线性不可分问题而引入多级网络后， 如何估计网络隐藏层的神经元的误差就成了难 题。 • 反向传播网络（Back-Propagation Network， 反向传播网络 简称BP网络）在于利用输出层的误差来估计输 出层的直接前导层的误差，再用这个误差估计 更前一层的误差。如此下去，就获得了所有其 他各层的误差估计。这样就形成了将输出端表 现出的误差沿着与输入信号传送相反的方向逐22 级向网络的输入端传递的过程。
BP网络及其应用举例（2）
• BP算法是非循环多级网络的训练算法。权值的 调整采用反向传播的学习算法，它是一种多层 前向反馈神经网络，其神经元的变换函数是S 型函数（也可以采用其他处处可导的激活函 数）。输出量为0到1之间的连续量，它可实现 从输入到输出的任意的非线性映射。 • 反向传播采用的是Delta规则，按照梯度下降的 方向修正各连接权的权值。 • BP网络的缺陷 BP网络的缺陷 网络的缺陷：容易导致局部最小值、过度拟 合以及收敛速度较慢等。
24
BP网络及其应用举例（4）
• 一般地，BP网络的输入变量即为待分析系统的 内生变量（影响因子或自变量），一般根据专 业知识确定。输出变量即为系统待分析的外生 变量（系统性能指标或因变量），可以是一个， 也可以是多个。 • 事实上，增加隐藏层的层数和隐藏层神经元的 个数不一定总能够提高网络的精度和表达能力。 • 以下通过BP网络模拟程序的运行，展示网络训 练的过程以及实验证明上述论点。
6
神经网络概述（4）
• 我国第一台神经计算机面世的报道
7
神经网络概述（5）
• 一般而言，神经网络与经典计算方法相比并非 优越，只有当常规方法解决不了或效果不佳时 神经网络方法才能显示出其优越性。尤其对问 题的机理不甚了解或不能用数学模型表示的系 统，如故障诊断、特征提取和预测等问题，神 经网络往往是最有利的工具。另一方面，神经 网络对处理大量原始数据而不能用规则或公式 描述的问题，也表现出一定灵活性和自适应性。
15
神经元结构与连接（7）
• 神经网络每个节点均具有相同的结构，其动作 在时间和空间上均同步。模型主要考虑网络连 接的拓扑结构、神经元的特征、学习规则、传 递函数等。目前已有近40种不同神经网络模型。 • 实验表明，对大部分网络模型来说（也有例外 情况），W的各个元素不能用相同的数据进行 初始化，因为这样会使网络失去学习能力。一 般地，使用一系列小伪随机数对W进行初始化。 • “小随机数”用来保证网络不会因为权过大而 进入饱和状态，从而导致训练失败；“不同” 用来保证网络可以正常地学习。 16
4
神经网络概述（2）
• 人工神经网络的特性 特性 1. 并行分布处理 并行分布处理：网络具有良好的并行结构和并 行实现能力，因而具有较好的耐故障能力和总 体处理能力。 2. 非线性映射 非线性映射：网络固有的非线性特性，这源于 其近似任意非线性映射（变换）能力，尤其适 用于处理非线性问题。 3. 通过训练进行学习 通过训练进行学习：一个经过适当训练的神经 网络具有归纳全部数据的能力。因此适用于解 决那些由数学模型或描述规则难以解决的问题。
wij = wij + a ( y j − o j ) xi
14
神经元结构与连接（6）
• 无奖问答环节： • 感知器曾一度让人工神经网络展现出其独特的 功能和诱人的发展前景。但当Minsky严格地对 问题进行了分析，证明了单级网（感知器）无 法解决“异或”等最基本的问题时，人工神经 网络便从第一个高潮期进入了反思期。 • 那么如何理解感知器无法解决“异或”的问题 呢？
26
BP网络及其应用举例（6）
• 应用集均方差比对图
27
BP网络及其应用举例（7）
• 由于知识是分布表示的，所以人工神经网络可 以在实际应用中根据不断获取的经验来增加自 己的处理能力。因此，它的学习可以不是一次 完成的。这就要求在一定的范围内，网络在学 会新知识的同时，保持原来学会的东西不被忘 记。这种特性被称作可塑性。 • BP网络不具有这种可塑性。BP网络接收样本的 顺序也会对训练的结果有一定影响。比较而言， 它更“偏爱”较后出现的样本。因为BP根据后 来的样本修改网络的连接矩阵时，进行的是全 面的修改，这使得“信息的破坏”不是局部的。
20
神经元结构与连接（12）
• 神经网络的泛化性能还体现在网络对噪声应具 有一定的抗干扰能力上。最佳的泛化能力往往 出现在训练误差的全局最小点出现之前，最佳 泛化点出现存在一定的时间范围。理论上可以 证明在神经网络训练过程中，存在最优的停止 时间。 • 泛化特性的好坏取决于人工神经网络是否从训 练样本中找到内部的真正规律。影响泛化能力 影响泛化能力 的因素主要有：训练样本的质量和数量；网络 的因素 结构；问题本身的复杂程度。
23
BP网络及其应用举例（3）
• 多层BP网络 多层BP网络是一种具有三层或三层以上的多层 BP网络 神经网络，每一层都由若干个神经元组成，如 下图所示，它的左、右各层之间各个神经元实 现全连接，即左层的每个神经元与右层的每个 神经元都有连接，而层内的神经元无连接。
ri1 O1
ri2ቤተ መጻሕፍቲ ባይዱ
O2
rim
Om
y = f (σ )
13
神经元结构与连接（5）
• 寻找感知器网络的判定边界
1
wt p = 0
1
wt p + b = 0
• 感知器的学习是有导师学习，如：
0 p1 = , t1 = 0 0