神经网络基本原理
(2)从输出层到输入层有反馈的前向网络
从输出层到输入层有反馈的前向网络简称为反馈神 经网络。 网络中的神经元也是分层排列,但是输入层神经 元在学习过程中接受输出层神经元或部分输出层神经 元的反馈输入。
(3)层内有相互结合的前向网络
每一层的神经元除接受前一层神经元的输入之外, 也可接受同一层神经元的输入。 通过层内神经元之间的相互结合,可以实现同 层神经元之间横向的抑制或兴奋机制,从而可以限 制一层内能同时动作的神经元的个数,或者实现把 一层内的神经元分为若干组,每一组作为一个整体 来动作。
神经网络专家系统与一般专家系统的不同:
神经元知识库体现在神经元的连接强度(权值) 上,它是分布式存贮的,适合并行处理。 推理机是基于神经元的信息处理过程,以MP模 型位基础,采用数值计算方法。 神经元网络有成熟的学习算法。 容错性很好。
5.神经网络专家系统的结构
用户 知 识 工 程 师 学习 样本 确定 系统 框架 神经元 学习 知 识 库 实际问题参数 输入模型转换 推理机制 输出模型转换 形成 学习样本 实际问题结果
4.5.1 遗传算法原理
1.遗传算法的工作过程
首先将问题的每个可能的解按照某种形式进行编 码,编码后的解称为个体(染色体)。 随机选取N个个体构成初始种群,再根据预定的 评价函数对每个个体计算适应值,使得性能较好 的染色体具有较高的适应值。 选择适应值高的个体进行复制,通过遗传算子, 来产生一群新的更适应环境的个体,形成新的种 群。
(1)目的性。系统的学习行为有高度的目的性,即系 统必须知道学习什么。 (2)结构性。系统必须具备适当的知识存储结构来记 忆学到的知识,能够修改和完善知识表示与知识的 组织形式。 (3)有效性。系统学习到的知识应受到实践的检验, 新知识必须对改善系统的行为起到有益的作用。 (4)开放性。系统的能力应在实际使用过程中、在同 环境进行信息交互的过程中不断改进。
4)遗传算法使用的3种遗传算子是一种随机操 作,而不是确定规则。 5) 遗传算法的并行性。 6)易于介入到已有模型中,并具有可扩展性, 易于同别的技术结合使用。
4.5.2 遗传算法的应用
已知n个城市的地理位置(x,y),求经过所有城市, 并回到出发城市且每个城市仅经过一次的最短距离。
4.6.1 机器学习的概念
(4)相互结合型网络
这种网络中任意两个神经元之间都可能有连接。在不 含反馈的前向网络中,输入信号一旦通过某个神经元就将 输出这个信号的变换值。但是,在相互结合型网络中,输 入信号要在神经元之间反复往返传递,网络处于一种不断 改变状态的动态之中。从某初态开始,经过若干次的状态 变化,网络才会到达某种稳定状态,根据网络的结构和神 经元的映射特性,网络还有可能进入周期振荡或其他平衡 状态,如混沌状态。
编码和初始群体的形式
是
个体适应值满意否? 否
输出种群
选择 交叉 变异 产生新一代群体
1)群体种个体的编码
问题的编码就是将问题描述成位串的形式。一 般将问题的参数采用二进制位编码构成子串,再 将子串拼接起来构成位串。
2)适应值函数的确定
适应值函数(评价函数)是根据目标函数确定 的。适应值总是非负的,任何情况下,希望越大 越好。
机器学习的简单结构:
环境
学习元 知识库 执行元
• 环境向系统提供学习信息; • 学习元对这些信息进行整理、分析、归纳或类 比,生成新的知识元或改进知识库的组织结构; • 执行元以学习后得到的新知识库为基础,执行 一系列任务,并将执行结果报告学习元,以完 成对新知识库的评价,指导进一步的学习工作。
• 机器学习系统通常应该具有如下主要特征: 机器学习系统通常应该具有如下主要特征:
4.6.2 机器学习的分类
• 1.机械学习 • 2.示教学习(被告知学习) • 3.通过例子学习 • 4.解释学习 • 5.类比学习 • 6.发现学习
4)控制参数的设定
遗传算法中的参数包括群体中个体的数目、 交叉概率、变异概率等。 这些参数的设定随具体问题的不同将有所 不同,具有经验性,它会影响遗传算法的迭代 收敛过程。
2.遗传算法的基本特征
1)遗传算法的处理对象是问题参数的编码 个体(位串)。遗传算法要求将问题的参数 编码成长度有限的位串。 2)遗传算法的搜索是从问题解位串集开始 搜索,而不是从单个解开始。 3)遗传算法只使用目标函数来搜索,而不 需要导数等其他辅助信息。
4.4.3 神经网络的学习
1.无教师学习方法
基本思想:当输入的实例模式进入神经网络后,网络 按预先设定的规则自动调整权值。
2.有教师学习方法
基本思想:对实例k的输入,由神经网络根据当前的权值 分布W (k)计算网络的输出Y(W,k),把网络的计算输 出Y(W,k)与实例k的期望输出Y*(k)进行比较,根据两 者之间的差的某个函数的值来调整网络的权值分布,最 终使差的函数值达到最小。
3.神经网络的知识推理与解释
神经网络的知识推理有以下特点: 1)同一层神经元的计算是完全可并行的,层间的传播 是逐层串行的。神经网络的知识推理机制很适合实 现知识的并行推理。 2) 基于神经网络的专家系统的推理时间开销同基于 规则的专家系统的推理时间的开销比较,前者要少 得多。
3)基于神经网络的专家系统的解释器可以有一套输 入模式解释规则和—套输出模式解释规则,分别将 用户输入的符号逻辑概念转换成网络的数值输入模 式和把网络的数值输出模式转换成输出的符号逻辑 概念提供给用户。 由于基于神经网络的专家系统的知识表示是隐 式的、非局部的,因此,神经网络专家系统的解释 器难以像基于规则的专家系统那样,通过记录推理 过程使用的规则链,来向用户提供why询问和how询 问的解释。
4.4.4 神经网络专家系统
1.神经网络的知识表示
基于神经网络的知识表示方法有以下优点: 1)能够表示事物的复杂关系,如模糊因果关系。 2)具有统一的知识表示形式,便于知识的组织。知 识表示形式的通用性强。 3)便于实现知识的自动获取。 4)便于网络的知识推理。
2.神经网络的知识自动获取
神经网络是通过实例学习来实现知识自动获取的。 在进行知识获取时,要求领域专家提供学习实例及 其相应的期望解,经过网络自适应学习算法不断修改 网络的权值分布,一旦网络稳定后,就把领域专家求 解该问题的知识和经验(通过提供的学习实例来表示) 分布到网络的互连结构及权值分布上,从而得到推理 所需要的知识库。
1)确定系统框架 神经元个数 神经元网络层次 网络单元的连接 2)学习样本 学习样本是实际问题中已输入与输出结果 的实例、公认的原理、规则与事实;分为线性 样本与非线性样本。
3)学习算法 4)推理机 5)知识库 主要存放各个神经元之间的连接权值。 6)输入模型转换 将逻辑概念转换为数值形式。 7)输出模型转换 将数值形式的输出转换为逻辑概念。
3)遗传算子
① 选择算子(复制、繁殖算子)
选择是从种群种选择生命力强的个体产生新种群的过程。 选择的常用方法:比率法、排列法、比率排列法。
② 交叉算子(重组、配对算子)
首先在新复制的群体中随机选取两个个体; 然后,沿着这两个个体随机得取一个位置,二者互 换从该位置起的末尾部分。
③ 变异算子
变异就是以很小的概率,随机地改变字符串某 个位置上的值。 变异发生的概率很低,它提高遗传算法找到接 近最优接的能力,避免某些信息的永久性丢失,保 证了遗传算法的有效性。
4.6 机器学习的决策支持
4.6.1 机器学习的概念 4.6.2 机器学习的分类
4.4.1 神经网络的基本原理
பைடு நூலகம்1.神经元的数学模型
1943年,由麦克洛奇和皮兹提出,简称MP模型。
… …
树 突
细 胞 体
轴 突
i1,i2,…… in为神经元的输入量,Oi为神经 元的输入,W ij 为外面神经与该神经连接强度(即 权),θ为阀值,f(x)为该神经元的作用函数:
Oi=f(∑WijIi- θi)
n
i=1,2,……,
神经元的输入计算:
I=∑WijIi- θi
(i=1,2,……,)
2.神经元的作用函数:
(1)阶跃函数 (2)Sigmoid函数 (3)高斯型函数
4.4.2 神经网络的互连结构
(1)不含反馈的前向网络 不含反馈的前向网络的结构形态。网络中的神经元分 层排列,接受输入量的神经元节点组成输入层,产生输 出量的神经元节点组成输出层,中间层亦称为隐层,可 以有若干层隐层。每一层的神经元只接受前一层神经元 的输入,输入向量经过各层的顺序变换后,由输出层得 到输出向量。
第四章 智能决策支持系统和 智能技术的决策支持
第四节——第六节 第四节——第六节
4.4 神经网络的决策支持
4.4.1 4.4.2 4.4.3 4.4.4 神经网络的基本原理 神经网络的互连结构 神经网络的学习 神经网络专家系统
4.5 遗传算法的决策支持
4.5.1 遗传算法原理 4.5.2 遗传算法的应用