经过神经网络的反复学习和多次结构调整 ,训 练样本中隐含的知识已经充分地转化为权值矩阵. 为了使神经网络的决策过程可以为人们理解 ,以便 提高人们对于决策结果的信心 ,必须采用相应的机 制将神经网络代表的决策模型用某种易于理解的语 言表达出来 ,神经网络规则抽取技术就是应这种需 求而产生的.
神经网络规则抽取主要完成从神经网络权值矩 阵到易于理解的符号规则的转化. 顾名思义 ,神经网 络规则抽取就是指在给定训练好后的神经网络及其 权值矩阵的情况下 ,从中抽取出可以为人们理解的 能够全面 、精确地描述网络决策行为的符号规则集 (例如 IF. . . THEN 形式的规则 ). 在一般情况下 ,通 过充分分析权值和偏差 (或阈值 )之间的关系可以 得到相应的规则. 采取这种规则抽取思想时 ,首先以 神经网络隐节点和输出节点为单位将网络分解为若
i = k +1
i =1
n
∑W i Xmi in ,式中 k表示当前所获规则的长度 , 即规则
i =k
前提条件中包含的属性数量 , Xmi in 表示 X i 取 Pi 中的
最小值.
3 系统运行结果分析
在应用该综合决策系统进行诸如船舶避碰辅助 决策时 ,根据实际会遇局面的不同 ,可能会出现如下 3种基本情况 : 1 )当面临的决策问题与训练实例集 中的某个实例的输入模式相同时 ,神经网络经过推 理得出的结果 ,就是与该训练实例相对应的输出 ,而 解释机制也能够从专家知识库中给出正确的解释说
1 综合决策系统结构
进行系统设计时 ,充分考虑了神经网络获取知 识的过程 ,以及神经网络的自适应学习能力 (增量 式学习 )和专家系统的解释能力 ,提出了一种将神 经网络和专家系统结合起来的综合决策系统结构. 该综合决策系统的体系结构框图如图 1所示.
1. 1 知识库
知识库由 2部分构成. 一部分为神经网络决策 知识库 ,表示为网络的权值矩阵 ,是知识库中的隐性 知识 ;另一部分为专家知识库 ,表示为相应的符号规 则 ,是知识库中的显性知识. 专家知识主要通过神经 网络规则抽取模型从神经网络知识库中抽取 ,还有
有采用降低计算复杂性的技术 ,因此它只适合于处
理小型问题 ,当网络较复杂时 ,连接子集搜索的空间
就会变得很大 ,产生组合爆炸问题. 为此 ,许多人在
此基础上提出了一 些改 进方 法. L iM in Fu 博士 在
Subset规则抽取算法的基础上提出的 KT算法在这
方面具有较广泛的代表性 [ 6 ] ,这种方法采用了一些
干单层网络的集合 ,然后对每一个子网进行搜索并
提取局部规则 ,最后对这些局部规则进行组合得到
描述整个网络特性的全局规则. 例如 , Saito和 Naka2
no (1988)提出的子集算法 ( Subset) [ 5 ] ,其基本思想
是寻找输入连接的子集 ,使其加权和超过输出神经
元的阈值. 但是 ,这种方法存在一定的缺陷 ,由于没
量式神经网络学习过程 ,然后 ,通过增量式规则抽取
系统的在线学习能力提高了系统的自适应能
模型 ,从神经网络知识库中抽取易于理解的符号规 力. 在最初构造神经网络知识库时 ,用来使神经网络
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.
部状态演变的轨迹与推理过程相对应 ,神经网络状 向推理过程中包括搜索 、匹配和回溯过程 ;而这里由
态演变过程的结束也就相应于推理过程的结束. 由 于决策结论已经通过神经网络模型推理得出 ,解释
于神经网络推理的并行数学计算过程取代了传统 模块只需根据已得出的结论在“显性知识库 ”中搜
A I符号处理中的匹配 、搜索 、回溯等过程 ,因而具有 索匹配的规则即可 ,省去了费时的回溯搜索过程.
第 14卷第 1期 2006年 6月
广州航海高等专科学校学报
JOURNAL OF GUANGZHOU MAR ITIM E COLLEGE
文章编号 : 1009 - 8526 (2006) 01 - 0029 - 04
Vol. 14 No. 1 Jun. 2006
神经网络和专家系统相结合的综合决策系统结构
机制开始工作 ,并从解释机制模块接收解释信息 ; 那里获取推理结论和结论的解释信息. 另一部分功
4)输出推理结果以及解释信息 ; 5)领域专家对输出 能就是在线学习功能. 在领域专家认为得出的结论
结果进行评估 ,如果领域专家认为需要进行在线学 不正确的情况下 ,需要在领域专家提供教师信息的
习 ,则领域专家给出教师信息训练神经网络 ,启动增 情况下进行在线学习 ,以提高系统的智能水平.
因此 ,专家系统和神经网络的优缺点具有互补 性. 专家系统具有很好的解释能力 ,但是存在知识获 取的“瓶颈 ”问题 ,并且知识库的建立要花费大量的 时间和费用. 而神经网络则能够在较短的时间内完 成知识的获取过程 ,但是它所获取的知识以及在运 用这些知识进行决策的过程是不为人所知的. 因此 ,
可以考虑一种由神经网络和专家系统相结合的综合 决策系统. 一方面 ,应用专家系统具备的良好的解释 说明能力弥补神经网络在理解性方面存在的缺陷 , 解决神经网络的“黑箱 ”问题 ; 另一方面 ,应用神经 网络技术对领域知识进行学习 ,然后运用各种规则 抽取模型从训练好的神经网络中抽取经过精炼的规 则 ,解决专家系统在知识获取方面存在的“瓶颈 ”问 题 [ 3 ]. 本文先给出神经网络和专家系统相结合的综 合决策系统的结构 ,然后再对这种结构存在的技术 难点进行论述.
个数学计算过程 ,它按照一定的算法 ,通过神经网络 情况下 ,这些通过解释推理得到的输入属性对于神
所含知识之间的关系 ,不断在问题求解空间进行并 经网络推理得到的结论应该有最大的影响力.
行“搜索 ”(计算 ) ,直至得出一个最终满意的解 ,此
该机制中所使用的逆向推理机制与一般专家系
时便相应于一个稳定的神经网络输出. 神经网络内 统中的逆向推理机制有所不同. 一般专家系统在逆
图 1 综合决策系统结构框图
则 ,放入符号规则库中.
1. 2 推理机制
1. 3 解释机制
系统推理基于神经网络的权值矩阵 ,与传统的
系统的解释机制根据神经网络推理得出的结
基于逻辑符号操作的推理机制不同 ,它赋予了“推 论 ,通过逆向推理机制 ,对知识库中的符号规则库进
理 ”这一概念新的含义 ,神经网络的推理过程是一 行搜索 ,建立与该结论最相关的用户输入信息. 一般
神经网络技术自 20 世纪 80 年代初复苏以来 , 已经在各个领域中得到了广泛的应用 ,它通过对训 练集的反复学习获取知识 ,具有直观性 、并行性 、鲁 棒性和抗噪性等特点 ,在存在噪声和数据不完备的 情况下能够高质量建模 [ 2 ]. 但是与基于符号的专家 系统相比 ,它的主要缺点是获取的知识隐含在网络 的一系列连接和权值中 ,内部处理过程无法为用户 理解 ,决策模型对于用户来说是一个“黑箱 ”. 因此 , 有必要建立一种解释机制 ,用规则取代权值矩阵 ,为 决策支持类应用提供完整的决策说明.
专家系统利用知识库中保存的大量知识 ,运用 知识推理的方法来解决决策问题 [ 1 ]. 专家系统进行 决策的能力直接受限于其知识库中拥有知识的水 平 ,而知识的获取往往是在建造一个专家系统时遇 到的“瓶颈 ”. 因此 ,如何解决专家系统构建过程中 知识获取的“瓶颈 ”问题 ,使知识库中的知识达到准 确 、完备 、一致 、简练的程度 ,限制了专家系统的进一 步发展.
启发式知识 ,能够抽取运用梯度下降的反传算法进
行学习的神经网络中隐含的符号规则 ,抽取的规则
为 IF. . . THEN. . . 形式的产生式规则 ,易于直接用
于专家系统的规则推理. 我们也开发出了一种“基
于权值重要度的规则抽取方法 ”[ 7 ].
但是上述算法只能在输入值为二值属性的情况
下使用 ,现在的神经网络中各输入属性大多为连续
2 系统关键技术分析
在设计的复合体系结构中 ,神经网络拓扑结构 的选择和自适应学习是基于权值矩阵的推理机制的 核心 ,也是系统实现的难点 ;而知识库则是对神经网 络决策过程进行解释的信息来源 ,主要通过规则抽 取模型来实现.
在构建神经网络决策模型中 ,输入输出节点比 较好确定 ,而要确定隐节点的数目和层数往往比较 困难. 如果在训练过程开始之前人为地设定最佳隐 节点数 ,往往不能取得满意的结果 ,隐节点数太多会 导致神经网络泛化能力降低 ,而隐节点数太少则不 能使神经网络充分学习数据. 当前 ,通常采用 2种选 择最佳隐节点数的方法 :第 1 种方法是以较少的网 络节点数开始训练 ,在训练过程中动态地增加隐节 点 ;第 2种方法以充分大的网络结构开始训练 ,在训 练过程中通过各种剪枝方法删除网络中多余的连接 和节点 [ 4 ] .
收稿日期 : 2006 - 04 - 10 作者简介 : 施平安 (1973 - ) ,男 ,讲师 ,主要从事人工智能与避碰决策研究.
© 1994-2010 China Academic Journal Electronic Publishing House. All rights reserved.
其集对应的输入属性分别为 X1 , X2 , …, Xn , 各输入
属性对应的取值范围分别为
P1 , P2 , …, Pn 1令
X
j i
表
示 Xi 取 Pi 中第 j个值 ,则可将规则抽取任务简单地
∑ ∑ k
n
k- 1
用公式表示为
:
W
i
X
j i
+
W i Xmi in ≥ T 且
W
i
X
j i
+
i =1
施平安 , 吴 唏
(海军兵种指挥学院 一系 ,广东 广州 510431)