现代对神经网络的研究可以追溯到 20 世纪 40 年代 Warren McCulloch 和 Walter Pitts 的工作[1]。他们从原理上证明了人工神经网络可以计算任何算术和逻辑函数。 通常认为他们的工作是神经网络领域研究工作的开始。 人工神经网络的第一个实际应用出现在 20 世纪 50 年代后期，Frank Rosenblatt 提出了感知机网络和学习规则。Rosenblatt 和他的同时构造了一个感知机网络，并 公开演示了它进行模式识别的能力。这次早期的成功引起了许多人对神经网络研究 的兴趣。但是，随之而来的 Minsky 和 Papert 的书，利用数学证明单层感知器所能 计算的根本局限。在有关多层感知器的一节中，他们认为没有任何理由假定单层感 知器的任何局限可以在多层情况下被克服。许多人受到 Minsky 和 Papert 的影响， 认为神经网络的研究己走入了死胡同。同时由于当时没有强大的数字计算机来支持 各种实验，从而导致许多研究者纷纷离开这一研究领域。神经网络的研究就这样停 滞了十年。 到了 80 年代， 随着个人计算机和工作站计算能力的急剧增强和广泛应用， 以及 不断引入新的概念，克服了摆在神经网络研究前面的障碍，人们对神经网络的研究 热情空前高涨。其中，最有影响的事件就是几个不同的研究者分别开发出了用于训 练多层感知机的反向传播算法(BP 算法)。该算法完全否定了 Minsky 和 Papert 对多 层感知机局限性的断言。这些新的进展对神经网络研究领域注入了活力。在过去的 20 年中，人们发表了成千上万的神经网络研究论文。由于多层神经网络的非线性和 自适应性等特点，神经网络己经在模式识别、人工智能、自动控制等领域获得了成 功的应用。 1．2 应用背景 研究者们起初在非自动知识获取的基础上增加自动化的功能，如拥有自学习能 力的知识编辑软件，之后开始研究在系统运行过程中如何应用简单的机器学习方法 增强知识库的自适应能力。经过多年的努力，基于机器学习的知识获取在文本知识 获取、领域知识获取、用户知识获取等方面已取得很多成绩。 当前，国内外相关内容的研究主要侧重于基于机器学习的知识获取，研究主要 集中在以下几个方面: (1)机器学习和知识获取理论的进一步探索
1, 若v ≥ 0 f (v ) = 0，若v < 0
(公式: 2.2)
该函数通常也称为阶跃函数。如图 2-2（a）所示。 此外，符号函数 Sgn(t)也常常作为神经元的激励函数。
1, 若vi = 0 Sgn(vi ) = − 1, 若vi Байду номын сангаас 0
2. Sigmoid 函数(Sigmoid Function )[6]
3.分析了智能识别的基本步骤，并指出智能识别的关键步骤是样本集的采取数 目及隐含层的应用，在函数应用上本文采用了 Levenberg-Marquardt BP 训练函数， 自适应 lrBP 的梯度递减训练函数，动量及自适应 lrBP 的梯度递减训练函数，通过 分析可以得到非印刷体数字识别结果 1．5 结构安排 论文主要讲述了知识获取的方法、人工神经网络(重点论述了 BP 算法及结构设 计)、基于 BP 算法的智能识别的设计与实现。全文共分五章: 第一章绪论，简要说明知识获取在专家系统中的地位等内容以及论文的研究内 容及主要工作。 第二章人工神经网络的概述，首先介绍了人工神经网络的相关概念:神经元模 型、激发函数，人工神经网络的计算特性及人工神经网络特点。 第三章 BP 算法，主要讲述了 BP 算法的数学推理及结构设计等 第四章基于 BP 算法的智能获取系统的实现，主要内容是知识获取的框架、训 练和测试、 ，实验测试及结果分析，实验结果的分析说明等。 第五章结束语，对全文研究工作的总结和展望
(3)大量互连必然会带来信息的分布式冗余表示。 前两个特征使神经网络具备了进行大规模并行计算的能力，后一个特征则使神 经网络具备了很好的容错和泛化能力。这使得神经网络在下述情形下具有特别的优 势:将大量数据根据某种属性分为较少数的类， 或利用大量数据进行具有较少数可能 结果的决策。 2.4 人工神经网络的特点 人 工 神经网络是由大量神 经元相互连接组成，显示出人脑的某些基本特 征:[10][11] ①分布存储和容错性 ②大规模并行处理 ③自学习、自组织性和自适应性 ④神经元网络是大量神经元的集体行为，表现出一般复杂非线性动态系统的特 征。 神经元可以处理一些环境信息复杂、 知识背景不清楚和推理规则不明确的问题。 通过对以上特征，可知人工神经网络具有以下优点: ①具有非常大的容错性 ②记忆的信息是分布式的存储方式 ③学习功能十分强大 ④具有较快的速度 2.5 小结 为了更好地理解人工神经网络的方法，本章首先简单介绍了人工神经网络的基 本理论。然后详细介绍了神经元的模型及一些重要的神经元的激发函数，接下来还 分别叙述了神经网络计算特性及特点，读者看完本章后，对神经网络应该有了初步 的掌握，但要想全面掌握，还要接着往下看。
图 2-3 为分段线性函数 2.3 人工神经网络的计算特性 神经网络可以视作一个黑箱式的信息处理系统，如图 2-4 所示[8]
图 2-4 神经网络信息处理示意图 神经网络由许多神经元组成的信息处理网络，它具有并行分布结构。每个神经 元具有单一输出，并且能够与其它神经元连接;存在许多(多重)输出连接方法，每种 连接方法对应一个连接权值。每当网络接收到外部信息时，便会输出一个经过加工 处理后的结果。根据神经网络的信息处理过程，可发现它具有如下的计算特征:[9] (1)每个神经元独立于其它神经元进行工作，且每个神经元在某一时刻的输出信 息仅依赖于当时来自与其互连的其它神经元的有效信息; (2)每个神经元只能对来自局部的信息进行加工处理，一个神经元只能处理与其 互连的其它神经元送来的信息，而除此之外的其它神经元的状态信息，不会影响其 处理过程;
图 2-1 人工神经元模型 在上图中，X1, X2……，Xn 是神经元的输入，即是来自前级 n 个神经元的轴突 的信息:8i 是 i 神经元的阀值:Wil, Wi2,…… Win 分别是 i 神经元对 Xl , X2……， Xn 的权系数，也即突触的传递效率;Yi 是 i 神经元的输出; f[·]是激活函数，它决定 i 神经元受到输人 X1, X2,……， Xn 的共同刺激达到阀值时以何种方式输出。 上述的 神经元模型，其数学模型表达式:
n u = i ∑ wij x j − θ i j =1 y = f (u ) i i
(公式: 2.1)
其中，Ui 又被称为诱导局部域。激活函数 f[·]通过诱导局部域 Ui 定义神经元 的输出。常用的激活函数有下面几种: 1)阀值函数 2)分段线性函数 3)sigmoid 函数 4)双曲函数 5)辐射基函数 2.2 神经元中的激发函数 神经元中常用的基本激励函数有以下三种 1.阀值函数(Threshold Function)[5]
(公式: 2.5)
图 2-2 神经元中的某些激发函数 3、分段线性函数(Piecewise-Linear Function )[7]
1, v ≥ 1 f (v) = v,1 > v > −1 − 1, v ≤ −1
(公式: 2.6)
该函数在[-1,1]线性区内的放大系统是一致的，这种形式的激励函数可以看作是 非线性放大器的近似。如图 2-3 所示。
第二章 人工神经网络
人工神经网络（Artificial Neural Network,ANN）是人工智能领域中的一个重要 分支，它是由大量的、简单的处理单元(或称神经元)广泛地互相连接而形成的复杂 网络系统，是抽象、简化与模拟大脑生物结构的计算模型，是一种大规模并行处理 非线性系统。它直接从数值化的实例中学习或将传统人工智能技术已获得的知识特 例转化为神经网络的分布式存储，具有自习、自组织、自适应、联想、模糊推理等 方面的能力。 2.1 神经元模型 神经元是一个多输入单输出的信息处理单元，而且，它对信息的处理是非线性 的。根据神经元的特性和功能，可以把神经元抽象为一个简单的数学模型。工程上 用人工神经元模型如图 2-1 所示。
(2)机器学习与知识获取的融合研究 (3)一些基于机器学习的知识获取技术应用 近年来面向对象的方法也被引入知识获取，称为面向对象的知识获取。此方法 获取知识可分为两步进行:首先确定问题领域及对象， 并按面向对象的方法对其进行 分解与分类;其次按对象及其属性，逐一构造决策树。[2] 更进一步，研究者开始把机器学习的理论和方法应用到知识库的构建过程而不 仅仅用于知识库的维护和更新。如 Okamura 1.等人将知识自动获取应用于钢铁工艺 生产专家系统， [3]而 Yamamoto S.等人则实现了高炉配料操作自动知识获取系统[4]， 我国中科院合肥智能所也开发了能通过归纳学习自动构建知识库的农业病虫害专家 系统。 1．3 研究意义 本课题以数字为背景构造专家系统的知识获取机制，将外界知识源中的信息转 化为系统可以识别和执行的形式，能够直接被推理机所使用，对系统下步的推理机 产生良好的数据支持。 专家的知识有限而分散，并且由于数字的多变给知识的获取、维护工作带来了 很大困难。首先，规则提取、知识库建立需要领域专家与知识工程师的密切合作。 专家经验的规则表达缺乏对专家思维过程的描述， 因而只能是表象的、 缺乏深度的， 有时甚至很难找到合适的，能够清楚表达领域知识的方式。其次，人工方式获取知 识的低效率和随意性必然使得专家系统的知识难以完备，这是一种效率非常低的知 识获取途径，人们常用“瓶颈”来形容它的困难性和必要性。最后，领域知识常常 是很复杂的，具有模糊性，难以明确界定。人工神经网络能够解决系统中的关系复 杂、边界模糊、不确定性强等难于用规则或数学模型来严格描述的问题。近年来， 神经网络技术研究用于数字智能知识工程中取得很大进展。 1．4 主要工作 1.介绍了 BP 算法及智能识别， 通过实验分析指出智能识别的数学模型和做出简 单可行的识别系统。 2.本文介绍了人工神经元网络基本原理，指出了神经网络之所以能够用于智能 识别的内在机理和独特优势。
第一章 绪论
1．1 研究历史 神经网络领域研究的背景工作始于 19 世纪末和 20 世纪初。它源于物理学、心 理学和神经生物学的跨学科研究， 主要代表人物有 Herman Von Helmholts,Ernst Mach 和 IvanPavlov[1]。这些早期的研究主要还是着重于有关学习、视觉和条件反射等一 般理论，并没有包含有关神经元工作的数学模型。