神经网络基本知识、BP神经网络一．概述1.1神经网络的定义人工神经网络(Artificial Neural Networks，简写为 ANNs)是由大量类似于生物神经元的处理单元相互连接而成的非线性复杂网络系统。

它是用一定的简单的数学模型来对生物神经网络结构进行描述，并在一定的算法指导下，使其能够在某种程度上模拟生物神经网络所具有的智能行为，解决传统算法所不能胜任的智能信息处理的问题。

它是巨量信息并行处理和大规模并行计算的基础，神经网络既是高度非线性动力学系统，又是自组织自适应系统，可用来描述认知、决策和控制的智能行为。

1.2 神经网络的发展历史对人工神经网络的研究始于 1943 年，经历 60 多年的发展，目前已经在许多工程研究领域得到了广泛应用。

但它并不是从一开始就倍受关注，它的发展道路曲折、几经兴衰，大致可以分为以下五个阶段：①奠基阶段：1943 年，由心理学家 McCulloch 和数学家 Pitts 合作，提出第一个神经计算模型，简称 M-P 模型，开创了神经网络研究这一革命性的思想。

②第一次高潮阶段：20 世纪 50 年代末 60 年代初，该阶段基本上确立了从系统的角度研究人工神经网络。

1957 年 Rosenblatt 提出的感知器(Perceptron)模型，可以通过监督学习建立模式判别能力。

③坚持阶段：随着神经网络研究的深入开展，人们遇到了来自认识、应用实现等方面的难题，一时难以解决。

神经网络的工作方式与当时占主要地位的、以数学离散符号推理为基本特征的人工智能大相径庭，但是更主要的原因是：当时的微电子技术无法为神经网络的研究提供有效的技术保证，使得在其后十几年内人们对神经网络的研究进入了一个低潮阶段。

④第二次高潮阶段：20 世纪 70 年代后期，由于神经网络研究者的突出成果，并且传统的人工智能理论和 Von.Neumann 型计算机在许多智能信息处理问题上遇到了挫折，而科学技术的发展又为人工神经网络的物质实现提供了基础，促使神经网络的研究进入了一个新的高潮阶段。

⑤快速发展阶段：自从对神经网络的研究进入第二次高潮以来，各种神经网络模型相继提出，其应用已经很快渗透到计算机图像处理、语音处理、优化计算、智能控制等领域，并取得了很大的发展。

综上所述，神经网络的研究虽然有起伏，出现了研究的高潮与低潮，但总的方向无疑还是正确的。

目前神经网络发展的重点是以应用为导向，研究和利用大脑神经网络的一些特性，设计出具有类似的某些大脑功能的智能系统。

神经网络正在蓬勃发展，其理论研究结果和应用范围一时还无法准确预料。

1.3 神经网络的特点①具有高速信息处理的能力神经网络是由大量的神经元广泛互连而成的系统，并行处理能力很强，因此具有高速信息处理的能力。

②神经网络的知识存储容量大在神经网络中，知识与信息的存储表现为神经元之间分布式的物理联系。

它分散地表示和存储于整个网络内的各神经元及其连线上。

每个神经元及其连线只表示一部分信息，而不是一个完整具体概念。

只有通过各神经元的分布式综合效果才能表达出特定的概念和知识。

③具有很强的不确定性信息处理能力由于神经网络中神经元个数众多以及整个网络存储信息容量的巨大，使得它具有很强的对不确定性信息的处理能力。

即使输入信息不完全、不准确或模糊不清，神经网络仍然能够联想思维存在于记忆中的事物的完整图像。

只要输入的模式接近于训练样本，系统就能给出正确的推理结论。

④具有很强的健壮性正是因为神经网络的结构特点和其信息存储的分布式特点，使得它相对于其它的判断识别系统，如专家系统等，具有另一个显著的优点：健壮性。

生物神经网络不会因为个别神经元的损失而失去对原有模式的记忆。

因某些原因，无论是网络的硬件实现还是软件实现中的某个或某些神经元失效，整个网络仍然能继续工作。

⑤一种具有高度非线性的系统神经网络同现行的计算机不同，是一种非线性的处理单元。

只有当神经元对所有的输入信号的综合处理结果超过某一阈值后才输出一个信号。

因此神经网络是一种具有高度非线性的系统。

它突破了传统的以线性处理为基础的数字电子计算机的局限，标志着人们智能信息处理能力和模拟人脑智能行为。

⑥十分强的自适应、自学习功能人工神经网络可以通过训练和学习来获取网络的权值与结构，呈现出很强的自学习能力和对环境的自适应能力。

1.4 神经网络的应用近年来，人工神经网络独特的结构和信息处理方法，使其在许多实际应用领 域中取得了显著的成绩。

神经网络的应用突出的领域有： ①模式识别。

如图像识别、语音识别、手写体识别等。

②信号处理。

包括特征提取、燥声抑制、统计预测、数据压缩、机器人视觉等。

③判释决策。

如模糊评判、市场分析、系统辩识、系统诊断、预测估值等。

1 ④组合优化。

包括旅行商问题、任务分配、排序问题、路由选择等。

⑤知识工程。

如知识表示、专家系统、自然语言处理和实时翻译系统等。

⑥复杂控制。

包括多变量自适应控制、变结构优化控制、并行分布控制、智能及鲁棒控制等。

二．基本问题和神经网络分类2.1神经元基本结构人工神经网络是由大量简单的基本元件—神经元(neuron)相互连接而成的自适应非线性动态系统，神经元是神经网络的基本处理单元，它一般是一个多输入单输出的非线性动态系统，其结构模型如图2.1所示图2.1神经元结构其中，i X 为神经元i 个神经元的输入信号，i W 为相应的突触强度或联结权值，()f ∙为激励函数，它是作用前面部分的加权和，O 为实际输出。

激励函数可取不同的函数，但常用的基本激励函数有三种，分别是阈值函 数(此时神经元的输出取1或0，反映了神经元的兴奋或抑制)、分段线性函数(这种形式的激励函数可看作是非线性放大器的近似)和 S 型(Sigmoid)函数, 它也是人工神经网络中最常用的激励函数。

人们还在不断研究新的激励函数，如用广义同余函数作激励函数。

2.2基本术语概念网络训练：要使网络模型实现某种功能，必须对它进行训练，让它逐步学会要做的事情，并把所学到的知识记忆在网络的权值中，人工神经网络的权值的确定不是通过计算，而是通过网络的自身训练来完成的。

调整权重类似于智能过程，网络最重要的信息存在于调整过的权重之中。

于是，神经网络的关键就在于如何决定每一神经元的权值。

网络学习：就是具体到了神经网络模型是怎么样确定最后的权重的，这就是学习的过程，相应的就有很多学习准则(方法)，往往网络的训练和网络的学习是放在一起讲的，都是通过样本集最后到确定好权重在模型中，以备下次使用。

由于训练网络权值的原理不同，从而形成各种各样的神经网络学习规则。

常用的学习规则有以下几种：(1)Hebb 规则它的基本规则可归纳为：如果某处理单元从另一个处理单元接受到一个输入，并且如果两个单元都处于高度活动状态，这时两单元的连接权重就要被加强。

(2)Delta 规则Delta 规则是常用的学习规则，其要点是改变单元间的连接权重来减小系统实际输出与应有输出间的误差。

这个规则也叫 Widrow 一 Hoff 规则，它首先应用于Adaline 模型中，也可称为最小均方差规则。

(3)反向传播学习方法此过程涉及两步，首先是正向传播，当数据输入网络，网络从前往后计算每一个单元输出，将每个单元的输出与应用的输出进行比较，并计算误差。

第二步是反向传播，从后向前重新计算误差，并修改权重。

完成这两步后，才能输入新的数据。

(4)Kohonen 学习规则该规则只用于无指导训练网络。

在学习过程中，处理单元竞争学习的机会。

具有高的输出单元是胜利者，有能力阻止它的竞争者并激发相邻的单元。

只有胜利者才能被输出，也只有胜利者与其相邻的单元可以调节权重。

(5)Grosberg 学习方法Grossberg 结合 Hebb 模型，建立了新的模型。

Grossberg 模型将每个神经网络划分为由星内(instars)和星外(Outstars)的单元组成。

星内单元是接受许多输入的处理单元，而星外单元是指其输出发送到许多其他处理单元的单元。

如果一个单元的输入和输出活动激烈，其权重的改变就比较大，如果总的输入或输出小，权重的变化就很小。

对不重要的连接，权重可能接近于零。

泛化能力：它是指经训练(学习)后的预测模型对未在训练集中出现(但具有统一规律性)的样本作出正确反映的能力，学习不是简单地记忆已经学过的输入，而是通过对有限个训练样本的学习，学到隐含在样本中的有关环境本身的内在规律性。

例如，在有导师学习的网络，通过对已有样本的学习，将所提取的样本把其中的非线性映射关系存在权值矩阵中，在其后的工作阶段，当向网络输入训练时未曾见过的非样本数据(与训练集同分布)时，网络也能完成由输入空间相输出空间的正确映射。

2.3神经网络分类到目前为止，人们已经提出了上百种人工神经网络模型，学习算法更是层出不穷。

但是，从人工神经网络的应用价值来看，研究最多的只有十几种，他们是从各个角度对生物神经系统不同层次的描述和模拟，表2-1给出了几种人工神经网络的典型模型。

表 2-1 人工神经网络的典型模型模型名称有师或无师学习规则正向或反向传播主要应用领域AG无Hebb律反向数据分类SG无Hebb律反向信息处理ART-I无竞争律反向模式分类DH无Hebb律反向语音处理CH无Hebb/竞争律反向组合优化AM无Hebb律反向模式存储ABAM无Hebb律反向信号处理CABAM无Hebb律反向组合优化FCM无Hebb律反向组合优化LM有Hebb律正向过程监控DR有Hebb律正向工程检测、控制LAM有Hebb律正向系统控制OLAM有Hebb律正向信号处理FAM有Hebb律正向知识处理BSB有误差修正正向实时分类Perceptron有误差修正正向线性分类、预测Adalin/Madaline有误差修正反向分类、噪声抑制BP有误差修正反向分类AVQ有误差修正反向数据自组织CPN有Hebb律反向自组织映射反向组合优化BM有Hebb/模拟退火CM有Hebb/模拟退反向组合优化火AHC有误差修正反向控制ARP有随机增大反向模式匹配、控制SNMF有Hebb律反向语音、图象处理而这些网络从结构上也仅可分为多层前向神经网络和动态递归网络两种。

前向神经网络是目前应用最广、发展最迅速的人工神经网络之一，其中， BP神经网络是多层前向神经网络的一种，也是人工神经网络模型中最典型、应用最广泛的一种网络模型。

在人工神经网络的实际应用中，80%～90%的人工神经网络模型是采用BP前向网络或它的变化形式。

如果按学习方式分为：有导师学习和无导师学习。

有导师学习也称为有监督学习。

在这种学习方式下，要对一组给定的输入提供应有的输出结果。

这组已知的输入－输出数据就称为训练数据。

网络根据训练数据的输入和输出来调节本身的权重，使网络的输出符合实际的输出。