神经网络综述宁波工程学院Ningbo University of Technology摘要：神经网络可以指向两种，一个是生物神经网络，一个是人工神经网络。

生物神经网络：一般指生物的大脑神经元，细胞，触点等组成的网络，用于产生生物的意识，帮助生物进行思考和行动。

人工神经网络：是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。

在工程与学术界也常直接简称为“神经网络”或类神经网络。

Neural network can point the two, the one is biological neural network,the other one is artificial neural network.Biological neural networkis a kind likes Structure of synaptic connection of brain that can do the mathematical model of information processing .Biological neural networkis is uesd to produce biological consciousness, help to think and act.Artificial neural network is an abstraction and simulation of the basic characteristics of the human brain; and also it is a kind of imitating the behavior characteristics of Animal neural networks for distributed parallel algorithm which is for mathematical model of information processing.人的大脑和计算机技术一直是科技前沿的研究方向，自从神经网络的出现，两个不相干的领域慢慢地结合在一起。

但是神经网络是什么？有哪些作用？下面给出解释。

定义：思维学普遍认为，人类大脑的思维有三种基本方式，分为抽象（逻辑）思维、形象（直观）思维和灵感（顿悟）思维。

逻辑性的思维是根据逻辑规则进行推理的过程，这一过程可以写成指令，让计算机执行，获得结果。

而直观性（形象）的思维是将分布式存储的信息综合起来，结果是忽然间产生想法或解决问题的办法。

这种思维方式的有以下两个特点：一是信息通过神经元上的兴奋模式分布储在网络上；二是信息处理通过神经元之间同时相互作用的动态过程来完成的。

人工神经网络就是模拟第二种人类思维方式。

人工神经网络是由大量具备简单功能的人工神经元相互联接而成的自适应非线性动态系统。

虽然单个神经元的结构和功能比较简单，但大量神经元连接构成的网络系统行为却异常复杂。

人工神经网络基本功能模仿了人脑行为的若干基本特征，反映了人脑的基本功能，但并非人脑的真实写照，只是某种对人脑模仿、简化和抽象。

人工神经网络具有并行信息处理特征，依靠网络系统的复杂程度，通过调整内部大量节点之间相互连接的关系，适应环境、总结规则、完成某种运算、识别或过程控制，从而达到处理信息的目的。

人工神经网络作为模拟人脑活动的理论化算法数学模型，Hecht—Nielsen于1988年给人工神经网络下了如下定义：人工神经网络是一个并行、分布处理结构，它由处理单元及称为联接的无向信号通道互连而成。

这些处理单元（PE---Processing Element）具有局部内存，并可以完成局部操作。

每个处理单元有一个单一的输出联接，这个输出可以根据需要被分支成希望个数的许多并行联接，且这些并行联接都输出相同的信号，即相应处理单元的信号，信号的大小不因分支的多少而变化。

处理单元的输出信号可以是任何需要的数学模型，每个处理单元中进行的操作必须是完全局部的。

也就是说，它必须仅仅依赖于经过输入联接到达处理单元的所有输入信号的当前值和存储在处理单元局部内存中的值。

1.神经网络的介绍：神经细胞利用电-化学过程交换信号。

输入信号来自另一些神经细胞。

这些神经细胞的轴突末梢和本神经细胞的树突相遇形成突触，信号就从树突进入本细胞。

信号在大脑中实际传输过程可以看做是计算机一样，利用2进制0，1来进行操作。

就是说，大脑的神经细胞也只有两种状态：兴奋和抑制。

发射信号的强度不变，变化的仅仅是频率。

神经细胞利用一种我们还不知道的方法,把所有从树突上突触进来的信号进行相加，如果全部信号的总和超过某个阀值，就会激发神经细胞进入兴奋状态，这时就会有一个电信号通过轴突发送出去给其他神经细胞。

如果信号总和没有达到阀值，神经细胞就不会兴奋起来。

这样的解释有点过分简单化，但已能满足我们的目的。

2.神经网络的发展历史：1943年，心理学家W·Mcculloch和数理逻辑学家W·Pitts在分析、总结神经元基本特性的基础上首先提出神经元的数学模型。

此模型沿用至今，并且直接影响着这一领域研究的进展。

因而，他们两人可称为人工神经网络研究的先驱。

1945年冯·诺依曼领导的设计小组试制成功存储程序式电子计算机，标志着电子计算机时代的开始。

1948年，他在研究工作中比较了人脑结构与存储程序式计算机的根本区别，提出了以简单神经元构成的再生自动机网络结构。

但是，由于指令存储式计算机技术的发展非常迅速，迫使他放弃了神经网络研究的新途径，继续投身于指令存储式计算机技术的研究，并在此领域作出了巨大贡献。

虽然，冯·诺依曼的名字是与普通计算机联系在一起的，但他也是人工神经网络研究的先驱之一。

50年代末，F·Rosenblatt设计制作了“感知机”，它是一种多层的神经网络。

这项工作首次把人工神经网络的研究从理论探讨付诸工程实践。

当时，世界上许多实验室仿效制作感知机，分别应用于文字识别、声音识别、声纳信号识别以及学习记忆问题的研究。

然而，这次人工神经网络的研究高潮未能持续很久，许多人陆续放弃了这方面的研究工作，这是因为当时数字计算机的发展处于全盛时期，许多人误以为数字计算机可以解决人工智能、模式识别、专家系统等方面的一切问题，使感知机的工作得不到重视；其次，当时的电子技术工艺水平比较落后，主要的元件是电子管或晶体管，利用它们制作的神经网络体积庞大，价格昂贵，要制作在规模上与真实的神经网络相似是完全不可能的；另外，在1968年一本名为《感知机》的著作中指出线性感知机功能是有限的，它不能解决如异感这样的基本问题，而且多层网络还不能找到有效的计算方法，这些论点促使大批研究人员对于人工神经网络的前景失去信心。

60年代末期，人工神经网络的研究进入了低潮。

另外，在60年代初期，Widrow提出了自适应线性元件网络，这是一种连续取值的线性加权求和阈值网络。

后来，在此基础上发展了非线性多层自适应网络。

当时，这些工作虽未标出神经网络的名称，而实际上就是一种人工神经网络模型。

随着人们对感知机兴趣的衰退，神经网络的研究沉寂了相当长的时间。

80年代初期，模拟与数字混合的超大规模集成电路制作技术提高到新的水平，完全付诸实用化，此外，数字计算机的发展在若干应用领域遇到困难。

这一背景预示，向人工神经网络寻求出路的时机已经成熟。

美国的物理学家Hopfield于1982年和1984年在美国科学院院刊上发表了两篇关于人工神经网络研究的论文，引起了巨大的反响。

人们重新认识到神经网络的威力以及付诸应用的现实性。

随即，一大批学者和研究人员围绕着 Hopfield提出的方法展开了进一步的工作，形成了80年代中期以来人工神经网络的研究热潮。

3.神经网络的特点：①人工神经网络(ANN)为广泛连接的巨型系统。

神经科学研究表明，人类中枢神经的主要部分大脑皮层由10[11]～10[12]个神经元组成，每个神经元共有10[1]～10[5]个突触，突触为神经元之间的结合部，决定神经元之间的连接强度与性质。

这表明大脑皮层是一个广泛连接的巨型复杂系统，ANN的连接机制模仿了人脑的这一特性。

②人工神经网络(ANN)有其并行结构和并行处理机制。

ANN不但结构上是并行的，它的处理顺序也是并行的和同时的。

在同一层内处理单元都是同时操作的，即神经网络的计算功能分布在多个处理单元上。

③人工神经网络(ANN)的分布式结构使其具有和人脑一样的容错性和联想能力。

大脑具有很强的容错能力。

我们知道，每天都有大脑细胞死去，但并没有影响人们的记忆和思考能力。

这正是因为大脑对信息的存储是通过改变突触的功能实现的，信息存储于神经元连接强度的分布上，存储区和操作区合二为一，不同信息之间自然沟通，其处理也为大规模连续时间模式。

而存储知识的获得采用“联想”的办法。

这类似人类和动物的联想记忆，当一个神经网络输入一个激励时，它要在已存储的知识中寻找与输入匹配最好的存储知识为其解。

④人工神经网络(ANN)具有自学习、自组织、自适应能力。

大脑功能受先天因素的制约，但后天因素（如经历、学习和训练等）也起着重要作用。

ANN很好地模拟了人脑的这一特性。

如果最后的输出不正确，系统可以调整加到每个输入上去的权重以产生一个新的结果，这可以通过一定的训练算法来实现。

训练过程是复杂的，通过网络进行重复地输入数据，且每次都调整权重以改善结果，最终达到所希望的输出。

在训练过程中网络便得到了经验。

理论研究表明，选择合适的ANN能够实现任何连续映射，通过对样本的学习，ANN表现出分类、概括和联想的能力。

人工神经网络（Artificial Neural Networks，ANNs），也简称为神经网络（NNs），是模拟生物神经网络进行信息处理的一种数学模型。

它以对大脑的生理研究成果为基础，其目的在于模拟大脑的某些机理与机制，实现一些特定的功能。

目前，人工神经网络已应用于很多领域。

本章主要对人工神经网络的基本理论做一个全面简要的介绍。

4.神经网络的发展意义：以神经网络研究为开端，整个学术界对计算的概念和作用有了新的认识和提高。

计算并不局限于数学中，并不仅仅采用逻辑的、离散的形式，而且大量的运算表现在对模拟量的并行计算。

对于后一类计算，传统的计算机无法施展其威力。

神经网络的数学理论本质上是非线性的数学理论，因此，现代非线性科学方面的进展必将推动神经网络的研究，同时，神经网络理论也会对非线性科学提出新课题。

神经网络研究的对象是神经系统，这是高度进化的复杂系统，也是系统科学中一个重要的具体领域。

神经网络研究不仅重视系统的动态特性，而且强调事件和信息在系统内部的表达和产生。

5.神经网络的应用：近些年来神经网络在众多领域得到了广泛的运用。