本栏目责任编辑：唐一东人工智能及识别技术Computer Knowledge And Technology 电脑知识与技术2008年第4卷第3期（总第30期）人工神经网络研究与发展综述王辉（新疆石油学院，新疆乌鲁木齐830000）摘要：本文综述了神经网络理论发展的历史和现状，讨论了人工神经网络的两个主要研究方向:神经网络的VC 维计算和神经网络的数据挖掘，也介绍了神经网络计算理论、方法、应用等不同层面的一些重要研究领域。

关键词：神经网络；VC 维；数据挖掘中图分类号：TP183文献标识码：A 文章编号：1009-3044(2008)30-0710-02A Review of the Research and Development of the Artificial Neural Nets WANG Hui(Xinjiang Petroleum Institute,Urumqi 830000,China)Abstract:This paper reviews the history and the current situation of the theory of neural nets.It discusses two aspects:the Vapnik-Cher -vonenkis dimension calculation and the data mining in neural nets.It also touches upon such research areas as calculation theory,methods and application of neural nets.Key words:neural nets;Vapnik-Chervonenkis dimension;Data Mining1引言本世纪初，科学家们就一直探究大脑构筑函数和思维运行机理。

特别是近二十年来。

对大脑有关的感觉器官的仿生做了不少工作，人脑含有数亿个神经元，并以特殊的复杂形式组成在一起，它能够在计算某些问题（如难以用数学描述或非确定性问题等）时，比目前最快的计算机还要快许多倍。

大脑的信号传导速度要比电子元件的信号传导要慢百万倍，然而，大脑的信息处理速度比电子元件的处理速度快许多倍，因此科学家推测大脑的信息处理方式和思维方式是非常复杂的，是一个复杂并行信息处理系统。

1943年McCulloch 和Pitts 结合了神经生理学和数理逻辑的研究描述了一个神经网络的逻辑演算。

他们的神经元模型假定遵循一种所谓“有或无”(all-or-none)规则。

如果如此简单的神经元数目足够多和适当设置突触连接并且同步操作，McCulloch 和Pitts 证明这样构成的网络原则上可以计算任何可计算的函数，这标志着神经网络学科的诞生。

2发展历史及现状2.1人工神经网络理论的形成早在40年代初，神经解剖学、神经生理学、心理学以及人脑神经元的电生理的研究等都富有成果。

其中，神经生物学家McCulloch 提倡数字化具有特别意义。

他与青年数学家Pitts 合作[1]，从人脑信息处理观点出发，采用数理模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性，他们提出了第一个神经计算模型，即神经元的阈值元件模型，简称MP 模型，他们主要贡献在于结点的并行计算能力很强，为计算神经行为的某此方面提供了可能性，从而开创了神经网络的研究。

50年代初，神经网络理论具备了初步模拟实验的条件。

Rochester ，Holland 与IBM 公司的研究人员合作，他们通过网络吸取经验来调节强度，以这种方式模拟Hebb 的学习规则，在IBM701计算机上运行，取得了成功，几乎有大脑的处理风格。

但最大规模的模拟神经网络也只有1000个神经元，而每个神经元又只有16个结合点。

再往下做试验，便受到计算机的限制。

人工智能的另一个主要创始人Minsky 于1954年对神经系统如何能够学习进行了研究，并把这种想法写入他的博士论文中，后来他对Rosenblatt 建立的感知器(Perceptron)的学习模型作了深入分析。

2.2第一阶段的研究与发展1958年计算机科学家Rosenblatt 基于MP 模型，增加了学习机制，推广了MP 模型。

他证明了两层感知器能够将输入分为两类，假如这两种类型是线性并可分，也就是一个超平面能将输入空间分割，其感知器收敛定理：输入和输出层之间的权重的调节正比于计算输出值与期望输出之差。

他提出的感知器模型，首次把神经网络理论付诸工程实现。

1960年Widrow 和Hoff 提出了自适应线性元件ADACINE 网络模型，是一种连续取值的线性网络，主要用于自适应系统。

他们研究了一定条件下输入为线性可分问题，期望响应与计算响应的误差可能搜索到全局最小值，网络经过训练抵消通信中的回波和噪声，它还可应用在天气预报方面。

这是第一个对实际问题起作用的神经网络。

可以说，他们对分段线性网络的训练有一定作用，是自适应控制的理论基础。

Widrow 等人在70年代，以此为基础扩充了ADALINE 的学习能力，80年代他们得到了一种多层学习算法。

Holland 于1960年在基因遗传算法及选择问题的数学方法分析和基本理论的研究中，建立了遗传算法理论。

遗传算法是一种借鉴生物界自然选择和自然遗传机制的高度并行、随机、自适应搜索算法，从而开拓了神经网络理论的一个新的研究方向。

1976年Grossberg 提出自适应共振理论(ART)，这是感知器较完善的模型，即superrised 学习方式。

本质上说，仍是一种unsuperrised 学习方式。

随后，他与Carpenter 一起研究ART 网络，它有两种结构ART1和ART2，能够识别或分类任意多个复杂的二元输入图像，其学习过程有自组织和自稳定的特征，一般认为它是一种先进的学习模型。

另外还有Werbos 提出的BP 理论以及提出的反向传播原理；收稿日期：2008-08-01作者简介：王辉，男，新疆石油学院计算机科学与技术系资深讲师，1998年于西安石油大学计算机系获得工学士，现于北京石油大学计算机系攻读硕士，一直致力于软件技术开发的研究，主要研究方向：人工智能，神经网络，软件设计模式与构架。

ISSN 1009-3044Computer Knowledge And Technology 电脑知识与技术Vol.4,No.3,October 2008,pp.710-711E-mail:eduf@ Tel:+86-551-56909635690964710王辉：人工神经网络研究与发展综述Fukushima提出了视觉图象识别的Neocognitron模型这些研究成果坚定的神经网络理论的继续研究。

2.3第二次研究的高潮阶段Hopfield于1982年至1986年提出了神经网络集体运算功能的理论框架，随后，引起许多学者研究Hopfield网络的热潮，对它作改进、提高、补充、变形等，至今仍在进行，推动了神经网络的发展。

1983年Kirkpatrick等人先认识到模拟退火算法可应用于NP 完全组合优化问题的求解。

这种思想最早是由Metropolis等人在1953年提出的，即固体热平衡问题，通过模拟高温物体退火过程的方法，来找全局最优或近似全局最优，并给出了算法的接受准则。

这是一种很有效的近似算法。

1984年Hinton等人提出了Boltzmann 机模型，借用统计物理学中的概念和方法，引入了模拟退火方法，可用于设计分类和学习算法方面，并首次表明多层网络是可训练的。

Sejnowski于1986年对它进行了改进，提出了高阶Boltzmann机和快速退火等。

1986年Rumelhart和McClelland合著的Parallel Distributed Processing:Exploratio n in the Microstructures of Cognition两卷书出版，对神经网络的进展起了极大的推动作用。

它展示了PDP研究集团的最高水平，包括了物理学、数学、分子生物学、神经科学、心理学和计算机科学等许多相关学科的著名学者从不同研究方向或领域取得的成果。

他们建立了并行分布处理理论，主要致力于认知的微观研究。

尤其是，Rumelhart提出了多层网络Back-Propagation法或称Error Propagation法，这就是后来著名的BP算法。

2.4新发展阶段90年代以来，人们较多地关注非线性系统的控制问题，通过神经网络方法来解决这类问题已取得了突出的成果，它是一个重要的研究领域。

1990年Narendra和Parthasarathy提出了一种推广的动态神经网络系统及其连接权的学习算法，它可表示非线性特性，增强了鲁棒性。

他们给出了一种新的辨识与控制方案，以multilayer网络与recarrent网络统一的模型描述非线性动态系统，并提出了动态BP参数在线调节方法。

尤其是进化计算的概念在1992年形成，促进了这一理论的发展。

1993年诞生了国际性杂志Evo-lutionary Computation。

近几年它成为一个热点研究领域。

1993年Yip和Pao提出了一种带区域指引的进化模拟退火算法，他们将进化策略引入区域指引，它经过选优过程，最终达到求解问题的目的。

从上述各个阶段发展轨迹来看，神经网络理论有更强的数学性质和生物学特征，尤其是神经科学、心理学和认识科学等方面提出一些重大问题，是向神经网络理论研究的新挑战，因而也是它发展的最大机会。

90年代神经网络理论日益变得更加外向，注视着自身与科学技术之间的相互作用，不断产生具有重要意义的概念和方法，并形成良好的工具。

3神经网络的发展趋势3.1神经网络VC维计算神经计算技术已经在很多领域得到了成功的应用，但由于缺少一个统一的理论框架，经验性成分相当高。

最近十年里，很多研究者都力图在一个统一的框架下来考虑学习与泛化的问题。

PAC(Probably Approximately Correct)学习模型就是这样一个框架。

作为PAC学习的核心以及学习系统学习能力的度量，VC维(Vapnik-Chervonenkis dimension)在确定神经网络的容量(capacity)、泛化能力(generalization)、训练集规模等的关系上有重要作用。

如果可以计算出神经网络的VC维，则我们可以估计出要训练该网络所需的训练集规模；反之，在给定一个训练集以及最大近似误差时，可以确定所需要的网络结构。

Anthony将VC维定义为：设F为一个从n维向量集X到{0,1}的函数族，则F的VC维为X的子集E的最大元素数，其中E满足：对于任意S哿E，总存在函数f s∈F，使得当x∈S时f s(x)=1，x埸S但x∈E时f s(x)=0。