13/20
1.2 发展历史 第二次研究高潮： 第二次研究高潮：八十年代初至现在
前面我们讲过，在60年代，由于缺乏新思想 和用于实验的高性能计算机，曾一度动摇了人们 对神经网络的研究兴趣。到了80年代，随着个人 计算机和工作站的计算能力的急剧增强和广泛应 用，以及不断引入新的概念，克服了摆在神经网 络研究面前的障碍，人们对神经网络的研究热情 空前高涨。
20/20
1.3 基本概念
一、前馈型神经网络
前馈型神经网络(Feed forward neural network)，又称前馈网络。如 图所示，神经元分层排列，有输入层、隐层(亦称中间层，可有若干层) 和输入层，每一层的神经元只接受前一层神经元的输入。从学习的观点 看前馈网络是一种强有力的学习系统，其结构简单而且易于编程:从系统 的观点，前馈网络是一静态非线性映射，通过简单非线性处理单元的复 合映射，可获得复杂的非线性处理能力。但从计算的观点看，缺乏丰富 的动力学行为。大部分前馈网络都是学习网络，它们的分类能力和模式 识别能力一般都强于反馈网络，典型的前馈网络有感知器、BP网络等。
12/20
1.2 发展历史
即使如此，20世纪70年代，科学家们仍然在 该领域开展了许多重要的工作。19721年，芬兰的 Kohonen开始从事随机连接变化表的研究工作。从 1972年开始，他很快集中到联想记忆方面。1968 年，Anderson具有基于神经元突触的激活联想记 忆模型的ANS模型开始工作。1973年和1977年又 把LAM应用到诸如 识别、重构和任意可视模式的 联想这样的问题上。这一时期，Stephen Grossberg 在自组织网络方面的研究也十分活跃。同时，东 京NHA广播科学研究室大阪大学教授Fukushima提 出了一种称为Neocognitron的神经网络，它是一个 视觉识别机制，与生物视觉理论相符合。
8/20
1.2 发展历史
1949年，心理学家D.O.Hebb发表了论著 《Tlle origanization ofbehavior》,提出来很多有价 值的观点，特别是他认为在一个神经网络里信息 是分布式地存储在突触连接的权值中，而权值可 以通过网络的学习来调整。Hebb同时提出了网络 学习的规则，即Hebbian规则，从而使神经网络具 有了可靠性。Hebb的工作对后来的神经网络结构 和算法产生了很大的影响，目前的一些神经网络 的学习规则仍在采用Hebbian规则或它的改进型规 则。
18/20
1.3 基本概念 人工神经元的一般模型
y i = f ( xi ) = f
∑
wij pi − θ i j =1
n
19/20
1.3 基本概念 神经网络的结构
人工神经网络是以工程技术手段来模拟人脑 神经元网络的结构与特性的系统。我们利用人工神 经元可以构成各种不同拓扑结构的神经网络，它是 生物神经网络的一种模拟和近似。就神经网络的主 要连接形式而育，目前己有数十种不同的神经网络 模型，其中前馈网络和反馈型网络是两种典型的结 构模型。
6/20
1.2 发展历史 萌芽期： 萌芽期：四十年代
神经网络的研究最早可以追溯到人类考试研 究自己智能的时期。这一时期截止到1949年。 1943年，心理学家W·Mcculloch和数理逻辑学家 W·Pitts在分析、总结神经元基本特性的基础上首 先从信息处理的观点出发，合作提出了一种简单 的人工神经元数学模型。在该模型中，神经元表 现为二个状态，即“兴奋”和“抑止”。此模型 沿用至今，并且直接影响着这一领域研究的进展。 因而，他们两人可称为人工神经网络研究的先驱。
16/20
1.3 基本概念 生物神经元的信息传递与处理
神经细胞单元的信息：宽度和幅度都相同的脉冲串 兴奋与抑制：轴突输出的脉冲串的频率高与低，决定神经 细胞是兴奋还是抑制。兴奋性的突触可能引起下一个神经 细胞兴奋，抑制性的突触使下一个神经细胞抑制。 膜电位加权：膜电位：神经细胞的细胞膜将细胞体内 外分开，从而使细胞体内外有不同的电位，一般内部电位 比外部低，其内外电位差称之为膜电位。 突触使神经细胞的膜电位发生变化，且电位的变化是 可以累加的，该神经细胞膜电位是它所有突触产生的电位 加权，当该神经细胞的膜电位升高到超过一个阈值时，就 会产生一个脉冲，从而总和的膜电位直接影响该神经细胞 兴奋发放的脉冲数。
4/20
1.1 概述
神经细胞利用电-化学过程交换信号。输入信号来自另一些神 经细胞。这些神经细胞的轴突末梢（也就是终端）和本神经细胞的 树突相遇形成突触（synapse），信号就从树突上的突触进入本细胞。 信号在大脑中实际怎样传输是一个相当复杂的过程，但就我们而言， 重要的是把它看成和现代的计算机一样，利用一系列的0和1来进行 操作。就是说，大脑的神经细胞也只有两种状态：兴奋（fire）和不 兴奋（即抑制）。发射信号的强度不变，变化的仅仅是频率。神经 细胞利用一种我们还不知道的方法,把所有从树突上突触进来的信号 进行相加，如果全部信号的总和超过某个阀值，就会激发神经细胞 进入兴奋（fire）状态，这时就会有一个电信号通过轴突发送出去给 其他神经细胞。如果信号总和没有达到阀值，神经细胞就不会兴奋 起来。这样的解释有点过分简单化，但已能满足我们的目的。 。
12年生物物理学家J.Hoppield教授提出了 Hoppield神经网络模型，引入了能量函数概念，这一 成果的取得使神经网络的研究取得了突破性进展。84 年他用此模型成功地解决了复杂度为NP的旅行商问 题(TSP) 。 1987年6 月在美国加州举行了第一届神经 网络国际会议。有一千多名学者参加，并成立了国际 神网络学会。后确定为每年召开两次国际联合神经网 络大会。1990年我国的863 高技术研究计划，批准了 关于人工神经网络的三项课题，自然科学基金与国防 科技预研基金也都把神经网络的研究列入选题指南， 对中选的课题提供研究上的资助。
9/20
1.2 发展历史 第一次研究高潮： 第一次研究高潮：五十至六十年代
1958年F·Rosenblatt设计制作了“感知机”， 它是一种多层的神经网络。用于模拟一个生物 视觉模型，第一次从理论研究转图工程实践阶段。 这是第一个真正的神经网络，因为它在IBM704 计算机上得到了成功的模拟。最初感知机的学习 机制是自组织的，响应的发生与随机的初始值有 关，后来加入了训练过程，这与后来的BP算法 和Kohone自组织算法类似。当时，世界上不少 实验室仿效感知机，设计出了各种各样的电子装 置。
11/20
1.2 发展历史 低潮时期： 低潮时期：六十年代末至七十年代
1969年，Minsky和Paper等发表了专著 《Perceptrons》，该书指出，简单的神经网络只能 进行线性分类和求解一阶谓词问题，而不能进行非 线性分类和解决比较复杂的高阶谓词问题，如XOR、 对称性判别和宇称等问题。在当时的技术条件下， 解决此类问题是极其困难的。该书在学术界产生正 反二方面的影响，它的副作用促使20世纪60年代人 们对神经网络研究的热情骤然下降，迅速转入低潮。 同时由于当时没有功能强大的数字计算机来支持各 种实验，从而导致许多研究者离开这一研究领域， 使神经网络的研究停滞了十多年。
2.1 2.2 2.3 2.4 2.5
3 最新研究进展 4 评价 主要参考文献
2/20
1.1 概述
What’s this?
• 大脑
Brain
重量: 重量 约1200－1500g － 体积: 体积 约600Cm3 神经元数: 神经元数 约1011个
3/20
1.1 概述
人工神经网络是仿照大脑中的神经网络来工作的，为了帮助 帮助理解，我们先来介绍一些生物神经网络的相关知识。神经细胞 的结构如下图所示。它由一个细胞体、一些树突、和一根可以很长 的轴突组成。树突由细胞体向各个方向长出，本身可有分支，是用 来接收信号的。轴突也有许多的分支。轴突通过分支的末梢和其他 神经细胞的树突相接触,形成所谓的突触一个神经细胞通过轴突和 突触把产生的信号送到其他的神经细胞。 。
1.什么是神经网络 什么是神经网络
1 什么是神经网络
1.1 1.2 1.3 1.4 概述 发展历史 基本概念 应用 RBF的发展简史 的发展简史 RBF的数学基础 的数学基础 RBF的数学模型 的数学模型 RBF的学习算法 的学习算法 解决XOR问题 用RBF解决 解决 问题
1/20
2
RBF神经网络 RBF神经网络
前馈型神经网络结构
21/20
1.3 基本概念
二、反馈型神经网络
反馈型神经网络(feedback neural network)，又称反馈网络，它的 结构如下图所示。若总节点(神经元)数为N，则每个节点有N个输入和 一个输出，也就是说，所有节点都是一样的，它们之间都可以相互连 接。反馈型神经网络是一种非线性动学系统，它需要工作一段时间才 能达到稳定。Hopfield神经网络是反馈网络中最简单且应用广泛的模 型 ， 它 具 有 联 想 记 忆 (content addressable memory ,CAM) 的 功 能 ， Hopfield神经网络还可以用来解决快速寻优问题。
14/20
1.2 发展历史
有二个概念对神经网络的复兴具有极其重大的 意义。 其一是：用统计机解释某些类型的递归网络的 操作，这类网络课作为两厢存储器。物理学家John Hopfiled 研究论文论述了这些思想。 其二是：在20世纪80年代，几个不同的研究者 分别开发出了用于训练多层感知机的反串算法。其 中最有影响力的反传算法是David Rumelhart 和 James McClelland提出的。该算法有力的回答了60年 代Minsky和Papert对神经网络的责难。
7/20
1.2 发展历史
1945年冯·诺依曼领导的设计小组试制成功存储程 序式电子计算机，标志着电子计算机时代的开始。 1948年，他在研究工作中比较了人脑结构与存储程序 式计算机的根本区别，提出了以简单神经元构成的再 生自动化网络结构。但是，由于指令存储式计算机技 术的发展非常迅速，迫使他放弃了神经网络研究的新 途径，继续投身于指令存储式计算机技术的研究，并 在此领域作出了巨大贡献。虽然，冯·诺依曼的名字是 与普通计算机联系在一起的，但他也是人人工神经网 络研究的先驱之一。