神经网络具有的基本特性：
（1）分布存储和容错性。信息在神经网络中的存 储是按内容分布于许多神经元中的，部分神经元 的损坏不会影响整个网络的信息恢复。
（2）自适应性与自组织性。神经元之间的连接具 有多样性，各神经元之间的连接强度具有可调性， 这使得神经网络可以通过学习和训练进行自组织。
（3）并行处理性。网络的各单元可以同时进行类 似的处理过程，整个网络的信息处理方式是大规 模并行的，处理速度快。
（4）能以任意精度逼近任意的非线性函数关系。
2. 活化（激活）函数 1) 线性函数
2) 硬限函数
这些成功的研究对第二次神经网络研究高潮的形成 起了决定性的作用。
二、人工神经网络基础
1. 人工神经元模型
人脑由相互连接的神经元(神经细胞)组成(1012）。人工 神经网络是对人或动物脑神经若干基本特性的抽象和模拟。
生物神经元的模型：
生物神经元由
细胞体、树突和 轴突组成。
（输出）
树突和轴突负责传入和传出信息。兴（输奋入性） 的冲动沿树突 抵达细胞体，在细胞膜上累积形成兴奋性电位；相反，抑 制性冲动到达细胞膜则形成抑制性电位。两种电位进行累 加，若代数和超过某个阈值，神经元将产生冲动。
神经网络控制是一种基本上不依赖于模型的控制方 法。适用于具有不确定或高度非线性的控制对象。因 此是智能控制的一个重要分支。
一、 神经网络的研究发展简介
1. 第一次神经网络研究高潮
对大脑神经元的研究表明，当其处于兴奋状态时，输 出侧的轴突就会发出脉冲信号，每个神经元的树状突 起与来自其它神经元轴突的互相结合部---突触接收由 轴突传来的信号。如果大脑神经元所接收到的信号的 总和超过了它本身的“阈值”，该神经元就会处于兴 奋状态，并向它后续连接的神经元发出脉冲信号。
2．第二次神经网络研究高潮 1982年，美国物理学家Hopfield对神经网络的动 态特性进行了研究，提出了所谓Hopfield神经网络 模型。 Hopfield模型的动作原理是： 若由神经元兴奋的算法和神经元之间的结合强度所决 定的神经网络的状态，在适当给定的兴奋模式下尚未 达到稳定，那么该状态就会一直变化下去，直到预先 定义的一个能量函数达到极小值时，状态才达到稳定 而不再变化。 1985年，Hopfield和D．W．Tank用上述模型求解 了 古 典 的 旅 行 推 销 商 问 题 ( Traveling Salesman Problem)，简称TSP问题。
感知机是现代神经计算的出发点。Block于1962年 用解析法证明了感知机的学习收敛定理。正是由于这 一定理的存在，才使得感知机的理论具有实际的意义， 并引发了60年代以感知机为代表的第一次神经网络研 究发展的高潮。
B．Widrow 在 稍 后 于 感 知 机 一 些 时 候 提 出 了 Adline分类学习机。它在结构上与感知机相似，但 在学习法则上采用了最小二乘平均误差法。
单个脑神经元构造复杂，人工神经元仅模拟了最 基本的功能。
知识存储 计算机中知识是静态存储在编址的记忆单元中。
人脑中，知识存储在神经元之间的连接关系中。新 知识调整连接关系，具有适应性。 容错能力
人脑有较好的容错能力，部分神经元的损坏不影 响整体性能。通常的计算机不具备这样的能力。
人工神经网络(简称神经网络)也是由大量的、功能比 较简单神经元互相连接而构成的复杂网络系统，用它 可以模拟大脑的许多基本功能。
生物神经网络系统与计算机处理信息比较
处理速度 计算机处理单个信息在us和ns级，脑神经元对外
部激励响应在ms级。 处理顺序
计算机是串行处理，人脑处理是并型的，具有很 强的综合处理能力。 处理单元数目及复杂程度
人脑大约有1011-1014 个神经元，每个神经元大约 与 103-104个其他神经元相连接。人工神经网络没有 这样的规模。
第二部分 神经网络控制
以冯·诺依曼型计算机为中心的信息处理技术的 高速发展，使得计算机在当今的信息化社会中起着 十分重要的作用。但是，当用它来解决某些人工智 能问题时却遇到了很大的困难。
大脑是由生物神经元构成的巨型网络，是一种大规 模的并行处理系统，它具有学习、联想记忆、综合、 思维、情感等能力，并有巧妙的信息处理方法。
1983年，S．E．Farmann和Hiton提出了波尔兹 曼机BM(Boltzmann Machine)，该神经网络模型 中使用了概率动作的神经元，把神经元的输出函数与 统计力学中的波尔兹曼分布联系起来。
80年代中期，误差反向传播神经网络BP (Error Back Propagation Neural Network)是1986年由 Rumelhart 和 Hinton 提 出 的 。 彻 底 消 除 了 M．Minsky《Perc确的分类。当输入模式是线性不可分离时，则无论 怎样调节突触的结合强度和阂值的大小也不可能对 输入进行正确的分类。
M．Minsky和S. Papert进一步发展了感知机的 理论，他们把感知机定义为一种逻辑函数的学习机。 从理论上指出了简单神经网络不能解决非线性分类， 必须加隐含单元。但是难找到合适的学习算法。 人 工神经网络研究进入低谷。
1943年，心理学家W．S．McCulloch和数理逻辑 学家W．Pitts根据上述研究发表了他们的生物脑神 经元模型，通常称为M-P模型。
1949年，心理学家D．O．Hebb 提出了神经元的 学习法则：“神经元间连接强度随神经元活动而变 化”，即Hebb法则。
50年代末，F．Rosenblatt基于上述原理提出了一 种模式识别机，即感知机(Perceptron)模型。
模仿生物神经元产生冲动的过程，可以建立一个典型 的人工神经元数学模型：
神经元收到的输入信息：
n
s j wji xi j xT wj j i 1
令x0 j , wj0 1
n
s j wji xi xT wj i0
神经元的输出：y j f (s j ) f(.)称为活化函数或激发函数