对21世纪技术创新浪潮
脑科学
脑科学从分子水平、 细胞水平、行为水平 研究脑结构, 建立脑 模型，揭示自然智能 机理和脑本质。
硬件系统
神经网络
认知科学
认知科学是研究人类感知、学习、记忆、思维、 意识等人脑心智活动过程的科学。 学习、记忆在脑内如何发生，是神经生物学的核心 问题之一。学习导致神经系统结构和功能上的精细 修饰，形成记忆痕迹。揭示学习、记忆的神经机制， 对理解人类智力的本质具有重大意义。 软件系统
石油化学 电子 航空
水力 纺织 铁 创 新 步 伐
1785
蒸汽 铁路 钢 机械化
电 化学品 内燃机
铁路化
电气化 电子化 数字化
第一次浪潮 1845
第二次浪潮 1900
第三次浪潮
第四次浪潮
第五次浪潮
1950
1990 1999 2020
60年
55年
50年
40年
30年
对21世纪技术创新浪潮
数字网络 软件 新媒体 创 新 步 伐
– 将可能无限域的输入变换成指定的有限范围 内的输出。
人工神经网络
常用激活函数
1、阈值型（硬限制型）：
将任意输入转换为0或1的输出。
输入/输出关系：
A f (W * P b)
1 W *P b 0 0 W *P b 0
人工神经网络
阈值型激活函数：
(a) 没有偏差的阈值型激活函数 (b) 带有偏差的阈值型激活函数
第一次浪潮 第二次浪潮 第三次浪潮 第四次浪潮
生物基因 （蛋白质） 纳米材料
脑科学 智能技术
？？？ ？？？
1990
2020
2050
2080
2100
对21世纪技术创新浪潮 科学发展大趋势 ——智能科学
( Nature 409, 2001 )
对21世纪技术创新浪潮
智能科学是一门交叉学科，主要由： 脑科学 认知科学 人工智能 等学科共同研究智能行为的基本理论和实现 技术。
人工神经网络
2、线性型： 网络的输出等于加权输入和加上偏差。
A f (W * P b) W * P b
人工神经网络
线性激活函数：
(a) 没有偏差的线型激活函数
(b) 带有偏差的线型激活函数
人工神经网络
3、S型（Sigmoid）： 将任意的输入值压缩到（0，1）的范围内。
常用对数或双曲正切等一类S形状的曲线表示。
第一章 绪 论
科学发展大趋势
New Society
New Education
Info Bio Enhancing Human Performance Nano Cogno
New Sciences
New Industries
New Applications New Humanbeing
技术创新浪潮的经济长波规律
1)1982年，J. Hopfield提出循环网络
–用Lyapunov函数作为网络性能判定的能量函数， 建立ANN稳定性的判别依据 –阐明了ANN与动力学的关系 –用非线性动力学的方法来研究ANN的特性 –指出信息被存放在网络中神经元的联接上
人工神经网络
2）1984年， J. Hopfield设计研制了后来被人 们称为Hopfield网的电路。较好地解决了 著名的TSP问题，找到了最佳解的近似解， 引起了较大的轰动。 3）1985年，UCSD的Hinton、Sejnowsky、 Rumelhart等人所在的并行分布处理 （PDP）小组的研究者在Hopfield网络中 引入了随机机制，提出所谓的Boltzmann 机。
人工智能
用人工的方法和技术，模仿、延伸和扩展人 的 智能, 实现机器智能。
仿真系统
人工神经网络
人工神经网络是当前人工智能领域最领人感兴趣和 最富有魅力的研究课题之一。
人工神经网络是由大量的、功能比较简单的形 式神经元互相连接而构成的复杂网络系统，可以模 拟大脑的许多基本功能和简单的思维方式。通过学 习来获取外部的知识并存贮在网络内，在解决诸如 语音和图像的识别、理解、知识的处理、组合优化 计算和智能控制等一系列本质上为非计算的问题方 面表现突出。
p1 w11 w1s p2 w2s … pr … wr1 a1
b1
a2Biblioteka b2… aswrs 输入层
bs
输出层
人工神经网络
输入输出函数：
As1 F (Wsr * Pr1 Bs1 )
网络权矩阵为：
Wsr
w11 w 11 ws1
w12 w11 ws 2
w1r w11 wsr
反馈网络
反馈网络结构图 输出的初始状态由输入矢量决定后，随着网络的不 断运行，从输出反馈到输入的信号不断改变，反馈 网络表现出暂态特性，具有收敛或震荡特性。
第三节 人工神经网络应用领域
应用领域
• 模式信息处理和模式识别
图形、符号、手写体及语言识别；雷达及声纳等 目标识别；药物构效关系等化学模式信息辨识； 机器人视觉、听觉；各种最近相邻模式聚类及识 别分类；
• 最优化问题计算
组合优化、条件约束优化，如任务分配、货物调 度、路径选择、组合编码排序、系统规划、交通 管理以及图论中各类问题的求解。
应用领域
• 信息的智能化处理
自然语言处理、市场分析、系统诊断、逻辑推理、 智能机器人等
• 复杂控制
多变量自适应控制、变结构优化控制、并行分布 控制、智能及鲁棒控制等
人工神经网络
多层神经网络—两层以上单层神经网络级联而成
三层神经网络结构图
人工神经网络
几个概念：
输出层：最后一层为网络的输出层。
隐含层：其它各层。
三层网络结构简化图
人工神经网络
各层输出函数：
A1 F1 (W1 * P B1 ) A2 F2 (W2 * A1 B2 )
A3 F3 (W3 * A2 B3 )
人工神经网络
第一高潮期（1950～1968）
• 以 Marvin Minsky, Frank Rosenblatt, Bernard Widrow等为代表人物，代表作是 单级感知器（Perceptron）。 • 可用电子线路模拟。 • 人们乐观地认为几乎已经找到了智能的关 键。许多部门都开始大批地投入此项研究， 希望尽快占领制高点。
• 信号处理
微弱信号检测、通信、自适应滤波、谱估计及快 速傅里叶变换等
人工神经网络
• 对数S型激活函数：
1 f 1 exp[(n b)]
带有偏差的对数S型激活函数
人工神经网络
• 双曲正切S型激活函数：
1 exp[2(n b)] f 1 exp[2(n b)]
带有偏差的双曲正切S型激活函数
人工神经网络
单层神经元网络模型结构
具有r 个输入分量、s 个神经元的单层神经元网络
人工神经网络
反思期（1969～1982）
• M. L. Minsky和S. Papert， 《Perceptron》，MIT Press，1969年 • “异或”运算不可表示 • 二十世纪70年代和80年代早期的研究结果 • 认识规律：认识 — 实践 — 再认识
人工神经网络
第二高潮期（1983～1990）
人工神经网络
第一节 人工神经网络的概念与发展
T.Kohonen的定义：“人工神经网络是由 具有适应性的简单单元组成的广泛并行互 连的网络，它的组织能够模拟生物神经系 统对真实世界物体所作出的交互反应。”
人工神经网络
历史回顾
萌芽期（20世纪40年代）
第一高潮期（1950～1968）
反思期（1969～1982）
– 由一定数量的基本单元分层联接构成； – 每个单元的输入、输出信号以及综合处理内容 都比较简单； – 网络的学习和知识存储体现在各单元之间的联 接强度上。
人工神经网络
激活转移函数（Activation transfer function）的基本作用：
– 控制输入对输出的激活作用；
– 对输入、输出进行函数转换；
j 1
人工神经网络
人工神经网络的基本概念
• 结构单元：信号的输入、综合处理、输出。 输出信号的强度大小反映该单元对相邻单 元影响的强弱。
• 人工神经网络： 人工神经元之间通过互相 连接形成的网络。
• 连接模式： 神经元之间相互连接的方式。 相互间连接度由连接权值体现。
人工神经网络
人工神经网络构造的基本原则：
第二高潮期（1983～1990）
再认识与应用研究期（1991~）
人工神经网络
萌芽期（20世纪40年代）
人工神经网络的研究最早可以追溯到人类开始研 究自己的智能的时期，到1949年止。 • 1943 年，心理学家 McCulloch 和数学家 Pitts 建立 起了著名的阈值加权和模型，简称为M-P模型。发 表 于 数 学 生 物 物 理 学 会 刊 《Bulletin of Methematical Biophysics》 • 1949年，心理学家D. O. Hebb提出神经元之间突 触联系是可变的假说——Hebb学习律
输入分量pj（j=1，2，…，r） 权值分量wj（j=1，2，…，r）
激活函数 f(· ) 偏差(bias) b
人工神经网络
权值和输入的矩阵形式可以由W的行矢量和 P的列矢量表示：
W [w1
w2
... wr ]
P [ p1
p2 ...
r
pr ]
T
模型的输出矢量表示为：
A f (W * P b) f ( w j p j b)
问题： 1）应用面还不够宽 2）结果不够精确 3）存在可信度的问题