动态神经网络综述摘要动态神经网络(DNN)由于具有很强的学习能力和逼近任意非线性函数的特点而被广泛应用。

本文系统介绍了该网络的几种常见模型，并在此基础之上介绍它的基本学习算法、功能、应用领域、实际推广。

关键词：动态神经网络，模型，功能，算法，应用AbstractDynamic Neural Network (DNN) has been widely applied by means of the strong ability of learning and the characteristic of approximating any nonlinear function. The paper mainly introduces several models of common dynamic neural network, and dynamic neural network's function, basic algorithm, application and promotion.Keywords: DNN, Models , Function , Algorithm , Application1、绪论人工神经网络（Artificial Neural Networks，简写为ANNs）是一种应用类似于大脑神经突触联接的结构进行信息处理的数学模型。

在工程与学术界也常直接简称为神经网络或类神经网络。

神经网络是一种运算模型，由大量的节点（或称神经元）和之间相互联接构成。

每个节点代表一种特定的输出函数，称为激励函数（activation function）。

每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之为权重，这相当于人工神经网络的记忆。

网络的输出则依网络的连接方式，权重值和激励函数的不同而不同。

而网络自身通常都是对自然界某种算法或者函数的逼近，也可能是对一种逻辑策略的表达[1]。

神经网络按是否含有延迟或反馈环节，以及与时间是否相关分为静态神经网络和动态神经网络,其中含有延迟或反馈环节，与时间直接有关的神经网络称为动态神经网络[2]。

动态神经网络具有很强的学习能力和逼近任意非线性函数的特点,自20世纪80年代末以来,将动态神经网络作为一种新的方法引入复杂非线性系统建模中引起了工程控制领域许多学者的关注[3]。

动态神经网络现在已经广泛地用于模式识别、语音识别、图象处理、信号处理、系统控制、AUV自适应航向和机器人控制、故障检测、变形预报、最优化决策及求解非线性代数问题等方面。

本文第二章主要介绍了动态神经网络的分类，基本模型和算法；第三章主要介绍了动态神经网络的应用；第四章简要介绍了神经网络的改进方法。

2、DNN网络的基本模型和算法根据结构特点，可以将动态神经网络分为3类:全反馈网络结构,部分反馈网络结构以及无反馈的网络结构。

反馈网络(Recurrent Network),又称自联想记忆网络,如下图所示:图2-1 反馈网络模型反馈网络的目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。

反馈网络能够表现出非线性动力学系统的动态特性。

它所具有的主要特性为以下两点：第一、网络系统具有若干个稳定状态。

当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态；第二、系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。

反馈网络根据信号的时间域的性质的分类为如果激活函数f(·)是一个二值型的阶跃函数,则称此网络为离散型反馈网络,主要用于联想记忆;如果f(·)为一个连续单调上升的有界函数,这类网络被称为连续型反馈网络,主要用于优化计算。

2.1、Hopfield神经网络1982年,美国加州工学院J.Hopfield提出了可用作联想存储器和优化计算的反馈网络,这个网络称为Hopfield神经网络(HNN)模型,也称Hopfield模型.Hopfield网络是全反馈网络的突出代表,如图2-2所示,是一种单层对称全反馈的结构。

Hopfield神经网络的结构特点是：每一个神经元的输出信号通过其它神经元后，反馈到自己的输入端。

Hopfield网络具有从初始状态朝着能量减小的方向变化,最终收敛到稳定状态的能力,因此Hopfield网络可以实现优化计算，联想记忆等功能[4]。

图2-2 Hopfiled网络结构图Hopfield 神经网络是一种互连型神经网络，其演变过程是一个非线性动力学系统，可以用一组非线性差分议程描述（离散型）或微分方程（连续型）来描述。

系统的稳定性可用所谓的“能量函数”进行分析。

在满足条件的情况下，某种“能量函数”的能量在网络运行过程中不断地减少，最后趋于稳定的平衡状态。

对于一个非线性动力学系统，系统的状态从某一初值出发经过演变后可能有如下几种结果：渐进稳定点（吸引子）、极限环、混沌、状态发散[5]。

f⋅是一个二值型的硬函数，则称此网在Hopfield网络中，如果其传输函数()f⋅是一个连续单调上升的有界函数，络为离散型Hopfield网络；如果传输函数()则称此网络为连续型Hopfield网络。

2.1.1、离散Hopfield神经网络Hopfield最早提出的网络是神经元的输出为0-1二值的NN,所以,也称离散的HNN (简称为DHNN)。

在DHNN网络中,神经元所输出的离散值1和0分别表示神经元处于兴奋和抑制状态。

各神经元通过赋有权重的连接来互联。

2.1.1.1、 网络结构以三个神经元组成的DHNN 来说一下，其结构如下：132图2-2 三个神经元组成的HNN在图中,第0层仅仅是作为网络的输入,它不是实际神经元,所以无计算功能;而第一层是实际神经元,故而执行对输入信息和权系数乘积求累加和,并由非线性函数f 处理后产生输出信息。

f 是一个简单的阈值函数,如果神经元的输入信息的综合大于阈值θ,那么,神经元的输出就取值为1;小于阈值θ,则神经元的输出就取值为0。

对于二值神经元,它的计算公式如下j n1i i ji,j x y wu +=∑=其中x j 为外部输入,并且有 y j =1,当u j ≥θj 时 y j =0,当u j <θj 时对于DHNN,其网络状态是输出神经元信息的集合。

对于一个输出层是n 个神经元的网络,则其t 时刻的状态为一个n 维向量:y (t)=[y 1(t),y 2(t),...,y n (t)]τ因为y i (t)可以取值为1或0,故n 维向量y (t),即网络状态,有2n 种状态. 对于一个由n 个神经元组成的DHNN,则有n ⨯n 权系数矩阵w ={w ij |i=1,2,...,n; j=1,2,...,n},同时,有n 维阈值向量θ=[θ1,θ2,...,θn ]τ。

一般而言,w 和θ可以确定一个唯一的DHNN.当w i,j 在i=j 时等于0,则说明一个神经元的输出并不会反馈到它自己的输入。

这时,DHNN 称为无自反馈网络.当w i,j 在i=j 时不等于0,则说明—个神经元的输出会反馈到它自己的输入。

这时,DHNN 称为有自反馈的网络.2.1.1.2、 工作方式DHNN 有二种不同的工作方式:串行(异步)方式和并行(同步)方式. 1、串行(异步)方式在时刻t 时,只有某一个神经元j 的状态产生变化,而其它n-1个神经元的状态不变这时称串行工作方式。

并且有：⎪⎩⎪⎨⎧≠=+=⎥⎦⎤⎢⎣⎡-+=+∑=ij (t)y 1)(t y i j x (t)y w f 1)(t y j jj j n 1r r j r,j θ在不考虑外部输入时,则有⎥⎦⎤⎢⎣⎡-=+∑=j n 1r r j r,j (t)y w f 1)(t y θ2、并行(同步)方式在任一时刻t,所有的神经元的状态都产生了变化,则称并行工作方式。

并且有n 1,2,...,j x (t)y w f 1)(t y j j n 1i i j i,j =⎥⎦⎤⎢⎣⎡-+=+∑=θ在不考虑外部输入时,则有⎥⎦⎤⎢⎣⎡-=+∑=j n 1i i j i,j (t)y w f 1)(t y θ2.1.1.3、 学习算法Hopfield 网络按动力学方式运行，其工作过程为状态的演化过程，即从初始状态按“能量”减小的方向进行演化，直到达到稳定状态，稳定状态即为网络的输出状态。

下面以串行方式为例说明Hopfield 网络的运行步骤： 第一步 对网络进行初始化；第二步 从网络中随机选取一个神经元i ；第三步 求出神经元i 的输入()i u t ：1()()ni ij j ij j i u t w v t b =≠=+∑第四步 求出神经元i 的输出(1)i v t +，此时网络中的其他神经元的输出保持不变；说明：(1)(())i i v t f u t +=,f为激励函数，可取阶跃函数或符号函数。

如取符号函数，则Hopfield 网络的神经元输出(1)i v t +取离散值1或－1，即：111,()0(1)1,()0nij j i j j ii nij j ij j i w v t b v t w v t b =≠=≠⎧+≥⎪⎪⎪+=⎨⎪-+<⎪⎪⎩∑∑ 第五步 判断网络是否达到稳定状态，若达到稳定状态或满足给定条件，则结束；否则转至第二步继续运行。

这里网络的稳定状态定义为：若网络从某一时刻以后，状态不再发生变化。

即：()(),0v t t v t t +∆=∆>。

2.1.2、连续Hopfield 神经网络连续Hopfield 网络(简称CHNN)的拓扑结构和DHNN 的结构相似. 这种拓扑结构和生物的神经系统中大量存在的神经反馈回路是相一致的。

在CHNN 中,和DHNN 一样,其稳定条件也要求W ij =W ji 。

CHNN 和DHNN 不同的地方在于其函数g 不是阶跃函数,而是S 形的连续函数.一般取g(u)=1/(1+e -u )CHNN 在时间上是连续的.所以,网络中各神经元是处于同步方式工作的。

2.1.2.1 网络结构考虑对于一个神经细胞,即神经元i,其内部膜电位状态用u j 表示,生物神经元的动态(微分系统)由运算放大器来模拟,其中微分电路中细胞膜输入电容为C i ,细胞膜的传递电阻为R i ,输出电压为V i ,外部输入电流用I i 表示,神经元的状态满足如下动力学方程.⎪⎩⎪⎨⎧==++-=∑=ni t U g t V I t V W R t U t t U C i i i i njj ji ii i i,...,2,1))(()()()(d )(d 1模仿生物神经元及其网络的主要特性，连续型Hopfield 网络利用模拟电路构造了反馈人工神经网络的电路模型，图2-4为其网络结构： 电路中微分系统的暂态过程的时间常数通过电容C i ,和电阻R i 并联实现, 跨导T ij 模拟神经元之间互连的突触特性 运算放大器模拟神经元的非线性特性Hopfield 用模拟电路设计了一个CHNN 的电路模型，如图2-3所示：图2-3图2-42.1.2.2基本算法取参数得： ()i i i u f v = N i ⋅⋅⋅⋅⋅⋅⋅⋅⋅=4321过程：先设定初态（ i u ），运行至稳定，得到稳定状态。