关于联想时滞反馈神经网络的设计和研究
大脑是人体最为复杂的信息处理系统. 联想记忆(Associative Memory, AM) 是人脑的重要认知功能之一。
联想记忆神经网络是模拟大脑, 能将一些样本模式存储在神经网络的权值中,通过大规模的并行计算, 使不完整的(损坏的)、受到噪声“污染”的畸变模式恢复到原有的模式。
自联想记忆是指由受损的输入模式恢复到完整的模式本身;异联想记忆是指由输入模式获得与之相关的其他模式。
例如, 听到1 首歌曲的一部分便可以联想到整个曲子, 看到某人的名字会联想到他( 她) 的相貌等特点。
前者称为自联想( Self-Association) , 而后者称为异联想(Hetero- Association)。
在联想记忆中，神经网络的渐近稳定的平衡点被用来产生稳定的记忆。
总的说来，基于递归神经网络的联想记忆设计中通常有两种联想模式方法[1]。
在第一种方法中，一个提示信息被设定为初始条件且激活状态收敛到一个渐近稳定的平衡点。
因为每一个平衡点有一个吸引区域，所以如果这个模式用相应的平衡点编码且初始条件位于吸引区域中，那么称这个模式被联想记住了。
外积方法、特征结构方法、奇异值分解方法、感知器训练方法和伪逆技巧都是用于这种设计[5]。
在第二种方法中，提示信息被用作输入而不是初始条件(基于外部输入)，这时要求神经网络有一个全局渐近稳定的平衡点(或全局指数稳定的平衡点)，不同的输入对应于不同的平衡点[1]。
问题如下:
1. 输出记忆模式为(1)(2)(3)(4)(5),,,,p p p p p (如图1) ，构造自联想连续型神经网络建立数
学模型. 给出设计过程，实现自联想设计。
进行仿真，给出5组随机噪声条件下(或有畸变的)的输入模式能得到自联想输出模式(例如图2给出了一组由随机噪声的输入模式恢
复到正确的自联想模式) 。
(注:问题1-4可以考虑激励函数1,1(),111,1x f x x x x -<-⎧⎪=-≤≤⎨⎪>⎩
或
其他激励函数来设计)。
图1(黑色的为-1,白色为
1)
图2
2. 给定输入模式: (1)(2)(3),,u u u (图3),对应的输出记忆模式为: (1)(2)(3),,p p p (图4), 构造
异联想神经网络建立数学模型，给出参数分类条件和设计过程，使得状态变量收敛到平衡点，实现异联想设计; 进行仿真, 实现无噪声(或无畸变)的输入模式得到异联想输出模式,即()(),1,2,3i i u p i →= (如图5). a.要求模型中考虑时间延迟对神经网络的影响
图3
图4
图5
3. 利用问题二中模型, 实现给出5组随机噪声条件下(或有畸变的)的输入模式能得到异联
想输出模式(例如图6给出了一组由随机噪声的输入模式恢复到正确的异联想模式) 。
a.分析存储容量。
b.分析加入不同程度噪声(或畸变)是否能实现联想记忆。
图6
4. 在1971年c 蔡少棠就预言有第四种基本的无源性电路元件存在。
他指出忆阻[2]是连接
电荷和磁通之间的关系量，而且忆阻能够记住流过它的电流和断电时本身的阻值。
直到2008年，Williams 和他的同事们宣称他们制造出了纳米级的固体忆阻并把他们的结果发表在《自然》杂志上。
至此忆阻得到了广泛的研究和应用. 要求建立忆阻递归神经网络模型实现异联想记忆(()(),1,2,3i i u p i →=)。
5. 考虑运用不同的激励函数(例如墨西哥帽子[4] 1,1,11()2,131,
3x x x f x x x x -<-⎧⎪-≤≤⎪=⎨-+≤≤⎪⎪>⎩), 寻找一个实际应用，实现多模式分类，并加以实现.
参考文献:
1. Zhigang Zeng and Jun Wang. Design and analysis of high-capacity associative memories
based on a class of discrete-time recurrent neural networks. Systems, Man, and Cybernetics, Part B: Cybernetics, IEEE Transactions on 38.6 (2008): 1525-1536
2. 鲍 刚. 基于忆阻递归神经网络的联想记忆分析与设计 (2012)
3. 周开利, 康耀红. 神经网络模型及其MATLAB 仿真程序设计. 北京:清华大学出版社
(2011)
4. Xiaobing Nie , Wei Xing Zheng , Jinde Cao. Multistability of memristive Cohen –Grossberg
neural networks with non-monotonic piecewise linear activation functions and time-varying delays(2015):27-36
5. Zheng P, Tang W, Zhang J. Efficient continuous-time asymmetric Hopfield networks for
memory retrieval[J]. Neural computation, 2010, 22(6): 1597-1614。