小波神经网络及其应用
陆宇颖
摘要：小波神经网络是将小波理论和神经网络理论结合起来的一种神经网络，它避免了BP 神经网络结构设计的盲目性和局部最优等非线性优化问题，大大简化了训练，具有较强的函数学习能力和推广能力及广阔的应用前景。

首先阐明了小波变换和多分辨分析理论，然后介绍小波神经网络数学模型和应用概况。

1. 研究背景与意义
人工神经网络是基于生物神经系统研究而建立的模型，它具有大规模并行处理和分布式存储各类图像信息的功能，有很强的容错性、联想和记忆能力，因而被广泛地应用于故障诊断、模式识别、联想记忆、复杂优化、图像处理以及计算机领域。

但是，人工神经网络模型建立的物理解释，网络激活函数采用的全局性函数，网络收敛
即
,焦李神经网络2. 2.1()x ，使式中为的Fourier 变换。

对作伸缩、平移变换得到小波基函数系
对任意2()()f x L R ∈,其连续小波变换定义为： 反演公式为：
在实际应用中，特别是计算机实现中，往往要把上述的连续小波及其变换离散化，通常采用二进制离散，即
令2,2m m a b k ==，则
二进小波一定是一个允许小波，且是一个正交小波基。

考虑一个连续的、平方可积的函数
2()()f x L R ∈在分辨率2m 下的逼近()m f x ，由多分辨分析理论可知：
()x Φ是尺度函数，对其作伸缩、平移变换得到()mk x Φ。

Mallat 同时证明了函数()f x 在2m 和12m -分辨率下的信息差别（即细节）()m D f x ，可以通过将函数()
f x 在一小波正交基上分解而获得，从而定义了一种完全而且正交的多分辨率描述，即小波描述。

()mk x ψ就是式（5）定义的二进小波，则()f x 在12m -分辨率下的逼近式为：
Mallat 并指出，对于任意一个函数
2()()f x L R ∈可以在一组正交小波基上展开： 式（11）是一个平方可积函数的小波分解，提供了小波神经网络设计的理论框架。

..
12(,)x x ο
则有2.2 （ψ(f x 式（Lk a 与式
（17i c i 则有：
即(21)=f Ac
式（20）的最小二乘解为：
+A 被称为A 的伪逆矩阵。

且
如果样本i x 均匀分布，(1,2,...,)θ=i
i n 是正交基， 则T A A 是一个⨯n n 单位矩阵，且
2.2.3小波神经网络学习过程
选择合适的小波函数和尺度函数后，在最粗的尺度L 上训练Φ节点，直到网络达到收敛。

要使网络达到收敛，需确定逼近误差（在很多文献中提出了误差的计算方法）和增加合适的ψ节点以减少逼近误差。

最后是优化网络，使用新的样本来检验网络并移去权重小的ψ节点直到满足性能准则。

2.2.4计算复杂性
小波神经网络训练的计算复杂性介于O(N )和O(N 2)之间，N 为学习样本数。

如果学习样本是均匀分布的，则计算复杂性为O(N )；如果学习样本是非均匀分布的，则计算复杂性为O(N 2)。

3. 数学应用案例
小波神经网络是基于小波分析而构成的神经网络。

它充分利用小波变换的良好局部化性质并结合神经网络的自学习功能，因而具有较强的逼近、容错能力，其实现过程也比较简单。

小波神经网络在近十年来应用较广泛，主要应用于以下几个领域。

3.1
Zhang 和 (()ψ=x 神经网 3.2()ψ=x ）3.3智能复合材料应变损伤位置的诊断。

他们在实际操作中采用了一些技术处理以减少小波神经网络结构的复杂性，从而加快了训练的速度和提高了识别能力。

并且在同样条件下将这两种小波网络与BP 网络相对比，结果表明B 样条小波神经网络的建模精度和收敛速度明显高于BP 神经网络（图3）。

3.4错误诊断与分析
ZhaoJinsong 等提出了一种新颖的小波神经网络——小波-Sigmoid 基函数神经网络
（wavelet-sigmoidbasicfunctionneuralnetwork,WSBFN ），并将其应用于动态错误诊断中。

他们为了解决小波神经网络的“瓶颈”效应，提出了一种多维非乘积小波函数2/2()cos(1.75)-ψ=x x x e
，并将其和相应的尺度函数一起作为WSBFN 隐层的激励函数，同时将sigmoid 基函数作为WSBFN 输出层的激励函数。

文献中将WSBFN 应用于氢化裂解过程的错误诊断中，并同前人提出的较好的错误诊断方法之——SBFN 网络进行对比。

结果显示，WSBFN 可以用更简单的网络结构而得到更好的诊断效果（WSBFN 训练错误远低于SBFN ，
而且错误诊断准确率达到100%，也优于SBFN）。

Bakshi和Stephanopoulos在多分辨率基础上提出了正交小波神经网络，并将其应用于静态错误
3.5动态建模
现实中，许多问题可以通过动态建模来解决。

虽然采用人工神经网络进行非线性系统建模的研究很多，但是采用小波神经网络进行动态建模的则比较少。

钱峻等应用小波神经网络实现非线性系统模型的在线建立及自校正算法，并将其应用于微生物生长过程的预测建模。

他们在继承前人对小波神经网络的诊断与分析问题中，也取得了非常好的诊断效果。

经网络的结构设计方法的基础上，引入了限定记忆最小二乘法以替代普通的最小二乘法来实现小波
神经网络在线建模和校正算法。

他们将其方法应用于微生物生长过程的预测建模，结果显示该小波神经网络具有很好的预测功能和推广性能（见图4，实线是系统输出，虚线是小波神经网络输出）。

其训练方法亦比用普通的最小二乘法快得多。

并
用来控制3.6
他们
还
4.
采用
31个样本
采用通常
衰减为0。

MATLAB神经网络工具箱中的传递函数没有Morlet小波函数，所以将创建自定义的传输函数。

神经网络工具箱中包含了一个自定义传递函数template_transfer,输入helptemplate_transfer就可以得到有关此函数的帮助信息。

将template_transfer函数作为一个模板，来生成自定义的传递函数。

首先，在MATLAB安装目录下找到template_transfer.m文件。

将原传递函数改为Morlet小波函数表达式：再将函数的导数改为：
将输入输出范围改为：
在主程序中将传递函数设为“template_transfer(本例中未改模板文件名称)。

程序如下：
clc
clear
closeall
%产生训练样本与测试样本
n1=-5:0.1:4.95;
x1=sinc(n1+1)+1;
n2=-4.95:0.1:5;
x2=sinc(n1+1)+1;
xn_train=n1;%训练样本，每一列为一个样本
dn_train=x1;
xn_test=n2;
dn_test=x2;
%设置神经网络参数
%
%
%
%
5.
（1
PPR(ProjectionPursuitRegression)小波网络、小波与联想记忆神经网络的结合、多分辨分析与神经
网络的结合。

关于小波网络的结构，近年来有人提出多层结构小波网络、局域连接型的小波网络。

目前神经网络的研究正由单纯的神经计算转向计算智能，并结合脑科学的研究向生物智能方向发
展，小波网络的研究也应该考虑吸收模糊、分形、混沌、进化计算等交叉学科的研究成果，如小
波网络与模糊逻辑的结合，如小波模糊神经网络、小波包模糊聚类网络；又如考虑小波网络与分
形理论的结合，构造分形小波网络；小波网络算法与遗传算法和进化计算的结合研究等。

（2）小波网络的收敛性、鲁棒性、计算复杂度等研究。

（3）离散正交小波网络构造的复杂性问题以及多维输入出现的“维数灾”问题。

（4）如何把输入信号特征与尺度、平移、旋转等不变性量结合起来输入小波网络训练，以压缩信号特征信息，加速训练过程。

（5）小波基函数的选择。

实际应用不同情况应选取何种小波？小波基应选取相同类型还是不同类型？
选取的数目和标准是什么？如何用理论指导网络中小波的初始化参数？
（6）WNN硬件实现。

神经网络的光学实现是当前的研究热点之一。

值得一提的是Szu和Telfer等人在这方面做了不少工作，构造了一种神经网络“光学耳蜗”（opticalcochlea）模型，另外有学者提
出了一种基于并行神经计算机结构的模型，VLSI超大规模集成电路的实现无疑将进一步促进WNN
的推广和应用。

可以看到，小波神经网络由于把神经网络的自学习特性和小波的局域特性结合起来，具有自适应分辨性和良好的容错性，因此特别适合应用在函数逼近、系统辨识、数据压缩、模式识别等领域。

小波神经网络的理论和应用研究近年来发展很快，具有良好的应用前景。