第２７卷第１１期 ２０１０牟１１月 计算机应用研究 Ａｐｐｌｉｃａｔｉｏｎ Ｒｅｓｅａｒｃｈ ｏｆ Ｃｏｍｐｕｔｅｒｓ Ｖ０ｌ｜２７ Ｎｏ．１１ Ｎｏｖ．２０１０
基于独立分量分析的自适应在线算法
吕淑平，方兴杰
（哈尔滨工程大学自动化学院，哈尔滨１５０００１）
摘要：独立分量分析（ＩＣＡ）是近几年兴起的一种高效的信号处理方法，学习步长的优化问题是自适应ＩＣＡ重
要的一方面，基于变步长思想，定义了一种描述信号分离状态的相似性测度，来衡量输出分量之间的相似性程
度，并由此提出一种改进的自适应在线算法。根据相似性程度所反映的信号分离状态自适应调节步长，并建立
学习步长和相似性测度变化量的非线性关系，克服了传统算法在信道矩阵变化时对步长自适应调整的不足。性
能指标分析和仿真实验证明了算法的收敛性和稳态性能。
关键词：独立分量分析；相似性测度；学习步长；性能指标
中图分类号：ＴＰ３０１．６ 文献标志码：Ａ 文章编号：１００１—３６９５（２０１０）ｌ１—４１４０．０４
ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１—３６９５．２０１０．１１．０３７
Ａｄａｐｔｉｖｅ ｏｎ—ｌｉｎｅ ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ｏｎ ｉｎｄｅｐｅｎｄｅｎｔ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ
ＬＶ Ｓｈｕ—ｐｉｎｇ，ＦＡＮＧ Ｘｉｎｇ—ｊｉｅ （Ｃｏｌｌｅｇｅ ｏｆＡｕｔｏｍａｔｉｏｎ，Ｈａｒｂｉｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｈａｒｂｉｎ １５０００１，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：ＩＣＡ ｉｓ ａｎ ｅｆｆｉｃｉｅｎｔ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｉｎｇ ｍｅｔｈｏｄ ｗｈｉｃｈ ａｒｏｓｅ ｉｎ ｒｅｃｅｎｔ ｙｅａｒｓ，ａｎ ｉｍｐｏｒｔａｎｔ ｐｒｏｂｌｅｍ ｌｅａｒｎｉｎｇ ｉｎ ａｄａｐｔｉｖｅ ＩＣＡ ｉｓ ｏｐｔｉｎｇ ｌｅａｒｎｉｎｇ ｓｔｅｐ．Ａｃｃｏｒｄｉｎｇ ｔｏ ｖａｒｉａｂｌｅ ｓｔｅｐ ｔｈｉｎｋｉｎｇ，ｔｈｉｓ ｐａｐｅｒ ｄｅｆｉｎｅｄ ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅ ｗｈｉｃｈ ｄｅｓｃｒｉｂｅｄ ｔｈｅ ｓｔａｔｅ ｏｆ ｓｉｇｎａｌ ｓｅｐａｒａｔｉｏｎ，ｔｏ ｍｅａｓｕｒｅ ｔｈｅ ｌｅｖｅｌ ｏｆ ｓｉｍｉｌａｒｉｔｙ ｂｅｔｗｅｅｎ ｏｕｔｐｕｔ ｃｏｍｐｏｎｅｎｔｓ，ａｎｄ ｔｈｕｓ ｄｅｖｅｌｏｐｅｄ ａｎ ｉｍｐｒｏｖｅｄ ａｄａｐ— ｔｉｖｅ ｌｉｎｅ ａｌｇｏｒｉｔｈｍ．Ａｄｊｕｓｔｉｎｇ ｔｈｅ ｌｅａｒｎｉｎｇ ｓｔｅｐ ｏｎ ｔｈｅ ｂａｓｉｓ ｏｆ ｔｒａｄｉｔｉｏｎｓ ｏｆ ｄｅｇｒｅｅ ｏｆ ｓｉｇｎａｌ ｓｅｐａｒａｔｉｏｎ ｗｈｉｃｈ ｗａｓ ｒｅｆｌｅｃｔｅｄ ｂｙ ｄｅｐｅｎｄｅｎｔ ｍｅａｓｕｒｅ，ａｎｄ ｅｓｔａｂｌｉｓｈｅｄ ｔｈｅ ｎｏｎｌｉｎｅａｒ ｒｅｌａｔｉｏｎ ｂｅｔｗｅｅｎ ｌｅａｒｎｉｎｇ ｓｔｅｐ ａｎｄ ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅ ｖａｒｉａｔｉｏｎ，ａｎｄ ｏｖｅｒ－ ｃａｍｅ ｔｈｅ ｄｉｓａｄｖａｎｔａｇｅｓ ｏｆ ｔｒａｄｉｔｉｏｎａｌ ａｌｇｏｒｉｔｈｍｓ ｉｎ ｔｈｅ ｃｈａｎｎｅｌ ｖａｒｉａｔｉｏｎ ｃｉｒｃｕｍｓｔａｎｃｅｓ ｉｎ ｔｈｅ ｐｒｏｃｅｓｓ ｏｆ ａｄａｐｔｉｖｅ ｓｔｅｐ．Ｐｅｒ－ ｆｏｒｍａｎｃｅ ａｎａｌｙｓｉｓ ａｎｄ ｓｉｍｕｌａｔｉｏｎ ｒｅｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｓｅｐａｒａｔｉｖｅ ｓｉｇｎａｌ ｈａｓ ｂｅｔｔｅｒ ｐｅｒｆｏｒｍａｎｃｅ ｉｎ ｃｏｎｖｅｒｇｅｎｃｅ ａｎｄ ｓｔｅａｄｙ． Ｋｅｙ ｗｏｒｄｓ：ｉｎｄｅｐｅｎｄｅｎｔ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ（ＩＣＡ）；ｓｉｍｉｌａｒｉｔｙ ｍｅａｓｕｒｅ（ＳＭ）；ｌｅａｒｎｉｎｇ ｓｔｅｐ；ｐｅｒｆｏｒｍａｎｃｅ ｉｎｄｅｘ（ＰＩ）
０ 引言
独立分量分析（ＩＣＡ）是指在未知源信号和传递通道路径 的情况下，根据输入源信号的统计独立性，仅由混合后的观测
信号检测并分离出源信号中各个独立的成分。ＩＣＡ在线算法
主要有基于信息论分析的自然梯度算法和能够实时处理的Ｈ— Ｊ…算法，本文主要研究自然梯度算法。２００５年Ｙｕａｎ＿２ 提出
梯度变步长的自然梯度算法，很好地解决了步长随梯度变化的
问题，并且具有较好的跟踪信号能力。张贤达等人ｌ４ 提出一
种步长学习规则与信号分离状态有关的分阶段学习算法，文献
中根据信号的分离状态分阶段地自适应调整步长。
本文提出一种改进的自适应步长的自然梯度算法。定义
一种相似性测度（ＳＭ）来衡量输出信号分量之间的相似性程 度，相似性程度变化量反映信号的分离程度，并根据其变化量 调整步长调节因子，进而使步长自适应地变化。同时防止步长
过大或过小，设置上下限，使信号尽快收敛到平衡点。本文针
对信道矩阵恒定和变化情况下进行模拟实验，证明该算法的稳
定性能和收敛性。
１独立分量分析的问题
假定ｘ为ｍ维零均值观测信号，由ｎ个未知的零均值独 立源信号ｓ线性混合的。在噪声存在的情况，将其本身看成一
个独立源，与其他真正的源信号进行盲分离。盲源分离的模型
如图１所示。线性混合模型表示为
ｎ ｘ＝Ａｓ＝∑ａｉｓｊ ＝１，２，…，ｎ （１） Ｊ＝１ 其中：Ａ＝［ａ 一，ａ ］为ｍ×ｎ阶满秩任意的混合信号，独立分
量ｓ 和混合矩阵 都是未知的。为使ＩＣＡ问题有唯一解，工
程上需要一些假设条件，具体见参考文献［１］。
ｎ（力ｌ 巫 Ｉ调整 匝萄
图１盲信号分离原理图
１．１ ＩＣＡ存在两类不确定性
ＩＣＡ问题存在以下两类不确定性： ａ）分离信号排列顺序。ｘ＝Ａｓ＝Ａｐ～ｐｓ，Ａｐ 看成一个
混合矩阵，ｐｓ看成新的独立源信号，同样得到观测向量ｘ，对恢
复出的信号是ｓ还是ｐＳ无法确定，即信号的幅值不确定，工程
上大多考虑信号的波形信息，因此对实际意义影响不大。
ｂ）幅值不确定。分离信号Ｙ＝ｐｓ，Ｐ是移位矩阵，即存在
排列顺序的不确定。 在混合矩阵和源信号均未知情况下，为尽可能地分离出源
收稿日期：２０１０．０４—３０；修回日期：２０１０—０６—１８ 作者简介：吕淑平（１９６３一），女，教授，博导，主要研究方向为模式识别理论及应用、信号处理；Ａ－￣，Ａ（１９８５．），男，硕士研究生，主要研究方向为 信号处理．
第１１期 方兴杰，等：基于独立分量分析的自适应在线算法 ・４１４１・
信号，构建一个分离矩阵 ，这样ＩＣＡ问题的求解可表示为
Ｙ＝Ｗｘ＝ＷＡｓ＝Ｇｓ ｒ２１
其中：Ｇ为广义交换矩阵（每行和每列只有一个非零元素），通
过学习能使Ｇ＝ＰＡ，Ｐ为置换矩阵，Ａ为对角阵，从而能达到
分离源信号的目的。
１．２性能指标
为验证算法的分离精度，定义性能指标（ＰＩ）为
孙 ． Ｉｇ．ｋ ｌ－１）＋（ ＿１））（３）
其中：ｇ 是矩阵Ｇ＝ Ａ的第ｉ行和第 列元素；ｍａｘ，Ｊ ｌ表
示第 列所有元素绝对值的最大值；Ｐ，越小表示解混效果越
好，分离效果越好。每一次的在线算法求出相应的 值，可以
直观地看出信号的稳态误差和收敛情况。
２独立分量分析的自然梯度算法
ＩＣＡ算法可描述为：ＩＣＡ算法＝目标函数＋优化算法，这
两方面构成ＩＣＡ的核心。目标函数体现算法的统计性质；优
化算法决定算法的收敛速度和稳态误差。
２．１ 目标函数
基于信息论分析的ＩＣＡ算法主要有互信息最小化判据
（ｍｉｎｉｍｕｍ ｍｕｔｕａｌ ｉｎｆｏｒｍａｔｉｏｎ，ＭＭＩ）、信息极大化判据（ｉｎｆｏｒ—
ｍａｘ）、极大似然判据（ｍａｘｉｍｕｍ ｌｉｋｅｌｉｈｏｏｄ ｅｓｔｉｍａｔｉｏｎ）。这三种
目标函数是等价的，详见文献［３］。本文主要采用ＭＭＩ判据，
定义如下：
，（ ）＝＾＝Ｌ［ｐ（ｙ）， ｐ（ｙ ）］＝∑． （Ｙ ）一 （ ） （４）
其中：ＫＬ代表散度。由ＫＬ知识可知，（ ）≥０，当且仅当 中
各分量独立时，（Ｙ）＝０。ＭＭＩ算法简述如下：
Ｙ＝Ｗｘ Ｈ（ ）＝一Ｅ［１ｏｇｐ（ｙ）］
ｐ（ ）＝ｐ（ｘ）／ｄｅｔ（ （５） 得到日（Ｙ）：一Ｅ［１ｏｇ Ｐ（ｘ）］＋Ｅ［１ｏｇ ｄｅｔ（ ，）］，即
日（ ）＝ （ｘ）＋ｌｏｇ ｄｅｔ（∽ （６）
其中：Ｈ（・）表示微分熵， ［・］表示均值，Ｈ（ｘ）：一ｆ：：Ｐ
（ｘ）ｌｏｇＰ （ｘ）ｄｘ。 综合式（４）和（６），得到目标函数如下：
’，（ｖｔ，３＝一日（ｘ）一ｌｏｇｌ ｄｅｔ（ ｌ—Ｅ｛ （ ））｝ （７）
其中：日（）与解混矩阵Ｗ无关，可舍弃，
。Ｅ ｌｏｇ（ｐ Ｙ
Ｘ
２．２ ＩＣＡ的自然梯度算法
ＩＣＡ的目标使式（７）最小化，用随机梯度搜索寻优的思想，
得到随机梯度的实时学习算法：
ＡＷ（ｋ）＝一 （ ）Ｖ Ｊ（ｙ（ ）， ＝一 （ ） （８）
（ ）为学习步长，具体推导见参考文献［２］，得到推导式如下：
ａＷ（ｋ）＝一 （ ）鱼 ＝ （ ）（ｗ—Ｔ一 （ ）） ）（９）
其中 Ｙ（ｋ））为非线性激活函数。可知Ｗ。。。是 的转置逆
矩阵。由于计算量大，而且容易出现病态，影响收敛速度，为此
引入一可逆矩阵Ｇ 作用于随机梯度，即
ＡＷ（ｋ）＝ 邮 （１ｏ） 文献［４］矩阵Ｇ的自然选择为
Ｇ－Ｉ ： ＷｒＷ： Ｉ－ｆ（Ｙ）Ｙ ］Ｗ（１１） ｏＷ ｏＷ
其分离矩阵迭代式为
△ｗ（ ）＝弘（ ）［ｉ一＿厂（ｙ（ ））ｙ（＆） ］Ｗ（ ） （１２）
得出最后的自然梯度算法的在线迭代式：
ｋ＋１）＝ ） （ ）［Ｉ一，（ （ ））ｙ（ ） ］ ） （１３）
２．３ ＹＵＡＮ ＬＸ算法
ＹＵＡＮ ＬＸ提出的变步长梯度算法：
（ ）＝ （ 一１）一ｐ （１４）
－ｔｒａｃ ，
由式（１３）可知
＝ ，一 卅） （…］ｗ（ ） ）（１６）
由 ，（ ）＝Ｗ（ｋ一１）＋／ｚ（ 一１）［，一ｌ厂（Ｙ（ 一１）） （ 一
１）］ 一１）得到：
ｋ－１ …
ｋ一１）＝ 一１） （１７）
这样得到学习步长的迭代式：
（ ）＝ （ 一１） ｐｔｒａｃｅ（丁 （ ）丁（ 一１）） （１８） 仿真实验证明该算法在初始步长较小时，分离出的信号稳
态误差小，但收敛慢；当初始步长较大时，收敛速度快，但稳态
误差变大。因而不能同时兼顾收敛速度和稳态误差。
３本文算法
３．１ 自适应步长思想
盲分离算法的最终目的使得△ ０，保证分离矩阵
收敛到最优状态，即满足：
，Ｗ（ｋ＋１）＝ Ｗ（ ）＝Ｗｏｐｔ （１９）
重写自然梯度算法的在线迭代式（１３）：
ｋ＋１）＝ ） （ ）［／－ｆ（ （ ）） （ ） ］ ｋ） （２０） 可知在步长 （ｋ）和Ｗ（ｋ）不为零条件下，当［，一 （Ｙ（ ））
Ｙ（ ） ］ 时，式（１９）成立，此时输出 分量之间相互独立，分 离矩阵最优。由此定义一种相似性测度（ＳＭ），来衡量输出
分量之间的相似性程度。 ＳＭ＝ｌｌ Ｉ—ｌ厂（ ） ；＝ｔｒａｃｅ（Ｂ Ｂ） （２１）
其中：ｌｌ・ 是矩阵的Ｆｒｏｂｅｎｉｕｓ范数，日＝ｆ－ｆ（Ｙ）ｙ 。在分
离初始阶段，输出 分量之间的相似性程度大，分离效果不好，
即ＳＭ值越大，随着迭代次数增加ＳＭ值越来越小，分离程度越 好，直到ＳＭ为零。可以看出ＳＭ值变化定性反映输出信号
分量之间的相似性程度，实际工程采用平滑的Ｅ（ＳＭ）代替
ＳＭ，Ｅ（ＳＭ）逐渐下降直到Ｅ｛＿厂（ ）ｙ ｝一，，此时 分量之间的相 似性程度最小，即收敛到最优矩阵。但实际上存在一定的扰
动，导致Ｅ（ＳＭ）抖动。尤其在信道变化前后，会出现更大的 波动。 所谓变步长的思想就是通过合理的调整步长使其增加到
一个合理的稳定值邻域，满足最好的收敛效果，同时存在一定
的抖动，需要在该邻域内合理地减少步长，这样保证更好的稳
态误差。根据变步长思想，
将相似性测度用于自适应地控制步