# !"
西华师范大学学报 （ 自然科学版）
$%%& 年
似是一种有效方法， 即通过神经网络学习算法调整网络权矩阵 ! （ "） ， 使得 ’() ! （ " ）- ! - # * . ， 于是有 $
"* +,
（ %）- !& （ %）- ’ （ %） ， 从而实现混合信号的分离(
/# 盲源分离中自然梯度算法
’ 混合矩阵， ) （ $）R ［ *( ， *! ， …， *$ ］ 是 $ 维互相统计独立 的信源" “ 盲源” 就是指混合矩阵和源信号都未知， 只有
观测信号 % （ $） ， 盲源分 离 的 任 务 是 利 用 观 测 信 号 %
’ （ $） 获得信源 ) （ $） 的最好估计 + （ $）R ［ ,( ， …， ,$ ］ "通 过建立神经网络重建系统获得未知混合矩阵 ( 逆的近
其目标函数的表达式为 （ $- ） 式， 权值更新公式为 改进后的算法我们称为规范化自然梯度 %&’ 算法， （ $$ ） 式6 相应规范化自然梯度 %&’ 算法的盲源分离框图如图 " （ 两个输入 7 输出的情况） ， 图中规范化节点的
0$# $ 缩放因子 ! . ［ / *+, （ "） /］ !
［ >］ 标函数、 最小互信息目标函数以及观测信号的最大似然函数等， 都可导致相同形式的目标函数 ， 不妨取统
一的目标函数 / （ &， !）- * ’? ; 76@ （ !） ; * %’?A （ ( 1 01 ）
1 -. %
（!）
求使 / 达到最小值的权值 !， 即是 BC1 的解0 求 （!） 式关于 ! 的偏导数， 得目标函数 / 的常规梯度为 其中
(! 模拟实验
! ! 模拟实验中， K 个未知源信号 （ 2 ’ ）. ［ 2（ ， 2（ ， $ ’） " ’）
2（ ］ 来自文献 ［(］ ， 这 K 个信源分别为： 2（ 为 ［ 0 $， $］ K ’） $ ’）
之间均匀分布的白噪声， 2（ （ $’ # $- ） 和 2（ " ’ ）. "G93 K ’ ）. G9:3 （ G93 （ (-- ’ 5 )@?G （ L- ’ ） ） ） ! 我们取 (-- 个时间点的原 始信号波形如图 K （ 3） ， 源信号 （ 2 ’） 经随机取自 ［ 0 $， $］ 之间的 K 1 K 阶混合矩阵 1 混合后的波形如图 K （ 4） 中的
关键词： 李群不变性； 自然梯度； 盲源分离； 独立分量分析； 规范化因子 中图分类号： JK("(’ ’ ’ 文献标识码： H
(’ 引’ 言
盲信源分离 （ I%2-L ;2M-.% ;4N.,.62$-， I;;） 问题近 (= 年来是信号处理领域研究的热点， 在远程会议的语
［ ( D A］ 音分离、 阵列天线信号处理、 母婴心电图信号分离等许多领域有着广泛的应用前景 G0H 算法是解决 I;;
+ + （* （! *.） 9! （ $） &+ ） !+ ! （ *. 9! （ $） $+ ） !( // - //! ! 因此， 盲源分离的自然梯度权值学习算法为 :
{
! （ " 9 . ）- ! （ "）9 $! （ "） ，" - % ， .， $， …( （ "）- " （ （ $） $+ ） !，" " 为学习率( $! " . *!
［ > D (? ］ 是以最陡下降方向为参数搜索方向， 获得了快速稳定的学习效果 ， 本文详细分析了 I;; 原理和自然梯
度 G0H 学习算法， 对自然梯度 G0H 学习算法进行了改进， 提出了规范化的自然梯度 G0H 算法 E 最后， 本文通 过模拟实验， 把常规梯度的 G0H 算法、 自然梯度 G0H 算 法与规范化自然梯度 G0H 算法进行比较， 结果表明我 们提出的算法性能更优， 收敛速度更快E
第 !" 卷 第 ( 期 ’ #$%& !" )$& (
西 华 师 范 大 学 学 报（ 自 然 科 学 版 ） *$+,-.% $/ 012-. 3456 )$,7.% 8-294,526:（ ).6+,.% ;<24-<45）
!==> 年 ? 月 @.,& !==>
文章编号： (A>?BC=>! （ !==> ） =(B==C>B=C
在许多情况下， 待搜索的参数空间实际上并不是一个欧氏空间， 而是一个黎曼空间0 此时， 常规梯度并不 代表目标函数的最陡下降方向， 为此日本学者 1)23( 提出了自然梯度的概念， 并说明了用自然梯度代替常规 梯度时， 可以对盲信号处理中的一些不同算法 （ 如相对梯度学习算法、 随机梯度 算 法） 给出统一的表达
规范化自然梯度 G0H 算法
曾宪华， 罗’ 建， 藤’ 华
（ 西华师范大学计算机学院， 四川 南充 A?>==! ）
摘’ 要： 对基于李群不变性的自然梯度 G0H 算法进行了改进， 提出了一种规范化自然梯度 G0H 算法E 该算法通过
引入规范化因子， 保证参数矩阵的行列式的绝对值在学习过程中恒为 ( ， 避免了参数矩阵剧烈变化， 使得学习过程 更稳定更快速， 这种改进还起到简化目标函数的作用， 使得规范化自然梯度 G0H 算法更加简单便利E 在 I;; 模拟实 验中， 把常规梯度的 G0H 算法、 自然梯度 G0H 算法与规范化自然梯度 G0H 算法进行比较， 结果表明新算法的信号恢 复精度更高， 收敛速度更快E
!’ 盲源分离原理
传统的盲源分离框图如图 ( 所示 （ 两个输入 # 输出 的情况） " 一般盲源分离系统的输入是观察到的 $ 维混 ’ 合信号% （ $）R ［ &( ， &! ， …， &$ ］ ， 假设它由一未知的线性 混合模型产生， 即% （ $ ）R () （ $） ， 其中 ( 称为 $ S $ 得
* .$ $
改进后的权值迭代公式为
{
（ ’）. " （ 0# （ ,） ,- ） " （ ’） ， $" ’ ". （ ’ 5 $ ）. " （ ’）5 $" （ ’） ， " （ ’ 5 $ ）. ". （ ’ 5 $） ［ / *+, （ ". （ ’ 5 $） ） /］
0$# $
（ $$ ） !
*. *.
（.） （$）
其中 7& - 7!! ， （$） 式表明矩阵在 ! 处的增量 7! 转换为在单位阵 . 处的增量 7&( 由于在 . 附近表现 为欧氏空间的特性， 由李群不变性有
$ 7! + ! - 8 7!! * . ， 7!! * . + . - -7& -$ ( -7 !- - 8 7 !， 任何目标函数 / 在 . 处的负梯度方向就是最陡下降方向， 利用以上知识就可以得到以下结论( ［ &］ 定理 .# 矩阵空间的自然梯度// - //! + !， 其中// 为H 算法、 共轭梯度 G0H 算法、 随机梯度 G0H 算法、 相对梯度 G0H 算法以及自然
［ A］ 梯度 G0H 算法等算法相继涌现 E 可以利用自适应前馈神经网络和 G0H 学习算法寻求未知混合矩阵的近似
逆矩阵来重建原始信号E 日本学者 H7.,2 认为， 在许多情况下， 固定结构的神经网络的 ! 个参数 （ 权值） 构成 的 ! 维待搜索的参数空间实际上并不是一个欧氏空间， 而是一个黎曼空间" 因此， 他从黎曼空间的角度， 利 用李群不变性， 提出了基于自然梯度的 G0H 神经网络算法， 把参数矩阵空间考虑为黎曼空间， 每一步迭代都
（"）
=# 规范化自然梯度 BC1 算法
神经网络学习的过程就是寻求网络权值矩阵 ! 使得形如 （>） 式的目标函数最小的过程( 在 （"） 式的学 习算法中， 学习算法是否收敛依赖初始权值 ! （%） 以及学习率 " " ( 学习过程中， 如果 ; ! ; 过大可能导致学习不 收敛( 如果我们能够在每一步权值更新后对网络权值矩阵进行规范化， 则避免权值矩阵奇异值过大同时也可
（/）
设神经网络重建系统的输入输出关系为 $ - !& 和输出分量 （ 0 1） 的分布函数为 2 （ ， 则 & 的概率密度 1 01 ） 函数为 （ 3 &， !）- ; 76< （ !） ;（ 3 $）- ; 76< （ !） ; 2（ …2（ ( . 0. ） % 0% ） （=） 从不同角度推导目标函数得出的形式可以统一， 如输出信号统计独立性的 45/ 距离目标函数、 最大熵目
图 (’ 传统的盲源分离框图 ’ O2ME (’ J14 P%$<Q L2.M,.7 $/ 6,.L262$-.% I;;
’ ’ 收稿日期： !==A D (= D (C 基金项目： 西华师范大学科研启动基金资助项目 （ !==? ） E 作者简介： 曾宪华 （ (F>? D ） ， 男， 四川攀枝花人， 西华师范大学讲师， 博士研究生， 主要研究领域为： 人工神经网络、 流形学 习， 机器学习等E
! 第 "# 卷第 $ 期
! ! ! ! ! ! ! 曾宪华， 等： 规范化自然梯度 %&’ 算法
! ()
以简化目标函数! 显然， 在统一化的目标函数 （(） 式中， 要求 *+, （ "） 因此在每一步权值更新后对 " 施加 +- ，
0$# $ 一个缩放变换， 即对矩阵 " 乘上一个缩放因子 ! . ［ / *+, （ "） /］ 使得 （(） 式中的第一项可以消去起到简