H
两边分别对w(n+1)的瞬时(n+1)值求偏导数，并令其等于 零，经整理后，得到
w(n 1) w(n) 1 / 2 R 1(n)
(6-1-3)
这就是牛顿方法迭代计算公式。在理想情况下，R和▽(n) 精确已知，此算法可达最佳滤波结果，且在一次简单迭代运 算后就得最佳解，即：
w( n 1) R P w0
的建模，即用阶为0到M-1的预测器的反向预测误差把矢量 X(n)换成新矢量 ，即有
b(n) [b0 (n) b1 (n) bM 1 (n))]T
X (n) [ x(n) x(n 1) x(n M 1)]T
b(n)=Lx(n)
(6-1-12)
式中，L为下三角矩阵，它由预测器系数 ai , j 表示其元素，这里 ai , j 为第i阶预测器的第j个系 数，三角矩阵L的形式是
(6-1-14)
E[ LX (n) X T (n) LT ] LR (n) LT
这是一种快速LMS牛顿算法.
6.2 归一化LMS
基本思路：不希望用与估计输入信号矢量有 关的相关的矩阵来加快LMS算法的收敛速度，可 用变步长方法来缩短其自适应收敛过程，变步长 μ(n)的更新公式写成
w(n 1) w(n) (n)e(n) x(n) w(n) w (n)
1
(6-1-4)
实际应用中，仅有效地估计自相关矩阵R和梯度 的估计值用到类似牛顿方法迭代计算公 R 式中，如下式
ˆ 1 ( n) ˆ (6-1-5) w( n 1) w( n) R ( n)
这里,0<μ<1,应用收敛因子μ是为了保证R与 ▽(n)的噪化估计也能使算法收敛.
我们可以认为， b0 (n), b1 (n),...bM 1 (n) 都是互不 相关的，这意味着它们的相关矩阵 Rbb是一个对角 线矩阵，所以求它的逆矩阵比较容易，即
ˆ 1 ( n) X ( n) LT R 1b( n) R bb
可得到 Rbb E[b(n)bT (n)] E[ LX (n){LX (n)}T ]
1 a 1,1 L a2 , 2 aM 1, M 1 0 1 a2,1 aM 1, M 2 0 0 1 aM 1, M 3 ... ... ... 0 0 0 0 0 0 1
(6-1-13)
... aM 1,1
当输入信号为平稳随机过程时，R的无偏估计值等于
n 1 T ˆ ( n) R x ( i ) x (i ) n 1 i 0 n ˆ 1 R ( n 1) x ( n) x T ( n) n 1 n 1
(6-1-6)
因为估值的数学期望为
ˆ (n)] (1 / n 1) E[ x(i ) xT (i )] R E[ R
第六章 改进的自适应LMS算法
• 6.1 LMS牛顿算法 • 6.2 归一化LMS算法 • 6.3 变换域LMS算法 • 6.4 频域LMS算法 • 6.5 简介其它LMS算法自适应滤波器
6.1
LMS牛顿算法
当滤波器的输入信号为有色随机过程时，特别是 输入信号为高度相关的情况，大多数自适应滤波算法 的收敛速度都要下降，对于典型的LMS算法，此问题 更加突出。LMS牛顿算法可以很好地解决这个问题。 它不仅可以提高收敛速度也不会太增加计算复杂度. LMS牛顿算法公式推导：
T

w (n) x(n) x (n)w (n)
T T
(6-2-4)
n) 把 w (n) (n)e(n) x( 的关系式代入式 (6-2-4)中，得到
e (n) 2 (n)e (n) x (n) x(n)
2 2 T
(n)e (n)[ x (n) x(n)]
2 2 T
2
(6-2-5)
为了增加收敛速度，合适地选取μ(n)使平方 误差最小化，故将式(6-2-5) 对变系数μ(n)求偏导 数，并令其等于零，求得：
1 ( n) T x ( n) x ( n)
(6-2-6)
这个步长值 μ(n)导致 e 2 (n)出现负的值，这对应 于 e 2 (n)的最小点，相当于平方误差 e 2 (n) 等于 零。
E[ x T (n) x(n)] tr[ R ] e( n ) x ( n ) E[e(n) x(n)] E[ T ] x ( n) x ( n) E[ x T (n) x(n)]
(6-2-8)
然后对收敛因子的平均值应用更新LMS的方向 e(n)x(n)是μ/2tr[R] ，最后，将归一化LMS算法的 更新公式与经典LMS算法更新公式相比较，可以 得到收敛因子μ的上界不等式条件，如下： 0< μ(n)= μ /2tr[R]<1/ /2tr[R] 或 0< μ<2 显然，由式(6-2-7)与(6-2-9)可构成归一化LMS算 法，其中 0≤ γ ≤1，选择不同的γ 值可以得到 不同的算法. (6-2-9)
e ( n) e ( n)
2 2
2w (n) x(n) x (n) w(n)
T T
w (n) x(n) x (n)w (n)
T T
2d (n)w (n) x(n)
T
(6-2-3)
2 e ( n) 在此情况下，瞬时平方误差的变化量 定义为
e 2 (n) e 2 (n) e 2 (n) 2w (n) x(n)e(n)
当γ=0时，由式(6-2-7)可以写成
w(n 1) w(n)
(d (n) wT (n) x(n)) x(n)
x ( n)
2
(6-2-10)
这种算法是NLMS算法的泛化形式，其中随机 梯度估计是除以输入信号矢量元素平方之和。 所以步长变化范围比较大，可有较好的收敛性 能。
在此情况下，算法的归一化均方误差NMSE 可由式(6-2-10)得到
d (n) w(n) x(n) 2 (n) E x ( n ) (6-2-11) 最佳滤波权矢量可由 对w(n)求偏导数，并 (n) 令其等于零，即由式
T ' d (n) x (n) w0 x(n) E x ( n ) x ( n)
e 2 ( n) [ d ( n) x T ( n) w( n)]2 d 2 ( n) wT ( n) x( n) x T ( n) w( n) 2d ( n) wT ( n) x( n)
(6-2-2)
w ( n) 如果滤波权矢量的变化量 w(n) w(n) , 则对 应的平方误差 可以由上式得到 e 2 ( n)
i 0 n
因此是无偏的。当然，还有其他相关矩阵估计方法， 这里不再赘述了.
为了避免求 演引理公式：
ˆ (的逆，我们可以利用下列矩阵反 R n)
[ A BCD]1 A1 A1 B[ DA1 B C 1 ]1 DA1
(6-1-7)
其中，A和C为非奇异矩阵. ˆ (n 1), B DT x(n), , 如果我们选用 A (1 ) R 可以导 C 出 的计算公式： ˆ 1 (n) R
1 1 T 1 ˆ ˆ ˆ R (n 1) R (n 1) x(n) x (n) R (n 1) 1 ˆ R (n) (1 / 1 )[ ] T 1 ˆ (n 1) x(n) (1 / ) x (n) R (6-1-8)
从每次迭代运算所需乘法来看，上式计 ˆ (n)的 ˆ 1 (n) 的运算量为O(Ν 2 ),低于直计算R 算 R 逆的运算量O( Ν 3 ). 如果在式(6-1-5)中用LMS算法来估计梯度矢量， 则LMS牛顿算法的滤波权系数更新公式将如下式：
(6-2-1)
w (n) (n)e(n) x(n) 表示滤波权矢 式中， 量迭代更新的调整量。为了达到快速收敛的目 的，必须合适地选择变步长μ(n)的值，一个可能 的策略是尽可能多地减小瞬时平方误差，即用 瞬时平方误差作为均方误差MSE的简单估计， 这也是LMS算法的基本思想。瞬时平方误差可 以写成
小结：LMS梯度方向趋向于理想梯度方向， 类似地，由 R ˆ 1 (n) 相乘所生成的矢量的方向接近 于牛顿的方向，所以LMS牛顿算法朝均方误差曲 面最小点方向的路径收敛。而且算法的收敛特性 表明与相关矩阵R的特征值扩张无关.
一种快速LMS牛顿算法
ˆ 1 (n) x来实现 直接计算式(6-1-9)中的 R LMS牛顿算法。 ( n) 算法的基本思想是用自回归（AR）模型来做输入信号矢量
为了控制失调量，考虑到基于瞬时平方误差的 导数不等于均方误差MSE求导数值，所以以LMS算法 的更新迭代公式作如下修正：
w(n 1) w(n)
e(n) x(n) x ( n) x ( n)
T
(6-2-7)
式中，μ为控制失调的固定收敛因子，γ参数是 为避免x(n) xT (n)过小导致步长值太大而设置的。 通常称式(6-2-7)为归一化LMS算法的迭代公式. 为了保证自适应滤波器的工作稳定，固定 收敛因子μ的选取应满足一定的数值范围。现 在我们来讨论这个问题。首先考虑到下列关系：
w(n 1) w(n)
e(n) x(n)
1 x ( n) x ( n)
T
(6-2-14)
由此可得到NLMS算法的特殊形式：
w(n 1) w(n) [d (n) wT (n) x(n)]x(n)
x ( n)
1
2
(6-2-15)
[d (n) wT (n) x(n)]x(n) w(n 1) w(n) 2 1 x ( n)
自适应横向滤波器的滤波系数矢量的二次方函 数所构成的均方误差曲面，可由其均方误差ξ(n+1) 描述滤波特性，