uv
uv
uv
w(n 1) w(n) 2e(n)x N (n)
问题：
能否由任意起始位置w(0)经迭代最终收敛到最优解w*
跟最速梯度法权向量的收敛性有何区别？
uvT uv Q e(n) d(n) w (n)xN (n)
uvT uv d(n) xN (n)w(n)
uv
uv
w(n 1) w(n) 2
页页
2 1(1 k22 ) 3 4 (1 k22 )
k2
[RX
(2)
1 i 1
a1 (i ) RX
(2
i)]/
1
1 3
则 2 3 4 (11 9) 2 3
2
k3 [RX (3) a2 (i)RX (3 i)] / 2
i 1
[ 1 4
a2 (1)RX
(2)
a2 (2)RX
(1)] /
c(2)
4.58
所以，ARMA(2,1)模型的系统函数为
1 0.57z1 H1(z) 1 2.93z1 2.59z2
X
第第
2. 已知平稳随机信号x(n)的自相关函数值：
1177 页页
R(0) 1, R(1) 0.5, R(2) 0.5, R(3) 0.25,
现用AR(3)模型估计它的功率谱，设模型参
i 1 p
1 ai zi
i 1
p
q
差分方程： x(n) ai x(n i) Gbi(n i)
i 1
i0
功率谱：
q
2
1 bie ji
Sx
(e
j
)
G 2
2
i 1 p
1 aie ji
i 1
X
失调量与收敛时间常数的关系
页页
i
1
2 i
M
uv N
tr R i
i 1
N
i 1
1
2 i
1 N 1
2 i1 i
N 1
2 ave
N 4
1
mse
ave
若R的N个特征值相等，则 M N 1 4 mse
X
第第
结论：
1133 页页
（1）若选择足够长的时间常数（足够多的迭代次 数），失调量M可以控制到任意小。
X
第第
1100
三. 均方误差的收敛性分析及失调量
页页
LMS算法： 收敛后权向量在最佳权向量附近随机起伏，稳态
均方误差在附近随机起伏，产生额外的均方误差：
LMS的稳态均方误差
excess MSE E (n) min
excess MSE
失调量M=
min
N
Q excess MSE E (n) min min i
uv
2 E d(n)x N (n)
EEwuvwuv((nn))22EEuxvNuxv(NnR()nuxv)TNuxv(TnN)(nE)wuv(wuvn()n) 22EEdd((nn)u)pvuxvuxvNN((nn))
v uv uv
uv
I 2 R E w(n) 2 p
X
uv
v uv uv
uv
uv 2E e(n)xN (n)
若用平方误差e 2 (n)代替均方误差E[e 2 (n)], 则可得梯度
向量的近似表达式为
ˆ w (n)
e2u(vn) w
2e(n)
e(uvn) w
uv 2e(n)x N
(n)
ˆ w (n)是w(n)的无偏估计，其均值等于真值w(n)。
将上式带入权系数迭代公式，得
uv
uv
M tr R
i 1uv
mintr R
X
第第 1111 页页
uv
M tr R
uv tr R是矩阵R的迹，是R的N个特征值之和，也等于 矩阵R的主对角线元素之和。即NRx (0)。 步长因子和信号功率都对失调有影响。
控制失调量和加快收敛速度矛盾，故采用变步长因 子的方法。
X
第第
1122
wi (n 1) wi (n) 2e(n)x(n i)
当到达稳态时，应有
i 0,1, 2L N 1
LMwSi算(n法稳1)态解w存i (n在) 随 w机i*波(n动) 。
即e(n)x(n i) 0 i 0,1, 2L N 1 X
第第
二. LMS权系数的收敛性分析
66 页页
LMS算法迭代公式
数b(0) 1，试用Levinson - Durbin算法求模
型参数a3 (1), a3(2), a3(3)及b(0)。
解： 0 RX (0) 1
a1 (1)
k1
RX RX
(1) (0)
1 2
由 m m1(1 km2 ) 知
1 0 (1 k12 ) 11 4 3 4
X
第第 1188
E w(n 1) (I 2 R)E w(n) 2 p
uv
v uv uv
uv
w(n 1) (I 2 R)w(n) 2 p
第第 99 页页
比较
LMS算法迭代过程中权向量的平均特性跟最速梯度 法迭代过程中权向量的特性相同。
权向量将围绕最优点随机变化，在碗底附近徘徊。
均方误差的稳态值将大于最小均方误差，产生了额 外的均方误差（excess MSE）,也叫超量均方误差。
uv
uv
w(n) 2d(n)xN
(nd)(n)2uxvuxvTNTN((nn))wuwuvv((nn))uxvuxvNN((nn))
X
第第 77
页页
uv w(n)
2d
uv (n) x N
(n)
2
uvT xN
uv uv (n)w(n) x N
(n)
uv w(n)
uv
2d (n) x N
(n)
uv
（2）当时间常数一定时，失调量随着权系数的数目 N正比的增长。
（3）N越大，失调量M越大，但因权系数较多，故可 以更好地逼近所希望的脉冲响应和频响特性。
X
第第
3、4章作业部分参考答案
1144 页页
1. 某随机过程用AR模型拟和的结果是
1 H (z) 1 3.5z-1 4.58z2 2.6z3 0.58z4 试由它导出一个ARMA(2,1)模型。
若信号ur 非u平r 稳，统计特性是时变的，需要不断重新 估计 R和P ，因而运算量很大，这是自适应调整过
程不允许的。
X
ur ur 解决问题的关键：合理估计梯度而不需要用 R和P
第第 33页页ຫໍສະໝຸດ LMS算法：其基本思路与梯度下降法一致，不同之处在于 用梯度的估计值代替真实的梯度，既不需要求 相关矩阵，又不涉及矩阵求逆。
一. 权系数的迭代解 Q (n) E[e2 (n)]
w
(n)
ur w
E[e2
(n)]
2E[e(n)
ur w
e(n)]
其中
e(n)
d (n)
wT
(n)xN
(n)
，所以
ur e(n) w
r xN
(n)
X
uv
uv
第第
w(n 1) w(n) w (n)
44 页页
w (n)
ur w
E[e2 (n)]
2 xN
uvT (n) x N
uv (n)w(n)
I
2
uv xN
uvT (n) x N
(n)
uv w(n)
2d
uv (n) x N
(n)
E
uv xN
uvT (n) x N
(n)
uv R
uv
uv
最E速d梯(n度)法x N权(n) p
系数迭代公式
则上式变为：
uv
uv uv
uv
w(n 1) I 2 R w(n) 2 p
解：设ARMA(2,1)的系统函数为
H1(z)
B(z) A(z)
1
1 b1z1 a1z1 a2z2
AR模型的系统函数为
H(z) 1 C(z)
X
第第
令H1(z) H (z)得，B(z)C(z) A(z)
1155 页页
1
a(n) n 0,1, 2
即 k0 b(k)c(n k) 0
n3
当n=3时，b(0)c(3) b(1)c(2) 0
§5.4 最小均方(LMS)算法
1
第第
最速梯度法权系数迭代公式为
22 页页
uv
uv
w(n 1) w(n) w (n)
其中，梯度向量
uv uvuv
w (n) 2 p 2Rw(n)
代入迭代公式得：
uv
uv
uv uvuv
w(n 1) w(n) 2 wp(n)Rw(n)
ur ur
若信号平稳，则 R和P 可以由观测值估计得到。
2
1 8
X
第第 1199
页页
11 1 3
a3
(1)
a2
(1)
k3
a2
(2)
3
8
(
) 3
8
a3
(2)
a2
(2)
k3
a2
(1)
1 3
1 8
(
1) 3
3 8
min
RX (0)
p
ak RX
k 1
(k)
21 32
由 H(z)
G b0
p
1 ak zk
k 1
G 1知
min
2
b02
b0 21 32 42 8 X
b(1) c(3) 2.6 0.57 c(2) 4.58