E{| e(n) |2} E{e(n)e* (n)} E{| d (n) |2} w H rxd (w H rxd )* w H R xxw
E{| d (n) |2} 2 Re{w H rxd } w H R xxw
rxd (0)
rxd
E{x(n)d * (n)}
rxd (1)
x(n)
xT
(n)w*
i 1
e(n) d (n) y(n) d (n) w H x(n)
rxx (i) E{x(n)x* (n i)} rxx (i) rx*x (i) rxd (i) E{x(n)d * (n i)} rdx (i) rd*x (i)
f (w) E{| e(n) |2}
2 11
2 22
1
v'12
v'
2 2
1
(C1 / 1) (C2 / 2 )
1 均方误差椭圆
的长轴正比于
min
短轴正比于 1 max
§3.3 最陡下降法 3.3.1 最陡下降法的递推公式
＝E{| d (n) |2} 2 Re{w H rxd } w H R xxw
w 2R xxw 2rxd
v(n) (I 2QΛQ1)n v(0) [Q(I 2Λ)Q1]n v(0)
正交原理
w＝w E{| e2 (n) |} 0 e(n) d (n) w H x(n)
e er je j d dr jd j x xr jx j w w r jw j
| e |2 er2 e2j
[dr
(w
T r
x
r
wTj x
j
)]2
[d
j
(wTr x
j
wTj xr )]2
v w w opt ＝ min＋v H R xx v
R xxqi
iqi
i 1,2, , M
qiH q j
1 0
i j i j
q11 q1M
Q
q1 ,
,qM
qM1 qMM
Q H Q I， Q H Q1 Q H R xxQ Λ R xx QΛQH QΛQ1
Λ Diag(1, 2 , M ) ＝min vH QΛQH v
根据正交原理推正规方程
0 E{x(n)e*(n)} E{x(n)[d *(n) xH (n)wopt ]}
E{x(n)d *(n)} E{x(n)xH (n)}wopt
R xxw rxd
§3.2 关于均方误差性能函数的进一步讨论 3.2.1 均方误差性能函数的各种表达式
＝min＋(w wopt )H Rxx (w wopt )
w opt
R
r 1
xx xd
min
E{e2 (n)}min
E{d
2
(n)}
wH opt
rxd
w(n 1) w(n) w
w(n 1) w(n) [2R xxw(n) 2rxd ]
w(n 1) (I 2R xx )w(n) 2rxd
w(n 1) w opt (I 2R xx )[w(n) w opt ]
v' Q H v [v1 ', , vM ']T
v Qv'
min v'H Λv ' min M i vi' 2
i 1
qi ' QH qi [q1,L , qi ,L , qM ]H qi [0,L ,1,L 0]T
3.2.2 几何意义
w
w1 w2
w opt
wopt1 wopt 2
(正规方程) R xx w opt＝rxd
wopt＝R－xx1rxd
E{|
d
(n)
|2
}
wH opt
rxd
min
E{| d(n)
|2} 2 Re{woHptrxd }
wH opt
R
xx
wopt
E{|
d (n)
|2}
wH opt
R
w xx opt
正规方程的解
(1) 直接矩阵求逆算法（DMI算法）或采样矩阵求逆(SMI)算法。 (2) 最陡下降法（加权系数的递推）----最小均方算法即LMS算法 (3) Levinson-Durbin算法（加权系数的递推）利用矩阵的埃尔米特 和Toeplitz性质
v
w w opt
v1 v2
'
R xx
rxx (0)
rxx
(1)
rxx (1)
rxx (0) rxx (0) 0
图3.2 均方误差性能面
图3.3 等均方误差椭圆族
min vT R xx v C vT R xxv C1
v' v' C QT
R
xxQ
Λ
1
0
0
2
v'T Λv ' C1
第三章 最小均方(LMS)算法
§3.1 最小均方误差滤波器
图3.1 横式滤波器
w [w1 , w2 ,..., wM ]T
x(n) [x1(n), x2 (n),..., xM (n)]T [x(n), x(n 1))
M
wi* x(n i
1)
wH
3.3.2最陡下降法的性能分析
一、收敛性
w(n 1) w opt (I 2R xx )[w(n) w opt ]
v(n) w(n) w opt v(n 1) (I 2R xx )v(n) v(0) w(0) w opt v(n) (I 2R xx )n v(0) R xx QΛQH QΛQ1
v H R xxv E{v H x(n)x H (n)v} E{| x H (n)v |2} 0
(3)具有Toeplitz性质，即其任意对角线上的元素相等。
最佳解---维纳解
E{| d (n) |2} 2 Re{w H rxd } w H R xxw
f (w) E{| e(n) |2} w w E{e2 (n)} 0
rxd (1 M )
rxx (0)
R xx
E{x(n)x H (n)}
rxx (1)
(１)是埃米尔特矩阵
R
H xx
R xx
rxx (1 M )
rxx (1) rxx (0)
rxx (2 M )
rxx (M 1) rxx (M 2)
rxx (0)
(2)是正定的或半正定的。
w | e |2 wr | e |2 jw j | e |2 2xe*
w E{| e(n) |2} E{w | e(n) |2} E{2e* (n)x(n)} 0
E{x(n)e* (n)} 0 E{p(n)q* (n)} 0
E{x(n i)e* (n)} 0 i 0,1, , M 1