正交原理
w＝w E{| e2 (n) |} 0 e(n) d (n) w H x(n)
e er je j d dr jd j x xr jx j w w r jw j
| e |2 er2 e2j
[dr

(w
T r
x
r

wTj x
j
)]2
wopt＝R－xx1rxd

E{|
d
(n)
|2
}

wH opt
rxd
min

E{| d(n)
|2} 2 Re{woHptrxd }
wH opt
R
xx
wopt

E{|
d (n)
|2}

wH opt
R
xx
w
opt
正规方程的解
(1) 直接矩阵求逆算法（DMI算法）或采样矩阵求逆(SMI)算法。 (2) 最陡下降法（加权系数的递推）----最小均方算法即LMS算法 (3) Levinson-Durbin算法（加权系数的递推）利用矩阵的埃尔米特 和Toeplitz性质
E{x(n i)e* (n)} 0 i 0,1,, M 1
根据正交原理推正规方程
0 E{x(n)e*(n)} E{x(n)[d *(n) xH (n)wopt ]}
E{x(n)d *(n)} E{x(n)xH (n)}wopt
R xxw rxd
§3.2 关于均方误差性能函数的进一步讨论 3.2.1 均方误差性能函数的各种表达式
[d
j
(wTr x
j

wTj xr )]2
w | e |2 wr | e |2 jw j | e |2 2xe*
w E{| e(n) |2} E{w | e(n) |2} E{2e* (n)x(n)} 0
E{x(n)e* (n)} 0 E{p(n)q* (n)} 0
i 1
qi ' QH qi [q1, , qi , , qM ]H qi [0, ,1, 0]T
3.2.2 几何意义
w

w1 w2

w opt

wopt1 wopt 2

v
w w opt

v1 v2

'
R xx

rxx (0)

rxx
(1)
rxx (1)
rxx (0) rxx (0) 0
图3.2 均方误差性能面
图3.3 等均方误差椭圆族
min vT R xx v C vT R xxv C1
v' v' C QT
R
xxQ

Λ

1

0
0
2

v'T Λv ' C1
2 11
rxx (i) E{x(n)x* (n i)} rxx (i) rx*x (i) rxd (i) E{x(n)d * (n i)} rdx (i) rd*x (i)
f (w) E{| e(n) |2}
E{| e(n) |2} E{e(n)e* (n)} E{| d (n) |2} w H rxd (w H rxd )* w H R xxw
rxx (1) rxx (0)

rxx (M 1)
rxx (M 2)


(１)是埃米尔特矩阵
R
H xx

R xx
rxx (1 M ) rxx (2 M )
rxx (0)

(2)是正定的或半正定的。
v H R xxv E{v H x(n)x H (n)v} E{| x H (n)v |2} 0
E{| d (n) |2} 2 Re{w H rxd } w H R xxw
rxd (0)

rxd

E{x(n)d * (n)}

rxd (1)

rxd (1 M )
rxx (0)
R xx

E{x(n)x H (n)}

rxx (1)
w opt

R
r 1
xx xd
min

E{e2 (n)}min

E{d
2
(n)}

wH opt
rxd
w(n 1) w(n) w
w(n 1) w(n) [2R xxw(n) 2rxd ]
(3)具有Toeplitz性质，即其任意对角线上的元素相等。
最佳解---维纳解
E{| d (n) |2} 2 Re{w H rxd } w H R xxw
f (w) E{| e(n) |2} w w E{e2 (n)} 0
(正规方程) R xx w opt＝rxd
Q H Q I， Q H Q1 Q H R xxQ Λ R xx QΛQH QΛQ1
Λ Diag(1, 2 , M ) ＝min vH QΛQH v
v' Q H v [v1 ',, vM ']T
v Qv'
min v'H Λv ' min M i vi' 2
＝min＋(w wopt )H Rxx (w wopt )
v w w opt ＝ min＋v H R xx v
R xxqi
iqi
i 1,2,, M
qiH q j

1 0
i j i j
q11 q1M
Q

q1,,q M


Fra bibliotekqM1 qMM
2 22
1
v'12 v'22 1
(C1 / 1) (C2 / 2 )
1 均方误差椭圆
的长轴正比于
min
短轴正比于 1 max
§3.3 最陡下降法 3.3.1 最陡下降法的递推公式
＝E{| d (n) |2} 2 Re{w H rxd } w H R xxw
w 2R xxw 2rxd
w [w1 , w2 ,..., wM ]T
x(n) [x1(n), x2 (n),..., xM (n)]T [x(n), x(n 1),..., x(n M 1)]T
y(n)

M
wi* x(n i
1)

wH
x(n)

xT
(n)w*
i 1
e(n) d (n) y(n) d (n) w H x(n)