P(k) = [I − K (k)h'(k)]P(k −1)
3
盛晓婷 最小二乘算法总结报告
⎛ ⎜
^
a1
⎞ ⎟
⎛3⎞
初始条件
^
θ
(0)
=
⎜ ⎜ ⎜ ⎜
^
a2
^
b1
⎟ ⎟ ⎟ ⎟
=
⎜ ⎜ ⎜ ⎜
3 3
⎟ ⎟ ⎟ ⎟
,
P(0)
=
100
*
I
4×4
。
⎜⎜⎝
^
b2
⎟⎟⎠
⎝3⎠
经过编程计算，各个参数的估计值为
⎛ ⎜
1.1. 一次计算最小二乘算法
⎛ ⎜
^
a1
⎞ ⎟
⎛ -1.4916 ⎞
^
θ
LS
=
⎜^ ⎜ a2 ⎜^ ⎜ b1
⎟ ⎟ ⎟ ⎟
=
(
H
T L
H
L
)−1
H
T L
Z
L
=
⎜ ⎜
0.7005
⎟ ⎟
⎜1.0364 ⎟
⎜
⎟
(1.1)
⎜⎜⎝
^
b2
⎟⎟⎠
⎝ 0.4268 ⎠
⎛ Z (3) ⎞
⎛ hT (3) ⎞ ⎛ −Z (2) −Z (1)
3. 限定记忆最小二乘递推算法 ...........................................................9 4. 偏差补偿最小二乘法 .....................................................................11 5. 增广最小二乘法 .............................................................................13 6. 广义最小二乘法 .............................................................................15 7. 辅助变量法 .....................................................................................17 8. 二步法 .............................................................................................19 9. 多级最小二乘法 .............................................................................21 10. Yule-Walker辨识算法 .....................................................................23 Matlab程序附录 .......................................................................................24 附录 1、最小二乘一次计算法 ...............................................................24 附录 2、最小二乘递推算法 ...................................................................25 附录 3、遗忘因子最小二乘一次计算法 ...............................................26 附录 4、遗忘因子最小二乘递推算法 ...................................................27 附录 5、限定记忆最小二乘递推算法 ...................................................29 附录 6、偏差补偿最小二乘递推算法 ...................................................31 附录 7、增广最小二乘递推算法 ...........................................................32
u(400)
⎟ ⎠
Matlab程序见附录 1。
1.2. 递推最小二乘算法
递推最小二乘算法公式：
^
^
^
θ (k) = θ (k −1) + K (k)[z(k) − h' (k)θ (k −1)]
K (k) = P(k −1)h(k)[h' (k)P(k −1)h(k) + 1 ]−1
(1.2)
Λ(k)
2
盛晓婷 最小二乘算法总结报告 1. 一般最小二乘法
例 1 考虑如下仿真对象 z(k + 2) −1.5z(k +1) + 0.7z(k) = u(k +1) + 0.5u(k) + v(k )
其中， v(k ) 为服从 N (0,1) 分布的白噪声。输入信号 u(k ) 采用 M 序列，幅度为 1。M 序列 由 9 级移位寄存器产生， xi = xi−4 ⊕ xi−9 。 选择如下的辨识模型 z(k + 2) = −a1z(k +1) − a2 z(k) + b1u(k +1) + b2u(k) + v(k) 观测数据长度取 L = 400 。加 最小二乘算法总结报告
2. 遗忘因子最小二乘算法
采用的辨识模型与例 1相同。
2.1. 一次计算法
⎛ ⎜
^
a1
⎞ ⎟
⎛ -1.4990 ⎞
^
θ LS
⎜^ ⎟
=
⎜ ⎜
a2
^
⎟ ⎟
=
(H
*T L
H
* L
)−1
H
*T L
Z
* L
⎜ b1 ⎟
⎜
=
⎜ ⎜
⎜
0.7060
⎟ ⎟
0.8260 ⎟
⎟
⎜⎜⎝
^
b2
各种最小二乘算法总结
盛晓婷 0908110618
盛晓婷 最小二乘算法总结报告
目录
1. 一般最小二乘法 ...............................................................................3 1.1. 一次计算最小二乘算法 .............................................................3 1.2. 递推最小二乘算法 .....................................................................3
2. 遗忘因子最小二乘算法 ...................................................................6 2.1. 一次计算法 .................................................................................6 2.2. 递推算法......................................................................................6
1
盛晓婷 最小二乘算法总结报告
附录 8、广义最小二乘递推算法 ...........................................................34 附录 9、辅助变量法 ...............................................................................36 附录 10、二步法......................................................................................38 附录 11、多级最小二乘法......................................................................39 附录 12、Yule-Walker辨识算法 .............................................................42
b2 a1 50 100 150 200 250 300 350 400 450
图 1 一般最小二乘参数过渡过程
4
盛晓婷 最小二乘算法总结报告
估计方差变化过程
100
90
80
70
60
50
40
30
20
10
0
0
50 100 150 200 250 300 350 400 450
图 2 一般最小二乘方差变化过程
u(2)
其中， ZL
=
⎜ ⎜
Z
(4)
⎟ ⎟，
⎜... ⎟
⎜
⎟
⎝ Z (402) ⎠
HL
=
⎜ ⎜
hT
⎜ ⎜⎜⎝
... hT
⎟ (4) ⎟
⎟ (402) ⎟⎟⎠
=
⎜ ⎜
−Z
(3)
−Z (2)
⎜... ...
...
⎜ ⎝
−Z
(401)
−Z (400)
u(3) ...