⎟ 小二乘算法
递推最小二乘算法公式：
^
^
^
θ (k) = θ (k −1) + K (k)[z(k) − h'(k)θ (k −1)]
K (k) = P(k −1)h(k)[h' (k)P(k −1)h(k) + 1 ]−1
(1.2)
Λ(k)
u(2)
其中， ZL
=
⎜ ⎜
Z
(4)
⎟ ⎟，
⎜... ⎟
⎜
⎟
⎝ Z (402) ⎠
HL
=
⎜ ⎜
hT
⎜ ⎜⎜⎝
... hT
⎟ (4) ⎟
⎟ (402) ⎟⎟⎠
=
⎜ ⎜
−Z
(3)
−Z (2)
⎜... ...
...
⎜ ⎝
−Z
(401)
−Z (400)
u(3) ...
u(401)
u(1) ⎞
u(2)
⎟ ⎟
⎟
3. 限定记忆最小二乘递推算法 ...........................................................7 4. 偏差补偿最小二乘法 .......................................................................9 5. 增广最小二乘法 .............................................................................11 6. 广义最小二乘法 .............................................................................13 7. 辅助变量法 .....................................................................................15 8. 二步法 .............................................................................................17 9. 多级最小二乘法 .............................................................................19 10. Yule-Walker 辨识算法 ....................................................................21 Matlab 程序附录 ......................................................................................22 附录 1、最小二乘一次计算法 ...............................................................22 附录 2、最小二乘递推算法 ...................................................................23 附录 3、遗忘因子最小二乘一次计算法 ...............................................24 附录 4、遗忘因子最小二乘递推算法 ...................................................25 附录 5、限定记忆最小二乘递推算法 ...................................................27 附录 6、偏差补偿最小二乘递推算法 ...................................................29 附录 7、增广最小二乘递推算法 ...........................................................30
2. 遗忘因子最小二乘算法 ...................................................................4 2.1. 一次计算法 .................................................................................4 2.2. 递推算法......................................................................................4
图 1 一般最小二乘参数过渡过程 .....................................................2 图 2 一般最小二乘方差变化过程 ....................................................3 图 3 遗忘因子法参数过渡过程 ........................................................5 图 4 遗忘因子法方差变化过程 ........................................................6 图 5 限定记忆法参数过渡过程 ........................................................8 图 6 限定记忆法方差变化过程 ........................................................8 图 7 偏差补偿最小二乘参数过渡过程 ..........................................10 图 8 偏差补偿最小二乘方差变化过程 ..........................................10 图 9 增广最小二乘辨识模型 ..........................................................11 图 10 增广最小二乘参数过渡过程 ................................................12 图 11 广义最小二乘参数过渡过程 ................................................14 图 12 广义最小二乘方差变化过程 ................................................14 图 13 辅助变量法参数过渡过程 ....................................................16 图 14 辅助变量法方差变化过程 ....................................................16 图 15 二步法参数过渡过程 ............................................................18 图 16 二步法方差变化过程 ............................................................18
P(k) = [I − K (k)h' (k)]P(k −1)
西安交通大学科技报告 zhistar@
⎛ ⎜
^
a1
⎞ ⎟
⎛3⎞
初始条件
^
θ
(0)
=
⎜ ⎜ ⎜ ⎜
^
a2
^
b1
⎟ ⎟ ⎟ ⎟
=
⎜ ⎜ ⎜ ⎜
3 3
⎟ ⎟ ⎟ ⎟
,
P
(0)
=
100
*
I
4×4
。
⎜⎜⎝
^
b
2
⎟⎟⎠
⎝3⎠
经过编程计算，各个参数的估计值为
1.1. 一次计算最小二乘算法
⎛ ⎜
^
a1
⎞ ⎟
⎛ -1.4916⎞
^
θ LS
=
⎜^ ⎜ a2 ⎜^ ⎜ b1
⎟ ⎟ ⎟ ⎟
=
(
H
T L
H
L
)−1
H
T L
Z
L
=
⎜ ⎜
0.7005
⎟ ⎟
⎜1.0364 ⎟
⎜
⎟
(1.1)
⎜⎜⎝
^
b2
⎟⎟⎠
⎝ 0.4268 ⎠
⎛ Z (3) ⎞
⎛ hT (3) ⎞ ⎛ −Z (2) −Z (1)
b2 a1 50 100 150 200 250 300 350 400 450
图 1 一般最小二乘参数过渡过程
(1.3)
2
西安交通大学科技报告 zhistar@
100 90 80 70 60 50 40 30 20 10 0 0
估计方差变化过程
50 100 150 200 250 300 350 400 450
1
西安交通大学科技报告 zhistar@ 附录 8、广义最小二乘递推算法 ...........................................................32 附录 9、辅助变量法 ...............................................................................34 附录 10、二步法......................................................................................36 附录 11、多级最小二乘法......................................................................37 附录 12、Yule-Walker 辨识算法 ............................................................40