系统辨识
1 最小二乘参数估计法
（1）批处理最小二乘法 CAR 模型：
()()()
()()11A z y k B z u k d k ξ--=-+
(1.1)
式中，()k ξ为白噪声，结构参数a n 、b n 和d 均已知，且：
()()
11111
011a
a b b n n n n A z a z a z B z b b z b z ------⎧=+++⎪
⎨=+++⎪⎩
参数估计的任务是根据可测量的输入和输出，确定如下1a b n n ++个参数：
1201,,,,,,,a b n n a a a b b b
将式（1.1）写成最小二乘形式：
()()()()()()
()()
101 a b n a n b T y k a y k a y k n b u k d b u k d n k k k ξϕθξ=----+-++--+=+ (1.2)
式中，()k ϕ为数据向量，θ为待估计参数向量，且：
()()()()()(
)()11
11
101,,,,
,,,,,,a b a b a b T
n n a b T
n n n n k y k y k n u k d u k d n R
a a
b b R ϕθ++⨯++⨯⎧⎡⎤=-------∈⎣⎦⎪
⎨⎡⎤⎪=∈⎣⎦⎩
LS 法：
对于L 次观测，取如下性能指标：
()()()()
2
2
1
1
ˆˆˆˆ2L
L
T
T T T T T k k J k y k k Y Y Y
ε
ϕθθ
θθ==⎡⎤=
=-=-Φ+ΦΦ⎣⎦
∑
∑ (1.3)
参数的最小二乘估计就是是目标函数取极小值的参数ˆθ。

现有L 组输入输出观测数据()(){},,1,,y k u k k L =，利用批处理法得到系统参数的最小二乘估计ˆθ为：
()
1
ˆT T Y θ
-=ΦΦΦ (1.4)
式中
()()()()()()()1
11122,a b T T L n n L T y y Y R R y L L ⨯++⨯⎡⎤Φ⎡⎤
⎢⎥⎢⎥
Φ⎢⎥⎢⎥=∈Φ=∈⎢⎥⎢⎥
⎢⎥⎢⎥
⎢⎥⎢⎥Φ⎣⎦
（2）递推最小二乘参数估计
解决处理数据量大，占用内存大的问题 递推公式：
()()()()()()()()()()()()()()()()ˆˆˆ1111111T T
T k k K k y k k k P
k k K k k P k k P k K k k P k θθϕθϕϕϕϕ⎧⎡⎤
=-+--⎣⎦⎪
⎪-⎪
=⎨+-⎪
⎪
⎡⎤=--⎪⎣
⎦⎩ (1.5)
初值()0P 、()ˆ0θ
有如下两种方法： ①若已取得L 组数据（1a b L n n >++），利用批处理最小二乘参数估算法：
()
()()()
1
1
T L L T
T L L L L
P L L Y θ--⎧=ΦΦ
⎪⎨
⎪=ΦΦΦ⎩
②直接令
()()0ˆ
0P I
αθε⎧=⎪⎨=⎪
（3）遗忘因子递推最小二乘法 针对参数时变系统 性能指标：
()()2
1
ˆL
L k T
k J y k k λϕθ-=⎡⎤=
-⎣⎦∑
(1.6)
递推公式：
()()()()()()()()()()()()()()()()ˆˆˆ11111
11T T
T k k K k y k k k P k k K k k P k k P k K k k P k θθϕθϕλϕϕϕλ⎧
⎡⎤=-+--⎪⎣⎦⎪
-⎪
=⎨+-⎪
⎪⎡⎤⎪=--⎣⎦⎩
(1.7)
（4）递推增广最小二乘法 增加白噪声
()k ξ不可测，用其估计值代替： ()()()()()ˆˆˆT k y k y
k y k k ξϕθ=-=- (1.8)
式中：
()()()()()()()()()1111101ˆˆ1,,,,,,1,,ˆˆ,,,,,,,,a b c a b c a b c T
n n n a b c T n n n n n n k y k y k n u k d u k d n k k n R a a b b c c R ϕξξθ+++⨯+++⨯⎧⎡⎤=---------∈⎪⎣⎦
⎨⎪⎡⎤=∈⎣⎦⎩
递推公式：
()()()()()()()()()()()()()()()()ˆˆˆˆ11ˆ1ˆˆ11ˆ11T T
T k k K k y k k k P k k K k k P k k P k K k k P k θθϕθ
ϕϕϕϕ⎧⎡⎤=-+--⎣⎦⎪
⎪-⎪
=⎨+-⎪
⎪
⎡⎤=--⎪
(1.9)
2 梯度矫正参数估计法
相比最小二乘法，计算量显著减小，但是收敛变慢
基本思想：沿着准则函数（目标函数）的负梯度方向，逐步修正模型参数估计值，直至准则函数达到最小值。

其简单易懂、实时计算量小（没有标量运算），但是收敛速度比较慢。

（1）确定性系统的梯度矫正参数估计法（适用于不含噪声的系统）
()()()()()
()()()ˆˆˆ11T T k k k y k k k c k k αϕθθϕθϕϕ⎡⎤=-+--⎣⎦+ (1.10) 式中，0c >，02α<<。

（2）随机牛顿法
()()()()()()()()()()()()()()1ˆˆˆ1111T T k k k R k k y k k k R k R k k k k R k θθρϕϕθρϕϕ-⎧⎡⎤=-+--⎪⎣⎦
⎨⎡⎤=-+--⎪⎣⎦⎩
(1.11)
式中，R 的初值()0R I =，()k ρ为收敛因子，需满足：
()()()()2
0,; lim 0; k k k k k k ρρρρ→∞∞
∞>∀=⎧⎪⎪
⎨⎪=∞<∞⎪∑∑
3 极大似然参数估计法
与最小二乘和梯度矫正的基本思想完全不同，需要构造一个以观测数据和未知参数为自变量的似然函数，使这个函数达到极大的参数值，就是模型的参数估计值。

CARMA 模型：
()()()()()
()111A z y k B z u k C z k ξ---=+
(1.12)
递推极大似然参数估计算法：
()()()()()()()()()()()()()()()()()()()()()()()()()()()()()()()()()()1
ˆˆˆ11111ˆˆ
1ˆˆ1,,,,,,1,,1,,,,,,ˆˆ1,,T f f f T f T T
a b c T f f a f f b f f f c f
k k K k k K k P k k k P k k P k I K k k P k k y k k k k y k y k n u k d u k d n k k n y k y k n u k d u k d n k k k n y k y k θ
θξϕϕϕϕξϕθϕξξϕξξ-=-+⎡⎤=-+-⎣⎦⎡⎤
=--⎣⎦=--⎡⎤=---------⎣⎦⎡⎤-------⎢⎥=⎢⎥--⎣⎦=-()()()()()()()()()()()()()()()()111ˆˆ1ˆˆ1ˆˆˆˆˆˆ
1c c c f n f c f f n f c f f n f c c k y k c k y k n u k u k c k u k c k u k n k k c k k c k k n ξξξξ⎧⎪
⎪⎪
⎪⎪⎪⎪⎪⎪⎨⎪
⎪
⎪⎪
⎪----⎪⎪=-----⎪⎪=-----⎩ (1.13)
初值选取()ˆ00θ
=，()0P I =。

4 多变量系统参数估计
MIMO 递推最小二乘参数估计和SISO 很相像，只是维数不一样，递推公式如下：
()()()()()()()()()()()()()()()()
ˆˆˆ11111T T m k k K k y k k k P k k K k I k P k k P k I K k k P k θ
θθ⎧⎡⎤=-+-Φ-⎣⎦⎪
⎪-Φ⎪
=
⎨+Φ-Φ⎪
⎪=-Φ-⎡⎤⎣⎦⎪⎩
(1.14)
其中
12,,,,T
T T T T m a θθθθ⎡⎤=⎣⎦
()()()()()()
12
1,2,,,,,0,1,,ij T a T
T T T i i i ir T
ij ij ij ij b a a a a n b b b b b b b n θ⎧⎡⎤=⎪⎣⎦⎪⎪⎡⎤=⎨⎣⎦⎪
⎪⎡⎤=⎪⎢
⎥⎣⎦⎩
()()()()112
2
00
000
T T T
T T T m
m y k u y k u k y k u ⎡⎤⎢⎥⎢⎥Φ=⎢⎥⎢
⎥⎢⎥⎣⎦
()()()()()()()()()
()
121,2,,,,,,1,,ij T
i i
i i a T T T T i i i ir T
ij
j ij j ij j ij b y y k y k y k n u u k u k u k u k u k d u k d u k d n ⎧⎡⎤=------⎪⎣⎦⎪⎪⎡⎤=⎨⎣⎦⎪
⎪⎡⎤=-----⎪⎢⎥⎣⎦⎩ MIMO_RLS 源码
系统递推最小二乘参数估计（本程序针对2入2出系统）。