最小二乘的最早思想： 未知量的最大可能的值是这样 一个数值，它是实际观测值和计算 值的差值的平方和达到最小的数值。
基本的最小二乘估计 解决问题：在模型阶次n已知的情况下，根据系 统的输入输出数据，估计出系统差分方程的各 项系数。 1.基于输入/输出数据的系统模型描述
SISO系统的差分方程为
x ( k ) a 1 x ( k 1) a n x ( k n ) b 0 u ( k ) b n u ( k n ) y (k ) x(k ) n(k )
θ (Φ Φ )
T
1
Φ
T
T
(Φ θ ξ )
(Φ Φ )
T
1
Φ ξ
估计误差的方差为：
~ ~~T T Var θ E [ θ θ ] E [( Φ Φ)
1
Φ
T
(ξξ
T
)Φ (Φ Φ )
T
1
]
同样，假设{ξ(k)}为零均值不相关随机序列，且与{u(k)}
无关。则ΦT与ξ不相关,且有：
若N=(2n+1)且ξ=0，则上式中的φ阵为
(2n+1)×(2n+1)的方阵。由此，可解得θ的唯
一解为：
θ Φ
1
Y
而在实际工程中，ξ肯定不等于0，且 N>>(2n+1)，即方程个数远大于未知数，故而上 述θ的解不成立。
当前任务： 在存在噪声ξ和数据长 度N>>(2n+1)的情况下，如何进行参 数θ的估计。
若其逆阵存在，则：
上式即为最小二乘法的参数估计结果。
最小二乘估计的概率性质
最小二乘估计的概率性质：
(1)估计的无偏性； (2)估计的一致性；
(1)估计的无偏性
无偏性估计的定义：
ˆ E θ E θ θ
若

ˆ ，则称 θ是参数θ的无偏估计。
下面讨论无偏估计的条件。
T 1 T T 1 T ˆ E [ θ ] E [( Φ Φ ) Φ Y ] E [( Φ Φ ) Φ ( Φ θ ξ )]
y(k)只与ξ(k),ξ(k-1),ξ(k-2)·· ·相关，而与 ξ(k+1),ξ(k+2),ξ(k+3) · 不相关。 · ·
考查充要条件
y (n) y (1) T Φ ξ u ( n 1) u (1)
E [( Φ
T
Φ)
1
Φ
T
ξ] 0
系统辨识与自适应控制
最小二乘法辨识
2012年五月
系统辨识法(黑箱法) 根据“输入、输出数据”获取“系统”的数学模 型。 只考虑系统的输入、输出特性，不强调系统的内 部机理。
辨识方法可以分为两类： 非参数模型辨识方法 参数模型辨识方法
用来进行系统参数辨识的最小二乘法，是 一种经典的数据处理方法，最早的应用可追溯 到18世纪，高斯为了提高天体运动观测的准确 性，提出了最小二乘法。
x(k)为理论输出值，y(k)为实际观测值 n(k)为观测噪声。则有： ( k ) y ( k ) n ( k ) x
将x(k)代入上式，可得输入输出数据方程为：
y ( k ) a1 y ( k 1) a n y ( k n ) b 0 u ( k ) b1u ( k 1) b n u ( k n ) ( k )
若{ξ(k)}为零均值不相关随机序列，且与 {u(k)}无关。 则由上式可知，ΦT与ξ不相关。
则有：
T 1 ˆ E [ θ ] θ E [( Φ Φ ) Φ T
ξ]
θ E [( Φ Φ )
T
1
Φ ]E [ ξ ]
T
θ0 θ
可见，在上述条件下我们得到了参数θ的无偏估计。 LS无偏估计的充分条件为： {ξ(k)}为零均值不相关随机序列， 且与{u(k)}无关。
设观测数据有(n+N)个，令k分别等于 n+1,···,n+N,则有：
y ( n 1) a 1 y ( n ) a n y (1) b 0 u ( n 1) b n u (1) ( n 1) y ( n 2 ) a 1 y ( n 1) a n y ( 2 ) b 0 u ( n 2 ) b n u ( 2 ) ( n 2 ) y ( n N ) a y ( n N 1) a y ( N ) b u ( n N ) b u ( N ) ( n N ) 1 n 0 n
E ξξ
T

1 T T 1 1
2
IN
2
~ T Var θ E [( Φ Φ) E [
N
2 2
Φ
I
Φ (Φ Φ ) N
T 1
T
1
]
( Φ Φ)
T
Φ Φ (Φ Φ ) ]
1
T
]
E [( Φ Φ)
~ 2 T lim Var θ lim E [( Φ Φ)
T 1 T T 1 T ˆ E [ θ ] E [ θ ( Φ Φ ) Φ ξ ] θ E [( Φ Φ ) Φ ξ ]
LS无偏估计的充要条件为：
E [( Φ Φ )
T 1
Φ
T
ξ] 0
下面讨论无偏估计的充分条件。
y ( k ) a1 y ( k 1) a n y ( k n ) b 0 u ( k ) b1u ( k 1) b n u ( k n ) ( k )
N
] lim2来自NE [(1 N
Φ Φ)
T
1
] lim

2
N
N
R
1
0
N
一致性估计的充分条件为： {ξ(k)}为零均值不相关随机序列，且与{u(k)}无关。
y ( n 1) y (2) u (n 2) u (2)



y ( n N 1) y(N ) u (n N ) u(N )

( n 1) (n 2) (n N )
(k ) n(k )
a n(k i)
i i 1
n
则当前输出为：
y ( k ) a1 y ( k 1) a n y ( k n ) b 0 u ( k ) b1u ( k 1) b n u ( k n ) ( k )
(2)一致性估计
一致性估计的定义： 若参数估计值以概率1收敛于真值θ，则称估计值 具有一致性。或采用下述定义： ~ ˆ lim Var θ 0 ，则称 θ是参数θ的一致性估计。 若 N
Var 式中， [ θ ] 为估计误差 θ 的方差。 ~
~
下面讨论一致性估计的充分条件。
~ T 1 T ˆ θ θ θ θ (Φ Φ ) Φ Y
ˆ min J

下面我们推导θ估计值的计算方法。
J取得最小值，也即J为极值，则有：
J ˆ θ

0
ˆ T ˆ [ (Y Φ θ ) (Y Φ θ ) ] ˆ θ
0
T ˆ 2 Φ (Y Φ θ ) 0
T ˆ Φ Φθ Φ
T
Y
其中, ( Φ
T
Φ)
为(2n+1)×(2n+1)的方阵。
基本的最小二乘法(LS)
辨识准则：残差平方和最小。
(1)残差e
ˆ ˆ 为模型的计算值，即 e YY , Y
ˆ ˆ Y θ
(2)指标函数J
n N
J
k n 1

e ( k ) ee
2
T
ˆ T ˆ (Y θ) (Y θ)
最小二乘法辨识就是使J最小的参数估计方法。