2.1 利用最小二乘法求模型参数
例：表 1 中是在不同温度下测量同一热敏电阻的阻值，根 据测量值确定该电阻的数学模型， 并求出当温度在 70 C 时
的电阻值。
表 1 热敏电阻的测量值
t (C ) R ()
20.5 765
26 790
32.7 826
40 850
51 873
61 910
73 942
i 1 i 1 n n
如果定义
h(k ) [ y(k 1), y(k 2),, y(k n),u(k 1),u(k 2),, u(k n)]
[a1 , a2 ,, an , b1 , b2 ,, bn ]
T
z (k ) h(k ) v(k )
80 980
88 1010
95.7 1032
表 1 热敏电阻的测量值
t (C ) R ()
20.5 765
26 790
32.7 826
40 850
51 873
61 910
73 942
80 980
88 1010
95.7 1032
R a bt
N ˆ N N 2 N a Ri t R 702 i.762 i t i t i i 1 i 1 a i 1 i 1 ˆ 2 N N ˆ N t i2 t i b 3.4344 i 1 i 1 N N N N Ri t i Ri t i i 1 i 1 b i 1 ˆ R 943 .1682 N N 2 N ti ti i 1 i 1
1 1
5r r 4
2.3 加权最小二乘法原理及算法
一般最小二乘估计精度不高的原因之一是对测量数据同等对待 各次测量数据很难在相同的条件下获得的 有的测量值置信度高，有的测量值置信度低的问题 对不同置信度的测量值采用加权的办法分别对待
置信度高的，权重取得大些；置信度低的，权重取的小些
ˆ) (Z H )T W (Z H ) min ˆ ˆ J ( m m m m m
J
T ˆ 2H mWm ( Z m H m ) 0
ˆ
ˆ (H T W H ) 1 H T W Z m m m m m m
2.3 加权最小二乘法原理及算法
T T T T E( ) (Hm Hm )1 Hm E(VmVm )Hm (Hm Hm )1
~ ~T
( H Hm ) H RHm ( H Hm )
T m T m T m
1
1
2.2 一般最小二乘法原理及算法
例 3.2 用 2 台仪器对未知标量 各直接测量一次，量 测量分别为 z 1 和 z 2 ，仪器的测量误差均值为 0，方差分别 为 r 和 4 r 的随机量，求 的最小二乘估计，并计算估计的 均方误差。
N N
N N N N Ri t i2 Ri t i t i i 1 i 1 i 1 a i 1 ˆ 2 N N 2 N ti ti i 1 i 1 N N N N Ri t i Ri t i i 1 i 1 b i 1 ˆ 2 N N 2 N ti ti i 1 i 1
t 70 C
2.2 一般最小二乘法原理及算法
v(k ) u (k ) G (z ) y (k ) z (k )
图 3.4 SISO 系统的“黑箱”结构
b1 z 1 b2 z 2 bn z n y (k ) G( z ) u(k ) 1 a1 z 1 a2 z 2 an z n
y(k ) ai y (k i) bi u (k i)
i 1 i 1
ቤተ መጻሕፍቲ ባይዱ
n
n
2.2 一般最小二乘法原理及算法
v(k ) u (k ) G (z ) y (k ) z (k )
图 3.4 SISO 系统的“黑箱”结构
若考虑被辨识系统或观测信息中含有噪声
z (k ) ai y(k i) bi u (k i) v(k )
N J 2 ( Ri a bti ) 0 a i 1 ˆ a a N J 2 ( Ri a bti )t i 0 b bbˆ i 1
ˆ ˆ Na b t i Ri i 1 i 1 N N N ˆ a t i b t i2 Ri t i ˆ i 1 i 1 i 1
ˆ) (Z H )T (Z H ) min ˆ ˆ J ( m m m m ˆ) (Z H )T W (Z H ) min ˆ ˆ J (
m m m m m
Wm diag[ w(1), w(2),, w(m)]
2.3 加权最小二乘法原理及算法
J min vi2 [ Ri (a bti )]2
i 1 i 1 N N
根据求极值的方法，对上式求导
N J 2 ( Ri a bti ) 0 a i 1 ˆ a a N J 2 ( Ri a bti )t i 0 b bbˆ i 1
1、引言
z
m次独立试验的数据
t (k )
G (z )
y (k )
(t1 , y1 ) (t2 , y2 )
(tm , ym )
f (t )
t
f (t ) a0 a1h1 (t ) a2 h2 (t ) an hn (t )
• 1801年初，天文学家皮亚齐发现了谷神星。 •1801年末，天文爱好者奥博斯，在高斯预 言的时间里，再次发现谷神星。 •1802年又成功地预测了智神星的轨道。
1
r 0 R 0 4r
ˆ 1 11 1 1 z1 1 ( z z ) 2 z 2 1 1 2
1 r 0 1 1 E ( ) 1 1 1 1 1 1 11 1 0 4r ~ ~T
解：由题意得量测方程
Z 2 H 2 V2
z1 Z2 z2
1 H2 1
r 0 R 0 4r
2.2 一般最小二乘法原理及算法
Z 2 H 2 V2
z1 Z2 z2
1 H2 1
当系统的量测噪声 Vm 是均值为 0，方差为 R 的随机向 量，则最小二乘估计有如下性质。
(1) 最小二乘估计是无偏估计，即
~ ˆ) 或 E( ) 0 E(
(2) 最小二乘估计的均方误差为
T T T E( ) (H m H m ) 1 H m RHm (H m H m ) 1
T T (H m H m ) 1 H m E(H m Z m )
T T (Hm Hm )1 Hm E(Vm ) 0
(2) 最小二乘估计的均方误差为
T T T E( ) (H m H m ) 1 H m RHm (H m H m ) 1
~ ~T
证明： 根据第（1）式的证明，显然有
i 1 i 1
n
n
z (k ) 为系统输出量的第 k 次观测值; y(k ) 为系统输出量的第 k 次真值; u (k ) 为系统的第 k 个输入值;
v(k ) 是均值为 0 的随机噪声。
2.2 一般最小二乘法原理及算法
z (k ) ai y(k i ) bi u (k i) v(k )
和最小，即
ˆ ˆ ˆ J ( ) (Z m H m )T (Z m H m ) min
J ˆ 2 H ( Z m H m ) 0
T m
ˆ
ˆ HTZ H H m m m
T m
2.2 一般最小二乘法原理及算法
T 如果 H m 的行数大于等于列数，即 m 2 n ， H m H m 满秩，即 T T rank(H m H m ) 2n ，则 ( H m H m ) 1 存在。则 的最小二乘估计为
通过试验确定热敏电阻阻值和温度间的关系
t (C ) R ()
t1 R1
t2 R2

t N 1 RN 1
tN
RN
R a bt
• 当测量没有任何误差时，仅需2个测量值。 • 每次测量总是存在随机误差。
yi Ri vi 或 yi a bt vi
vi yi Ri或vi＝yi a bti
ˆ (H T H ) 1 H T Z m m m m
最小二乘估计虽然不能满足式（3.12）中的每一个方程，使 每个方程都有偏差，但它使所有方程偏差的平方和达到最小，兼 顾了所有方程的近似程度，使整体误差达到最小，这对抑制测量 误差 v(i)(i 1,, m) 是有益的。
2.2 一般最小二乘法原理及算法
式中 为待估参数。
2.2 一般最小二乘法原理及算法
z (k ) h(k ) v(k )
令 k 1,2,, m ，则有
z (1) h(1) y(0) z (2) h(2) y(1) Hm Zm z ( m) h(m) y(m 1) y(1 n) u (0) y(2 n) u (1) y(m n) u (m 1) u (1 n) u ( 2 n) u ( m n)
T
a1 an b1 bn
T
Vm v(1) v(2) v(m)
Z m H m Vm
2.2 一般最小二乘法原理及算法