5.8.4 线性最小二乘递推估计
线性最小二乘递推估计的问题类似于线性最小均方误 差递推估计。加权递推估计公式为
Mk


1 M k 1
1 T H k Wk H k

5.8.31
T K k M k H k Wk
θ k θ k 1 K k xk H k θ k 1
20
补充例题1：用一台仪器对未知确定性标量X 做r次直接测量，测量值分别为Z1，Z2，... Zr，测量误差的均值为零，方差为R,求X的 ˆ 最小二乘估计X , 并计算估计的均方误差。
ls
21
补充例题2：用两台仪器对未知标量X各直接 测量一次，测量值分别为Z1，Z2 .仪器的测量
误差是均值为零，方差分别为r和4r的随机量, ˆ 求X的最小二乘估计X , 并计算估计的均方误差。
1992
1993
1994
1995
1996
例2. 利用慧星极坐标观察值确定慧星轨道问题 90
2.70 2.00 1.61 1.20
180 0
1.02
48 67
270
83
108 126
4
5.8 最小二乘估计
最小二乘估计不需要任何先验知识，只需要关于被估计 量的观测信号模型，就可实现信号参量的估计。虽然估计量的
2
高斯对这个问题产生兴趣，它决定解决这个捉摸
不到的星体轨迹的问题，高斯独创了只要三次观察，
就可以来计算星球轨道的方法。它可以及其准确的预
测行星的位置。果然，谷神星准确无误的在高斯预测
的地方出现。这个方法，就是最小二乘法。当时并没
有公布。1802年，他又准确预测了小行星二号，智神
星的位置，这时他声明远扬，荣誉滚滚而来。今年是
5
N J xk sk k 1
2
5.8.1
达到最小，即误差 xk sk 的平方和最小。所以我们把 def 这种估计称为最小二乘估计，估计量记为 ls x ls 。
ls
22
补充例题3：用两台仪器对未知标量X各直接 测量一次，测量值分别为Z1，Z2 .仪器的测量 采用马尔可夫估计，求X的最小二乘加权估计 ˆ X , 并计算估计的均方误差。
lsw
误差是均值为零，方差分别为r和4r的随机量,
23
例 5.8.2 如果对交流电压的两次测量结果为
216 n1 220 n2
取
Wopt C n1
lsw H
2

4 2 0
lsw
219.2V 1 H T C n1 H 3.2V 2
T 1 T 1 1 Cn H H Cn x
0 ，则有 2 2
取其它加权矩阵之结果，请结合习题5.35进行研究。
型为 sθ ，观测矢量为 x ，则构造的 θ 使
6


J θ x s θ

T
x s θ
5.8.2
最小，估计量记为 θ ls x θ ls 。
高斯诞辰235周年，我们学习的还是200年前的知识.
3
例1.我国人口数量预测问题(单位:亿)
年 数量
15 10
12
1991
1992
1993 11.85
1994 11.98
12.5
1995 12.11
1996 12.24
11.58 11.72
5 0
11.5 1991
1991 1992 1993 1994 1995 1996
的维数不一定相同，其维数分别记为N k，第k次的观测
8
构造的估计量 θ x 使
J θ x H θ x H θ


T
5.8.5
最小。估计量记为 θ ls x θ ls 。
def


1. 最小二乘估计量的构造公式 由
def

根据信号模型 sθ ，最小二乘估计可分为线性最小二 乘估计和非线性最小二乘估计。我们将首先讨论线性最小 二乘估计。
5.8.2 线性最小二乘估计
设 θ 是 M 维被估计矢量，线性观测方程为
xk Hk θ nk ， k 1， ，L 2，
表示成矩阵形式为
x Hθ n
5.8.4
10
M
θ ls
T E θ θ ls θ θ ls
H H
T


1
H Cn H H H
T

T

1
5.8.10
11
例5.8.1 根据对二维矢量 θ 的两次观测
2 1 1 x1 θ n1 1 0 1
x1 216 x x2 220
1 H 1
4 2 Cn 0
0 2 2
所以
ls H T H
2


1 H T x 218V

1
H H
T
ls

H Cn H H H
T

T

1
5V2

25
性质不如前面讨论的方法，而且难以评价，但易于实现，且
能使估计误差的平方和达到最小，所以仍然是一种应用广泛 的估计方法。
5.8.1 最小二乘估计方法
如果关于被估计量 的信号模型为 sk （k 1,2,） ；由于 存在观测噪声，观测量为 xk （k 1,2,） 。如果进行了 N 次观 测， 的估计量 选择为使
5.8 最小二乘估计
高斯（1777—1855）德国数学家、物理学家、天 文学家、大地测量学家。他和牛顿、阿基米德被 认为是有史以来的三大数学家。最小二乘法发表
在1809年的著作《天体运行论》中。法国数学家
勒让德也于1806年独立发明最小二乘法。1829年 高斯给出了较其他证明方法更优的方法。但实际 上早在1794年高斯已经应用这种理论思想推算了 谷神星的轨道。
已知噪声的均值矢量和协方差矩阵分别为
n1 0 E n E n2 0
E nn

T
4 2 0
0 Cn 2 2

ls
求电压的最小二乘估计量 二乘加权估计量 lsw , 2
lsw

2 ,
ls
和最小
24
解 由题知
5.8.38
5.8.37
26
初始条件确定：利用第一次观测量 x1 ，有
T θ1 M1 H1 W1 x1
5.8.40
5.8.39
和
M1
线性最小二乘估计对每次观测量是同等对待的。 如果各次观测量精度是不一样的，理应给精度高的观 测量以较大的权值，而精度低的观测量权值较小，以 获得更精确的估计结果。从而引出了线性最小二乘加 权估计。
θ ls H H
T


1
HTx
5.8.7
15
5.8.3 线性最小二乘加权估计
其指标是使1Fra bibliotek在那个年代，当时的天文学界正在为火星和木星间 庞大的间隙烦恼不已，认为火星和木星间应该还有行星 未被发现。在1801年，意大利的天文学家Piazzi发现在 火星和木星间有一颗新星。它被命名为谷神星，现在我 们知道，它是火星和木星的小行星带中的一个，但当时 天文学界争论不休，有人说这是行星，有人说是彗星。 必须继续观察才能判决，但是 Piazzi只能观察到它9度 的轨道，再来，它便隐身到太阳后面去，因此，无法知 道它的轨道，也无法判别它是行星还是彗星。
θ lsw H C H H C x
T 1 n 1 T 1 n
Mθlsw H C H

5.8.18
T
1 n
1
5.8.19
19
说明：若
W I ，是非加权的线性最小二乘估计；
若
W Wopt ，是最佳加权的线性最小二乘估计；
若 W Wopt ，如果部分与观测量精度相适应，则估计 精度介于非加权与最佳加权精度之间；如果与观测量 精度不相适应，则估计精度还不如非加权的估计精度。
7
上式是把L次观测矢量xk (k 1, 2,...L)合成为如下一个 维数为N＝ N k的矢量。因此
k=1 L
x1 H1 n1 x H n x 2 ,H 2 ,n 2 xL HL nL 其中第k次观测矢量xk 与同次观测噪声同维，但每个xk 矩阵H k是N k M的矩阵。
说明：由观测方程知，观测结果是这样得到的，即
2 1 2 n11 1 2 n12 4 1 2 2 n2
这说明线性最小二乘估计的观测是有很大自由度的。
13
5.8.3 线性最小二乘加权估计
等精度测量 不等精度测量
不等精度测量广泛应用
14
5.8.3 线性最小二乘加权估计
T


性质3 若 E n 0 ，E nn C n ，则 θ lsw的均方误差阵为
M
θ lsw
H WH
T


1
H WC nWH H WH
T

T

1
5.8.14
最佳加权矩阵 Wopt
可以证明，最佳加权矩阵为
1 Wopt C n
18
此时有（通常称为马尔可夫估计。大家可 以尝试证明这一结论）