N
LS为： J (R(n) (a bt(n)))2 n1
求极值，对上式求导：
J
N
2 (R(n) a bt(n)) 0
a
n1
N
N
Naˆ bˆ t(n) R(n)
J 2 N (R(n) a bt(n))t(n) 0 n1
b
n1
N
N
N
n1
aˆt(n) bˆt2 (n) (R(n)t(n))
《信号检测与估计》
Signal Detection and Estimation
最小二乘估计
最小二乘估计——内容安排
引言
序贯最小二乘估计
小结
1
2
3
45
线性最小二乘估计 非线性最小二乘估计
最小二乘估计——内容安排
引言
序贯最小二乘估计
小结
1
2
3
45
线性最小二乘估计 非线性最小二乘估计
最小二乘估计——引言
aˆ 702.762 bˆ 3.4344
R 702.762 3.4344t
最小二乘估计——线性最小二乘估计
矢量最小二乘
假设矢量参量 是 p 1 维的，信号 s [s[1], s[2], , s[N ]]T
是待估计参量的线性函数，假设：
s H
x H V
观测矩阵
N p 满秩矩阵
LS为： J ( ) (x H )T (x H )
n0
若 f0 是待估计参量，A是已知的：
N 1
非线性最小二乘 J[ f0 ] (x[n] Acos(2 f0n))2 n0
最小二乘估计——内容安排
引言
序贯最小二乘估计
小结
1
2
3
45
线性最小二乘估计
非线性最小二乘估计
最小二乘估计——线性最小二乘估计
表1中是在不同温度下测量同一热敏电阻的阻值，根据测量值 确定该电阻的数学模型，并求出当温度在70摄氏度时的电阻值。
的最小二乘估计，并计算估计的均方误差。
x H V
x
z1
z
2
H
1 1
r 0
R 0
4r
因此：ˆ 1
111 11
1
z1 z2
1 2
( z1
z2
)
最小二乘估计——线性最小二乘估计
估计的均方误差为：
(H T H )1 H T RH (H T H )1
1
1
r 1
111 1
10r
0 4r
A
1
N 1
x[n]
x
N n0
最小二乘估计——引言 x[n] A w[n], w[n] 是高斯白噪声
最小二乘估计
最小方差无偏估计
最小二乘估计——引言
考虑正弦信号，信号模型为：
s[n] Acos(2 f0n)
若A是待估计参量，f0 是已知的：
线性最小二乘
N 1
J[ A] (x[n] Acos(2 f0n))2
当系统测量噪声V是均值为0，方差为R时
性质1. 最小二乘估计即是无偏估计，有：E(ˆ)
E( ˆ) E[ (H T H )1 H T x] E[(H T H )1(H T H ) (H T H )1 H T x] (H T H )1 H T E(H x)
(H T H )1 H T E(V ) 0
最小二乘估计——线性最小二乘估计
J ( ) xT x 2xT H T H T H
对 求导，并令其值为0，有：
所以：
2H T x 2H T Hˆ 0 ˆ (H T H )1 H T x
定理4.1 若观测数据可表示为
则MVU估计量
: N (0, 2I)
最小二乘估计——线性最小二乘估计
38
摄氏度
前后观测五次 温度值如下：
第一次观测：38.0 第二次观测：37.9 第三次观测：38.1 第四次观测：38.1 第五次观测：37.9
最小二乘估计——引言
假设信号是 s[n] A ，经过N次观测，观测数据为： x[n](n 0,1, 2,L , N 1)
如何得到A？
取个平均！
A
通常用于数据的准确统计特性未知，或不能找出最优估计的场合
最小二乘估计——引言
假设信号是 s[n] A ，经过N次观测，观测数据为： x[n](n 0,1, 2,L , N 1)
使得
J
(
A)
N 1
(
x[n]
A)
2
最小,
n0
上式对A求导，并令结果为0，可得：
N 1
(Ax[n]) 0
n0
N 1
N * A x[n] 0 n0
n1
n1
n1
最小二乘估计——线性最小二乘估计
N
N
N
N
R(n)t2(n) (R(n)t(n))t(n)
aˆ n1
n1
n1
n1
N
N
t
2
(n)
N
t
(n)
2
n1
n1
N
N
N
N (R(n)t(n)) R(n)t(n)
bˆ
n1
n1
n1
N
N
t
2
(n)
N
t
(n)
2
n1
n1
最小二乘估计——线性最小二乘估计
表 1 热敏电阻的测量值 t (C) 20.5 26 32.7 40 51 61 73 80 88 95.7 R () 765 790 826 850 873 910 942 980 1010 1032
最小二乘估计——线性最小二乘估计
R 数学模型：
R a bt
t
最小二乘估计——线性最小二乘估计
最小二乘估计——线性最小二乘估计
当系统测量噪声V是均值为0，方差为R时 性质2. 最小二乘估计的均方误差为：
(H T H )1 H T RH (H T H )1
最小二乘估计——线性最直接测量一次，量测量分别为 z1
和 z 2 ，仪器的测量误差均值为 0，方差分别为 r 和 4r 的随机量，求
11 1
111
5r 4
缺点：对所有测量数据 同等看待
最小二乘估计——线性最小二乘估计
最小二乘估计（Least Square Estimate，LSE）
估计的目的是使得所有观测数据和 假设信号之间的平方误差最小
J ( )
N 1
(
x[n]
s[n])
2
,
n
0,1, 2,L
,N
1
n0
均方误差准则
mse(ˆ)
E
ˆ
2
最小二乘估计——引言
假设取决于未知参量 的信号s[n] ，由于噪声或模型不准确， 观测信号是受干扰的信号，用观测数据 x[n]表示， 的最小 二乘估计就是选择使得 J ( ) 最小的 值
1
N 1
x[n]
x
N n0
最小二乘估计——引言
A
1
N 1
x[n]
x
N n0
样本均值估计即是一种特殊的最小二乘估计
最小二乘估计——引言
无偏估计的类型 确定最小方差 观测数据的概率描述 各种限制。。。
对观测数据不做 任何概率或统计描述 仅仅假设一个数学模型
之前学过的估计方法 最小二乘估计
最小二乘估计——引言