性能分析：
对于线性观测模型，最小二乘估计是线性估计，对测量
噪声的统计特性无任何假设，应用十分广泛；
若噪声均值为零，最小二乘估计为无偏估计，即有：
ˆ E θ ls
ˆ E [ θ lsw ] θ
性能分析：
最小二乘估计的均方误差为：
T 2 E θ ls H H 1

线性最小均方估计的均方误差等于误差与被估计量乘
积的统计均值，即：
2 E E
其中：
ˆlm s
例1、设观测模型为zi=s+vi ，i=1,2,..，其中随机参量s以等 概率取{-2,-1,0,1,2}诸值，噪声干扰vi以等概率取{-1,0,1}诸
作出估计，称为信号的参量估计问题，又分为点估计和区间 估计； 根据观测样本对随时间变化的信号作出波形估计，又称为 过程估计。
信源s() P() z
观测空间 估计 ()
混合
估计规则
n P(n)
信号参量估计的统计推断模型
估计问题基本要素
概率传递机制
f(z;0) 参数空间 f(z;1) 观测空间Z 准则2
均匀代价：
1, ˆ) C ( ， 0,
ˆ | | 2 ˆ | | 2
ˆm a p
ˆ
m ap
最大后验概率估计(maximal posterior probability)C ( | z ) 1


2 2
f ( | z ) d
M之间服从：
z k h k 1 1 h k 2 2 h kM M n k
其中hk1，hk2，…，hkM为已知常系数。
k 1, 2 , , N
将观测方程用矢量及矩阵表示：
z Hθ n
最小二乘估计是使观测与估计偏差的平方和最小，即：
ˆ ˆ J θ z Hθ
＝
条件平均代价
等价于使下式最小：


C ( , ˆ ( z )) f ( | z ) d ＝ 最 小
2、典型代价函数及贝叶斯估计
平方代价： C ( , ˆ ) ( ˆ ) 2
绝对值代价： C ( , ˆ ) | ˆ |
1, C ( ， ˆ ) 0, ˆ | | 2 ˆ | | 2
E 值，且E[svi]=0， [v i v j ]= v ij ，试根据一次、二次、三
2
次观测数据求参量s的线性最小均方估计。
1、最小二乘估计（Least square estimation）
前提：适用于线性观测模型；
不规定估计的概率或统计描述； 需要关于被估计量的观测信号模型 ; 准则：使观测与估计偏差的平方和最小。 假定观测模型为线性，即观测数据zk与参量1， 2，…，
生物医学----估计胎儿的心率
控制----估计汽艇的位置，以便采用正确的导航 行为，如Loran系统 地震学----检测地下是否有油田，并根据油层和 岩层的密度，根据声反射来估计油田的地下距离。
所有这些问题都有一个共同的特点，那就是从含
有噪声的数据集中去提取我们所需要的有用信息，
这些有用信息可能是“目标出现与否”、“数字
V n E nn
T 1

T

H Vn H H H
T
T 1 T T 1 2 E θ lsw ( H W H ) H W R W H ( H W H )
对于加权最小二乘估计，如果有一些模型的知识，如 E(v)=0， E n n T R ，当 W R 1 时，估计误差的方
选择适当的系数ai及b，使估计均方误差最小。
2 ˆ ˆ M se ( ) E [( ) ] E

N
i 1
ai zi b
2
m in
b E
a E z
i i i 1
N
E

ˆ z H θ m in
T
ˆ ˆ T ˆ J W ( θ ) [ z H θ ] W [ z H θ ] m in
最小二乘估计为：
T ˆ θ ls H H
1
H z
T
ˆ 加权最小二乘估计为： θ lsw ( H T W H ) 1 H T W z
应当选择 ˆ ，使它处在后验概率 f ( | z ) 的最大处。 最大后验概率方程：
f ( | z )
ˆm a p
0 或
ln f ( | z )
ˆm a p
0
由关系式：
f ( | z )＝
f ( z | ) f ( ) f (z)
两边取对数并对求导，得最大后验概率方程的另一形式：
得：ˆ


f ( | z ) d
即 ˆ E [ | z ] ，也称为条件均值估计。
绝对值代价： C ( , ˆ ) | ˆ | 条件中位数估计(Median)
C ( | z )


| ˆ | f ( | z ) d

7.3 最大似然估计：使似然函数最大 7.4 估计量的性能 7.5 线性最小均方估计：已知估计量的一、二阶矩,使均方误差最小的
线性估计
7.6 最小二乘估计：观测与估计偏差的平方和最小 7.7 波形估计
估计问题通常是以下三种情况： 根据观测样本直接对观测样本的各类统计特性作出估计；
根据观测样本，对观测样本中的信号中的未知的待定参量
估计准则
准则1 估计空间
图7.2 参数估计问题的统计模型
1、贝叶斯估计
在已知代价函数及先验概率基础上，使估计付出的平均 代价最小。
设观测值为z，待估参量为。
估计误差：
ˆ ( z )
设代价函数： C ( )
贝叶斯估计准则： ˆ ( z ) m in E [ C ( )]
v~N(0,2)，2、A均为未知参数，求A和2的最大似然估
计。
1 f (z | θ) 2 2
N /2
1 ex p 2 2

N
i 1
( zi A )
2
=[A 2]T
ˆ θ ml
ˆ Am l 1 2 ˆ N



f (z | A) f ( A)dA
1 2 A|z
2
1 2 ex p ( A A|z ) 2 2 A|z
习题：7.3、7.6
1、最大似然估计 (Maximum Likelihood Estimate)
由最大后验概率估计
ln f ( ln f ( z | ) ＋ ) 0
ˆ

(ˆ ) f ( | z ) d


ˆ
( ˆ ) f ( | z ) d
对ˆ 求导数，并使其等于零，得：

ˆa b s

f ( | z ) d


abs
ˆ
f ( | z ) d
可见，估计为条件概率密度 f ( | z ) 的中位数。
参数，2已知，求A的最大似然估计。
1 f (z | A) 2 2
N /2
1 ex p 2 2

N
i 1
( zi A)
2
ˆ Am l z
1 N

N
zi
i 1
例2、设有N次独立观测zi=vi ，i=1,2,….N，其中 vi~N(0,2)，求2 的最大似然估计。
均匀代价：
平方代价： C ( , ˆ ) ( ˆ ) 2 最小均方估计(Minimal Square)
C ( | z )


2 ( ˆ ) f ( | z ) d ＝ 最 小
对 ˆ 求导数，并使其等于零：
d C ( | z ) ˆ 2 f ( | z ) d 2 f ( | z ) d d ˆ
源发射的是0还是1”或者“目标的距离”、“目标
的方位”，或”目标的速度”等，由于噪声固有
的随机性，因此，有用信息的提取必须采用统计
的方法，这些统计方法的基础就是检测理论与估 计理论，就是本课程后续章节学习的内容。
7.1 估计的基本概念 7.2 贝叶斯估计：已知代价函数及先验概率，使估计付出的平均代价最小
信号处理的根本任务是要提取有用的信息，有
用信息是通过检测、估计的方法对信号进行处
理后提取出来的，所以、检测、估计的信号处
理方法是信号处理技术的理论基础，它的应用
领域十分广泛。
声纳系统----利用声波信号确定船只的位置 图象处理----使用红外检测是否有飞机出现 图象分析----根据照相机的图象估计目标的位置 和方向，用机器人抓目标时是必须的

N
i 1
2 ( zi z ) z
1、线性最小均方估计(linear minimum mean square error estimation)
前提：不知道 f ( ) ，知道 的一、二阶矩特性
准则：使均方误差最小的线性估计
实现：
ˆlm s
a
i 1
N
i
zi b
A f ( z | A ) f ( A )d A f ( z | A ) f ( A )d A

例2 高斯白噪声中的直流电平估计-高斯先验分布。设有N次独立 观测zi=A+vi,i=1,2,….N，其中v~N(0, 2 )，A~ N ( A , 2 ) ，求 A A的估计。