p(
x)
M j 1
j ˆj
2
p( | x)d dx
C
p(
x)
M
j 1
j ˆj
2
p( | x)d dx
由于概率密度函数为正数，所以为使平均代价C最小，只要使每 个分量 j ( j 1, 2,..., M ) 的平均代价最小。即要求每个参量估计的 均方误差最小，这样就得到第j个参量的最小均方误差估计
如果 p( | x) 最大值的解存在，则 ˆmap 可以由最大后验方程组解得，
该最大后验方程组为
ln p( | x)
0,
j
θ = θˆmap
M个方程组成的联立方程
j = 1,2,...,M
ln p( | x)
0
θ =θˆmap
其中
5.5.1非随机矢量的最大似然估计
如果被估计矢量 是非随机矢量，则应采用最大似然估计，求出 使似然函数 p(x | )为最大的 ，将它作为最大似然估计量 ˆml。 如果最大值的解存在，则ˆml 可以由最大似然方程组解得，该最大 似然程组为
矢量表示：
ˆjmse
j
p(
|
xБайду номын сангаасd
,
j = 1,2,...,M
ˆmse
p( | x)d
求解 的最小均方误差估计，需要解由上式所示的M个方
程组成的联立方程。
最大后验估计
对于随机矢量 的最大后验估计，必须求出使后验概率密度函 数 p( | x) 或 ln p( | x) 为最大的 ，将它作为最大后验估计量 ˆmap 。
非随机矢量情况
对所有 x 和 ，当且仅当
ln p(x | ) J ˆ
2 ˆi
ii ,
i 1, 2,..., M
等号成立
如果对于M维非随机矢量 的任意无偏估计矢量 ˆ中的每一个参
量
ˆi
(i
1,
2,...,
M
)
， 2 ˆi
ii ,
i 1, 2,..., M 等号均成立，那么这种估计称
为联合有效估计。 ii 是 ˆi 的均方误差的下界，即克拉美-罗界。
1
1
2 ˆ1,ˆ2
估计量ˆ2的均方误差
2 ˆ2
E
2
1
1
ln p( x | ) 1 2
22
ˆ1,ˆ2
高斯分布是一种重要的分布，广泛应用在信号处理中。现根据高
斯分布的N个统计独立样本 xk ，估计其均值 和方差 2。
(1)如果方差 2 已知，求均值
察其主要性质；
的最大似然估计量
ˆ ml
ˆ b
若对所有的 ，估计的偏矢量 b 的每一个分量都为零，则称为
无偏估计矢量。
非随机矢量情况
克拉美-罗界
如果ˆi 是被估计的M维非随机矢量 的第i个参量 i的任意无偏估计 量，则估计量的均方误差为
E
ˆi
2
2 ˆi
Var
ˆi
2 ˆi
,
i 1, 2,..., M
该估计量的均方误差满足
例5.5.1 同时对两个参量 1 和 2 进行估计是二维矢量 1,2 T
的估计问题。费希尔信息矩阵 J 的元素为：
J11
E
2
ln p( x
12
|
)
J 22
E
2
ln p( x
2 2
|)
J12
J 21
E
2
ln p( x | )
12
费希尔信息矩阵J为
J
=
J11 J 21
J12
N个独立高斯样本 xk 构成的N维高斯随机矢量 x x1, x2 ,..., x，N T
J22
假设估计矢量 ˆ是联合有效的，求估计量 ˆ1和 ˆ2的均方误差表达式。
费希尔信息矩阵 J 的逆矩阵 为
J 1
J11 J 21
J12 J 22
1
1 J
J22 J21
J12
J11
矩阵 J 的行列式 J J11J22 J12J21
因为
1和
是联合有效估计量，估计量的均方误差为：
2
2 ˆ1
11
J 22 J
J 22 J11J22 J12 J21
J 22 J11J22 J122
1 J11 1 J122 / (J11J22 )
令估计量ˆ1与ˆ2之间的相关函数为
ˆ1,ˆ2
J12 J11J 22 1/2
估计量 ˆ1的均方误差
2 ˆ1
E
2
1
ln p(x
12
|)
2 ˆi
ii ,
i 1, 2,..., M
式中， ii 是M M 阶矩阵 J 1的第i行第i列元素，而矩阵J的元素
为
Jij
E
ln
p( x
i
|)
ln
p( x
j
|)
E
2
ln p( x | )
i j
,
i, j 1, 2,..., M
矩阵J称为费希尔信息矩阵，表示从观测数据中获得的信息。
ln p(x | )
0, j = 1,2,...,M
j
θ =θˆml
M个方程组成的联立方程
ln p(x | )
0
θ =θˆml
5.5.3 矢量估计量的性质
研究无偏估计的均方误差的下界，即克拉美-罗界。
非随机矢量情况
无偏性
对于被估计矢量 是非随机矢量，估计矢量为 ˆ ，则其均值矢量
可以表示为：
，并考
(2)如果均值
已知，求方差
2
的最大似然估计量ˆ
2 ml
，并考察
其主要性质；
(3)均值 和方差 2 均未知，同时求均值 和方差 2的最大
似然估计量
ˆ ml
和ˆ
2 ，分别考察其主要性质
ml
(4)当样本数N足够大，研究同
时获得估计量ˆml
和ˆ
2 ml
的无偏性、
克拉美-罗界和有效性
课后习题5.17
信号检测与估计
第五章：信号的统计估计理论
矢量估计、最小二乘估计
5.5 矢量估计
在实际应用中，存在同 时估计信号的多个参量 情况，称为矢量估计。 如：雷达探测目标
x(t) g(t ) w(t)
,多普勒频率，
时间延迟
2d / c
引言
假定有M个参量 1,2 ,...M 需要估计，矢量 1,2,...M T 称 为被估计矢量；由观测矢量构造的估计矢量记为 ˆ x ˆ ；估
最小均方误差估计
在矢量估计情况下，对于最小均方误差估计，代价函数为：
M
c
T
2 j
j 1
其中， j j ˆj ，代价函数 c 是各分量估计误差的平方和。
平均代价为
C
c p( x, )dxd
M
j ˆj
2
p( x, )dxd
j 1
p(x, ) p( | x) p(x)
计的误差矢量为
ˆ
1 2
ˆ1 ˆ2
M ˆM
均方误差为
Mˆ1ˆ1
T
ˆ
ˆ
T
Mθˆ
Mˆ2ˆ1
M
ˆM
ˆ1
Mˆ1ˆ2 Mˆ2ˆ2
M ˆM ˆ2
Mˆ1ˆM
Mˆ2ˆM
M ˆM ˆM
其中
Mˆiˆj
E
i
ˆi
j ˆj
,
i, j 1, 2,..., M
5.5.1 随机矢量的贝叶斯估计