i1
i1
也是 的无偏估计量;
评述：
• 无偏的概率意义，即反复使用，整体平均下，估 计准确。
• 其局限性，若仅有一次或导弹命中精度或系统误 差等情形，就不能说明问题了。
3
2.2.2 最小方差性和有效性 用 ˆ 估计θ时，仅具有无偏性是不够的．我们
希望 ˆ 的取值能集中于θ附近,而且密集的程度 越高越好．方差是描述随机变量取值的集中程 度的，所以无偏估计以方差小者为好, 这就引进了有 效性这一标准.
ˆ X , 或
ˆ 1 n
n
(Xi X)2
i 1
即使用同一方法得出的估计量也不同。
1
2.2.1．无偏性
定义2.1：
• 如果E(ˆ) ，则称估计量为无偏估计量；
•
如果 lim n
|
E(ˆ( X 1 ,
X
2
,...,X
n
)
|
0
记作 lim b() 0 ，则称估计量为渐进无 n
偏估计量。其中 b( ) 称作偏差。
(1)集合{ x : f ( x; ) 0}与无关;
(2)g( )与f ( x; ) 存在,且对一切 ,
f
( x;
)dx
f
( x;
)dx
令I( )
ln E (
f ( X1, ))2
Fisher信息量
则有
:
D
(T
(
X
))
[
g( )]2 nI( )
克拉美劳下界
特殊地，当g( )
T(X1, X2,
n
, X n ) [ i1
f ( Xi ; )]dX1
dX n
注: 1.满足正则条件的估计量称为正规估计.
2.Rao Cramer不等式的下界仅是正规无偏估计 类的方差下界
D [g'( )]2 nI( )
3. Fisher信息量
I (
)
E
(
ln
f (X1,
) )2
1,则 称T是 渐近 有效 的。
例2.15 设总体X~N(,2),,2均未知，又设X1, X2,...,Xn 为总体X 的样本, 则的无偏估计X是有效的,2 的无偏
估计
S
2 *
是渐近有效的。
例2.16 若总体X~ (), 考虑未知参数 的矩估计量为
ˆ X的有效性。
13
2.2.3 其它几个准则
• （一）最小均方误差准则 前述的最小方差性（有效性）只对无偏估计
为了计算信息量I( )方便，我们可以证明
令I (
)
E
2 (
ln f ( X1, 2
))
定 义2.3
称en
[g'( )]2 为g( )的 无偏 估计 量T D (T ( X ))nI( )
的 效率(显 然由C R不 等式 ，en 1).又 当T的 效率 等于1时 ，
称T是
有
效
的
；
若lim n
en
（即 依 0概, lni率m P收{|敛T (于X1）, X，2 ,..则.,X称n )T是g(相) |合 统} 计0量。
实际应用中，要求样本信息量（即n）较大， 但给出了一种保证，即只要能够获取足够的信息， 就一定能得到足够精确的估计。
1、 对 于 无 偏 估 计 ， 由 切贝 雪 夫 不 等 式
时, 即为:
D
(T ( X
))
1
nI (
)
由数学期望的定义:
g( , Xn ) f ( X1; ) f ( Xn; )dX1 dXn
联合概率密度
g'( )
T ( X1, X 2 , , X n ) f ( X1; ) f ( X n; )dX1 dX
§2．2 估计量的评价准则
由例2.3和例2.10的结果看出，对均匀分布 总体参数的估计不一样，哪个好？
aˆ X bˆ X
3 n ( X X )2 ,
n
i 1
3 n ( X X )2
n
i 1
aˆ
min
1in
X
i
,
bˆ
max
1in
X
i
例2.12 若总体X~ (), 则未知参数 的矩估计量为
证明估计 时,
ˆ 1 X 1 X 较
2 2 1
1
2
ˆ 1 X 3 X
4 4 2
1
2
有效.
证明 因为 ˆ1, ˆ 2 均为 的无偏估计， 又因为
D(ˆ ) D( X ) D(1 X 1 X ) 1 D( X ) 1 D( X ) 1 2
1
21 22 4
14
22
D(ˆ ) D(1 X 3 X ) 1 D( X ) 9 D( X ) 5 2
可以验证 X是总体均值的无偏估计[例2.13]；
但 S 2 不是总体方差的无偏估计，是渐进无偏 的。
而
S*2
n S2 n 1
1 n 1
n i 1
(Xi
X )2
是无偏的[例2.14]。
2
例2.13’ 设总体X的数学期望 与方差2存在,
X1, X2,...,Xn为总体X 的样本, 证明：
n
n
ˆ 2 ci X i ,其中 ci 1,ci 0,i 1,2,, n
2
4 1 4 2 16
1 16
28
所以 D(ˆ1) D(ˆ 2 )
由定义知 ˆ1 较 ˆ 2有效．
5
我们自然希望无偏估计量的方差越小越好， 那 么 能 够 小 到 什 么 程 度?即 有 无 下 界? 什 么 条 件 下方差下界存在？
在实际应用中，找出最小方差的估计量不容易， 若在一类分布和估计中找出所有无偏估计中方差 的一个下界，则当某一估计量达到或接近即认为 可行了。
P{|T ( X1, X 2 ,
下面我们就来讨论建立一个方差下界的 克拉美 劳不等式
6
克拉美—劳不等式
p 41-42
设X 1 ,
X 2 ,
,
X
为
n
取
自
具
有
概
率
函
数f (
x;
),
{ : a b}的母体的一个子样,其中a, b为已知常数,
且可设a , b . 又T T ( X1, X2 , , Xn )是g( )的一
个无偏估计, 且满足正则条件
• 定义2.2 如果 T T ( X1, X 2 ,..., X n ) 是g( ) 的无偏估
计量，且对于其任意无偏估计量T ，均有， D(T) D(T )
对一切 （参数空间），则称T为最小方差
的无偏估计量（或最优无偏估计量）。
4
例2.14’ 设总体X的数学期望,方差2存在，X1,X2是X的样本，
而言，对有偏估计量无意义。
为使ˆ 与 尽量接近，考虑
Mse(ˆ) E(ˆ )2 ——称均方误差
• 由 min Mse(ˆ) ˆ
得到的估计量称作最小均方误差估计量。 对于无偏估计，均方误差最小和方差最小是
一致的。
14
（二）相合性（相合估计量） 定义2.4 设T T ( X1, X 2 ,..., X n ) 是g( ) 的估计量，