于是
ln p( x; ) xln ln( x! ) , x ln p( x; ) 1.
1 X I ( ) E .
2
例 设总体为指数分布 Exp( ), 计算Fisher 信息量.
1
解 总体的密度函数为 1 x p( x; ) exp , x 0 , 0. 可以验证正则条件满足 ,且 1 x x θ ln p( x; ) 2 2 , 于是
I( ) E[ ln p( X ; )]2
为总体分布的费希尔 (Fisher) 信息量.
Fisher 信息量是统计学中的一个基本概念， 很多的统计结果都与Fisher信息量 I ( )有关。
解释为总体分布中包含参数
I ( ) 越大 ”可被 I ( ) 的种种性质显示，“
的信息越多
ˆ ( X , X ,, X ) 2 2 1 2 n
都是ቤተ መጻሕፍቲ ባይዱ体参数 的无偏估计量, 且
ˆ ) Var( ˆ ) Var( 1 2
且至少有一个 使得上述不等号严格成 立.
ˆ 比 ˆ 更有效. 则称 1 2
§6.3 最小方差无偏估计
一个自然想法，希望估计量的方差越小越好。 能够小到什么程度？

2 p (x;θ ) 1 p(x;θ ) p(x;θ )dx dx 2 p ( x ; θ ) θ θ
2 ln p ( x ; θ ) p( x; θ ) p( x; θ )dx dx 2 θ 2
ˆ 是总体参数 的一致(或相合)估计量. 则称 θ n
相合估计量仅在样本容量 n 足够大时,才显示其优越性.
n
n
2、无偏性
ˆ( X ,, X ) 是未知参数 的估计量，若 设 1 n
E (ˆ)
ˆ为 的无偏估计 . 则称
3、有效性
ˆ ( X , X ,, X ) 定义 设 1 1 1 2 n

2 (5)期望E[ ln p(X ; )] 存在 称该分布族为 C R正则分布族， (1)-(5)称为正则条件.



p( x; )dx p( x; )dx

定义2、Fisher 信息量
2 若期望E[ ln p(X ; )] 存在，则称
§6.3 最小方差无偏估计
估计量的评选标准
常用的几条标准是：
1．相合性
2．无偏性 3．有效性
1、相合性
定义
ˆ ˆ ( X , X , , X )是总体参数 设 n n 1 2 n
的估计量. 若对于任意的 , 当n 时, ˆ 依概率收敛于 , 即 0, θ n ˆ ) 0 lim P (
证明 2ln p( X ; θ )
E θ
2

2ln p( x; θ ) θ 2 p( x; θ )dx

1 p( x; θ ) p( x; θ )dx θ θ p( x; θ )

1 p( x; θ ) p( x; θ ) 1 2 p( x; θ ) 2 p( x; θ )dx 2 θ p( x; θ ) p ( x; θ ) θ 1 p( x; θ ) p( x; θ ) 1 2 p( x; θ ) 2 p( x; θ )dx 2 θ p( x; θ ) p ( x; θ ) θ
i 1
n g( ) T ( x1 , x2 , , xn ) p( xi ;θ ) dx1 dxn i 1 n n T ( x1 , x2 , , xn ) ln p( xi ;θ ) p( xi ;θ )dx1 dxn i 1 i 1
Fisher 信息量的一个重要性质 2 p(x; ) 若 亦存在，且进一步有 2 2 p( x; ) dx p( x; )dx 2
2ln p( X ; ) 则 I ( ) E 2
有没有下界？什么条件下方差的下界存在？
1、Cramer-Rao 不等式 定义1 设总体概率函数是p(x; ), 满足 下列条件： (1)参数空间是直线上的一个开区间 ；
(2)支撑集S { x : p( x; ) 0}与无关；
(3)导数 p( x; )对一切 都存在； (4)对p( x; )，积分与微分运算可交 换次序，即
Var( X ) 1 X I ( ) E 2. 2 4
2

定理4 (Cramer - Rao 不等式)
设正则条件满足， X 1，X 2， , X n 是来自该总体 的样本，T T ( X 1 , X 2 , , X n )是g( )的任一个无偏 g( ) 估计，g( ) 存在，且对 ，对 n g( ) T ( x1 , x2 , , xn ) p( xi ;θ )dx1 dxn
2
ln p( X ; ) E I ( )
2
2ln p( X ; ) I ( ) E 2
例 设总体为泊松分布 P ( ), 计算Fisher信息量. 解 P( )的分布列为 x p( x; ) e , x 0 ,1, , x! 可以看出正则条件满足 ，且