x
1
e
x
dx
2 E( X 2 )
x2
1
e
x
dx
2
2
2
2
A2
1 n
n i 1
Xi2
ˆ M
1 n
n i 1
Xi2
X
2
ˆ M X
1 n
背景） 单参数情形. X 为离散型 r.v.，其分布律为 P{X=x}=p(x; θ)
或 X 为连续型 r.v.，其密度函数为 f(x; θ)， θ 未知.
i 1
为该总体的似然函数.
定义 若有ˆ j ( j 1, , m), 使得
L(ˆ1 ,ˆ2 , ,ˆm ) max L(1 , 2 , , m ), 则称ˆ j为 j的极大似然估计. 记为ˆ j MLE或ˆ j L .
极大似然估计法：作似然函数，求极值点.
若似然函数可导, 且能由导数等于零解出未知参 数, 则可由下列方程（组）
[L(1 , , m )] 0, j
或
[ln L(1 , ,m )] 0 j
解出似然估计 ˆj L ˆj L( X1, , Xn )
由似然方程解不出θj 的似然估计时，可通过放 大缩小的方法直接推求。
例 设总体 X 的密度函数为
f
( x; , )
1
e
x
,
x
0, x
其中 θ>0, θ, μ 均未知, X1, …, Xn 是来自 X 的样本, 求 θ, μ 的极大似然估计.
牛顿-拉夫森算法：
1）标准形式：
min f X
X R n
其中 f : R n R1
2）梯度和Hissian矩阵
梯度是一个函数变化率最大的方向，它是由一阶 偏导数形成的向量：
f
(X
)
f x1
,
f x2
,
,
f xn
T
当f ( X ) 0 称为驻点
Hissian矩阵是所有的二阶偏导数形成的矩阵：
解： 设x1, …, xn是来自总体X的样本，作
L(
,
)
n
f (xi;
i 1
1n (
e n i1
,
xi
)
1
0
e
)
, xi
x1
(i
1
e
xn
,
xxi 1(i
, 某 ,xix1(i
1, ,n)
1, 1,
, ,
n) n)
ln L(
,
)
nlnθ
1
n
( xi
i 1
)
ln L(
,
Xn) Xn)
θ的矩估计可记为 ˆM
例 设总体 X 的密度函数为
f
( x; , )
1
e
x
,
x
0, x
其中 θ>0, θ, μ 均未知, X1, …, Xn 是来自 X 的样本,
求 θ, μ 的矩估计.
解：1 E( X )
xf ( x; , )dx
1 n
A1 n i1 X i X
)
nlnθ
1
n
( xi
i 1
)
ln L
ln L
n
n
1n
2 i1
得
(xi ) 0 1 n (x
n i1
i
xi (i 1,
)
1 n
n i 1
xi
, n)
>0
lnL(θ,μ)关于μ单增 , 但 xi (i 1, , n)
所以 ˆ MLE min{x1 , , xn }
设 x1, …, xn 是来自总体 X 的样本观察值，则
L( ) P{X x1 } P{X x2 } P{ X xn }
p( x1; ) p( x2; ) p( xn ; )
或 L( ) f ( x1; ) f ( x2; ) f ( xn; )Δx1Δx2 …Δxn
未知的θ不论如何变化, 均应使L(θ)达最大值。
H(X) 2 f (X)
2 f x12
2 f
x
2
x1
2 f
xnx1
2 f
x1 x2 2 f x22
2 f
x1 xn
2 f
x2xn
2 f
xn2
3）牛顿-拉夫森流程
(a)选定初始点 X 0 Rn ，给定允许误差 0 ，令 k=0；
(b)求 f X k , 2 f X k 1.检验：若 f X k ,则
停止迭代, 令X * X k .否则, 转(3)；
(c) 令 S k [2 f X k ]1f X k （牛顿方向）；
(d) X k1 X k S k , k k 1,转回(b).
4.2 估计量的评选标准
估计量的特性: 1. 无偏性
设ˆ ˆ( X1 , , X n )为 的估计量, 若E(ˆ) , 则称 ˆ 是 的无偏估计量.
例 设总体为X，其均值μ, 方差σ2＞0都存在未
ˆMLE
1 n
n i 1
xi
ˆ MLE
极大似然估计法数值求解方法：
说明：
事实上，除去少数总体和样本分布都比较简单的 场合外，在绝大多数情况下，极大似然估计的似然方 程的解往往没有解析表达式。例如总体为伽马分布， 其中参数未知的时候，似然方程没有解析解。在这种 情况下要用数值方法求解似然方程的数值解或者近似 解。这里我们简单介绍一下广泛应用于似然方程数值 解的方法：牛顿-拉夫森算法。
1. 矩估计法（简称“矩法”）
X 为离散型 r.v., 分布律 P{X=x}= p(x; θ1, θ2)
或 X 为连续型 r.v., 密度函数 f(x; θ1, θ2), θ1, θ2 未知.
设 X1，…，Xn 是来自总体 X 的样本，则
k E(X k ) xk p(x;1, 2 ) X 为离散型
或
k E(X k )
xk
f
( x;1 ,
2 )dx
X 为连续型
同时定义样本矩
Ak
1 n
n i 1
Xik
矩法思想: 用样本矩Ak 作为总体同阶矩μk 的近似, 得出未知参数的估计(k 由未知参数个数决定). 即
令
1 2
A1 A2
ˆˆ21
ˆ1 ( X1 , ˆ2 ( X1 ,
, ,
极大似然估计法思想：固定(已知) x1, …, xn, 选择 θ 使
L(θ)达最大值，此时的最大值点ˆ 即为 θ 的极大似然估计.
极大似然估计法一般情形
iid
设样本观察值 x1 , , xn ~ F ( x;1 ,2 , ,m ), 称
n
L(1 ,2 , ,m ) F ( xi ;1 ,2 , ,m )
参数估计
引言 有这样一类问题: 总体的分布已知，但其参数
未知.需在试验后, 由数据得出总体中未知参数. 对于这类参数的估计问题，统计采用的方法叫
“参数估计”.
未知参数的常见估计方式，统计中类似估计方 式及相关问题.(途径及评价).
4.1 点估计 总体未知参数的点估计思想: 点估计的经典方法是矩估计法与极大似然估计法.