i=1
第八章 统计推断基础
.
.
.
.
.
人民邮电出版社
.
8 / 49
目录
置信区间和假设检验
1. 极大似然估计 2. 置信区间和假设检验 3. Bootstrap 方法 4. KL 距离和信息论相关概念 5. EM 算法
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 9 / 49
第八章 统计推断基础
机器学习与 python 实践
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 1 / 49
统计推断基础
统计学是机器学习的基础学科之一 统计学的范式和主要方法 机器学习的发展促进统计学的理论发展和应用
关注统计学中与机器学习关系较大的部分内容
机器学习与 python 实践 ()
置信区间
置信区间和假设检验 置信区间
是一种区间估计，给出了该区间包含未知参数的置信水平。
包括一个上界和一个下界。 上界和下界是两个统计量（统计量是随机样本的函数，不含未知参数，也 是随机变量）。
因此置信区间是随机区间 而由观测数据得到的置信区间估计是置信区间的一次抽样。
机器学习与 python 实践 ()
假设检验中存在原假设 H0 和对立假设 Ha，例如在极大似然估计中， H0 : θ = θ0，Ha : θ ̸= θ0。
原假设与对立假设可以类比于二分类问题的阴性和阳性。
在很多案例中，与二分类问题类似，原假设代表一个相对好的情形（例如 无疾病，无罪，风险小），而对立假设代表一个不好的情形（有疾病，有 罪，风险大）。
ℓ(β)
=
∏N log
i=1
1 √
2πσ2
exp
( 1
− 2σ2
(yi
−
) xTi β)2
=
−n
√ log( 2πσ2)
−
1 2σ2
∑ N (yi
i=1
−
xTi β)2
回归系数 β 的极大似然估计等同于最小二乘估计
机器学习与 python 实践 ()
∑ N βˆ = arg min (yi − xTi β)2
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 12 / 49
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 2 / 49
目录
1. 极大似然估计 2. 置信区间和假设检验 3. Bootstrap 方法 4. KL 距离和信息论相关概念 5. EM 算法
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 3 / 49
目录
极大似然估计
θˆmle
−
z1−α/2
√1 NI(θ)
<
θ0
<
θˆmle
+
z1−α/2
√1 NI(θ)
简记 θˆ = θˆmle，我们使用 I(θˆ) 作为 I(θ0) 的估计，可以得到参数 θ0 的 1 − α 置信区间
(
√
√)
θˆmle − z1−α/2/ NI(θˆ), θˆmle + z1−α/2/ NI(θˆ)
√ 当 α = 0.05 时，参数 θ 的 95% 置信区间是 θˆmle ± 1.96/ NI(θˆ)。
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
人民邮电出版社
.
11 / 49
假设检验
置信区间和假设检验 假设检验
假设检验是统计推断的重要内容，在一定意义上跟置信区间有等价性。
1. 极大似然估计 2. 置信区间和假设检验 3. Bootstrap 方法 4. KL 距离和信息论相关概念 5. EM 算法
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 4 / 49
极大似然估计
极大似然估计
极大似然估计是基于似然函数并求极值的一种重要的统计方法。 假设观测数据是 x = (x1, · · · , xN)，则在独立同分布假设下密度函数
∑ N θˆmle = arg max log l(θ|Xi)
i=1
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 6 / 49
极大似然估计性质
极大似然估计
相合性：假设观测数据 x 由真实密度函数 f(x|θ0) 产生，相合性指 MLE 依 概率收敛到真值，θˆmle −P→ θ0。
极大似然估计
极大似然估计
极大似然估计：寻找参数 θ, 使得观log(x) 是单调函数，等价于求
∑ N ℓ(θ|x) = log L(θ|x) = log l(θ|xi)
i=1
的极大值。 即参数 θ 的极大似然估计量 θˆmle
渐近有效性：在满足一定条件的情形下，MLE 的极限分布依分布收敛到
一个正态分布
√N(θˆmle
−
θ0)
−D→
N
( 0,
I(θ0)−1)
其中，I(θ) 是 Fisher 信息量（或信息矩阵），
I(θ)
=
E ( ∂l(θ|X) )2 ∂θ
=
−E
( ∂2l(θ|X) ) ∂θ2
Cramer-Rao 定理证明了 Fisher 信息量的逆 I(θ)−1 是 θ0 所有无偏估计的 方差下界，由此我们知道极大似然估计量在样本量趋于无穷的时候可以达 到方差下界，也称为渐近有效。
∏N f(x|θ) = f(xi|θ)，对应的似然函数
i=1
∏N L(θ|x) = l(θ|xi),
i=1
其中 l(θ|x) = f(x|θ)。 * 即在不同的模型参数下，观测值 (x1, · · · , xn) 发生的概率密度。
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 5 / 49
机器学习与 python 实践 ()
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 7 / 49
极大似然估计
正态回归的极大似然估计
假设观测数据 (xi, yi), i = 1, · · · , N 来自线性回归模型 Y = xTβ + ϵ
其中，ϵ 是随机误差项，满足 ϵ ∼ N(0, σ2)。我们可以写出似然函数
第八章 统计推断基础
.
.
.
.
.
.
人民邮电出版社 10 / 49
置信区间和假设检验 置信区间
极大似然估计量的置信区间
√ 令 ZN = NI(θ0)(θˆmle − θ0)，可以近似看成一个正态分布。
P(zα/2 < ZN < z1−α/2) = 1 − α
由于 zα/2 < ZN < z1−α/2 等价于