如果观测了n次，事件A发生了nA 次，则当n充分大时，A在次观测中
发生的频率 fn A nA n逐渐稳定到概率p 。

那么lim n
fn

A

p?


不对，若
则对于
lim
n
0
fn A
，总存在
p
N

0
,当
n

N 时，有
fn
A
p 成立
但若取 p , 由于
nA n

p




V

nA n
2


p 1 p
n 2
0
n 。
10
例：5.3
令 Xn ~ N 0,1 n
直观：X n 集中在0处， X n收敛到0
依概率收敛：
P

Xn
0




VXn
2

（Chebyshev不等式）

1

n
2

lim P
Cnk pk
1 p
nk x e
x!
21
中心极限定理的应用之一 —二项概率的近似计算（续）
当p不太接近于0或1时，可根据CLT，用正态分布来近似
计算
Xi
~
Bernoulli
n
p,
X
n

1 n
n i 1
或
lim P
n
: Xn X
0
随机变量序列 X1, X2..., Xn ，当对任意 0，
或
P
lim
n
Xn X

0
P

:
lim
n
Xn


X

0
则称随机变量序列 X1, X2..., Xn,...几乎处处依概率收敛到X （converge almost surely to X） ，记为：Xn a.s. X
次抛掷的输出（0或1）。因此 p P Xi 1 E Xi
若共抛掷n次，正面向上的比率为 X n。根据大数定律，
X n P p
但这并不意味着 X n 在数值上等于p
而是表示当n很大时，X n 的分布紧围绕p
令 p 1 2 ，若要求 P 0.4 Xn 0.6 0.7 ，则n至少为多少？
则Xn依概率收敛于X ，记为 Xn 揪P? X 。 2、如果对所有F的连续点t，有
lim
n
Fn
(t)
=
F (t)
则Xn依分布收敛于X ，记为 Xn » X 。
同教材上
5
两种收敛的定义
当极限分布为点分布时，表示为
依概率收敛：
P X c 1, and Xn P X , then Xn Pc
2
=
n
1 -
1骣珑珑珑桫i=n1
X
2 i
-
n
X
2 n
鼢鼢鼢=
n 骣1 n- 1桫n
n i= 1
X
2 i
-
n2 Xn
n- 1
å ( ) 根据大数定律， 1 n
n i= 1
X
2 i
揪P?
E
X
2 i
又 n 1, as n n- 1
å ( ) 所以 n n-
1骣ççç桫1n
n i= 1
X
2 i
÷÷÷揪P?
E
证明：根据Cheyshev不等式
P
Xn
V Xn
2
2
0, as
n 2
在定理条件下，当样本数目n无限增加时，随机样本均值 将几乎变成一个常量
对样本方差呢？依概率收敛于方差 2 14
邋( ) ? Sn2 =
1n n - 1 i=1
Xi -
Xn
设在一次观测中事件A发生的概率为 p P A ，如果观
测了n次，事件A发生了nA 次，则当n充分大时，A在次观
测中发生的频率 fn A nA n 逐渐稳定到概率p 。
即对于 0，

lim P
n

nA n

p





0
表示当n充分大时，事件发生的频率
每个计算机程序的错误的数目为X，X ~ Poisson, 5
现有125个程序，用 X1, X2..., X125 表示各个程序中的错误
的数目，求 P X n 5.5 的近似值
解： E X1 5, 2 V X1 5

P X n 5.5 P
n Xn

n
5.5








125 5.5 5
P Z
5

P Z 2.5 0.9938
20
中心极限定理的应用之一 —二项概率的近似计算
设 n是n重贝努里试验中事件A发生的次数，则
for t 0,
Fn t P Xn t P n Xn nt P Z nt 1, as n
Fn t F t, for all t 0 Xn 0
for
t 0,
Fn
0

1 2

F
0

1
但是 t 0 不是F的连续点
P fn A 0 1 pn 0
即无论N多大,在N以后,总可能存在n ,使 fn A 0
所以 fn A 不可能在通常意义下收敛于p。
3
例2：依分布收敛
考虑随机序列 X1, X2..., Xn ，其中 Xn ~ N 0,1 n
直观：X n 集中在0处，X n 收敛到0
几乎处处收敛：比依概率收敛更强
8
各种收敛之间的关系
点分布，c为实数 P X c 1
Quadratic mean (L2)
Point-mass distribution
probability
distribution
L1
反过来不成立！
almost surely
9
例：伯努利大数定律
nA
与其概率p存在较
大偏差的可能性小。
n
证明： nA ~ Binomial (n, p), E (nA )= np, V(nA )= np(1- p)，
所以
E 骣 珑 珑 珑 桫nnA 鼢 鼢 鼢=
p,
V
骣nA 桫n
=
p (1-
n
p) ，
对 0 ，根据 Chebyshev 不等式，有
P

当极限分布为点分布时，记为 X n qm c

对应还有：L1收敛（converge to X in L1 ）l来自m EnXn X
0
if E Xn X 0, as , then Xn L1 X
7
其他收敛
依概率收敛
lim P
n
Xn X
0
依分布收敛：
P X c 1, and Xn X , then Xn c
6
其他收敛
还有一种收敛：均方收敛（L2收敛， converge to X in quadratic mean）
对证明概率收敛很有用
lim
n
E

Xn

X
2

0
if E X n X 2 0, as , then X n qm X
X
2 i
（如果 X n 揪P X ,Yn P井 Y ，则 X nYn 揪P? XY ）
同样，根据大数定律， X n 揪P? m ，由于 g ( y) = y2 为连续函数，
所以
X
2 n
揪P?
m2 ，
n
X
2 n
揪P?
m2
n- 1
( ) 所以 Sn2 =
揪P?
E
X
2 i
m2 = s 2
样本方差依概率收 敛于分布的方差
n ~ Binomial n, p，对任意 a b ，有
P a n b Cnk pk 1 p nk
ak b
当n很大时，直接计算很困难。这时 np如果不大（即p<0.1，
np<5）或
n不1大 ，p则可用Poisson分布来近似计算
n Poisson , np
13
弱大数定律（WLLN）

独立同分布（IID）的随机变量序列
敛方于差期V望 Xi ， 即2对任，意则 样 本0 均值
X1, X Xn
21...,nX n X
n i1
，E Xi
依概率收
i

lim P X n 0
n
称 X n 为 的一致估计（一致性）
n
Xn 0
0
11
例：续
依分布收敛：令F表示0处的点分布函数，Z表示标准正态 分布的随机变量
F
t

0 1
t0 t0
Xn ~ N 0,1 n n Xn ~ N 0,1
for t 0,
Fn t P Xn t P n Xn nt P Z nt 0, as n
12
收敛的性质
5.5 定理：设X n , X ,Yn ,Y是随机变量，g是连续函数