讲座内容
1 贝叶斯统计概述 2 先验分布的确定 3 贝叶斯统计推断 4 贝叶斯决策
1 贝叶斯统计概述
1.1 全概率公式与贝叶斯公式
引例 有三个箱子，分别编号为1, 2, 3。1号箱装有1 个红球4个白球，2号箱装有2红3白球，3号箱装 有3红球. 某人从三箱中任取一箱，从中任意摸 出一球，（1）求取得红球的概率。（2）已知 取出的是红球，求此球来自1号箱的概率。
(1) 解：记 Bi ={ 球取自 i 号箱 }, i=1, 2, 3; A ={取得红球}
A B1 A B2 A B3 A B1A, B2A, B3A 两两互斥
P( A ) P( B1 A ) P( B2 A ) P( B3 A )
P( B1 )P( A B1 ) P( B2 )P( A B2 ) P( B3 )P( A B3 )
P( B )P( A B ) P( B )P( A B )
0.444 0.1
0.444 0.1 0.556 0.5
0.138
1.2 贝叶斯统计
贝叶斯统计学的基础是著名的贝叶斯公式，它 是英国学者贝叶斯（T.R.Bayes1702~1761）在他死后 二年发表的一篇论文《论有关机遇问题的求解》中 提出的。经过二百年的研究与应用，贝叶斯的统计 思想得到很大的发展，目前已形成一个统计学派— 贝叶斯学派。为了纪念他，英国历史最悠久的统计 杂志《Biometrika》在1958年又全文刊登贝叶斯的这 篇论文。
1.2.1 统计推断中可用的三种信息
1.总体信息：总体分布或所属分布族提供给我们的 信息
2.样本信息：从总体抽取的样本提供给我们的信息 3.先验信息：在抽样之前有关统计推断的一些信息
1.2.2 贝叶斯学派与频率学派之间存在重大差异
1)频率统计学派与贝叶斯学派在进行统计推 断时的依据不同；
2)对概率的概念的理解不同；
STATISTICS PROBABILITY
PROBABILITY & STATISTICS
PROBABILITY
吴志雄PROBABILITY & STATISTICS
STATISTICS
μ
引言
统计学中有二个主要学派：频率学派和 贝叶斯学派。贝叶斯学派的起点是贝叶斯的 两项工作：贝叶斯定理和贝叶斯假设，贝叶 斯定理（或贝叶斯公式）在通常的概率论教 科书中都有叙述，而贝叶斯假设几乎都不提 及。在统计推断的基本理论和方法方面，贝 叶斯学派与频率学派之间存在着重大差异。
P( Bi A )
P( Bi A )
P( A )
P( Bi )P( A Bi )
n
P( Bj )P( A Bj )
j1
称 P( Bi ) 为先验概率，它是由以往的经 验得到的，它是事件 A 的原因。
称 P( Bi A ) 为后验概率，它是得到了信 息 — A 发生，再对导致 A 发生的原因Bi发生 的可能性大小重新加以修正。
后来的学者依据贝叶斯公式的思想发展了 一整套统计推断方法，叫作“贝叶斯统计”。 可见贝叶斯公式的影响 。
例 1.1 用Bayes公式分析伊索寓言《孩子与狼》中 村民对小孩的信赖程度是如何下降的。
解: A ：小孩说谎； B ：小孩可信；
不妨设： P(B)= 0.8； P( A B ) 0.1; P( A B ) 0.5;
2) 对概率的概念的理解不同 • 频率学派坚持概率的频率解释，并在
这个基础上去理解一切统计推断的结论； 与此相反，贝叶斯学派赞成主观概率，概 率是认识主体对事件出现可能性大小的相 信程度，它不依赖事件能否重复；
3) 两个学派统计推断理念之间存在着根本差异
• 统计学奠基人费歇尔把统计学的任务概括为 三个问题：选定模型、确定统计量和决定统计量 的分布。根据费歇尔的观点，信息量包含在样本 中，但样本为数众多，因此须用少数几个统计量 把信息集中起来，而抽样分布则决定了统计量的 全部性质；目前，频率统计学派基本上是按照这 种思路来处理统计推断问题的。
PROBABILITY & STATISTICS
PROBABILITY
PROBABILITY & STATISTICS
贝叶斯统计与决策 STATISTICS
PROBABILITY
PROBABILITY & STATISTICS
-4
-2
0
2
4
PROBABILITY & STATISTICS
STATISTICS
3)两个学派的具体统计推断理念之间存在根 本差异。
1) 统计推断时的依据不同
• 频率统计学派在进行统计推断时，依据两类信息： 总体信息（或模型信息）和样本信息（数据信 息），而贝叶斯学派则除了以上两种信息外，还 利用另外一种信息即先验信息。
在概率论与数理统计中讨论的点估计只使用 前两种信息，没有使用先验信息。假如能把收集 到的先验信息也利用起来，那对我们进行统计推 断是有好处的。只用前两种信息的统计学称为经 典统计学，三种信息都用的统计学称为贝叶斯统 计学。
3
P( Bi )P( A Bi ) i1
11 12 13 8 3 5 3 5 3 3 15
依题意，
P(A|B1)=1/5, P(A|B2)=2/5, P(A|B3)=3/3
将此例中所用公式。
引例 有三个箱子，分别编号为1, 2, 3。1号箱装有1 个红球4个白球，2号箱装有2红3白球，3号箱装 有3红球. 某人从三箱中任取一箱，从中任意摸 出一球，（1）求取得红球的概率。（2）已知取 出的是红球，求此球来自1号箱的概率。
( 2 ) 解：
P( B1
A)
P( B1 A ) P( A )
P( B1 )P( A B1 ) P( A)
P( B1 )P( A B1 )
3
P( Bi )P( A Bi )
1
3
1 5
8
15
1 8
i1
这类问题，是“已知结果求原因”是已知 某结果发生条件下，求各原因发生可能性大小。
Bayes公式
设B1,B2,…,Bn是两两互斥的事件，且P(Bi)>0， i=1,2,…,n, 另有一事件A，它总是与B1,B2,…,Bn 之 一同时发生，则
小孩第说一次谎后的可信度为：
P( B A ) P( AB ) P( A )
P( B )P( A B ) P( B )P( A B ) P( B )P( A B )
0.8 0.1
0.8 0.1 0.2 0.5
0.444
小孩第说二次谎后的可信度为：
P( B )P( A B ) P( B A)