1． 从跳跃分布 Q（ x' | xt ） 种生成一个拟议的新 采样值 x'。
2．
计算接受率
a
=
P（ P（
x'） xt）
。
3． 如果 a≥1，接受 x'并设置 xt + 1 = x'。
4． 否则，接受 x'的概率为 a。即，选择一个介于
0 和 1 之间的均匀分布的随机数 T，如果 r≤a，设置
xt + 1 = x'，否则设置 xt + 1 = xt 。 该算法的运作在于在样本空间里随机移动，有
Metropolis － Hastings 算法： Metropolis － Hastings 算法，可以从任何概率分 布 中抽取样品，只要求是可计算函数的密度成正 比。在贝叶斯的应用程序中，归一化因子计算往往 是非常困难的，所以，和其他常用的抽样算法一样， 能够在不知道这个比例常数的情况下产生样本是 Metropolis － Hastings 算法的重要特征。 该算法的总体思路是产生一系列在一个马尔可 夫链里的样品。在足够长的时间后，所生成的样品 的分布与 分布相匹配。 该算法基本上按如下方式工作（ 这是一个特殊 的例子，其建议密度是对称的情况下） ： 首先，选择一个任意的概率密度 Q（ x' | xt ） ，这 表明一个新的采样值 x'给定样本值 xt。对于简单的 Metropolis 算法，这个建议密度必须是对称的 Q（ x' |
一个马尔可夫链是一个序列的随机变量 X1， X2 ，X3 ，． ． ． 这个序列有马尔可夫的属性———给予目 前的状态，未来和过去的状态是独立的。从数学公
式上看，Pr（ Xn + 1 = x | X1 = x1 ，X2 = x2 ，…，Xn = xn ） = Pr（ Xn + 1 = x | Xn = xn） Xi 的可能的值可数的集合 S 称
可以运用到各种复杂的贝叶斯范例和实际情况。
贝叶斯推理：
贝叶斯方法把所给的模型里所有的未知量的不
确定性联系在一起 。利用所知的信息，贝叶斯方法
用联合概率分布把所有未观察到的数量综合起来，
从而得出的推论。在这里，给定已知的未知分布被
称为后验分布。有关未知量的推理被称为预测，它
们的边缘分布称作为预测分布。
时接受动作，有时会留在地方。要注意的是，接受比
a 表示根据 P（ x） 分布，新提出的示例相对于当前样
本有多大接收的可能性 。因此，我们会倾向于留在
（ 或者大量样品会返回） P（ x） 的高密度区域，而只是
偶尔来访的低密度区域。直观地看，这就是为什么
这种算法的工作原理，样本的返回是按照所需的 P
（ x） 分布。
2012 年第 12 期
第 28 卷 （ 总 300 期）
吉林省教育学院学报 JOURNAL OF EDUCATIONAL INSTITUTE OF JILIN PROVINCE
No. 12，2012 Vol. 28
Total No. 300
浅议马尔可夫链蒙特卡罗在实践中的应用
孟庆一
( 英国伦敦大学，英国 伦敦)
Gibbs 采样：
Gibbs 采样已成为最流行的贝叶斯推理的计算
方法。Gibbs 抽样，在其最基本的化身，是一种特殊
情况下的 Metropolis － Hastings 算法。Gibbs 抽样的
原理在于，在给定一个多元分布的情况下，从有条件
的分布中采样比从排斥积分的联合分布中采样简
单。假设我们要从联合分布 p（ x1 ，…，xn ） 中获取 k
摘要： 本文概括地介绍了马尔可夫链蒙特卡罗( Markov chain Monte Carlo———MCMC) ，一种随机模拟贝叶斯推断的方法。 主要的抽样方法包括吉布斯采样( Gibbs Sampling) 和 Metropolis － Hastings 算法。本文也对 MCMC 主题和应用的拓展进行了 讨论。
为链的状态空间。 幸运的是，在马尔可夫链里，我们也有与大数定
律和中心极限定理类似的定理。 另外一个问题存在于如何建立一个马尔可夫链
的极限分布与所需的分配一模一样。一种可行的解 决方案是 Gibbs 抽样。它是基于一个马尔可夫链， 其前身的依赖性是由模型中出现的条件分布所决定 的。另一种可能性是 Metropolis － Hastings 算法。它 是基于一个马尔可夫链，其前身的依赖性是分裂成 两个部分： 一个是建议，另一个是接受这一建议。
收稿日期： 2012—11—14 作者简介： 孟庆一（ 1989—） ，女，吉林长春人，新加坡籍华人，英国伦敦大学数学系，本科生，研究方向： MCMC 统计学。
120
xt） = Q（ xt | x'） 。 此外，从一些任意点作为第一个样本。
然后，根据最近的样品 xt，要返回一个新的样本 xt + 1 ，我们进行如下操作：
样本 x = ｛ x1 ，……，xn ｝ 。用 x（ i）
=
｛
x（ i） 1
，…，x
（ n
i）
｝
表
示第 i 个样本。
我们进行如下操作： 1． 首先，我们为每个变量的
设定初始值 x（ 0） 。
2．
对于每个样品
i
=
｛ 1，…，k｝
，从
p（
x（ i） j
| x1（ i）
，
…，x（j
i） －1
，x
（ j
i － 1） +1
贝叶斯推理根据贝叶斯规则计算后验概率：
P（ H | E）
=
P（
E
|
H） P（
·P（ E）
H）
然而，在大多数情况下，所给的模型的复杂性不
允许我们运用这个简单的操作。因此，我们需要使
用随机模拟，或蒙地卡罗技术来代替。
概述 MCMC：
MCMC 采用未知量的高维分布，为难度极高的
模拟复杂模型的问题提供了一个答案。
关键词： 马尔可夫链; 蒙特卡罗; Gibbs 抽样; Metropolis － Hastings 中图分类号： O29 文献标识码： A 文章编号： 1671—1580( 2012) 12—0120—02
统计学中的贝叶斯推理在过去的几十年里有前
所未有的突破，统计学家们发现了一种非常简单，但
又非常强大的模拟技术，统称为 MCMC。这种技术
，…，x
（ n
i
－ 1）
）
条件分布中采样每个变
量 x（j i） 。
也就是说ห้องสมุดไป่ตู้从所有其他变量的分布中采样每个
变量，使用最新的数值，并且一旦采样后产生了信的
数值，便更新变量。之后，新的样品将模拟所有变量
的联合分布。此外，要获取任意子集的变量的边缘