贝叶斯网络参数学习
三、贝叶斯网络的学习和推理
最大似然估计 完全基于数据，不需要先验概率： 贝叶斯估计 假定在考虑数据之前，网络参数服从某个先验分布 先验的主观概率,它的影响随着数据量的增大而减小。

三、贝叶斯网络的学习和推理

一、贝叶斯网络简介
为什么要用贝叶斯网络进行概率推理？
理论上，进行概率推理所需要的只是一个联合概率分 布。但是联合概率分布的复杂度相对于变量个数成指 数增长，所以当变量众多时不可行。 贝叶斯网络的提出就是要解决这个问题。它把复杂的 联合概率分布分解成一系列相对简单的模块，从而大 大降低知识获取和概率推理的复杂度，使得可以把概 率论应用于大型问题。
推理(inference)是通过计算来回答查询的过程 计算后验概率分布：P(Q|E=e)

三、贝叶斯网络的学习和推理
贝叶斯网络推理(Inference)
1、 变量消元算法(Variable elimination) 利用概率分解降低推理复杂度。
BIC既不依赖于先验也不依赖于参数坐标系统

三、贝叶斯网络的学习和推理
结构学习算法：
K2: 通过为每个结点寻找父结点集合来学习贝叶斯网络结 构。它不断往父结点集中添加结点，并选择能最大化数 据和结构的联合概率的结点集。 HillClimbing (operators: edge addition, edge deletion, edge reversion) 从一个无边结构开始，在每一步，它添加能最大化 BIC的边。算法在通过添加边不能再提高结构得分时停止。 缺值数据结构学习：Structural EM SEM不是每次迭代都同时优化模型结构和参数，而 是先固定模型结构进行数次参数优化后，再进行一次结 构加参数优化，如此交替进行。
使得运算局部化。消元过程实质上就是一个边缘化的 过程。 最优消元顺序：最大势搜索，最小缺边搜索

三、贝叶斯网络的学习和推理
2. 团树传播算法
利用步骤共享来加快推理的算法。
团树（clique tree）是一种无向树，其中每一个节点代表一 个变量集合，称为团(clique)。团树必须满足变量连通性，即 包含同一变量的所有团所导出的子图必须是连通的。

一、贝叶斯网络简介
链规则(chain rule)
贝叶斯定理(Bayes’ theorem)
利用变量间条件独立性

一、贝叶斯网络简介
贝叶斯定理是关于随机事件A和B的条件概率的 一则定理。 其中P(A|B)是在B发生的情况下A发生的可能性。 在贝叶斯定理中，每个名词都有约定俗成的名称： P(A)是A的先验概率。之所以称为"先验"是因为 它不考虑任何B方面的因素。 P(A|B)是已知B发生后A的条件概率，也由于得 自B的取值而被称作A的后验概率。 P(B|A)是已知A发生后B的条件概率，也由于得 自A的取值而被称作B的后验概率。 P(B)是B的先验概率.
随机抽样算法理论基础是大数定律。

四、贝叶斯网络的实例
女生名单 男生名单 学习分类结果
用来预测的名单
网络的性别预测

LOGO
主要内容
1 2
一、贝叶斯网络简介
二、贝叶斯网络的构造 三、贝叶斯网络的学习和推理 四、贝叶斯网络的实例
3
4

一、贝叶斯网络简介
贝叶斯网络是一种概率网络，它是基于概率推理的图 形化网络，而贝叶斯公式则是这个概率网络的基础。贝叶 斯网络是基于概率推理的数学模型,所谓概率推理就是通 过一些变量的信息来获取其他的概率信息的过程，基于概 率推理的贝叶斯网络(Bayesian network)是为了解决不定 性和不完整性问题而提出的，它对于解决复杂设备不确定 性和关联性引起的故障有很大的优势，在多个领域中获得 广泛应用。 例如：医疗诊断，工业，金融分析，计算机，模式识 别：分类，语义理解，军事（目标识别，多目标跟踪，战 争身份识别等），生态学，生物信息学（贝叶斯网络在基 因连锁分析中应用），编码学，分类聚类，时序数据和动 态模型等。
贝叶斯网络参数学习
缺值数据最大似然估计：EM算法 （迭代算法） 1 基于 对数据进行修补，使之完整 (E-step) 2 基于修补后的完整数据计算的最大似然估计
(M-Step)

三、贝叶斯网络的学习和推理
贝叶斯网络推理(Inference)
贝叶斯网络可以利用变量间的条件独立对联合分布进 行分解，降低参数个数。

三、贝叶斯网络的学习和推理
团树传播算法示例
变量消元和团树传播 算法都是精确推理算法。

三、贝叶斯网络的学习和推理 3 . 近似推理 (1) 随机抽样算法：顺序抽样法，MCMC抽样 是一类应用于数值积分和统计物理中的近似计算 方法。基本思想是从某个概率分布随机抽样，生 成一组样本，然后从样本出发近似计算感兴趣的 量。

二、贝叶斯网络的构造
贝叶斯网络是一系列变量的联合概率分布的图形表示。

一般包含两个部分，一个就是贝叶斯网络结构图，这是一 个有向无环图（DAG），其中图中的每个节点代表相应的 变量，节点之间的连接关系代表了贝叶斯网络的条件独立 语义。另一部分，就是节点和节点之间的条件概率表 （CPT），也就是一系列的概率值。如果一个贝叶斯网络 提供了足够的条件概率值，足以计算任何给定的联合概率， 我们就称，它是可计算的，即可推理的。

二、贝叶斯网络的构造

二、贝叶斯网络的构造
贝叶斯网络的构造原则：



首先，添加“根本原因”节点 然后，加入受它们直接影响的变量 依次类推，直到叶节点，即对其它变量没有直接因果影响 的节点 两节点间的有向边的取舍原则：更高精度概率的重要性与 指定额外信息的代价的折衷 “因果模型”比“诊断模型”需要更少的数据，且这些数 据也更容易得到

三、贝叶斯网络的学习和推理
用团树组织变量消元的算法。 团树传播算法基本步骤： 将贝叶斯网络转化为团树 团树初始化 在团树中选一个团作为枢纽 全局概率传播：CollectMessage; DistributeMessage 边缘化，归一化

二、贝叶斯网络的构造
贝叶斯网络所依赖的一个核心概念是条件独立:
Conditional Independence

三、贝叶斯网络的学习和推理
贝叶斯网络学习
1. 结构学习：发现变量之间的图关系 ， 2 .参数学习：决定变量之间互相关联的量化关系。

二、贝叶斯网络的构造
贝叶斯网络基础 首先从一个具体的实例（医疗诊断的例子）来说明贝 叶斯网络的构造。 假设： 命题S(moker)：该患者是一个吸烟者 命题C(oal Miner)：该患者是一个煤矿矿井工人 命题L(ung Cancer)：他患了肺癌 命题E(mphysema)：他患了肺气肿 命题S对命题L和命题E有因果影响，而C对E也有因 果影响。 命题之间的关系可以描绘成如下图所示的因果关系网。 因此，贝叶斯网有时也叫因果网，因为可以将连接结 点的弧认为是表达了直接的因果关系。

三、贝叶斯网络的学习和推理
贝叶斯网络结构学习
选择具有最大后验概率的结构 。 基于评分函数(scoring function)：BIC, MDL, AIC等 拉普拉斯近似(Laplace approximation):
对拉普拉斯近似简化，得BIC:

二、贝叶斯网络的构造
图中的联合概率密度： P(S,C,L,E)=P(E|S,C)*P(L|S)*P(C)*P(S) 推导过程： P(S,C,L,E)=P(E|S,C,L)*P(L|S,C)*P(C|S)*P(S)（贝叶斯定 理） ＝P(E|S,C)*P(L|S)*P(C)*P(S) 即：P(E|S,C,L) ＝ P(E|S,C), E与L无关 P(L|S,C)= P(L|S) L与C无关 P(C|S)=P(C) C与S无关 以上三条等式的正确性，可以从贝叶斯网的条件独立 属性推出：每个变量与它在图中的非继承节点在概率上是 独立的。 相比原始的数学公式： P(S,C,L,E)=P(E|S,C,L)*P(L|S,C)*P(C|S)*P(S)显然， 简化后的公式更加简单明了，计算复杂度低很多。如果原 贝叶斯网中的条件独立语义数量较多，这种减少更加明显。