基于最小错误率的贝叶斯决策
问题
为什么先验概率和类条件概率密度函数可以 作为已知？
概率密度函数
利用对细胞作病理分析所观测到的信息，也 就是所抽取到的d维观测向量。
为简单起见，我们假定只用其一个特征进行 分类，即d=1
得到两类的类条件概率密度函数分布
P(x|ω1)是正常细胞的属性分布 P(x|ω2)是异常细胞的属性分布
基于最小错误率的贝叶斯决策
类条件概率密度函数
概率密度函数性质
“ salmon” or “sea bass”判别中的后验概 率
基于最小错误率的贝叶斯决策
类条件概率和后验概率区别
后验概率: P(ω1|x)和P(ω２|x)
同一条件x下，比较ω1与ω2出现的概率 两类ω1和ω2，则有P(ω1|x)+P(ω2|x)=1 如P(ω1|x)> P(ω2|x)则可以下结论，在x条件下，
事件ω1出现的可能性大
类条件概率: P(x|ω1)和P(x|ω2)
是在不同条件下讨论的问题 即使只有两类ω1与ω2，P(x|ω1)+P(x|ω1)≠1 P(x|ω1)与P(x|ω2)两者没有联系
基于最小错误率的贝叶斯决策
贝叶斯公式
先验概率，后验概率，概率密度函数之间关 系
根据先验概率和概率密度函数可以计算出后 验概率
模式识别
徐蔚然 北京邮电大学信息工程学院
课前思考
机器自动识别分类，能不能避免错分类 ? 怎样才能减少错误？ 不同错误造成的损失一样吗？ 先验概率，后验概率，概率密度函数？ 什么是贝叶斯公式？ 正态分布？期望值、方差？ 正态分布为什么是最重要的分布之一？
学习指南
理解本章的关键
要正确理解先验概率，类概率密度函数，后 验概率这三种概率
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的先验概率
P(ωsalmon) P(ωsea bass)
基于最小错误率的贝叶斯决策
先验概率
根据先验概率决定
P(1)P(2),x1 P(1)P(2),x2
这种分类决策没有意义 表明由先验概率所提供的信息太少
基于最小错误率的贝叶斯决策
对这三种概率的定义，相互关系要搞得清清 楚楚
Bayes公式正是体现这三者关系的式子，要 透彻掌握。
2.1引言
统计决策理论
是模式分类问题的基本理论之一
贝叶斯决策理论
是统计决策理论中的一个基本方法
物理对象的描述
在特征空间中讨论分类问题
假设一个待识别的物理对象用其d个属性观
察值描述，称之为d个特征，记为x = [x1, x2, …, xd]T
条件概率
P(*|#)是条件概率的通用符号
即在某条件#下出现某个事件*的概率 P(ωK|X):X出现条件下,样本为ωK类的概率
P(*|#)与P(*)不同
几个重要概念
先验概率
P(ω1)及P(ω2)
概率密度函数
P(x|ωi)
后验概率
P(ωi|X)
贝叶斯决策理论
先验概率，后验概率，概率密度函数
例
细胞识别，加入更多类别? 鱼识别，加入更多种类? 存在问题
后验概率直接用来分类 后验概率不易直接得到 后验概率不易联合考虑 ……
例
另一种概率:类条件概率
正常细胞特征的概率分布 异常细胞特征的概率分布 salmon的概率分布 sea bass的概率分布
分类中如何使用类条件概率？ 什么是先验概率？
f(X|i)dx1
基于最小错误率的贝叶斯决策
salmon” or “sea bass”判别中的类条件概 率密度函数
基于最小错误率的贝叶斯决策
类条件概率密度函数直接用来分类 是否合理？
P (X | 1 ) P (X | 2 ): 1 P (X | 1 ) P (X | 2 ): 2
识别的目的是要依据该X向量将细胞划分为 正常细胞或者异常细胞。
这里我们用ω１表示是正常细胞，而ω２则 属于异常细胞。
基于最小错误率的贝叶斯决策
先验概率
P(ω1)和P(ω2) 含义: 每种细胞占全部细胞的比例 P(ω1)+P(ω2)=1 一般情况下正常细胞占比例大，即
P(ω1)>P(ω2)
对其作出决策是容易的，也不会出什么差错
问题在于出现模棱两可的情况 任何决策都存在判错的可能性。
基于最小错误率的贝叶斯决策
基本思想
使错误率为最小的分类规则 称之为基于最小错误率的贝叶斯决策
例
两类细胞识别
特征-后验概率-分类
两类鱼识别
特征-后验概率-分类
天气预报中的后验概率
特征 后验概率 分类
这组成一个d维的特征向量，而这d维待征所 有可能的取值范围则组成了一个d维的特征 空间。
贝叶斯决策理论方法讨论的问题
讨论的问题
总共有c类物体 已知各类在这d维特征空间的统计分布，
各类别ωi=1,2,…,c的先验概率P(ωi) 类条件概率密度函数p(x|ωi)
问题: 如何对某一样本按其特征向量分类
已知d维特征空间的统计分布，如何对某一样 本类最合理
§2.2 几种常用的决策规则
基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 在限定一类错误率条件下使另一类错误
率为最小的两类别决策 最小最大决策 序贯分类方法
2.2.1基于最小错误率的贝叶斯决策
分类识别中为什么会有错分类？
当某一特征向量值X只为某一类物体所特有， 即
假设总共有c类物体，用ωi (i=1,2,…,c)标记
每个类别，x = [x1, x2, …, xd]T，是d维特征
空间上的某一点，则 P(ωi )是先验概率 p(x| ωi )是ωi类发生时的条件概率密度函数 P(ωi|x)表示后验概率
基于最小错误率的贝叶斯决策
例：癌细胞的识别
假设每个要识别的细胞已作过预处理，并抽 取出了d个特征描述量，用一个d维的特征向 量X表示，
具有一定的合理性 没有考虑先验概率 不满足最小错误率要求
基于最小错误率的贝叶斯决策
后验概率含义
P (ω1 |X )
当观测向量为X值时, 该细胞属于正常细胞的概
率。
P (ω2 |X )
当观测向量为X值时, 该细胞属于异常细胞的概
率。
基于最小错误率的贝叶斯决策
后验概率
基于最小错误率的贝叶斯决策