因此，P(e)=1-P(c)
贝叶斯决策(1)
基于最小风险的贝叶斯决策
上述分类基于错误率最小化的所得到规则，但有
时要考虑比错误率更广泛的概念-----风险。风险与
损失密切相连。
比如对细胞分类固然尽可能正确判断，但判错了 的后果将怎样？
正常异常：精神负担； 异常正常：失去进一步治疗的机会。
显然这两种不同的错误判断所造成损失的严重程 度是有显著差别的，后者的损失比前者更严重。
v 决策：是从样本空间S，到决策空间Θ的一个 映射，表示为：D: S -> Θ。
v 评价决策有多种标准，对于同一个问题，采 用不同的标准会得到不同意义下“最优”的 决策。
贝叶斯决策(1)
Bayes决策常用的准则
v 主要有：
基于最小错误率的贝叶斯决策
基于最小风险的贝叶斯决策
在限定一类错误率条件下使另一类错误率为最小的 两类别决策(Neyman—Pearson决策)
贝叶斯决策(1)
2. 利用后验概率P(j/x)与损失函数，计算出 每个条件期望风险R(i/x)(一共有a个决策)。
3. 在a个R(i/x)相互比较，找出最小的决策k， 完成最小风险贝叶斯决策。
贝叶斯决策(1)
❖ 注意：最小风险贝叶斯决策除了先验概
率 P(j) 和 类 条 件 概 率 密 度 p(x/j) 外 ， 还需要有合适的损失函数(j,j)。
1、先验形式
贝叶斯决策(1)
2、似然比 似然比
似然比阈值
由先验形式易知： 即：
贝叶斯决策(1)
3、似然对数
贝叶斯决策(1)
❖例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知 细胞x，先从类条件概率密度分布曲线上查到： P(x/ω 1)=0.2， P(x/ω 2)=0.4 问该细胞属于正常细胞还是异常细胞。 解：先计算后验概率：
贝叶斯决策(1)
基于最小错误率的贝叶斯决策
v 引例：癌细胞的识别。（每个细胞抽象为d维 向量 x = （x1,x2,x3,…,xd），识别的目的是 要将x分类为正常细胞或异常细胞。
贝叶斯决策(1)
先验概率 类条件概率密度：
p(x | w1)
p(x | w2)
x 类条件概率密度
贝叶斯决策(1)
贝叶斯公式：
MAX
a(x)
. .
. . .
最大值选择器 决策
.
xn
gc
多类分类器的构成
贝叶斯决策(1)
两类情况
贝叶斯决策(1)
3. 分类器设计
…
判别计算
阈值单元
两类分类器的构成
决策
贝叶斯决策(1)
举例： 对例2.1和例2.2分别写出其判别函数和决策面方程
贝叶斯决策(1)
贝叶斯决策(1)
3rew
演讲完毕，谢谢听讲!
的最小风险贝叶斯决策就等价于
的最小错误率贝叶斯决策。 因此，在0-1损失函数条件下最小错误率贝叶斯决 策就是的最小风险贝叶斯决策。
贝叶斯决策(1)
Neyman—Pearson决策
❖ Neyman—Pearson决策即限定一类错误率条件下使 另一类错误率为最小的两类别决策。
❖ 在两类别决策问题中，有犯两种错误分类的可能性， 这两种错误的概率分别是P(ω2)P2(e)和 P(ω1)P1(e)， 由于先验概率对具体问题来说是确定的，所以一般 称P1(e)，P2(e)为两类错误率。
贝叶斯决策(1)
因此，条件错误概率： P(e|x) = min [P(1|x), P(2|x)]
模式特征x 是一个随机变量，在应用Bayes法则时， 每当观察到一个模式时，得到特征x，就可利用后验 概率作出分类的决策，同时也会带来一定的错误概 率。若观察到大量的模式，对它们作出决策的平均 错误概率P(e)应是P(e|x)的数学期望。
v 判别函数：用于表达决策规则的一些函数。
贝叶斯决策(1)
贝叶斯决策(1)
贝叶斯决策(1)
1.判别函数
多类情况
贝叶斯决策(1)
2.决策面方程 各决策域被决策面所 分割，这些决策面是 特征空间中的超平面， 相邻决策域在决策面 上的判别函数值相等。
贝叶斯决策(1)
3.分类器设计
x1
g1
x2
g2
最小风险贝叶斯决策正是考虑各种错误造成损失 不同而提出的一种决策规则。
贝叶斯决策(1)
几个基本概念：
状态空间：设{1,2,…,c}是c个类别的集合。 决策空间：设{1,2,…,a}是a种决策行为。 损失函数：记 (i|j) 是类别状态为j时采用决
策行为为i时所带来的损失(风险) 。
引入损失概念，考虑错判所造成损失，不 能只由后验概率的大小来决策，而应考虑所 采取决策是否使损失最小。
贝叶斯决策(1)
2020/12/10
贝叶斯决策(1)
内容
v 引言 v 几种常用的决策准则 v 分类器设计
贝叶斯决策(1)
基本概念
v 模式分类：根据识别对象的观测值确定其类 别
v 样本与样本空间：
v 类别与类别空间：c个类别（类别数已知）
贝叶斯决策(1)
决策
v 把x分到哪一类最合理？理论基础之一是统计 决策理论
❖ 在实际中，要列出合适的决策表很不容 易，要根据所研究的具体问题，分析错 误决策造成损失的严重程度，与有关的 专家共同商讨来确定。
贝叶斯决策(1)
❖例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知 细胞x，先从类条件概率密度分布曲线上查到： P(x/ω 1)=0.2， P(x/ω 2)=0.4 问该细胞属于正常细胞还是异常细胞？
后验概率
P(1|x) 1.0
0.5 P(2|x)
0.0
后验概率
x
对于2分类问题： P(1|x) +P(2|x)=1
贝叶斯决策(1)
决策规则： 如果P(1 | x) > P(2 | x) 如果P(1 | x) < P(2 | x)
简写为：
类别状态= 1 类别状态 = 2
后验形式
贝叶斯决策(1)
几种等价形式：
贝叶斯决策(1)
平均错误率
在整个d维特征空间上的积分
从上式可知，如果对每次观察到的特征值x，
P(e|)是尽可能小的话，则上式的积分必定是尽
可能小的这就证实了最小错误率的Bayes决策法则。
贝叶斯决策(1)
下面以两类模式为例，从理论上给予证明：
贝叶斯决策(1)
也可以写为：
对应图中黄色和 橘红色区域面积
❖ 实际中，有时要求限制其中某一类错误率不得大于 某个常数而使另一类错误率尽可能小。
贝叶斯决策(1)
假设P2（e）很小，使P2（e）=ε0， ε0是一个很小的
常数，在这种条件下再要求尽可能小。 如图所示：
贝叶斯决策(1)
这样的决策可看成是在P2（e）=ε0条件下，求极小值 的条件极值问题，用Lagrange乘子法建立数学模型：
贝叶斯决策(1)
错误率分析
因为决策规则为：
如果P(1 | x) > P(2 | x) 如果P(1 | x) < P(2 | x)
类别状态= 1 类别状态 = 2
因此，无论何时观测到某一个特定值x，概率 误差为：
P(e|x)=P(1|x) 判定为2 (错误选择1);
P(e|x)=P(2|x) 判定为1(错误选择2 );
再见，see you again
2020/12/10
贝叶斯决策(1)
▪ 决策看成随机向量x的函数，记为(x), 它 也是一个随机变量。我们可以定义期望风险R：
贝叶斯决策(1)
期望风险R反映对整个特征空间上所有x的取 值采取相应的决策(x)所带来的平均风险。
条件风险R(i|x)只是反映对某一观察值x，
采取决策i时，所有类别状态下带来风险的 平均值。
显然，我们要求采取的一系列决策行动(x) 使期望风险R最小。
贝叶斯决策(1)
如果在采取每一个决策或行动时，都使其条件 风险最小，则对给定的观察值x作出决策时，其 期望风险也必然最小。这样的决策就是最小风 险贝叶斯决策。其规则为：
贝叶斯决策(1)
最小风险贝叶斯决策步骤 1. 已 知 先 验 概 率 P(j) 、 类 条 件 概 率 密 度
p(x/j),并给出待识别的x，根据贝叶斯公 式，计算出后验概率P(j/x)。
贝叶斯决策(1)
最小错误率决策与最小风险决策之间的关系
“0-1”损失函数定义：在c个类别只有c个决策时， 如果正确决策，则损失函数的值为0；如果错误决策， 则损失函数的值为1。公式表示为：
贝叶斯决策(1)
此时的条件风险为： 表示对x采取决策i的条件错误概率
贝叶斯决策(1)
所以在0-1损失函数时，使
贝叶斯决策(1)
对多类决策（假设有c类），很容易写出相应的最小 错误率贝叶斯决策规则：
形式一： 形式二：
贝叶斯决策(1)
多类别决策过程中，要把特征空间分割成c个 区域，可能错分的情况很多，平均错误概率 P(e)将由c(c-1)项组成。 直接求P(e)的计算量较大，将代之计算平均正 确分类概率P(c),则：
贝叶斯决策(1)
对于i = 1,…,a，条件风险R(i|x) 定义为：
它是在c个类别状态中任取某个状态j时，采
用决策i的风险(i|j)相对于后验概率 P(j/x)的条件期望。
贝叶斯决策(1)
▪ 观察值x是随机向量，不同的观察值x，采取 决策i时，其条件风险的大小是不同的。所 以，究竟采取哪一种决策将随x的取值而定。
贝叶斯决策(1)
贝叶斯决策(1)
整理得： 取得极小值的边界条件（对t和λ求导）
满足上述两式的λ和边界面就能使γ极小。