Σ
m
j=1
l j i P (ω j / x)
i = 1, 2, … , m
r i ( x )的两种表达形式, i = 1, 2, … , m
①后验概率形式 ri(x)=
Σ Σ
m
j=1
l j i P (ω j / x)
②类条件概率密度形式
m
ri(x)=
j=1
l j i P ( x /ω j ) P ( ω j )
P (阳性/ω 1)
P (阳性/ω 1) P (ω 1) +P (阳性/ω 2) P (ω 2)
≈67.7%
从这里可以看出，尽管采用了最小错误率贝叶斯决 策，但仍然可能将正常人错判为癌症病人，也可能 将癌症病人错判为正常人。这些错判都会带来一定 的损失。将正常人错判为癌症病人，会给他带来短 期的精神负担，造成一定的损失，这个损失比较小。 如果把癌症病人错判为正常人，致使患者失去挽救 的机会，这个损失就大了。这两种不同的错判所造 成损失的程度是有显著差别的。 所以，在决策时还要考虑到各种错判所造成的不同 损失，由此提出了最小风险贝叶斯决策。
则最小风险的贝叶斯判别规则为 若 r i ( x ) ＜r j ( x ) , i = 1, 2, … , m, i≠ j
则
x∈ωi
最小风险判别法的判别函数可取为
g i(x) = x1 x2 … xd －r i ( x ) g1 g2 … gm Max i = 1, 2, …, m
决策 ω (x)
5.计算实例
例1 有一家医院为了研究癌症的诊断，对一大批人 作了一次普查，给每人打了试验针，然后进行统计， 得到如下统计数字： ①这批人中，每1000人有5个癌症病人； ②这批人中，每100个正常人有1人对试验 的反应为阳性， ③这批人中，每100个癌症病人有95入对 试 验的反应为阳性。 通过普查统计，该医院可开展癌症诊断。 现在某人试验结果为阳性，诊断结果是什么?
①要决策分类的类别数是一定的； 假设要研究的分类问题有M个类别，分别 用ω i来表示，i＝1，2，…, M ②各类别总体的概率分布是已知的。 即 P ( ωi ) 与 P ( x/ ωi )已知 i = 1,2,…, M 其中 P ( ωi ) 称为类先验概率 第i类出现的概率. P ( x/ ωi )称为类条件概率 第i类特征向量的概率密度函数
假如正常人用ω1类表示，癌症病人用ω2类 表示。以试验结果作为特征，特征值为阳 或阴。根据统计数字，得到如下概率：
P (ω 1) = 0.995, P (ω 2) = 0.005 P (阳性/ω 1) = 0.01, P (阴性/ω 1) = 0.99 P (阳性/ω 2) = 0.95, P (阴性/ω 2) = 0.05 由此可算得
ω1 ω2
＜ ＞ l12 P (ω 1 / x) P (ω 1) + l22 P (ω 2 / x) P (ω 2)
x∈
ω1 ω2
3.判别规则
设模式的状态空间Ω由m个自然状态(m类)组成 Ω = { ω 1, ω 2 , …, ω m } 损失函数 l i j i, j = 1, 2, … , m, 显然 l i i =0 将原本属于ω i类的样本判属为ω j类所造成的损失 样本 x = ( x1 , x2 , … , xd ) 条件风险 r i ( x ) i = 1, 2, … , m 模式x 判属类ω i 的条件风险为:将模式x判属ω i 类所造成的损失的条件数学期望. ri(x)=
用类别条件概率大小来确定x的类别
应充分利用待识细胞的特征向量x中所包含的信息. 在给定x的情况下,类别ω 1, ω 2出现的概率P (ω 1 / x) 与P (ω 2 / x)是不一样的 由引言中的假设,已经知道 类别先验概率 P ( ωi ) i=1,2 类别条件概率 P ( x/ ωi ) i=1,2 P (ω i / x)= P (x / ω i ) P ( ω i )
例1 癌细胞识别问题: 如何区分正常细胞与癌细胞?
差异描述,特征选择 x1 圆形度 x2 形心偏差度 正常细胞 癌细胞 记 x = ( x1, x2 )
T
x2
称x为细胞的特征向量 或称模式x 正常细胞类用ω1表示 癌细胞类用ω2表示
5000个细胞的数据分布 x1
采用贝叶斯方法必须满足下列两个条件:
一般地说，模式x为
一维时，决策边界为一分界点； 二维时，决策边界为一曲线； 三维时，决策边界为一曲面； d维(d＞3)时，决策边界为一超曲面。
x2
第i类 决策域 决策 边界
Ri
Rj
x1
相邻的决策域的决策边界方程满足 g i(x) ＝ g j(x)
分类器设计
分类器可看成是由硬件或软件组成的“机器”， 贝叶斯分类器的结构如下图所示。
第二章 贝叶斯分类器
2.1 2.2 2.3 2.4 2.5 最小错误率判别规则 最小风险判别规则 分类器的错误率 奈曼-皮尔逊判别规则 最小最大判别规则
引言
模式识别的分类问题就是根据待识别对象的特 征向量值及其它约束条件将其分到某个类别中 去。统计决策理论是模式分类问题的基本理论 之一,它对模式分析和分类器的设计有着实际的 指导意义,贝叶斯(Bayes)决策方法是统计模式识 别中的一个重要方法,是处理模式分类问题的基 本理论之一。本章要讨论的贝叶斯分类器在统 计模式识别中被称为最优分类器。
模式识别问题
假设对象来自m个不同的类,用d个特征来描述对象. 特征向量 x= ( x1, x2, ... xd )T , x也称为模式. 特征(模式)空间 S 所有的特征(模式)构成的集合. S为d维空间R d的一个子集,模式x是S中的一个点. 模式识别问题 将模式空间划分为m个 不同的区域,使得每个区 域对应到一个类
等价的判别规则
① x ∈ ω * = Arg Max { P (ω i / x) }
ωi
② x ∈ ω * = Arg Max { P (x/ ω i) P (ω i )}
ωi P (ω 2 ) ③ l ( x ) = P (x/ ω 1 ) ＞ P (x / ω 2 ) ＜ P (ω 1 )
＜ ln P (ω 1) ＞ P (ω 2)
2.损失.条件风险
条件风险定义为:将模式x判属某类所造成的损失的条 件数学期望。 仍以细胞识别为例。假定： 模式x 本属正常类而判属正常类所造成的损失为l11 模式x 本属癌变类而判属正常类所造成的损夫为l21 模式x 本属正常类而判属癌变类所造成的损失为l12 模式x 本属癌变类而判届癌变类所造成的损失为l22
4.两种贝叶斯判别法的联系
以两类问题为例加以分析。
最小错误率贝叶斯决策规则 x∈ω1 x∈ω2
P (x/ ω 1 ) ＞ P (ω 2 ) P (x/ ω 2 ) ＜ P (ω 1 )
假定错误决策总是比正确决策所造成的损失要大 即 l12 ＞ l11, l21 ＞l22, 最小风险贝叶斯决策规则为 P (x/ ω 1) ＞ (l21 －l22 )P (ω 2) ＜ (l － l )P (ω 1 ) P (x / ω 2 ) 12 11 x∈ω1 x∈ω2
2.2 最小风险判别规则
1. 2. 3. 4. 5.
问题的提出 损失.风险 判别规则 两种贝叶斯判别法的联系 计算实例
1.问题的提出
在例1中某人的试验结果为阳性，根据最小错误率 贝叶斯决策，判他属正常人，那么他属正常人的概 率是不是100％呢? 我们可计算出试验结果为阳性的条件下他属正常人 的概率 P (ω 1/阳性) =
r 2 ( x ) = l12 P (ω 1 / x) + l22 P (ω 2 / x) 我们可以根据条件风险的大小来判别。
若 r 1 ( x ) ＜ r 2 ( x ), 则 x ∈ ω 1 若 r 1 ( x ) ＞ r 2 P (ω 1 / x) + l21 P (ω 2 / x) ＜ l P (ω 1 / x) + l P (ω 2 / x ) 12 22 ＞ ②类条件概率密度形式 l11 P (x /ω 1) P (ω 1) + l21 P (x /ω 2) P (ω 2) x∈
由Bayes公式,
i = 1, 2 )
Σ P (x / ω j ) P ( ω j
j
由此可确x定所属的类别…
2.判别规则
Bayes公式是通过待识样本提供的模式特征信息x 将类先验概率P ( ωi )转化为类后验概率P (ω i / x) 这样,基于最小错误率的贝叶斯判别规则为 若 P (ω 1 / x ) > P (ω 2 / x ) 若 P (ω 2 / x ) > P (ω 1 / x ) 若 P (ω 1 / x ) = P (ω 2 / x ) 则判 x ∈ ω 1 则判 x ∈ ω 2 不能判定, 拒判
对每一类别,定义一个函数g i(x) i = 1,2,…,m,且满足 若 k = Arg Max { g i (x), i = 1,2,…,m } 则 x∈ωk,
称 g i (x) 为第 i 类的判别函数
下述g i(x)均为最小错误率判别规则判别函数.
① g i(x) = P (ω i / x) i = 1,2,…,m ② g i(x) = P (x/ ω i) P (ω i ) i = 1,2,…,m
P (x/ω 1) P (ω 1) =P (阳性/ω 1) P (ω 1) = 0.0995 P (x/ω 2) P (ω 2) =P (阳性/ω 2) P (ω 2) = 0.00475 由于 P (x/ω 1) P (ω 1) > P (x/ω 2) P (ω 2) 所以 x ∈ ω 1 即此人属正常人
③ g i(x) = ln P (x/ ω i) + ln P ( ω i) i = 1,2,…,m 不同的判别方法有不同的判别函数