❖ 那么当 R (1|x)R (2|x) 时，采取第1个行动。即：
1 P ( 1 1 | x ) 1 P ( 2 2 | x ) 2 P ( 1 1 | x ) 2 P ( 2 2 | x )
( 1 1 2 ) P 1 (1 |x ) ( 2 2 1 ) P 2 (2 |x )
( 1 1 2 ) P ( 1 x |1 ) P ( 1 ) ( 2 2 1 ) P ( 2 x |2 ) P ( 2 )
因此：
该样例j的 属概 于 类 率 类 j中 别 别 该 该样 样例 例 类 出 出 j出 别 现 现 现 的 概 概
对于上面 的问题：
P(1|
x)P(x|1)P(1)
P(x)
P(2|x)P(x|P (2x)P )(2)
❖ 如果p(ω1|x)>p(ω2|x)，那么就认为x属于ω1， 即这条鱼是鲈鱼。同理于：
P(j |
x)P(x|j)P(j)
P(x)
但为是要，考并虑不损是失简：单地将x归于具有最大p(ωj|x)值的那个类别ωj。因 定义进行第i个行动(比如将样例归于第i个类别)这种行为表示为：
αi。 在λ(α一i|ω个j)样。例的真正类别为ωj时，进行第i个行动造成的损失是： 那么进行第i个行动的总损失：
一 最简单的贝叶斯分类算法
❖ 还使用前面的例子：鲈鱼(sea bass)和鲑鱼(salmon)。
❖ 使用一个特征亮度对这两种鱼进行表示。
❖ 新来了一条鱼特征是x(亮度)，怎么根据特征x确定 它到底是鲈鱼ω1还是鲑鱼ω2？
❖ 已知数据：鲈鱼类标号ω1，鲑鱼类标号ω2。鲈鱼总 数量占所有鱼总数量的比率为P(ω1)，鲑鱼总数量占 所条有鱼鱼的总 亮数 度x量在的分比类率为为鲈P鱼(ω时2)。出由现鲈的鱼概的率分为布p(x得|ω知1)这, 由鲑鱼的分布得知这条鱼的亮度x在分类为鲑鱼时出 现的概率为p(x|ω2)。
P ( x |1 ) P (1 ) 1 P ( x 0 | 2 ) P (2 )
三 判别函数
❖ 在模式识别里，经常用gi(x)来表示x属于第i个类别的可能性。 ❖ 如果对于所有的j!=i都有：gi(x)>gj(x)，那么认为x属于第i个类别ωi。 ❖ 比如令gi(x)=-R(αi|x)。 ❖ 上面是一个不等式关系，如果不等式两边都乘以相同的正数，或
二 贝叶斯决策算法
❖ 上面的分类有几个主要限制：
特征向量中只包含一个特征：亮度。 只有两个类别：鲈鱼和鲑鱼。 仅仅允许分类，而不是根据分类采取行动。同时，没有
加入损失控制：例如鲈鱼比鲑鱼贵。如果鲈鱼的罐头里 装入了鲑鱼，那么客户会很生气；如果鲑鱼的罐头里装 入了鲈鱼，那么客户很难感到有损失。那么这个时候分 类后采取的行动就要偏向于便宜的鲑鱼。
定义 ij(i |j)
，造是成在的一损个 失样。例的真正类别为ωj时，进行第i个行动 采取第1个行动时的总损失：
R (1 |x ) 1 P ( 1 1 |x ) 1 P ( 2 2 |x )ห้องสมุดไป่ตู้
采取第2个行动时的总损失：
R (2 |x ) 2 P ( 1 1 |x ) 2 P ( 2 2 |x )
P ( x | 1 ) P (1 ) P ( x | 2 ) P (2 )
这几个基本数据都已经给出了，因此可 以计算出不等式的结果。
如果p(ω1|x)<p(ω2|x)，那么就认为x属于 ω2，即这条鱼是鲑鱼。同理于：
P ( x | 2 ) P (2 ) P ( x | 1 ) P (1 )
❖ 如何求解？可以求出x属于鲈鱼ω1的概率 P(ω1|x)和x属于鲑鱼ω2的概率P(ω2|x)。如果 P(ω1|x)>P(ω2|x)，就认为x是鲈鱼。现在的问 题是如何求P(ω1|x)和P(ω2|x)。
❖ 有一个概率公式：
P (y |x )P (x ) P (x |y )P (y )
从而推出：
比鱼的时如ω罐候1对头分的于里类罐上装后头面入采里的了取装例 鲈 的入子 鱼 行了动λω鲑111就鱼，=λ要ω那222偏么=，0向客那。于户么鲈便很客鱼宜难户ω的感1会比鲑到很鲑鱼有生鱼。损气ω因失；2贵此。如。设那果如当么鲑果真这鱼鲈正个ω2 类装将λ21别入x=归0是了类.2鲑鲑。为鱼鱼可鲑ωω以鱼22的)看的ω时2到损(造候，失成，上λ鲑1将2面=鱼x的2归， ω公类2设的式为当罐变鲈真头成鱼正里了ω类装1：(别入造是了成鲈鲈鲈鱼鱼鱼ωωω111的的)的时罐损候头失，里
加上相同的树，或取自然对数。那么不等式的关系是不变的。因 此不考虑损失时的贝叶斯判别函数：
gi(x)p(i|x)p(x|p (ix ))p(i)
可以写成：
gi(x)p(x|i)p(i)
g i(x ) ln p (x| i) ln p (i)
四 正态分布
P(j |x)P(x| P(jx)P )(j)
c
R(i |x)(i |j)P(j |x) j1
这里将每个类别为真正类别时采取第i个行动造成的损失都加起来， 作为采取第i个行动的总损失。
那么每个行动的总损失都可以求出来，采取其中总损失最小的行 动。比如行动k最小，对应的行动是将样例归于第k个类别，那么
就如此进行分类。
举例：贝叶斯决策算法在两类问 题中的决策。
❖ 下面就看突破这几个限制的比较通用的贝叶斯分类 器是什么样的。
❖ 为了解决第一个显示，使用向量x代替原来的单变量x。 x就叫做特征向量。比如鲈鱼鲑鱼分类的例子中，可以 设计这样一个特征向量(x1,x2)，其中x1表示亮度，x2表 示长度。
❖ 定 为义 ωj。类别总共有c个：{ω1,ω2…,ωc}，第j个分类 ❖ 此 算时 ：，x属于类别ωj的概率依然用这个公式计
P(y|x)P(x| y)P(y) P(x)
换一种写法：
P(j |x)P(x| P(jx)P )(j)
P(j |x)P(x| P(jx)P )(j)
这就是著名的贝叶斯公式。其中P(ωj)叫做先验概率，就是类别出现 的可能性；p(x|ωj)叫条件概率，就是在ωj时x出现的可能性；p(ωj|x) 叫后验概率；p(x)是该样例出现的可能性。