正态分布模式的贝叶斯决策
90 85 80 75
Weight(KG)
70 65 60 55 50 45 40 150 155 160 165 170 Height(CM) 175 180 185
������������ (������ − ������������ ) = 0
判别界面
������������ (������ − ������������ ) = 0 ������ = ������1 − ������2 = 156,48 ������0 =
3 ������1 ������ = 4������1 − 2
正态分布模式的贝叶斯决策 3 11 ������1 ������ = 4������1 − ，������2 ������ = −4������1 + 8������2 + 8������3 − 2 2 故判别界面为 ������1 ������ − ������2 ������ = 8������1 − 8������2 − 8������3 + 4=0 图中绘出该 判别平面的 一部分，它 将两类模式 一分为二。
正态分布模式的贝叶斯决策 3. 第三种情况：������������ ≠ ������������
正态分布模式的贝叶斯决策 例：模式（样本）分布如图所示，如果作为正态分 布处理，其均值向量和协方差矩阵可用下式估计： 1 ������������ = ������������ 1 ������������ = ������������
正态分布模式分类的误判概率 例：已知一个班级女生和男生的身高和体重数据都 符合正态分布，具体统计参数如下： 25 0 ������ 女生, 均值������1 : 156,48 ，协方差������1 : 0 25 25 0 ������ 男生, 均值������2 : 170,65 ，协方差������2 : 0 25 男生和女生的先验概率已知������ ������1 = ������ ������2 = 0.5 ，计算最小错误概率贝叶斯判别下的误判概率？
1 2 1 ������1 + ������2 = [ 2 ������
− 170,65 ������ = −14, −17
������ ������
156,48 ������ + 170,65 ������ ]= 163,56.5
正态分布模式的贝叶斯决策
最小错误概率贝叶斯决策规则下得到的 决策面所带来的误判概率是多大？
正态分布模式的贝叶斯决策 1 ������ −1 由：������������ ������ = ������������ − ������������ ������ ������������ + ������������������(������������ ) 2 设������ ������1 = ������ ������� 项可删去，得 1 ������ −1 −1 ������ ������������ ������ = ������������ ������ ������ − ������������ ������ ������������ 2
正态分布模式的贝叶斯决策 决策面方程为：
������������ ������ = ������������ ������ ������������ ������ − ������������ ������ = 0
具体表达式为： 1 − ������ − ������������ ������ ������������ −1 ������ − ������������ − ������ − ������������ 2 1 ������������ ������ ������������ − ������������ + ������������ =0 2 ������������ ������ ������������
������ ������ ������2 ������������
ℛ1
−∞
最小错误概率贝叶斯 若输入特征为高维向量： ������ ∈ ℝ������
������1 ������ = ������2 ������ =
ℛ2
������ ������ ������1 ������������ ������ ������ ������2 ������������
（1,1,0）
式中������������ 为类别������������ 中模式的数目，������������������ 代表在第������ 类别 中的第������个模式。
正态分布模式的贝叶斯决策 由上式可求出： 1 ������1 = (3, 1, 1)������ , 4 1 = (1, 3, 3)������ 4 1 1 3 −1 −1 3
ℛ1
在高维特征空间计 算积分的运算非常 困难。例如：当维数 D=10000时，几乎 无法实现
最小错误概率贝叶斯
对于x为高维，可找更方便的方法计算错误率
最小错误概率贝叶斯决策的等价形式： ������1 > （1）������ ������1 ������ ������|������1 ������ ������2 ������ ������|������2 , ������ ∈ ������ < 2 ������1 ������ ������|������1 > ������ ������2 （2）如果������ ������ = , ������ ∈ ������ ������ ������|������2 < ������ ������1 2 （3）如果h ������ = −������������������ ������ ������1 < ������ ������1 = −������������������ ������ ������1 + ������������������ ������ ������2 ������������ → ������ ∈ ������ ������ ������ > 2 2
正态分布模式的贝叶斯决策
2. 第二种情况：������������ = ������
（1）若������ ������������ = ������ ������������ ，决策面为通过������������ 和������������ 连线中心并与 连线通常不正交的超平面。
（2）若������ ������������ ≠ ������ ������������ ，决策面向先验概率小的方向偏移。
������������ ������=1 ������������
������������������
������=1
（1,1,1）
������������������ ������������ ������������ − ������������ ������������ ������
（0,1,0）
������������ −1 ������
正态分布模式的贝叶斯决策 带入并展开，可得
11 ������2 ������ = −4������1 + 8������2 + 8������3 − 2 ������������ ������ = ������������ ������������ −1 ������������ − ������������ ������ ������−1 ������������ 8 −4 −4 ������−������ = −4 8 4 −4 4 8 1 1 ������ ������1 = (3, 1, 1) , ������2 = (1, 3, 3)������ 4 4
������
������������ −1 ������ − ������������
根据������ ������������ 和������������ 的不同形式，决策面方程具体的表达式也 有不同形式。
正态分布模式的贝叶斯决策
������ 2 … 0 1. 第一种情况：������������ = ������ 2 I，������������ = ⋮ ⋱ ⋮ 0 … ������ 2 (1)若������ ������������ = ������ ������������ ，决策面为通过������������ 和������������ 连线中心并与连线 正交的超平面。 (2)若������ ������������ ≠ ������ ������������ ，决策面向先验概率小的方向偏移，即 概率大的一类占据更大的决策空间。
������2 1 3 ������1 = ������2 = ������ = 1 16 1
正态分布模式的贝叶斯决策 因协方差矩阵相等，可推知其判别式。 1 ������ ������ −1 ������������ ������ = − ������ − ������������ ������ ������ − ������������ − ������������2������ 2 2 1 − ������������ ������ + ������������������ ������������ 2 除去与i无关的项，可得 1 ������ −1 −1 ������ ������������ ������ = ������������ ������ ������ − ������������ ������ ������������ + ������������������(������������ ) 2
+∞ ������
������
当输入特征为一维时：
������1 ������ =
������2 ������ =
ℛ2
������ ������ ������1 ������������ =