• 几种常用的决策规则。
• 正态分布时统计决策的问题以及错误概率等问题。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)10
第二章 贝叶斯决策理论
上一章提到机器实现自动分类有两大类方法： 一种是模板匹配方法， 而另一种就是对特征空间划分为子空间(每类的势力范围)的方法。
本章是针对第二种方法的。核心问题是：样本为特征向量X时，它属于 哪一类可能性有多大，如能确定属于各个类别的百分比(概率)分类决策 就有了依据。例如某个样本的特征向量为X，X属于第一类样本的可能 性为60％，而第二类的可能性为40％。在没有任何样本信息的情况下， 则应将样本决策为第一类以使错分类可能性小(40％)，这就是这一章考 虑分类问题的出发点。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)8
第二章 贝叶斯决策理论
特征向量与特征空间
在描述本章所要讨论的问题之前，再提一下对于待识别的 物理对象的描述问题。假设一个待识别的物理对象用其d 个属性观察值描述，称之为d个特征，这组成一个d维的特 征向量，而这d维待征所有可能的取值范围则组成了一个d 维的特征空间。
贝叶斯决策理论方法所讨论的问题
已知总共有c类物体，即：待识别物体属于这c类中的一个类别，对这c 类不同的物理对象，以及各类在这d维特征空间的统计分布
• 各知类的别条ω件i下=1，,2如,…何,c对的某先一验样概本率按P(其ωi特)及征类向条量件分概类率的密问度题函。数由p于(x属|ω于i)已 不同类的待识别对象存在着呈现相同观察值的可能，即所观察到的 某一样本的特征向量为X，而在c类中又有不止一类可能呈现这一X 值，这种可能性可用P(ωi|X)表示。如何作出合理的判决就是贝叶斯 决策理论所要讨论的问题。
3、模式识别的基本计算框架——制定准则函数，实现准则 函数极值化的分类器设计方法。
4、正态分布条件下的分类器设计。
5、判别函数、决策面、决策方程等术语的概念。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)6
第二章 贝叶斯决策理论
• 难点
1、三种概率：先验概率、类会将分类与计算某种函数联系起来，并在此基础上定义了一些术 语，如判别函数、决策面(分界面)，决策域等，要正确掌握其含义。
这一章会涉及设计一个分类器的最基本方法——设计准则函数，并使所 设计的分类器达到准则函数的极值，即最优解，要理解这一最基本的做 法。这一章会开始涉及一些具体的计算，公式推导、证明等，应通过学 习提高这方面的理解能力，并通过习题、思考题提高自己这方面的能力。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)4
第二章 贝叶斯决策理论
学习目标
这一章是模式识别的重要理论基础，它用概率论的概念分析造成错分类 和识别错误的根源，并说明与哪些量有关系。在这个基础上指出了什么 条件下能使错误率最小。有时不同的错误分类造成的损失会不相同，因 此如果错分类不可避免，那么有没有可能对危害大的错分类实行控制。 对于这两方面的概念要求理解透彻。
• 例：假设苹果的直径尺寸限定在7厘米到15厘米之间，它们 的重量在3两到8两之间变化。如果直径长度x用厘米为单位， 重量y以两为单位。那么，由x值从7到15，y值从3到8包围 的二维空间就是对苹果进行度量的特征空间。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)9
第二章 贝叶斯决策理论
第二章 贝叶斯决策理论
第二章 贝叶斯决策理论
学习指南
• 主要内容是说明分类识别中为什么会有错分类，在 何种情况下会出现错分类？错分类的可能性会有多 大？在理论上指明了怎样才能使错分类最少？
• 不同的错分类造成的危害是不同的，有的错分类种类 造成的危害更大，因此控制这种错分类则是更重要的。 为此引入了一种“风险”与“损失”概念，希望做到 使风险最小。要着重理解“风险”与“损失”的概念， 以及在引入“风险”概念后的处理方法。
11.08.2020
(48)1
第二章 贝叶斯决策理论
整体概况
+ 概况1
您的内容打在这里，或者通过复制您的文本后。
概况2
+ 您的内容打在这里，或者通过复制您的文本后。
概况3
+ 您的内容打在这里，或者通过复制您的文本后。
第二章 贝叶斯决策理论
• 重点理解这一章的关键是要正确理解先验概率，类 概率密度函数，后验概率这三种概率，对这三种概 率的定义，相互关系要搞得清清楚楚。Bayes公式 正是体现这三者关系的式子，要透彻掌握。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)3
第二章 贝叶斯决策理论
课前思考
1、 机器自动识别分类，能不能避免错分类，如汉字识别能不能做 到百分之百正确？怎样才能减少错误？ 2、 错分类往往难以避免，因此就要考虑减小因错分类造成的危害 损失，譬如对病理切片进行分析，有可能将正确切片误判为癌症 切片，反过来也可能将癌症病人误判为正常人，这两种错误造成 的损失一样吗？看来后一种错误更可怕，那么有没有可能对后一 种错误严格控制？ 3、 概率论中讲的先验概率，后验概率与概率密度函数等概念还记 得吗？什么是贝叶斯公式？ 4、 什么叫正态分布？什么叫期望值？什么叫方差？为什么说正态 分布是最重要的分布之一？
2、 三种概率之间的关系——贝叶斯公式。
3、 描述随机变量分布的一些定义，如期望值、方差、 尤其是协方差、协方差矩阵，其定义、计算方法 及内在含义，透彻掌握其含义才会做到灵活运用。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)7
第二章 贝叶斯决策理论
§2.1 引言
• 模式识别是一种分类问题，即根据识别对象所呈 现的观察值，将其分到某个类别中去。统计决策 理论是处理模式分类问题的基本理论之一，对模 式分析和分类器的设计起指导作用。贝叶斯决策 理论是统计模式识别中的一个基本方法，我们先 讨论这一决策理论，然后讨论涉及统计判别方法 的一些基本问题。
11.08.2020
中国矿业大学 计算机科学与技术学院
(48)5
第二章 贝叶斯决策理论
本章重点、难点
• 重点
1、机器自动识别出现错分类的条件，错分类的可能性如何 计算，如何实现使错分类出现可能性最小——基于最 小错误率的贝叶斯决策理论。
2、如何减小危害大的错分类情况——基于最小错误风险的 Bayes决策理论。