函数为：
p x1, x2 ,, x p
p i 1
pxi
1
2 p / 2
exp
1 2
p i 1
xi
对随机向量X做变换：Y AX μ
应用前述变换公式
武汉大学遥感信息工程学院 马洪超
模式识别导论
py 1
2 p / 2 A
exp
1 2
y
μT
A 1
T
A 1
y μ
因为Y的协方差矩阵(covariance matrix)，Σ， 由下式确定：
正态分别概率密度函数的定义与性质 多元正态概率模型的Bayes判别函数
§2.4 概率密度函数的估计 §2.5 Bayes分类器的错误概率
武汉大学遥感信息工程学院 马洪超
模式识别导论
如果模式表现为具有确定性特征，在特征 空间中各类互不重叠，那么可以用线性判 别函数（广义线性）
但事实上并不完全是这样，许多观测结果 具有不确定性，这时用概率法则。如图
均值和方差(mean and variance)
px 是随机变量x的概率密度函数
武汉大学遥感信息工程学院 马洪超
模式识别导论
它的均值和方差分别定义为
Ex xpxdx
2
x
2
Ex pxdx
统计独立性(statistical independence)
设有两个（或多个）随机变量x、y当且仅当下
模式识别导论
模式识别第二讲：
Bayes决策理论
武汉大学遥感信息工程学院 马洪超
模式识别导论
§2.1 基于最小错误率的Bayes判别法 §2.2 基于Bayes判别的几种判别规则
基于最小风险的Bayes决策 Neyman-pearson决策 最小最大决策 序贯分类决策
§2.3 正态分布模式的统计决策
称为误差函数
设有随机变量 Y X 其中X服从标准正态
分布，则变换公式（这时都是一元变量），得到
一般正态分布的概率密度表达式
py
1
exp
1
x
2
2 2
武汉大学遥感信息工程学院 马洪超
模式识别导论
设随机向量X由 p个随机变量
X
1
,
X
2
X
p
组成，它们是是独立同分布的，且都服从标准
正态分布，那么这p个随机变量的联合概率密度
PB | Ai 为 Ai 出现的条件下，事件B出现的概率，
武汉大学遥感信息工程学院 马洪超
模式识别导论
即条件概率，由下式定义：
PB
|
A
PB, A PA
PB, A是两个事件A和B同时出现的联合概率
需要注意的是，虽然说事件B是任意的，但事实 上，从全概率公式可以看出，它和事件 Ai
中的某个或某几个或全部是有联系的，这种联 系就是：Ai中的某个或某几个或全部都出现的话， B必定出现，否则，P(B）为0
A
标准正态分布的均值为零，方差为1，其概率 密度函数的数学表达式
px
1
2
exp
x2
2
x
武汉大学遥感信息工程学院 马洪超
模式识别导论
分布函数则由下式求得：
PX
pxXBiblioteka Xpxdx1
2
X exp
1 2
x 2 dx
1 2
1 2
erf
X
2
式中 erf X
2
x exp x2 dx 0
一元正态分布
多元正态分布
武汉大学遥感信息工程学院 马洪超
模式识别导论
首先我们介绍一个在推导多元正态分布时 有用的公式。设有一组随机变量
x1, x2 x p
用随机向量x来表示，把它通过某种变换 g变换到随机向量y后，概率密度函数是 怎么变化的呢？设变换是按照式y＝g（x） 进行的，式中，g＝（g1，g2，…，gp）T， 那么y和x的概率密度函数由如下关系：
均值为：
1 n
y n i1 yi 样本均值和总体均值一般是不相同的，但样本 均值是总体均值的很好近似：
E y , var y 2 n , 2是随机变量y的方差
武汉大学遥感信息工程学院 马洪超
模式识别导论
§2.1 基于最小错误率的Bayes决策 一、两类问题 例如：细胞识别问题。设ω1正常细胞，ω2 异常细胞。某地区经大量统计获先验概率
E y μy μT AAT
所以
py
2
1
p/2
1/ 2
exp
1 2
y
μT
1 y
μ
武汉大学遥感信息工程学院 马洪超
模式识别导论
上式即为多元正态分布(multivariable normal distribution)的概率密度函数
样本均值：一个随机变量经过n次观测，获得
观测数据y1,y2,……yn，这n个观测数据的样本
P(ω1),P(ω2)。若取该地区某人细胞，问
属何种细胞 ，此时只能由先验概率决定。
P(1 ) P(1 )
P ( 2 P ( 2
), ),
x x
1 2
这种分类器意义不大
武汉大学遥感信息工程学院 马洪超
模式识别导论
不过一般总是不止这么一点信息的。假设我 们对细胞的某个特征x进行了测量，它具有概
式成立时
px, y px xpy y
称x和y是统计独立的，这时容易证明
Exy ExEy
武汉大学遥感信息工程学院 马洪超
模式识别导论
正态分布(normal distribution) 正态分布是最常见和常用的分布形式。由于 中心极限定理(central limited theorem)所表 述的事实，使得正态分布最具实用意义
▼▼
▼ ▼▼
▼
□□□□□
□ □
▽ ▽▽ ▽
▽
武汉大学遥感信息工程学院 马洪超
模式识别导论
全概率（total probability）和Bayes规则
设有M个事件 Ai ,i 1,2,M 由基础概率论可知
M
PAi 1
i 1
于是，对于任意一个事件B，它的概率由下式 确定（全概率公式）：
M
PB PB | Ai PAi i 1
由条件概率的定义得到
PB | APA PA | BPB
武汉大学遥感信息工程学院 马洪超
模式识别导论
变换一下，再利用全概率公式：
PA
|
B
PB | APA PB
PB | APA
M
PB | Ai PAi
i 1
上面的公式很容易扩展到随机变量（random variable），这时事件的概率应该变成是随机 变量的概率密度函数
武汉大学遥感信息工程学院 马洪超
模式识别导论
py y
px x
J
其中，|J|是雅可比行列式的绝对值：
g1 g1
x1
J x1, x2 ,, x p
g p
x p
g p
x1
x p
武汉大学遥感信息工程学院 马洪超
模式识别导论
一个最简单的变换是线性变换，即 y Ax B
py y
px
A 1y B