N
p(xk | θ) k 1
对数似然函数：
N
H (θ) ln p(xk | θ)
k 1
1
最大似然估计量使似然函数梯度为0 ：
N
θH (θ) |ˆML θ ln p( xk | θ) |ˆML 0 k 1
T
θ
1
...
s
1 一元正态分布
p( xk | 1 ,2 2 )
1 exp( ( xk 1)2 )
1
贝叶斯估计步骤
确定θ的先验分布p(θ) 由样本集K={x1, x2 ,…, xN}求出样本联合分布 利用贝叶斯公式，求出θ的后验分布p(θ|K) 求出贝叶斯估计量（损失函数为二次函数）：
ˆBEθ^ E[ | x]
p( | x)d
1
非参数估计
参数估计方法要求已知总体的分布形式，然而很多实际问题并不 知道总体分布形式，或总体分布不是一些通常遇到的典型分布，不 能写成某些参数的函数。在这些情况下，为了设计贝叶斯分类器， 仍然需要总体分布的知识，于是提出了某些直接用样本来估计总体 分布的方法，称之为估计分布的非参数法。
1
uj
11／,2j，j=11,,22,3,…..., d 2
0 其他 otherwise
超立方体内样本数：
kN
N ( x xi )
i 1
hN
某点概率密度p(x)的估计：
pˆ N (x)
1 N
N 1 ( x xi )
V i1 N
hN
1
窗函数的选择
窗函数需满足两个条件：
几种常用的窗函数： 方窗函数 正态窗函数 指数窗函数
22
22
ln
p( xk
| 1,2 )
1 2
ln(22 )
1
22
( xk
1)2
1
N
θH (θ) |ˆML θ ln p( xk | θ) |ˆML 0 k 1
1
ln
p( xk
| 1,2 )
1
2
( xk
1)
代 入 2 l前 n p式 (, x得 k | 1,2 )
1
22
( xk 1)2 222
lim P(ˆ ) 0
N
1 本章小结
应用统计决策理论设计分类器，当概率密度函数未知时，首先要对它进行 估计，这就将模式识别问题转化为概率密度函数估计问题，如果这个估计问 题可以很好的解决，则模式识别相应得到解决。
两种主要非参数估计方法： Parzen窗法 kN-近邻法
1
基本方法
估计的目的：从样本集K= {x1, x2,…, xN}估计样本空间中任何一点的 概率密度p(x)
基本方法：用某种函数表示某一样本对待估计的密度函数的贡献，所有 样本所作贡献的线性组合视作对某点概率密度p(x)的估计
1
基本思想
pˆ N (x)
先验概率P(wj)
参数估计问题： 样本集K 估计量s^
真实参数s
参数空间S是连续空间
参数的先验分布p(s)
1
贝叶斯（最小风险）估计
参数估计的条件风险：给定x条件下，估计量的期望损失
R(ˆ | x) (ˆ, )p( | x)d
参数估计的风险：估计量的条件风险的期望
R R(ˆ | x)p(x)dx Ed
(u) 0
(u)du 1
1
kN-近邻法
均匀窗函数Parzen估计，窗宽固定，不同位置落在窗内的样本点的数目 是变化的。
kN-近邻估计：把窗扩大到刚好覆盖kN个点，落在窗内的样本点的数目 固定，窗宽是变化的。
提高了分辨率。
概率密度估计表达式：点x处窗的“体积”是VN：
pˆ N
(x)
1 VN
3
1
最大似然估计
样本集可按类别分开，不同类别的密度函数的参数分别用各类的样本集 来训练（独立）。
类条件概率密度函数的形式已知，参数未知，为了描述概率密度函数 p(x|ωi)与参数θ的依赖关系，用p(x|ωi,θ)表示。
估计的参数θ是确定（非随机）而未知的量。
1
最大似然估计
似然函数：
l(θ) p(K | θ) p(x1, x2,..., xN | θ)
（2）对于未设计好的分类器，需将样本分成两个部分，即分为设计集和 检验集，分别用以设计分类器和估计错误率，用来设计分类器的样本集 称为设计集。
1 估计量的评价标准
估计量的评价标准：无偏性，有效性，一致性 无偏性：E(θ^)=θ 有效性：D(θ^)小，更有效 一致性：样本数趋于无穷时， 依概率趋于θ：
概率密度函数的估计
监督参数估计 非监督参数估计 非参数估计
2
参数估计：概率密度函数的形式已知，而表征函数的参数未知，通 过训练数据来估计。 最大似然估计 Bayes估计
非参数估计：总体概率密度函数的形式未知，样本所属类别已知， 利用训练数据直接对概率密度进行推断。 Parzen窗法 kn-近邻法
P(k ) N
VN
kN / N VN
pˆ N (x)收敛于p( x)的条件：
(1)
lim
N
VN
0
(2)
lim
N
k
N
(3) lim kN 0 N N
1
Parzen窗法
样本集KN= {x1, x2,…, xN} 区域RN是一个d维超立方体，棱长hN，体积VN= hNd 定义窗函数：
(u)
概率密度函数的估 计
1
概率密度函数的估计
在上一章贝叶斯决策理论中，已经讲述了设计贝叶斯分类器的方法，即 在先验概率P(wj)和类条件概率密度p(x|ωi)已知的情况下，按一定的决策 规则确定判别函数和决策面。但在实际问题中，类条件概率密度常常是 未知的。
利用样本集设计分类器：第一步，利用样本集估计P(wj)和p(x|ωi)，分别 记为P^(wj)和p^(x|ωi) 。第二步，再将估计量带入上一章所讲贝叶斯决策 规则中，完成分类器设计。这一过程称为基于样本的两步贝叶斯决策。
kN N
1 关于分类器错误率的估计问题
在上一章中讨论了错误率的计算问题，并指出实际计算中的困难，只 有在某些特定的情况下才能得到较为满意的结果，因此在处理实际问题 时，更多的依赖于实验，即利用样本来估计错误率，这可以分为两种情 况：
（1）对于已设计好的分类器，利用样本来估计错误率。这种只用来估计 分类器错误率
1 N
N
xk
k 1
ˆ 2MσL^ ²
1 N
N
( xk
k 1
ˆ )2
1
多元正态分布参数最大似然估计
均值向量形式同一元正太分布
协方差矩阵的最大似然估计为：
ˆ
1 N
N
(xk
k 1
μˆ )(xk
μˆ )T
1 贝叶斯决策与贝叶斯估计对比
决策问题: 样本x
决策ai 真实状态wj 状态空间A是离散空间