得证。 3、使用最小最大损失判决规则的错分概率是最小吗？为什么？
答：不是最小的。首先要明确当我们谈到最小最大损失判决规则时，先验概率是未知的， 而先验概率的变化会导致错分概率变化， 故错分概率也是一个变量。 使用最小最大损 失判决规则的目的就是保证在先验概率任意变化导致错分概率变化时， 错分概率的最 坏（即最大）情况在所有判决规则中是最好的（即最小）。 4、 若 λ11 = λ22 =0， λ12 = λ21 ，证明此时最小最大决策面是来自两类的错误率相等。 证明：最小最大决策面满足 （ λ11 - λ22 ）+（ λ21 - λ11 ） 容易得到
λ11 P(ω1 | x) + λ12 P(ω2 | x) < λ21 P(ω1 | x) + λ22 P(ω2 | x) ( λ21 - λ11 ) P (ω1 | x) >( λ12 - λ22 ) P (ω2 | x) ( λ21 - λ11 ) P (ω1 ) P ( x | ω1 ) >( λ12 - λ22 ) P (ω2 ) P ( x | ω2 ) p( x | ω1 ) (λ 12 − λ 22) P(ω2 ) > 即 p( x | ω2 ) ( λ 21 − λ 11) P (ω1 )
6、设总体分布密度为 N( μ ，1)，-∞< μ <+∞,并设 X={ x1 ， x2 ，… xN }，分别用最大似然 估计和贝叶斯估计计算 μ 。已知 μ 的先验分布 p（ μ ）～N（0,1）。 解：似然函数为：
∧Байду номын сангаас
L（ μ ）=lnp(X|u)=
∑ ln p( xi | u) = −
i =1
N
模式识别第三章作业及其解答
1、已知两个一维模式类别的类概率密度函数为 ⎧ x 0≤x<1 p(x|ω1)=⎨ 2-x 1≤x≤2 ⎩ 0 其它 ⎧ x−1 1≤x<2 p(x|ω2)=⎨ 3-x 2≤x≤3 ⎩ 0 其它 先验概率 P(ω1)=0.6，P(ω2)=0.4， （1）求 0-1 代价 Bayes 判决函数； （2）求总错误概率 P(e)； （3）判断样本{x1=1.35,x2=1.45,x3=1.55,x4=1.65}各属于哪一类别。 解：（1）Bayes 判决函数如下： P(ω1)P(ω1/x)> P(ω2)P(ω2/x) ① ==> x∈ω1 P(ω2)P(ω2/x)> P(ω1)P(ω1/x) ② ==> x∈ω2 分情况讨论后判决规则如下： 当 0<x<1.6 时，x∈ω1 当 1.6<x<3 时，x∈ω2 其它情况拒判或任意判决 （ （2） P(e)= P(ω1)P1(e)+ P(ω2)P2(e)=0.6* （3）由（1）中结果 x1、x2、x3∈ω1 ；x4∈ω2
2
∑x +σ
i =1 i
N
μ0 ⎞
⎤ ⎥ μ ] ⎟ 2 ⎥ 0 ⎠ ⎦
将 p（ μ |X）写成 N( μ n ， σ n )的形式，利用待定系数法，可以求得：
1
σ
2 n
=
N
σ
2
+
1
σ 02 μ0
2 0
μn 1 = 2 2 σn σ
进一步求得 μ n 和 σ n
2
∑x +σ
i =1 i
N
μn =
2 Nσ 0 σ2 m + μ0 N 2 2 +σ 2 Nσ 0 +σ 2 Nσ 0
R (α1 | x) = ∑ λ1 j P (ω j | x) = λ11 P (ω1 | x) + λ12 P(ω2 | x) R (α 2 | x) = ∑ λ2 j P(ω j | x) = λ21 P(ω1 | x) + λ22 P(ω2 | x)
j =1
2
如果 R (α1 | x) < R (α 2 | x) ，则 x∈ω1
2 σn =
σ 02σ 2 2 Nσ 0 +σ 2
其中， mN =
1 N
∑x ，μ
i =1 i
N
n
就是贝叶斯估计。
7 略
=α
∏ p( x | μ ) p( μ )
i =1 i
N
=α
∏
i =1
N
⎡ 1 ⎢ exp ⎢ − 2πσ ⎢ ⎣
( xi − μ )
2σ
2
2
⎤ ⎡ 1 ⎥ ⎢ ⎥ • 2πσ exp ⎢ − 0 ⎥ ⎢ ⎦ ⎣
( μ − μ0 ) ⎤⎥ ⎥ 2σ ⎥ 0 ⎦
2 2
= α exp ⎢ − [⎜
''
⎡ 1 ⎛ N ⎛ 1 1 ⎞ 2 μ + − 2 ⎟ ⎜ 2 2 σ 02 ⎟ 2 ⎜ ⎢ ⎝σ σ ⎝ ⎠ ⎣
2 1 N +C ( x − μ ) ∑ 2 i =1 i
似然函数 μ 求导
∂L( μ ) N = ∑ x -N μ =0 i ∂μ i =1
∧
所以 μ 的最大似然估计： μ =
1 N
∑ xi
i =1
N
贝叶斯估计： p（ μ |X）=
p( X | μ ) p( μ )
∫ p( X | μ ) p(μ )du
∫
Ω2
p( x | ω1 )dx -（ λ12 - λ22 ） ∫ p( x | ω2 )dx =0
Ω1
∫
Ω1
p( x | ω2 )dx = ∫ p( x | ω1 )dx
Ω2
所以此时 P1(e)=P2(e) 5、二维正态分布， μ1 =
= 1,0）， Σ = Σ （-1,0）， μ （
2 1
T
T
2
=
1 [ (x 2
− μ1)
T
( x − μ1 ) - ( x
− μ2 )
T
( x − μ2 ) ]
而 ln
| P(ω1 ) | =0。 | P(ω2 ) |
所以判别规则为当
( x − μ1)
T
( x − μ1 ) > ( x
− μ2 )
T
( x − μ2 ) ,则 x∈ω1；反
之，则 x∈ω2。即将 x 判给离它最近的 μi 的那个类。 将数值代入计算即可。
∫
2
1.6
(2 − x)dx ） +0.4* （ ∫ ( x − 1) dx ） =0.12
1
1.6
2、对两类问题，证明最小风险贝叶斯决策规则可表示为，若
则 x∈ω1, 反之 x∈ω2 解：计算条件风险
2
j =1
p ( x | w1 ) (λ 12 − λ 22) P( w2 ) > p ( x | w2 ) ( λ 21 − λ 11) P ( w1 )
=I，P(ω1)=P(ω2)。试写出对
数似然比决策规则。 解：h(x)=-ln[l(x)]=-ln p ( x | ω1 ) +ln p ( x | ω2 ) =
1 2
( x1 − μ1) Σ
T
−1
1
( x1 − μ1 ) -
1 2
( x2 − μ2 ) Σ
T
−1
2
1 |Σ | ( x2 − μ2 ) + ln 1 2 | Σ2 |