当前位置:文档之家› 模式识别课后习题答案

模式识别课后习题答案

2 ,证明 再假设m的边缘分布是正态分布,期望值是m0 ,方差是σm [ ( ) ] 1 2 2 x + m σ2 2 (σ 3 + σm ) 2 1 σ 2 + σm σm 0 p(m|x) = exp − m− 1 2σ2 2 + σ2 2 σ σ 2 m m (2π ) σσm
1
5
模式识别(第二版)习题解答
证明: p(m|x) = p(x|m)p(m) p(x) p(x|m)p(m) =∫ p(x|m)p(m)dm { { } } 1 1 2 2 (2π ) 2 −1 exp − 1 (m − m )2 /σ 2 (2π ) 2 σ −1 exp − 1 σm 0 m 2 (x − m) /σ 2 =∫ } } { 1 { 1 1 −1 2 2 (2π ) 2 σ −1 exp − 2 (x − m)2 /σ 2 (2π ) 2 σm exp − 1 2 ( m − m 0 ) / σm d m [ ( ) ] 1 2 2 x + m σ2 2 (σ 3 + σm ) 2 σm 1 σ 2 + σm 0 = m− exp − 1 2 2 2 σ 2 σm σ 2 + σm (2π ) 2 σσm
• 2.13 把连续情况的最小错误率贝叶斯决策推广到离散情况,并写出其判别函数。 • 2.14 写出离散情况条件风险R(ai |x)的定义,并指出其决策规则。 解: R(ai |x) = = R(ak |x) = min
c ∑ j =1 c ∑ j =1
λij P (wj |x) λij p(x|wj )P (wj )////omit the same part p(x)
j =1,...,c j =1,...,c
考虑两类问题的分类决策面为:P (w1 |x) = P (w2 |x),与p(x|w1 )P (w1 ) = p(x|w2 )P (w2 ) 是相同的。 • 2.9 写出两类和多类情况下最小风险贝叶斯决策判别函数和决策面方程。 • 2.10 随机变量l(x)定义为l(x) = p(x|w1 ) ,l(x)又称为似然比,试证明 p(x|w2 )
p(x|w2 )dx =
R2
p(x|w1 )dx
所以此时最小最大决策面使得P1 (e) = P2 (e) • 2.8 对于同一个决策规则判别函数可定义成不同形式,从而有不同的决策面方程,指出 决策区域是不变的。
3
模式识别(第二版)习题解答
解: 对于同一决策规则(如最小错误率贝叶斯决策规则) ,它的判别函数可以是j ∗ = ∗ max P (wj |x),则x ∈ wj ∗ 。另外一种形式为j = max p(x|wj )P (wj ),则x ∈ wj ∗ 。
λ1j P (wj |x)
= λ11 P (w1 |x) + λ12 P (w2 |x) R(α2 |x) =
2 ∑ j =1
λ2j P (wj |x)
= λ21 P (w1 |x) + λ22 P (w2 |x) 如果R(α1 |x) < R(α2 |x),则x ∈ w1 。 λ11 P (w1 |x) + λ12 P (w2 |x) < λ21 P (w1 |x) + λ22 P (w2 |x) (λ21 − λ11 )P (w1 |x) > (λ12 − λ22 )P (w2 |x) (λ21 − λ11 )P (w1 )p(x|w1 ) > (λ12 − λ22 )P (w2 )p(x|w2 ) p(x|w1 ) (λ12 − λ22 )P (w2 ) > p(x|w2 ) (λ21 − λ11 )P (w1 ) 所以,如果 p(x|w1 ) (λ12 − λ22 )P (w2 ) > ,则x ∈ w1 。反之则x ∈ w2 。 p(x|w2 ) (λ21 − λ11 )P (w1 )
• 2.4 分别写出在以下两种情况 1. P (x|w1 ) = P (x|w2 ) 2. P (w1 ) = P (w2 ) 下的最小错误率贝叶斯决策规则。 解: 当P (x|w1 ) = P (x|w2 )时,如果P (w1 ) > P (w2 ),则x ∈ w1 ,否则x ∈ w2 。 当P (w1 ) = P (w2 )时,如果P (x|w1 ) > P (x|w2 ),则x ∈ w1 ,否则x ∈ w2 。 • 2.5 1. 对c类情况推广最小错误率率贝叶斯决策规则; 2. 指出此时使错误率最小等价于后验概率最大,即P (wi |x) > P (wj |x) 对一切j ̸= i 成立时,x ∈ wi 。 2
h11 h12 · · · h12 h22 · · · = . . .. . . . . . h1d h2d · · ·
d d ∑ ∑ i=1 j =1
γ2 =
hij (xi − ui )(xj − uj )
证明: h11 h12 · · · h12 h22 · · · γ 2 = (x − u)T . . .. . . . . . h1d h2d · · · =
– (1) E {ln (x)|w1 } = E {ln+1 (x)|w2 } – (2) E {l(x)|w2 } = 1 – (3) E {l(x)|w1 } − E 2 {l(x)|w2 } = var{l(x)|w2 }(教材中题目有问题) ∫ ∫ (p(x|w1 ))n+1 n n 证明: 对于(1),E {l (x)|w1 } = l (x)p(x|w1 )dx = dx 又E {ln+1 (x)|w2 } = (p(x|w2 ))n ∫ ∫ (p(x|w1 ))n+1 n+1 l p(x|w2 )dx = dx 所以,E {ln (x)|w1 } = E {ln+1 (x)|w2 } (p(x|w2 ))n ∫ ∫ 对于(2),E {l(x)|w2 } = l(x)p(x|w2 )dx = p(x|w1 )dx = 1 对于(3),E {l(x)|w1 } − E 2 {l(x)|w2 } = E {l2 (x)|w2 } − E 2 {l(x)|w2 } = var{l(x)|w2 } • 2.11 xj (j = 1, 2, ..., n)为n个独立随机变量,有E [xj |wi ] = ijη ,var[xj |wi ] = i2 j 2 σ 2 ,计 算在λ11 = λ22 = 0 及λ12 = λ21 = 1的情况下,由贝叶斯决策引起的错误率。 (中心极限 定理) 解: 在0 − 1损失下,最小风险贝叶斯决策与最小错误率贝叶斯决策等价。 • 2.12 写出离散形式的贝叶斯公式。 解: P (wi |x) = ∑c P (x|wi )P (x) j =1 P (x|wi )P (wi )
• 2.7 若λ11 = λ22 = 0, λ12 = λ21 ,证明此时最小最大决策面是来自两类的错误率相等。 解: 最小最大决策时满足 ∫ (λ11 − λ22 ) + (λ21 − λ11 ) 容易得到 ∫
R1 R2
∫ p(x|w1 )dx − (λ12 − λ22 ) ∫
R1
p(x|w2 )dx = 0
d d ∑ ∑ i=1 j =1

h1d h2d (x − u) . . . hdd
hij (xi − ui )(xjห้องสมุดไป่ตู้− uj )
• 2.18 分别对于d = 2, d = 3证明对应与Mahalanobis距离γ 的超椭球体积是V = Vd |Σ| 2 γ d • 2.19 假定x和m是两个随机变量,并设在给定m时,x的条件密度为 } { 1 1 −1 2 2 2 p(x|m) = (2π ) σ exp − (x − m) /σ 2
模式识别(第二版)习题解答
解:对于c类情况,最小错误率贝叶斯决策规则为: 如果 P (wi |x) = max P (wj |x),则x ∈ wi 。利用贝叶斯定理可以将其写成先验概率和
j =1,...,c
类条件概率相联系的形式,即 如果 p(x|wi )P (wi ) = max p(x|wj )P (wj ),则x ∈ wi 。
j =1,2,...,N
R(aj |x),则ak 就是最小风险贝叶斯决策。
• 2.15 证明多元正态分布的等密度点轨迹是一个超椭球面,且其主轴方向由Σ的特征向量 决定,轴长度由Σ的特征值决定。 证明:多元正态分布的等密度点满足:xT Σ−1 x = C ,C 为常数。 4
模式识别(第二版)习题解答
• 2.20 对Σi = σ 2 I 的特殊情况,证明 – (1) 若P (wi ) ̸= P (wj ),则超平面靠近先验概率较小的类; – (2) 在甚么情况下,先验概率对超平面的位置影响不大。 1 证明: (1)当P (wi ) = P (wj )时,超平面经过x0 = (ui + uj ),则对于先验概率较小的类 2 属于它的区域会减少,所以超平面经过的点会靠近先验概率较小的类。 (可以这样理 解,具体证明也很简单) (2)?不知道这是什么问题,先验概率不管在什么时候都很重要! • 2.21 对Σi = Σ的特殊情况,指出在先验概率不等时,决策面沿ui 点与uj 点连线向先验 概率小的方向移动。 证明: 同上面一题解释一样。 • 2.24 似然比决策准则为:若 • 2.23 二维正态分布,u1 = (−1, 0)T , u2 = (1, 0)T , Σ1 = Σ2 = I, P (w1 ) = P (w2 )。试写出 对数似然比决策规则。 解: h(x) = − ln [l(x)] = − ln p(x|w1 ) + ln p(x|w2 ) 1 1 |Σ1 | 1 1 T −1 = (x1 − u1 )T Σ− ln 1 (x1 − u1 ) − (x2 − u2 ) Σ2 (x2 − u2 ) + 2 2 2 |Σ2 | ] 1[ = (x − u1 )T (x − u1 ) − (x − u2 )T (x − u2 ) 2 [ ] P (w1 ) T T 而,ln P (w2 ) = 0。所以判别规则为当(x − u1 ) (x − u1 ) > (x − u2 ) (x − u2 )则x ∈ w1 ,反 之则s ∈ w2 。即将x判给离它最近的ui 的那个类。 [ ] [ 1 1 1 2 • 2.24 在习题2.23中若Σ1 ̸= Σ2 ,Σ1 = 1 , Σ2 = −1 2 1 2 策规则。 ] −1 2 ,写出负对数似然比决 1
相关主题