第六章 判 别 分 析判别分析就是在已知要判别的类型和数目的情况下，根据样品的各种特性来判断该样品属于哪一种类型。

用统计语言来说，就是已知k 个总体12,,,k πππ，它们的分布函数分别为12(),(),,()k F x F x F x ，其中)(x F i 为m 维分布函数，k i ≤≤1，对给定的一个样品，要判断它来自哪个总体。

Discriminate analysis第六章判别分析贝叶斯判别费歇判别距离判别§1 贝叶斯（Bayes ）判别Bayes 判别分析的标志是：凡用到先验概率（信息）的方法统称为Bayes 判别分析。

损失函数：已知)(x p i 为总体i π的密度函数，样品来自i π的先验概率为i q ，属于j π被误判为i π的损失称为损失函数，记作)|(j i C 。

希望所给的准则误判概率越小越好，更确切的说，误判带来的平均损失越小越好。

显然，平均损失最小的准则是最优的，贝叶斯判别恰恰是这样一种准则。

一、两个总体判别设1π、2π为两个m 维总体，其分布密度分别为)(1x p 、)(2x p 。

),,(21'=m x x x x 一样品，它只可能来自1π和2π，且来自1π的概率为1q ,且来自2π的概率为2q （1q +2q =1）。

1q 、2q 通常称为先验概率。

为了判断),,(21'=m x x x x 属于哪个总体，我们按某种方式将m 维空间m R 分成两部分1R 和2R ，且m R R R =21 ，φ=21R R ，记),(21R R =R 为空间mR 的一个分划（有时也称为判别）。

即},|,{212121φ===R R R R R R R R mm由R 规定的判别准则如下：如果x 落在1R 内，则判其来自总体1π； 如果x 落在2R 内，则判其来自总体2π。

给定分划的损失函数及平均损失设)2|1(C 为样品x 来自总体2π而误判为总体1π的损失，这一误判的概率记为),2|1(R P ， 其中R ),(21R R =； )1|2(C 为样品x 来自总体1π而误判为总体2π的损失，误判的概率记为),1|2(R P 。

于是有 ),1|2(R P ⎰=2)(1R d P x x （6-1）),2|1(R P ⎰=1)(2R d P x x （6-2）积分（6-1）、（6-2）为m 重积分。

1π 2πoλo 判别R ),(21R R =的平均损失定义为)1|2(),(121C q R R g =),1|2(R P +2q )2|1(C ),2|1(R P （6-3） 所谓Bayes 判别就是使平均损失),(21R R g 达最小的判别。

定理6-1 使平均损失),(21R R g 达最小的Bayes 判别为⎭⎬⎫⎩⎨⎧≥=12211)1|2()2|1()()(:q C q C P P R x x x ⎭⎬⎫⎩⎨⎧<=12212)1|2()2|1()()(:q C q C P P R x x x （6-4） 证明：设),(21R R =R 由（6-4）给出，),(*2*1*R R =R 为m R 的任一划分，即 m R R R =*2*1 ，φ=*2*1R R 。

)1|2(),(121C q R R g =),1|2(R P +2q )2|1(C ,2|1(P )R)1|2(1C q =⎰2)(1R d P x x +2q )2|1(C ⎰1)(2R d P xx)1|2(),(121C q R R g =⎰2)(1R d P x x +2q )2|1(C ⎰1)(2R d P x x )1|2(1C q =))()((*12*2211⎰⎰+R R R R d P d P x x x x +2q )2|1(C ))()((*11*2122⎰⎰+R R R R d P d P x x x x 同理 )1|2(),(1*2*1C q R R g =))()((1*22*211⎰⎰+R R R R d P d P x x x x +2q )2|1(C ))()((1*12*122⎰⎰+R R R R d P d P x x x x 于是),(),(*2*121R R g R R g -⎰-=2*1))()2|1()()1|2((2211R R d P C q P C q x x x ⎰-+1*2))()1|2()()2|1((1122R R d P C q P C q xx x由式（6-4）知，2q )2|1(C -)(2x P 0)()1|2(11≤x P C q ，当1R x ∈； 0)()2|1()()1|2(2211≤-x x P C q P C q ， 当2R x ∈。

因此0),(),(*2*121≤-R R g R R g ，即),(),(*2*121R R g R R g ≤，故),(21R R R =为贝叶斯判别。

在实际问题中，损失)1|2(C 、)2|1(C 往往不容易给出，这时常取=)1|2(C 1)2|1(=C 。

推论6-1 如果1)1|2(=C ，1)2|1(=C 则贝叶斯判别为)}()(:{22111x x x P q P q R ≥=)}()(:{22112x x x P q P q R <= （6-5）将（6-4）、（6-5）所规定的判别准则修改为 ⎪⎪⎪⎩⎪⎪⎪⎨⎧=<∈>∈12211221212211)1|2()2|1()()(,)1|2()2|1()()(,)1|2()2|1()()(,q C q C P P q C q C P P q C q C P P x x x x x x x x 如果待判如果如果ππ （6-6） ⎪⎩⎪⎨⎧=<∈>∈)()(,)()(,)()(,22112211222111x P q P q x P q P q x P q P q x x x x x 如果待判如果如果ππ （6-7）如果1)1|2(=C ，1)2|1(=C ，且不考虑先验概率，则有⎪⎩⎪⎨⎧=<∈>∈)()(,)()(,)()(,21212211x P P x P P x P P x x x x x 如果待判如果如果ππ例6-1设2,1==k m ，)1,0(~1N X ，)2,3(~22N X ，试就1)1|2(=C ，1)2|1(=C ，且不考虑先验概率的情况下判别样品2，1属于哪个总体，并求出),(21R R R =。

例6-1设2,1==k m ，)1,0(~1N X ，)2,3(~22N X ，试就1)1|2(=C ，1)2|1(=C ，且不考虑先验概率的情况下判别样品2，1属于哪个总体，并求出),(21R R R =。

解：}/)(21ex p{21)(22i i i i x x p σμσπ--= 2,1=i ，054.021})02(21ex p{21)2(221==--=-e p ππ176.0221}4/)32(21ex p{221)2(8/122==--=-e p ππ由于)2()2(21p p <，所以2属于2π； 242.021})01(21ex p{21)1(2/121==--=-e p ππ 120.0221}4/)31(21ex p{221)1(2/122==--=-e p ππ)1()1(21p p >，所以1属于1π。

由}21ex p{21)(21x x p -=π}2/)3(21ex p{221)(222--==x x p π即 )}96(81ex p{}21ex p{222+--=-x x x )96(81212ln 22+--=-x x x 解得42.11=x ，41.32-=x ， 所以([ 3.41,1.42],(, 3.41)(1.42.))R =--∞-+∞。

例6-2 已知1π，2π的先验概率分别为531=q ，522=q ，1)1|2(=C ，1)2|1(=C ，且 ⎪⎩⎪⎨⎧≤<-≤<==其它,021,210,)(11x x x x x p f⎪⎩⎪⎨⎧≤<-≤<-==其它,053,4/)5(31,4/)1()(22x x x x x p f试判别591=x ，22=x 所属的总体。

)(1x p )(2x po 1 2 3 4 5 x解： 5/15/92)5/9(1=-=p ⎪⎩⎪⎨⎧≤<-≤<==其它,021,210,)(11x x x x x p f ⎪⎩⎪⎨⎧≤<-≤<-==其它,053,4/)5(31,4/)1()(22x x x x x p f 5/14/)159()5/9(2=-=p 252515225351532211=⨯=>=⨯=p q p q 所以判591=x 属于1π。

同理判22=x 属于2π。

022)2(1=-=p 4/14/)12()2(2=-=p 101415202211=⨯=<=p q p q二、多个总体判别 设12,,k πππ为k 个总体，具有m 维分布密度12(),(),,()k p p p x x x ，12(,,,)m x x x '=x 为一个样品，它只可能来自12,,k πππ，且来自i π的概率为i q ，即先验概率为k q q q ,,,21 （11=∑=ki i q ）。

给定m R 的一个划分R ),,,(21k R R R =，即m k i i RR 1==，),,2,1,,(k j i j i R R j i =≠=φ， 由R 规定的判别准则如下：i π∈x ，如果x 落在i R 内（k i ,,2,1 =）。

设)|(i j C 为样品x 来自总体i π而误判为总体j π的损失，这一误判的概率记为),|(R i j P ，),,2,1,,(k j i j i =≠。

规定0)|(=i i C ，于是有),|(R i j P ⎰=jR i d P x x )(),,2,1,,(k j i j i =≠ （6-8）积分（6-8）为m 重积分。

样品x 来自总体i π而被判属为i π的概率为 ),|(R i i P ⎰=iR i d P x x )(，),,2,1(k i = （6-9）判别R ),,,(21k R R R =的平均损失定义为∑∑===kj k i i k i j P i j C q R R R g 1121),|()|(),,,(R （6-10）使),,,(21k R R R g 达最小的判别称为Bayes 判别。

定理6-2 使),,,(21k R R R g 达最小的Bayes 判别为(){:()(),,1,2,,}i i j R h h j i j k =<≠=x x x x 1,2,,i k = （6-11） 其中，∑==ki i i j P i j C q h 1)()|()(x x （6-12）证明：xx d h k j R j j )(1∑⎰==∑⎰∑===kj R i k i i k j d P i j C q R R R g 1121)()|(),,,(xx ∑∑⎰===k i i i k j R d P i j C q j 11)()|(x x如果空间m R 有另一个划分),,,(**2*1*k R R R =R 则它的平均损失为),,,(**2*1k R R R g x x d h k j R j j )(1*∑⎰==-),,,(21k R R R g ),,,(**2*1k R R R g x x d h ki R i i )(1∑⎰==xx d h kj R j j )(1*∑⎰=-x x d h k i k j R R i j i )(11*∑∑⎰===x x d h k i k j R R j ji )(11*∑∑⎰==-x x x d h h j k i k j R R i j i ))()((11*-=∑∑⎰==由（6-11），在i R 上，)()(x x j i h h ≤对一切j 成立，故-),,,(21k R R R g 0),,,(**2*1≤k R R R g 即 ≤),,,(21k R R R g ),,,(**2*1k R R R g 所以R ),,,(21k R R R =为Bayes 判别。