第四章判别分析4.1 简述欧几里得距离与马氏距离的区别和联系。

答：设p维欧几里得空间中的两点X=和Y=。

则欧几里得距离为。

欧几里得距离的局限有①在多元数据分析中，其度量不合理。

②会受到实际问题中量纲的影响。

设X,Y是来自均值向量为，协方差为的总体G中的p维样本。

则马氏距离为D(X,Y)=。

当即单位阵时，D(X,Y)==即欧几里得距离。

因此，在一定程度上，欧几里得距离是马氏距离的特殊情况，马氏距离是欧几里得距离的推广。

4.2 试述判别分析的实质。

答：判别分析就是希望利用已经测得的变量数据，找出一种判别函数，使得这一函数具有某种最优性质，能把属于不同类别的样本点尽可能地区别开来。

设R1，R2，…，Rk 是p 维空间R p 的k 个子集，如果它们互不相交，且它们的和集为，则称为的一个划分。

判别分析问题实质上就是在某种意义上，以最优的性质对p 维空间构造一个“划分”，这个“划分”就构成了一个判别规则。

4.3 简述距离判别法的基本思想和方法。

答：距离判别问题分为①两个总体的距离判别问题和②多个总体的判别问题。

其基本思想都是分别计算样本与各个总体的距离（马氏距离），将距离近的判别为一类。

①两个总体的距离判别问题设有协方差矩阵∑相等的两个总体G 1和G 2，其均值分别是μ1和μ 2，对于一个新的样品X ，要判断它来自哪个总体。

计算新样品X 到两个总体的马氏距离D 2（X ，G 1）和D 2（X ，G 2），则X，D 2（X ，G 1）D 2（X ，G 2）X，D 2（X ，G 1）> D 2（X ，G 2，具体分析，2212(,)(,)D G D G -X X111122111111111222*********()()()()2(2)2()-----------''=-----''''''=-+--+'''=-+-X μΣX μX μΣX μX ΣX X ΣμμΣμX ΣX X ΣμμΣμX ΣμμμΣμμΣμ11211212112122()()()2()22()2()---''=-++-'+⎛⎫=--- ⎪⎝⎭''=--=--X ΣμμμμΣμμμμX ΣμμX μααX μ 记()()W '=-X αX μ 则判别规则为X，W(X)X，W(X)<0②多个总体的判别问题。

设有k 个总体k G G G ,,,21Λ，其均值和协方差矩阵分别是k μμμ,,,21Λ和k ΣΣΣ,,,21Λ，且ΣΣΣΣ====k Λ21。

计算样本到每个总体的马氏距离，到哪个总体的距离最小就属于哪个总体。

具体分析，21(,)()()D G ααα-'=--X X μΣX μ111122()C ααααα----'''=-+''=-+X ΣX μΣX μΣμX ΣX I X取ααμΣI 1-=，αααμΣμ121-'-=C ，k ,,2,1Λ=α。

可以取线性判别函数为()W C ααα'=+X I X ， k ,,2,1Λ=α 相应的判别规则为i G ∈X 若 1()max()i kW C ααα≤≤'=+X I X4.4 简述贝叶斯判别法的基本思想和方法。

基本思想：设k 个总体k G G G ,,,21Λ，其各自的分布密度函数)(,),(),(21x x x k f f f Λ，假设k 个总体各自出现的概率分别为k q q q ,,,21Λ，0≥i q ，11=∑=ki iq。

设将本来属于i G 总体的样品错判到总体j G 时造成的损失为)|(i j C ，k j i ,,2,1,Λ=。

设k 个总体k G G G ,,,21Λ相应的p 维样本空间为 ),,,(21k R R R R Λ=。

在规则R 下，将属于i G 的样品错判为j G 的概率为x x d f R i j P jR i )(),|(⎰= j i kj i ≠=,,2,1,Λ则这种判别规则下样品错判后所造成的平均损失为∑==kj R i j P i j C R i r 1)],|()|([)|( k i ,,2,1Λ=则用规则R 来进行判别所造成的总平均损失为∑==ki i R i r q R g 1),()(∑∑===k i kj i R i j P i j C q 11),|()|(贝叶斯判别法则，就是要选择一种划分k R R R ,,,21Λ，使总平均损失)(R g 达到极小。

基本方法：∑∑===k i kj i R i j P i j C q R g 11),|()|()(x x d f i j C q ki kj R i i j∑∑⎰===11)()|(∑⎰∑===k j R ki i i jd f i j C q 11))()|((x x令1(|)()()k iiji q C j i f h ==∑x x ，则 ∑⎰==kj R j jd h R g 1)()(x x若有另一划分),,,(**2*1*kR R R R Λ=，∑⎰==kj R j jd h R g 1**)()(x x则在两种划分下的总平均损失之差为∑∑⎰==⋂-=-k i kj R R j i ji d h h R g R g 11**)]()([)()(x x x因为在i R 上)()(x x j i h h ≤对一切j 成立，故上式小于或等于零，是贝叶斯判别的解。

从而得到的划分),,,(21k R R R R Λ=为1{|()min ()}i i j j kR h h ≤≤==x x x k i ,,2,1Λ=4.5 简述费希尔判别法的基本思想和方法。

答：基本思想：从k 个总体中抽取具有p 个指标的样品观测数据，借助方差分析的思想构造一个线性判别函数1122()p p U u X u X u X '=+++=X u X L系数),,,(21'=p u u u Λu 可使得总体之间区别最大，而使每个总体内部的离差最小。

将新样品的p 个指标值代入线性判别函数式中求出()U X 值，然后根据判别一定的规则，就可以判别新的样品属于哪个总体。

4.6 试析距离判别法、贝叶斯判别法和费希尔判别法的异同。

答：① 费希尔判别与距离判别对判别变量的分布类型无要求。

二者只是要求有各类母体的两阶矩存在。

而贝叶斯判别必须知道判别变量的分布类型。

因此前两者相对来说较为简单。

② 当k=2时，若则费希尔判别与距离判别等价。

当判别变量服从正态分布时，二者与贝叶斯判别也等价。

③ 当时，费希尔判别用作为共同协差阵，实际看成等协差阵，此与距离判别、贝叶斯判别不同。

④ 距离判别可以看为贝叶斯判别的特殊情形。

贝叶斯判别的判别规则是 X，W(X)X，W(X)<lnd距离判别的判别规则是X，W(X)X，W(X)<0二者的区别在于阈值点。

当21q q =，)1|2()2|1(C C =时，1=d，0ln =d 。

二者完全相同。

4.7 设有两个二元总体和，从中分别抽取样本计算得到,,假设，试用距离判别法建立判别函数和判别规则。

样品X=（6，0）’应属于哪个总体？解：=，= ，==即样品X属于总体4.8 某超市经销十种品牌的饮料，其中有四种畅销，三种滞销，三种平销。

下表是这十种品牌饮料的销售价格（元）和顾客对各种饮料的口味评分、信任度评分的平均数。

销售情况产品序号销售价格口味评分信任度评分畅销1 2.2 5 82 2.5 6 73 3.0 3 94 3.2 8 6平销5 2.8 7 66 3.5 8 77 4.8 9 8滞销8 1.7 3 49 2.2 4 210 2.7 4 3⑴根据数据建立贝叶斯判别函数，并根据此判别函数对原样本进行回判。

⑵现有一新品牌的饮料在该超市试销，其销售价格为3.0，顾客对其口味的评分平均为8，信任评分平均为5，试预测该饮料的销售情况。

解：增加group变量，令畅销、平销、滞销分别为group1、2、3；销售价格为X1，口味评分为X2，信任度评分为X3，用spss 解题的步骤如下：1.在SPSS窗口中选择Analyze→Classify→Discriminate，调出判别分析主界面，将左边的变量列表中的“group”变量选入分组变量中，将X1、X2、X3变量选入自变量中，并选择Enter independents together单选按钮，即使用所有自变量进行判别分析。

2.点击Define Range按钮，定义分组变量的取值范围。

本例中分类变量的范围为1到3，所以在最小值和最大值中分别输入1和3。

单击Continue按钮，返回主界面。

如图4.1图4.1 判别分析主界面3.单击Statistics…按钮，指定输出的描述统计量和判别函数系数。

选中FunctionCoefficients栏中的Fisher’s：给出Bayes判别函数的系数。

（注意：这个选项不是要给出Fisher判别函数的系数。

这个复选框的名字之所以为Fisher’s，是因为按判别函数值最大的一组进行归类这种思想是由Fisher提出来的。

这里极易混淆，请读者注意辨别。

）如图4.2。

单击Continue按钮，返回主界面。

图4.2 statistics子对话框4. 单击Classify…按钮，弹出classification 子对话框，选中Display 选项栏中的Summary table 复选框，即要求输出错判矩阵，以便实现题中对原样本进行回判的要求。

如图4.3。

图4.3 classification 对话框5. 返回判别分析主界面，单击OK 按钮，运行判别分析过程。

1) 根据判别分析的结果建立Bayes 判别函数：Bayes 判别函数的系数见表4.1。

表中每一列表示样本判入相应类的Bayes 判别函数系数。

由此可建立判别函数如下：Group1： 3761.162297.121689.11843.811X X X Y ++--= Group2： 3086.172361.131707.10536.942X X X Y ++--=Group3： 3447.62960.41194.2449.173X X X Y ++--=将各样品的自变量值代入上述三个Bayes 判别函数，得到三个函数值。

比较这三个函数值，哪个函数值比较大就可以判断该样品判入哪一类。

Classification Function Coefficientsgroup1 2 3 x1 -11.689 -10.707 -2.194 x2 12.297 13.361 4.960 x3 16.761 17.086 6.447 (Constant)-81.843-94.536-17.449Fisher's linear discriminant functions表4.1 Bayes 判别函数系数根据此判别函数对样本进行回判，结果如表4.2。