学院：自动化学院班级：姓名：学号：2014年11月实验一 Bayes 分类器的设计一、 实验目的：1. 对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识；2. 理解二类分类器的设计原理。
二、 实验条件：1. PC 微机一台和MATLAB 软件。
三、 实验原理：最小风险贝叶斯决策可按下列步骤进行：1. 在已知)(i P ω，)|(i X P ω，c i ,,1 =及给出待识别的X 的情况下，根据贝叶斯公式计算出后验概率：∑==c j jj i i i P X P P X P X P 1)()|()()|()|(ωωωωω c j ,,1 =2. 利用计算出的后验概率及决策表，按下式计算出采取i α决策的条件风险： ∑==c j j j i i X P X R 1)|(),()|(ωωαλα a i ,,1 =3. 对2中得到的a 个条件风险值)|(X R i α（a i ,,1 =）进行比较，找出使条件风险最小的决策k α，即：)|(min )|(,,1X R X R k c i k αα ==， 则k α就是最小风险贝叶斯决策。
四、 实验内容：假定某个局部区域细胞识别中正常（1ω）和非正常（2ω）两类先验概率分别为： 正常状态：)(1ωP =0.9；异常状态：)(2ωP =0.1。
现有一系列待观察的细胞，其观察值为x ：-3.9847 -3.5549 -1.2401 -0.9780 -0.7932 -2.8531-2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752-3.9934 2.8792 -0.9780 0.7932 1.1882 3.0682-1.5799 -1.4885 -0.7431 -0.4221 -1.1186 4.2532)|(1ωx P )|(2ωx P 类条件概率分布正态分布分别为（-2，0.25）（2,4）。
决策表为011=λ(11λ表示),(j i ωαλ的简写)，12λ=6, 21λ=1，22λ=0。
试对观察的结果进行分类。
五、 实验程序及结果：试验程序和曲线如下，分类结果在运行后的主程序中：实验程序：x= [-3.9847 -3.5549 -1.2401 -0.9780 -0.7932 -2.8531-2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752-3.9934 2.8792 -0.9780 0.7932 1.1882 3.0682-1.5799 -1.4885 -0.7431 -0.4221 -1.1186 4.2532 ]pw1=0.9 ;pw2=0.1e1=-2; a1=0.5e2=2;a2=2m=numel(x) %得到待测细胞个数pw1_x=zeros(1,m) %存放对w1的后验概率矩阵pw2_x=zeros(1,m) %存放对w2的后验概率矩阵results=zeros(1,m) %存放比较结果矩阵for i = 1:m %计算在w1下的后验概率pw1_x(i)=(pw1*normpdf(x(i),e1,a1))/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)) %计算在w2下的后验概率pw2_x(i)=(pw2*normpdf(x(i),e2,a2))/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i),e2,a2)) endfor i = 1:mif pw1_x(i)>pw2_x(i) %比较两类后验概率result(i)=0 %正常细胞elseresult(i)=1 %异常细胞endenda=[-5:0.05:5] %取样本点以画图n=numel(a)pw1_plot=zeros(1,n)pw2_plot=zeros(1,n)for j=1:npw1_plot(j)=(pw1*normpdf(a(j),e1,a1))/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)) pw2_plot(j)=(pw2*normpdf(a(j),e2,a2))/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a(j),e2,a2)) endfigure(1)hold onplot(a,pw1_plot,'k-',a,pw2_plot,'r-.')for k=1:mif result(k)==0plot(x(k),-0.1,'b*') %正常细胞用*表示elseplot(x(k),-0.1,'rp') %异常细胞用五角星表示end;end;legend('正常细胞后验概率曲线','异常细胞后验概率曲线','正常细胞','异常细胞')xlabel('样本细胞的观察值')ylabel('后验概率')title('后验概率分布曲线')grid onreturn实验二 基于Fisher 准则的线性分类器设计一、 实验目的：1. 进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识；2. 理解Fisher 准则方法确定最佳线性分界面方法的原理，以及拉格朗日乘子求解的原理。
二、 实验条件：1. PC 微机一台和MATLAB 软件。
三、 实验原理：设有一个集合包含N 个d 维样本N x x x ,,,21 ，其中1N 个属于1ω类，2N 个属于2ω类。
线性判别函数的一般形式可表示成0)(w x W x g T +=,其中T d w w W ),,(1 =。
根据Fisher 选择投影方向W 的原则，即使原样本向量在该方向上的投影能兼顾类间分布尽可能分开，类内样本投影尽可能密集的要求，用以评价投影方向W 的函数为： WS W W S W W J w T b T F =)( T Wm m S W )(211*-=- 其中：∑==iN j j i i x N m 11 2,1=i j x 为i N 类中的第j 个样本 w S 为类内离散度，定义为：∑∑==--=2111))((i N j T i j j w im x m x Sb S 为类间离散度，定义为：T b m m m m S ))((2121--=上面的公式是使用Fisher 准则求最佳法线向量的解，我们称这种形式的运算为线性变换，其中)(21m m -是一个向量，1-W S 是W S 的逆矩阵，如)(21m m -是d 维，1-W S 和W S 都是d ×d 维，得到的*W 也是一个d 维的向量。
向量*W 就是使Fisher 准则函数)(W J F 达极大值的解，也就是按Fisher 准则将d 维X 空间投影到一维Y 空间的最佳投影方向，该向量*W 的各分量值是对原d 维特征向量求加权和的权值。
以上讨论了线性判别函数加权向量W 的确定方法，并讨论了使Fisher 准则函数极大的d 维向量*W 的计算方法，但是判别函数中的另一项0w 尚未确定，一般可采用以下几种方法确定0w 如2)(21*0m m W w T +-= 或者212211*0)(N N m N m N W w T++-=或当)(1ωP 与)(2ωP 已知时可用*1212012()ln[()/()][]22T W m m P P w N N ωω+=-++-当0w 确定之后，则可按以下规则分类，*010T W X w x ω+>→∈*020T W X w x ω+<→∈四、 实验内容：已知有两类数据1ω和2ω二者的概率已知)(1ωP =0.6，)(2ωP =0.4。
1ω中数据点的坐标对应一一如下：1x =0.2331 1.5207 0.6499 0.7757 1.0524 1.19740.2908 0.2518 0.6682 0.5622 0.9023 0.1333-0.5431 0.9407 -0.2126 0.0507 -0.0810 0.73150.3345 1.0650 -0.0247 0.1043 0.3122 0.66550.5838 1.1653 1.2653 0.8137 -0.3399 0.51520.7226 -0.2015 0.4070 -0.1717 -1.0573 -0.20991y =2.3385 2.1946 1.6730 1.6365 1.7844 2.01552.0681 2.1213 2.4797 1.5118 1.9692 1.83401.87042.2948 1.7714 2.3939 1.5648 1.93292.2027 2.4568 1.7523 1.6991 2.4883 1.72592.0466 2.0226 2.3757 1.7987 2.0828 2.07981.94492.3801 2.2373 2.1614 1.9235 2.26041z =0.5338 0.8514 1.0831 0.4164 1.1176 0.55360.6071 0.4439 0.4928 0.5901 1.0927 1.07561.0072 0.4272 0.4353 0.9869 0.4841 1.09921.0299 0.7127 1.0124 0.4576 0.8544 1.12750.7705 0.4129 1.0085 0.7676 0.8418 0.87840.9751 0.7840 0.4158 1.0315 0.7533 0.9548数据点的对应的三维坐标为:22x =1.4010 1.2301 2.0814 1.1655 1.3740 1.18291.7632 1.97392.4152 2.5890 2.8472 1.95391.2500 1.2864 1.26142.0071 2.1831 1.79091.3322 1.1466 1.7087 1.59202.9353 1.46642.9313 1.8349 1.8340 2.5096 2.7198 2.31482.0353 2.6030 1.2327 2.1465 1.5673 2.94142y =1.0298 0.9611 0.9154 1.4901 0.8200 0.93991.1405 1.0678 0.8050 1.2889 1.4601 1.43340.7091 1.2942 1.3744 0.9387 1.2266 1.18330.8798 0.5592 0.5150 0.9983 0.9120 0.71261.2833 1.1029 1.2680 0.7140 1.2446 1.33921.1808 0.5503 1.4708 1.1435 0.7679 1.12882z =0.6210 1.3656 0.5498 0.6708 0.8932 1.43420.9508 0.7324 0.5784 1.4943 1.0915 0.76441.2159 1.3049 1.1408 0.9398 0.6197 0.66031.3928 1.4084 0.6909 0.8400 0.5381 1.37290.7731 0.7319 1.3439 0.8142 0.9586 0.73790.7548 0.7393 0.6739 0.8651 1.3699 1.1458数据的样本点分布如下图：根据所得结果判断（1，1.5，0.6）(1.2，1.0，0.55)，(2.0，0.9，0.68)，(1.2，1.5，0.89)，（0.23，2.33，1.43），属于哪个类别。