实验一Bayes 分类器设计本实验旨在让同学对模式识别有一个初步的理解，能够根据自己的设计对贝叶斯决策理论算法有一个深刻地认识，理解二类分类器的设计原理。

1实验原理最小风险贝叶斯决策可按下列步骤进行：(1)在已知)(i P ω，)(i X P ω，i=1,…，c 及给出待识别的X 的情况下，根据贝叶斯公式计算出后验概率： ∑==cj iii i i P X P P X P X P 1)()()()()(ωωωωω j=1,…，x(2)利用计算出的后验概率及决策表，按下面的公式计算出采取i a ,i=1,…，a 的条件风险∑==cj j jii X P a X a R 1)(),()(ωωλ,i=1,2,…,a(3)对(2)中得到的a 个条件风险值)(X a R i ,i=1,…，a 进行比较，找出使其条件风险最小的决策k a ，即则k a 就是最小风险贝叶斯决策。

2实验内容假定某个局部区域细胞识别中正常（1ω）和非正常（2ω）两类先验概率分别为 正常状态：P （1ω）=0.9； 异常状态：P （2ω）=0.1。

现有一系列待观察的细胞，其观察值为x ：-3.9847 -3.5549 -1.2401 -0.9780 -0.7932 -2.8531 -2.7605 -3.7287 -3.5414 -2.2692 -3.4549 -3.0752 -3.9934 2.8792 -0.9780 0.7932 1.1882 3.0682 -1.5799 -1.4885 -0.7431 -0.4221 -1.1186 4.2532 已知类条件概率密度曲线如下图：)|(1ωx p )|(2ωx p 类条件概率分布正态分布分别为（-2，0.25）（2,4）试对观察的结果进行分类。

3 实验要求1) 用matlab 完成分类器的设计，要求程序相应语句有说明文字。

2) 根据例子画出后验概率的分布曲线以及分类的结果示意图。

3) 如果是最小风险贝叶斯决策，决策表如下：最小风险贝叶斯决策表：请重新设计程序，画出相应的后验概率的分布曲线和分类结果,并比较两个结果。

最小错误率贝叶斯决策试验程序x=[-3.9847,-3.5549,-1.2401,-0.9780,-0.7932,-2.8531,-2.7605,-3.7287,-3.5414 ,-2.2692,-3.4549,-3.0752,-3.9934,2.8792,...-0.9780,0.7932,1.1882 ,3.0682 ,-1.5799 ,-1.4885 ,-0.7431 ,-0.4221 ,-1.1186 ,4.2532 ]; num=24; %输入的特征值个数result=zeros(1,num);%存放分类结果e1=-2; %正常细胞的特征均值a1=0.5; %正常细胞的特征标准差e2=2; %异常细胞的特征均值a2=2; %异常细胞的特征标准差pw1=0.9; %正常细胞出现的概率pw2=0.1; %异常细胞出现的概率for i=1:numpw1_x=normpdf(x(i),e1,a1)*pw1; %正常细胞后验概率的分子pw2_x=normpdf(x(i),e2,a2)*pw2; %异常细胞后验概率的分子if pw1_x>pw2_xresult(i)=1; %识别结果为正常细胞endenda=[-5:0.05:5];n=numel(a);pw1_plot=zeros(1,n);pw2_plot=zeros(1,n);for j=1:npw1_plot(j)=(pw1*normpdf(a(j),e1,a1))/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a (j),e2,a2));%正常细胞后验概率pw2_plot(j)=(pw2*normpdf(a(j),e2,a2))/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf(a (j),e2,a2));%异常细胞后验概率endfigure(1);hold on;plot(a,pw1_plot,'k-',a,pw2_plot,'r-.');for k=1:numif result(k)==1plot(x(k),-0.1,'b*');%正常细胞分布 elseplot(x(k),-0.1,'rp');%异常细胞分布 end endlegend('正常细胞后验概率曲线','异常细胞后验概率曲线','正常细胞','异常细胞'); xlabel('样品细胞特征值'); ylabel('后验概率'); title('后验概率分布曲线'); grid on; 实验结果-5-4-3-2-1012345-0.200.20.40.60.811.2样品细胞特征值后验概率后验概率分布曲线带—·—的曲线为判决成异常细胞的后验概率曲线；另一条平滑的曲线为判为正常细胞的后验概率曲线。

根据最小错误概率准则，判决结果见曲线下方，其中“*”代表判决为正常细胞，“五角星”代表异常细胞各细胞分类结果。

最小风险贝叶斯决策分类器设计实验程序x = [-3.9847 , -3.5549 , -1.2401 , -0.9780 , -0.7932 , -2.8531 ,-2.7605 , -3.7287 , -3.5414 , -2.2692 ,...-3.4549 , -3.0752 , -3.9934 , 2.8792 , -0.9780 , 0.7932 , 1.1882 , 3.0682, -1.5799 , -1.4885 , -0.7431 , -0.4221 , -1.1186 , 4.2532 ] ;disp(x)pw1=0.9 ;%第一类的先验概率pw2=0.1 ;%第二类的先验概率m=numel(x); %样品个数R1_x=zeros(1,m) ;%判为第一类的条件风险R2_x=zeros(1,m) ;%判为第二类的条件风险result=zeros(1,m) ;%识别结果e1=-2; %第一类的均值a1=0.5 ;%第一类的标准差e2=2 ;%第二类的均值a2=2 ;%第二类的标准差%决策表r11=0 ;r12=2 ;r21=4 ;r22=0 ;%计算条件风险for i=1:mR1_x(i)=r11*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i), e2,a2))+r21*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i), e2,a2));R2_x(i)=r12*pw1*normpdf(x(i),e1,a1)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i), e2,a2))+r22*pw2*normpdf(x(i),e2,a2)/(pw1*normpdf(x(i),e1,a1)+pw2*normpdf(x(i), e2,a2)) ;endfor i=1:mif R2_x(i)>R1_x(i)%result(i)=0;elseresult(i)=1;enda=[-5:0.05:5];n=numel(a);R1_plot=zeros(1,n) ;R2_plot=zeros(1,n);for j=1:nR1_plot(j)=r11*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf( a(j),e2,a2))+r21*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf (a(j),e2,a2));R2_plot(j)=r12*pw1*normpdf(a(j),e1,a1)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf( a(j),e2,a2))+r22*pw2*normpdf(a(j),e2,a2)/(pw1*normpdf(a(j),e1,a1)+pw2*normpdf (a(j),e2,a2));endfigure(1)hold onplot(a,R1_plot,'b-',a,R2_plot,'g*-')for k=1:mif result(k)==0plot(x(k),-0.1,'b^')elseplot(x(k),-0.1,'go')end;legend('正常细胞','异常细胞','Location','Best') xlabel('细胞分类结果') ylabel('条件风险') title('风险决策曲线') grid on 实验结果-5-4-3-2-1012345细胞分类结果条件风险风险决策曲线其中带*的绿色曲线代表异常细胞的条件风险曲线； 另一条光滑的蓝色曲线为判为正常细胞的条件风险曲线。

根据贝叶斯最小风险判决准则，判决结果见曲线下方，其中“上三角”代表判决为正常细胞，“圆圈“代表异常细胞。

比较分析：在图1中，这两个样本点下两类决策的后验概率相差很小，当结合最小风险贝叶斯决策表进行计算时，“损失因素”就起了主导作用，导致出现了相反的结果。

实验二\三多分类Bayes分类器设计数据集为Mnistall 数据集，加载到内存，解析数据集的组织结构，完成10类手写体数据集的分类问题。

实验原理首先提取手写体的特征，训练集为28*28的手写体图片，将手写体图片等分为7*7份，每一份的大小为4*4，统计每份中非0像素(即手写体)的个数n，像素占有率大于T(设为0.05)取特征值1，否则取特征值0。

对于要识别的手写体，首先提取特征值，然后计算0~9类的后验概率，后验概率最大即为对应类别实验内容%手写体特征值提取函数function sample_feature=feature_extraction(sample)%[单个样品的行数,单个样品的列数,训练集的个数][image_row,image_col,sample_num]=size(sample);sample_feature=zeros(49,sample_num);%存储训练集的特征yuzhi=0.05;%窗口面积比阈值%提取训练集的特征for k=1:sample_nump=1;for i=1:4:image_row-3for j=1:4:image_col-3for m=i:i+3for n=j:j+3if (sample(m,n,k)~=0)%统计手写体中每个窗口中非零像素的个数sample_feature(p,k)=sample_feature(p,k)+1;endendend%面积占有率大于yuzhi取特征值为1if ( (sample_feature(p,k)/16)>yuzhi )sample_feature(p,k)=1;elsesample_feature(p,k)=0;endp=p+1;endendend主函数load mnistAll;%提取样品库每个手写体的特征train_feature=feature_extraction(mnist.train_images); train_num=60000;%训练集大小%求0~9手写数字的特征分布pw=zeros(1,10);%先验概率pxw=zeros(49,10);%训练集的类条件概率for k=1:train_numi=mnist.train_labels(k)+1;%统计每类的样品个数pw(i)=pw(i)+1;%统计每类的每个特征特征值为1的个数pxw(:,i)=pxw(:,i)+train_feature(:,k);endfor i=1:10%求每类的特征分布概率pxw(:,i)=(pxw(:,i)+1)/(pw(i)+2);endpw=pw/train_num;pwx=zeros(1,10);%后验概率test_feature=feature_extraction(mnist.test_images); test_num=10000;%测试样品个数true_num=0;for k=1:test_numpxw_test=zeros(1,10)+1;%测试样品的类条件概率for i=1:10%求测试样品的类条件概率for j=1:49if(test_feature(j,k)==1)pxw_test(i)=pxw_test(i)*pxw(j,i);elsepxw_test(i)=pxw_test(i)*(1-pxw(j,i));endendendfor i=1:10%测试样品的后验概率的分子pwx(i)=pw(i)*pxw_test(i);end[maxval maxpos]=max(pwx);y=maxpos-1;if ( y==mnist.test_labels(k))true_num=true_num+1;endend识别结果10000个测试样品中正确识别了6891个，正确率为68.91%实验四基于Fisher准则的线性分类器设计一、实验目的本实验旨在让同学进一步了解分类器的设计概念，能够根据自己的设计对线性分类器有更深刻地认识，理解Fisher准则方法确定最佳线性分界面方法的原理。