ω2：{(0 0 -1)T, (0 1 0)T, (0 1 -1)T, (1 1 -1)T}
用K-L变换，分别把特征空间维数降到二维和一维，并画出样本在该空间中的位置。
解：应用类间散布矩阵。均值为
，
由公式
得
特征值为 ，对应的特征向量为
原图中点的位置：
新坐标公式
1、化到一维，
（1）用 来， 得
图为，可见效果很不理想，很多重合
然后我将h的循环关闭，直接令h=20，如果是h越大越好的话，那么图像应该更好，但是图像是：
看来图像并不好看，很平坦，符合h越大，图像越平坦的结论，那么，原来的图那里错了呢？
原来
y=zeros(size(x));%纵坐标值
f=4;%f^2为窗口数
forh=1:f^2%窗口宽度，逐渐递增
这里y在h循环时，y并没有清零，导致图像累加了，然后我修改程序，得到：
（3）指数窗
同样，代码只用改为
y1=exp(-abs((x-xx(i))/h));%指数窗窗口函数
y=y+y1;%累加
即可。得到
由上图可见，在h=4左右时，图像效果较好。
总结：由3个窗口图像我们知道这批数据大概是按正态分布的，所以用正态窗的效果较好。
第5章
1.设有如下三类模式样本集ω1，ω2和ω3，其先验概率相等，求Sw和Sb
由于 与 无关，所以令其为a，所以
而后验概率可以直接写成正态形式：
利用对应系数相等得：
由上式解得：
2.设对于一个二类（ω1，ω2）识别问题，随机抽取ω1类的5个样本X=(x1，x2，…. x5)，即ω1=(x1，x2，…. x5)
{x1=5.2，x2=5.6，x3=5，x4=8，x5=2.5}
试用方窗函数、正态窗函数和指数窗函数，估计P(x|ω1)，并讨论其性能。
这下，我们得到了意料之中的图像，在h=6左右时，效果较好。
然而，在这里，我们可以发现用方窗得到理想曲线的方法，那就是我之前的错误——方窗叠加（每次y不清零），但是要注意这时体积也会变，v=n(n+1)/2(一维)。
（2）正态窗
代码几乎不变，只要将上面的
s=find(abs(x-xx(i))<=0.5*h);%找到在此方窗窗口内的点
（2）用 来化， ，得
图为，可见，可分性很好
2、划到2维
（1）用 来，得到
图为，效果不好，重叠
（2）用 来，得
图为，可见，可分性很好
所以
2.两类的一维模式，每一类都是正态分布，其中
。设这里用0-1代价函数，且 。试绘出其密度函数，画判别边界并标示其位置。
解：由题
两类问题的0-1代价问题即最小错误率Bayes决策，且
所以决策边界为g(x)=p(x|w1)- p(x|w2)=0即：x=1
密度函数图像即判别边界图为：
3.设以下模式类别具有正态概率密度函数：
ω1：{(1 0)t, (2 0)t, (1 1)t}
ω2：{(-1 0)t, (0 1)t, (-1 1)t}
ω3：{(-1 -1)t, (0 -1)t, (0 -2)t}
解：3类的均值向量为
所以
（Ci为第i类协方差矩阵）
得 ， ，
类间： ，由
所以，
2.设有如下两类样本集，其出现的概率相等：
ω1：{(0 0 0)T, (1 0 0)T, (1 0 -1)T, (1 1 0)T}
(a)设 ，求该两类模式之间的贝叶斯判别边界的方程式。
(b)绘出其判别界面。
解：（1）由题
x11=1/4*(0+2+2+0)=1; x12=1/4*(0+0+2+2)=1
x21=1/4*(4+6+6+4)=5; x22=1/4*(4+4+6+6)=5
所以u1=(1,1), u2=(5,5)，算得协方差矩阵为：
第三次模式识别作业
（3、4、5章）
第3章
1.分别写出在以下两种情况(1)(2)
下的最小错误率（基本的）贝叶斯决策规则。
答：判别函数为：g(x)=p(w1)·p(x|w1)- p(w2)·p(x|w2)
(1)当时，g(x)= p(w1)- p(w1)- p(x|w2)
E1=E2=I=
所以
判别面方程：g1(x)=g2(x)即
x1+x2-6=0
（2）判别界面图为
第4章
1.设总体概率分布密度为 ， ，并设，分别用最大似然估计和贝叶斯估计计算 。已知 的先验分布为
解：（1）极大似然法
先对 取对数，
然后对 求导，并令其等于0，得
即
（2）贝叶斯估计法
，
所以由贝叶斯公式，则可得后验概率：
y(s)=y(s)+1;%把它们对应的纵坐标值加1
改为
y1=1/(2*pi)*exp(-((x-xx(i))/h).^2/2);%正态窗窗口函数
y=y+y1;%累加
即可。
由上图可见，在h=2和4左右时，图像效果较好，而且符合h越大，图像越平坦的结论，平坦度要看y轴的坐标值的变化率，下面有两个h更大的图，可以看出y轴的坐标值的变化率很小，很平坦
y(s)=y(s)+1;%把它们对应的纵坐标值加1
end
subplot(f,f,h);%开窗口
plot(x,y/h);%画图，y/h是除以体积
d=num2str(h);%为标题准备
title(['窗口宽度h=',d]);%标题
gridon
end
由上图可以看出h越大，图像越好看，这与h越大，图像越平坦的结论不符，为什么呢？？
解：（1）方窗
%%方窗
xx=[5.2 5.6 5 8 2.5];%样本点
x=-5:0.01:15;%画图点
y=zeros(size(x));%纵坐标值
f=4;%f^2为窗口数
forh=1:f^2%窗口宽度，逐渐递增
fori=1:5%逐一累加窗口函数
s=find(abs(x-xx(i))<=0.5*h);%找到在此方窗窗口内的点