模式识别课程学习感想
人类可以通过视觉信息识别文字、图片和周围的环境，通过听觉信息识别与理解语言，比如识别人脸，阅读手写文字，通过气味识别一种水果的种类等。

我们希望给机器相同的模式识别能力。

模式识别主要是研究对象的特征或属性，利用以计算机为中心的机器系统运用一定的分析算法认定对象的类别，系统应使分类识别的结果尽可能地与真实情况相符合。

模式识别方法最大的实用性在于“智能”仿真，可以说在同常生活中随处可见，如医疗诊断系统、地球资源探测系统、机器人辅助生产线、公安人员用于破案的指纹识别系统等。

模式识别包含由特征和属性所描述的对象的数学模型，这罩所讲的特征和属性是指通常意义上的系统的输入／输出数据对。

模式识别系统主要由两个过程组成，即设计过程和实现过程。

设计过程是指用一定数量的样本(也称训练集或学习集)进行分类器的设计；实现过程是指用所设计的分类器对待识别的样本进行分类决策。

通过这门课程的学习，对各种模型的模式识别算法有了一定程度的了解。

一、线性模型
我们使用线性神经网络来解决线性模型的模式识别。

线性神经网络与感知器的主要不同之处在于其神经元有一个线性激活函数，这允许输出可以是任意值，而不仅仅只是像感知器中那样只能取0或1。

它采用的是W—H学习法则，也称最小均方差(LMS)规则对权值进行训练。

线性神经网络的主要用途是线性逼近一个函数式而进行模式联想。

二、非线性模型
1、Ada-Boosting
基于级联结构的AdaBoost算法目前被认为是较有效的检测算法。

Boosting是一个将弱学习(weak learn)算法融合为强学习算法(strong)的方法。

Ada-Boost 算法本身是通过改变数据分布来实现的，它根据每次训练集之中每个样本的分类是否正确，以及上次的总体分类的准确率，来确定每个样本的权值。

将每次训练得到的分类器最后融合起来，作为最后的决策分类器。

目前在人脸侦测的领域，就有人将Ada-Boost + cascade 作为一个很有效的运算法。

Boost是一种常用来增进learning algorithm正确率的方法。

使用boost 分类器可以排除一些不必要的特征，并将关键放在关键的特征上面。

AdaBoost算法针对不同的训练集训练同一个基本分类器（弱分类器），然后把这些在不同训练集上得到的分类器集合起来，构成一个更强的最终的分类器（弱分类器）。

理论证明，只要每个弱分类器分类能力比随机猜测要好，当其个数趋向于无穷个数时，强分类器的错误率将趋向于零。

AdaBoost算法中不同的训练集是通过调整每个样本的权重实现的。

最开始的时候，每个样本对应的权重是相同的，在此样本分布下训练出一个基本分类器h1(x)。

对于h1(x)错分的样本，则增加其对应样本的权重；而对于正确分类的样本，则降低其权重。

这样可以使得错分的样本突出出来，得到一个新的样本分布。

同时，根据错分的情况赋予h1(x)一个权重，表示该基本分类器进行训练，得到基本分类器h2(x)及其权重。

依次类推，经过T 次这样的循环，就得到了T个基本分类器，以及T个对应的权重。

最后把这T个基本分类器按一定的权重累加起来，就得到了最终所期望的强分类器。

2、多层感知机
神经网络具有强大的非线性映射能力，人工神经网络的实际应用中，绝大部分的神经网
络模型都采用bp神经网络及其变化形式。

它也是前向网络的核心部分，体现了人工神经网络的精华。

bp神经网络是误差反向传播神经网络的简称，它由一个输入层，一个或多个隐含层和一个输出层构成，每一次由一定数量的的神经元构成。

这些神经元如同人的神经细胞一样是互相关联的。

学习的过程：神经网络在外界输入样本的刺激下不断改变网络的连接权值，以使网络的输出不断地接近期望的输出。

学习的本质：对各连接权值的动态调整。

学习规则：权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。

学习的类型：有导师学习。

核心思想：将输出误差以某种形式通过隐层向输入层逐层反传。

学习的过程：由信号的正向传播到误差的反向传播。

正向传播：输入样本———输入层———各隐层———输出层。

判断是否转入反向传播阶段：若输出层的实际输出与期望的输出（教师信号）不符。

误差反传误差以某种形式在各层表示———修正各层单元的权值。

网络结构：输入层有ｎ个神经元，隐含层有ｐ个神经元，输出层有ｑ个神经元。

bp神经网络最主要的优点是具有极强的非线性映射能力。

其次，bp神经网络具有对外界刺激和输入信息进行联想记忆的能力。

再次，bp神经网络对外界输入样本有很强的识别与分类能力。

由于它具有强大的非线性处理能力，因此可以较好地进行非线性分类，解决了神经网络发展史上的非线性分类难题。

另外，bp神经网络具有优化计算能力。

bp神经网络本质上是一个非线性优化问题，它可以在已知的约束条件下，寻找一组参数组合，使该组合确定的目标函数达到最小。

3、SVM(支持向量机)
支持向量机（Support Vector Machine, SVM）以训练误差作为优化问题的约束条件，以置信范围值最小化作为优化目标，即SVM是一种基于结构风险最小化准则的学习方法，其推广能力明显优于一些传统的学习方法。

支持向量机在解决小样本、非线性及高维模式识别中表现出许多特有的优势，并能够推广应用到函数拟合等其他机器学习问题中。

机器学习本质上就是一种对问题真实模型的逼近，我们选择的模型与问题真实解之间究竟有多大差距，我们无法得知，因此统计学习引入了泛化误差界的概念，就是指真实风险应该由两部分内容刻画，一是经验风险，代表了分类器在给定样本上的误差；二是置信风险，代表了我们在多大程度上可以信任分类器在未知文本上分类的结果，第二部分是没有办法精确计算的，因此只能给出一个估计的区间，也使得整个误差只能计算上界，而无法计算准确的值（所以叫做泛化误差界，而不叫泛化误差）。

由于SVM 的求解最后转化成二次规划问题的求解，因此SVM 的解是全局唯一的最优解。

SVM方法的特点：①非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射;②对特征空间划分的最优超平面是SVM的目标,最大化分类边界的思想是SVM方法的核心;③支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量。

SVM 的最终决策函数只由少数的支持向量所确定,计算的复杂性取决于支持向量的数目,而不是样本空间的维数,这在某种意义上避免了“维数灾难”。

少数支持向量决定了最终结果,这不但可以帮助我们抓住关键样本、“剔除”大量冗余样本,而且注定了该方法不但算法简单,而且具有较好的“鲁棒”性。

这种“鲁棒”性主要体现
在:
①增、删非支持向量样本对模型没有影响;
②支持向量样本集具有一定的鲁棒性;
③有些成功的应用中,SVM 方法对核的选取不敏感。

SVM分类器算法能较好的完成对线性可分的样品集的分类。

SVM分类器算法适用于线性可分情况，同时也能较好的处理线性不可分情况，它基于结构风险最小化理论之上在特征空间中建构最优分割超平面，使得学习器得到全局最优化，并且在整个样本空间的期望风险以某个概率满足一定上界，在实际应用中有较好的优势。

三、总结
在本课程的学习过程中，我逐渐明白模式识别的流程，以及对于给定的一个问题，如何进行建模，特征提取等。

首先通过给定的训练数据建立对应的决策模型，然后利用已建立的模型对具体数据进行预测，处理一般模式识别问题的流程为：信息输入->数据获取->预处理->待征选择/提取->决策分析-> 信息输出。

对于简单的线性分类问题，我们可采用单层感知机或线性神经网络来对具体问题进行建模。

而对于非线性问题，我们需要分析具体的情况，综合比较各种因素，选择一种综合性能较好的模型来处理对应问题。

模式识别是人工智能的基础技术，已经广泛应用于文字和语音识别、遥感和医学诊断等方面，对人们的日常生活和工作提供了很大的方便。