在研究中可以发现，如果在原有的特征中加入这些自动学 习得到的特征可以大大提高精确度，甚至在分类问题中比目前 最好的分类算法效果还要好。
两个变体
稀疏自动编码器
降噪自动编码器
稀疏自动编码器：限制每次得到的表达code尽量稀疏。 降噪自动编码器：训练数据加入噪声，迫使编码器更具有 鲁棒性。
2.2
Sparse Coding稀疏编码
稀疏编码是一种无监督学习方法，它用来寻找一组“超完 备”基向量来更有效地表示样本数据。其目的是将输入的样本 集X分解为多个基元的线性组合，然后这些基前面的系数表示 的是输入样本的特征。O = a1*Φ1 + a2*Φ2+….+ an*Φn， Φi是基，ai是系数。那么可以得出一个优化问题： MIN | I – O |，其中，I 为输入，O 为输出
卷积网络是为识别二维形状而特殊设计的一个多层感知器， 这种网络结构对平移、比例缩放、倾斜或者共他形式的变形具 有高度不变性。
2.3
卷积神经网络（CNN）
卷积神经网络的结构与特点：
BP神经网络
2.3
卷积神经网络（CNN）
LeNet-5文字识别系统
2.4
循环神经网络（RNN）与LSTM
人类并不是每时每刻都从一片空白的大脑开始他们的思考， 人总是基于自己已经拥有的对先前词的理解来推断当前词的真 实含义。 传统的神经网络没有考虑到时间因素，也就是其并不能记 忆之前存储的内容。而RNN解决了这个问题，RNN是包含循环 的网络，允许信息的持久化。
循环神经网络的基本结构如下所示：
2.4
循环神经网络（RNN）与LSTM
RNN被广泛的应用在语音识别、语言建模、翻译等方面。 而这些应用的关键就是LSTM的使用。
长短时记忆网络（LSTM）是一种特殊的RNN模型，其特 点是可以学习长期依赖的信息。LSTM可以自动记忆长期的信 息而不需要特意花费很大的代价。
深度学习的常用模型和方法
2016年9月18日
目录
1
深度学习的背景 深度学习常用模型和方法
1
自动编码器 稀疏编码 卷积神经网络
2
2
3 4
RNN与LSTM
3
总结与展望
1
深度学习的背景
实际生活中，人们为了解决一个问题，如对象的分类（文 档、图像等），首先必须做的事情是如何来表达一个对象，即 必须抽取一些特征来表示一个对象。如文本的处理中，常常用 词集合来表示一个文档，或把文档表示在向量空间中（称为 VSM模型），然后才能提出不同的分类算法来进行分类；又如 在图像处理中，我们可以用像素集合来表示一个图像，后来人 们提出了新的特征表示，如SIFT，这种特征在很多图像处理的 应用中表现非常良好，特征选取得好坏对最终结果的影响非常 巨大。因此，选取什么特征对于解决一个实际问题非常的重要。 然而，手工地选取特征是一件非常费力、启发式的方法， 能不能选取好很大程度上靠经验和运气。 自动地学习特征的方法，统称为Deep Learning。
标准RNN结构
2.4
循环神经网络（RNN）与LSTM
LSTM的结构 根据上个输出和 当前的输入决定是 否抛弃之前的状态 内容
2.4
循环神经网络（RNN）与LSTM
根据上个输出和 当前的输入决定更新 哪些属性以及新属性 的内容
执行之前的决定， 更新当前的状态
根据上个输出和 当前的状态决定现在 输出什么
2.1
AutoEncoder自动编码器
深度学习中最简单的一种方法是利用人工神经网络的特 点。如果给定一个神经网络，我们假设其输入和输出相同，然 后调整其每层参数，得到每一层的权重，自然，就得到了输入 的几种不同表示，这些表示就是特征（feature）。 自动编码器是一种尽可能复现输入信号的神经网络。其大 致过程如下：
1，给定无标签数据，用非监督学习学习特征
2.1
AutoEncoder自动编码器
此时的误差可由重构后与原输入相比得到。 经过最小化重构误差之后，可以认为code此时就是input 的一种良好的表达。
2.1
AutoEncoder自动编码器
2，通过编码器产生特征，逐层训练
将第一层输出的code作为第二层的输入信号，同样最小 化重构误差，就得到了第二层的参数和第二层输出的code。其 他层用同样的方法炮制，每一层均能得到输入的一种表达，直 到产生到需要的层数。
The end
请各位老师批评指正！
Thank you!
（2）Coding阶段: 给定一个新的图片x，求a矩阵的ຫໍສະໝຸດ ，使得上面的目标 函数取得最小值。
2.2
Sparse Coding稀疏编码
2.3
卷积神经网络（CNN）
卷积神经网络是一种特殊的深层的神经网络模型，它的特 殊性体现在两个方面，一方面它的神经元间的连接是非全连接 的， 另一方面同一层中某些神经元之间的连接的权重是共享的 （即相同的）。它的非全连接和权值共享的网络结构使之更类 似于生物神经网络，降低了网络模型的复杂度，减少了权值的 数量。
2.1
AutoEncoder自动编码器
3，有监督的微调
最后，为了可以实现分类，一般可以在AutoEncoder的 最顶层添加一个分类器，然后通过标准的多层神经网络的监督 训练方法去训练。 在这里，可以通过有标签样本仅调整分类器，也可以对整 个系统进行微调（数据多）。
2.1
AutoEncoder自动编码器
通过求解这个最优化式子，可以求得Φi和ai，也就能得出 输入的特征表示。 如果我们加上稀疏规则限制，得到： MIN | I – O | + λ （|a1| + |a2| + … + |ai |）
这种方法就是稀疏编码。
2.2
Sparse Coding稀疏编码
稀疏编码分为两个部分：
（1）Training阶段: 目标：给定一系列的样本图片[x1, x2, …]，我们需要学 习得到一组基[Φ1, Φ2, …]。 训练过程是一个重复迭代的过程，不断交替更改a和Φ 使得下面这个目标函数最小。