多层置信网络结构
首先，你需要用原始 输入 x(k) 训练第一个 自编码器，它能够学 习得到原始输入的一 阶特征表示 h^{(1)(k)}。
多层置信网络结构
接着，你需要把原始 数据输入到上述训练 好的稀疏自编码器中， 对于每一个输入 x(k)， 都可以得到它对应的 一阶特征表示 h^{(1)(k)}。然后你再 用这些一阶特征作为 另一个稀疏自编码器 的输入，使用它们来 学习二阶特征 h^{(2)(k)}。
多层置信网络结构
DBNs由多个限制玻 尔兹曼机（Restricted Boltzmann Machines） 层组成，一个典型的 神经网络类型如图所 示。
多层置信网络结构
·最终在构筑好整个网络后，相当于进行了一次完整的无监督学习。 ·在确定了网络的权值后，再次根据样本，以BP神经网络的算法，进 行一次有监督的学习过程。这一过程被称为多层置信网络的微调。
“
在此输入标题
“The En输d入！文字 在此录入上述图表的综合分析结论 在此录入上述图表的综合分析结论 在此录入上述图表的综合分析结论 在此录入上述图表的综合分析结论
多层置信网络结构
再把一阶特征输入到 刚训练好的第二层稀 疏自编码器中，得到 每个h^{(1)(k)} 对应的 二阶特征激活值 h^{(2)(k)}。接下来， 你可以把这些二阶特 征作为softmax分类器 的输入，训练得到一 个能将二阶特征映射 到数字标签的模型。
多层置信网络结构
最终，你可以将这三 层结合起来构建一个 包含两个隐藏层和一 个最终softmax分类器 层的栈式自编码网络， 这个网络能够如你所 愿地对MNIST数字进 行分类。
深度置信网络BDN
——学习报告
PPT模板下载：/moban/
自编码算法
自编码神经网络尝试学习一个 hw,b ( x) x的函数，也就是说，它尝试逼近一个
恒等函数，从而使得输出接近于输入。恒等函数虽然看上去不太有学习的意义，但是当 我们为自编码神经网络加入某些限制，比如限定隐藏神经元的数量，我们就可以从输入 数据中发现一些有趣的结构。
v,h
输入层的边缘概率为：
p(v) 1 eE(v,h)
Zh
计算方法
权值更新
网络学习的目的是最大可能的拟合输入数据，即最大化 p(v)。
Hinton提出了一种快速算法，称作contrastive divergence（对比分歧）算法。这种算法
只需迭代k次，就可以获得对模型的估计，而通常k等于1. CD算法在开始是用训练数据去初始化可
自编码神经网络示例
如果输入数据中隐含着一些 特定的结构，比如某些输入特征是 彼此相关的，那么这一算法就可以 发现输入数据中的这些相关性。事 实上，这一简单的自编码神经网络 通常可以学习出一个跟主元分析 (PCA)结果非常相似的输入数据的 低维表示。
“预训练”方法——限制玻尔兹曼机（RBM）
隐含层
n
p(vi 1| h) ( wjihj bi ) j 1
限制玻尔兹曼机（RBM）
定义能量函数： 联合概率分布：
E(v, h) vibi hjcj vihjwij
i
j
i, j
p(v, h) 1 eE(v,h) Z
Z为归一化系数，其定义为：
Z eE(v,h)
深度学习
深度学习的实质，是通过构建具有很多隐层的机器学习模型组合低层特征形成更加抽象的 高层来表示属性类别或特征，以发现数据的分布式特征。其动机在于建立模拟人脑进行分析学 习的神经网络，模仿人脑的机制来解释数据，例如图像，声音和文本。因此，“深度模型”是 手段，“特征学习”是目的。
深度学习的核心思路如下： ①无监督学习用于每一层网络的pre-train； ②每次用无监督学习只训练一层，将其训练结果作为其高一层的输入； ③用自顶而下的监督算法去调整所有层。
见层，然后用条件分布计算隐层；然后，再根据隐层，同样，用条件分布来计算可见层。这样产生
的结果是对输入的一个重构。根据CD算法：
wij vi hj来自datavi hj
recon
其中， 是学习率， vi hj data 是样本数据的期望， vi hj recon 是重构后可视层数据的期望
可视层
RBM网络共有2层，其中第一层称为可视层，一般来说是输入层，另一层 是隐含层，也就是我们一般指的特征提取层。 Wnm 是可视层与隐藏层之间
的权重矩阵， b 是可视节点的偏移量， c 是隐藏节点的偏移量。
“预训练”方法——限制玻尔兹曼机（RBM）
m
p(hj 1| v) ( wjivi c j ) i 1