当前位置:文档之家› 深度学习-神经网络

深度学习-神经网络


进化核心:繁殖、变异、筛选的动态循环 关键在于,关联的更新速度>环境的变化速度。
刚才的描述是蛋白质层面上的低等智能,通过自我繁殖来进行进化。自然界无法瞬 间产生特别复杂的功能,高等智能都是由低等智能迭代生成的。高等智能最具代表性的 就是可以思考。但是思考的原理实在难以解读。还是用老方法,转而问为什么会进化出 意识允许我们思考,它能够解决什么问题? 因为环境的变化是随机的,所以进化并没有方向,但是却有增加差异性的趋势。 通过自我复制的方式,能够产生的差异性还是较弱。所以自然界慢慢的开始形成了有性 繁殖,两个不同的个体进行交配,增加子代的差异性。但是有性繁殖使得大范围移动成 为了必然需求。环境会随着移动而变化,个体在上一环境中通过自然学习所学习到的关 联,在下一个环境并不适用。
需要新的学习方式:
•生长周期:无法自然选择试错 • 大脑模拟:预测未来事件 • 神经网络:寻找过去事件到未来事件的关联f (任意两个空间)
2、神经网络
2.1、神经元

每层神经网络的数学理解:用线性变换跟随着非线性变化,将输入空间投向另一个 空间。

每层神经网络的物理理解:通过现有的不同物质的组合形成新物质。
图片识别--卷积神经网络 卷积神经网络就是让权重在不同位置共享的神经网络。
局部连接
空间共享
过滤器是共享的。
输出表达
如先前在图像表达中提到的,图片不用向量去表示是为了保留图片平面结构的信息。 同样的,卷积后的输出若用上图的排列方式则丢失了平面结构信息。 所以我们依然用矩 阵的方式排列它们,就得到了下图所展示的连接:
Sigmoid
此外,sigmoid函数的输出均大于0,使得输 出不是0均值,这称为偏移现象,这会导致后 一层的神经元将得到上一层输出的非0均值的 信号作为输入。
Tanh
ReLU
可以看到,当x<0时,ReLU硬饱和, 而当x>0时,则不存在饱和问题。所以, tanh也是一种非常常见的激活函数。 ReLU 能够在x>0时保持梯度不衰减, 与sigmoid相比,它的输出均值是0, 从而缓解梯度消失问题。然而,随着 使得其收敛速度要比sigmoid快,减少 训练的推进,部分输入会落入硬饱和 迭代次数。然而,从途中可以看出, 区,导致对应权重无法更新。这种现 tanh一样具有软饱和性,从而造成梯 象被称为“神经元死亡”。 度消失。
0 -0.3 -0.4

1 0.1 0.2
0.2 0.2 0.1
0.4 -0.3


省去中间计算过程,最后得到第一轮训练之后的新的权重与阈值:
0.192
-0.306 0.4
0.1 -0.508 0.194 -0.261 -0.138 0.218 0.194 -0.408
4.1、视觉感知
4.1.1、画面识别是什么任务? 卷积神经网络最初是服务于画面识别的,所以我们先来看看画面识别的实质是什么。
通过上面的两组对比图可以知道,即便是相同的图片经过不同的视觉系统,也会得到 不同的感知。 任何视觉系统都是将图像反光与脑中所看到的概念进行关联。 画面识别实际上是寻找(学习)人类的视觉关联方式������, 并再次应用。
4.1.2、图片被识别成什么取决于哪些因素?
图片被识别成什么不仅仅取决于图片本身,还取决于图片是如何被观察的。
3.2.4、具体流程

② ③ ④ ⑤ ⑥
收集训练集:也就是同时有输入数据以及对应标签的数据。
设计网络结构:确定层数、每一隐藏层的节点数和激活函数,以及输出层的激活函数 和损失函数。 数据预处理:将所有样本的输入数据和标签处理成能够使用神经网络的数据,标签的 值域符合激活函数的值域。 权重初始化:每层的权重在训练前不能为空,要初始化才能够计算损失值从而来降低。 训练网络:训练过程就是用训练数据的输入经过网络计算出输出,再和标签计算出损 失,再计算出梯度来更新权重的过程。 预测新值:训练过所有样本后,打乱样本顺序再次训练若干次。训练完毕后,当再来 新的数据输入,就可以利用训练的网络来预测了。
上面是一层神经网络可以做到的,如果把一层神经网络的输出当做新的输入再次用 这5种操作进行第二遍空间变换的话,网络也就变为了二层。设想网络拥有很多层时,对 原始输入空间的“扭曲力”会大幅增加,如下图,最终我们可以轻松找到一个超平面分 割空间。
当然也有如下图失败的时候,关键在于“如何扭曲空间”。所谓监督学习就是给予 神经网络网络大量的训练例子,让网络从训练例子中学会如何变换空间。每一层的权重W 就控制着如何变换空间,我们最终需要的也就是训练好的神经网络的所有层的权重矩阵。 线性可分视角:神经网络的学习就是学习如何利用矩阵的线性变换加激活函数的非 线性变换,将原始输入空间投向线性可分/稀疏的空间去分类/回归。 增加节点数:增加维度,即增加线性转换能力。 增加层数:增加激活函数的次数,即增加非线性转换次数。
ELU
Maxout
这个激活函数有点大一统的感觉,因为 maxout网络能够近似任意连续函数,且当 w2,b2,…,wn,bn为0时,退化为ReLU。 Maxout能够缓解梯度消失,同时又规避了 ReLU神经元死亡的缺点,但增加了参数和计 算量。
融合了sigmoid和ReLU,左侧具有软饱和 性,右侧无饱和性。右侧线性部分使得 ELU能够缓解梯度消失,而左侧软饱能够 让ELU对输入变化或噪声更敏感。ELU的输 出均值接近于零,所以收敛速度更快。
反向传播算法
• 局部极小值
梯度下降不一定能够找到全局的最优解,有可能是一个局部最优解。
解决办法:
1.调节步伐:调节学习速率,使每一次的更新“步伐”不同。 (1)随机梯度下降(SGD):每次只更新一个样本所计算的梯度 (2)小批量梯度下降(MGD):每次更新若干样本所计算的梯度的平均值 (3)动量(Momentum):不仅仅考虑当前样本所计算的梯度,还考虑到Nesterov动量 (4)Adagrad、RMSProp、Adadelta、Adam:这些方法都是训练过程中依照规则降低学习 速率,部分也综合动量 2.优化起点:合理初始化权重、预训练网络,使网络获得一个较好的“起始点”。 常用方法有: 高斯分布初始权重(Gaussian distribution) 均匀分布初始权重(Uniform distribution) Glorot 初始权重、 He初始权重 稀疏矩阵初始权重(sparse matrix)
2.2.2、物理视角:“物质组成” 回想上文由碳氧原子通过不同组合形成若干分子的例子。从分子层面继续迭代这种 组合思想,可以形成DNA,细胞,组织,器官,最终可以形成一个完整的人。不同层级之 间都是以类似的几种规则再不断形成新物质。
例子:人脸识别
物质组成视角:神经网络的学习过程就是学习物质组成方式的过程。 增加节点数:增加同一层物质的种类,比如118个元素的原子层就有118个节点。 增加层数:增加更多层级,比如分子层,原子层,器官层,并通过判断更抽象的概念来 识别物体。
感知机(perceptron)是由两层神经元组成 的结构,输入层用于接受外界输入信号,输 出层(也被称为是感知机的功能层)就是MP神经元。 感知机能容易的实现逻辑与、或、非运算。 一般的,对于给定训练集,所需的权重以及 阈值都可以通过学习得到。
感知器只能做简单的线性分类任务。
4.1多层前馈神经网络 要解决非线性可分问题,就要使用多层神经网络。最基础的多层神经网络就是多层前 馈神经网络。
4.2、BP算法 多层网络的学习能力显然要比单层感知机强的多。但是简单的感知机学习就不够了, 需要更强大的学习算法。不得不提其中最杰出、最成功的代表——误差逆传播(error BackPropagation,简称BP)算法。



运用BP算法的多层前馈神经网络神经网络实例:

1 -0.5 -0.2
2.3、神经网络的训练
神经网络的学习过程就是学习控制着空间变换方式(物质组成方式)的权重矩阵 W , 那如何学习每一层的权重矩阵 W 呢? 2.3.1、激活函数
激活函数的主要作用是提供网络的非线性建模能力。如果没有激活函数,那么该网 络仅能够表达线性映射,此时即便有再多的隐藏层,其整个网络跟单层神经网络也是等 价的。因此也可以认为,只有加入了激活函数之后,深度神经网络才具备了分层的非线 性映射学习能力。
图片识别--前馈神经网络
方便起见,我们用depth只有1的灰度图来举例。 想要完成的任务是:在宽长为4x4 的图片中识别是否有下图所示的“横折”。 图中,黄色圆点表示值为0的像素,深色圆 点表示值为1的像素。 我们知道不管这个横折在图片中的什么位置,都会被认为是相同 的横折。
若训练前馈神经网络来完成该任务,那么表达图像的三维张量将会被摊平成一个向 量,作为网络的输入,即(width, height, depth)为(4, 4, 1)的图片会被展成维度为16 的向量作为网络的输入层。再经过几层不同节点个数的隐藏层,最终输出两个节点,分 别表示“有横折的概率”和“没有横折的概率”,如下图所示。


画面不变性 在决定如何处理“数字长方体”之前,需要清楚所建立的网络拥有什么样的特点。 我们知道一个物体不管在画面左侧还是右侧,都会被识别为同一物体,这一特点就是不 变性,如下图所示:
我们希望所建立的网络可以尽可能的满足这些不变性特点。 为了理解卷积神经网络对这些不变性特点的贡献,我们将用不具 备这些不变性特点的前馈神经网络来进行比较。
解决办法是用大量物体位于不同位置的数据训练,同时增加网络的隐藏层个数 从而扩大网络学习这些变体的能力。 然而这样做十分不效率,因为我们知道在左侧的“横折”也好,还是在右侧的 “横折”也罢,大家都是“横折”。 为什么相同的东西在位置变了之后要重新学习? 有没有什么方法可以将中间所学到的规律也运用在其他的位置? 换句话说,也就是 让不同位置用相同的权重。
1.
2. 3.
可微性: 当优化方法是基于梯度的时候,这个性质是必须的。
相关主题