在t时刻，LSTM的输入有三个：
当 前 时 刻 网 络 的 输 入 值 Xt 、 上 一 时 刻 LSTM 的 输 出 值 ht-1 、 以 及 上 一 时 刻 的 单 元 状 态 Ct-1 ； LSTM 的 输出有两个：当前时刻LSTM输出 值ht、和当前时刻的单元状态Ct
树结构和图结构的数据无法处理
（samples,height,width,depth） (samples, frames, height, width, color-depth）
推文数据集
推文数据集。我们将每条推文编码为280个字 符组成的序列，而每个字符又来自于128 个字符组成的字母表。在这种情况下，每个字 符可以被编码为大小为128的二进制向量 （只有在该字符对应的索引位置取值为1，其 他元素都为0）。那么每条推文可以被编码 为一个形状为(280, 128)的2D张量，而包含100 万条推文的数据集则可以存储在一 个形状为(1000000, 280, 128)的张量中。
STEP 3
数据预处理： 数据清理、集成、规约、 变换、特征工程等
5
STEP 5
优化模型
STEP 2
数据集选取： 数据是否有标 记，决定了有 无监督算法
STEP 4
模型算法选择： 选择合适的算 法进行训练学 习
PART2
非结构化数据
6
非结构化数据
7
数据类别
非结构化数据
半结构化数据
半结构化数据可以通过灵活的键值调
非结构化数据挖掘
——浅谈深度学习
文本挖掘、人脸识别、计算机视觉处理
1
CONTENTS
01 机器学习算法回顾 03 深度学习算法
02 非结构化数据 04 案例与代码
2
PART1
机器学习算法回顾
3
机器学习算法回顾
4
算法分类
机器学习算法回顾
数据挖掘流程
STEP 1
定义问题：
有哪些数据可用？ 你想要预测什么？
（width，height，color-depth） 分类或其他
二维卷积神经网络
softmax（多分类）或 其他
categorical_crossentropy
声音数据
（sequences，feathers）
分类或其他
一维卷积神经网络 （首选）或循环神
经网络
softmax（多分类）或 其他
categorical_crossentropy
蓝色表示正面评价，红色表示负面评价。每个节点是一个向量，这 个向量表达了以它为根的子树的情感评价。比如"intelligent humor" 是正面评价，而"care about cleverness wit or any other kind of intelligent humor"是中性评价。我们可以看到，模型能够正确的处 理doesn't的含义，将正面评价转变为负面评价。
深度学习
13
卷积神经网络
局部连接 这个是最容易想到的，每个神经元不再和上一层的所有神经元相连，而只和一小部分神经元相连。这样就减少了很多参数
权值共享 一组连接可以共享同一个权重，而不是每个连接有一个不同的权重，这样又减少了很多参数
下采样 可以使用Pooling来减少每层的样本数，进一步减少参数数量，同时还可以提升模型的鲁棒性
整获取相应信息，且数据的格式不固
定，如json，同一键值下存储的信息
可能是数值型的，可能是文本型的，
结构化数据
也可能是字典或者列表。 半结构化数 据，属于同一类实体可以有不同的属
可以使用关系型数据库表示和存储，
性，即使他们被组合在一起，这些属 性的顺序并不重要。常见的半结构数
表现为二维形式的数据。一般特点是： 据有XML和JSON。
文本数据
（sequences，feathers）
分类或其他
维卷积神经网络 （首选）或循环神
经ห้องสมุดไป่ตู้络
softmax（多分类）或 其他
categorical_crossentropy
循环神经网络（首
时间序列数据 （time_steps，feathers） 回归预测 选）或一维卷积神
无
MAE
经网络
视频数据
(samples, frames, height, width, color-depth）
视频数据
视频数据是现实生活中需要用到5D张量的少数数据 类型之一。视频可以看作一系列帧，
每一帧都是一张彩色图像。由于每一帧都可以保存在 一个形状为(height, width, color_depth)的3D张量中， 因此一系列帧可以保存在一个形状为(frames, height, width, color_depth)的4D张量中，而不同视频组成的 批量则可以保存在一个5D张量中，其形状为(samples, frames, height, width, color_depth)举个例子，一个以 每秒4帧采样的60秒YouTube视频片段，视频尺寸为 144×256，这个视频共有240帧。4个这样的视频片 段组成的批量将保存在形状为(4, 240, 144, 256, 3) 的张量中
当下最重要的一种神经网络，在所有图像、语音识别领域的重要突破都是卷积 神经网络取得的，比如打败李世石的AlphaGo也用到了这种网络
网络中没有记忆
深度学习
循环神经网络
14
此时刻的输入和上一时刻的输出共同决定此时刻的输出 只记录了上一时刻的信息，之前的信息丢失，没有长期记忆能力
深度学习
LSTM
15
深度学习
11
深度学习
密集神经网络
12
1、神经元线性排列，神经元按照层来布局 2、同一层的神经元之间没有连接,第N-1层神经元 的输出就是第N层神经元的输入。 3、每个连接都有一个权值 存在问题： 1、参数数量太多 一个输入1000*1000像素的图片 (一百万像素，现在已经不能算大图了)，输入层 有1000*1000=100万节点。假设第一个隐藏层有 100个节点(这个数量并不多)，那么仅这一层就有 (1000*1000+1)*100=1亿参数 2、没有利用数据之间的位置信息，假设数据之 间的相关性是相同的，尤其在图像处理中。 3、网络层数限制 我们知道网络层数越多其表达 能力越强，但是通过梯度下降方法训练深度全连 接神经网络很困难，因为全连接神经网络的梯度 很难传递超过3层。
数据以行为单位，一行数据表示一个
半结构化数据是以树或者图的数据结 构存储的数据
实体的信息，每一行数据的属性是相
同的
可简单理解为表格
顾名思义，就是没有固定结构的数据。 各种文档、图片、视频/音频等都属 于非结构化数据。 以二进制形式存储
非结构化数据
数据处理方法
文本数据编码
图像数据编码
8
视频数据编码
文本向量化：将文本分割为单词（词 组），并将每个单词转换为一个向量
深度学习
深度学习工作流程
深度学习信息的载 体
17
神经网络类型 每层的单元个数
深度学习
18
输入数据类型
输入数据向量化
目标类型
网络类型 输出层（激活函数）
损失函数
向量数据
（m,）
分类或回归等
密集型神经网络
sigmoid（二分类）或 无（回归）
categorical_crossentropy或MAE
图像数据
深度学习
递归神经网络
递归神经网络可以把一个树/图结构信息编码为1一6个向量，也就是把信
息映射到一个语义向量空间中。这个语义向量空间满足某类性质，比如 语义相似的向量距离更近。如果两句话的意思是相似的，那么把它们分 别编码后的两个向量的距离也相近；反之，如果两句话的意思截然不同， 那么编码后向量的距离则很远 递归神经网络将所有的词、句都映射到一个2维向量空间中。句子『the country of my birth』和句子『the place where I was born』的意思是非常 接近的，所以表示它们的两个向量在向量空间中的距离很近。递归神经 网络把句子"the country of my birth"表示为二维向量[1,5]。
PART3
深度学习
9
深度学习
人工智能 机器学习 神经网络 深度学习
10
深度学习
深度学习是机器学习的一个分支领域：它是从数据中 学习表示的一种新方法，强调从连续的层（神经网络） 中进行学习，这些层对应于越来越有意义的表示。 简单来讲，深度学习就是层数超过三层的神经网络算 法，是一种信息蒸馏的方法。信息保存在每一层的权 重中 类别：密集神经网络、卷积神经网络、循环神经网络、 递归神经网络 应用：计算机视觉识别（图像分类、人脸识别等）、 语音识别、文本序列处理、机器翻译等等
图像数据
图像通常具有三个维度：高度、 宽度和颜色深度。虽然灰度图像 （比如MNIST数字图像） 只有一个颜色通道，因此可以保 存在2D张量中，但按照惯例，图 像张量始终都是3D张量，灰 度图像的彩色通道只有一维。因 此，如果图像大小为256×256， 那么128张彩色图像组成的批 量可以保存在一个形状为(128, 256, 256, 3)的张量中
binary_crossentropy
优化器 rmsprop rmsprop
rmsprop
rmsprop
rmsprop
rmsprop rmsprop rmsprop rmsprop
PART4
案例与代码
19
案例与代码
01
电影评论情感划分
手写数字识别
02
20
03
猫狗分类
案例与代码
21
第一层激活的第4个通道