Feature selection
Inference: prediction, recognition
2.2 特征表示
2.人脑视觉机理与特征表示
手工地选取特征是一件非常费力、启发式（需要专 业知识）的方法，而且它的调节需要大量的时间。
➢ 既然手工选取特征不太好，那么能不能自动地学习一些 特征？
➢ 学习出特征能否很好的表征目标？
目录
人脑视觉机理
01
与特征表示
03
概述与背景
02
卷积神经 网络
TensorFlow的t框架
3.卷积神经网络-CNN
LeCun 1998年，LeCun提出LeNet，并成功应用于美国手写数字识别。测试误差小于1%。 麻雀虽小，但五脏俱全，卷积层、pooling层、全连接层，这些都是现代CNN网络的基本组件。
卷积
当获得一张船图作为输入的时候，网络正确的给船的分 非线性(ReLU)
类赋予了最高的概率(0.94)。输出层的各个概率相加应
池化或下采样
为1.
分类（全连接层）
输出层
3.1 初探----CNN结构演变
3.卷积神经网络-CNN
CNN的应用也很广泛，其中包括图像分类，目标检测，目标识别，目标跟踪，文本检测和识别以及位置估计等。
卷积神经 网络
TensorFlow的 相关介绍
04
2.人脑视觉机理与特征表示
2.1 人脑视觉机理---大脑神经元的信号传输
神经元
人工神经网络
树突
输入
神经元 接收信号
隐含层输入
神经元激活 轴突发出信号
隐含层输出
大脑神经元信号传输的模拟
2.人脑视觉机理与特征表示
2.1 人脑视觉机理---大脑识别物体过程
3.2 基本单元-----卷积层
3.卷积神经网络-CNN
如上图是LeNet-5，它的第一个卷积层含有6的feature map，每一个feature map对应一个卷积核，也就
对应提取了图像的一种特征。这里注意最终的feature map并不是做完卷积后的结果，然后还要加一个 非线性激活的操作，一般用ReLU函数，这个过程一般叫做detector stage。
➢ 从原始信号摄入开始（瞳孔 摄入像素 Pixels）；
➢ 接着做初步处理（大脑皮层 某些细胞发现边缘和方向）；
➢ 然后抽象（大脑判定，眼前 的物体的形状）；
➢ 然后进一步抽象（大脑进一 步判定该物体）。
Low-level sensing
Preprocessing
Feature extraction
2.2 特征表示
2.人脑视觉机理与特征表示
✓ 在不同对象上做训练时， 所得的边缘基底 是非常 相似的，但对象部分和模 型 就会完全不同了。
特征表示也可以分层
结构性特征 抽象层面越高，存在的可 能猜测就越少，就越利于 分类 初级（浅层）特征表示
2.人脑视觉机理与特征表示
神经元的模型
分层处理信息
特征的分层表达
输出: The network predicts what the object most likely is, based on its training
2.3浅层学习和深度学习
2.人脑视觉机理与特征表示
深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而 最终提升分类或预测的准确性。因此，“深度模型”是手段，“特征学习”是目的。区别于传统的浅层学习， 深度学习的不同在于： 1）强调了模型结构的深度，通常有5层、6层，甚至几十层的隐层节点； 2）明确突出了特征学习的重要性，也就是说，通过逐层特征变换，将样本在原空间的特征表示变换到一个 新特征空间，从而使分类或预测更加容易。这种分层结构，是比较接近人类大脑的结构的。 与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。
First Layer: the neurons respond to different simple shapes, like edges
High Layer: the neurons respond to more complex structures
Top Layer: the neurons respond to highly complex, abstract concepts that we would identify as different animals
目录
01
概述与背景
人脑视觉机理
与特征表示
03
02
卷积神经
网络
TensorFlow的 相关介绍
04
1.概述与背景
1.1 人工智能、机器学习、深度学习、数据挖掘之间的关系
数据挖掘
深度学习 机器学习
人工智能
1.2 神经网络兴衰史
1.概述与背景
第一次兴起（1958年）：感知机，由于 没有引入非线性，不能求解异或问题。
训练: during the training phase, a neural network is fed thousands of labeled images of various animals, learning to classify them
输入: An unlabeled image is shown to the pre-trained network
3.2 基本单元-----卷积层
3.卷积神经网络-CNN
步幅(Stride) 步幅是每次滑过的像 素数。当Stride=2的 时候每次就会滑过2 个像素。步幅越大， 特征映射越小。
卷积层--convolution 池化层--pooling 全连接层—fully connected
3.1 初探----完整的CNN
3.卷积神经网络-CNN
输入层
卷积层 +ReLU
池化层
卷积层 +ReLU
池化层
全连接 层
全连接 层
把图片分入四个类别：狗，猫，船，鸟
卷积神经网络主要执行了四个操作：
第二次兴起（1986年）：将BP(Back Propagation)神经网络的提出。
第三次兴起（2012年）：深度学习的兴 起，一直到现在。
• 发展基础： ✓ 数据爆炸：图像数据、文本数据、 语音数据、社交网络数据、科学计 算等 ✓ 计算性能大幅提高
目录
01
概述与背景
人脑视觉机理 与特征表示
02
03