卷积神经网络(CNN)
卷积层：局部连接（卷积，滤波器…）
共享权重（若干种滤波器）
大大减少需要学习的权重数
Pooling层：降维，不变性 非线性激活
Kernel size: 2x2 Stride:2
3614 4778
Max Pooling
78 44
2212 2434
Mean Pooling
17
LFW人脸识别评测
Labeled Face in the Wild (LFW)
非限定条件下的人脸识别 数据来源于因特网 国外名人，Yahoo新闻 广为人知的测试模式
训练集：无限制 验证任务测试集
共6000图像对
Institute of Computing Technology, Chinese Academy of Sciences
Huang G B, Ramesh M, Berg T, et al. Labeled faces in the wild: A database
for studying face recognition in unconstrained environments. Technical
Report, University of Massachusetts, Amherst, 2007.
16
Institute of Computing Technology, Chinese Academy of Sciences
LFW人脸识别评测
人脸识别技术史本质上是评测人脸库更替史！ 学术界的里程碑（数据库）
ORL, Extended Yale B: 1990~2012 (人数少于40人)
18
Institute of Computing Technology, Chinese Academy of Sciences
过去2年的新进展——深度学习
FRGC v2.0: 2004~2012 (约500人, 每人50+张图)
拒识率4% @ FAR=0.1% [Y.Li, S.Shan, H.Zhang, o, X.Chen, ACCV12]
LFW: 2007~至今 (~5749明星, 1680人多于2张图)
正确率95.17% [D.Chen, X. Cao, F. Wen, J. Sun, CVPR13] 正确率97.35% [Y.Taigman, M. Yang, M.Ranzato, L. Wolf, CVPR14] 正确率99.47% [Y. Sun, X. Wang, and X. Tang, CVPR14] 正确率99.63% [F. Schroff, D. Kalenichenko, and J. Philbin, CVPR15]
卷积神经网络(CNN)
全连接层本质上是非线性变换：y=f(Wx) 卷积层本质上是层级的、滤波型局部特征
与之前局部特征的不同
Gabor：权值固定、人为设定（加窗傅里叶型函数） CNN： 权值通过数据驱动的方式学习而来（最优目标函数）
14
特征提取器F（深度学习时代）
Institute of Computing Technology, Chinese Academy of Sciences
线性变换(PCA, LDA, MDS, Linear SVM) 非线性方法
流形学习，Kernel，非线性升维，分段线性（AdaBoost，DT）
5
Institute of Computing Technology, Chinese Academy of Sciences
特征提取器F（传统方法总结）
特征提取器F（传统方法总结）
分步法：预处理+人造特征+分类器学习
预处理
光照归一、姿态矫正、去遮挡、去表情…
人造特征（Knowledge-driven）
滤波器（Haar-like, SURF, Gabor） 梯度统计（SIFT，HOG，LBP）
分类器学习（Data-driven）
从分类任务到检测任务
SPP-Net R-CNN
Fast R-CNN Faster R-CNN
增加新的功能单元
Inception V2 (BN)
FCN
STNet
CNN + RNN/LSTM
13
Institute of Computing Technology, Chinese Academy of Sciences
分步法的缺陷 端到端/Joint Learning
通用特征不适应特定问题 问题特定特征设计困难 各个步骤最优未必全局最优
非线性能力的缺失 直接的非线性映射
流形学习
非显式变换；Novel样本不适用；分段线性
Kernel方法
黑盒子；有限种类核函数；核函数不可学
6
Institute of Computing Technology, Chinese Academy of Sciences
正确率95.17% [D.Chen, X. Cao, F. Wen, J. Sun, CVPR13] 正确率97.35% [Y.Taigman, M. Yang, M.Ranzato, L. Wolf, CVPR14] 正确率99.47% [Y. Sun, X. Wang, and X. Tang, CVPR14] 正确率99.63% [F. Schroff, D. Kalenichenko, and J. Philbin, CVPR15]
ORL, Extended Yale B: 1990~2012 (人数少于40人)
首选识别率: 95%~99% [J.Wright et al, 2008]
FERET: 1994~2010 (1196人, 每人2~5张图)
首选识别率: 99%~94% (Dup.I&II) [S.Xie, S.Shan, X.Chen, IEEE T IP10]
9
Institute of Computing Technology, Chinese Academy of Sciences
卷积神经网络(CNN)
CNN层叠以下三级操作+全连接层
卷积层：局部连接（卷积，滤波器…） Pooling层：下采样，降维，获取不变性 非线性激活
10
Institute of Computing Technology, Chinese Academy of Sciences
Rumelhart, David E.; Hinton, Geoffrey E.; Williams, Ronald J. (8 October 1986). "Learning representations by back-propagating
errors". Nature 323 (6088): 533–536.
局部特征参数可学习 变换可学习 非线性
特征(变换函数F) 学习
输入图像空间
低维判别特征空15间
Institute of Computing Technology, Chinese Academy of Sciences
人脸识别测试集和性能的变迁
人脸识别技术史本质上是评测人脸库更替史！ 学术界的里程碑（数据库）
二值化，Sigmoid ReLU
层级前馈连接
本质上要学习非线性函数
y=F(x)
x=(x1, x2, x3)
y=(y1, y2)
8
卷积神经网络(CNN)变迁
优化方法（学习权重和偏置）
1974年Webos在博士论文中首次提出BP算法，但未引发关注 目前广泛使用的BP算法诞生于1986年 以全连接层为例：链式求导，梯度反向传播
55 2.5 2.5
相同颜色的节点 共享权值
11
2015 12
2014
1998 2012 2015
卷积神经网络(CNN)变迁
1989
Institute of Computing Technology, Chinese Academy of Sciences
卷积神经网络(CNN)变迁
Institute of Computing Technology, Chinese Academy of Sciences
第一代：完全人工设计特征 ——知识驱动
几何特征，图像模板，Fourier谱
第二代：（子空间）变换特征 ——数据驱动
PCA，LDA，LPP，SR…
第三代：人工设计局部特征+特征变换—— + PCA，LDA等
第四代：特征学习 ——完全数据驱动
(错300对错24对) FRGC v2.0: 2004~2012 (约500人, 每人50+张图) 拒识率4% @ FAR=0.1% [Y.Li, S.Shan, H.Zhang, o, X.Chen, ACCV12]
LFW: 2007~至今 (~5749明星, 1680人多于2张图)
器
F
N
y2=F(x2)
不同人
x2
3
特征提取器F（传统方法总结）
第一代：完全人工设计特征
几何特征，图像模板，Fourier谱
特征变换
第二代：（子空间）变换特征
PCA，LDA，LPP，SR…
输入图像空间
低维判别特征空间
第三代：人工设计局部特征+变换特征
Gabor滤波器，LBP + PCA，LDA等
演化脉络
早期尝试
Neocognitron
LeCun1989
LeNet
历史突破
AlexNet
ReLU Dropout