卷积神经网络和应用
5
二、神经网络与卷积神经网络
神经网络-训练理念（梯度下降）
x1
-----w11
Y1 y1 ------v11
Z1 z1
各变量满足如下公式：
-------v12 -----w12
-------v21
-------W21
x2
-------w22
Y2 y2 -----v22
Z2 z2
2/19/2021
卷积神经网络和应用
11
二、神经网络与卷积神经网络
子采样（pooling）
子采样通常有两种形式。均值子采样和最大值 子采样，子采样可以看做一种特殊的卷积过程。
2/19/2021
卷积神经网络和应用
12
二、神经网络与卷积神经网络
前向卷积过程
2/19/2021
卷积神经网络和应用
13
二、神经网络与卷积神经网络
2/19/2021
卷积神经网络和应用
8
二、神经网络与卷积神经网络
局部感受野
2/19/2021
卷积神经网络和应用
9
二、神经网络与卷积神经网络
卷积神经网络的一般结构
2/19/2021
卷积神经网络和应用
10
二、神经网络与卷积神经网络
卷积
卷积核kernal在inputX图中从左向右，从上至 下每次移动一个位置,对应位置相乘求和并赋值 到OutputY中的一个位置。
Err(zk ) = Tk -zk
nk
Err(yj) = vjk * Err(Zk ) k 1
Err(Yj) = yj*(1-yj) * Err(yj)
由每条连接前层神经元的输出 和后层神经元的误差得到权重
的修改量 并更新连接权重
deleta(wij) xi * Err(Yj )
2/19/2021
-------------v--32v31
---------------w--32w31
1
1
求vjk的梯度：
求wij的梯度：
y lossFun z z v jk
2/19/2021
*
j
* (1
k
k) * (Tk zk )
lossFun
x y y = -
w ij
*ห้องสมุดไป่ตู้
i
*(1-
j
2
)*
j
22
Thank You !
2/19/2021
卷积神经网络和应用
23
21
四、总结与展望
展望
由于采用使用的训练数据较少，CNN 尝试的网络结构及参数也少，我们还有很 大的模型的调优空间。
未来CNN还可以尝试使用更深层的网 络结构，使用更好的语音特征。由于深度 网络对数据描述的能力更强,我们预测增加 训练数据并经合理的训练可以达到更好的 结果。
2/19/2021
卷积神经网络和应用
2/19/2021
卷积神经网络和应用
14
三、卷积神经网络应用
编码实现CNN
我们采用了6w张手 写数字图片作为训 练集，用1w手写数 字图片作为测试集。
经过100次迭代， 在训练集上得到 99.51%的准确率， 在测试集上得到 98.8%的准确率。
2/19/2021
卷积神经网络和应用
15
CNN特征选取
v jk * (Tk zk ) * zk * (1 zk )
k 1
卷积神经网络和应用
6
二、神经网络与卷积神经网络
BP算法的规律
前向过程 兴奋在网络中从前
往后传播
nx
Yj wij * xi ; i0
yj = sigmoid(Yj);
计算末层神经元输出与期望输出的差值 作为错误信号
错误信号在神经网络中由后往前传播
2/19/2021
卷积神经网络和应用
2
一、研究现状
CNN的发展及研究现状
深度学习在语音识别、图像识别等领域摧枯拉朽。
国际会议、期刊等涌现大量深度学习的文章，CNN 被引入很多领域。
知名高科技公司都在深度学习领域加大投入。
2/19/2021
卷积神经网络和应用
3
二、神经网络与卷积神经网络
神经网络起源
2/19/2021
卷积神经网络和应用
4
二、神经网络与卷积神经网络
神经网络-训练过程
dEEedrlreEYEZzy((tlrkYeaZjrkrt((jayk)vrs(s)ij(=j)giwkinjgz=nm)x0iyyjm0)okwjzkv*onik)idy(k1ijkd1v*x(j=Y*-i(j*(kyx*Z)1*yEijkE)-TEjr)*zrr1Erkkr((r)Z(-Y1rZ*ez(kjykE)Y)kjr)r(zk )
x1
-----w11
Y1 y1 ------v11
Z1 z1
-------v12 -----w12
-------v21
-------W21
x2
-------w22
Y2 y2 -----v22
Z2 z2
-------------v--32v31
---------------w--32w31
1
1
2/19/2021
卷积神经网络和应用
7
二、神经网络与卷积神经网络
卷积神经网络
卷积神经网络是神经网络的一种变形 卷积神经网络与神经网络的主要区别就
是CNN采用了卷积和子采样过程。 神经生物学中局部感受野的提出（1962）
催生了卷积的思想。 卷积减少了CNN网络参数，子采样减少了
网络参数，权值共享大大减少的CNN网络 参数。但是CNN具备深层结构。
本文的CNN模型的输入是语音的 频谱特征
2/19/2021
卷积神经网络和应用
16
本文CNN网络结构描述
2/19/2021
卷积神经网络和应用
17
2/19/2021
卷积神经网络和应用
18
2/19/2021
卷积神经网络和应用
19
2/19/2021
卷积神经网络和应用
20
2/19/2021
卷积神经网络和应用
目录
一、研究现状 二、神经网络与卷积神经网络 三、卷积神经网络应用 四、总结与展望
2/19/2021
卷积神经网络和应用
2
一、研究现状
CNN的发展及研究现状
神经网络是神经科学与计算机科学结合的产物。
神经网络的研究几经起落，直到2006年，深度学习 提出，深度神经网研究兴起。
Hubel和wiesel通过对猫的视觉系统的实验，提出了 感受野的概念。基于视觉神经感受野的理论，有学 者提出CNN。