2014-10-19
***！三次最重要的卷积
2014-10-19
一般卷积神经网络的结构
2014-10-19
一个多图卷积的过程(正向过程)
• C2[4] = sigmoid( • cov(S1[1]*filter1[1][4]) • +cov(S1[1]*filter1[1][4]) • +cov(S1[1]*filter1[1][4]) • +cov(S1[1]*filter1[1][4]) • )
Testing samples：
Testing items
value
test pics
1900
Right prediction
1791
Right ratio
94.2632%
Training time
908ms(0.48ms/pic)
模型的复杂度
• 一个m*n*t的三层网络，连接权重的数量为m*n+n*t，bias的数量 为n+t个。 • 通常模型的参数越多，模型的表现功能就越强。参数就像砖块， 你的砖块越多，你可以用砖块表现的建筑也就越多。 • 但是模型参数越多，越不好训练： • why？ • 参数多，局部最优值越多，最常用的梯度下降法训练网络容易陷 入局部最优点。 • 训练花费时间越长，使用的时候需要的计算也相对多。
2014-10-19
局部最优
• 模型空间的局部最优与全局最优
2014-10-19
解决方法
• 神经网络预训练，如用RBM预训练，在有监督的训练前使模型空 间处于一个比较好的位置，容易在模型空间一个好的位置收敛 • 仿照人脑神经的工作特点，简化参数，增加深度。如卷积神经网 络CNN。 • CNN 根据人眼睛视觉神经的局部感受野特点设计。
Experiment
Neural network design
• Our neural network has 3 layers：
Layer Dimension meaning Input layer 14*14=196 Average grey value of four neighbor dots Hidden layer 196 Empirical value , about 1~1.5 times of the input Output layer 10 Target numbers , I.e. 0,1,2,3….9
neural network
• Neural network is a machine learning method.
method
Back Propagation
• Back propagation(BP) is a neural network learning algorithm.
method
2014-10-19
一个多图卷积的过程(误差传播过程)
2014-10-19
CNN我的一些工作
2014-10-19
无交叉卷积的效果
2014-10-19
无交叉卷积的迭代效果
2014-10-19
交叉卷积结构
2014-10-19
交叉卷积的结果
迭代次数-时间-准确率
2014-10-19
Thank you for listening!
A Hand-writing digit recognition Application base on Neural network and covolutional neural network
Colleague of Computer Science Inner Mongolia University Hohhot , Inner Mongolia , P.R China Email: huangz感受视野 共享权值
2014-10-19
卷积神经网络
2014-10-19
leNet5 的鲁棒性 /exdb/lenet/index.ht ml
2014-10-19
卷积神经网络
• 基于人工神经网络 • 在人工神经网络前，用卷积滤波器进行特征抽取 • 使用卷积核作为特征抽取器 • 自动训练特征抽取器（即卷积核，即阈值参数）
• 卷积核一次训练多次使用，可以在线学习（模型在训练好之后， 在使用中继续训练）。 • 局部感受野+权值共享+降采样 使模型参数大幅减小。
2014-10-19
卷积
• 卷积其实是一个图像处理核 • 卷积用于增强图像的某种特征
2014-10-19
卷积的效果
2014-10-19
子采样
• 降低图像分辨率 • 减少训练维数 • 增强网络对大小变化的适用性 • 这个过程也被称为pooling，常用pooling 有两种： • mean-pooling、max-pooling
NN digit recognition
• 1. Background • 2. Method • neural network • back-propagation • 3. Experiment • training and testing samples • neural network structure • results
Experiment
neural network design
• BP neural network
Experiment
results
Training samples： Training items value Sample pics 7000 Right prediction 6888 Right ratio 98.4% Training time 603 476ms
Experiment
Environment
• Hardware: • CPU: Intel core i7 3630QM, 2.4GHZ • Memory: 8G Byte • Software: • OS: windows 7 (64) • IDE: vs2010 (C++)
Experiment
Experiment-Training and testing Samples
• Training and testing samples are from • MNIST ，/exdb/mnist/ • Every pic is a 28*28 dot matrix • There are 10 pics in a sample, • and there are 891 samples
background
• OCR (Optical Character Recognition) has become one of the important methods in gathering information and information transformation. • Digit recognition has a promising feature in many fields in society, such as the car license plate recognition , postcode recognition, the statistics of report forms and financial report forms. • So the research on the Digit recognition is important.