当前位置:文档之家› 趋势分析之卷积神经网络

趋势分析之卷积神经网络

趋势分析之卷积神经网络
卷积神经网络(Convolutional Neural Networks, CNN)是一类包含卷积计算且具有深度结构的前馈神经网络(Feedforward Neural Networks),是深度学习(deep learning)的代表算法之一。

由于卷积神经网络能够进行平移不变分类(shift-invariant classification),因此也被称为“平移不变人工神经网络(Shift-Invariant Artificial Neural Networks, SIANN)”。

对卷积神经网络的研究始于二十世纪80至90年代,时间延迟网络和LeNet-5是最早出现的卷积神经网络;在二十一世纪后,随着深度学习理论的提出和数值计算设备的改进,卷积神经网络得到了快速发展,并被大量应用于计算机视觉、自然语言处理等领域。

第一个卷积神经网络是1987年由Alexander Waibel等提出的时间延迟网络(Time Delay Neural Network, TDNN)。

TDNN是一个应用于语音识别问题的卷积神经网络,使用FFT预处理的语音信号作为输入,其隐含层由2个一维卷积核组成,以提取频率域上的平移不变特征。

卷积神经网络热度变化图
下面我们将用Trend analysis分析卷积神经网络领域内的研究热点。

(点击链接即可进入Convolutional Neural Networks Trend Analysis:
https:///topic/trend?query=Convolutional%20Neural%20Networks)
卷积神经网络长期以来是图像识别领域的核心算法之一,并在大量学习数据时有稳定的表现。

对于一般的大规模图像分类问题,卷积神经网络可用于构建阶层分类器(hierarchical classifier),也可以在精细分类识别(fine-grained recognition)中用于提取图像的判别特征以供其它分类器进行学习。

所以我们可以通过Trend analysis的分析挖掘结果发现,当前该领域的热点研究话题有feature extraction、speech recognition、face recognition、information retrieval、object recognition等。

有意思的是,根据Trend analysis我们发现卷积神经网络相关的热门话题中出现了Fire Spread,即火势蔓延。

这是因为监测火势蔓延变化的最佳手段是遥感技术,而卷积神经网络在遥感科学,尤其是卫星遥感中有广泛应用。

在解析遥感图像的几何、纹理和空间分布特征时,卷积神经网络在计算效率和分类准确度方面均有明显优势。

依据遥感图像的来源和目的,卷积神经网络被用于下垫面使用和类型改变研究以及物理量,例如海冰覆盖率的遥感反演。

此外卷积神经网络被广泛用于遥感图像的物体识别和图像语义分割。

卷积神经网络除了被应用在图像识别领域和遥感科学领域外,还被广泛应用于物体识别、行为认知、姿态估计、神经风格转换、物理学、大气科学等领域。

其中,神经风格转换是卷积神经网络的一项特殊应用,其功能是在给定的两份图像的基础上创作第三份图像,并使其内容和风格与给定的图像尽可能地接近。

神经风格转换除进行艺术创作外,也被用于照片的后处理。

附一. 卷积神经网络领域5位代表学者
Tara N. Sainath
h-index: 34| #Paper: 145| #Citation: 10106 研究领域:
Parameter Estimation
Neural Networks
Belief Networks
Gradient Boosting
Kalman Filtering
Hang Li(李航)
h-index: 65| #Paper: 278| #Citation: 17063 研究领域:
Information Retrieval
Learning To Rank
Machine Learning
Data Mining
Abdel-Rahman Mohamed
h-index: 26| #Paper: 44| #Citation: 18214
研究领域:
Speech Recognition
Hidden Markov Model
Neural Network
Speech
Neural Nets
Yann LeCun
h-index: 115| #Paper: 343| #Citation: 102590
Neural Network
Feature Extraction
Neural Net
Pattern Recognition
Object Recognition
Xiaoou Tang (汤晓鸥)
h-index: 111| #Paper: 580| #Citation: 57155
研究领域:
Face Recognition
Feature Extraction
Computer Vision
Principal Component Analysis
Image Retrieval
附二. 卷积神经网络领域5篇代表论文
题目:ImageNet Classification with Deep Convolutional Neural Networks 会议/期刊:V olume 60, Issue 6, 2017, Pages 84-90.
年份:2017年
作者:Alex Krizhevsky, Ilya Sutskever, and Geoffrey E. Hinton.
引用量:26474
题目:Visualizing and Understanding Convolutional Neural Networks.
年份:2013年
作者:Matthew D Zeiler, and Rob Fergus.
引用量:3322
题目:Large-Scale Video Classification with Convolutional Neural Networks
会议/期刊:CVPR,, pp. 1725-1732, (2014)
年份:2014年
作者:Andrej Karpathy, George Toderici, Sanketh Shetty, Thomas Leung, Rahul Sukthankar, and Li Fei-Fei.
引用量:2907
题目:Convolutional Neural Networks for Sentence Classification
会议/期刊:EMNLP, (2014): 1746-1751
年份:2014年
作者:Yoon Kim
引用量:2676
题目:A Convolutional Neural Network for Modelling Sentences
会议/期刊:ACL, (2014): 655-665
年份:2014年
作者:Nal Kalchbrenner, Edward Grefenstette, and Phil Blunsom.
引用量:1618。

相关主题