1、定义和背景：1.1 深度学习（DL）有各种相近的定义或者高层次描述定义2：Deep Learning is a new area of Machine Learning research, which has been introduced with the objective of moving Machine Learning closer to one of its original goals: Artificial Intelligence. Deep Learning is about learning multiple levels of representation and abstraction that help to make sense of data such as images, sound, and text.（参见https:///lisa-lab/DeepLearningTutorials）自2006年以来，深度学习（deep learning）（也通常叫做深层结构学习或分层学习）已经成为机器学习领域的一个新兴领域（Hinton et al., 2006; Bengio, 2009 ）.在过去几年中，深度学习技术的发展已经对信号和信息过程领域产生广泛的影响，并将继续影响到机器学习和人工智能的其它关键领域；参见综述文章（Bengio et al., 2013; Hinton et al., 2012; Yu and Deng, 2011; Deng, 2011; Arel et al., 2010 ）.最近，已有一系列的致力于关于深度学习以及应用的研讨会和特别会议。
包括:the 2013 ICASSP’s special session on New Types of Deep Neural Network Learning for Speech Recognition and Related Applications,the 2010, 2011, and 2012 NIPS Workshops on Deep Learning and Unsupervised Feature Learning,the 2013 ICML Workshop on Deep Learning for Audio, Speech, and Language Processing;the 2012 ICML Workshop on Representation Learning,the 2011 ICML Workshop on Learning Architectures, Representations, and Optimization for Speech and Visual Information Processing,the 2009 ICML Workshop on Learning Feature Hierarchies,the 2009 NIPS Workshop on Deep Learning for Speech Recognition and Related Applications, the 2008 NIPS Deep Learning Workshop,the 2012 ICASSP tutorial on Deep Learning for Signal and Information Processing, the special section on Deep Learning for Speech and Language Processing in IEEE Transactions on Audio, Speech, and Language Processing (January 2012), and the special issue on Learning Deep Architectures in IEEE Transactions on Pattern Analysis and Machine Intelligence (PAMI, 2013).一些DL领域活跃的实验室和研究团队包括：University of Toronto - Machine Learning Group (Geoff Hinton, Rich Zemel, Ruslan Salakhutdinov, Brendan Frey, Radford Neal)Université de Montréal - Lisa Lab (Yoshua Bengio, Pascal Vincent, Aaron Courville, Roland Memisevic)New York University –Yann Lecun‘s and Rob Fergus‘ groupStanford University –Andrew Ng‘s groupUBC –Nando de Freitas‘s groupGoogle Research–Jeff Dean, Samy Bengio, Jason Weston, Marc’Aurelio Ranzato, Dumitru Erhan, Quoc Le et alMicrosoft Research –Li Deng et alSUPSI –IDSIA(Schmidhuber’s group)UC Berkeley –Bruno Olshausen‘s groupUniversity of Washington –Pedro Domingos‘ groupIDIAP Research Institute - Ronan Collobert‘s groupUniversity of California Merced –Miguel A. Carreira-Perpinan‘s groupUniversity of Helsinki - Aapo Hyvärinen‘s Neuroinformatics groupUniversité de Sherbrooke –Hugo Larochelle‘s groupUniversity of Guelph –Graham Taylor‘s groupUniversity of Michigan –Honglak Lee‘s groupTechnical University of Berlin –Klaus-Robert Muller‘s groupBaidu –Kai Yu‘s groupAalto University –Juha Karhunen‘s groupU. Amsterdam –Max Welling‘s groupU. California Irvine –Pierre Baldi‘s groupGhent University –Benjamin Shrauwen‘s groupUniversity of Tennessee –Itamar Arel‘s groupIBM Research –Brian Kingsbury et alUniversity of Bonn –Sven Behnke’s groupGatsby Unit @ University College London – Maneesh Sahani, Yee-Whye Teh, Peter Dayan（详见/deep-learning-research-groups-and-labs/ ）.这些研究团队在DL的各种不同应用中取得经验性的成功，如计算机视觉、语音识别、语音搜索、语音识别、语音会话和图像特征编码、语义分类、手写识别话语、音频处理、信息检索、机器人学、甚至在分析可能导致新药的分子方面等等。
许多优秀的经常更新教程、参考资料:：/reading-list//wiki/index.php/UFLDL_Recommended_Readings/~hinton//tutorial//wiki/index.php/UFLDL_Tutorial2.深度学习的发展历史：传统机器学习和信号处理技术探索仅含单层非线性变换的浅层学习结构。
浅层模型的一个共性是仅含单个将原始输入信号转换到特定问题空间特征的简单结构。
典型的浅层学习结构包括传统隐马尔可夫模型（HMM）、条件随机场（CRFs）、最大熵模型（MaxEnt）、支持向量机（SVM）、核回归及仅含单隐层的多层感知器（MLP）等。
例如，SVM用包含一层（使用核技巧）或者零个特征转换层的浅层模式分离模型。
（最近已有将核方法与DL结合的新方法。
如，Cho and Saul, 2009; Deng et al., 2012; Vinyals et al., 2012）。
浅层结构的局限性在于有限的样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。
神经科学研究表明，人的视觉系统的信息处理是分级的。
人类感知系统这种明确的层次结构极大地降低了视觉系统处理的数据量，并保留了物体有用的结构信息。
有理由相信，对于要提取具有潜在复杂结构规则的自然图像、视频、语音和音乐等结构丰富数据，深度学习能够获取其本质特征。
受大脑结构分层次启发，神经网络研究人员一直致力于多层神经网络的研究。
历史上，深层学习的概念起源于神经网络的研究。
带有多隐层的前馈神经网络或者多层感知器通常被成为深层神经网络（DNNs），DNNs就是深层构架的一个很好的例子。
BP算法作为传统训练多层网络的典型算法，实际上对于仅含几层网络，该训练方法就已很不理想（参见(Bengio, 2009; Glorot and Bengio, 2010). 在学习中，一个主要的困难源于深度网络的非凸目标函数的局部极小点普遍存在。
反向传播是基于局部梯度下降，通常随机选取初始点。
使用批处理BP算法通常会陷入局部极小点，而且随着网络深度的增加，这种现象更加严重。
此原因在一定程度上阻碍了深度学习的发展，并将大多数机器学习和信号处理研究从神经网络转移到相对较容易训练的浅层学习结构。