• 2013年3月谷歌收购了DNNresearch公司是由多伦多大学教授Geoffrey Hinton与他的两个 研究生Alex Krizhevsky和Ilya Sutskever于去年成立，由于谷歌在本
次收购中没有获得任何实际的产品或服务，所以本次收购实质上属于
• 半个世纪过去了，人工智能的进展，远远没有达到图灵试验的标准。 这不仅让多年翘首以待的人们，心灰意冷，认为人工智能是忽悠，相 关领域是“伪科学”。 • 自 2006 年以来，机器学习领域，取得了突破性的进展。图灵试验， 至少不是那么可望而不可及了。至于技术手段，不仅仅依赖于云计算 对大数据的并行处理能力，而且依赖于算法。这个算法就是，Deep Learning。借助于 Deep Learning 算法，人类终于找到了如何处理“ 抽象概念”这个亘古难题的方法。
概述
• 2006年的3篇关于深度学习的突破性论文： • Hinton, G. E., Osindero, S. and Teh, Y.,A fast learning algorithm for deep belief nets.Neural Computation 18:1527-1554, 2006
Energy-Based Model, in J. Platt et al. (Eds), Advances in Neural
Information Processing Systems (NIPS 2006), MIT Press, 2007
概述
• 2012年6月，《纽约时报》披露了Google Brain项目，吸引了公众的 广泛关注。这个项目是由著名的斯坦福大学的机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家JeffDean共同主导，用 16000个CPU Core的并行计算平台训练一种称为“深度神经网络” （DNN，Deep Neural Networks）的机器学习模型（内部共有10亿 个节点。这一网络自然是不能跟人类的神经网络相提并论的。要知道 ，人脑中可是有150多亿个神经元，互相连接的节点也就是突触数更 是如银河沙数。曾经有人估算过，如果将一个人的大脑中所有神经细 胞的轴突和树突依次连接起来，并拉成一根直线，可从地球连到月亮
基于符号和逻辑表示的概念学习 决策树 人工神经网络 统计和估计理论的基础概念 贝叶斯理论 计算学习 基于实例的学习 遗传算法 规则学习 基于解释的学习 近似知识与现有数据的结合 增强学习 支持向量机
1. 概述、背景
2.人脑视觉机理、关于特征
深 度 学 习
(NIPS 2006), pp. 153-160, MIT Press, 2007
• Marc’Aurelio Ranzato, Christopher Poultney, Sumit Chopra and Yann LeCun Efficient Learning of Sparse Representations with an
人才性收购，收购的主体实为了这三人团队。
概述
• 为什么拥有大数据的互联网公司争相投入大量资源研发深度学习技术 。听起来感觉deep learning很牛那样。那什么是deep learning？为什 么有deep learning？它是怎么来的？又能干什么呢？目前存在哪些困 难呢？这些问题的简答都需要慢慢来。咱们先来了解下机器学习（人 工智能的核心）的背景。
• Yoshua Bengio, Pascal Lamblin, Dan Popovici and Hugo
Larochelle,Greedy LayerWise Training of Deep Networks, in J. Platt et al. (Eds), Advances in Neural Information Processing Systems 19
深度学习及其应用
目录
1. 机器学习概述
2.深度学习
概述
• 什么是机器学习 – 计算机程序如何随着经验积累自动提高性能系统自我改进的过程 • 成功应用 – 学习识别人类讲话 – 学习驾驶车辆 – 学习分类新的天文结构 – 学习对弈西洋双陆棋 • 涉及的相关学科 – 人工智能 – 计算复杂性理论 – 控制论 – 信息论 – 统计学
学习问题的标准描述
• 定义
– 如果一个计算机针对某类任务T的用P衡量的性能根据 经验E来自我完善，那么我们称这个计算机程序在从经 验E中学习，针对某类任务T，它的性能用P来衡量。
• 西洋跳棋学习问题的解释
– T，参与比赛 – E，和自己下棋 – P，比赛成绩（或赢棋能力，击败对手的百分比）
4
具体学习方法
3. Deep Learning 基本思想、浅层学习
4.深度学习与神经网络（Neural Network）
5. DP的常用模型与方法 6.Dp的总结 7. Dp的未来 8.DP的问题
概述
• Artificial Intelligence（人工智能）是人类最美好的梦想之一。 • 图灵（计算机和人工智能的鼻祖）在 1950 年的论文里，提出图灵试 验的设想，即，隔墙对话，你将不知道与你谈话的，是人还是电脑。 这无疑给计算机，尤其是人工智能，预设了一个很高的期望值。
，再从月亮返回地球），在语音识别和图像识别等领域获得了巨大的
成功。
概述
• 2012年11月，微软在中国天津的一次活动上公开演示了一个全自动 的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完 成语音识别、英中机器翻译和中文语音合成，效果非常流畅。据报道 ，后面支撑的关键技立百 度研究院，其中第一个成立的就是“深度学习研究所” 。
背景
• 机器学习（Machine Learning）是一门专门研究计算机怎样模拟或实 现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结 构使之不断改善自身的性能的学科。机器能否像人类一样能具有学习 能力呢？ • 1959年美国的塞缪尔(Samuel)设计了一个下棋程序，这个程序具有学 习能力，它可以在不断的对弈中改善自己的棋艺。4年后，这个程序