ｔ ｉ ｏ ｎ ａ ｎ ｄ ａ ｎ ａ ｌ ｙ ｓ ｉ ｓ ｏ ｎ ｄ ｅ ｅ ｐ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ｂ ｙ ｄ ｅ ｓ ｃ ｉ ｒ ｂ ｉ ｎ ｇ ａ ｎ ｄ ｒ ｅ ｖ ｉ ｅ ｗ ｉ ｎ ｇ ｔ ｈ ｅ ｓ ｔ ｒ ｕ ｃ ｔ ｕ ｒ ｅ ａ ｎ ｄ ｃ ｈ ａ ｒ ａ ｃ ｔ ｅ ｒ ｉ ｓ ｔ ｉ ｃ ｓ ｏ ｆ ｄ ｉ ｆ ｆ ｅ ｒ —
ａ ｃ ｔ ｉ ｏ ｎ ｓ ｏ ｎ ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｔ ｓ ｙ ｓ ｔ ｅ ｍｓ 。 ２ ０ １ ６ 。 １ １ （ ５ ） ： ５ ６ ７ － ５ ７ ７ ．
Ｐｒ ｏ ｇ ｒ ｅ ｓ ｓ ｒ ｅ ｐｏ ｒ ｔ ｏ ｎ ｎ ｅ ｗ ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ ｉ ｎ ｄ ｅ ｅ ｐ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ
深 度 学 习 方 法 研 究 新 进 展
刘 帅师 ， 程曦， 郭文燕 ， 陈奇
（ 长春 工业大学 电气与 电子工程 学院， 吉林 长春 １ ３ ０ ０ ０ ０ ） 摘 要： 本文依据模 型结构 对深度学习进行 了归纳和总结 ， 描述 了不 同模 型的结构 和特点 。首 先介绍 了深 度学 习的
０ｃ ｔ ． ２ ０ １ ６
网络 出 版 地 址 ： ｈ ｔ ｔ ｐ ： ／ ／ ｗ ｗ ｗ ． ｃ ｎ ｋ ｉ ． ｎ ｅ ｔ ／ ｋ ｅ ｍ ｓ ／ ｄ ｅ ｔ ａ ｉ ｌ ／ ２ ３ ． １ ５ ３ ８ ． Ｔ Ｐ ． ２ ０ １ ６ ０ ７ １ ５ ． １ ３ ５ ３ ． ０ ０ ２ ． ｈ ｔ ｍ ｌ
第１ １ 卷第 ５期
２ ０ １ ６年 １ ０月
Ｄ Ｏ Ｉ： １ ０． １ １ ９ ９２ ／ｔ ｉ ｓ ． ２ ０１ ５１ １ ０ ２８
智
能
系
统
学
报
Ｖｏｌ ＿ １１ № ． ５
ＣＡＭ Ｔ ｒ ａ ｎｓ ａ ｃ ｔ ｉ ｏ ｎ ｓ ｏ ｎ Ｉ ｎ ｔ ｅ ｌ ｌ ｉ ｇ ｅ ｎ ｔ Ｓ ｙ ｓ ｔ ｅ ｍｓ
ｅ ｎ ｔ ｍｏ ｄ ｅ ｌ ｓ ．Ｔｈ ｅ ｐ ａ ｐ ｅ ｒ ｉｒ ｆ ｓ ｔ ｌ ｙ ｉ ｎ ｔ ｒ ｏ ｄ ｕｃ ｅ ｓ ｔ ｈｅ ｃ ｏ ｎ ｃ ｅ ｐ ｔ ａ ｎ ｄ ｓ ｉ ｇ ｎ ｉ ｉｃ ｆ ａ ｎ ｃ ｅ ｏ ｆ ｄ ｅ ｅ ｐ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ，ａ ｎ ｄ ｔ ｈ ｅ ｎ ｒ ｅ ｖ ｉ ｅ ｗｓ ｆ ｏ ｕ ｒ ｔ ｙ ｐ ｉ ｃ ａ ｌ
概念 及意义 ， 然后介 绍了 ４种典 型模 型 ： 卷积神经 网络 、 深度信念 网络 、 深度玻尔兹曼机和堆叠 自动编码器 ， 并 对近 ３
年深 度学习在语音处理 、 计 算机视觉 、 自然语 言处理 以及 医疗 应用 等方面 的应用 现状进行 介绍 ， 最后 对现有 深度学 习模 型进行了总结 ， 并且讨 论了未来所面临 的挑战 。
关键词 ： 深度 学习 ； 卷积神经 网络 ； 深度信念 网络 ； 深度玻尔兹曼机 ； 堆叠 自动编码器
中图分类号 ： Ｔ Ｐ１ ８ 文献标志码 ： Ａ 文章编号 ： １ ６ ７ ３ — ４ ７ ８ ５ （ ２ ０ １ ６ ） ０ ５ — ０ ５ ６ ７ — １ ０
中文引用格式 ： 刘帅师 ， 程曦 ， 郭文燕 。 等． 深度学 习方法研究新进展［ Ｊ］ ．智能系统 学报 ，２ ０ １ ６ 。ｌ １ （ ５ ） ：５ ６ ７ － ５ ７ ７ ． 英文引用格式 ： Ｌ Ｉ Ｕ Ｓ ｈ ｕ ａ ｉ ｓ ｈ ｉ 。 Ｃ ＨＥ ＮＧ Ｘ ｉ 。 ＧＵ Ｏ Ｗｅ ｎ ｙ ａ ｎ， ｅ ｔ ａ １ ． Ｐ ｒ ｏ ｇ ｒ ｅ ｓ ｓ ｒ ｅ ｐ ｏ ｒ ｔ ｏ ｎ ｎ ｅ ｗ ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ ｉ ｎ ｄ ｅ ｅ ｐ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ［ Ｊ ］ ． Ｃ ＡＡ Ｉ ｔ ｒ ａ ｎ ｓ －
Ａｂｓ ｔ ｒ ａ ｃ ｔ： Ｄｅ ｅ ｐ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ｈ ａ ｓ ｒ ｅ ｃ ｅ ｎ ｔ ｌ ｙ ｒ ｅ ｃ ｅ ｉ ｖ ｅ ｄ ｗｉ ｄ ｅ ｓ ｐｒ ｅ ａ ｄ ａ ｔ ｔ ｅ ｎ ｔ ｉ ｏ ｎ．Ｕｓ ｉ ｎ ｇ ａ ｍｏ ｄ ｅ ｌ ｓ ｔ ｒ ｕｃ ｔ ｕ ｒ ｅ，ｔ ｈ ｉ ｓ ｐａ ｐ ｅ ｒ ｇ ｉ ｖ ｅ ｓ ａ
ｍｏ ｄ ｅ ｌ ｓ ：ａ ｃ ｏ ｎ ｖ ｏ ｌ ｕ ｔ ｉ ｏ ｎ ａ ｌ ｎ ｅ ｕ ｒ ａ ｌ ｎ ｅ ｔ ｗ ｏ ｒ ｋ；ｄ ｅ ｅ ｐ ｂ ｅ ｌ ｉ ｅ ｆ ｎ ｅ ｔ ｗ ｏ ｒ ｋ ｓ ；ｔ ｈ ｅ ｄ ｅ ｅ ｐ Ｂｏ ｌ ｔ ｚ ｍａ ｎ ｎ ｍａ ｃ ｈ ｉ ｎ ｅ；ａ ｎ ｄ ａ ｎ ａ ｕ ｔ ｏ ｍａ ｔ ｉ ｃ
ｓ ｔ ａ ｃ ｋ ｉ ｎ ｇ ｅ ｎ ｃ ｏ ｄ ｅ ｒ ．Ｔｈ ｅ ｐ ａ ｐ ｅ ｒ ｔ ｈ ｅ ｎ ｃ ｏ ｎ ｃ ｌ ｕ ｄｅ ｓ ｂ ｙ ｒ ｅ ｖ ｉ ｅ ｗｉ ｎ ｇ ｔ ｈ ｅ ａ ｐｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ ｏ ｆ ｄｅ ｅ ｐ ｌ ｅ ａ ｒ ｎ ｉ ｎ ｇ ａ ｓ ｒ ｅ ｇ ａ ｒ ｄ ｓ ｓ ｐｅ ｅ ｃ ｈ ｐ ｒ ｏ ‘
Ｌ Ｉ Ｕ Ｓ ｈ ｕ ａ ｉ ｓ ｈ ｉ ， Ｃ Ｈ Ｅ Ｎ Ｇ Ｘ ｉ ， Ｇ Ｕ Ｏ Ｗｅ ｎ ｙ ａ ｎ ， Ｃ ＨＥ Ｎ Ｑ ｉ
（ Ｃ ｏ ｌ ｌ ｅ ｇ ｅ ｏ ｆ Ｅ ｌ ｅ ｃ ｔ ｒ ｉ ｃ ａ ｌ ａ ｎ ｄ Ｅ ｌ ｅ ｃ ｔ ｒ ｏ ｎ ｉ ｃ Ｅ ｎ ｇ ｉ ｎ ｅ ｅ ｒ ｉ ｎ ｇ ， Ｃ ｈ ａ ｎ ｇ ｃ ｈ ｕ ｎ Ｕ ｎ ｉ ｖ ｅ ｒ ｓ ｉ ｔ ｙ ｏ ｆ Ｔ ｅ ｃ ｈ ｎ ｏ ｌ ｏ ｇ ｙ ，Ｃ ｈ ａ ｎ ｇ ｃ ｈ ｕ ｎ １ ３ ０ ０ ０ ０ ， Ｃ ｈ ｉ ｎ ａ ）