博士论文研究方向统计
近年博/硕士论文数量统计
其中，哈工大在2014年和2013年分别有一篇博士论文发表（中文信息抽取和语义挖掘）
以深度学习为博士课题的专业统计
其中，哈工大两篇博士论文出于计算机专业
2016博士论文研究内容分析
• 提出若干应用方向的算法结合DL算法-> 一个实际应用 • 提出一个应用方向的算法结合不同DL模型-> 一个实际应用 • 提出一个应用方向的算法结合DL算法+算法不足加以改进 • 提出若干应用方向本身算法的创新+结合DL模型
研究方向——应用
• 识别（），语音（语音识别）， 自然语言（文本理解） • 演绎（Ability to Act） 图像文字描述、语音合成、自动翻译、段落总结 • 迁移到其他领域，解决各种实际问题 • 所有的这些都可能是非常好的研究点，能够带来经济和学术双重 的利益。
近三年算法类博士论文分析
• 提出新的训练准则代替原有准则 • 将算法并行化 • 对由并行带来的性能降低进行优化 • 对DL基本网络进行算法融合改进 • 将新提出算法用DL思想进行深度改进 • 优化DL算法平台的分布式、多核加速等
2016期刊会议算法类文章分析
• 利用DL思想改进SVM核函数 • RBM模型+类别条件限制-> 提高泛化能力 • 矩阵2-范数池化CNN模型->补充能量信息 • ……
研究方向——泛化
• 实践 已知！Dropout/DropConnect/Data Agumentation 其他？博弈法避免过拟合/无标记样本辅助控制泛化误差
• 理论 如何能够从理论上分析深度学习模型的泛化能力
研究方向——表达
• 模型与要解决的问题之间的关系 • 实践 无监督学习：RBM/Sparse Coding/Auto-encoder 直觉设计模型：CNN/RNN/RL • 理论 心理学/神经学 几乎空白
深度学习调研报告
深度学习研究趋势
研究方向
• 优化Optimization • 泛化Generalization • 表达Representation • 应用Applications
研究方向——优化
• 实践 提高精度：随机梯度递减+各种技巧：动量、伪牛顿方法、自动步长 减少参数：深度网络压缩，将权值参数进行量化或者压缩存储 并行化分布式系统 避免overfiting /加速训练/产生初始参数 • 理论 目前凸优化比较清楚，非凸优化理论空缺（局部最优）
研究团队
• 学校 中国科技大学 北邮 哈工大 计算机、通信、ATCI、机械等 • 公司 Google、Facebook、• 硬件投入，集群计算,数据获取,算法优化，数据调参技巧。每个都是深 坑，每个没有个几年积累都是不行的。如果LZ 是学生并且想进一步学 习，建议去找个有一定基础的靠谱实验室。如果是纯兴趣。不如就看 看paper得了，而且你基本很难复现PAPER中的结果。 • 语音识别，现在比模，难以发展，个人更是很 难玩。目前关于语音识别有两个基本问题需要解决，一、深层的模型 参数众多（动辄数十万上百万），如何较少参数或者加速训练都值得 研究；二、如果能够提供一个大型中文语料库，将必会造福国人，功 德无量。
应用领域
• 图像识别 • 自然语言处理 • 其他
论文调研
• 博硕论文 • 近年博/硕士论文数量统计 • 博士论文研究方向统计 • 以深度学习为博士课题的专业统计 • 2016博士论文研究内容分析 • 近三年算法类博士论文分析 • 2016期刊会议文章分析 以上数据来源于中国知网，以深度学习为关键词检索