深度学习基础知识整理
Without deviation from the norm，progress is not possible（不偏离常规，就无法取得进步-Frank Zappa）
第一课：数学分析与概率论
Taylor展式及其应用、凸函数、jensen不等式、常见分布与共轭分布
第二课：数理统计与参数估计
Chebyshev不等式、大数定理、小数定理、中心极值定理、矩阵计算、最大似然估计
第三课:矩阵和线性代数
从马尔克夫模型看矩阵、特征向量、对称矩阵、线性方程
第四课:凸优化
凸函数、共轭函数、凸优化、Lagrange对偶函数
第五课：回归
高斯分布、Logistic回归、梯度下降、特征选择与过拟合欠拟合关系
应用方向：线性回归、Logistic回归实现和分析
第六课：梯度下降与拟牛顿法
梯度下降算法、自适应学习率、拟牛顿、LBFGS
应用方向：自适应学习率代码实现和参数调试分析
第七课：最大熵模型
熵、相对熵、信息增益、最大熵模型、Softmax回归
应用方向：独立成分分析ICA求解盲源分离BBS问题
第八课：决策树和随机森林（蒙特卡罗）ID3、C4.5、CART、Bagging
研究方向:使用随机森林进行数据分类（蒙特卡洛）
第九课：SVM
线性可分支持向量机、软间隔、核函数、SMO
研究方向：使用SVM进行数据分类
第十课：聚类
K-means/K-Medoids、密度聚类、谱聚类、
应用方向：K-means、谱聚类代码实现和参数调试分析
第十一课：推荐系统
相似度量方案、协同过滤（User-based/ltem-based）、PCA/SVD、随机游走
应用方向：协同过滤用于商品推荐、SVD隐变量的推荐
第十二课：提升
梯度提升决策树GBDT、Adaboost、前向分步算法
应用方向：Adaboost与随机森林（蒙特卡洛）结合、用于数据分类
第十三课：EM算法和GMM
EMM算法、GMM、主题模型pLSA
应用方向：分解部分观测数据的男女身高、图像分解
第十四课：普斯贝叶斯和贝叶斯网络初步
有向分离、（隐）马尔科夫模型HMM
第十五课：主题模型用EM算法计算pLSA、Dirichiet分布、LDA、Gibbs采样
应用方向：使用Gibbs采样计算给语料的主题
第十六课：采样
MCMC（Markov chain Monte Carlo）、Metropolis-Hastings 算法、Gibbs采样
第十七课：变分
KL(pllq)与KL（qllp）分析、平均场理论
第十八课：隐马尔科夫模型HMM
概率计算问题、HMM参数学习问题、状态预测问题
应用方向：使用HMM进行中文分词
第十九课：条件随机场CRF
无向图模型、MRF、前向-后向算法
第二十课：深度学习
全连接网络、链式法则与BP算法、卷积网络、残差网络、应用方向：使用BP网络对样本分类
第十三课：深度学习总体介绍
1.神经网络；传统到现代
2.深度学习应用特定
3.深度学习发展方向
4.深度学习框架比较：用Tensorflow进行课程学习
第十四课：传统神经网络
1. 线性回归
2. 非线性激励函数
3. loss 函数，常见问题：过拟合，正则化，dropout
实例：传统神经网络络实现
第十五课反向反馈：深度学习模型优化基础
1. SGD 梯度下降介绍
2. 神经网络的梯度优化
3. 神经网络训练
实例：反向梯度优化对比
第十六课卷积神经网络
1. 卷积核以及卷积层
2. AlexNet最早的现代神经网络
3. VGG，GoogleNet,，ResNet. 近期的高级网络LeNet
实例：利用已有模型进行物体分类／特征提取
第十七课迁移学习
1. 理论分析
2. 迁移模型&原始训练模型
3. 如何设计新的的网络
实例：表情识别／人脸识别／动物识别
第十八课与时域信息相关的深度学习
1. RNN
2. LSTM
3. 图片标题生成
4. 视频处理
实例：LSTM用于图片标题生成
第十九课自然语言处理
1. 处理之前：speech to text
2. 词语表达，word2vect
3. 语句生成LSTM
实例：根据上下文回答问题
第二十课给予深度学习的目标检测
1. 传统的目标检测方法
2. 初代算法：Region CNN
3. 升级：SPP Net，Fast RCNN，Faster RCNN
4. 深度学习另辟蹊径：YoLo和SSD
实例：自动驾驶的核心：实时目标检测
第二十一课深度卷积神经偶的重要应用
1. 图片问答
2. 图像模式转换
3. 图像高清化
4. 围棋程序，Alpha go
5. 自动游戏机器人，DeepMind Atari
实例：图片艺术风格转化
第二十二课无监督学习：对抗网络GAN
1. 传统无监督学习Autoencode，K Means，Sparse Coding
2. RBM 限制博斯曼机，深度学习的另一支
3. 生成对抗网络GAN
实例：机器生成图片，以假乱真
第二十三课：迁移学习
第二十四课：增强学习
记忆模型，远超过RNN的GTMM
第二十五课：二值神经网络
普通二值神经网络，YodaNN，
XLA如何让机器学习在TensorFlow上提升速度
第二十六课：对偶学习
纳米神经网络NanoNet
A solution to the single-question crowd wisdom problem（选自自然杂志意味流行算法解决群体智慧中缺陷）
语义理解（目前自然语言界最大难关）使用LSTM+Attion解决
像素卷积神经网络（PixelCNN++）可将图像生成速度提高183倍
WaveNet
RLSS schedule to be posted soon（深度学习与强化学习暑期学校）机器与大脑学习项目
课程计划
CNNs
RNNs
Generative Models 2
Computational Neuroscience 1
Learning to learn
Coffe Break
Neural Networks
Structured Models /Advanced Vision
ProbabillsticNumerics
Natural Language Understanding
Computational
常见问题：
Q：会有实际上机演示和动手操作吗？
A：有，几乎每节课，老师均会准备上机演示部分，学员可以学习老师的实践经验。
Q：参加本门课程有什么要求？
A：有一定Python编程能力，有几本大学数学基础。
Q：本课程怎么答疑？
A：会有专门的QQ班级群，同学们可以针对课上知识的问题，或者自己学习与
动手实践中的问题，向老师提问，老师会进行相应解答。
也推荐大家到小象问答社区提问，方便知识的沉淀，老师会集中回答，不会因为QQ群信息刷屏而被老师错过。
Q：本课程需要什么环境？
A：开发环境主要以Ubuntu为主，深度学习训练需要有可以支持的显卡，基本要求GTX 960，有条件的尽量GTX 1080，GTX Titan X 更好（显卡的内核数以及显存数尽量多一点）。