CNN – 卷积神经网络
? Convolutional Neural Network ? 图像领域应用非常成功，人脸识别超99.5% ? 全连接 ? 局部连接，权值共享
特征数量 卷积核大小
2019年11月15日 ? 图像识别、OCR、语音识别（DBN+CNN+RNN最好）
RNN – 循环神经网络
2019年11月15日
北京久其软件股份有限公司
涉及面最广的交叉学科
2019年11月15日
哲学
语言学
逻辑学
数学
经济学
概率论
工程学
自动化 控制
人物学
统计学
系统学
仿生学
认知学
工业4.0，自动化生产线
? 旨在提升制造业的智能化水平，建立具有适应性、 资源效率及基因工程学的智慧工厂，在商业流程及 价值流程中整合客户及商业伙伴
? 人工智能不是人的智能，但能像人那样思考、也可 能超过人的智能。
? 数据：预测、挖掘 ? 语音：语音识别、语音合成、声纹检测 ? 文字：分类、翻译、对话、NLP、NLU、NLG ? 视觉：图像识别、生成作画、视频理解 ? 运动：智能控制、仿真机器人、自动驾驶 ? 思考：简单推理、机器人写稿、AlphaGo
Torch
Theano
2019年11月15日
开发语言 速度
c++/cuda 快
c++/cuda /Python
中等
c++/cuda 快
c/lua/cud a
快
python/c ++/cuda
中等
灵活性 文档 一般 全面
好
中等
好
全面
好
全面
好
中等
适合模型 平台 上手难易
CNN 所有系统 中等
CNN/R Linux,
? Recurrent Neural Network ? （t+1）时刻网络的最终结果O(t+1)是该时刻输入
和所有历史共同作用的结果
? 语音识别、NLP
? Bidirectional RNNs、Deep RNNs、GRU RNN
2019年11月15日
北京久其软件股份有限公司
LSTM - 长短期记忆网络
2019年11月15日
人工智能技术概览
久其软件 - 李坤奇
北京久其软件股份有限公司
目录
2019年11月15日
1、人工智能定义、关联 2、 人工智能主要应用领域 3、机器学习算法及分类 4、主流神经网络简介 5、NLP的主要技术与方法
北京久其软件股份有限公司
人工智能定义
? 用机器，通常为电子仪器、电脑等，对人的意识、 思维的信息过程的模拟。
? TensorFlow – Google 主推的开源学习框架 – 有众多预先训练好的模型，开发简单 – 速度慢，内存占用较大
? Torch
– Facebook力推的深度学习框架，主要开发语言是C和Lua – 有较好的灵活性和速度，开发也比较简单 – 缺点是接口为lua语言，不支持Python
库名称 Caffe TensorFlo w MXNet
? Long Short-Term Memory Neural Network ? RNN时间上传递的神经网络，可能“梯度消失” ? 通过门的开关实现时间上记忆功能，防止梯度消失 ? 遗忘门 ? 输入门 ? 输出门
? Seq2Seq机器翻译 ? Attention Model对话
2019年11月15日
? 运算过慢 – 分布式运算，换用GPU或专用神经网络处理器
? 调参复杂 – 分开训练、参数各种图形化展示
? 其技术基础是网络实体系统及物联网
2019年11月15日
特斯拉工厂曝光，整个工厂只有 150个机器人，超震撼
北京久其软件股份有限公司
机器人，好帮手
奔跑跳跃搬东西，这种 机器人平衡能力比人类还强
2019年11月15日
北京久其软件股份有限公司
自动驾驶? 谷歌、特斯拉、、苹果…… ? 集各类人工智能技术一身
2019年11月15日
北京久其软件股份有限公司
机器学习
? 数据爆炸式增长催热机器学习
? 统计学、概率模型（贝叶斯）、神经网络
? 有监督学习、半监督学习、无监督学习
– 主要区别在于人工投入的比例 – 无监督学习只有极少数应用
? 投多少人工，有多少智能？
2019年11月15日
北京久其软件股份有限公司
强化学习
2019年11月15日
北京久其软件股份有限公司
人工神经网络
? 人工神经网络模仿动物神经网络特征，进行分布式 并行信息处理的算法数学模型。
? 网络依靠系统的复杂程度，通过调整内部大量节点 之间相互连接的关系，从而达到处理信息的目的。
? 优势
– 并行分布处理 – 高度鲁棒性和容错能力 – 分布存储及学习能力 – 能充分逼近复杂的非线性关系
? reinforcement learning，RL ? 又称再励学习、评价学习 ? 智能系统从环境到行为映射的学习，以使奖励信号
(强化信号)函数值最大
? 处于研究阶段 ? 无人机， ? 自动化控制， ? 电子游戏
2019年11月15日
北京久其软件股份有限公司
迁移学习
? Transfer Learning, TL ? 收集数据成本高；训练耗时；重复利用已有知识 ? 样本迁移、特征迁移、模型迁移、关系迁移
NN
OSX
难
CNN 所有系统 中等
CNN/R Linux,
NN
OSX
中等
CNN/R Linux,
NN
OSX
易
机器学习中的问题与应对
? 欠拟合 – 添加其他特征，减少正则化
? 过拟合 – L1、L2正则化
? 不收敛 – 复审输入数据、修改模型设计、改变参数初始化方法、 调整学习速率
? 数据集过小 – 转换扩增
GAN - 生成性对抗生成网络
? Generative Adversarial Networks ? 它有两个模型：一个生成器，一个判别器 ? 没有损失函数，优化过程是“二元极小极大博”
2019年11月15日
北京久其软件股份有限公司
深度学习框架
? Caffe – 2013年底,由UC Berkely 的Yangqing Jia 开发 – 计算机视觉领域首选 Caffe
? 激活函数、损失函数、梯度下降
2019年11月15日
北京久其软件股份有限公司
深度学习
? 深度学习源于人工神经网络，多个隐含层感知器。 ? 深度学习通过组合低层特征形成更加抽象的高层表示属性类别
或特征，以发现数据的分布式特征表示。
? 各层设计、图形化调参、学习速率
2019年11月15日
北京久其软件股份有限公司