3 基于自由文本的问答系统
• 不对文章整体语义进行编码对每个单 词及其上下文语义进行编码
• 在实际使用的时候是使用每个单词的 RNN隐层状态来进行相关计算
• 本质上是从文章中推导出某个概率最 大的单词作为问题的答案，所以对文 章以单词的形式来表征非常自然。
问答系统核心技术
3 基于自由文本的问答系统
问答系统的前世今生
1 传统问答系统
图灵提出，检验计算机智能高低的最好办法是 让计算机来讲英语和理解英语，他天才地预见 到计算机和自然语言将会结下不解之缘，他设 计了如图所示的 Turing 测试。
问答系统的前世今生
1 传统问答系统
• 1966 年 美 国 公 布 了 否 定 机 器 翻 译 的ALPAC 报告之后，处于草创时期的机 器翻译研究转入低潮，于是，同自然语 言的计算机处理有关的研究，逐渐转向 了自然语言问答系统方面。
知识库问答即给定自然语言问题，通过对问题进行语义理 解和解析，进而利用知识库进行查询、推理得出答案。
问答系统核心技术
2 基于知识库的问答系统
语义解析： • 一种偏语言学的方法。 • 将自然语言转化为一系列形式化的逻辑
形式, 进行解析，得到可以表达整个问题 语义的逻辑形式。 • 通过相应的查询语句在知识库中进行查 询，从而得出答案。
问答系统的前世今生
1 传统问答系统
• 传统的问答系统是人工智能领域的一个应 用，通常局限于一个非常狭窄专门的领域；
• 由人工编制的知识库加上一个自然语言接口 而成；
• 领域狭窄，词汇总量很有限，其语言和语用 的歧义问题可以得到有效的控制；
• 问题是可以预测的，合成相应的答案自然有 律可循。
问答系统的前世今生
新型网络计算技术
New network computing technologies
网络问答系统 发展及应用
问答系统发技术 3 问答系统实战 4 案例
问答系统的前世今生
1 传统问答系统
早在计算机出现以前，英国数 学家 图灵就预见到未来的计 算机将会对自然语言研究提出 新的问题。
• TF指某单词在某一文档中出现的频率 • IDF指的是某个词在整个语料库中的出
现过的文档数目
问答系统核心技术
4
FAQ问答系统
问答系统核心技术
4
FAQ问答系统
使用共享参数的卷积 神经网络(CNN)来对 两个问句进行特征提 取，再将提取后的特 征使用余弦相似度计 算相似性。
问答系统核心技术
4
FAQ问答系统
进行Attention计算 • 按照二维矩阵的行来进行Attention计算 • 按照二维矩阵的列来进行Attention计算
问答系统核心技术
4
FAQ问答系统
• 问题处理（查询、问询改写，错词 纠正，同义词替换……）
• 召回（召回率要很高，准确性可以 比较低）
• 答案选择（准确性要高）
问答系统核心技术
使得问题和正确答案的向量表达的得分尽 量高 • 根据候选答案的向量表达和问题表达的得 分进行筛选，得出最终答案。
问答系统核心技术
3 基于自由文本的问答系统
由若干简单事实形成的文 章以及给出对应问题，要 求机器阅读理解文章内容 并作出一定的推理，从而 得出正确答案，正确答案 往往是文章中的某个关键 词或者实体。
双向RNN
问答系统核心技术
1 自然语言处理基础
Transformer
问答系统核心技术
1 自然语言处理基础
宏观视角
输入句子： The animal didn't cross the street because it was too tired “it”在这个句子中指的是street 还是animal 自注意力机制会允许“it”与 “animal”建立联系 自注意力会关注整个输入序列的所 有单词，帮助模型对本单词更好地 进行编码。
问答系统核心技术
1 自然语言处理基础
基于Hierarchical Softmax的模型
从隐藏层到输出的softmax层这里的计算量个改进，为了避 免要计算所有词的softmax概率，采用了霍夫曼树来代替从 隐藏层到输出softmax层的映射
由于是二叉树，之前计算量为VV,现在变成了log2Vlog2V。第二，由于使用霍夫曼树是高频的词靠近树根，这样高频词需要更少的时间会被找到
问答系统的前世今生
2 互联网下的问答系统
• 通用闲聊型：使对话系统更富于人性化
问答系统发展及应用
1 问答系统的前世今生 2 问答系统核心技术 3 问答系统实战 4 案例
问答系统核心技术
1 自然语言处理基础
词向量 杭州 [0,0,0,0,0,0,0,1,0,……0,0,0,0,0,0,0]
上海 [0,0,0,0,1,0,0,0,0,……0,0,0,0,0,0,0]
问答系统核心技术
1 自然语言处理基础
• Convolution Neural Network • Recurrent Neural Network • Transformer
问答系统核心技术
1 自然语言处理基础
Convolution Neural Network
问答系统核心技术
1 自然语言处理基础 循环神经网络（RNN）
问答系统核心技术
1 自然语言处理基础
采用了二元逻辑回归的方法，规定沿着左子 树走，那么就是负类(霍夫曼树编码1)，沿着右子 树走，那么就是正类(霍夫曼树编码0)。
由于是二叉树，之前计算量为V,现在变成了 log2V；由于使用霍夫曼树是高频的词靠近树根， 高频词需要更少的时间会被找到，这符合贪心优化 思想。
1 传统问答系统
• 上个世纪60年代研 制的LUNAR系统， 专事回答有关阿波 罗登月返回的月球 岩石样本的地质分 析问题。
问答系统的前世今生
1 传统问答系统
第一阶段：句法分析 采用扩充转移网络及语义探索方法产生出所 提问题的推导树。
第二阶段：语义解释 用形式提问语言来表示所提问题的语义，从 而对提问的句子作出语义解释。
答案选择
问答系统核心技术
4
FAQ问答系统
基于答案选择的方法
问答系统发展及应用
1 问答系统的前世今生 2 问答系统核心技术 3 问答系统实战 4 案例
问答系统实战
1 环境
GPU： GTX1070
平台： Tensorflow等
数据集
问答系统核心技术
1 自然语言处理基础
问答系统核心技术
1 自然语言处理基础
LSTM
RNN
问答系统核心技术
1 自然语言处理基础
细胞状态直接在整个链上运行，只 有一些少量的线性交互。
问答系统核心技术
1 自然语言处理基础
“门”的结构 • 去除或者增加信息到
细胞状态的能力。 • 包含一个 sigmoid 神
第三阶段：回答问题 把形式提问语言表达式执行于数据库，产生 出对问题的回答。
问答系统的前世今生
1 传统问答系统
缺陷： • 本质上这些都是局限于实验室的玩具系
统，完全没有实用的可能和产业价值。
问答系统的前世今生
2 互联网下的问答系统
大数据背景： • 自1995年以来，互联网开始进入快速
发展的轨道，其中包含的信息量呈爆 炸式地增长。 • 2015年，网页数量超过了1万亿，而 在2006年的时候，这个数字是2000 亿。
对文章整体进 行向量表示
模型二
问答系统核心技术
3 基于自由文本的问答系统 问题表示方法
问答系统核心技术
3 基于自由文本的问答系统
一维模型
问答系统核心技术
3 基于自由文本的问答系统
• 文章内容使用模型一的方式 • 问题一般使用模型三的方式 • 通过某种匹配函数来计算文章中每个单词
Di语义和问题Q整体语义的匹配程度 • 通过SoftMax函数进行归一化 • 将相同单词的计算出的概率值进行累加，
4
FAQ问答系统
• 基于词汇计数：字面匹配
• 基于语言模型：用概率的方法来判断 知识库里面的 FAQ 和用户问询在哪一 种在概率上更为接近
• 基于向量化的方法：把用户的问询投 射到这样的向量空间里去，把知识库 的 FAQ 也投射到这样的向量空间里
问答系统核心技术
4
FAQ问答系统
TF-IDF
• 核心思想在于判断某个词对于语料库中 的每个语料的重要程度
问答系统核心技术
2 基于知识库的问答系统
信息抽取 • 提取问题中的实体 • 查询该实体，得到以该实体节点为中心
的知识库子图 • 建立分类器通过输入问题特征向量对候
选答案进行筛选，从而得出最终答案。
问答系统核心技术
2 基于知识库的问答系统
向量建模 • 根据问题得出候选答案 • 把问题和候选答案都映射为分布式表达 • 通过训练数据对该分布式表达进行训练，
经网络层和一个 pointwise 乘法操作。
问答系统核心技术
1 自然语言处理基础
遗忘门决定丢弃信息
问答系统核心技术
1 自然语言处理基础
记忆门决定记忆新的信息
问答系统核心技术
1 自然语言处理基础
更新细胞状态
问答系统核心技术
1 自然语言处理基础
输出门决定输出信息
问答系统核心技术
1 自然语言处理基础
问答系统核心技术
1 自然语言处理基础
word2vec •e
问答系统核心技术
1 自然语言处理基础
CBOW(Continuous Bag-of-Words )
问答系统核心技术
1 自然语言处理基础
Skip-gram
问答系统核心技术
1 自然语言处理基础
问答系统核心技术