[中国/ns 政府/n]nt 顺利/ad 恢复/v 对/p 香港/ns 行使/v 主权/n ，/w 并/c 按照/p “/w 一国两制/j ”/w 、/w “/w 港 人治港/l ”/w 、/w 高度/d 自治/v 的/u 方针/n 保持/v 香 港/ns 的/u 繁荣/an 稳定/an 。/w
2019/6/23
16
标记化：什么是一个词
• 连字符：不同形式表示相同形式的词
– 带有连字符的一串字母应该看成一个词还是两个？ （有时候是一个，有时候是两个） • 一个，来源于排版印刷
– 找到一行中最后的连字符，丢弃它，把本行的词和下一行的连起 来
– e-mail, co-operate – 连字符用于表示引用的短语或者数量、比率
• 不同的标注方案
– COCOA format (文本的头信息，例如作者、时间、日期、题目等)： 使用尖括号，第一个字母表示某个域的主要语义
– 通用标记语言SGML (related: HTML, TEI, XML)
2019/6/23
中文信息处理--基于语料库的工作
27
SGML例子
• <p> <s> This book does not delve very deeply into
Technical Report, 97/94 ,UC Berkeley: 9899% correct
2019/6/23
中文信息处理--基于语料库的工作
26
数据标注—标注方案
• 我们可以在普通文本的语料库上做很多工作，在此之上，
如果增加一些信息，那么会得到更多的东西
– 句子的边界，段落的边界，…… – Lexical tags – 句法结构 – 语义表达 – 语义类别
12
低级格式问题
• 大小写
– the，The，THE – Richard Brown brown paint
• 识别句子中人名的启发式方法
– 把每个句子开头的大写字母转换成小写字母 – 把一串连续大写的词当作标题和副标题 – 这样，其余的大写字母就可以认为是名字
2019/6/23
中文信息处理--基于语料库的工作
一些学者尝试自动的方法来识别句子的边界。
2019/6/23
中文信息处理--基于语料库的工作
24
启发式的方法
• 在. ? !（和可能的: ; --）出现位置之后加一个假设的句子
边界
• 如果假设边界后面有引号，那么把假设边界转移到引号后
面
– 如果在句点之前是一个不纵出现在句子末尾的众所周知的缩写形 式，而且通常后面会跟一个大写的名字，例如：prof.
结尾的内容。90%的情况都是这样
– 句子可能会被其它的分隔符号切分开 (e.g., : ; --) – 句子的顺序可能会被打乱
• “You should be here,” she said, “before I know it!” – 引号可能在句子的最后一个标点的后面 – 识别句子的边界，可以采用一些启发式的方法，也有
SGML. </s> … <s> In XML, such empty elements may be specifically marked by ending the tag name with a forward slash character. </s></p>
• <utt speak=“Mary”, date = “now”> SGML can be very
2019/6/23
中文信息处理--基于语料库的工作
11
低级格式问题
• 垃圾格式
– 由于语料库的来源复杂，语料库中可能存在无 法处理的各种各样的格式或内容，他们是没有 用处的，需要过滤掉。 • 文档页眉、分隔符、排版代码、表和图表 • 如果数据来源于OCR，会引入错误识别的问题
2019/6/23
中文信息处理--基于语料库的工作
– 如果句点前面是一个众所周知的缩写形式，但是句点后面没有大 写词。这样即可正确地处理像etc. 这样的大多数缩写用法，这些 缩写一般出现在句子的中间或者末尾
• 如果下面的条件成立，则删除?或者!的边界资格
– 这些符号后面跟着一个小写字母（或者一个已知的名字）
• 认为其它假设边界就是句子的边界
2019/6/23
• UPenn树库
• LDC（ Linguistic Data Consortium ）
超大规模（上亿词级）标准编码体系深度标注/多语种NLP应用
2019/6/23
中文信息处理--基于语料库的工作
10
语料库建设中处理的问题
• 文本
– 生文本 – 标注文本
• 语料库建设中处理的问题
– 低级格式问题 – 标记化：什么是一个词？ – 词法 – 句子
中文信息处理--基于语料库的工作
18
标记化：什么是一个词
• 其它语言中的分词
– 中文、日文、泰文 • 严守一把手机关上 — 严守一 把 手机 关上
– 德语中大多数的词语有空格分割，但是复合名 词写成单独的词 • Lebensversicherungsgesellschaftsangestellter
• the New York – New Haven Railroad – 习惯搭配形成的词
• Work out
– I couldn’t work the answer out.
2019/6/23
中文信息处理--基于语料库的工作
20
标记化：什么是一个词
电话号码
0171 378 0647 (44.171 830 1007) +44 (0) 1225 753678 01256 468661 (202) 522-2239 1-925-225-3000 212.995.5402
4
语料库示例
北京大学计算语言所富士通人民日报标注语料库样例：
历史/n 将/d 铭记/v 这个/r 坐标/n ：/w 北纬/b ４１．１ /m 度/q 、/w 东经/b １１４．３/m 度/q ；/w 人们/n 将 /d 铭记/v 这/r 一/m 时刻/n ：/w １９９８年/t １月/t １ ０日/t １１时/t ５０分/t 。/w ……
中文信息处理--基于语料库的工作
25
自适应的句子边界检测
• Dr. J. M. Freeman and T.Boone Pickens Jr. • David D. Palmer, Marti A. Hearst, Adaptive
Sentence Boundary Disambiguation,
• 句点
– 大多数句点的作用是表明句子结束，其它情况 表示缩写，例如：etc.，Calif.。
• 保留句点的意义
– Wash.（Washington）-- Wash
• etc.出现在句子的末尾的时候，只保留一个
句点，这个句点同时表示两种意思。
2019/6/23
中文信息处理--基于语料库的工作
15
标记化：什么是一个词
useful. </utt>
• Character and Entity codes: begin with ampersand and
end with semicolon
• the 26-year-old – database, data base, data-base – 破折号和词语之间的空格
2019/6/23
中文信息处理--基于语料库的工作
17
标记化：什么是一个词
• 相同形式表示不同的“词语”
– saw – 工具 – saw – see的过去时
2019/6/23
– 公民有保卫祖国,依法服兵役的义务 – 保卫社会主义建设,战斗在祖国边疆及各个岗位上
– 英语中只有很少的词态，所以对其进行词态处理不是 很有必要。而其它语言中，进行词态处理可能会有很 大的意义
• 芬兰语，每个动词有百万种变化形式
2019/6/23
中文信息处理--基于语料库的工作
23
句子
• 句子：以一个“。”、“，”、“！”或者“？”
人身保险公司的雇员
– database – data base harddisk – hard disk
2019/6/23
中文信息处理--基于语料库的工作
19
标记化：什么是一个词
• 非词语分界的空格
– data base – database, 9365 1873 – 93651873
– New York, San Francisco – 如果和连字符一起出现，问题就更加复杂了
• 单撇号
– I’m，isn’t …… – I am，is not
• dog’s 表示什么？
– dog is，dog has，还是所有格形式？
• 词末尾的单撇号如何处理？
– 通常代表一对引号的结束，不是该词的一部分 – 如果它跟着一个s出现
• boys’ toys
2019/6/23
中文信息处理--基于语料库的工作
基于语料库的工作
张宇
大纲
• 什么是语料库 • 语料库的发展简史 • 语料库建设中处理的问题 • 数据标注
2019/6/23
中文信息处理--基于语料库的工作
2
什么是语料库
• 语料库，英文为Corpus • 存储语言材料的仓库 • 现代的语料库是指存放在计算机里的原始
语料文本或经过加工后带有语言学信息标 注的语料文本.
• 单语种语料库/多语种语料库
2019/6/23
中文信息处理--基于语料库的工作
6
语料库发展简史
• 第一代（1970－80年代） • 第二代（1980－90年代） • 第三代（1990年代－）