语料库的研究PPT
长:中:短=1:2:3
语料的通用性原则和描述性原则
语料的通用性原则
作为通用型语料库,现代汉语语料库应真实地反映现代汉语在文字、 词汇、语法、语义等方面的全貌。
• 现代汉语语料库在语料的选择上,应当具有区别性特征。 • 有别于专业性。 • 有别于地域性。 • 有别于纯口语性。
为确保5000万字语料的质量,尽可能地提高所选语料在采字、采词、 采句和采义等方面的涵盖量,选材不仅要考虑到语料的时间层次、 文化层次和社会使用面层次,还应采取“抓住中心,其他补充”的 方式。
加工
现代汉语语料库的主要用途及选材规模
主要用途
语言文字的信息处理 语言文字规范和标准的制定 语言文字的学术研究 语文教育 语言文字的社会应用
选材规模
规模较大的通用语料库,其选材字数拟定在 5000万字左右,包括抽样材料和整篇材料。 教材字数另计。
选材的分类
依据材料内容,选材大体作如下分类:
国家语委语料库
现代汉语通用平衡语料库 8800万字语料 4500万字标注语料库(词语切分词类标
注) 句法树库
国家语委语料库建设
1991年12月国家语委语言文字应用管理司提出立项建 议
1992年4月国家语委语言文字应用管理司在京组织召开 了现代汉语语料库选材原则专家论证会
1993年1月制订《现代汉语语料库选材原则》 1993年9月召开了现代汉语语料库选材专家审定会 2001年底建成 7000万字的生语料库 2003年底已完成4500万字语料的词语切分和词性标注
为了保证现代汉语的字、词、句、义在 语料中具有合理的出现频率,语料的选 择应在控制比例的前提下,尽量做到采 样广泛。
样本原则
语言材料的多样性
选用政论性文章、新闻报道、各类文学艺术 作品、科普读物、通俗读物、学术专论及各 种应用文语体等现代汉语作品。
语言材料的完整性
2000字以下的文章原则上全篇采用。报纸可 采取整篇文章、整版和整张相结合的方式。
125
文学
50%
1500 75
225
375
75
750
其他
8.3%
250
12.5
37.5
62.5
12.5
125
设计样本分布
表二:文学类(含口语)
体题 裁材
比例
1919192 5
1926194 9
1950196 5
1966197 6
1977-
小说
30%
450
散文
20%
300
(杂文)
传记
10%
150
报告文学 10%
文化大革命时期产生的作品,其中许多随着文革的结束而仅作 为历史词语存于现代汉语之中。这部分语料拟占人文与社会科学类的 5%。
1977—— 新时期的语料代表了现代汉语的最新发展。这部分语料拟占人
文与社会科学类的50%。
自然科学(含农业、医学、工程与技术) 类
目前比较通用的中、小学各科教材。
目前比较通用的具有通论性质的大学各 科基础必修课程的教材。
语言材料的遍历性
选材要注意各学科,各学科分支,各行各业, 以及社会生活各个领域的语言文字应用的代 表性。
语料抽样
抽样的数量与方式
书籍
• 抽样数量一般占全书字数的3——5%,字数最多不 超过10000字。样本容量2000字,允许±500字的 伸缩。
报纸
• 采用整版(4版或8版)选用的方式。不同的报纸选 用不同的月份,以免内容重复。
3.综合类语料由应用文和难于归类的其他语料两部分组 成。应用文使用很广泛,主要涉及以下6类: (1)行政公文:请示、报告、批复、命令、指示、布 告、纪要、通知等; (2)章程法规:章程、条例、细则、制度、公约、办 法、法律条文等; (3)司法文书:诉讼、辩护词、控告信、委托书等; (4)商业文告:说明、广告、调查报告、经济合同等; (5)礼仪辞令:欢迎词、贺电、讣告、唁电、慰问信、 祝酒词等; (6)实用文书:请假条、检讨、申请书、请愿书等。
• 时间层次。 • 文化层次。以具有高中文化程度的人能够阅读的语料为主,其他文化程
度为辅。 • 社会使用面层次。以社会使用面较为广泛的语料为主,其他语料为辅进
行补充;以人文与社会科学为主,自然科学为辅;以门类为主,以语体 为辅,对门类进行补充。
语料的描述性原则
从现代汉语语料库建设的主要用途出发, 语料应在必要的人工干预的前提下,做 描述性选取,以便为语言文字的规范与 科研提供客观的科学依据。
3.选材年限及密度
教材类
选取现在通用的教材为建库的语言材料。 中小学课本所选内容涉及各个学科的基 本知识,一般为典范的现代汉语作品, 具有相当的普及性、代表性。
人文与社会科学类
以1919年为上限,选取五四以来的语 言材料。对五四以来各个历史时期的语 料采取不等密度选用的方式。
1919——1925年 鉴于五四时期的白话文仍留有文言痕迹,拟选用少量的对后世
(3)社会:社会学、心理、语言文字、教育、文艺理 论、新闻、民俗;
(4)经济:工业经济、农业经济、政治经济、财贸经 济;
(5)艺术:音乐、美术、舞蹈、戏剧;
(6)文学:小说、散文、传记、报告文学、科幻、口 语;
(7)军体:军事、体育;
(8)生活。
2.自然科学划分为6类:数理、生化、天文地理、海洋 气象、农林、医药卫生。
• 报纸上的广告、启事等归在应用文类,不在报刊类 语料的统计之列。
刊物
• 每本刊物上所选的总字数原则上不超过5000字。样 本容量2000字,允许±500字的伸缩。
对同一版面的不同文章,按从上至下、从左到右 的顺序选取。
一个样本必为同一作者的同一篇文章,限字数不 限样本数(报刊除外)。
每个样本之中必为连续的语料内容。
150
科幻
10%
150
口语
20%
300
5%
15%
22.5
67.5
15
45
15
22.5
50
50
15
45
25%
5%
112.5
22.5
75
15
37.5
15
100
100
75
15
50% 225 150 75
150
1993年1月制订《现代汉语语料库选材原则》
具体选材任务分别由中国社会科学院语言所、 北京师范大学中文系和中国人民大学中文系 三个课题组承担。
涉及自然科学各个门类的科普读物。
现代汉语语料库选材字数的分布
人文与社会科学的语言材料占全部5000万字 语料的60%,为3000万字。这3000万字在各 个学科的分布见表一。
文学的语言材料占人文与社会科学类的50%, 共1500万字。这1500万字在不同体裁、题材 的语料的分布见表二。
长、中、短篇小说的选取比例大致为:
选材工作自1992年底开始,按照通用性、描 述性、实用性等原则系统地抽样选择了19191992年的现代汉语语言材料7000万字,由人 文与社会科学、自然科学及综合三个大类约 40个小类组成。
1.人文与社会科学类划分为8个大类和30个小类:
(1)政法:哲学、政治、宗教、法律;(2)历史: 历史、考古、民族;
5%
15%
25%
5%
50%
哲学
8.3%
250
12.5
37.5
62.5
12.5
125
历史
8.3%
250
12.5
37.5
62.5
12.5
125
社会
8.3%
250
12.5
37.5
62.5
12.5
125
经济
8.3%
250
12.5
37.5
62.5
12.5
125
艺术
8.3%
250
12.5
37.5
62.5
12.5
语料来源包括教材、报纸、综合性刊物、专业刊物、图 书等。每个样本的容量为2000字左右,书籍的抽样字数 一般占全书总字数的3-5%,最多不超过10000字;每本 刊物上所选的总字数原则上不超过5000字。
各类语料所占比例如下:
人文与社会科学类语料占语料总量的59.6%,自然科 学类语料占语料总量的17.24%,综合类语料占语料总 量的9.36%,取材于报纸的语料,难于划分门类和语体, 因此单独计算,报纸语料占语料总量的13.79%。另外, 取材于教材的语料总量有2000万字,已经按学科计入各 类语料。
应用文(包括广告、说明书等)
2000字以内的应用文宜整篇选用。对于篇幅较长的应 用文,所选样本的容量为2000字,允许±500字的伸缩。
补充
以上有关选材年限及密度的规定是着眼于科学的整体发 展而制定的。各个学科的发展在不同的年代并不是齐头 并进的,可根据具体情况适当调整依年限分布的比例、 字数。调整的理由、调整后的比例和字数当详细说明, 并作为附件收于清单之后。
当前语料库样本分布-类别
30000000 25000000 20000000 15000000 10000000
5000000 0
字数
文学 社会 经济 报纸 其他 政法 艺术 农林 历史 生化 数理 医药卫生 天文地理 海洋气象 行政公文
当前语料库样本分布-时间
4500000 4000000 3500000 3000000 2500000 2000000 1500000 1000000
影响较大的代表性作品。被选用的作品在行文上要尽量符合现代汉语 的规范。这部分语料拟占人文与社会科学类的5%。 1926——1949年
白话文逐步脱离文言痕迹,现代汉语日趋成熟的时期。这部分 语料拟占人文与社会科学类的15%。 1950——1965年