用途
第一个大型计算机语料库
以计算机自动化处理方式获取SEU语 料库的英语口语原始语料
SEU
LLC BROWN LOB COBUILD LONGMAN
1959年起
1975-1981 1960s 1970s 1980s 1988-1990
100万
50万 100万 100万 3.2亿 2800万
口语 书面语 书面语
语料库语言学的发展史
一般以乔姆斯基（N.Chomsky）转换生成 语法的兴衰史为参照点，将语料库语言学 的发展史大致分为三个时期： • 早期的语料库语言学 • 乔姆斯基的转换生成语法时期 • 语料库语言学的复苏时期
早期的语料库语言学
早期的语料库语言学是指20世纪50年代中期以前， 即以乔姆斯基提出转换生成语法理论之前的所有 基于语言材料的语言研究。在50年代，语料库语 言学曾被广泛使用，主要集中体现在以下几个方 面： 1）语言习得 2）方言学 3）语言教学 4）句法和语义 5）音系研究
基于语料库的方法 corpus-based approach
• 由研究者根据以往的语言研究成果或对语言的认 识，首先提出假设，然后到语料库中去验证假设。 假设是否成立取决于语料库中的语言实例。基于 语料库的研究方法以概率为基础，是统计学和实 证研究方法在语料库语言学领域的具体应用。 17
语料库驱动的方法 corpus-driven approach
语料库研究方法的局限性
• • • • （1）语料库语言学理论尚需要体系化和简约化。 （2）其研究思路和方法存在一定的分歧。 （3）分析方法和技术需要进一步突破 （4）语料库研究的应用尚需要更深入的探讨。
国内语料库研究的局限性
（1）缺乏应有的精密分析过程，显示不出应有的分析力 量（analytical power）。 （2）一些研究将事实与译论混在一起，将语料库数据与 直觉数据杂合，宏观概述多而语境分析少。 （3）数据与观察与结论之间，不同理论之间跳跃大，缺 失环节多，没有语料库语言学所熟悉的范式特征。
语料库的分类
• • • • • • 按应用取向分为：通用型和专用型语料库 按信道分为：笔语和口语语料库 按语言属性分为：单语、双语、多语语料库 按语言变体分为：本族语、译语、学习者语料库 按时间分为：共时和历时语料库 按语料状态分为：静态和监控语料库
国外语料库的介绍
类型 时间 容量 语料
书面语50% 口语50%
1981-1985
1986-1991
160
320
语料库语言学的主要研究内容
• • • • 语料库的建设与编纂 语料库的加工和管理技术 语言研究中语料库的使用 语料库在计算语言学中的应用
ห้องสมุดไป่ตู้
语料库设计和编纂中的问题
• 语料库设计和编纂的出发点是：如何使得在其基础上开展 的语言调查是合理的和可靠的。因此Kennedy(1998)指出 了语料库设计师所面临的最基本问题：这个语料库所采集 的语言数据是否真正代表了某种期望的语言或语体。在语 料库的建设和编纂过程中应考虑的问题包括： • （1）静态与动态 • （2）代表性和平衡 • （3）规模
乔姆斯基的转换生成语法时期
1957年乔姆斯基《句法理论》及其以后一系列论著的发表， 根本改变了语料库语言学的早期发展状况。在这段时期中， 笛卡尔的理性主义占据主导地位，经验主义几乎无立足之 地，被视为经验主义产物的各种语料库自然被完全否定。
经验主义
empiricism
理性主义
rationalism
这种方法主张，我们在对语料库进行分析之前并 无任何假设，通过对语料库中的所有例证进行穷 尽性的分析和归类，得出有关语言使用情况的假 设乃至结论。语料库驱动的研究方法的基本程序 是“观察—假设—归纳—理论整合”（obsevation leads to hypothesis leads to generalisation leads to unification in theoretical statement）。 17
语料库指导的方法 corpus-informed approach
• 这种方法：对语料库进行分析，得到各种词语、 搭配和结构在语料库中的出现频率、使用场合、 语体等信息，然后在这些语料库信息的指导下编 写合适的教学材料，较为间接地把语料库的信息 用于语言教学中，语料库主要起到一种指导性作 用。17
语料库语言学的复苏时期
80年代以来，语料库语言学在相对沉寂了近20年后，开始 复苏，并得到迅速发展。主要表现在下面两方面。 （1）第二代语料库的相继建成。 1）LOB 2）TLF 3）赫尔辛基历史英语语料库 4）ICE （2）基于语料库的研究项目增多。
1959-1991年语料库研究项目统计表
起止年限 1959-1965 1966-1970 1971-1975 1976-1980 研究项目数目 10 20 30 80
语料库语言学需要解决的问题
• • • • • • • 语料库设计的目的。 收集语料时的文本形式、文本所有权和版权问题。 需要不断更新应用软件以满足语料库的发展。 语料库的规模问题。 语料库的代表性问题。 语料的时限问题。 由于语料库须不断更新的需要和检索手段的改良 而对语料库标准化提出的更高要求。
• （1）数据的区别性特征：语料库语言学数据以其验证性、大数
量性、自动化、计量性等特征有别于其它类型的数据。
• （2）特征性分析技术：包括频数统计、词语索引分析、搭配分
析、词从、主题词等。
• （3）自下而上与自上而下兼用的精密分析过程 ：经典语料
库语言学研究中的归纳与推演，数据观察与理论讨论，往往 是层层展开，步步深入，穷尽一切可能，逐渐逼近，到达结论。
•
检索实例
参考文献
• / • /
• 杨惠中等：语料库语言学导论 上海外语教育出版社 2002 • 梁茂成，李文中，许家金: 语料库应用教程 外语教育与研究出版社 2010 • Kennedy, G. 语料库语言学入门 外语教育与研究出版社 • Biber, D. 语料库语言学 外语教育与研究出版社 • Meyer. 英语语料库语言学导论 上海外语教育出版社 2008 • 刘泽权：《红楼梦》中英文语料库的创建及应用研究 光明日报出版 社 • 《语料库语言学》（半年刊） 外语教学与研究出版社
语言研究中语料库的使用
1.言语研究： (1)语言学理论 。
(2)语言史研究。 （3）句法、词法及自动语法分析。
2.词汇研究： 编纂词典及工具参考书。 3.语义学 4.语用学和话语分析（很少） 4.社会语言学 5.心理语言学 6.外语教学
语料库语言学在计算语言学中的应用
• 20世纪90年代以来在自然语言处理（NLP）和计 算语言学的研究中，语料库方法和统计语言模型 迅速崛起，成为主流技术。主要用法如下： 1）汉语文本中交集型切分歧义的研究 2）汉语基本名词短语识别研究 3）基于结构词义空间的汉语词义排歧模型
语料库的加工和管理技术
• 主要是指用于语料分析、标注、维护和检索软件的工具。 语料库不仅仅是文本的集合，它应该具有良好的存取性能， 一边是各种研究人员都能从中检索出自己需要的信息。因 此语料的检索是其中一项重要的工作。 • 目前普遍使用的检索技术: 1)逐词索引（concordance） 2)词簇（cluster） 3)搭配（collacates） 4) 词表（word list） 5)关键词表（keyword list）27
11
• 24
语料库语言学
Corpus Linguistics
张凤云
语料库语言学的定义
什么是语料库？ 语料库（corpus,复数形式corpora)顾 名思义就是存放语言材料的仓库（或 数据库）。现指存放在计算机里的原 始语料文本或经过加工后带有语言学 信息标注的文本。
什么是语料库语言学？ 作为一个学科的名称 “语料库语言学”与 “语法学”或“语义学”不同，它不属于 语言自身某个侧面的研究，而是一种以语 料库为基础的语言研究方法。它实际上包 括两方面的内容：一是对自然语料进行加 工、标注；二是用已经标注好的语料进行 语言研究和应用开发。
书面语75% 口语25% 书面和口语
研究当代美国英语 研究当代英国英语
在语料库支持下从事词典学研 究
编纂词典和供学术界使用
其口语语料库可以精细分析语 音研究
对讲英语的不同国家的英语进 行对比研究
BNC
ICE
1991-1995
1988年起
1亿
2000万
书面语90% 口语10%
书面语40% 口语60%
国内语料库介绍
语料库语言学的不同研究方法
由于语料库语言学依赖自然数据，因而语料库语 言学从本质上说是实证性的，其语言观是经验主 义的语言观。按照研究中对语料库依赖程度的不 同，可以把依赖语料库的研究方法大致分为三类： 1) 语料库指导的方法24 2)基于语料库的方法25 3)语料库的驱动方法26
语料库研究的方法论特色
• • • • • • • • • 汉语现代文学作品语料库（1979年），527万字，武汉大学 现代汉语语料库（1983年），2000万字，北京航空航天大学 现代汉语词频统计语料库（1983年），182万字，北京语言大学 台湾中央研究院平衡语料库，500万词，是世界上第一个带有完整词 类标记的汉语平衡语料库。 中文五地区共时语料库（1995年），香港城市大学 汉语精加工语料库 特殊英语语料库 中国英语(China English)语料库 ，河南师范大学 军事英语语料库(Corpus of Military Texts) ，解放军外语学院 《人民日报》语料库(2700万字) ，北京大学计算机语言学研究所