当前位置:文档之家› 常用语料库软件的应用.ppt

常用语料库软件的应用.ppt


ENPC: 40%/60%(non-lit/lit);S. Johansson Size: 2.6 million words Language: English, Norwegian; Number of texts/samples: 100 orig., 100 transl. Period: 1975–1995
抽样字数及分配
语料取样计算
语料文本的基本处理:主要处理方式-1
语料的最常用存储方式是纯文本,纯文本顾名思义就是 只有文字,不支持任何其他字符格式,如粗体、斜体、 下划线、表格框,等等。语料以这种方式存储占用空间 极小,且几乎所有检索软件都支持。
将语料以这种方式存储只是检索的操作,更重要的是让 存储的文本内容规范,格式尽量一致,而且没有乱码, 不必要的空格和软回车、硬回车,等等文本噪音。要做 到这些,就需要对语料进行按部就班的处理。使用 Microsoft Word可以对文本进行处理。
双语语料库
常用建库及检索软件的应用
CONTENTS
语料库的基本特征 语料抽样:理论与抽样操作 语料文本的基本处理:主要处理方式和实现方式 双语语料的对齐:方式和方法 语料检索:基本检索和高级检索(普通、正则和term list) 双语语料检索:基本检索和高级检索 语料数据后续处理:z-score; log-likelihood; factor analysis;
语料文本的基本处理:主要处 理方式-5
添加metadata后的语料样态
语料文本的基本处理:主要处理方式-6
双语语料的对齐:方式和方法1
对齐就是源文和译文对应。翻译语料的主要特征是对齐。 对齐的语言层级:
语料库的基本特征-2
语料库可以视为结构合理的语料文件的集合。往往以 数据库形式存在(如文件夹)。这是语料库建库工作 中最重要的部分,也是最耗时费力的部分。
语料数据库建成之后,就可以从库中提取信息,称为 检索。检索效果高低要看能否充分运用检索手段,但 最终依赖语料库本身能提供多少可能性。
检索结果的处理需要技巧,事关处理的质量和效率。
Brown/LOB:分层抽样,大小一致;分层抽样如文学中小说占35%, 散文占8%,戏剧占2%。2nd generation corpora: The Corpus di
Italiano Scritto
BNC:大小不一(max:40,000 words);25%/75%(lit./inf.)
我们_r; 我们/r; 我们<r>; <w pos=“r”>我们</w> Header:
有关文本的元信息,涉及文本的作者、文体、出版时间等 <LANGUAGE>Chinese</LANGUAGE><SL>English</SL><TITLE>M
eiGuoShi</TITLE><TRANS>WeiYeChou</TRANS><CATEGORY>1 </CATEGORY><STYLE>3</STYLE><GENRE>G</GENRE><PUBLI SHER>Shangwuyinshuguan</PUBLISHER><TIME>1929</TIME>< ERA>B</ERA><SIZE>23052</SIZE> 相对完整的语料文件范本
语料抽样:理论与抽样操作
有代表性、结构合理的语料文本集合,但不是任意搜集的文本数据库, 也不是越大越好,而是“finite-sized body of machine-readable text”, 语料库通常有抽样框架。一般说来,处于研究的需要,语料宜尽量平衡, 这样就不能照单全收,需要考虑从中抽取一部分。抽取多少,如何抽取, 这个问题可以说众说纷纭。
correlation; keyness 微型教学语料库的创建和使用 翻译课堂教学用双语语料的制作和应用
语料库的基本特征-1
Computer-readable: txt, xml, html, doc, pdf Consistency:
his motБайду номын сангаасer; his mother; his\nmother Annotation:
序的headadder,txtmarker。其实除噪是执行 一些替换性的操作(see next slide)
语料文本的基本处理:主要处 理方式-4
$line=~s/\s\n/\n/g; #matching and replacing all $line=~s/(.)\n/$1 /g; #matching and replacing all $line=~s/[\r\n]/##/g; #matching and replacing all $line=~s/\*//g; #matching and replacing all $line=~s/^\s*$//g; #matching and replacing all $line=~s/\\s{0,}/\s/g; #matching and replacing all $line=~s/\\s\n/\n/g; #matching and replacing all $line=~s/\Z\n/##/g; #matching and replacing all $line=~s/ +/ /g; #replace more whitespaces with just one $line=~s/\s+(#{2,})/$1/g; #matching and replacing all
语料文本的基本处理:主要处 理方式-2
Word中的替换、Macro的使用 其他语料文本处理工具的使用(Editplus)
语料文本的基本处理:主要处 理方式-3
规范语料文件的生成:无噪音、符合预期的加 工规范(标记充分)。
Header <p>|<s> POS 存储格式(txt|xml) 辅助软件的使用:通常会包含包含文本除噪程
相关主题