分 析 , 三是便 于操作 川 , 四是 与藏语 传 统语法 保 持 最 大 的一致 根 据这 四点 考 虑 , 结 合 藏 语 信 息 处 理 的 实 际需 要 , 从 总体 上采 用 了以语 法功 能分 布 为主 , 形 态 变 化 为 辅 的分 类 标 准闭 , 依 据 这 一 标准 对 藏 语 词 类 进 行 了归类 , 并 在 藏 语 自动 分词 系统 和 汉 藏 机 器 翻译
第2 3 卷
第4期
中文信息学报
JO U R N A L O F C H IN E S E IN F O R M A T IO N P R O C E S S IN G
V ol. 2 3 , N o. 4
2 00 9 年 7 月
J ul., 20 0 9
文章 编 号 : 100 3一 00 77 (2 009 )04一 00 107一 06
好 的参 照
在对 藏 语 文本 进 行 切分 标 注 时 首先 解 决
1
前言
对于英语 法语 和 德语 等西 方语 言而 言 , 词 与词
的是藏语 词类 的分 类体 系和标记 集 的制 定 , 其 次是 根 据 藏语 词类 的分类 体 系 和标 记 集 建立 藏 语语 料 库 切 词词典 , 最 后对原 始文本语 料进 行切分 和标注 为 了使 藏语 语料 库 词语 分类 体 系 及标 记集 具 有 规 范性 稳 定性 针 对性 实用性 和继 承性 , 青 海师 范 大 学藏 文信 息 处理 与机 器 翻译 省 级重 点 实验 室从 20 02 年 开始 进行 了藏语 语 料库 的 多级 加 工研 究 , 对 1 00 0万 字 的藏语 原 始语 料 进行 切 分 和 标 注 实 验 (这 些 原始 语 料包 括藏 文 典籍 中小学 教 材 藏文 期 刊和 报 纸 藏文 网 站界 面文 字 现代 藏 文 文选 和藏 文版 政
S eh em e f o r T ib e tan C o rP u s
C A I R ang ji a
(T h e M a j or P rov i n ei al L ab oratory o f T ibeta n In fo rm ation H a nd l ing
M aeh i n e T ra nslati n g Q ing h ai N o r a m
收 稿 日期 : 2 00 8一 0 4一 21
定 稿 日期 : 20 09一 03一 23
甚金 项 目: 国家语 委资助项 目(M Z ll5 ~0 18 ) , 国家社 会科 学基金 ( 0 7 B Y Y o 35 ) , 国家社 会科学重点基金 (0 5 AYY
) l
作者 简介 : 才让加 (1963一 ) , 男 , 教授 , 研 究方向为计算语 言学 藏文信 息处理
在藏语语料序加 工实脸 中的应 用表 明 , 该 分类方法和标记集足 一个比较合理 和实用的 .
文献标识码 : A
关抽 词 : 计 算机应 用;中文信息处理 ;语料库 , 截语词语 , 分类体 系;标 记集
R esea reh o n th e W o r d
C at雌 or ies a n d It s A n n o ta t云 on
10 8
中文信息学报
2 00 9 年
论著作 藏文版法律法规等 ) , 通过藏语语料的的切
分标 注 实验 , 200 5 年 1 2 月 完成 了 藏语 语 料 库 分类
体 系及 标记 集 (讨 论稿 ) , 200 7 年 6 月 完 成 了 藏 语 语 料库 词语 分类 体 系及标 记 集 (V l.O )
习 研 可 苦 习 q百 呵
v气 月 可 等);
决 可冷 自 勺如 :
5. 形 容词 类 (A ) (形容词 a 气 .
气 ,气 一 两q 长 1西 可 沂 , ,二 ,二 T 等; 状 态 词 ;飞 叭 油勺 如:舒 补 勺忿 叮 叨 禽 二 补 和弓 万 习 等);
6. 副 词 类 ( n ) ( 副 词 d 勺 月 , 气 可 a角 盯 1如: 万石 l q日 愁 , 奋 气 伸 和衡 等); 7. 叹 词 类 (E ) ( 叹 词 e . 气 叮 月 , 马 气 1如 :
e y w on l K s : eom p uter ap p l ieati on ; C h i n ese inf o r m ati on pr o ees:i ng , eo rP u s;T ibetan ph rases ; ea teg o ry ; m ark g ath erin g
k, 长 可妥 气 沙 ., 如:气 可 ,忿 叮 砺 ,1坟 气 Iq百 呵 今 , q气 可 石 l
等)
1. 名词类 (N )(名词 n .气 门 衡 叹气 含 自1 如:
3
藏语词类标记集及子类分 类
藏 文词 类标 记 集及 子类 分类[ 9一 , 见下 表
衡 气 二 , !啊, ( 衡百 可 叫板. 封 等; 时 间 词
叮 两奢 呵 等);
8. 拟 声词 类 (O ) ( 拟声词 芍 ,叮 健嗯 气扮 脚 勺如 :
既符 合 藏文 自身特征 又可 以被 计算 机 自动处 理 的方
法 因此 , 我 们 在藏 语词 语分 类体 系 的构建 上 , 采用 为了便 于计 先 分虚 实 , 再 确 定 大 类 , 在 大 类 的基 础 上分 出小 类 , 然 后根 据需 要再 分 出不 同深 度 的子类 算 机 自动 分析 和处 理 , 我们 重 点 考虑 以 下 四 点 : 一
库进 行 自动切分 和人 工分析的基拙上提 出了一个成语 词语 分类 体 系和标记 集. 根据 藏语 语料 库 和计 算机 自动切
分和标注 的实际禽要 , 在 藏语词语分类体 系的构建上 , 采用先分应 实 , 再确定大 类 , 在 大类 的基础上 分 出小类 , 再分 出不 同深度 的子 类
中圈分类号 : T P 3 9 1
气,念 , ,价 愈 厅 万 气 , ,I 等), n .陈 述 词 (Y ) (陈 述词y考 如 );
2 . 接 续 词 类 1 ( C ) ( 接 续 词
叮 ,, 气 坟 1 获 ! 丁 弓 食 劲耘 年 角 找 I 等);
3 . 藏 语 词 语 小 类 (H ) (词 缀 h 斯 期, 如 : 1
语 的猫 着 性特 点闹 , 单 纯地 使 用 任 何 一种 方 法 来 进 行藏 语词 语 的分 类都 很 难 得 到最 佳 的分 类 体 系 , 由
于藏 语具 有格 助 词表 征词 与词 之 间的 明显 的形式 特 征 , 动词 又保 留着 形 态 变 化 的基 本 特 征 , 而 格 助 词 形 容词 等具 有广 义 上 的 形态 变化 特 征 , 因此 利 用 语 法 功能 与形 态特 征进 行藏 语词 语 的分 类应该 是 一种
A 加 tr c a
nd
l U niversity , Q i n g hai, X i ni n g 8 10 00 8 , C h i n a)
t : F or th e au tom a ti e seg m en t a ti on and P O S tag ging , th i s pa per P ro po ses a T i b etan w o rd eateg o ry system an d
藏 语语料 库词语分类体 系及标记集研究
才让加
(青海 师范大学 藏文信息处 理与机器翻译省级重点 实验室 , 青 海 西宁 810008 ) 摘 要 : 青海师 范大学藏 丈信息处理 与机 器翻 译省级重 点 实脸 室 已完成 1 00 0 万 字的藏 语语料 库 的加 工 实验 , 加
工的主要 目的是使 计算机能够对藏语语料 库 中的截语 词语 进行 自动切 分和 自动 标注 . 该 丈在 对 大规模 藏语语 料
a ann o tati o n seh em e after a earefu l an alysi s ov er a l arg e T i b etan eo rp u s. A eeo rd i n g to the p ra eti eal dem an d s on th e
T ibetan eo rP u s , th e T ibeta n w ords are first d i vided i n to several m ain eatego ri es aeeo rd i n g to w h ere they are eon ten t
叭 乌牙 .勺 如 : , 找 可尸 百 呵 等;
方 位 词
f
朝
,,移 可扮 鱼 引 如:月 , I钱I营 , 1等 ),
2. 数 词 类 ( M ) ( 数 词 m , 叮 叹叮 冷 角 勺如 :
,两 忍 I夸 二 ,, 研 呵二 卿 ,
奄r 等);
3. 量 词 类 ( Q ) ( 量 词 q 叹 息 气 引 如:
竿 宕1 可 呵气 气 ,气I 等);
9. 助 词 类 ( U ) ( 助 词 u 月 , 马 气 侧 如:
丙 勺番 勺角 刃息 勺马 闪急 可 即熟 为息 , 俨叫 等 ),
10. 格 助 词 (G ) (格 助 词 g 吞 二 气 孰 如:
是 划分 出来 的兼类 词 尽 可 能 的 少 , 二 是 有 利 于 句法
t
万 可 留 气 移 可冷 角 , 如:气 昌 军 四臀 匀气 芍 叼 晰 等;处所词 S
蔽 文词 类标记集及子类分类衰
标记 标记
子 类
气蓄 ,, q轰 气 冷匆 1
形容 词
d a
} 可再 厂时石 可单音节
} 可只 尽 甲 盯石 可多音节
4期
才让加 : 藏语语料库词语 分类体系及标记集研 究
109