Ｙａ ｔｉ ｈ ｎ ｏ ｇ２ ４ ０ ， Ｃ ｉａ ２Ｍｉｉ ｒ ｐ ｅｅ ｔｔ ｅ ｕ ｅｕｏ Ｄ ｉ ｈ ｎ Ｗｕ ａ ｂ ｉ ３ ０ ４， Ｃ ｉａ ｎａ Ｓ ａ ｄ ｎ ６ ０ １ ｈｎ ； ． ｌ ａｙＲｅ ｒｓｎａｉ ｓＢ ｒａ ｆ ｔ ｖ ＮＥ ｎＷｕ ａ ， ｈ ｎＨｕ ｅ ４ ０ ６ ｈｎ ）
摘 要 ：在 中文分词领 域 ，基 于字标 注 的方法得 到广泛 应用 ，通过 字标 注分 词 问题 可转换 为 序列标 注 问题 ，现在分 词效果 最好 的是 基于条 件随机场（ Ｒ ｓ的标 注模 型。作 战命 令 的分 词是进 行 Ｃ Ｆ） 作 战指令 自动生成 的基础 ，在 将 Ｃ Ｆ 模 型应用到作 战命令 分词 时，时间和 空 间复杂度 非常高 。为 Ｒｓ 提 高效率 ，对模 型进行 分析 ，根 据特征选 择算 法选取特 征子集 ，有效 降低 分 词的 时间与空 间开销 。 利用 Ｃ Ｆ 置 信度对 分词结果 进行后 处理 ，进 一步提高分 词精确度 。实验 结果表 明 ，特 征选择 算法 Ｒｓ
ｉ ａ ａ ｙ ｅ ｎ ｅ ｔ ｒ ｓ ｂ ｅ ｓ ｒ ｓ ｌ ｃ ｅ ｙ ｓ ｎ ｔ ｆ ａ ｕｒ ｓ ｌ ｃ ｉ ｎ ｌ ｏ ｉｈ ， ｗｈ ｃ ｃ ｔ ｔ ｅ ｓ ｎ ｌ ｚ ｄ ａ ｄ ｆ ａ ｕ ｅ ｕ ｓ ｔ ａ ｅ ｅ ｅ ｔ ｄ ｂ ｕ ｉ ｇ ｈｅ ｅ ｔ ｅ ｅ ｅ ｔｏ ａ ｇ ｒｔ ｍ ｉｈ ｕ ｈ
（， ，） Ｐ ｆ 为状态 转移特 征 函数 ； ｇ （， Ｘ 为状态特 征 函数 ； Ｙ ｋｖ ，） Ｊ
和 是 由训 练样本 得到 的特征权 重 ；ｋ为特 征
函数 编号 ；ｖ为 中的节点 。计算 特征权 重 函数 采用极 大似然 估计 方法 。Ｃ Ｆ 指数 模型 为凸 函数 ，可采 用迭代 Ｒ ｓ
ｃ ｍｍａ ｄ ｏ ｄ ｒ Ｓｏ ｅ ｏ ｈ ａ ｉｓ ｏ ｈｅａ ｔ — ｅ ｒ ｔｏ ｆｃ ｍｍａ ｄ ｏ ｄ ｒ ．Ｙｅ ｏ ｎ ｒ ｅ ｓｉ ｎ ｆｔ ｅ ｂ ｓｃ ｆｔ ｕ ｏ ｇ ｎｅ ａｉ ｎ ｏ ｏ ｎ ｒｅ ｓ ｔｗｈｅ ｉ ｈ ｏ １ ｎ ｕｓｎｇｔ ｅｍ ｄｅ ｆ ｒｃ ｍｍａ ｄ ｏ ｄ ｒ ｅ ｍｅ ｔｔｏ ｏ ｏ ｎ ｒ ｅ ｓｓ ｇ ｎ ａｉ ｎ， ｐ ｏ ｅ ｆｂ ｄｔｍ ｅａ ｄ ｓ ａ ｅ ｅｆｃ ｅ ｙ ａ ｅｅ ｃ ｕｎ ｅ ｅ Ｔｈ ｏ ｅ ｒ ｂｌｍｓｏ ａ ｉ ｎ ｐ ｃ ｆｉ ｉｎｃ ｒ ｎ ｏ ｔ ｒ ｄ． ｅｍ ｄ ｌ
ｒ ｓ ｌｓ ａ ｅ ｓ ｔｓ ａ ｔ ｒ ． ｅ ｕ ｔ ｒ ａ ｉ ｆ ｃ ｏ ｙ
Ｋｅ ｒ ： Ｃｈ ｎ ｓ ｒ ｅ ｍ ｅ ａ ｉ ｎ； Ｃｏ ｄｉｉｎ ｌＲａ ｄ ｍ ｉ ｌ ｓ ｆ ａｕ ｅｓ ｌ ｃｉ ｎ； ｃ ｎ ｉ ｎ ｅ ｙｗｏ ｄｓ ｉ ｅ ｅｗｏ ｄｓ ｇ ｎｔｔｏ ｎ ｔｏ ａ ｎ ｏ Ｆ ｅ ｄ ； ｅ ｔ ｒ ｅ ｅ ｔｏ ｏ ｆｄｅ ｃ
（ ＲＦ ） ａ ｇ ｒｉ ｔｅｂ ｓ ｔｇ ｅ ｈｃ ａ ｃ ｉｖ ｔｔ－ｆｔｅａｔ ｅｆｒ ｎ ｅ Ｔ ｅｓ ｇ ｎａｉｎ ｏ ｅ Ｃ ｓ ｔｇ ｅ ｓ ｈ ｅ ｔ ａ ｇ ｒｗ ｉｈｃ ｎａ ｈｅ ｅｓａｅｏ－ｈ —ｒ ｐ ｒ ｍａ ｃ ． ｈ ｅ ｍｅ ｔｔ ｆｔ ｏ ｏ ｈ
如今 随着 信息化 技术 的迅猛发 展 ， 互联 网上 的信息 量呈现 指数爆炸 的增长 趋势 ， 海量 文本信 息使得 文本 信息
的 挖 掘 成 为 迫 切 需 求 。 与 西 方 语 言 不 同 ，中 文 文 本 中并 不 存 在 词 的 分 隔 符 ，故 中文 分 词 【 是 中 文 信 息 处 理 的 基 ｊ
本 步骤 ，是 自然语 言处理 的经典 问题 。近 些年来 中文分词 得 到了长足 的发展 。主流 方法有传 统 的基于规 则 的 Ｊ 方 法和现 在流行 的基 于统计 的方法 。 统方法 如前 向最 大匹配 和反 向最 大匹配 等 ， 于统计 的方法 主要有支 持 向 传 基 量 机（ｕ ｐ ｒＶ ｃｏ ｃ ｉｅ Ｓ Ｍ）Ｊ隐马尔 科夫模 型（ ｄ ｅ ｒｏ ｄｌＨＭＭ） １ Ｓ ｐ ｏｔ ｅｔｒ Ｍａ ｈｎ ， Ｖ 、 ＨｉｄｎＭａｋ ｖ Ｍｏ ｅ， ［和条件 随机场 （ ｏ ｄｔ ｎ ｌ ６ Ｃ ｎｉｏａ ｉ Ｒ ｎ ｏ ｉｌｓ Ｒ ｓ ａ ｄ ｍ Ｆ ｅ ，Ｃ Ｆ ） ｄ 等 。基于统计 的方法 建立在统 计推 断基础上 ，可得 到 比传统 方案更 高 的性 能 。随着 分词 算法 的不 断改进 ， 各分 词方法 的性能 已经相差 无几 。目前 达到最好 分词效 果 的是 基于 Ｃ Ｆ 的分词 模型 ， Ｃ Ｆ Ｒ ｓ 但 Ｒ ｓ 的主要 问题是其 训练效 率偏低 ，模型本 身决定 了其时 间复杂度 和空 间复杂度非 常高 ， 尤其 现在新 的语料 、词汇 不 断涌现 ，预先训 练好 的模 型不能适应 开放性语 料 ，模 型需要 及时更 新 ，高 速实时处 理 的分 词系统 成为迫 切要求 。 如何提 高其训 练效率 ，使之 适应快 速变化 的环境是 实现该模 型 的一 大挑战 。
方 法 找 到 全 局 最 优 解 。目前 常 用 的 是 有 限 记 忆 Ｂ Ｇ （ ｉ ｔｄｍｅ ｒ ｒｙ ｅ ，ｌ ｃ ｅ， ｏｄａｂＳ ａ ｎ ， ． Ｆ １ Ｆ ＳＬ ｍｉ ｍｏｙＢ ｏ ｄ ｎＦｅ ｈｒ ｌｆｒ ，ｈ ｎ ｏ Ｌ Ｂ ＧＳ ｅ ｔ Ｇ
迭代 方法 。 １２ 标 注 集 ．
用全 局归一化 的方 法 ，避 免产 生标记偏 移 问题 ，所 以在 中文分词 上优 于 ＨＭＭ 和最 大熵 马尔科夫模 型（ ｘｍ ｍ Ｍａ ｉ ｕ Ｅ ｔ ｐ ｒｏ ｄｌ ｎｒ ｙＭａｋ ｖＭｏ ｅ，ＭＥ ｏ ＭＭ） 等模 型 ，取得较 好 的效 果 ，其 中链 式 Ｃ Ｆ 在 中文 分词任 务 中最 常用 。在 给定 ｌ Ｒ ｓ 观察序 列条件 下 ，标 记序列 的条 件概率 为 ：
收稿 日期 ：２ １－５２ ；修 回日期 ：２ １－８２ ０ １０ ．４ ０ １０ ．３
第２ 期
顾 佼佼 等 ： 于 条件 随机 场 的 中文 分 词算 法 改进 基
１５ ８
１ 基 于条 件 随机 场 的算 法 改进
１１ 条 件 随 机 场 模 型 ．
Ｃ Ｆ 是 一 种 判 别 式 模 型 ，采 用 的是 无 向 图 分 布 ，没 有 严 格 的 独 立 性 假 设 ，可 以 任 意 选 取 特 征 ，而 且 因 为 采 Ｒ ｓ
引 入 标 注 集 可 把 分 词 问 题 转 化 成 序 列 标 注 问题 ， 于 １ 句 子 中 的 每 个 字 给 出相 应 的 标 签 ， 效 地 就 知 道 了 对 个 等 分 词 结 果 。Ｌ ＭＳ体 系 是 一 种 常 见 的标 注 方 法 ，每 个 字 依 据 其 在 词 中 出 现 的 位 置 给 予 不 同 标 签 ，句 子 中 的 每 个 位 Ｒ
ｒ 一
Ｐ Ｅｋ ∈，
Ｐ ） ｅ Ｉ （Ｉ ∞ ｘ Ｐ
（ ｆ） Ｐ 。 ＋∑ １ 女 ，Ｉ ） ，， ． （Ｙ ， ｌ ｔ Ｖ ｋ ｇ
Ｖ ， ∈ ｋ ／
一
、
（ １ ）
式 中 ： Ｘ 示 需 要 标 注 的 观 察 序 列 集 ； Ｙ 示 相 应 的 标 注 序 列 集 ；在 一 阶 链 式 结 构 的 图 Ｇ＝（ ， ） ， Ｖ代 表 图 中 表 表 ＶＥ 中 的 节 点 集 ， 表 示 图 中 的边 ，最 大 团 仅 包 含 相 邻 的 ２个 节 点 ，即 图 Ｇ 的边 。对 １ 最 大 团 中 的 无 向边 Ｐ （ ． ， 个 ＝ ． ， ）
Ａｂ ｔａ ｔ Ｉ ｓｒ ｅ ： ｎ Ｃｈｉ ｅ ｅ ｗｏ ｄ ｓ ｇ ｎ ａｉ ｎ ｆｅ ｄ ， ｔ ｍｏ ｔ ｗｉ ｅ ｙ ｕ ｅ ｅｈｏ ｉ ｈ ｒ ｃｅ － ｓ ｄ ｎ ｓ ｒ ｅ ｍｅ ｔ ｔｏ ｉ ｌ ｓ ｈｅ ｓ ｄ ｌ ｓ ｄ ｍ ｔ ｄ Ｓ ｃ ａ ａ ｔ ｒｂａ ｅ ｔ ｇ ｉ ｇ， ｗｈ ｃ ｅ ｏ ｍｕ ａｅ ｅ ｍｅ ｔｔｏ ａ ｋｔ ｅ ｕ ｎ ｅｔ ｇ ｉ ｇ ｔｓ Ｔ ｎ ｉｉ ｎ ｌＲａ ｏ Ｆｉ ｌ ａ ｇｎ ｉ ｈｒ ｆ ｒ ｌｔ ｓｓ ｇ ｎ ａ ｉｎ ｔ ｓ ｏ ａｓ ｑ ｅ ｃ ａ ｇ ｎ ａ ｋ． ｈｅＣｏ ｄ ｔｏ ａ ｎｄ ｍ ｅｄｓ
第 １ ０卷 第 ２期
２１ ０ ２年 ４月
信 息 与 电 子 工 程
Ｉ ＮＦ０ＲＭ ＡＴＩ ＯＮ ＡＮＤ ＥＬＥＣＴＲＯＮＩ Ｃ ＥＮＧＩ ＮＥＥＲＩ ＮＧ
ＶＯ１ ０． ．１ ＮＯ． ２ Ａｐ ．， ０１ ｒ ２ ２
文 章 编 号 ： １ ７ ． ８ ２ ２ １ ） ２ ０ ８ —４ ２２ ９ （ ０ ２ ０ — １ ４ ０
ｏ ｅ ｈ ａ ｆｔｍｅ ａ ｄ ｓ ａ ｅ ｅ ｅ ｔｖ ｌ ｎ ｍ ｐ ｏ ｅ ｔ ｅ ｅｆｃｅ ｃ ｆｔ ｅｍ ｏ １ Ｔｈｅ ｏ ｅ ｏ ｔｐ ｏ ｅ ｓ ｖ ｒ ｅ ｄ ｏ ｉ ｎ ｐ ｃ ｆ ｃ ｉｅ ｙ ａ ｄ ｉ ｒ ｖ ｈ ｆｉ ｉ ｎ ｙ ｏ ｈ ｄｅ． ｎ ａ ｎ ｖ ｌｐ ｓ— ｒ ｃ ｓ ｕｓｎ ｉ ｇ ＣＲＦｓ ｃ ｎ ｉ ｅ ｃ ｓ ｐ ｅ ｅ ｔｄ ｔ ｕ ｔ ｅ ｍ ｐ ｏ ｅ ｐ ｒｏ ｍａ ｃ ．Ｂｙ ｃ ｍｂ ｎ ｎ ｈ ｅ ｔ ｅ ｓ ｌ ｃ ｉｎ ｏ ｆｄ ｎ ｅ ｉ ｒ ｓ ｎ ｅ ｏ ｆ ｒｈ ｒｉ ｒ ｖ ｅ ｆ ｒ ｎ ｅ ｏ ｉ ｉ ｇ ｔ ｅ ｆ ａｕｒ ｅｅ ｔｏ ｍｅ ｈ ｄ ｎ ｔ ｅ ｏ ｆｄ ｎ ｅ ｂ ｓ ｄ ｏ ｔｐ ｏ ｅ ｓ ｇ ｅ ｔ ｍｐｒｖ ｍｅ ｔ ｓ ｃ ｉ ｖ ｄ ｎ ｔ ｅ ｘ ｒｍｅ ｔ ｌ ｔ ｏ ａ ｄ ｈ ｃ ｎ ｉ ｅ ｃ － ａ ｅ ｐ ｓ－ ｒ ｃ ｓ ， ｒ ａ ｉ ｏ ｅ ｎ ｉ ａ ｈ ｅ ｅ ａ ｄ ｈ ｅ ｐｅ ｉ ｎ ａ
基 于条 件 随机 场 的 中文分 词 算 法 改进
顾 佼 佼 ，杨 志 宏 ，姜 文 志 ｈ，胡 文 萱
（ ． 军 航 空工 程 学 院 ａ兵 器科 学 与 技 术 系 ；ｂ夕 训 系 ，山 东 烟 台 ２ ４ ０ １ 海 ． ＿ ｈ ６０１ ２海军 装 备 部驻 武 汉 地 区军 事 代 表 局 ，湖 北 武 汉 ４ ０ ６ ） ． ３ ０ ４