Ｔｈｓ ｐ ｐ ｒｒ ｖ ａｓ １ ｅ ｌｎ ａｌｄ ｓｒｂｕ ｉｎ ｏｆｔ ｉ ｎ ｆｉｆ ｒ ａｉ ｉ ａ ｅ ｅ ｅ ｌ ｈ ｏ ｇ ｔｉ ｉｔｉ ｔｏ ｈｓ ｋｉｄ ｏ ｎ ｏ ｍ ｔ ｏｎ，ａ ｏ ｏ ｅ ｎ ｉｃ ｎｄ ｐｒ ｐ ｓ ｓ ａ ｎ ｏｍｐｌｔ ｌｓ ｅｉ ｇ ａｇｏ ｉｈ ． ｅｅ ｃｕ ｔｒｎ ｌ ｒｔ ｍ
Ｔｈｅ ｅ ｐｅ ｉ ｅ ａ ｅ ｕ ｔ ｓ ｗ ｈａ ｈ ｏｐ ｅ ｅ ｈ ａ ｌ ｔ ｒ ｔ ｈｏ ｔｔ ｘｔ ｆｅ ｔｖｅｙ ａ ｆｃｅ ｔｙ ｘ ｒｍ ｎｔ ｌｒ ｓ ｌｓ ｈｏ ｔ ｔｔ ｅ ｐｒ ｏｓ ｄ ｍ ｔ ｏｄ ｃ ｎ ｃｕｓ ｅ ｈｅ ｓ ｒ ｅ ｓｅ ｆ ｃ ｉ ｌ ｎｄ ｅｆｉｉ ｎ ｌ ．
Ｋｅ ｒ ｓ：ｓ ｒ ｅ ｔｙ ｗｏ ｄ ｈｏ ｔｔ ｘ ｓ；ｃ ｕ ｔ ｒｎ ｌ ｓ ｅ ｉｇ； ｉｃ ｍ ｐｌｔ ｌ ｓ ｅ ｉ ｇ ｎｏ ｅ ｅｃ ｕ ｔ ｒｎ
Ａｂ ｔａ ｔ ｓ ｒ ｃ ：Ｃｌ ｓ ｅ ｉ ｇ ｉ ｎ ｕｎｓ ｐｅ ｖ ｓ ｄ ｃａ ｓｆｃ ｔｏ ｔｅ ｎ （ ｓ ｒ ａ ｉ ｓ，ｄａ ａ ｉｅ ｓ，ｏｒｆａｔ ｒ ｅ ｔ ｓ）ｉ ｔ ｕ ｔ ｒｎ ｓ ａ ｕ ｒ ｉｅ ｌｓ ｉｉａ ｉｎ ｏｆｐａ ｔ ｒ ｓ ｏｂ ｅ ｖ ｔｏｎ ｔ ｔ ｍ ｅ ｕ ｅ ｖ ｃｏｒ ｎｏ
息 进 行 聚 类 分 析 时 往 往 显 得 异 常 无 力 。 该 文 通 过 对 实 际 应 用 中 的 短 文 本 信 息 进 行 实 验 分 析 ， 现 了 这 类 数 据 类 别 发
所 具 有 的“ 长尾 现 象 ” 并 由此 提 出 了不 完全 聚 类 思 想 ， 以有 效地 提 高这 类 短 文本 信 息 的 聚类 性 能 。 ， 可 关 键 词 ：短 文 本 ； 类 分 析 ； 完全 聚 类 聚 不
第 ２ ５卷 第 ｌ期
２ｌ Ｏ １年 １月
中 文 信 息 学 报
Ｊ） （ＵＲＮＡＩ ＯＦ ＣＨ Ｉ ＮＥＳ Ｎ Ｆ Ｅ Ｉ ＯＲＭ ＡＴ１ ０Ｎ ＰＲＯＣＥ Ｓ ＮＧ Ｓ Ｉ
Ｖ ０１ ２５，Ｎ ｏ １ ． ．
Ｊ ｎ ，２ ｌ ａ． ０ １
文 章 编 号 ：１ ０ — ０ ７ ２ １ ） 卜０ ５ ６ ０ ３０ ７ （ ０ ０ ０ ４０ １
中 图 分 类 号 ：ＴＰ３ １ ９ 文 献 标 识 码 ：Ａ
Ｉ ｃ ｍ ｐ ｅ ｅ Ｃｌ ｓ ｅ ｉ ｇ ｆ ｒ Ｌａ ｇ ｃ ｌ ｈ ｒ ｘ ｓ ｎ ｏ ｌ ｔ ｕ ｔ ｒ ｎ ｏ ｒ ｅ Ｓ ａ ｅ Ｓ ｏ ｔＴｅ ｔ
ＰＥＮＧ ｙｎ ，Ｙ Ｕ ａ ｍ ｉｇ Ｚｅ ｉ ｇ Ｘｉｏ ｎ ，ＸＵ ｎ ｂ ，ＩＩ Ｃｈｕ ｙ ｎ Ｈｏ ｇ ｏ Ｕ ｎ ａｇ （ ．Ｉ ｓｉｕｅｏ ｍｐ ｔｎ ｌ ｃ ｎ ｌｇ ，Ｃｈｎ ｓ ａ ｅ ｆ ｃｅ ｃ ，Ｂ ｉｎ ０ １ ０，Ｃｈｎ ； １ ｎ ｔ ｔ ｆ ｔ Ｃｏ ｕ ｉｇ ＇ ｈ ｏｏ ｙ ｅ ｉｅ ｅＡｃｄ ｍｙｏ ｉｎ ｅ ｅｊ ｇ １ ０ ９ Ｓ ｉ ｉａ
２ ．Ｎａｉｎ ｌＣ ｍｐ ｔｒＮｅｗｏ ｋ Ｅｍｅｇ ｎ ｙＲｅ ｐ ｎ ｅＴｅｈ ｉａ Ｔｅ ｍ／ ｏ ｄｎ ｔ ｎ（ｅ ｔｒｏ ｉａ，Ｂ ｉｎ ０ ０ ９ ｔ ａ ｏ ｕ ｅ ｔ ｒ ｏ ｒ ｅ ｃ ｓ ｏ ｓ ｃ ｎｃ ｌ ａ Ｃｏ ｒ ｉａｉ ；ｎ ｅ ｆＣｈｎ ｏ ｅｊ ｇ １ ０ ２ ，Ｃｈｎ ） ｉ ｉａ
ｇｒ ｐｓ （ ｌ ｔ ｒ ） Ｓｏ ｆ ｒ ｏｕ ｃｕｓ ｅ ｓ ． ａ ，ｍ ａ ｌ ｓ ｅ ｉ ｌ ｏｒｔ ｓ ｈ ｖｅｂｅ ｎ ｐｒ ｐｏ ｅ ｎｙ ｃ ｕ ｔ ｒｎｇ ａ ｇ ｉｈｍ ａ ｅ ｏ ｓ ｄ． Ｗ ｉｈ ｔ ａ ｄ ｄ ｖｅｏ ｔ ｈｅ ｒ ｐｉ ｅ ｌｐｍ ｅ ｎ ｅ ｎｅ ， ｎｔｏｆｉ ｔ ｒ ｔ ｓ ｏｒ ｔ ｔ ｕ ｈ ａ ｈ ｔ ｅｘ ｓ ｓ ｃ ｓｑｕｅ ｙ ｌ ｓ ａ ｄ Ｔｗ ｉｔ ｒｍ ｅ ｓ ｇｅ ａ ｏ ｅａ ｏ ｅｉ ｐ ｔ ｎｔｒ ｅ ｉ ｒｄａｌ ｉｅ Ｍ ｏ ｔｅ ｒ ｏｇ ｎ ｔｅ ｓ ａ ｓｐｌｙ ａ ｍ ｒ ｎｄ ｍ ｒ ｍ ｏｒａ ｏｌ ｎ ｏｕ ｉｙ ｌｆ ． ｓ ｘ— ｉｔｎｇ ｃ ｕ ｔ ｒｎ ｅ ｈ ｓ ａ ｅｈａ ｄ ｔ ｐｐｌｅ ｎ ｄ ａ ｉ ｔ ｈｉ ｎｄ ｏｆｉ ｏ ｍ ａ ｉｎ ｄｕｅｔ ｈｅｈｕ ｃ ｌ ｆｄａ ａ ｓ ｉ ｌ ｓ ｅ ｉ ｇ ｍ ｔ ｏｄ ｒ ｒ Ｏ ｂｅａ ｉｄ ｉ ｅ ｌｎｇ ｗｉｈ ｔ ｓｋｉ ｎｆ ｒ ｔｏ ｏ ｔ ｇｅｓ ａｅ ｏ ｔ ．
大 规 模 短 文 本 的 不 完 全 聚 类
彭泽 映 俞 晓 明 许 洪 波 刘 春 阳。 ， ， ，
（ ．中 国科 学 院 计 算 技 术 研 究 所 ， 京 ｌ ０ ０；２ １ 北 ０ｌ ９ ．同家 计 算 机 网 络 应 急 技 术 处 理 协 调 中 心 ， 京 １ ０ ２ ） 北 ０ ０ ９
摘
要 ：聚 类 分析 是 数 据 挖 掘 的一 个 重要 手 段 ， 们 可 以通 过 聚 类发 现 信 息 中 潜在 的 热 点或 规 律 。至 今 ， 经有 大 人 已
量 聚类 算 法 被 研 究 和 提 出 。随 着 互联 网 的 日益 普及 ， 询 日志 、 ｗｉ ｅ 等 短 文 本 信 息 逐 渐 在 人 们 生 活 中起 着 越 来 查 Ｔ ｔ ｒ ｔ 越 重要 的作 用 。这 类 短 文 本 信 息 数 量 巨大 ， 常 可达 到 千 万 乃 至亿 级 ， 有 的 聚 类 算 法在 对 这 类 大 规 模 短 文 本 信 通 现