ｍｏ ｅ ａａ ｔｒ ｒ ｂａｎ ｄｂ Ｍ ｌｏｉ ｍ ｉｈｉ ｅ ｓ ｉｅｔ ｉ ａ ａｕ ． ＤＡＭ — ｓ ｅ ｍ ｒｓｎ ｓ ｅ ｓｔ ａｅ ｌｏ ｔｍ ｄ ｌ ｒｍｅｅｓａｅｏ ｔｉｅ ｙＥ ａｇ ｒｔ ｗｈｃ ｓｎ ｉｖ ｏｉ ｔ ｌ ｌｅ ｐ ｈ ｓ ｔ ｎ ｉ ｖ Ｄｉｔ ａ ｐｅ ｅ ｔ ｎ ｉ ｂ ｓ ｄａｇ ｒ ｈ ｔ ｒ ｄ ｙ ｉ ｏ
ｃ ｔｏ ｃ ｔｏ ｈｅｓ ｓｅ ． ａｉ ｎ ｏｓ ｆｔ ｙ ｔｍ
Ｋｅ ｒ ｓ ｄｓ ｉｕ ｅ ａａｓｒａ ｓ ｃｕ ｔｒｎ ； ｄ ｎ ｉ —ａ ｅ ； ｍｏ ｅ— ａｅ ； ｄ ｔ ｎｎ ｙｗｏ ｄ ： ｉｌ ｂ ｔｄｄ ｔ ｔ ｍ ； ｌｓ ｉ ｇ ｅ ｓｔ ｂ ｓｄ ｒ ｅ ｅ ｙ ｄ ｌｂ ｓ ｄ ａａｍｉｉｇ
０ 引 言
为 了 适 应 Ｉｔｍｅ ｎｅ ｔ传 感 器 网络 、 以及 Ｐ Ｐ 算 等 这 些 应 用 ２计 的 要 求 ， 布 式 数 据 流 挖 掘 技 术 尤 其 是 聚 类 分 析 成 为 当前 数 分
部站 点 不 能 传 送 聚 类 簇 的 完 整 描 述 ，而 是 传 递 每 个 簇 的近 似 概括 ， 即簇 的 充 分 统 计 量 。中心 站 点 则 需 要 综 合 分 析 、 理各 处 个 局 部 站 点 上 传 的统 计 信 息 ， 到 一 个 全 局 的聚 类 描 述 。 得
ｌ ｗｅ ｏ ｏ ｒ ｍｍｕ ｉａｉ ｎｃ ｓｓ ＤＡＭ — ｓ ｅ ｍ， ａ ｌ ｓ ｒｎ ｌｏ ｔ ｍ ｏ ｉ ｉ ｇｄ ｎ ｉ ｔ ｏ ｄｍｏ ｅ ｔ ｏ ｒ ｐ ｓ ｄ １ ｌ １ ｃ ｎ ｃ ｔ ｏ ｔ， ｏ Ｄｉｔ ａ ｒ ｕ ｔｉ ｇ ａｇ ｒ ｈ ｃ ｍｂ ｎ ｎ ｅ ｓｔ ｍｅｈ ｄａ ｄ ｌ ｃ ｅ ｉ ｙ ｎ ｍｅｈ ｄｉ ｐ ｏ ｏ ｅ ． １ｅ 一 ｓ ａ
在 一 个 地 方 ， 聚 类 处 理 在 不 同机 器 上 执 行 并 存 取 同一 数 据 ， 而
ｔｒ ｏ ＧＭ Ｍ ． Ｅ ｐ ｒｍｅ ｓ ｏ ｔ ａ ｉ ｃ ｎｉ ｒ ｖ ｔ ｅｃｕ ｔｒ ｇｑ ａｉ ｆ ａａ ｓ ｅ ｍｓｉ ｉｔｉｕ ｅ ｙ ｍｓａ ｄｒ ｄ ｃ ｈ ｏ ｅｓ ｆ ｘ ｅ ｌ ｍ ｈ ｗ ｈ ｔ ｔ ａ ｍｐ ｏ ｅ ｈ ｌ ｓ ｉ ｅ ｎ ｕ ｌｙｏ ｄ ｔ ｒ ａ ｔ ｔ ｎｄ ｓ ｂ ｔｄｓ ￣ｅ ｎ ｅ ｕ ｅｔ ｅｃ ｍｍｕ ｌ ｒ ｎ—
１ 混 合 高 斯模 型 ． １
混 合 高 斯 模 型 被 定 义 为 个 高 斯 密 度 函数 的 线 性 组 合 ， 它 能 够 很 好 地 刻 画 数 据 的 空 间 分 布 特 性 。混 合 高 斯 模 型 是 一
种 半 参 数 的 密 度 估 计 方 法 ，它 融 合 了参 数 估 计 法 和 非 参 数 估
率 的 分 布 式 算 法 来 降低 通 讯 负 担 、 央 存 储 和 计 算 时 间 。局 中
收稿 日 ：２ １ － ． ；修订 日期：２ １—１ ４ 期 ０ ０ ８０ ０ ３ ０ ０１— 。 ２ 基金项目：国家 ８３高技术研究发展计划基金项 目 （０ ８ ０ １０ ） ６ ２ ０ ＡＡ １０ １
ｃｕ ｔｒ ａ ｒ ａ ｒ ｔ ｔ ａ ， ｔ ｅ ｒ ｈ ｔ ｅｓ ｉ ｂ ｅｉ ｉ ａ ａ ａ ｔｒ ｒ ｕ ｓａ ｘ ｕ ｅｍｏ ｅ ． Ｓ ｃ ｎ ， ＥＭ ｌ ｏ ｔ ｍ ｅ ｌ ｓｅ ｔ ｓ ｅ ｍｓａ ｆ ｓ， ｈ ｔ ｓ ｏｓ ａ ｃ ｕ ｔ ｌ ｔ ｌ ｒ ｍｅｅ ｓｆ ｄａ ｔ ｔ ｉ ｉ ｈ ａ ｎ ｉ ｐ ｏ Ｇａ ｓ ｉｎｍｉ ｔ ｒ ｄ １ ｅ ｏ ｄ ａｇ ｒ ｈ ｉ ｕ ｄ ｉ ｓ ｓ ｔ ｔ ｒ ｔ ｅｃｕ ｔ ｒ ｇ ａ ｄｔ ｅ ｈ ｌｏ ｉ ｏｉ ａｉ ｅ ｖ ｌ ｅｉ ， ｎ ｓ ｎ ｈ ｎｔ ｅａｇ ｒ ｈ ｔ ｍ ｄ ｔｒ ｎ ｓ Ａｔ ａ ｔ ｔ ｅ ｅ ｅ ｍｉｅ ． ｌ ｓ ｈ ｍｏ ｅ ｓ ｌ ｕ ｌ ａ ｅ ｔ ｈ ｅ ｔａ ｉ ， ｄ ｌ ａｅ ｐ ｏ ｄ ｄ ｏｔ ｅｃ ｎ ｌ ｔ ｒ ｓ ｅ￣ｒ ｅｉｔ ｇ ａ ｅ ｒ ａ ｍｅ ｔ ｈ ｔ ｎ ｅ ｒ ｔ ｄｔ ｔ ｎ ． ｅ
ｍｏｅ ｄｓｅｍ）该算 法 不 需要 事 先 设 定 簇 的个 数 ， 获 得性 能 ｄ１ ｉｒ ， ． ｔａ 能 较 优 的模 型 参 数 ， 具 备 跟 踪 数 据 流 聚 类 模 型变 化 的 能力 ， 并 在
降 低 系 统 的通 信 代 价 的 同 时 能有 效 提 高 分 布 式 环 境 下 数 据 流
摘 要： 针对 分布式数据 流 中数据有 交 叠、 不完整 的情 况和聚类 需要 较低通信 代价的要 求 ， 出了密度 和模型聚 类思想相结 提
合 的分布 式数据流 聚类算法 Ｄ Ｍ—ｉｒａ 该 算法 利用混合 高斯模 型描述数据 流的分 布概 况 ， 以有 效压缩数据量 并能较 好 Ａ Ｄ ｓｅｍ。 ｔ 可 的反映分 布数 据流 间的交 叠性 。 由于获得模型 参数的 Ｅ 算法对初值敏 感 ， Ｍ 应用 Ｈ ｅ ｄｎ 界 理论和基 于密度 的算 法对 数据 流 ｏｆ ｉｇ 进行初聚 类， 得到 比较 准确 的初始参数 ， 最后 采用合 并近似模 型策略 获得 全局模 型。仿真 实验 结果表 明， Ａ Ｄｓｅｍ能有 Ｄ Ｍ－ ｉｒ ｔａ 效克服 Ｅ 算法的缺点 ， Ｍ 获得 的模型 参数性 能更优 ， 在降低 系统的通信代价 的 同时能提 高分布 式环境 下数据 流 的聚 类质 量。
ｇ ｆｔｍ ｓ ｓ ｅＧａ ｓ ｉｎｍｉ ｔ ｒ ｄ ｌｏｄ ｓ ｒ ｅｔ ｅ ａａｓ ｅ ｍｓ ｏ ｎ ｔ ｅ ｏ ａ ｉｔ ｂ ｔ ｎｓｔ ｓ ｏ ｈ ｕ ｅ ｕ ｓ ｘｕ ｅｍｏ ｅ ｅ ｃ ｂ ｔ ｒ ａ ｗｉ ｇｉ ｏｔ ｃ ｌ ｓｒ ｕ ｉ ｉ ．Ｈｏ ｖ ｒ ｉ ｈ ｔ ａ ｔ ｉ ｈ ｄ ｔ ｌ ｆ ｎ ｈ ｌ ｄ ｉ ｏ ｅ ｗｅ ｅ，Ｇａ ｓ ｉ ｘｕ ｅ ｕ ｓａ ｍｉ ｔ ｒ ｎ
Ｅｘ ｅｉ ｎａ ｓ ｌ ｈ ｗ ａ ｐ ｒｍｅ ｔｌｅｕ ｔｓ ｏ ｔ ｔ ｒ ｓ ｈ ＤＡＭ － ｓｒａ ｃ ｌｅ ｅ ｔ ｅｙｏ ｅ ｍｅｔｅｓ ｏｔｏ ｎｇ ｆｈ Ｄｉｔ ｍ ａｌ ｆ ｃｉ ｌ ｖ ￣ｏ ｒｃ ｍｉ ｓ ｅＥＭ ｌｏ ｔｍ ｎ ｂａ ｅｔｒ ａａ － ｅ ｖ ｈ ｈ ｏ ｔ ａｇ ｒ ｈ ａ ｄｏ ｔｉ ｂ ｔ ｒｍｅ ｉ ｎ ｅｐ
Ａｂ ｔ ａ ｔ Ａｃ ｏ ｄｎ ｅｃ ｎ ｉ ｏ ａ ｅ ｅａ ｅｓ ｍｅｏ ｅ ｌｐ ａ ｄ ｍｉｓ ｇ ｄ ｔ ｉｔ ｂ ｔｄ ｄ ｔ ｒ ａ ｓ ａ ｄ ｔ ｅ ｅｎ ｅ ｓｏ ｓｒ ｃ ： ｃ ｒ ｉ ｇｔ ｔ ｏ ｄ ｔ ｎｔ ｔ ｈ ｒ ｒ ｏ ｖ ｒ ｎ ｓ ｉ ａａ ｉ ｄ ｓ ｕ ｅ ａ ｓ ｅ ｍ ， ｎ ｍｅ ｔ ｅ ｄ ｆ ｏｈ ｉ ｈ ｔ ａ ｎ ｎ ｉ ｒ ａ ｔ ｏ ｈ ｔ
２０ ２ １，Ｖ １ ２ Ｎ ． 计 算 机 工 程 与 设 计 Ｃ ｍ ｕｅＥ ｇｎｅｉｇ ｎ Ｄ ｓ ｎ ７８ ０１ ｏ． ， ｏ８ ３ ｏ ｐｔ ｎｉｅｒ ｄ ｅｉ ｒ ｎａ ｇ
分布式数据流聚类算法
刘 力 雄 ， 郭 云 飞 ， 康 晶 ， 马 宏
（ 家数 字 交换 系统 工程技 术研 究 中心 ， 河 南 郑 州 ４ ０ ０ ） 国 ５０ ２
本 文 基 于 文 献 ［］ 框 架 ， 出 了 结合 密 度 和 模 型 聚 类 思 １中 提
想 的 分 布 式 数 据 流 聚 类 算 法 — — Ｄ Ｍ． ｓ ｅｍ （ｅｓｙａｄ Ａ Ｄｉｒ ｔ ａ ｄｎｉ ｎ ｔ
据 挖 掘 领 域 的一 个 研 究 热 点 “ 。 目前 主 流 的 分 布 式 数 据 流 聚 类 的基 本 框 架 是 每 个 站 点 对 各 自的 数 据 流 进 行 聚 类 分 析 ，
关键 词 ： 布 式 数 据 流 ； 聚 类 ； 基 于 密度 ； 基 于 模 型 ； 数 据 挖 掘 分
中图法分 类号 ：Ｐ １ Ｔ３１
文献标 识码 ： Ａ
文章编号 ：０ ０７２ ２ ｌ） ８ ７ ８０ １０－０ ４（０ １０ － ０ －４ ２
Ｃｌ ｓｅ ｉ ｇａｇ ｒ ｈ ｏ ｅ ｉｔ ｂ ｔｄ ｄ ｔ ｔｅ ｍ ｕ ｔｒｎ ｌｏ ｉ ｍ ｖ ｒｄ ｓ ｉ ｕ ｅ ａａｓｒ ａ ｔ ｒ
ＬＩ Ｌｉｘ ｏ ｇ ＧＵ Ｏ ｎ ｆ ｉ Ｋ Ｇ ｉ ｇ Ｍ Ａ ｎ Ｕ － ｉ ｎ ， Ｙｕ —ｅ ， ＡＮ Ｊｎ ， Ｈｏ ｇ
（ ａ ｏ ａＤｉ ｔ ｗ ｔ ｉｇ ｙｔｍ Ｅ ｇ ｅｒ ｇａｄＴｃｎｃｌ ｅｅｒｈ ｅｔ ， Ｚ ｅｇ ｈ ｕ ５ ０ ２ Ｃ ｉａ Ｎ ｔ ｎｌ ｇ ａ Ｓ ｉ ｈｎ ｓ ｎ ｉ ｅｉ ｅｈ ｉ ｓａ ｎｅ ｉ ｉｌ ｃ Ｓ ｅ ｎ ｎ ｎ ａＲ ｃＣ ｒ ｈｎ ｚ ｏ ０ ０ ， ｈｎ） ４
算 法 的 模 型 应 该 具 备 跟 踪 变 化 的 能 力 ， 且 应 该 有完 整 的 新 并 陈代 谢 功 能 。③ 要 聚 类 非 常 巨大 的 分 布 式 数 据 流 ，需 要 有 效
１ 相 关 概 念
许 多 自然 界 和 社 会 系 统 模 型 都 表 现 出符 合 某 种 分 布 。 只
刘力雄 ，郭 云飞，康 晶，等：分 布式数据 流聚类算法
某 个 混合 高 斯 模 型 有 效 地 近 似 表 示 。
２ １， ｏ．２ Ｎ ． ２ ０ ０ １ Ｖ １ ， ｏ８ ７ ９ ３
表 １ 分布 式环 境下 聚类 分 析
集中化聚类 （ Ｃ Ｃ ）
集 中化 聚 类 （ ｃ） Ｃ 分布式聚类 （ Ｄｃ） Ｃ Ｃ Ｄ． Ｃ Ｃ ＤＣ Ｄ．
后传送各个站 点间的聚类模 型， 最
后 通 过 分 析 处 理 得 到全 局 聚 类 结 果 ｎｌ 其 主 要 要 求 包 括 ： ，。 １ Ｊ ①
流 数 据 可 聚 成 的簇 的个 数 是 在 不 断变 化 的 ， 因此 不 能 给 定 一 个 固 定 的值 作 为参 数 。 流 数 据 的结 构 和 分 布 是 不 断 变 化 的 。 ②