ｔ ｒ ａ ｃ ｔ — Ｔ ｒ ａ ｎ ｓ ｆ ｏ ｒ ｍ — Ｌ ｏ ａ ｄ ， Ｅ Ｔ Ｌ ）过程 主要 负 责从不 同的数 的站 点标 准 而建 立 的［ ｏ ｑ 。因此 ， 本 文基 于 Ｈａ ｄ ｏ ｏ ｐ平 台
据源收集数据 ，按照用户定义 的业务规则和需求 ， 对 设 计 了一 款 分 布 式 Ｅ Ｔ Ｌ系 统 （ 简 称 Ｍｙ Ｅ Ｔ Ｌ ） ， 该 系 统
收集 的数据 集 进 行转 换和 清 洗 ， 最后 按照 目标 数 据 仓 以 Ｈ ａ ｄ ｏ ｏ ｐ 作为执行平台，考虑 了数据仓库中维度与 库 的结 构加载 到 数据仓 库 中［ ２ １ 。 如今 ， 传统的 Ｅ Ｔ Ｌ技 术 事 实 的并行 处 理方法 。 正面 临着 信 息爆 炸 的新 挑 战 ， 一 家 企业 每 天收 集 几 百
生 死 锁 。徐 艳 华 等 人 提 出的 基 于 ＭＡ Ｓ的分 布 式 值 ｖ ， ｍ ａ ｐ函数输 出的是 中间结果 的键值对 ［ （ ｋ ： ， ｖ ２ ） ］ Ｅ Ｔ Ｌ ， 利用 Ａ Ｇ Ｅ Ｎ Ｔ的 协 作 性 、 主动 性、 反 应 性和 交 互 列 表 ， 这些 键 值对列 表 将 由 Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ类库 中的分 区
并行 计 算 技 术 的使 用 是 获取 最佳 性 能和 高 扩 展 性 的 图 １ 所示 。Ｍ ｙ Ｅ Ｔ Ｌ 框架有许多组件 ， 包括 Ｅ Ｔ Ｌ 程序使 关 键所 在 。近几 年 来 ， 在密 集型数 据 领域 ， 新颖 的云计 用 的 Ａ Ｐ Ｉ （ Ａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ Ｐ ｒ ｏ ｇ ｒ ａ ｍｍ ｉ ｎ ｇ Ｉ ｎ ｔ ｅ ｒ ｆ ａ ｃ ｅ ｓ ） ， 序 列 对 算技术 ： Ｍ ａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ［ ５ Ｊ ， 已经 广 泛 用 于 并 行 计 算 。 象组件 ， 元数据存储库， Ｅ Ｔ Ｌ 转换活动， 作业调度器和 Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ是 Ｈａ ｄ ｏ ｏ ｐ框 架 的 一个 通 用 编 程 模 型 ， 该 Ｈ Ｄ Ｆ Ｓ 数据块分配组件 。其 中序列对象组件用于分布
［ ｖ ｄ， 输 出为值列表 ［ ｖ ３ ］ 。
３ 、 分 布式 Ｅ Ｔ Ｌ框 架设 计
本文 提 出的分布 式 Ｅ Ｔ Ｌ框 架 是基 于 Ｈ ａ ｄ ｏ ｏ ｐ平 台 而 设 计 的 ，即 以 Ｈａ ｄ ｏ ｏ ｐ作 为 Ｅ Ｔ Ｌ的执 行 平 台 ， Ｈ ｉ ｖ ｅ
为了能够快速适应变化 的业务环境和客户需求， 作 为 临 时存 储 区 ， Ｍｙ Ｓ Ｑ Ｌ集 群 作 为数 据 仓 库 系 统 ， 如
目前 ， 对 数据 并 行 处 理 的研 究主 要 集 中于 利 用 多 构 ，用 于 处 理密 集 型数 据 的并 行 计算 范式 ，是 基 于 线 程 的思 想在 单个 Ｃ Ｐ Ｕ上 运 行 Ｅ Ｔ Ｌ任务 ，对 Ｅ Ｔ Ｌ过 Ｈ ａ ｄ ｏ ｏ ｐ框 架 的一 种通用 编 程模 型 。 该编程 模 型主 要是
性来构建分布式 Ｅ Ｔ Ｌ ， 从而改进 了分布式的负载均衡 函数 按照 键 ｋ ： 进行 分 区 ， 同一个 键 ｋ ： 的值 列表 将属
问题 。以上 方法 虽然 在 一定程 度 上提 高 了处理 数据 的 于 同一 个分 组 。另外 ， ｒ ｅ ｄ ｕ ｃ ｅ函数 同样 需要 由用 户 编 效率 ， 但 是 当分布 式处 理 上 的节 点之 间通 信 和 Ｅ Ｔ Ｌ任 写 ， 该 函数 有 两个 输 入 变 量 ： 中间键 ｋ 和 中 间值 列表 务 调 度 出现 故 障 时 ， 恢 复起 来 是相 当 困难 的 ， 而 且 负 载 均 衡 也很 难 控 制 ， 甚 至 当 节 点越 来 越 多 时 ， 其 网络 开销 也 会越 大 ， 而且 多 个 节 点对 同 一个 表 的处 理 产 生 并发 冲突 的概 率也 会 增加 。
一
一
一
…
…
…
…
…
…
…
．
．
一
亍
器
基于 Ｈ ａ ｄ ｏ ｏ ｐ平 台的分布 式 Ｅ Ｔ Ｌ系统设计 与实现
李晨翔 ， 何 刚， 孙 莉
（ 东华大学 计算机科 学与技术学院 上海 ２ ０ １ ６ ２ ０ ）
【 摘 要】 ： 为了解决传统的抽取 、 转换和加栽工具处理数据仓库 中海量数据的效率问题 ， 设计并实
２ 、 相关 概 念
Ｇ Ｂ的数据进行处理和分析是相当普遍的。 因此， 如此
Ｇ ｏ ｏ ｇ ｌ ｅ提 出 的 Ｍａ ｐ Ｒ ｅ ｄ ｕ ｃ ｅ ｔ ￣ 是 一 个用 于 处 理 和 生
巨大 的数据量将使传统 的 Ｅ Ｔ Ｌ方法极度 的消耗时间。 成 大数 据集 的编 程模 型 。它 是基 于集群 计算 的体 系 结
现 了基 于 Ｈａ ｄ ｏ ｏ ｐ平 台的分 布式 Ｅ Ｔ Ｌ系统 。 详 细的探 讨 了渐 变维度 、 雪花 维度 、 大维度数 据和 事 实数 据
的并行处理 。 实验结果表 明， 与Ｈ ｉ ｖ ｅ 数据仓库相 比， 该分布式 Ｅ Ｔ Ｌ系统在并行处理数据仓库 中海量数 据的问题上 ， 具有更 高的效率和扩展性 。
【 关键词 】 ： Ｈ ａ ｄ ｏ ｏ ｐ ； 分布式 Ｅ Ｔ Ｌ ； 维度 ； 事实； 并行处理
１ 、 概 述
错， 负载均 衡 和作 业调 度 。另 外 ， Ｍａ ｐቤተ መጻሕፍቲ ባይዱＲ ｅ ｄ ｕ ｃ ｅ也是 一个
在 数据仓库 ｌ １ Ｊ 领域 ， 数据抽 取 、 转换和 加载 （ Ｅ ｘ ～ 非常流行 的框架 ， 本身是按照大规模密集型数据处理
程的数据流采用分割 、 并行转换和管道并行处理三个 基 于两个 可编 程 的函数 ：
方 面 进行 优 化 ， 从 而 解 决争 夺 Ｃ Ｐ Ｕ 资源 的冲 突 ［ ３ １ 。然 而， 当 数 据 量较 大 、 中 间转 换 逻 辑 复 杂和 数 据 源 多样 时， 这 种方 法 往往 很难 保 证 负载 均 衡 和进 程 之 问不 产 ｍａ ｐ ： （ ｋ １ ， Ｖ １ ） ＿ ÷ ［ （ ｋ ２ ， ｖ ２ ） ］ ｒ ｅ ｄ ｕ ｃ ｅ ： （ ｋ ２ ， ［ ｖ ２ ］ ） ［ ｖ ３ ］ 用户 编 写 的 ｍ ａ ｐ函数 有两 个 输入 变 量 ：键 ｋ 和