当前 大数 据 环 境 和信 息 技 术 快 速 发展 情 况 下 ， 海 量 数 据 迁 移 是 企 业 解 决 存 储 空 间 不足 、新 老 系 统切 换 和 信 息 系统 升 级 改 造 等
过程 中必 须面对的一个现实 问题 。如何在业务 约束 条件 下，快速、正确、完整地 实现海量数据 迁移 ，保 障数据 的完整性、一
Ｄａ ｔ ａ Ｍｉ ｇ ｒ ａ ｔ ｉ ｏ ｎ Ｔｅ ｃ ｈ ｎｏ ｌ ｏ ｇ ｙ Ｒｅ ｓ ｅ ａ ｒ ｃ ｈ Ｂａ ｓ ｅ ｄ ｏ ｎ Ｂｉ ｇ Ｄａ ｔ ａ Ｅｎｖ ｉ ｒ ｏ ｎｍ ｅ ｎｔ
Ｗａ ｎｇ Ｇａ ｎ ｇ ， Ｗ ａ ｎｇ Ｄｏ ｎｇ ‘ Ｌｉ Ｗ ｅ ｎ ’ ， Ｌｉ Ｇｕａ ｎｇ ｙａ
０ 引言
数据 一直是信息系统 的基础和核心 。一方面，随着企 业 业 务 的 发展 ，信 息 系 统 覆 盖 面 的 扩 大 ， 管理和服务精细化 层 度 的深 入 ，集 中 式 的 管 理 信 息 系 统 正 在 不 断 应 运 而 生 ， 各 行 各 业 都 先 后 出现 了规 模庞 大 的 数据 中 心 。 这 些 数 据 中心 经 过 一 段 时 间 的运 行 ，其 数 据 量 正 成 几 何 级 增 长 ， 有 的甚 至 可 以达 到 Ｔ Ｂ级或 Ｐ Ｂ 级 。 另 一 方 面 ，新 的技 术 架 构 和 业 务 操 作 对 性 能指 标 提 出 了 更 高 的 要求 ， 而这些要求往往需要通过 软 件 升 级 或 者 硬 件 更 新 的方 式来 实现 ， 因而 在 新 老 系 统 的切 换 或 升 级 改造 过 程 中 ， 势 必 会 面 临 一 个 现 实 问题 一 一数 据 迁 移 。吕帅 …等 人 从 分 级 存 储 管 理 的 角 度 提 出 了混 合 存 储 环 境 下 的数据价值评估模型和迁移过程控 制理 论， 提 出了数据价 值 的精确判 定。徐燕＿ ２ 等人利用编程基础实现 了异构数据库 系 统 间 的数 据 迁 移 ，提 出 了数 据 迁 移 的抽 取 、转 换和 载 入 ３ 个 过 程 。李 酷 等 从 项 目管 理 和 方 法 论 角 度 描 述 了企 业 级 数 据 迁 移 的过 程 。张 玺 ｌ ４ 针 对 数 据 从 磁 盘 到 磁 带 的数 据 迁 移 问 题 ，提 出 了并 行 文 件 处 理 方 式 。丛 慧 刚 ［ ５ １ 等 人 ，从 元 数 据 角 度， 提 出了数据 迁移 中元数据 对映射模式体系 ， 对采用源数 据驱动 Ｅ Ｔ Ｌ 引 擎 进 行 功 能 实 现 。 这 些 研 究 都 是 根 据 具 体 工 程 中数 据 迁 移 这 个 关 键 问题 进 行 了研 究 ， 但 是 随 着 信 息 技 术
２ ０ １ ３年 第 ３ ０卷 第 ５ 期
大数据环境下 的数据迁移技 术研 究
王 刚 ，王 冬 ，李 文 ，李 光 亚
摘 要 ：数据 是 信 息 系统 运 行 的 基础 和 核 心 ，是 机 构 稳 定发 展 的 宝贵 资 源 。随 着信 息 系统 数 据 量 成 几 何 级 数 增 加 ，特 别 是在
（ １ ． Ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ Ｃｅ ｎ ｔ ｅ ｒ ｏ ｆ Ｓ ｈ ａ ｎ ｇ ｈ ａ ｉ Ｍｕ ｎ ｉ ｃ ｉ ｐ ａ ｌ Ｈｕ ｍａ ｎ Ｒｅ ｓ ｏ ｕ ｒ ｃ ｅ ｓ ａ ｎ ｄ Ｓ ｏ ｃ ｉ ａ ｌ Ｓ ｅ ｃ ｕ ｉｔ ｒ ｙ ， Ｓ ｈ ａ ｎ ｇ ｈ ａ ｉ ２ ０ ０ ０ ５ １ ， Ｃｈ ｉ ｎ ａ ；
ｇ ｅ ｏ ｍｅ ｔ ｒ ｉ ｃ ｉ ｎ ｃ ｒ ｅ ａ ｓ ｅ ｉ ｎ ｔ ｈ ｅ ａ ｍｏ ｕ ｎ ｔ ｏ ｆ ｄ ａ ｔ ａ ｇ ｅ ｎ ｅ ｒ ａ ｔ ｅ ｄ ｂ ｙ ｔ ｈ ｅ ｉ ｎ ｆ ｏ ｒ ｍａ ｔ ｉ ｏ ｎ ｓ ｙ ｓ ｔ ｅ ｍ， ｅ ｓ ｐ ｅ ｃ ｉ ａ ｌ ｌ ｙ ｉ ｎ ｔ ｈ ｅ ｃ ａ ｓ ｅ ｏ ｆ ｃ ｕ ｒ ｒ ｅ ｎ ｔ ｄ ａ ｔ ａ ｅ ｎ ｖ ｉ ｒ ｏ ｎ ｍｅ ｎ ｔ ａ ｎ ｄ
Ｍｉ ｃ ｒ ｏ ｃ ｏ ｍｐ ｕ ｔ ｅ ｒ Ａ ｐ ｐ ｌ ｉ ｃ ａ ｔ ｉ ｏ ｎ ｓ Ｖ ｏ １ ． ３ ０ ， Ｎ ｏ ． ５ ， ２ ０ １ ３
文章编号 ：１ ０ ０ ７ ． ７ ５ ７ Ｘ（ ２ ０ １ ３ ） ０ ５ ． ０ ０ ０ １ ． 电脑 应 用
２ ． Ｗｏ ｎ ｄ ｅ ｒ ｓ Ｉ ｎ ｆ ｏ ｍ ａ ｒ ｉ ｔ ｏ ｎ Ｃｏ ． ， Ｌ ｔ ｄ ． ， Ｓ ｈ ａ ｎ ｇ ｈ ａ ｉ ２ ０ １ １ １ ２ ， Ｃｈ ｉ ｎ ａ ；
３ ． Ｓ ｈ ａ ｎ ｇ ｈ ａ ｉ Ｉ ｎ ｓ ｔ ｉ ｔ ｕ ｔ ｅ ｏ ｆ Ｆ ｏ ｒ ｅ ｉ ｇ ｎ Ｔ ｒ ａ ｄ ｅ ， Ｓ ｈ ａ ｎ 曲ａ ｉ ２ ０ １ ６ ０ ０ ， Ｃ ｈ ｉ ｎ ａ ）
ｉ ｎ ｆ ｏｒ ｍａ ｔ ｉ ｏ ｎ ｔ ｅ ｃ ｈ ｎｏ ｌ ｏ ｇｙ． Ｔｈ ｅ ｍａ ｓ ｓ ｉ ｖｅ ｄａ ｔ ａ ｍｉ ｇｒ ａ ｔ ｉ ｏ ｎ ｉ ｓ ａ ｒ ｅ ａ ｌ ｐ ｒ ｏｂ ｌ ｅ ｍ． Ｗ ｉ ｔ ｈ ｔ ｈｅ ｂｕｓ ｉ ｎ ｅ ｓ ｓ ｃ ｏ ｎｓ ｔ ｒ ａ ｉ ｎ ｔ ｓ ， ｔ ｈ ｅ ｍａ ｓ ｓ ｉ ｖｅ ｄａ ｔ ａ ｍｉ ｇｒ ａ ｔ ｉ ｏ ｎ ｉ ｓ ａ ｋ ｅｙ ｒ ｅ ｓ ｅ ａ ｒ ｃ ｈ ｔ ｏｐ ｉ ｃ ，ｉ ｎ ｔ ｈｉ ｓ ｐ ａ ｐｅ ｒ ，ｆ ｒ ｏ ｍ ｔ ｈ ｅ ｐｏ ｉ ｎ ｔ ｏｆ ｖ ｉ ｅ ｗ ｏｆ ｔ ｈｅ ｍａ ｓ ｓ ｉ ｖｅ ｄａ ｔ ａ ｍａ ｎａ ｇ ｅ ｍｅ ｎｔ ， ｅｌ ａ ｂ ｏｒ ａ ｔ ｅ ｄ ａ ｍ ａｓ ｓ ｉ ｖ ｅ ｄ ａｔ ａ ｍｉ ｇｒ ａ ｔ ｉ ｏ ｎ ｍｅ — ｔ ｈ ｏｄ ，ａ ｎ ｄ ｃ ｏｍｐａ ｒ ｅ ｈｅ ｔ ｃｈ ａ ｒ ａ ｃ ｔ ｅ ｒ ｉ ｓ ｔ ｉ ｃ ｓ ｏｆ ｄｉ ｆ ｆ ｅ ｒ ｅ ｎｔ ｄａ ｔ ａ ｍｉ ｇｒ ａ ｔ ｉ ｏ ｎ ｐ ｒ ｏ ｇ ｒ ａ ｍ． Ｋｅ ｙ ｗｏｒ ｄｓ ：Ｂｉ ｇ Ｄａ ｔ ａ； Ｄａ ｔ ａ Ｍｉ ｇ ｒ ａ ｔ ｉ ｏｎ； Ｓｔ ｏ ｒ ａ ｇ ｅ
致性 和 继 承性 ， 是 一 个 关 键研 究课 题 。从 海 量 数 据 管 理 的 角度 ，阐述 了海 量 数 据 迁 移 方 法 ，比较 了不 同数据 迁移 的 方案 特 点 。 关键 词 ： 大数 据 ；数据 迁 移 ；存 储 中 图 分类 号 ：Ｔ Ｐ ３ ９ １ 文 献 标 志 码 ：Ａ
Ａｂｓ ｔ ｒ ａｃ ｔ ：Ｔｈ ｅ ｄ ａ ｔ ａ ｉ ｓ ｔ ｈ ｅ ｃ ｏ ｒ ｅ ｒ ｅ ｓ ｏｕ ｒ ｃ ｅ ｏｆ ｔ ｈ ｅ ｉ ｎｆ ｏｒ ｍａ ｔ ｉ ｏｎ ｓ ｙｓ ｔ ｅ ｍ， ｉ ｔ ｉ ｓ ｔ ｈ ｅ ｂ ａ ｓ ｉ ｓ ｏｆ ｔ ｈ ｅ ｅ ｎ ｔ ｅ ｒ ｐ ｒ ｉ ｓ ｅ ， Ｗ ｉ ｔ ｈ ｔ ｈ ｅ ｃ ｏｎ ｔ ｉ ｎｕ ｏｕ ｓ ｏｆ ｂ ｕｓ ｉ ｎ ｅｓ ｓ ， ａ