9
InfoSphere software
复制技术分类
有三种不同的复制技术 • 快照复制 • 归并复制 • 事务复制 按照更新的时间划分 • 同步 • 异步 按照更新位置划分 • 主版本 (Primary Copy) • 任何位置更新 (Update-Anywhere)
10
InfoSphere software
GUI •DB2复制中心 –定义, 操作 –能生成SQL脚本 •Replication Dashboard –基于Web, 监控多个站点 APIs •asnclp: 交互模式或脚本 •Java APIs 操作命令 •Capture 和Apply程序启动任务 • 管理Capture和Apply程序的命 令： asnqccmd 和 asnqacmd 实用工具 •检查表的完整性: asntdiff •显示队列中信息: asnqmfmt •发现警告并发送email: asnmon
– – 在一端的变更可能与另一端的变更不一致。 Q复制具有相应的检测和解决冲突选项
防止变更无限的循环
Primary
Secondary/backup
22
InfoSphere software
两种典型的多向复制
双向
• 两台服务器间复制 • 冲突：指定一端作为赢家
Primary Secondary/backup
–
源
SOURCE2 SOURCE1
如 DataStage
目标
User Application
WebSphere MQ Capture
WBI Event Broker User Application
TGT1
DB Log
DataStage
TGT2 TGT3
26
InfoSphere software
复制管理工具
17
InfoSphere software
分发&合并
1.
CD1 SOURCE
3.
CD1 MASTER
4.
CD1 SOURCE
REPLICA COPY COPY COPY
REPLICA
REPLICA
CD1 STAGING CD1 STAGING
数据分发(1:多)
2. 5.
双向分发
COPY
CD1 SOURCE
27
C:\asnclp REPL > CREATE QSUB USING REPLQMAP ... REPL > CREATE SUBSCRIPTION SET SETNAME ... REPL > CREATE MEMBER IN SETNAME ...
• 持续可用和高可用解决方案 • 不修改源表
对等
• 两台或多台服务器之间复制 • 没有主服务器 • 冲突主要依靠时间戳解决
– – 最近更改获胜 IBMQREPVERTIME, IBMQREPVERNODE
• 修改源表,增加两列
23
InfoSphere software
Q复制源端
DB Log
TX1: INSERT S1 TX2: INSERT S2 TX3: DELETE S1 TX1: UPDATE S1 TX1: COMMIT TX3: ROLLBACK
COPY
COPY
CD1 SOURCE
CD1 SOURCE
CD1 SOURCE
HISTORY
COPY
COPY
数据和并(多:1)
审计
多级分发
多种可能性…不仅仅是单个源和目标
18
InfoSphere software
Q复制
Capture程序从DB2日志中读取变更的数据 MQ将数据传送到运行Apply程序的系统 – no staging Apply从队列中读取数据，并应用到目标表 适合高性能、持续可用等需求
• 高性能的一个原因 • 消除了多数复制产品的瓶颈 • 高吞吐量和递延
TARGET1 TARGET2 TARGET3
只有检测到依赖才串行
25
InfoSphere software
事件发布
理论上是, 没有Q Apply的Q复制 Q Capture将数据放入WebSphere MQ队列中 MQ将数据传送到需要这些数据的程序
一般场景
应用程序操作数据库，产生数据变化（数据源） 数据变化接着：
– – – 被读取，或者称为“捕获” 数据变化“传输”到另一个数据库（数据目标） 数据最后“应用”到目标表中，或者作为另一个应用程序的输入，等等
如图所示，一个最简单的复制
源
SOURCE1
SOURCE N SOURCE…
目标
源
SOURCE2 SOURCE1
目标
WebSphere MQ
CCD
Capture
Apply
UCOPY
DB Log
19
InfoSphere software
为什么采用MQ?
利用MQ的优势
• 保证实时传递数据 • SSL和加密的安全选项，数字签名，等
–
提供一个安全的方法在企业和防火墙之间传输数据
许多大公司都使用MQ 一方的失效并不会阻止另一端的进程，如:
• 目标端的工作队列 – 如果源端停止，不需要重启
Source
SOURCE2 SOURCE1
WebSphere MQ Capture <system down>
DB2 Log
20
InfoSphere software
预订
建立源表和目标表之间的关系 点到点, 1个源表到3个目标表需要3个预订
事务在内存之中重建 只有提交的事务会被放到队列中 每一个事务是存在一条独立的MQ消息中
Q Capture内存中的事务
TX1: INSERT S1 TX1: UPDATE S1 TX1: COMMIT TX3: DELETE S1 TX3: ROLLBACK TX2: INSERT S2
当发现COMMIT, 执行MQ PUT
TARGET N
TARGET 1 TARGET …
捕获
传输
应用
11
InfoSphere software
复技术一般框架
数据捕获 • 从表获取变更
– Trigger – 对源库影响比较大
• 从日志中获取数据变更 数据传输 • 采用Client-Server • 中间件， 如WebSphere MQ 数据应用 • 串行(简单，但效率低, 性能瓶颈) • 并行(高效，冲突检测难)
Action time or Action distance
Time
Source: Richard D. Hackathorn, Bolder Technology, Inc.
4
InfoSphere software
数据为中心
商业分析 云计算 • 海量数据存储和检索 数据融合，数据处理成为趋势 • 2012 数据库大会 （4/13~4/15）
12
InfoSphere software
目录
数据爆炸 数据复制技术 InfoSphere Replication Server技术 • SQL复制 • Q复制 InfoSphere Replication Server的应用场景 实际案例
13
InfoSphere software
– 大数据架构设计、数据库安全、分布式数据库、商业智能、 NoSQL、Hadoop
• 2012-4-16
– 奥巴马政府宣布大数据的研究和发展计划——通过提高我们从大型 复杂的数字数据集中提取知识和观点的能力，承诺帮助加快在科学 与工程中的步伐，加强国家安全，并改变教学研究。
5
InfoSphere software
2
InfoSphere software
数据大爆炸 包罗万象的数据
– – 大交易数据 大交互数据
3
InfoSphere software
数据的时效
Business Value
Business event
Value lost
Data ready for analysis
Information delivered Action taken
14
InfoSphere software
IBM DB2复制技术的历史
SQL 复制 (以前的DPropR) 1994年首次发布; Q 复制2004年首次发布; 在全球拥有几千个客户; 和DB2一起集成发布
InfoSphere Replication Server V10.0 InfoSphere Replication Server V9.7 InfoSphere Replication Server v9.5 WebSphere Replication Server V9.1 Websphere II V8.2 (Q Replication) 2009.04.30 DpropR V8.1 & V8.2 ( SQL Replication ) DpropR V5 DpropR V1 DpropR V6 DpropR V7 2004.09.30
IBM的复制产品
InfoShpere Replication Server • 擅长于DB2之间, DB2与Oracle的复制 • 与DB2同步更新 • 支持异构的数据库 InfoShphere Change Data Capture (CDC) • 擅长异构数据库，Oracle之间复制 • 独立于DB2 都是异步复制
商业分析
6
6
InfoSphere software
数据营销
IBM中国研究院院士、首席技术官王云