当前位置:文档之家› SACC2019---MySQL分布式事务数据库金融级灾备双活的指标要求与技术架构---金官丁

SACC2019---MySQL分布式事务数据库金融级灾备双活的指标要求与技术架构---金官丁


3台
型号:E5-2680 v4 cores:28 threads:56
内存
硬盘
备注
64G
512G SSD
256G
800G SSD * 6 两台存储节点与一台 RAID 5 直连MySQL对比服务
数据量说明
数据容量
操作类型 HotDB(耗时) MySQL(耗时)
备注
水平分片表7张 8000万条数据/每张
Active Master
Standby Master
数据分片N
分布式事务数据库核心技术算法功能:计算节点的负载均衡高可用能力
分布式事务数据库的计算节点的高可用实现要求及效果:
Cluster集群版本:通过分布式选举算法保障计算节点服务可 用性,Primary节点切换服务恢复的总时长在秒级, Secondary节点切换服务恢复在毫秒级
HA主备版本:故障判断及切换服务恢复的总时长在秒级
管理平台
update 1 sseelleecctt 11 select 2
负载均衡
Primary Node (计算节点)
数据分片1
集群初始化...
SePcroimnadrayryNNodoede 2 ((计计算算节节点点))
Secondary Node 3 (计算节点)
数据可靠性
数据安全性 服务高可用 水平可扩展
金融级分布式事务数据库特性
数据库基本能力
分布式数据存储
分布式事务
一致性算法
并行计算
读写分离
全局序列
全局索引
分布式事务数据库能力
透明加密
Linux系统 X86架构
Unix系统
……
ARM架构
……
分布式事务数据库基础平台
操作系统 硬件架构
分布式部署 状态监控 备份/恢复 系统配置 系统日志 数据同步
操作管控:实现数据流控制和数据同步控 制的功能,做到管控数据操作。
高吞吐:数据同步要求做到至少10万TPS, 不含大事务和数据库表结构变更情况下时 延在3秒以内。
多链路冗余:同一个数据包能在多条网络 线路上同时传输,末端会自动选择最早到 达且符合要求的数据包。
防网络抖动:支持网络拥塞控制算法抵御 跨数据中心的网络丢包和网络时延抖动, 避免因此发生数据同步的效率大幅下降。
——数据分片技术。使用数据分片技术将数 据库表对象分散存储到不同的数据分片中,及数 据库表对象中的数据存储到不同的数据分片中。 结合分布式数据一致性协议则能做到数据分片内 和数据分片间的数据一致性。同时,结合弹性水 平扩展技术将多个数据分片分布到不同的物理服 务器上,实现数据容量和交易负载在数据库集群 内的均衡分布,并向上屏蔽内部数据分片的细节 和复杂性,让数据库使用方能够通过访问单一表 而能获取和操作所有表对象数据分片中的数据。
206min 163min
>4h
由于导入MySQL只有6张 表,6张表备份耗时达4h
MySQL中恢复操作磁盘空
>8h
间不足,恢复完第6张表
时,耗时达8h
分布式事务数据库与单库的备份恢复性能对比
金标委定义的《分布式数据库技术金融标准》的技术框架
揭秘金标委定义的分布式事务数据库的技术框架
金融业务系统应用程序
南市新市街支行’,…)
SMtaansdtebryBinlogQuMAecartsiytveerOK
A_DataNode1 ……
机构号
SMtaansdtebryBinlogQuMAecartsyitveeOr K
A_DataNode9
SMtaansdtebryBinlogQuMAecartsiytveerOK
创建一致性快照 等待正在执行的事务完成
计算节点
数据库后台备份
备创份建My完成SQL成功
备创份建M完成ySQ成功L Qu备e创rM份y建ySo完成QLk成功, 1
备创M份建ySQ完成L 成功
row affected;
数据库完整备份和数据库增量备份都需要达成如下目标:
数据备份做一致点时可短暂(时长限定在毫秒级)阻塞业务 服务,且做到对应用系统无感知及无须代码逻辑处理
MySQL分布式事务数据库金融级灾备双活的指标要求与技术架构
金标委定义的《分布式数据库技术金融标准》的数据容灾
金标委定义的分布式事务数据库灾备能力等级划分
金融级分布式事务数据库灾难恢复能力应至少达到《GB/T 20988-2007 信息系统灾难恢复规范》中要 求,对应的 RTO、RPO、容灾备份等关键指标要求,如表1所示。
IDC2
分布式事务数据库自研DR解决方案 VS MySQL数据库原生DR解决方案
比较维度 数据丢失率 分布式事务的数据一致性 事务重放性能 状态差异(RPO的量化) 传输性能以及稳定性 多条运营商的网络线路 水平可扩展性
吞吐量 多DR中心部署
分布式事务数据库自研DR解决方案 接近 0 强一致 高 可度量 高 支持 支持 高
IINNSSEERRTT IINNTTOO ttaabbllee__nnaammee VVAALLUUEESS ((33003A31P1P0000000000000076,‘,‘中中A国国PP光光大大银银行行分总行行))
LVS/F5/A10
VIP
LVS/F5/A10
计算节点
备备份份成成功功发起
计算节点
VIP
LVS/F5/A10
解除Hold
计算节点
Hold业务请求
计算节点
自动定时备份计划
调度中心根据备份计划进行对数据源定时备份 采用自研备份软件,保障备份文件的一致性 支持schema级别的备份、增量备份自动跟随全量备份
数据库后台备份
备创份建My完成SQL成功
MySQL
dn_1
创备建份M成完ySQ功成L Qu备e创rMy份建ySo完成QLk成功, 1 row affected;
数据分片2

数据分片N
分布式事务数据库核心技术算法功能:强一致的全局备份集(使用自研hotdb_backup)
INSERT INTO table_name VALUES
APP
APP
(303100000006,‘中国光大银行总行)
APP
备份成功 备份发成起功备发份起
创建一致性快照
可视化的 管理平台
LVS/F5/A10 计算节点
MySQL
dn_2
MySQL
dn_3
备创M份建ySQ完成L 成功 智能还原
根据时间点进行智能还原
自动获取备份文件
MySQL
支持多场景的数据恢复(迁移,还原,扩容等)
dn_4
分布式事务数据库核心技术算法功能:强一致的全局备份集(使用开源mysqldump)
可视化的 管理平台
发起mys备qld份ump
支持,主库性能影响小
MySQL数据库原生DR解决方案 无法保证 无法保证 低 不可度量 低 不支持
不支持,单节点 低
支持,主库性能影响大
分布式事务数据库提供的DR解决方案:高吞吐精确可预测的跨数据中心灾备
应用服务 fts1
应用服务 fts2
INSERT …V…ALUES
I(N6应2T用fO2ts6服Nt2务a1b0l0e_1n,‘am陇e
45.23G
备份 恢复
9min 6min
21min 85min
水平分片表7张 10700万条数据/每张
全局表3张 8400万条数据/每张
115.1G
备份 恢复
24min 17min
43min 153min
水平分片表7张 共46.1800亿条数据
全局表3张 共83.3893亿条数据
1121.78G
备份 恢复
自动告警 性能监控 统计分析 版本升级 导入/导出 数据加载
分布式事务数据库运维管理
——以通用标准的物理服务器和操作系统为 基础平台。数据存储和数据处理在X86、ARM等 架构的物理服务器上,操作系统为以类Linux操 作系统为基础的各类国产操作系统、商用操作系 统、开源操作操作等软件平台上。
——分布式数据一致性协议。使用分布式数 据一致性协议保证数据的高可靠性和服务的高可 用性,通用标准物理服务器、操作系统出现损坏 异常时,实现数据不丢失、数据强一致性和服务 不中断。
Hold业务请求
Primary Node (计算节点)
Secondary Node 2 (计算节点)
等待数据追平 数据已追平
Query OK Query OK
Active Master
SAtacntidvbey Master
数据分片1
Active Master
Standby Master
数据分片2
Secondary Node 3 (计算节点)
金标委定义的《分布式数据库技术金融标准》的稳定可靠
分布式事务数据库核心技术算法功能:数据分片的存储节点高可用能力
分布式事务数据库的数据分片的存储节点高可用实现要求及效果: 数据分片采用两副本的存储节点,则为双主半同步归档日志复制
管理平台
Update 1 负载均衡
分布式事务数据库计算节点的内置算法检测、判断和决策 单个存储节点的服务故障及恢复过程对应用程序端透明 故障判断及切换服务恢复的总时长在秒级 保障分布式事务数据库的数据服务可用性达到99.99%及以上 保障分布式事务数据库数据安全的可靠性达到99.99%及以上
——弹性水平扩展。使用数据分片技术,将 多个数据分片整合成逻辑上统一的分布式事务数 据库集群,并根据业务发展需要可随时在线动态 增加/减少数据分片数量,从而突破集中式数据 库在存储容量和处理性能上所面临的限制。 ——事务一致性技术。在同一个数据中心内数据 库表对象及数据分散存储在多个物理服务器上的 情况下,满足在线联机交易(简称OLTP)业务 系统对事务操作和读写一致性的要求而采用的技 术,包括但不限于分布式事务(ACID)、全局 一致性快照、全局多版本并发控制(MVCC)、 跨数据分片的数据关联等技术。
相关主题