19
工行开放平台OLTP转型实施效果
转型实施及推广阶 段
应用转型
120多个应用，2000多个节点 涉及主机下平台、Oracle迁移 、应用重构等多种场景
批量部署
能力提升
故障分析
自动巡检
自动化安装部署 实现批量安装部署 缩短业务上线时间
监控告警 建立告警基线 建立应急流程
故障分析 完善日志记录，采集和分析 建立故障分析规范
自动巡检 自动化巡检和评分报告 实例健康状态评分
13
完善运维管理能力
转型实施及推广阶 段
1
2
2016年
2017.05
初 开放平台数据库转型规划
3 2017年末
原型研究阶段 基础研究及试点
2018.08
4
5
2018.10 6
2018.05
2018.10
2018.12
OLTP分布式数据库研究
架构优化及云化部署
转型实施及推广
2019.03 7 2019.01 OLTP数据库技术路线
6
原型阶段—方案选型调研
转型实施及推广阶 段
实现异地灾备快速切换（RPO、RTO分钟级） 单台服务器可提供IO能力大幅提升，交易响应
时间提升50%
17
MySQL上容器
转型实施及推广阶 段
MySQL容器 PAAS IAAS
MySQL容器镜像 一键式环境供给能力 资源使用效率提升4倍--5倍
18
01. 数据库转型背景 02. 转型的发展历程 03. 转型成效 04. 后期工作思路
9
开源MySQL基础研究及应用试点
产品基础研究 应用开发设计
运维支持
21个应用
211个节点
实现同城RPO=0、RTO=分钟级目标
10
分布式中间件引入
转型实施及推广阶 段
DBLE
分布式 访问层集群
DBLE
分片1 Shard1 M
Shard1 S
高可用 负载均衡
SQL转换和分发
分片2 Shard2 M
动态管理
定制研发MySQL客户端组件，分 布 式中间件DBLE、数据库管理平台， 实现组件的联动
支持节点状态监控告警、安装部署、 高可用自动切换、自动补数等功能
采用开源MySQL和原生态数据复 制技术，一主多备架构，实现多份数 据冗余一致性保障
12
完善运维管理能力
转型实施及推广阶 段
监控告警
OLTP分布式数据库
分布式OLTP数据库、NewSQL数据库待检验
开源MySQL在业界有很丰富的案例
自主可控
?
从分布式架构角度解决
分布式架构
开源/商业
NewSQL
7
原型阶段—分布式架构技术栈
分布式服务
分布式事务框架 分布式批量框架
应用分布式技术栈
分布式缓存
开源MySQL
交易数据核对及补偿 分布式消息 配置中心
银行开放平台 OLTP数据库转型方案
01. 数据库转型背景 02. 转型的发展历程 03. 转型成效 04. 后期工作思路
2
传统IT架构挑战
01 处理能力
系统规模庞大，集中式架构设计，单一系统垂 直扩展模式，扩展能力有限
02 运行风险
更高的业务连续性保障要求，例如7*24 业务不中断
03 快速交付
15
高可用方案优化
转型实施及推广阶 段
主库 + 本地1台半同步备库 + 同城2台半同步备库 本地/同城 RPO=0，RT0<60s；
主库故障时，优先切本地；一键式同城快速切换
备注：NBU（NetBackup）备份是Symantec的开放平台集中备份软件，将生产系统的数据保存到物理磁带中
16
异地灾备和存储优化
开发及运维管理
8
原型阶段—MySQL高可用
本地高可用
按SET分组：配置中心设置的路由策略，实现快速自动切换到备节点 数据半同步复制：支撑业务快速恢复，故障时数据零损失
同城高可用
故障切换：配置中心动态路由，实现同城切换 数据一致性保障：
事件跨园区双写 节点双园区数据互备 事件与备库数据短时间间隔快速比对 差错/可疑数据冻结处理（限制服务） 补偿机制：备库与在途数据比对，找到差异，冻结数据进行应用补账
11
联机OLTP数据库解决方案
转型实施及推广阶 段
运维管理区域
业务系统 数据操作
负载均衡
数据库管理
运维人员 系统管理
服务端口
管理端口
分布式数据访问层
动态管理
数据操作
节点Agent 状态上报
MySQL管理平台
配置系中心统管高理可用管理
模监块控模性块能容Agent
故障自动切换（高可用/一致性）
转型实施及推广阶 段
自动化高可用决策系统 多份数据冗余，基于MySQL复制技术（半同步复制）和 多数派共识机制实现冗余备份 通过MySQL binLog日志自动数据补全，实现故障切换后 数据一致性 本地/同城自动化切换，RTO<60s，RPO=0，提供业务 连续保障
商业
开源
4
01. 数据库转型背景 02. 转型的发展历程 03. 转型成效 04. 后期工作思路
5
工行开放平台OLTP转型发展历程
开源MySQL产品研究
基于中间件MySQL分布式上线
资源使用效率提升
分布式原型研究
开源MySQL能力建设
高可用、运维能力的提升
MySQL云化及自助能力建设
2016.12
业务支撑能力
高 并 发 、 可 扩 展 ， 海量数据存储及访问 两 地 三 中 心 高 可 用 容灾
集中式
分布式
降低使用成本
基 于 通 用 的 廉 价 的 硬 件基础设施 自 主 可 控 的 能 力 ， 行 内适配定制 降 低 商 业 产 品 依 赖 ， 提升议价能力
专有
通用
运维能力
提升数据库的运维自动 /智能化能力 更开放的技术体系以利 于自主掌控， 更本地化 的服务支持
应用内部模块、应用与应用之间耦合度高，使得 软件开发和产品服务交付周期长
04 成本控制
大型主机运营费用昂贵，商业产品License 费用高，银行议价能力低
优化应用架构、数据架构、技术架构，建设灵活开放、高效协同、安全稳定的IT架构体系，强化对业务快速创新发展的科技支撑
3
开放平台OLTP转型的核心诉求及策略
…
分片N ShardN M
Shard2 S
ShardN S
分布式访问层：应用透明/灵活拆分、开源自主可 控 支持Hash/Range/List等多种分片算法，可扩展， 满足垂直数据分片、水平数据分片、混合分片等场景 数据节点分片扩展 支持简单的跨库汇集查询提供类似集中库的操作体 验 可通过集群解决自身高可用问题