当前位置:
文档之家› PostgreSQL与腾讯云国产数据库技术实践
PostgreSQL与腾讯云国产数据库技术实践
回馈开源
内部应用
✓ 技术优化 ✓ 场景完善 ✓ 资源整合 ✓ 增强影响
外部代码 开放
内部开源 协同
技术创新
✓ 推动协作 ✓ 调配资源 ✓ 突破技术
数据库发展史 1978 - 1990
诞生于恢复高考之后
数据库正式登场萨ຫໍສະໝຸດ 煊黑板报1989 - 1998
Oracle一统江湖
中国数据库 商业格局形成
Oracle正式进军中国
• SPDK • RDMA
腾讯云数据库设计理念
互联网高性能
大量内核优化;全球同服等超高性能 场景。
金融级高可用
确保99.999%以上高可用;跨区容 灾;同城双活;故障自动恢复。
数据强一致
确保主从架构下数据强一致,分布 式事务特性。
高安全性
减少用户误操作/黑客入侵带来的安 全风险。
良好的扩展
无论是资源,还是功能,均需提供良 好的扩展性。
webank
微
微
粒
车
贷
贷
200亿账户(含合作伙伴) 500亿+日均请求 平均5毫秒响应
月活用户达10.82亿 交易笔数超过4600亿笔
7000万微粒预授信 3800万开通用户
6000亿累计放款额
产研结合
产用结合
TCE
Tencent Cloud Enterprise
从开源不断回馈开源
✓ 技术普及 ✓ 生态完善 ✓ 社区影响 ✓ 社会分工
腾讯云自研数据库发展历史
TDSQL 1.0发布
应用于 财付通
内部云发布
WeBank/WeChat
专有云发布
TBase开源
2019.11.06正式开源
2007年
2010年
2012年 2014年
2015年
2017年
2018年
2019年
团队成立
腾讯充值
TBase 1.0发布
腾讯广告业务
公有云发布
云原生CynosDB
分布式数据库架构-性能可扩展的联邦架构
GTM(事务管理器)
GTM-M
• Transation Info • Global object
Coordinator(协调节点CN)
Coordinator
Global catalog
Coordinator
Global catalog
Coordinator
Global catalog
• Redis • Memcached • MongoDB • CTSDB
• CynosDB • TDSQL • TBASE
• TcaplusDB • Snova • Greenplum
物理设备操作系统(加强定制版Linux)
调度系统
故障迁移 业务调配
从自有业务到产用结合
自有业务打磨
•
微信支付图
•
一些资源锁,这将会阻塞之后对部分数据的访问和更新操作。 ✓ 数据不一致问题:数据不一致问题集中体现在第二阶段的故障场
景中。当两阶段提交事务出现了部分commit部分prepare,那么 更新数据在部分commit的节点可见;当两阶段提交事务出现了 部分commit部分rollback,那么数据在所有节点出现了不可恢复 的不一致状态。 ✓ 协调节点宕机问题:当事务将一直残留下来。出现协调节点宕机 的情况,即便是有做了主备倒换,产生了新的协调节点,参与节 点中的异常两阶段
✓ 第二阶段:事务协调器要求每个数据库提交数据,或者回滚数据。
PREPARED状态 COMMIT状态
有
有
有
无
有
无
R O L L B A C K 状 异常阶段及原因
态
无
commit阶段异常
动作 COMMIT剩余事务
✓ 需要解决的问题: ✓ 资源阻塞问题:残留的存在prepare状态的两阶段事务仍然持有
网络
GTM-S
• Transation Info • Global object
Datanode1
Local catalog
Local Data
Datanode2
Local catalog
Datanode3
Local catalog
Local Data
Local Data
Datanode(数据节点DN)
1999 - 2011
互联网传奇-MySQL传奇
MySQL与互联网的碰撞
2013 – 至今
互联网传奇-百花齐放
分布式数据库快速发展
互联网兴起,Oracle“太 贵”,技术社区兴起
业务多元化,高速发展
国防、军工核心领域
金融行业
DB2
Oracle
infomix
电信行业
Oracle
MySQL 在互联网公司 一统江湖
参与节点故障
有
prepare阶段异常
ROLLBACK剩余事务
参与节点宕机
无
prepare阶段异常发起 ROLLBACK剩余事务
节点宕机
金融级高可用
02
整套集群有384项不同维度的监控指 标,并根据业务自定义完善的监控规 则。
384项指标
ms级切换
01
内置保护进程,软件故障自动恢复, 预防人物误操作。
便捷的运维
解决90%以上的日常管理运维,让 DBA抽出时间去优化业务。
数据强一致
基于主从架构的“并行多线程强同步复制方案”
MAR
零误差
主
无错乱
从
从
主从节点默认采用强同步(实时同步) 当从节点同步日志后,主节点才给业务应
数据强一致-分布式事务
✓ 第一阶段:事务管理器要求每个涉及到事务的数据库预提交 (precommit)此操作,并反映是否可以提交.
PostgreSQL与腾讯云国产数据库技术实践
腾讯云数据库产品矩阵
电商模块
金融模块
用户行业
零售模块
安防模块
工业模块
教育模块
迁移上云服务
运维智能监控
数据库SaaS产品
订阅商业分析
智能管家DBBrain
数据管理服务
服务模块
审计 迁移 订阅 备份 告警 HA
管理平台
数据库PaaS产品
后台运维 管理平台
• MySQL • SQL Server • PostGreSQL • MariaDB
Datanode4
Local catalog
Local Data
分布式数据库架构-计算存储分离的云原生架构
• 兼容开源数据库
• MySQL • PostgreSQL
• 计算与存储分离
• 日志即数据库 • 可计算智能存储
• 面向云服务的体系结构
• 腾讯云存储服务 • 腾讯云网络服务
• 软件优化与新硬件相结合
腾讯云PG数据库系列主要产品线
加强版主备社区版 TencentDB for PostgreSQL
加强版分布式数仓 TencentDB for Greenplum
postgre
云原生的分布式数据库 CynosDB
MPP分布式数据库 TBase
采用Shared-Storage&shared-Nothing双架构,双引擎的双核出击方案,覆盖主流应用场景。