当前位置:文档之家› PostgreSQL与腾讯云国产数据库技术实践

PostgreSQL与腾讯云国产数据库技术实践


回馈开源
内部应用
✓ 技术优化 ✓ 场景完善 ✓ 资源整合 ✓ 增强影响
外部代码 开放
内部开源 协同
技术创新
✓ 推动协作 ✓ 调配资源 ✓ 突破技术
数据库发展史 1978 - 1990
诞生于恢复高考之后
数据库正式登场萨ຫໍສະໝຸດ 煊黑板报1989 - 1998
Oracle一统江湖
中国数据库 商业格局形成
Oracle正式进军中国
• SPDK • RDMA
腾讯云数据库设计理念
互联网高性能
大量内核优化;全球同服等超高性能 场景。
金融级高可用
确保99.999%以上高可用;跨区容 灾;同城双活;故障自动恢复。
数据强一致
确保主从架构下数据强一致,分布 式事务特性。
高安全性
减少用户误操作/黑客入侵带来的安 全风险。
良好的扩展
无论是资源,还是功能,均需提供良 好的扩展性。
webank






200亿账户(含合作伙伴) 500亿+日均请求 平均5毫秒响应
月活用户达10.82亿 交易笔数超过4600亿笔
7000万微粒预授信 3800万开通用户
6000亿累计放款额
产研结合
产用结合
TCE
Tencent Cloud Enterprise
从开源不断回馈开源
✓ 技术普及 ✓ 生态完善 ✓ 社区影响 ✓ 社会分工
腾讯云自研数据库发展历史
TDSQL 1.0发布
应用于 财付通
内部云发布
WeBank/WeChat
专有云发布
TBase开源
2019.11.06正式开源
2007年
2010年
2012年 2014年
2015年
2017年
2018年
2019年
团队成立
腾讯充值
TBase 1.0发布
腾讯广告业务
公有云发布
云原生CynosDB
分布式数据库架构-性能可扩展的联邦架构
GTM(事务管理器)
GTM-M
• Transation Info • Global object
Coordinator(协调节点CN)
Coordinator
Global catalog
Coordinator
Global catalog
Coordinator
Global catalog
• Redis • Memcached • MongoDB • CTSDB
• CynosDB • TDSQL • TBASE
• TcaplusDB • Snova • Greenplum
物理设备操作系统(加强定制版Linux)
调度系统
故障迁移 业务调配
从自有业务到产用结合
自有业务打磨

微信支付图

一些资源锁,这将会阻塞之后对部分数据的访问和更新操作。 ✓ 数据不一致问题:数据不一致问题集中体现在第二阶段的故障场
景中。当两阶段提交事务出现了部分commit部分prepare,那么 更新数据在部分commit的节点可见;当两阶段提交事务出现了 部分commit部分rollback,那么数据在所有节点出现了不可恢复 的不一致状态。 ✓ 协调节点宕机问题:当事务将一直残留下来。出现协调节点宕机 的情况,即便是有做了主备倒换,产生了新的协调节点,参与节 点中的异常两阶段
✓ 第二阶段:事务协调器要求每个数据库提交数据,或者回滚数据。
PREPARED状态 COMMIT状态






R O L L B A C K 状 异常阶段及原因


commit阶段异常
动作 COMMIT剩余事务
✓ 需要解决的问题: ✓ 资源阻塞问题:残留的存在prepare状态的两阶段事务仍然持有
网络
GTM-S
• Transation Info • Global object
Datanode1
Local catalog
Local Data
Datanode2
Local catalog
Datanode3
Local catalog
Local Data
Local Data
Datanode(数据节点DN)
1999 - 2011
互联网传奇-MySQL传奇
MySQL与互联网的碰撞
2013 – 至今
互联网传奇-百花齐放
分布式数据库快速发展
互联网兴起,Oracle“太 贵”,技术社区兴起
业务多元化,高速发展
国防、军工核心领域
金融行业
DB2
Oracle
infomix
电信行业
Oracle
MySQL 在互联网公司 一统江湖
参与节点故障

prepare阶段异常
ROLLBACK剩余事务
参与节点宕机

prepare阶段异常发起 ROLLBACK剩余事务
节点宕机
金融级高可用
02
整套集群有384项不同维度的监控指 标,并根据业务自定义完善的监控规 则。
384项指标
ms级切换
01
内置保护进程,软件故障自动恢复, 预防人物误操作。
便捷的运维
解决90%以上的日常管理运维,让 DBA抽出时间去优化业务。
数据强一致
基于主从架构的“并行多线程强同步复制方案”
MAR
零误差

无错乱


主从节点默认采用强同步(实时同步) 当从节点同步日志后,主节点才给业务应
数据强一致-分布式事务
✓ 第一阶段:事务管理器要求每个涉及到事务的数据库预提交 (precommit)此操作,并反映是否可以提交.
PostgreSQL与腾讯云国产数据库技术实践
腾讯云数据库产品矩阵
电商模块
金融模块
用户行业
零售模块
安防模块
工业模块
教育模块
迁移上云服务
运维智能监控
数据库SaaS产品
订阅商业分析
智能管家DBBrain
数据管理服务
服务模块
审计 迁移 订阅 备份 告警 HA
管理平台
数据库PaaS产品
后台运维 管理平台
• MySQL • SQL Server • PostGreSQL • MariaDB
Datanode4
Local catalog
Local Data
分布式数据库架构-计算存储分离的云原生架构
• 兼容开源数据库
• MySQL • PostgreSQL
• 计算与存储分离
• 日志即数据库 • 可计算智能存储
• 面向云服务的体系结构
• 腾讯云存储服务 • 腾讯云网络服务
• 软件优化与新硬件相结合
腾讯云PG数据库系列主要产品线
加强版主备社区版 TencentDB for PostgreSQL
加强版分布式数仓 TencentDB for Greenplum
postgre
云原生的分布式数据库 CynosDB
MPP分布式数据库 TBase
采用Shared-Storage&shared-Nothing双架构,双引擎的双核出击方案,覆盖主流应用场景。
相关主题