业务数 据
加载 程序
……
业务 数据
负载均 衡
加载服 务
0100100缓1文001存件001101111111
01001001111
SqlLoader
001100010001100010001110111111111
加载 服务
010010010缓文01存件002101111111
……
…… …… 01001001111
Oracle数据
库访问引擎
库பைடு நூலகம்问引擎
Oracle1
Oraclen
Oracle数据 库访问引擎
数据字典
分布式系统中间件架构设计
分布式系统中间件架构
统一API 负载均衡 数据查询 数据加载 服务监控 容错和扩展
分布式系统中间件架构设计--统 一的API
系统监控管理界面
API接口调用
数据 处理 服务
查询配置 服务
数据字典 服务
并行加 载服务
系统 支撑 工具 和 服务
负载平 衡和容 错服务
日志服 务
系统管 理服务
数据访 问服务
net8
… Oracle数据
Oracle数据
库访问引擎
库访问引擎
Oracle1
Oraclen
Oracle数据 库访问引擎
数据字典
分布式系统中间件架构设计--负载均衡
图
请求 请求
……
请求
SqlLoader
加载服 务
0100100缓文10存件01300101111111
SqlLoader
数据库11 数据库12
数据库21 数据库22
……
数据库n1 数据库n2
分布式系统中间件架构设计--服务监控
系统监控管理界面 交互SQL命令接口 IDL接口
数据 处理 服务
查询配置 服务
数据字典 服务
容灾
影响分布数据库数量的因素
系统容量
查询性能
加载性能
恢复时间
分布式数据库架构设计-冗余
图片
SQL
负
载
均
衡
SS查 服QQ询 务L L
查询 服务
……
查询 服务
在一个主备数据库组内，出现一个数据库故障
主数据库1
备数据库1
……
主数据库n 备数据库n
分布式数据库架构设计-监控
分布式数据库架构设计-备份与恢复
分布式数据库架构设计
分布式数据库架构
中间件
分布式数据库
关系型分布式数据库架构
系统监控界面 数据库管理界面 交互SQL命令接口 API接口
数据 处理 服务
并行查 询服务
数据字 典服务
并行加 载服务
备份恢 复服务
系统 支撑 工具 和 服务
负载平衡和容 错服务
对象事务服务
系统管理服务
数据访 问服务
… Oracle数据
负轻载载对获象取
选取
负 载 均衡
对象定位器 对象状态
负载分析器 负载获取器
请查询 求服务
查询 服务
……
查询 服务
分布式系统中间件架构设计--数据查询
用户 用户用户
查询
并行查询服务
子查询1
子查询n
数据访问引擎
数据访问引擎
DB1
…
DBn
结果合并 分组 排序 聚集操作
…
分布式系统中间件架构设计--数据加载
分布式数据库和中间件架构设计
技术创新，变革未来
ACID--RDBMS的理论基石
原子性(Atomicity) 一致性(Consistency) 隔离性(Isolation) 持久性 (Durability)。
Brewer的CAP理论
在一个分布式环境下,存在3个核心需求 数据的一致性(Consistency) 系统的高可用性(Aviliability) 分区容错性(Partition Tolerance)
并行加 载服务
系统 支撑 工具 和 服务
负载平 衡和容 错服务
日志服 务
系统管 理服务
数据访 问服务
net8
… Oracle数据
Oracle数据
库访问引擎
库访问引擎
Oracle1
Oraclen
Oracle数据 库访问引擎
数据字典
分布式系统中间件架构设计--服务容错和扩展
请求
负
载
均
衡
请服求务重失定效位
分布式系统中间件架构设计-优势
统一对外的API
高效的查询 和加载性能
负载均衡
灵活的扩展性
分布式系统中间件架构
系统监控管理界面
API接口调用
数据 处理 服务
查询配置 服务
数据字典 服务
并行加 载服务
系统 支撑 工具 和 服务
负载平 衡和容 错服务
日志服 务
系统管 理服务
数据访 问服务
net8
… Oracle数据
业务数据
… 待加载数据
待加载数据
SQL*Lloader
数据库
…
数据库
数数据据备恢份复 介质
分布式数据库架构设计-扩展性 当业务的数据接近系统设计
容量 的上限值时
当数据处理的速度无法满足
性能 业务的需求时 突发 为了防止突发的事件使数据 事件 库崩溃
分布式数据库架构设计-容灾
应用
调度服务
异地灾备
中心数据库
CAP示例
CAP理论
BASE理论
Basically Availble --基本可用 Soft-state -- 软状态 柔性事务 Eventual Consistency --最终一致性
NWR法则
N: 复制的节点数量 R: 成功读操作的最小节点数 W: 成功写操作的最小节点数 当： R+W>N 可以保证强一致性 R+W<=N 无法保证数据的一致性 极端情况: W=1 R=N 写要求高性能高可用。 R=1 W=N 读要求高性能高可用。 读写平衡： W=Q，R=Q，Q=N/2+1 比如：N=3 R=2，W=2。
Oracle数据
库访问引擎
库访问引擎
Oracle数据 库访问引擎
net8 Oracle1
Oraclen
数据字典
分布式数据库架构--优势
数据的并行计算和访问
灵活的扩展性
I/O通道的扩展
D-DB
主机资源的整合
对应用透明 数据的冗余
分布式数据库架构设计
D-DB
主机数量 数据冗余 系统监控 水平扩展 备份及恢复
查询 服务
请S查Q求询L
服务
……
查询 服务
分布式系统中间件架构设计--服务容错和扩展
请求 请求
查询 服务
主 负
注
载
查询 服务
均
衡 册 ……
查询
从
服务
负
载
均
衡
Thanks