register Table
分区忽略
系统自动根据分区情况优化 数据访问，忽略无关的数据 分区
1998
1999
2000
表分区使用情况?
Range RangeHash Hash
List
Range-List 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Oracle数据库的真正应用集群技术
Measure度量＝销售额
稀疏维
销售额度量
成员
卓越的计算能力
• 最广泛的功能：
• 简单汇总到复杂的 跨维分配 • 根据检索存储或计 算的结果 • 关系识别 • 条件或程序逻辑
Hyperion Essbase 可提高数据仓库性能
具有 Q&R 工具的数据仓库
响应时间 磁盘占用空间
Hyperion Essbase
• Allows optimization by application table
• 极大地降低成本
5X More I/Os than 1000 Disk Enterprise Storage Array
• 同样的I/O能力,超过10x倍的磁盘节省 • 低能耗
Oracle 是第一个闪存优化 的数据库系统
• 减少空间 • 典型的可达到15X的压缩率 • 有些可达到50X
© 2009 Oracle Corporation - Confidential
50X
27
Up To
数据仓库逻辑结构
28
多维数据集市 Essbase
Oracle Essbase
近十年内最具影响力的 10 大科技创新之一 • • • • 全球第一的多维数据库 What-if 计算 多维分配 多用户读/写
• 11g适合所有命令，可用于业务处理系统
• 压缩各种数据类型
• 结构化数据和非结构化数据
• 典型压缩比 2-3 X
• 大量节省磁盘空间消耗2x-3x • 可减少IO, 加强了缓存的效率 • 比正常读取要快2倍
• 压缩的成本
• 能节省一半的存储空间 • 会增加5%的CPU使用率
Sun Oracle Database Machine
分散在各个系统中的异构数据源
---
------------
遗留系统
ERP
CRM
------------
------------
业务系统
Oracle Data Integrator
支持多种数据源和目标 高性能 ODI可以方便地调用数据 库存储过程、函数、操作系 统可执行脚本 ODI支持增量数据捕获 ODI支持BLOB/CLOB数据类 型的完全处理 ODI支持将数据库数据转 换为XML，包括BLOB/CLOB数 据类型 图形化界面，易于使用
9
数据仓库及商务智能系统逻辑架构图
数据仓库构建 数据源
ERP数据 分段数据存储
数据仓库管理
数据分析
查询及报表 门户
用户
知识工人 决策人员
数据仓库
数据集市 其它数据 抽取, 转换, 其它数据 加载 数据集市 数据仓库, 模型
OLAP
数据挖掘
Business Modeling 元数据 单点登录 和 统一身份管理
数据仓库数据加载 Oracle Data Integrator
Oracle Data Integrator（ODI) 是一个 SOA-Ready 的数据集成工具
如何充分利用企业现有的信息
商业智能 绩效管理 商业流程管理 业务流程监控
数据集成
数据迁移 数据仓库 主数据管理 数据同步 --------数据联邦 实时消息
数据仓库解决方案探讨
1
Complete, Open, Integrated
• • • • • • • •
基于开放和标准 业已优化, 集成的和可延展的 更好的性能, 可靠性, 安全性 更短的部署时间 更简便的管理与升级 更低的拥有成本 极大降低变更管理的风险 整体支持
Oracle 产品体系架构平台产品及技术映射
Exadata Storage Server Grid
• 14 x高性能低成本存储服务器 • 100 TB raw SAS disk storage or 336 TB raw SATA disk storage • 5TB+ 闪存(flash storage)!
InfiniBand Network
好处
最佳的高性能、可扩展性 易管理、低成本
ODI的易用性
• ODI提供图形化方式实现异构数据复制、异构数据的抽 取加载以及转换
数据仓库逻辑结构
17
数据仓库数据管理 Oracle DB
大型数据仓库
特性排序
Source: Oracle ST Survey
数据分区技术提高大数据量的访问速度
于对管理决策过程的支持。”
6
数据仓库和商务智能解决方案
上下游企业 一线员工 经理 企业领导
商务智能分析
交互式仪表板 发现和预警
即时查询
报表
移动分析
实时分析
商务智能分析
销售分析 服务分析 市场分析 供应链分析 财务分析 劳动力分析
• 预制的客户和业务分析 • 行业化和基于规则 • 针对Siebel, SAP, PeopleSoft, Oracle, 和其他数据源 • 快速实施、低成本
网格基础架构层
应用服务器 数据库 存储
日程
• Oracle 数据仓库解决方案 • 数据仓库系统实施规划 • 总结
4
什么是数据仓库
• 数据仓库概念的提出者、美国著名信息工程专家 William Inmon博士在90年代初提出了数据仓库概念的 一个表述： “一个数据仓库通常是一个面向主题的、集成的、随 时间变化的、但信息本身相对稳定的数据集合，它用
• 写回建模 BI
• 财务智能
维度和度量
商品维度
商品全体 商品分类１ 商品分类２ 商品A 商品B
98 58 40 28 30
48 28 20 10 18
43 23 20 8 15
70 50 20 30 20
62 32 30 20 12
33 259 95 354 18 159 50 209 15 100 45 145 18 76 83 38 114 12 95 时间维度
数据仓库平台 数据仓库平台
业务分析数据仓库 ETL & 配置器
CRM Financial HR Supply Chain IVR Web CTI
业务系统
用户交互系统
其他业务和分析 数据源
• 为所有用户服务 • 极高的扩展性和性能 • 完整的、即时的数据提供 • 提供更强的BI和分析能力
8
数据仓库逻辑结构
• 数据分区层次的管理
• 范围、 hash、列表、复合分区 • 查询时自动分区忽略，减少对不相关数据的访问 • 查询语句可以在分区间并行，提高CPU和IO并发
• 增强的数据有效性
• 数据故障隔离在分区而不是表上，备份、恢复更灵活
order table
jan04 feb04 mar04 apr04
Add
• 网格就是未来
• 高性能, 低成本, 冗余, 线性扩展
• Sun Oracle Database Machine 为所有数据管理需求交付第一个 也是唯一一个完整的网格架构
RAC Database Server Grid
• 8 x 高性能低成本服务器 • 每个服务器包括2 Intel quadcore Xeons
门户
业务监控
商务智能
Oracle 企业管理 • Oracle Enterprise Manager
业务流程层
应用1 应用2 应用3 应用4 应用5 应用6 其它
企 业 管 理
系 统 的 监 控 和 调 优
流程管理
人工流程 企业服务总线
规则引擎
用 Oracle 项目管理 — P6 户 安 Oracle 客户关系管理 — Siebel 管 理全
26
Exadata Hybrid Columnar Compression
• 数据以字段形式存储并压 缩
Only on Exadata
• 查询模式 –针对data warehousing
• 最优的速度 • 典型的可达到10X的压缩率 • 按压缩比率改进扫描
• Archival Mode –针对频繁 的数据访问
E-LT 架构---数据加载
高性能
传统的ETL架构
在单独ETL服务器上进行转换
• 私有的引擎
Extract
Transform
Load
• 性能差
• 高成本
在已有的关系数据库上进行转换
• 充分利用资源 • 效率高 • 高性能
新一代架构
“E-LT”
Transform Extract Load Transform
• 40 Gb/sec fault-tolerant unified server and storage network
Exadata Flash
解决随机I/O瓶颈
New
• Sun Oracle Database Machine有5+ TB 的闪存存储 • Exadata Smart Cache技术缓存热点访 问的数据
may04
Drop
本地索引
查询的自动分区忽略、其它分区数据不受影响
数据分区的益处：
select sum(register_amt) from register where reg_date between 1998 and 1999
显著提高访问大表时的性能