IBM Software Group
DB2 数据仓库引擎 － 海量数据的处理能力
high-speed network
CPU
CPU
CPU
CPU
MEM
MEM
MEM
MEM
MPP – 多台机器，每 台机器具有一颗CPU 和独立的操作系统
CPU CPU CPU CPU MEM
table
high-speed network
IBM Software Group | Business Intelligence Solution
IBM 数据仓库平台扩展
▪ 多维分析 - Cube view
– 支持数十个维度以上的处理 – 支持范围、区间的计算处理 – 可混合多维及明细SQL数据访问
DB2 OLAP Server
QMF for Windows
字典.
179.9 GB
76% Smaller!
42.5 GB
实际用户样例
IBM Software Group
查询负载管理－Query Patroller
▪ 查询管理: 在数据仓库引擎执行前进行 ▪ 查询状况报告: 报告过去历史查询执行情况的详细及汇总
信息 ▪ 监控: DBA可查看最近提交的查询并可对正在执行的任务
进行有效干预 ▪ 性能提升: 提升查询吞吐量及数据仓库整体效率
DBA
控制
分析信息
Query 提交
query
DB2 Query Patroller
query feedback
DB2 Engine
IBM Software Group
数据仓库的构建
面向服务架构
实时整合服务 和事件管理
探索
发现数据内 容和结构
IBM Software Group | Business Intelligence Solution
ETL处理- Datastage
完全图形化的设计工具
管道式运行模式
优异并行处理能力
IBM Business Intelligence Solution | 200６
© 200６ IBM Corporation
+++ DB2 实体分析
DB2打分…
ETL
联邦, ETL
▪ 实时分析是关键
– 通过联邦到达实时和异构的数据源 – 消息队列流数据 – ETL，支持批处理和实时负载 WebSphere 信息集成器
IBM Business I运nte行llig和enc外e S部olution | 200６
实时，异构
© 200６ IBM Corporation
▪ 数据挖掘 － Intelligent Miner
– 与数据仓库引擎集成的数据挖掘能力 – 支持实时及闭环的挖掘分析
生成模型
DB2 Data
SQL Warehouse
IM Scoring PMML
实时决策
IM Modeling IM Visualization
Model
IBM Business Intelligence Solution | 200６
© 200６ IBM Corporation
IBM Software Group | Business Intelligence Solution
对商业智能系统建设思路的回顾
系统架构
项目建设的重要考量因素
数据模型
业务驱动
技术实现
数据集市
数据仓库
IBM Business Intelligence Solution | 200６
Oracle
and more…
© 200６ IBM Corporation
IBM Software Group | Business Intelligence Solution
IBM完整商业智能平台 – 数据分析更全面、更实时
▪ 更多的用户 = 更多的价值
工具和应用
合作伙伴
门户集成
易于部署和使用 WebSphere 门户服务器
IBM Business Intelligence Solution | 200６
© 200６ IBM Corporation
IBM Software Group | Business Intelligence Solution
随需应变的信息管理系统
将信息转化为业务智能
业务灵活性和适应能力
洞察力 信息 数据
商业智能
从消极的报表 到 实时的洞察力
昨天
今天
▪ 基于时间点的商业智能
▪ 持续, 实时的商业智能
▪ 专注于基础架构
▪ 开放的环境
▪ 互相孤立的数据集市 ▪ 技术的拼凑
▪ 联合企业级数据仓库和交易型 系统
▪ 行业解决方案
IBM Business Intelligence Solution | 200６
Data Exploration Tools
OLAP Tools
Rational Data Architect
SQLModel2, Server explorer, project explorer, physical DB model
Eclipse
AlphaBlox Tools
IBM Business Intelligence Solution | 200６
IBM Software Group
IBM商业智能解决方案及发展方向
刘晶炜 信息管理中国区技术经理 IBM软件部
© 2006 IBM Corporation
内容
IBM Software Group | Business Intelligence Solution
▪ 商业智能的发展趋势 ▪ IBM商业智能的技术平台的发展 ▪ IBM行业数据仓库模型
数据挖掘数据 处理流程设计
© 200６ IBM Corporation
IBM Software Group | Business Intelligence Solution
商业智能要求平衡的软硬件配置
BCU : Balanced Configuration Unit
传统方式
100%
System Software
Integrated Design Center
Data
SQL
Data
OLAP
In-Line
Data Architect
DBA Modeling Warehousing Mining Enablement Analytics
BI Designer
Web-based Administration Console DB2 V8.2 & Soon VIPER
CPU CPU CPU CPU
CPU CPU CPU CPU
MEM
MEM
table
SMP – 在一台机器内有一个操作系统， 多颗CPU
table
集群 – 多台SMP机器
IBM Software Group
混合分区技术
Database Partitioning
Row
Hash
ORDER_ID
Range
Mining Tools
(Visualization, models mgt. Deployment & code gen.)
ETL Control-
Flow Editor
ETL Dataflow Editor
Data Mining Editor
Common operators
Data Flow Editor Framework
系统效率
Share Nothing Architecture
Storage
Actuators per LUN
LUNs per Array
Disk Size
RAID
50%
IBM BCU方式
▪ 30%+ overhead on I/O ▪ High I/O waits ▪ Lower process utilization ▪ BI performance problems are 60%+ I/O related
Fred, (01), 10000, (02), John, (01), 20000, (02), Site 3
国内测试结果: ▪ ERP系统: 数据存储减少70%以
上, 同时性能提升10% ▪ 电信话单: 数据存储减少50% ▪ 银行交易: 数据存储减少50%
01 Dept 500 02 Plano, TX, 24355 ……
64G Jan
1000 Machines
64G
64G
Feb
Mar
Cluster
64G
Table Partitioning
SHIP_DATE
Apr
MDC REGION, CATEGORY
IBM Software Group
DB2 提供基于字典的强大数据压缩能力
Fred, Dept 500, 10000, Plano, TX, 24355… John, Dept 500, 20000, Plano, TX, 24355, Site 3
准备
标准化、匹配 和修正数据
转换和交付
转换、增值 和交付数据
ProfileStage™ QualityStage™ DataStage™
并行执行机制 元数据管理
企业信息连接
企业信息 整合系列产品
• 开放的、面向服务的架构 • 整合的数据轮廓和数据质量 • 复杂的数据转换和路由控制 • 可重用的组件和规则 • 没有限制的线性扩展能力 • 企业元数据管理 • 任何时间、任何地点的互联 • 符合工业标准 (XML, EDI, JMS, JCA) • 完备的行业解决方案