OLTP与数据仓库系统
OLTP业务系统
数据仓库系统
RDBMS 关系数据库
SAP/ERP
分析型CRM 业务指标分析
EXCEL Web/XML
VSAM 主机系统
优化是针对即时更新的事务处理
数据是当前的 数据总在实时变化中
存储明细数据 支持日常的业务 面向事务 支持办事人员或行政人员
数据集市
数据仓库
5-10 年
Existing Interfaces
Existing Assets
Business Type Model
Identify Business Interfaces
Identify System Interfaces & Ops
Architecture
Patterns
Create Initial Comp
优化是针对大批量查询而不是更新 数据是历史的
面向决数策据是静态的，除数据刷新外 数据是汇总的 支持长远的业务战略决策 支持决策人员和管理人员
BI系统建设方法 （1）
• 直接建立BI应用
数据源
OLTP
各种前端应用
KPI指标 报表 多维分析 即席查询 数据挖掘
BI系统建设方法 （2）
数据仓库环境
数据仓库管理子系统
“数据仓库是在企业管理和决策中面 向主题的, 集成的, 与时间相关的 和不可修改的数据集合”
Bill Inmon
数据仓库(Data Warehouse)是一 种专为联机分析应用和决策支持系统 提供数据源的结构化的数据环境
数据仓库要解决的问题是从数据 库中获取信息的问题。
DATA DATA
DATA
D AT A
DATA
DATA DATA
DATA DATA
DATA DATA
DATA
DATA
数据DATA
INFORMATION INFORMATION
INFORMATION INFORMATION
信息
影响数据仓库的几个人物
• Bill Inmon - 《数据仓库》 • Ralph Kimball - 《数据仓库工具箱》 • Bernard Liautaud - 《商业智能》
Refine Component Specs & Architecture
Define Interface Information Models
Specify Operation Pre/Postconditions
Interfaces
Component Specification
Specify Component Interface Constraints
BI/DW Introduction
James Chen PSO Sr. Consultant
程序=算法+数据结构
--Niklaus Wirth
数据结构 离散结构 线形结构 - 数组链表栈队列 树 图
算法 空间复杂度 时间复杂度
经典业务系统模型
业务流程
Skill set 数据库 C++/J2EE/.net
Data Warehouse
Datamart
RDBMS
Datamart
RDBMS ROLAP
MDB
Architected Datamarts
End-User THale Waihona Puke olEnd-User Tool
End-User Tool
End-User Tool
ETL_DM1
典型物理架构
ETL_DM2 BAS_DW1
Business Interfaces
Specs & Architecture
Component Specs &
Discover Business Operations
Architecture
Component
System Interfaces
Interaction
Interfaces
Refine Interfaces & Ops
用户
物理数据结构
内存中数据结构
OO
UML 面向过程
E-R
PowerDesigner ER_WIN
二者相辅相成，不同应用侧 重不同
OO Design Workflow
Business Concept Model
Develop Business Type Model
Use Case Model
Component Identification
– 新需求的开发快 – 数据获取的效率快
战略层 业务管理层
业务操作层
底层数据 低粒度汇总 高粒度汇总
建设数据仓库的主要任务
• 数据仓库建模 • ETL • 前端展现组 • 数据挖掘 • 元数据
数据仓库引擎
• NCR Teredata • ORACLE 9以上 • DB2 EEE • Sybase IQ • MS SQL Server
BAS_OP1
BAS_OP2 BAS_SM1 BAS_SM2
BAS_DW2
Bas_sw01 Dx_sp01
Dx_sp02
Bas_sw02 Dx_sp03
元数据管理服务器
70T!
企业数据仓库的目的
• 数据整合--建立一个企业 统一的信息平台
– 建立统一的业务数据定义
– 建立唯一的统计分析数据 源
• 快速访问—采用适合企业 BI应用的数据组织方式
Source Data
Data Staging
Local Metadata
Enterprise Data
Warehouse
Central Metadata
Local Metadata
Data Modeling Tool
Data Extraction, Transformation and load
Enterprise/ Central
维模型的设计
aggregation path or dimension hierarchy
Dimension 1
业务智能层
信息访问和 引用部件
数据源
公司数据源 外部数据源
中央数据仓库
数据仓库 数据集结
数据仓库元数据目录
BIW 数据集市
企业数据仓库体系架构
WareHouse Admin. Tools
Relational
RDBMS
Package
Legacy
External source Data Clean Tool
Component Specs &
Architectur e
Component Specs & Architecture
笑一笑
• 数据仓库初学者：数据仓库与数 据库有什么区别？
• 某专家：一个有仓一个没仓！
BI/DW的引出
• 统计报表需求
– 数字越来越重要 – 报表越来越多 – 效率越来越差
数据仓库的定义