为什么要数据整合？
重复属性
缺少数据
违反商务规则
缺乏引用完整性 多种数据源中缺乏数据对应
错误的值 错误的计算
主键重复 错误的范围
源数据和目标缺乏同步
没有理由的关联 错误的数据依赖
稀少的实体解释 无标准的格式
数据整合
THE ENTERPRISE UNWIRED
数据会骗人吗？
问题：谁是销售额最大的客户？
THE ENTERPRISE UNWIRED
Sybase 商务智能解决方案简介
知之者胜，不知者不能。------吾以此知胜负 孙子
2005.11.17
Sybase商业智能高级顾问 陈广地
议程
THE ENTERPRISE UNWIRED
1 数据仓库概述 2 传统关系型数据库存储技术的局限 3 按列存储－Sybase IQ革命性的创新技术 4 Sybase BI解决方案

数据仓库
优化是针对大批量查询而不是更新 数据是历史的
面向决数策据是静态的，除数据刷新外 数据是汇总的 支持长远的业务战略决策 支持决策人员和管理人员
数据仓库应用类型
THE ENTERPRISE UNWIRED
数据仓库应用价值
12 345
1. 日常报表 2. 即席查询 3. OLAP分析 4. 专题应用 5. 数据挖掘
CUSNUM 90328574 90328575 90238495 90233479 90233489 90234889 90345672
NAME IBM I.B.M.Inc. International Bus. M. Int. Bus. Machines Inter-Nation Consults Int. Bus. Consultants I.B.Manufacturing
THE ENTERPRISE UNWIRED
事务性业务系统无法满足战略决策
本年度我公司 电话消费前一百 名的机构和个人?
某分局三年来的 话费、客户
数量变化图？
最近一季度 网络流量的特点
是什么？
当前业准务确系性统? 较早时前效系统性备?份 旧版数业安据务系仓全统库性备?份 纸张报协表、调其性它?档案
5 Sybase BI成功案例
THE ENTERPRISE UNWIRED
数据仓库和商务智能是什么关系?
数商据务仓智库能这概个念概在念后在先 数曾商据被业仓扩智库大能这化概个，念概而更念且加有全歧面义，
商体数务系据智，仓能包库是括，一数数套据据清展洗现，
深数易层据引文仓起化库决原这策因个者：提的法反容感
THE ENTERPRISE UNWIRED
什么是数据整合？
数据整合是：将分布在企业中的各种各样的数据从各种 不同的、分散的数据源、不同的应用中汇集，转变成结 构化、可复用、准确可信的数据资产的过程。
主机 XML 相关的 实时 ERP/CRM
其他
数据整合
集中的 数据仓库
数据整合
THE ENTERPRISE UNWIRED
现在呢？
THE ENTERPRISE UNWIRED
数据仓库定义
THE ENTERPRISE UNWIRED
“数据仓库是在企业管理和决策中面 向主题的, 集成的, 与时间相关的和不 可修改的数据集合”
Bill Inmon
数据仓库(Data Warehouse)是一种 专为联机分析应用和决策支持系统提供 数据源的结构化的数据环境
面向主题
典型的主题领域：客户；产品；交易；帐目
集成的
数据提取、净化、转换、装载
不可修改的
数据仓库的数据通常是一起载入和访问的，但并不进行一般意义上的数 据更新
与时间相关的
数据仓库的时间期限要远远长于操作型系统中的时间期限（5年以上）； 数据仓库中的数据是一系列某一时刻生成的复杂的快照； 数据仓库的键码结构总是包含某时间元素。
数据仓库要解决的问题是从数据库 中获取信息的问题。
DATA
DATA
DATA
DATA
DATA
DATA
DATA
DATA DATA DATA
DATA
DATA
DATA
DATA
数据
INFORMATION INFORMATION
INFORMATION INFORMATION
信息
数据仓库特性
THE ENTERPRISE UNWIRED
－抽取（Extract） 了解业务系统的特点 分析优化数据源，制订抽取方案
－转换和清洗（Transform） 去掉无用数据或错误数据 统一转换数据的名称和定义 计算汇总数据和派生数据 估计遗失数据的缺省值 调节源数据的定义变化
－传输和加载（Load） 设计和创建加载模型 制订加载任务并传输
数据整合
数据信息整合
THE ENTERPRISE UNWIRED
DATA DATA
DATA
DATA
DATA DATA
DATA
DATA
DATA
DATA
DATA
DATA DATA
DATA
INFORMATION
信息
INFORMATION
信息
数据信息整合解决从数据库中获取信息的问题。
有多少根火柴？
THE ENTERPRISE UNWIRED
专题应用
时间
数据仓库几个组成部分
Metadata
THE ENTERPRISE UNWIRED
数据集成
数据存储
数据发布
数据访问
Warehouse Process Management
数据集成: 集成不同业务系统中的数据 数据存储: 集中的数据存储 数据发布: 数据(集市)被存储在靠近用户的地方 数据访问: 满足数据分析等应用需求 Metadata: 元数据. 即数据仓库的数据字典. Warehouse Process Management：数据仓库过程管理
数据仓库组成部分
THE ENTERPRISE UNWIRED
Metadata
数据集成
数据存储
数据发布
数据访问
Warehouse Process Management
数据集成（ETL）
THE ENTERPRISE UNWIRED
ETL
••抽抽取取 ••清清洗洗 ••传传输输 ••转转换换
占开发工作量的80％左右，因此 产品的选择很关键
本季度公司成本、 收入、客户抱怨、
滞纳金情况 分析？
最有潜力的服务 手段和市场热点
是什么？
OLTP业务系统－数据仓库系统
THE ENTERPRISE UNWIRED
OLTP业务系统
数据仓库系统
RDBMS Sybase
SAP/ERP
用户分析
网络资源分析
数据集市
VSAM EXCEL
优化是针对即时更新的事务处理 数据是当前 数据总在实时变化中 存储明细数据 支持日常的业务 面向应用 支持办事人员或行政人员