数据仓库OLAP技术
2020/11/21
数据仓库OLAP技术
OLAP技术简介
OLAP的多维数据结构
❖ 超立方体结构:超立方结构指用三维或更多的维数来描述一个对象,每个维彼此垂直。数据 的测量值发生在维的交叉点上,数据空间的各个部分都有相同的维属性。
❖ 多立方体结构:即将超立方结构变为子立方结构。面向某一特定应用对维进行分割, 它具 有很强的灵活性,提高了数据(特别是稀疏数据)的分析效率。
"Dimension Table"
Product Table
Product_id Product_Desc
Brand Size
"Dimension Table"
PPT文档演模板
Sales Table
Time_id Product_id Market_id Scenario
Market Table
Market_id Market_Desc
n ROLAP(Relational OnLine Analytical Processing ) :数据存放于关系型数据库 中,用户的多维查询请求由ROLAP引擎处理为SQL查询,结果以多维方式呈现。 oracle
n HOLAP(Hybrid online analytical processing ): MOLAP与ROLAP的结合形式, 兼具MOLAP的查询效率高和ROLAP的存储效率高的优点,预存储
❖ OLAP的目标:满足决策支持或多维环境特定的查询和报表需求,它的技术核心是 “维”这个概念,因此OLAP也可以说是多维数据分析工具的集合
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
OLAP的相关基本概念
❖ 维( Dimension ):是人们观察数据的特定角度,是考虑问题时的一类属性,属性集合构 成一个维(时间维、地理维等) 。
❖ 维的层次( Generation,Level ):人们观察数据的某个特定角度(即某个维)还可以存 在细节程度不同的各个描述方面(时间维:日期、月份、季度、年) 。
❖ 维的成员( Member ):维的一个取值。是数据项在某维中位置的描述。(“某年某月某 日”是在时间维上位置的描述)
❖ 多维数组:维和变量的组合表示。一个多维数组可以表示为:(维1,维2,……,维n,变 量)。(时间,地区,漫游类型,通话费)
MOLAP的优势:
❖ 性能好、响应速度快。
❖ 专为OLAP所设计。
❖ 支持高性能的决策支持计算。
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
OLAP分类(五)
ROLAP的缺点:
❖ 比MOLAP响应速度相差极远。 ❖ 不支持有关预计算的读写操作。 ❖ SQL无法完成部分计算。
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
OLAP分类(一)
按照存储类型,OLAP可以分为以下三种类型:
n MOLAP(Multidimensional OnLine Analytical Processing ) :数据以多维方式 存储,每一个数据单元(Cell)都可以通过维度的定位直接访问。 db2
1993年,E.F.Codd提出了OLAP(OnLine Analytical Processing联机分析处理)概念,认为 OLTP已不能满足终端用户对数据库查询分析的需要,SQL对大型数据库进行的简单查询也 不能满足终端用户分析的要求。用户的决策分析需要对关系数据库进行大量计算才能得到 结果,而查询的结果并不能满足决策者提出的需求。因此,E.F.Codd提出了多维数据库和多 维分析的概念,即OLAP。
n 穿透:是指从多维数据库向关系型数据库读取明细数据
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
OLAP的多维数据分析方法简介(二):钻取
考察一个特定的维 §时间维,包括每一个地区漫游业务量 §钻取到下面的层次来考察详细情况
PPT文档演模板
地 区
时间 2020/11/21
❖ 数据单元( Cell ):多维数组的取值。(2000年1月1日,上海,国际漫游,通话费XXXX 元)
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
OLAP的基本特征
❖ 快速性:用户对OLAP的快速反应能力有很高的要求。系统对用户的大部分分析要求的响应 速度应该为秒级。
2003年 2003年1月 2003年1月1日 2003年1月2日 2003年1月3日 2003年2月
数据仓库OLAP技术
OLAP技术简介 OLAP的多维数据分析方法简介(二):旋转
按照不同的顺序组合维,对数据进行考察
地 区
时间
漫 游
地区
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介 OLAP的多维数据分析方法简介(三):切片、切 块
数据仓库OLAP技术
OLAP技术简介
OLAP分类(八)
MOLr
RDBMS
Integration Server
SQL Result Set
Load
Info. Request MOLAP Server
Front-end Tool
Info. Request Result Set
OLAP分类(二)
ROLAP存储模式:ROLAP数据以星型模式(Star Schema)或雪花型模式存储: ❖ 事实表:用来存储事实的度量值和各个维的码值。 。
❖ 维表:用来存放维的元数据(维的层次、成员类别等描述信息) 。
Period Table
Time_id Period_Desc Quarter Year
Distric Rt egio n
"Dimension Table"
Dollars Units Discount%
"Fact Table"
Scenario Table
Scenario Actual
2020/11/21
Profit
"Dimension Table"
数据仓库OLAP技术
OLAP技术简介
数据仓库OLAP技术
OLAP技术简介
OLAP分类的评价标准
❖ OLAP模型必须提供多维概念模型。 ❖ 透明性准则,存储无法清除。 ❖ 存取能力准则。 ❖ 稳定的报表性能 ❖ 客户/服务器体系结构 ❖ 维的等同性准则,按照维度存储 ❖ 动态稀疏矩阵处理准则:dense,sparse ❖ 多用户支持能力准则,并行 ❖ 非受限的跨维操作,多cube,多数据库的关联查询 ❖ 灵活的报表生成 ❖ 非受限的维与维的层次
region
Product Mgr. View
SALES
TIME
TIme Mgr. View
PPT文档演模板
2020/11/21
Regional Mgr. View
Ad Hoc View
数据仓库OLAP技术
OLAP技术简介 OLAP的多维数据分析方法简介(四):穿透
关系型数据库
PPT文档演模板
2020/11/21
PPT文档演模板
2020/11/21
数据仓库OLAP技术
ROLAP Server SQL
Result Set
Metadata Request Processing
Info. Request
Front-end Tool
Result Set
ROALP Architecture
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
OLAP分类(七)
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
OLAP分类(三)
MOLAP的逻辑存储模型:
❖ 以多维立方体和预计算来存储,实际数据的稀疏分布以及预计算是导致MOLAP空 间急剧膨胀的主要因素。
PPT文档演模板
X
X
X
X
X
2020/11/21
数据仓库OLAP技术
OLAP技术简介
PPT文档演模板
2020/11/21
数据仓库OLAP技术
OLAP技术简介
发展背景(二)
从数据角度看,OLTP系统与OLAP系统的主要差异如下:
OLTP数据 原始数据 细节性数据 当前值数据 可更新 一次处理的数据量小 面向应用,事务驱动 面向操作人员,支持日常操作
OLAP数据 导出数据 综合性和提炼性数据 历史数据 不可更新,但周期性刷新 一次处理的数据量大 面向分析,分析驱动 面向决策人员,支持管理需要
❖ 可分析性:OLAP系统能处理与应用有关的任何逻辑分析和统计分析。 ❖ 多维性:多维性是OLAP的关键属性。系统提供对数据的多维视图和分析,包括对层次维和
多重层次维的完全支持。 ❖ 信息性:不论数据量有多大,也不管数据存储在何处,OLAP系统应能及时获得信息,并且
具有管理大容量信息的能力
PPT文档演模板
OLAP分类(四)
ROLAP的优势:
❖ 没有大小限制。(因为Star Schema本身不需要额外的存储空间) 。 ❖ 现有的关系数据库的技术可以沿用。 ❖ 可以通过SQL实现详细数据与概要数据的存储。 ❖ 现有关系型数据库已经对OLAP做了很多优化,包括并行存储、并行查询、并行数据管理、
基于成本的查询优化、位图索引、SQL 的OLAP扩展(cube,rollup)等大大提高ROALP的 速度
Hybrid Architecture