数据仓库与数据中心知识培训
获取更新频度等元数据信息
规则 如:县上网电量
操作数据区(ODS)
提取基础数据项的元数据信息
=∑110KV及以下电厂上网电量
市上网电量
=∑110KV及以下电厂上网电量
省上网电量(不含500KV网损) =∑220KV及以下电厂上网电量
根据数据加工规则产生
的基础的事实表、维度
表,数据的粒度由维度
的层次决定
• 数据中心的定位
数据仓库与数据中心概述
数据中心是企业一体化信息平台的基础,它可以为应用系统的整 合与数据共享提供有效的解决方案,保障企业数据的一致性、及 时性、完整性、安全性、有效性和准确性,提高企业信息系统的 统一性,消除企业普遍存在的信息孤岛,解决信息系统沟通不畅 的问题。
数据仓库与数和更新新的数据
通过删除丢弃一些过时的数据
数据仓库与数据中心概述
• 特征四 随时间不断变化
数据仓库中的信息并不只是关于企业当时或某一时点的信息,而是 系统记录了企业从过去某一时点到目前的各个阶段的信息,通过这 些信息可以对企业的发展历程和未来趋势作出定量分析和预测。
获取相关报表、指标等元数据信息
提取数据访问地址、数据字典等 元数据信息
基础数据项 如:计量点计量数据
属性:计量点名称 计量点位置 正向有功 反向有功 周期(月)
基础指标 如:上网电量
属性:地区 时间 资产属性
数据抽取规则 临时数据区
存放明细业务数据项 只做适度的编码转换
业务特性决定更新频率 业务特性决定数据归档
时间属性 数据仓库中的数据通常都带有时间属性 数据统一更新以时间段为单位
• 什么是数据中心
数据仓库与数据中心概述
数据中心是公司一体化信息平台的重要 组成部分。
广义 企业业务应用与数据资源进行集中、集成、共享、分析的场所、 工具、流程等的有机组合
狭义 应用层面的数据中心,具体包括数据仓库和建立在数据仓库之上 的决策分析应用、数据ETL、ODS数据库、数据仓库、商务智能应用和 元数据管理等
传统数据库中的数据是原始、基础数据,而特定分析领域数据则是需要对它们作必要的 抽取、加工与总结而形成
数据仓库中的主题有时会因用户主观要求的变化而变化
数据仓库与数据中心概述
• 特征二 集成
数据仓库中的数据是为分析服务的,而分析需要多种广泛的不同数据 源以便进行比较、鉴别,因此数据仓库中的数据必须从多个数据源中 获取,这些数据源包括多种类型数据库、文件系统以及Internet网上 数据等,它们通过数据集成而形成数据仓库中的数据。
• 数据中心的逻辑架构(广义)
数据仓库执行架构
应用架构 数据架构
财务(资金)管理 安全生产管理
业务系统 营销管理
人力资源管理
项目管理
综合管理
协同办公 物资管理
应用层
数据分析及商业智能应用
报表统计 数据挖掘
联机分析 平衡计分卡
企业
内容
...
管理
...
...
安
全 架
...
数据层
... ...
构
各类业务数据
数据集市
财务(资金) 营销 协同办公 项目管理
ODS
数据仓库
数据集市
资源 数据
元数据
安全生产管理 人力资源 物资
综合管理
数据集市
基础架构
主机
运维架构
服务管理
基础架构层
存贮
网络
机房
系统管理
运维支持层
系统监控
用户和桌面管理
机房管理
• 数据中心的功能单元
数据仓库与数据中心概述
营销系统
财务系统
业务系统
生产系统
OLTP : On-Line Transaction Processing 特点 1、通常仅仅是对一个或一组记录的查询或修改
2、执行频率高 3、关心处理的响应时间、数据安全性和完整性等指标
OLTP与OLAP
• 分析型处理 也叫做信息型处理,主要用于企业管理人员的决策分析,为制订 企业的未来经营管理计划提供辅助决策信息。也叫做联机分析处 理(OLAP)。
企业数据仓库
获得基础指标等元数据信息
指标 如:供电量
属性:地区 时间 资产属性
规则 如:供电量(统计口径)
=上网电量+输入电量-输出电量
报表 如:供电量明细表
供售损综合情况表
ETL抽取
对数据仓库中的数据进行深度加 工,形成报表、指标、主题等所 涉及的事实表、维度表,以更贴 近特定的应用需求(口径),并
数据仓库与数据中心 内部知识培训
数据仓库与数据中心概述 OLTP 与 OLAP 多维数据分析模型 数据整合 应用介绍
• 数据仓库的起因
数据仓库与数据中心概述
数据仓库方式
20世 纪90 年代之 后
以支持经营管理过程中 的决策制定为目的(DSS,
OLAP, DM)
数据库方式
20世纪 90年代 之前
数据与应用分离,以实现数据高 度共享、支持日常业务处理过程
为目的(OLTP)
• 什么是数据仓库
数据仓库与数据中心概述
数据仓库就是一个面向主题的、集成的、不 可更新的、随时间不断变化的数据集合,用 于支持经营管理过程中的决策制定。
—— W.H.Inmon
• 数据仓库的四个特征
数据仓库与数据中心概述
数据仓库就是一个面向主题的、集成的、不 可更新的、随时间不断变化的数据集合,用 于支持经营管理过程中的决策制定。
统一 消除不同数据源之间的数据不一致的现象
综合 对原有数据进行综合和计算
• 特征三 不可更新
数据仓库与数据中心概述
数据仓库中的数据是经过抽取而形成的分析型数据,不具有原始性, 主要供企业决策分析之用,执行的主要是‘查询’操作,一般情况 下不执行‘更新’操作。同时,一个稳定的数据环境也有利于数据 分析操作和决策的制订。
—— W.H.Inmon
数据仓库与数据中心概述
• 特征一 面向主题
主题是用户使用数据仓库进行决策时所关心的重点方面,每一个主题基 本对应一个宏观的分析领域。
如:> CRM >>优质客户的挖掘 >>潜在大客户的发现
>>……
> ERP >>合同管理 >>物资库存的管理
>>……
面向主题是指数据仓库内的信息是按主题进行组织的,为按主题进行决 策的过程提供信息。
获得更高的效率
数据集市
获得基础指标、指标、报表等元 数据信息
元 数 据 资 源 库
报表
前端应用展现
统计
查询
分析
获得展现形式定义 等元数据信息
数据仓库与数据中心概述 OLTP 与 OLAP 多维数据分析模型 数据整合 应用介绍
OLTP与OLAP
• 操作型处理 也叫事务处理,是指对数据库的日常联机访问操作,通常是对一 个或一组记录的查询和修改,主要是为企业特定的应用服务的。 也叫联机事务处理(OLTP)。