当前位置:文档之家› 数据仓库与数据中心知识培训

数据仓库与数据中心知识培训


获取更新频度等元数据信息
规则 如:县上网电量
操作数据区(ODS)
提取基础数据项的元数据信息
=∑110KV及以下电厂上网电量
市上网电量
=∑110KV及以下电厂上网电量
省上网电量(不含500KV网损) =∑220KV及以下电厂上网电量
根据数据加工规则产生
的基础的事实表、维度
表,数据的粒度由维度
的层次决定
• 数据中心的定位
数据仓库与数据中心概述
数据中心是企业一体化信息平台的基础,它可以为应用系统的整 合与数据共享提供有效的解决方案,保障企业数据的一致性、及 时性、完整性、安全性、有效性和准确性,提高企业信息系统的 统一性,消除企业普遍存在的信息孤岛,解决信息系统沟通不畅 的问题。
数据仓库与数和更新新的数据
通过删除丢弃一些过时的数据
数据仓库与数据中心概述
• 特征四 随时间不断变化
数据仓库中的信息并不只是关于企业当时或某一时点的信息,而是 系统记录了企业从过去某一时点到目前的各个阶段的信息,通过这 些信息可以对企业的发展历程和未来趋势作出定量分析和预测。
获取相关报表、指标等元数据信息
提取数据访问地址、数据字典等 元数据信息
基础数据项 如:计量点计量数据
属性:计量点名称 计量点位置 正向有功 反向有功 周期(月)
基础指标 如:上网电量
属性:地区 时间 资产属性
数据抽取规则 临时数据区
存放明细业务数据项 只做适度的编码转换
业务特性决定更新频率 业务特性决定数据归档
时间属性 数据仓库中的数据通常都带有时间属性 数据统一更新以时间段为单位
• 什么是数据中心
数据仓库与数据中心概述
数据中心是公司一体化信息平台的重要 组成部分。
广义 企业业务应用与数据资源进行集中、集成、共享、分析的场所、 工具、流程等的有机组合
狭义 应用层面的数据中心,具体包括数据仓库和建立在数据仓库之上 的决策分析应用、数据ETL、ODS数据库、数据仓库、商务智能应用和 元数据管理等
传统数据库中的数据是原始、基础数据,而特定分析领域数据则是需要对它们作必要的 抽取、加工与总结而形成
数据仓库中的主题有时会因用户主观要求的变化而变化
数据仓库与数据中心概述
• 特征二 集成
数据仓库中的数据是为分析服务的,而分析需要多种广泛的不同数据 源以便进行比较、鉴别,因此数据仓库中的数据必须从多个数据源中 获取,这些数据源包括多种类型数据库、文件系统以及Internet网上 数据等,它们通过数据集成而形成数据仓库中的数据。
• 数据中心的逻辑架构(广义)
数据仓库执行架构
应用架构 数据架构
财务(资金)管理 安全生产管理
业务系统 营销管理
人力资源管理
项目管理
综合管理
协同办公 物资管理
应用层
数据分析及商业智能应用
报表统计 数据挖掘
联机分析 平衡计分卡
企业
内容
...
管理
...
...

全 架
...
数据层
... ...

各类业务数据
数据集市
财务(资金) 营销 协同办公 项目管理
ODS
数据仓库
数据集市
资源 数据
元数据
安全生产管理 人力资源 物资
综合管理
数据集市
基础架构
主机
运维架构
服务管理
基础架构层
存贮
网络
机房
系统管理
运维支持层
系统监控
用户和桌面管理
机房管理
• 数据中心的功能单元
数据仓库与数据中心概述
营销系统
财务系统
业务系统
生产系统
OLTP : On-Line Transaction Processing 特点 1、通常仅仅是对一个或一组记录的查询或修改
2、执行频率高 3、关心处理的响应时间、数据安全性和完整性等指标
OLTP与OLAP
• 分析型处理 也叫做信息型处理,主要用于企业管理人员的决策分析,为制订 企业的未来经营管理计划提供辅助决策信息。也叫做联机分析处 理(OLAP)。
企业数据仓库
获得基础指标等元数据信息
指标 如:供电量
属性:地区 时间 资产属性
规则 如:供电量(统计口径)
=上网电量+输入电量-输出电量
报表 如:供电量明细表
供售损综合情况表
ETL抽取
对数据仓库中的数据进行深度加 工,形成报表、指标、主题等所 涉及的事实表、维度表,以更贴 近特定的应用需求(口径),并
数据仓库与数据中心 内部知识培训
数据仓库与数据中心概述 OLTP 与 OLAP 多维数据分析模型 数据整合 应用介绍
• 数据仓库的起因
数据仓库与数据中心概述
数据仓库方式
20世 纪90 年代之 后
以支持经营管理过程中 的决策制定为目的(DSS,
OLAP, DM)
数据库方式
20世纪 90年代 之前
数据与应用分离,以实现数据高 度共享、支持日常业务处理过程
为目的(OLTP)
• 什么是数据仓库
数据仓库与数据中心概述
数据仓库就是一个面向主题的、集成的、不 可更新的、随时间不断变化的数据集合,用 于支持经营管理过程中的决策制定。
—— W.H.Inmon
• 数据仓库的四个特征
数据仓库与数据中心概述
数据仓库就是一个面向主题的、集成的、不 可更新的、随时间不断变化的数据集合,用 于支持经营管理过程中的决策制定。
统一 消除不同数据源之间的数据不一致的现象
综合 对原有数据进行综合和计算
• 特征三 不可更新
数据仓库与数据中心概述
数据仓库中的数据是经过抽取而形成的分析型数据,不具有原始性, 主要供企业决策分析之用,执行的主要是‘查询’操作,一般情况 下不执行‘更新’操作。同时,一个稳定的数据环境也有利于数据 分析操作和决策的制订。
—— W.H.Inmon
数据仓库与数据中心概述
• 特征一 面向主题
主题是用户使用数据仓库进行决策时所关心的重点方面,每一个主题基 本对应一个宏观的分析领域。
如:> CRM >>优质客户的挖掘 >>潜在大客户的发现
>>……
> ERP >>合同管理 >>物资库存的管理
>>……
面向主题是指数据仓库内的信息是按主题进行组织的,为按主题进行决 策的过程提供信息。
获得更高的效率
数据集市
获得基础指标、指标、报表等元 数据信息
元 数 据 资 源 库
报表
前端应用展现
统计
查询
分析
获得展现形式定义 等元数据信息
数据仓库与数据中心概述 OLTP 与 OLAP 多维数据分析模型 数据整合 应用介绍
OLTP与OLAP
• 操作型处理 也叫事务处理,是指对数据库的日常联机访问操作,通常是对一 个或一组记录的查询和修改,主要是为企业特定的应用服务的。 也叫联机事务处理(OLTP)。
相关主题