当前位置:文档之家› 数据仓库技术

数据仓库技术

数据仓库(data warehouse)可以由不同层次的多个数据仓库 组成
主题(detail)表系统放置的是从各个数据源取出、经过清理、 整合的原始数据。
6.6 SAS数据仓库的结构与功能
在6.汇6.1总S表A组S(数sum据m仓ar库y g的ro体up系)中结定构义进行数据汇总处理时的
层次维数和所分析的变量。 信息市场(information marts)是信息市场的分组,在一项主 题中可以有若干组信息市场。
第一级,数据将从局部数据库中,经过数据翻译、转换并具体 化成符合公共模型格式的中间视图,这些具体化模型是临时性 的,在生成上层模式后不必保留;
第二级,经过消除语义冲突、数据集成和数据导出处理,将 有关的实体化中间视图集成为满足专门应用的集成视图。
6.4 数据仓库管理系统中的关键技术
6.14..翻3 系译统器主要模块 2.监控器 3.集成器
6.2 数据仓库的结构框架
6.2.6 数据仓库的存取和使用模块
由两部分组成: 一是存取与检索; 二是分析与报表。 该块为整个数据仓库的实 现提供决策性的和有价值 的东西
6.2 数据仓库的结构框架
6从.2数.7据数仓据库管的理观点层来模看块,主要完成的功能:
(1) 从所选的数据源中抽取 并挑选数据,为进一步求精 和重构工程以及存储到数据 仓库中做准备。 (2) 从新的或当前的数据源 中按需求追踪和充实新数据 。 (3) 捕获运作数据源中数据 的变化,然后刷新或更新数 据仓库。
6.1 数据仓库概述
•所6.谓1.数6 据数仓据库仓引库擎引,擎就是的数选据择库管理系统。从前面的分析可
以看到,作为数据仓库引擎的数据库管理系统,其性能的优 劣对整个数据仓库解决方案的成功实施起着举足轻重的作用 。 •衡量其数据库性能的主要指标是TPC-D; 主要有3方面的数据需要考虑。
(1) QppD。
(2) 建立技术环境。 (3) 设计主题进行数据建模。 (4) 设计数据仓库中的数据库。 (5) 数据转换程序。 (6) 管理元数据。 (7) 开发用户决策的数据分析工具。 (8) 管理数据仓库环境。
6.4 数据仓库管理系统中的关 键技术
6.4.D1SS引言
OLAP
多库系统
数据仓库技术
数据开采
所谓数据仓库就是一个专门的数据仓储(repository),用 来保存从多个数据库或其他信息源选取的已有数据,并为上 层应用提供统一的用户接口,用以完成数据查询和分析。
数据集市是部门级的,一般只能为某个局部范围内的管理人员 服务。有些供应商也称为“部门级数据仓库”(departmental data warehouse)。
6.1 数据仓库概述
数两•据种6集;.1市.5分数类据: 仓库与数据集市
独立的数据集市(independent data mart) 从属的数据集市(dependent data mart)。
因此,系统的可扩展能力是必须考虑的重要因素之一
6.1 数据仓库概述
OL6T.1P系.3统O也LT称P为与生O产L系AP统的,它特是点事件驱动、面向应用的。
OLTP的基本特点如下: (1)对响应时间要求非常高;用户数量非常庞大,主要是操作人员; (2)数据库的各种操作基于索引进行。
联机分析处理(online analytical processing,OLAP)是基于数据 仓库的信息分析处理过程,是数据仓库的用户接口部分。OLAP 系统是跨部门、面向主题的。 基本特点是: 基础数据来源于生产系统中的操作数据( operation data);响应时间合理;用户数量相对较少,其用户主要 是业务决策与管理人员;数据库的各种操作不能完全基于索引进 行。
信息市场项目(information mart items)是信息市场中一项具体 的信息,它是对数据仓库中的数据处理后产生的结果。
数据市场组(data mart group)是对市场项目的分组,在一 个数据库中可以有多组数据市场,这也是按内容不同进行数据 分组的。 运行数据定义组(operational data definition group)是对要 从数据源取出的数据进行定义的分组。
6.6.1 SAS数据仓库的体系结构
SAS数据仓库有一个十分 完善的体系结构,不仅为 建立决策支持系统提供了 完整的解决方案,而且为 今后的发展留下了广阔的 天地。
6.6 SAS数据仓库的结构与功能
数6据.6仓.2库S是A适S数应决据策仓支库持的系功统能的需要而产生的,所以人们希望
所采用的软件产品能支持决策过程的全部工作内容,SAS的数 据仓库技术就可以支持决策全过程。
(2)重构工程部分负责 检验数据是否满足商 业用户分析的需求;
(3)数据仓库成分负责数 据建模等;
6.2 数据仓库的结构框架
6.2.5 数据站场结构块
数据站场中的求精与重构工 程构件主要完成以下工作: (1)过滤与匹配从数据仓库 中抽取的数据;将数据仓库 集成到新的或重新定义的主 题域; (2)创建新的概括或聚集; (3)将数据仓库中初步概括 的数据求精为高度概括的数 据; (4)对所有时间和来源戳的 数据预测和导出新的数据。
• 也把数据仓库系统称为“决策支持系统”。
6.1 数据仓库概述
数6据.1仓.2库数系据统仓的查库询查通询常系都统非的常复特杂点,主要有两种查询方式:
1. 一种以报表为主,从数据库中产生各种形式的业务报表 ,这种查询是预先规划好的(predefined query);
2. 另一种则是随机的、动态的查询(ad hoc query), 对查询的结果也是不能预料的。
数据翻译工作包括数据结构的 翻译和数据类型的翻译
通过检测数据源发生的变化, 监视数据仓库与数据源之间的 数据误差,或者说数据增量, 并报告给上层的集成器。
(1)负责进行数据仓库初始化和 目录管理
(2)接收监控器的变化,并将数 据源的新变化反映到数据仓库
6.4 数据仓库管理系统中的关 键技术
6优.4化.3处关理:键为技了术提高数据仓库的效率,需要采用一些专门的优
化措施,以节省存储空间、加快响应速度、减少维护费用等。 可采用的技术主要有以下3种:
(1) 过滤源场地上无关的修改操作。
(2) 可自维护性。 (3) 多视图的优化。
其他问题
(1) 数据仓库的维护管理。 (2) 数据源的演变。 (3) 老化数据。
6.5 可视数据仓库
6可.5视.1数引据仓言库是数据仓库解决方案的重要组成部分
(2) QthD。
(3) QppD。
6.2.1 框架的概念和重6要.2性数据仓库的结构框架
所谓框架就是利用简化类比 的集合,把复杂事物分为若 干细小的易于理解的构件的 方法。
2. 能够把数据仓库方案的各组 成部分进行分离的框架称通用 框架,有的也称参照结构 ,如 图
6.2.1 框架的重要性 6.2 数据仓库的结构框架
(1) 从任何业务处理系统或数据源中取出决策所需数据。 (2) 对源数据进行清理和整合。 (3) 按计划或规则进行数据仓库的装载和更新。 (4) 按决策的需要,以多种形式进行数据和信息的组织。 (5) 最丰富的决策数据处理能力。 (6) 灵活多样的数据展现方式。
6.5 可视数据仓库
6IB.M5.的5 VIBisuMa可l W视ar数eho据us仓e提库供解了决强方有案力的工具,以定义、建立
、管理、监控和维护一个商用信息系统环境——数据仓库。但 是,IBM并不满足于此,为了更好地满足用户的要求,IBM设 计了一个完整的解决方案。
1. 信息分类表 Data Guide将数据仓库中的所有信息分类展示给商业用户。
6.2 数据仓库的结构框架
6.2.3 数据源块
1. 产品数据 2. 遗留数据 3. 内部办公系统 4. 外部系统 5. 数据源元数据
6.2 数据仓库的结构框架
(射61.)为2“.求标4 精准数”数据据:仓名元库称数结和据构定被义块映
,为被抽取数据的时间戳 及其来源以及已增加的新 域再创建和捕获一些元数 据;
2. 查询和报表工具 (1) 分阶段机制。 (2) 容错机制。 (3) 异步机制。
6.6 SAS数据仓库的结构与功能
数6.据6.1仓S库A是S一数个据适仓用库于的对企体业系级结数构据、信息的多维、快速查
询、进行OLAP操作和决策支持的数据、信息的采集、管理、 处理和展现的架构体系。
环境(environment)是属于数据仓库的体系结构的一部分,它 由两大部分组成: 一部分是分别含有不同主题内容的若干个 数据仓库;另一部分是对数据源的定义。这构成了从数据采 集到直接应用的完整的支持体系。
6.4 数据仓库管理系统中的关
键技术
数6.据4.2仓系库系统统结的构基础仍是一个数据库管理系统,通过利用一
个专门的数据库管理系统,对数据仓库中数据进行存储和维 护。数据仓库可以是集中的,也可以是分布的,不同之处在 于采用集中式DBMS还是分布式DBMS。
6.4 数据仓库管理系统中的关
键技术
数6.据4.2仓系库系统统结多构级视图机制。 具体过程分为两级映射:
6.2 数据仓库的结构框架
该6模.2块.8使运用输了层刷新模与块复制
技术、数据传输、传送网 络,以及中间件等构件, 它也为传输请求提供了安 全保障。
运输层在硬件/软件平台之间建 起了必要的信息通道,这些通 道在参照结构中被不同的模块 分割成一个个平台。
6.2 数据仓库的结构框架
由6系.2统.9管基理础,结工作构流层程模管块理,存储系统和处理系统组成。
主要由以下几部分组成:
数据访问
数据分布
数据转换
数据存储
靠描述性数据查找和理解数据
显示
分析和发掘数据
数据转换过程的自动化及其管理
6.5 可视数据仓库
6.5.2可视数据仓库的功能
相关主题