XXXX企业数据仓库概要设计说明书（文档编码：OM-BIDW-C001）（版本01.00.000）未经许可，不得以任何形式抄袭XXXX企业版权所有，翻板必究XXXX企业数据组2009年3月文档变更历史目录1前言 (3)2术语 (3)3系统环境及功能 (4)4系统数据流 (6)5系统内部功能框架 (7)5.1 数据源层(Data Source) (8)5.1.1 描述 (8)5.1.2 目标 (8)5.2 数据装载层(ETL) (8)5.2.1 描述 (8)5.2.2 目标 (8)5.3 假定与约束 (9)5.4 数据仓库层（ODS、EDS、DM） (9)5.4.1 描述 (9)5.4.2 目标 (9)5.4.3 假定与约束 (10)5.4.4 系统模块(System Build Blocks) (11)5.5 前端展现层（Client Access） (12)5.5.1 描述 (12)5.5.2 目标 (12)5.5.3 假定与约束 (12)5.5.4 需要的技能 (12)5.5.5 待确定问题 (13)5.6 元数据管理（MetaData Management） (13)5.6.1 描述 (13)5.6.2 目标 (13)5.6.3 假定与约束 (14)5.6.4 需要的技能 (14)5.7 调度监控系统（Dispatch Supervisor System） (14)5.7.1 描述 (14)5.7.2 目标 (14)5.7.3 假定与约束 (15)5.7.4 (15)1前言本文档根据上次短彩部和互联网部的会议内容，从整个系统的高度形成公司基于短彩及技术部的数据仓库总体概念框架，对整个系统架构设计所需的功能模块进行明确划分，明确各功能模块的职责范围。
2术语✧OM（OPEN MOBILE）：XXXX企业科技有限公司✧DW（Data Warehouse）：数据仓库，数据仓库是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合✧ETL（Extraction-Transformation-Loading）：数据抽取、转换和加载✧ODS（Operational Data Store）：运营数据存储✧EDS（Enterprise Data Store）：企业数据存储✧DM（Data Market）：数据集市✧DSS（Dispatch Supervisor System）：调度监控系统✧MetaData Management：元数据管理3系统环境及功能系统环境及功能如下图所示：✧WAP系统：考虑二期接入✧应用下载系统：考虑二期接入✧其他外围系统：暂时没有，作为后期扩展而设计OM数据仓库的主要用户角色有：✧高层管理人员；该类用户主要是公司相关领导，通过OM数据仓库作出相应的决策,该类用户往往浏览OM数据仓库的企业KPI指标及相关报表。
✧业务/经理人员；该类用户主要是各部门领导如产品部、商务部、财务部等相关部门领导等，主要使用OM数据仓库查看部门KPI指标，浏览相关报表，进行多维分析等工作；✧业务分析员；这类用户主要是资深的分析人员，通过OM数据仓库浏览报表并进行多维分析等工作✧系统管理人员；该类用户对OM数据仓库进行系统的监控及维护等工作，并为其他用户提供支持；OM数据仓库应提供给用户如下的功能：✧多维分析：多维数据分析是针对特定的分析主题进行多维数据模型的建模，使管理决策人员在多维数据模型的基础上进行快速、稳定和交互性的访问，通过切片、切块、旋转等操作进行各种复杂的分析和预测工作。
✧专题分析：专题分析模块利用各类主流的数理统计方法，通过不同分析工具（或模型）为专业分析人员(Super User)提供灵活、专业分析的工具，解决一些跨越主题的统计分析需求。
本部分列举了一些较为复杂的分析模型，例如：客户流失预警分析、客户消费行为分析、客户发展分析、高额/欺诈分析、大客户异动分析、客户消费模型分析、业务推出对其它业务的影响分析的测算分析等等。
✧指标展示与告警：系统对用户非常关心的关键指标进行多种方式的展示，如展现企业每天经营的整体运营情况，主要包括一些实时性的业务关键指标如每天更新的客户数、活动客户数、总上行量、总下行量、下行成功量、收入、每天新增客户数、流失客户数等指标；对于相关指标可设置告警值，若指标值超出告警上下限则进行告警；✧系统管理功能：为保证OM数据仓库能够稳定和安全的运行，系统应提供充分的系统管理功能，以对整个数据仓库系统的运行进行管理、协调及监控、系统备份和数据备份等等。
4系统数据流按照数据仓库的设计思路及功能，系统的数据流框架如下图所示：数据流框架5系统内部功能框架系统的内部功能模块如下：系统功能模块图从上图可以看到系统包括数据源层（Data Source）、数据装载层(ETL)、数据仓库层(Stage\ODS\EDS\DM)、前端展示层(Client Access)、系统管理层(System Management)、元数据管理层(MetaData Management)及调度监控层（Dispatch Supervisor System）等。
5.1 数据源层(Data Source)5.1.1描述OM数据仓库的数据来自于MS SQL外部数据源，数据平台相对单一。
5.1.2目标由于用户常常需要访问以不同形式存放且处于不同平台上的业务数据及其他外部数据，因此需把这些外部数据经过数据抽取和转换等操作以标准一致且易于理解的方式存储在STAGE中5.2 数据装载层(ETL)5.2.1描述数据在进入数据仓库前，先存储在STAGE存储区，这部分数据是直接将数据源层的数据加载得到的，不做任何的逻辑处理。
数据装载层对业务数据及其他外部源数据经过数据抽取、清洗、转换等操作形成标准一致、清洗后的数据，并存放在数据仓库系统中STAGE数据库中。
5.2.2目标数据装载层定义了数据从数据源系统存储到数据仓库中所进行的数据转换及数据清洗规则。
它负责从源数据系统抽取数据并经各种转换操作后加载数据进入数据仓库系统中。
从数据源系统进行数据抽取、数据转换和数据加载时应该要迅速并尽量减小对数据源系统、网络和数据仓库环境的影响。
5.3 假定与约束✧公司业务系统环境相对简单；✧基于ETL方法公司的数据转换规则相对简单；✧临时空间对于数据获取层来说可以单独开发。
为了简化和优化ETL处理过程，临时空间中存储的数据可以是持续存储的；数据处理过程中的统计信息可以存放在临时空间中，但临时空间的数据对于前端用户来说应该是不可见的，临时空间的数据既可以是关系型的也可以以文件的形式存在。
✧目前的假设是数据获取层和数据处理层的临时空间可以共享，它们在物理上并不分开；5.4 数据仓库层（ODS、EDS、DM）5.4.1描述数据仓库层是整个数据仓库系统的核心，进入数据仓库的所有数据都是在STAGE存储区经过一定的业务逻辑进行处理过的数据。
ODS-EDS-DM的设计模式,体现了数据仓库设计的两个基本点：粒度和维度。
从ODS-EDS-DM，数据的粒度依次递增，也就是ODS存储的是接近于原始数据源的明细数据，到DM模式，数据已经是经过深度汇总的；另一方面，ODS存储的是运营数据，基本上体现不了主题，而当数据经过深度汇总到DM模式，每个模式基本上就是一个主题，而主题的两个基本内容就是维度和计算值，因此在DM是根据一定维度进行深度汇总得到的面向主题的数据，也是直接面向业务部门不同用户的数据。
5.4.2目标将数据粒度化，通过具体的业务模型进行规范，使得数据在模型上规范化。
✧数据预处理：充分利用数据仓库中数据静态化的特点，将数据预处理，生成不同粒度的处理数据；✧数据复用：数据仓库最核心的元素是数据，数据的复用度是数据仓库设计优劣的一个标准。
数据的复用可以减少重复调度带来的系统负荷及数据不一致性问题；✧数据结构优化：通过适度的粒度和维度设计，可以达到结构优化的目的。
即将不同主题和粒度的数据存放在不同的物理表中。
5.4.3假定与约束✧临时空间对于数据提升层来说可以单独开发。
为了简化和优化ETL处理过程临时空间中存储的数据可以是持续存储的；数据处理过程中的统计信息可以存放在临时空间中，但临时空间的数据对于前端用户来说应该是不可见的，临时空间的数据既可以是关系型的也可以以文件的形式存在。
✧目前的假设是数据获取层和数据传送层的临时空间在物理上不分开并且可共享；5.4.4系统模块(System Build Blocks)数据仓库层可以进一步分解如下：STAGE模式，该模式的数据是直接从外部数据源中（文本文件）导入，不做任何的处理。
次，即数据按照粗细分成4种粒度，STAGE模式的粒度最大，对应的数据的细节也是最细的；而粒度最小的DM模式的数据的细节是最粗的。
而从最大粒度的STAGE到最小粒度的DM模式，都需要业务驱动，既数据每个粒度的处理都是根据业务来进行5.5 前端展现层（Client Access）5.5.1描述用户与数据仓库的所有的交互需要在在前端展现层实现。
在前端展现层需要实现应用信息的读取，一是元数据管理。
应用信息读取模块提供工具让用户可以快速方便的得到他们想需要的信息。
这个模块可以让用户通过读取数据仓库中不同层的数据存储来查阅报表进行分析，如同自己拥有一个信息系统。
5.5.2目标该层的主要目标是让用户从纷繁的存储数据中得到所需要有用的业务信息。
还为了提供工具给用户，以便用户可以自由灵活的选择自己的需要。
这些工具以及在Data Mart中准备好的数据可以有效的帮助用户作决策。
5.5.3假定与约束前端工具获取数据的途径会选择最优。
虽然这样可能会增加整合的工作，但要是工具能最大程度上适应商务上的应用，这个是值得的。
有大量需要查看静态报表和做简单查询的用户，有小部分需要动用大规模资源做分析。
5.5.4需要的技能商务方面的认识，信息分析方面的知识，关于前端工具代码的编程，数据仓库的管理，数据仓库的结构以及Internet的安全知识。
5.5.5待确定问题WEB页面的展示方式5.6 元数据管理（MetaData Management）5.6.1描述元数据是描述数据仓库中数据的数据，元数据描述数据仓库环境中中的数据，例如数据源接口的格式、数据仓库中的表结构、ETL的各种转换任务、装载任务等，都是元数据。
元数据管理就是需要将所有元数据集中统一管理，形成元数据库。
在OM数据仓库环境中有三类元数据：✧系统构建元数据。
该部分元数据是在构建数据仓库应用（例如数据转换）和进行数据库设计、构建时产生的元数据，该部分元数据占了数据仓库环境元数据的绝大部分。