中国外汇交易中心数据仓库一期项目建议第二册技术部分安讯软件（上海）有限公司2008年5月4日目录1项目目标................................................. 2技术解决方案.............................................系统总体架构.......................................逻辑架构........................................功能层面（上侧面）...........................非功能层面（右侧面）.........................设计层面........................................ETL数据抽取..................................报表设计.....................................报表展现.....................................报表应用.....................................物理架构........................................数据架构........................................系统技术实现方案...................................总体技术实现方案................................高效的ETL处理..................................ETL总体处理流程..............................数据仓库模型设计.............................数据质量管理....................................数据仓库对数据质量的要求.....................数据质量改进目标.............................数据质量改进方法.............................报表平台设计....................................灵活的报表查询...............................先进的报表开发模式...........................高效的报表消费...............................老系统统计报表移植...........................认证管理........................................系统可靠性及可扩展性............................非功能性设计....................................性能需求.....................................灾备设计......................................可获性设计...................................易用性设计....................................安全性设计.................................... 3项目管理.................................................沟通管理...........................................项目会议制度....................................定期会议.....................................不定期会议...................................项目状态周报制度................................沟通手段........................................配置管理...........................................配置管理原则....................................配置库管理......................................变更管理...........................................发起变更........................................评估变更........................................审批变更........................................执行变更........................................变更执行评估....................................质量管理...........................................质量规划........................................质量保证........................................质量检查........................................ 4工期进度................................................. 5附录.....................................................第二册技术部分1项目目标CFETS希望通过数据仓库系统的建设，可以有效地整合各市场业务数据，统一对信息进行利用和管理，对外提供统一的数据视图和综合决策分析支撑环境，为CFETS各部门所需的报表应用、统计分析及信息挖掘提供基础支持平台。
具体建设目标如下：（1）技术目标建立数据仓库基础架构建立自动数据抽取／转换／加载（ETL）机制建立多维分析和数据查询工具和界面已经分析报表生成和展示框架（2）业务目标实现一期经营分析的多维分析、查询和报表，提供CFETS各部门所需报表提供下游系统所需要的统计数据提供中心内部用户以Ad-Hoc方式查询所需数据将业务系统的历史和增量数据加载进入数据仓库，并转换为数据仓库的存储格式实现用户访问的门户界面并建立相应的访问安全和权限机制进行老系统统计报表的移植工作，保证数据仓库系统中的报表统计结果与原报表统计结果的一致性基于上述需求，安讯软件（上海）有限公司提出如下技术解决方案来实现本项目的技术目标和业务目标。
2技术解决方案2.1系统总体架构2.1.1逻辑架构总体逻辑架构如下：2.1.1.1功能层面（上侧面）根据CFETS对应的功能需求，对应的功能层面上需要建立如下功能：数据的ETL数据存储固定统计报表统一用户界面及Portal认证管理2.1.1.2非功能层面（右侧面）易用性响应性可靠性扩展性安全性2.1.2设计层面2.1.2.1E TL数据抽取通过成熟的ETL工具，实现从不同的数据源中抽取出所需要的信息，同时通过数据的加工和格式化，对外提供给其他系统使用。
2.1.2.2报表设计当形成好统一的数据仓库后，基于该仓库模型，可进行对应的报表设计和管理，技术人员设计好基本的报表后，可提供给业务人员使用。
2.1.2.3报表展现技术人员设计好报表模板后，通过发布到对应的服务器据，实现对报表的展现。
2.1.2.4报表应用业务人员通过终端界面，可以使用由开发人员开发和设计的报表，同时，业务人员也能同报表进行交互，检索出自己需要的数据。
2.1.3物理架构对于本，外币不同的数据源，以及不同的物理子系统，基本的物理架构如下：物理架构说明：A.本外币数据库向仓库提供对应的数据B.仓库为对应的报表服务器提供统一的视图。
C.权限报表服务器部署到同一机器上。
2.1.4数据架构数据流说明：A.首先从本外币或者其他系统获得对应的数据.B.经过ETL对数据进行加工，清洗和标准化。
C.将已经标准化和模型化的数据进入到数据仓库，或者提供需要的数据文件。
D.数据仓库对外暴露数据模型和数据视图以及sql接口。
E.数据仓库为报表管理系统和下游系统提供所需要的数据F.报表管理系统展现对应数据的报表。
2.2系统技术实现方案2.2.1总体技术实现方案充分考虑到CFETS系统存在在本外币等多种数据源，且数据源分散，多分散子系统的情况，同时各个子系统中存在统计口径不一致，影响统一的决策和各个部门信息的一致性。
在使用的过程中，会员信息维护复杂，且各个系统各自维护一套对应的会员信息，导致会员维护工作量加大。
数据仓库一期需求大致可以分成数据库架构的建立、ETL机制的建立、以及报表分析架构的建立和报表实施。
系统可以分成数据仓库和报表系统两大部分。
以下是我们建议的系统架构概念图：系统包含一个双机组成的数据仓库，和一个双机组成的报表服务平台。
数据仓库和报表服务器分别带有自己的外存磁盘阵列。
架构中的每个功能节点设计都含冗余度，保证系统不存在单一失败点，满足提供7x24不间断服务的要求。
在系统架构不变的前提下，系统的每部分可以用不同的技术实现。
比如，数据库管理系统可以使用Oracle的技术，也可以使用IBM的技术。
报表技术建议使用Actuate 9。
使用我们建议的应用软件，这样的系统架构会有很强的可扩展性，用户可以通过增加硬件的方式扩容，以支持越来越多的用户和应用。
总体方案通过以下步骤实现数据到可用信息的转换：1.通过ETL手段对不同的数据源数据进行抽取，转换，清洗，数据格式化。
2.通过ETL转化后的数据统一进入数据仓库，形成统一的数据视图。
3.进入数据仓库的数据模型可以为报表平台提供对应的数据来源。
4.通过认证的用户可以登陆报表平台消费和设计对应的报表。
2.2.2高效的ETL处理2.2.2.1E TL总体处理流程ETL处理流程：1.从本币数据源或其他数据源中抽取需要的数据。
2.ETL对抽取到的数据进行必要的增量处理，生成一天的增量数据。
3.ETL对增量数据进行技术性检核、标准化、转换。
4.产生LDM落地数据文件。
5.落地数据文件下发到下游系统，同时进行数据入库。
6.整个ETL处理过程进行异常处理及监控。
ETL实施我们建议采用成熟的ETL工具，所选ETL工具需要满足如下基本要求：（1）技术架构1) 支持所有的主流平台2) 模块化的架构设计，可按需进行模块添加和扩展3) 具有错误恢复逻辑的功能4) 支持并行处理（2）核心功能1) 支持本地数据访问模式2) 支持星型模式3) 支持打包应用（例如SAP）4) 支持基本处理（例如SQL）5) 具有数据自动转换和清洗功能6) 支持实时ETL和按需ETL7) 具有自动错误预警功能（3）开发环境1) 图形化界面2) 支持命令行3) 便于调试和维护4) 具有代码版本控制功能（4） ETL管理1) 支持集中管理2) 自动产生每日ETL运行报表3) 具有ETL自动和手工调度功能我们相信商业ETL工具中INFORMATICA会是一个很好的选择，开源ETL产品Kettle则是INFORMATICA之外一个很好的备选。