统计数据集中管理系统技术实现方案
发表时间：2010-11-25 来源：万方数据
关键字：统计数据集中管理系统实施方案
信息化调查找茬投稿收藏评论好文推荐打印社区分享
随着综合业务系统、大小额支付系统、CM2006等生产系统相继上线运行，农发行基本实现了生产系统(会计业务和信贷业务)的数据大集中。

如何利用大集中数据为业务部门提供实时的客户、财务、信贷等信息；通过对数据进行深层次的挖掘和分析，建设农发行信息管理系统(MIS)、决策支持系统(DSS)、数据仓库、商业智能系统，为领导、管理层提供准确的经营和决策信息，成为下阶段农发行信息化建设的方向。

统计数据集中管理系统是为满足农发行统计业务发展和人民银行要求而开发的。

同时它也是建设农发行MIS系统的一个重要组成部分。

一、系统的体系结构
在系统设计时，深入分析统计业务特点和其他信息管理系统发展的需要，充分考虑农发行已有的资源，利用业界成熟的先进技术构建统计数据集中管理系统。

在硬件上采用在总行和省行两级服务器部署模式：在软件上采用基于J2EE的三层B／S结构。

通过采用成熟的软件产品(如DataStage ETL数据抽取工具，报表工具，TonguNK数据传输工具)，加快系统的开发进度。

并提高了系统的稳健性。

(一)系统的硬件环境
总行利用已有的2台HP SuperDome数据库应用服务器，2台HP 8410 Web应用服务器。

由于统计业务需要产生大量的统计分析报表，计算复杂性高，统计报表出表时间又相对集中．各地区对分析报表的个性化要求差异性较大。

如果将统计业务完全集中在总行服务器上处理，对主机的性能要求就特别高，当大量并发用户登录到服务器时．系统响应缓慢，甚至造成主机瘫痪，为此系统设计时．在充分考虑满足业务需求和农发行信息化建设未来发展的基础上．提出了建设省分行信息处理平台的方案，在省分行配置两台高性能的HP u—nix服务器，一台作数据库服务器，一台作Web应用服务器。

数据抽取、统计指标加工、数据的人工补录、审核、上报和汇总在总行的服务器上完成；指标的查询、分析报表的生成在省行的服务器上完成。

系统的网络拓扑结构见图1。

图1 统计敦据集中管理系统网络拓扑结构
(二)系统软件解决方案
总行的数据库采用已运行的Oracle9i，省行使用0racle lOg；采用Weblogic8．1作为Web应用服务器中间件；Datastage作为数据抽取(ETL)工具；T0ngLINK，Q消息中间件作为总行和省行服务器之间的传输中间件；用报表制作软件作为报表模板的制作、展现和打印工具。

二、系统的数据处理流程
统计数据集中管理系统的数据处理流程为：1．生成会计镜像库。

在每个报表期由综合业务系统日终处理结束后，生成会计数据镜像库。

2．ETL数据抽取。

通过Datastage ETL数据抽取工具将会计数据加工成初始统计指标。

3．生成最终的统计指标。

初始统计指标，经过复核、补录后生成最终的统计指标数据。

4．数据下传。

在每日晚间自动启动数据下传程序。

将更新的数据下传并装载到各省行的指标数据库中。

5．报表制作和展现。

用报表设计器制作报表模板，在查询时，通过模板+数据即时生成报表。

6．生成人行指标数据和I、J、D文件。

按照人行表单报送的要求，依据农发行与人行指标对照和机构对照关系生成报送人行的I、J、D文件。

系统的业务处理流程见图2。

三、系统中的关键技术
(一)数据仓库的进一步完善。

对于MIS信息管理系统(如统计数据集中管理系统)开发。

应充分依托农发行已初步建立起的数据仓库，以各生产系统(综合业务系统、CM2006系统、国际业务系统等)的数据源为基础，规划和建设数据仓库，然后再建以各MIS系统为主题的数据集市。

数据仓库系统设计的优劣直接影响系统的可用性和灵活性。

一个好的系统只有在数据源增删、数据结构发生改变或业务逻辑发生变更时，才需新增或更改程序，系统对生产系统或MIS系统的变化应有一定的适应能力。

统计系统的开发应用，进一步完善了农发行的数据仓库系统。

(二)数据抽取过程的分步骤实现。

将数据抽取过程分为一级ETL和二级ETL。

一级ETL 利用DataStage数据抽取工具，将综合业务系统的数据抽取到数据仓库的事实表和维表中。

由于会计镜像库中数据量庞大，只有部分数据是统计业务需要的，只将有用数据导人到临时表中．既提高抽取效率，又便于错误的恢复处理。

数据转移到临时表后．先抽取维表(如科目维、机构维等)，再根据维表信息抽取会计数据到事实表中。

当会计科目调整时，科目信息首先抽取到维表中，其对应的会计数据不需修改
为保证农发行统计数据集中管理系统正常运行，满足统计业务管理的需求。

满足人民银行数据集中报送的要求，系统运行过程中需要不断进行系统参数设置维护，包括指标体系的建立、数据抽取公式的设置、人民银行报送体系的建立、机构对照关系的维护以及其他各项基础系统数据的维护等。

系统上线前已进行了初始化维护，当会计科目、统计指标或统计口径发生变更时，需实时进行系统数据维护，以保证数据分析的正确性。