3.对于均值的计算过程，需要首先计算截止当天为止的累计积数，然后再除以实际 天数；因此在计算月底快照表中，需要采用积数的计算公式对账户的积数进行统计 后再进行均值计算； 4.在每年1月1号需要对积数进行清零.
33
数据架构:关键点—数据清理策略
目标
为控制UDSF系统数据容量，保证数据使用效率，在数据存储一定周期后 需要对其进行备份再从UDSF系统中清理掉.
待确认:
未来我行用户使用哪个网段访 问应用系统?
哈尔滨银行数据应用物理架构
3
物理架构:服务器配置
物理服务器 逻辑服务器 硬件配置
软件配置 备注
应用服务器软硬件配置(推荐)
服务器1
服务器2
DB Server
ETL Server FILE Server WEB Server Report Server
C
宇诚WFT
6
数据架构:数据源范围
本期哈尔滨银行数据应用平台整合数据源范围如下：
核心系统: 信贷系统: 农贷系统: 微贷系统: 中间业务系统: 国际业务系统: 卡前置(银联):
140张 23张 10张 20张 26张 13张 2张
国际结算
中间业务
核心 UDSF
信贷 农贷
各逻辑服务器未来可以根据规划需要进行物理分 离
4
技术架构:前端应用技术
平台管理
金融经理考核
宇诚应用门户
经营分析
宇诚EMP
润乾报表
通用展现平台 J2EE技术体系
ETL监控 数据定制 数据补录
报表开发 图表开发 报表展示
5
技术架构:后端应用技术
UDSF
C/S技术体系架构
数据采集
ETL
总控
SHELL
PROCEDURE
客户关联关系
建立平台客户编码与源系统客户编码关系索引. 建立平台客户编码与各类账户的关联关系索引. 另外为各客户主题模型建立了历史变动拉链模型.
15
数据架构:FDM—客户主题建设示例
16
数据架构:FDM—总账主题
主题说明
存放的内容包括核心系统总账与内部账信息.
二级主题
总账 内部账
3-FDM
客户 总账 渠道 公共
账户 产品 交易
4-ADM
贷款
经营
……
……
加工
5-应用集市层 6-推送数据落地区
应用供数
5-MDM
综合经营 分析
金融经理 考核
报表类应 用
应用供数 应用供数
6-推送数据
监管报送 系统数据
短信平台 指标数据
数据分发文 件
8
数据架构:数据层次说明
源数据层(ODM)
分为增量源数据(1日) /全量源数据两部分. 结构严格贴源,按系统划分主题. 完成统一编码标准化.
标准化原则
针对源业务系统中,部分共性且代码相对固定、表达意义一致的代码种类，以 及一些关键的统计纬度编码,需要进行编码标准化,比如:币种、性别、借贷别 、证件类型、余额分段等.
标准码分为三级编码形式,标准化后的代码在系统中是唯一的,不发生重复.也 便于索引编码含义.
例如:“账户状态”中“正常” =“1002(账户)0012(账户状态)00001(正常)”
备份策略
双机热备 双机冷备 单机备磁带
.
35
数据架构:关键点—数据库规划
目标
数据库是哈尔滨银行UDSF系统的核心，它的设计直接关系系统执行的效 率和系统的稳定性。因此在系统开发中，数据库设计应遵循必要的数据库 范式理论，以减少冗余、保证数据的完整性与正确性。只有在合适的数据 库产品上设计出合理的数据库模型，才能降低整个系统的编程和维护难度 ，提高系统的实际运行效率.
应用集市层(MDM)
贴近应用使用的数据模型,一般对应前端一张报表.
9
数据架构:FDM主题划分
10
数据架构:FDM—账户主题
主题说明
账户主题存放内容为客户持有我行产品所对应的各类账户信息.
二级主题
存款 贷款 银行卡 债券.
数据源范围
核心(存款/贷款/债券） 信贷（贷款） 农贷（贷款） 微贷.（贷款）
30
数据架构:关键点—历史变动拉链表设计
目标
拉链算法是目前数据仓库领域使用比较广泛的算法之一，其通常用于记录数 据量很大且记录之间存在一种历史延续性，通过拉链算法可以方便快捷得到 历史时点的状态，同时以最低的数据存储方式保留历史记录.
设计原则
保留源表所有字段,添加开始日期、结束日期, 采用“左闭右开”的方式. 最新状态记录结束时间为定值‘2099-12-31’. 范围：FDM层关键模型，如账户、客户. 保留周期见“平台数据清理策略”部分.
规划范围
需求而重复开发.
28
数据架构:关键点—模型设计规范
包含内容
表命名规范. 字段命名规范. 表空间及数据文件命名规范. 建模工具规范.
29
数据架构:关键点—平台标准码
目标
建立平台统一标准代码屏蔽我行各数据源的编码差异. 为未来平台整合新的数据源提供编码参考以及编码整合方法.
数据源范围
核心
20
数据架构:FDM—交易主题建设示例
21
数据架构:FDM—渠道主题
主题说明
存放我行各类渠道以及设备的详细信息.
二级主题
实柜员信息 虚柜员信息
数据源范围
核心 卡前置
22
数据架构:FDM—渠道主题建设示例
23
数据架构:FDM—产品主题
主题说明
卡前置
微贷
7
数据架构:数据分层
1-源系统数 据落地区
核心 信贷 中间业务 国际结算 财务 前置 ……
数据加载 数据整合 数据转换 数据应用
2-源数据层
2-ODM
核心 系统数据
信贷 系统数据
中间业务 系统数据
国际结算 系统数据
财务 系统数据
前置 系统数据
…… 系统数据
补录数据区
数据整合
补录信息
3-基础数据层 4-共性加工层
设计原则
增加统计日期字段，每月底批量保存快照信息， 只保留源表关键指标字段以便分析使用，如机构号，帐户状态等。 对于账户的快照增加计算出的月日均余额、年日均余额、统计积数等统计
指标字段. 范围：FDM层账户主题存储余额以及积数类的数据模型. 保留周期见“平台数据清理策略”部分.
基础数据层(FDM)
对数据源中的关键模型按逻辑主题进行重组. 完成对不同系统数据模型的信息整合与计算,如客户信息整合、账户均值等. 为关键模型建立历史变动拉链与月底快照模型.
加工数据层(ADM)
应用汇总指标计算,如经营分析指标库等. 划分主题的共性指标分析, 贷款汇总统计模型等
哈尔滨银行数据应用总体架构
2
物理架构:网络拓扑图
物理架构应用服务器: 1)服务器
DB SERVER
2)服务器
ETL SERVER FILE SERVER WEB SERVER REPORT SERVER
说明:
ETL,WEB,FILE,REPORT目前 使用同一台服务器,但其在逻辑 上是分离的,未来可以根据规划 需要进行物理分离.
32
数据架构:关键点—积数运算
目标
基于现有所了解的业务需求看，账户的日均、积数等信息是日常报表经常 统计的指标之一。通常积数的计算公式如下.
而在计算积数的过程中，采用全量更新账户积数的方式却不太现实（海量 数据更新效率低），因此需要在模型设计过程中重点考虑积数的计算过程.
1.以当天增量数据，更新增量记录的积数; 2.积数的计算公式:
使用方法
如取“20080131”日状态语句Select * from table_his where start_date <= ‘20080131’ and end_date > '20080131'
31
数据架构:关键点—月底快照表设计
目标
由于客户/账户的余额、利率、账户状态等经常发生变动，同时结合实际业 务需求，通常业务应用会频繁使用月底数据作为报表需求的数据源，为了 提高系统的响应速度，并且提高数据的可操作性，建议对某些客户/账户的 状态信息表进行月底快照保存策略.
型号： CPU：8个 内存：16G-32G 网卡：1kM Ethernet 存储：2T
型号：PC SERVER CPU：4个 内存：8G 网卡：2*1kM Ethernet 存储：500G
操作系统：AIX 数据库：DB2
操作系统：REDHAT LINUX App Server：IBM WebSphere 其它：宇诚WFT,润乾报表
UDSF系统总体架构
总体架构 物理架构 技术架构 数据架构
总体架构
本期哈尔滨银行数据应 用平台建设架构规划如 下：
数据采集平台： T+1 数据采集、缺失数据 补录
数据整合平台：基础 数据层模型和加工数 据层模型，ETL管理
数据推送平台：数据 定制下载,数据接口 文件推送
通用展现平台：平台 管理功能,经营分析 系统,金融经理考核 系统,报表开发功能
数据源范围
核心
17
数据架构:FDM—总账主题关键点
总账
整合日总账(网点),日总账(汇总)两张总账模型. 将总账按月存储,将竖表转为横表以减少数据量(约30倍). 计算余额均值类指标.
内部账
计算余额积数. 建立月底快照,历史变动拉链模型.
18