商业银行数据仓库系统功能规格版本:1.0(初稿)目录1.概述 (4)1.1. 系统介绍 (4)1.2. 系统架构 (4)1.3. 体系结构 (5)1.4. 数据仓库管理系统(DWMS) (6)1.4.1. 数据采集模块 (6)1.4.2. 数据转换模块 (6)1.4.3. 增量计算模块 (6)1.4.4. 调度模块 (6)1.4.5. 配置模块 (6)1.5. OLAP逻辑模型 (7)1.5.1. 分析角度 (7)1.5.1.1. 公共维 (7)1.5.2. 分析主题 (8)1.6. 银行业数据仓库E-R模型(Data Model) (10)1.6.1.贷款客户分析(Data Model) (10)1.6.2. 存款客户分析(Data Model) (11)1.6.3. 内部账号分析(Data Model) (12)1.6.4. 业务及流动性分析(Data Model) (13)1.6.5. 资产负债财务分析(Data Model) (14)1.6.6. 风险控制分析(Data Model) (15)1.6.7. 现金配钞分析(Data Model) (16)1.7. 例外处理 (16)1.8. 准确性 (16)1.9. 性能 (17)1.10. 数据容量 (17)1.11. 备份/恢复 (17)1.12. 运行环境 (17)1.12.1.数据仓库平台 (17)1.12.2.数据仓库硬件平台 (17)1.12.3.控制台平台 (17)1.13. 安全性 (18)2.报表系统 (18)2.1. 业务分析 (18)2.2. 财务分析报表系统 (18)2.2.1. 资产业务分析(月) (18)2.2.1.1. 资产规模增长情况分析 (19)2.2.1.2. 资产增量变化情况分析 (19)2.2.1.3. 资产结构变化情况分析 (19)2.2.1.4. 贷款资产专项统计 (20)2.2.2. 负债业务分析 (20)2.2.2.1. 负债规模增长情况分析表 (20)2.2.2.2. 负债增量变动情况分析表 (20)2.2.2.3. 负债结构变化情况分析表 (21)2.2.2.4. 存款负债专项统计 (21)2.2.3. 所有者权益分析 (21)2.2.3.1. 所有者权益增长情况分析 (21)2.2.3.2. 所有者权益增量变动情况分析 (22)2.2.3.3. 所有者权益结构变化情况分析 (22)2.2.4. 财务收支分析 (22)2.2.4.1. 收支规模增长情况分析 (22)2.2.4.2. 收支增量变动情况分析 (22)2.2.4.3. 当期收支情况分析 (23)2.2.4.4. 财务收支结构变动情况分析 (23)2.2.4.5. 财务收支计划完成情况分析 (23)2.2.5. 财务比率分析 (24)2.2.5.1. 各项财务比率分析表 (24)2.3. 资金计划业务需求 (25)2.3.1. 资金头寸统计 (25)2.3.2. 资金负债管理指标 (25)2.3.3. 现金管理 (25)2.3.3.1. 结算备付金统计 (25)2.3.3.2. 库存现金统计 (26)2.3.3.2.1. 即时余额统计 (26)2.3.3.2.2. 日均余额统计 (26)2.3.3.3. 业务量统计 (26)2.3.4. 票据贴现业务统计 (26)2.4. 综合统计分析 (27)2.4.1. 存款统计 (27)2.4.1.1. 存款结构统计 (27)2.4.1.1.1. 日均存款统计 (27)2.4.1.1.2. 存款即时余额统计 (27)2.4.1.1.3. 储蓄业务统计 (27)2.4.1.2. 存款明细统计 (28)2.4.2. 贷款统计 (28)2.4.2.1. 贷款结构统计 (28)2.4.2.1.1. 贷款日均统计 (28)2.4.2.1.2. 贷款即时余额统计 (28)2.4.2.2. 贷款明细统计 (29)2.4.3. 业务量统计 (29)2.4.3.1. 会计综合业务量统计 (29)2.4.3.2. 现金收付量统计 (29)2.5. 安全性 (30)2.5.1. 安全控制逻辑 (30)3.客户经理服务系统(ASS) (30)3.1. 总体分析 (30)3.1.1. 分析角度 (30)3.1.2. 分析指标 (30)3.2. 安全性 (30)4.附录 (31)4.1. 定义 (31)4.2. 资金头寸项目说明和计算公式 (31)4.3. 资金负债管理指标 (32)4.4. 术语说明 (34)4.4.1. Data warehouse (34)4.4.2. Data mart (34)4.4.3. OLAP (34)4.4.4. ROLAP (35)4.4.5. MOLAP (35)4.4.6. Client OLAP (35)4.4.7. DSS (35)4.4.8. ETL (35)4.4.9. Ad hoc query (36)4.4.10. EIS (36)4.4.11. BPR (36)4.4.12. BI (36)4.4.13. Data mining (36)4.4.14. CRM (36)4.4.15. Meta Data (36)1.概述1.1. 系统介绍**商业银行数据仓库项目以OLAP(在线分析处理)为主要技术技术,由业务数据采集、清洗,转换,加载、OLAP处理等步骤组成。
处理数据涵盖银行内部方方面面的数据信息。
通过对数据的重组、分类和关联,将银行内部分散的数据信息组织成一个高效实用的数据仓库,并且用第三方OLAP前端和报表工具,提供了方便快捷的查询,发布。
1.2. 系统架构1.3. 体系结构Essbase/关系DBMS/其它数据存取组件…………(系统体系结构)1.4. 数据仓库管理系统(DWMS)1、负责数据采集参数的配置,如:采集的数据源,采集的时点等;2、负责数据的采集,转换,加载及OLAP处理任务的调度;3、负责数据转换过程中转换参数的配置,如数据字典的定义,对应关系的设置等;4、负责报表查询的参数的定义,如报表格式,查询组合的定义;DWMS包括以下几个模块1.4.1.数据采集模块负责从银行的业务系统中采集建设数据仓库所需要的源数据。
由于银行数据的安全性,在本系统设计过程中,采用NA SERVER用CGS中间件采集成文本文件。
1.4.2.数据转换模块数据仓库中的数据来源于联机事务处理系统(OLTP),这些系统由于建立时间不同,系统选型不同,开发人员不同等原因,使得各个业务系统的硬件环境和软件环境各不相同,数据结构不统一,要将这些系统中的有用数据提取出来,进行净化、整理、综合、概括,去掉没用的数据项,转换成统一格式加载到数据仓库中。
数据转换模块负责将源数据经过清洗,整理,转换,编码后加载到数据仓库中。
1.4.3.增量计算模块每天所采集的增量数据,加载到数据仓库后,处理OLAP的增量计算,加载这部分数据到OLAP数据库。
1.4.4.调度模块负责每天数据转换(ETL)的调度1.4.5.配置模块各种参数的配置1.5. OLAP逻辑模型1.5.1.分析角度1.5.1.1. 公共维注1:”可由用户设定”–由用户将设定类型对应到原有交易系统中一个或多个类型值。
注2:OLAP分析粒度到账号还是科目对于公共维的设计存在着差异注3:数据仓库模型中所存储的数据的粒度将对信息系统的多方面产生影响。
事实表中以各种维度的什么层次作为最细粒度,将决定存储的数据能否满足系统分析的功能需求,而粒度的层次划分、以及聚合表中粒度的选择将直接影响查询的响应时间。
1.5.2.分析主题1.6. 银行业数据仓库E-R模型(Data Model) 1.6.1.贷款客户分析(Data Model)1.6.2.存款客户分析(Data Model)1.6.3.内部账号分析(Data Model)1.6.4.业务及流动性分析(Data Model)1.6.5.资产负债财务分析(Data Model)1.6.6.风险控制分析(Data Model)1.6.7.现金配钞分析(Data Model)注:1、黑点方向表示一对多关系2、兰色实体均为实事表3、灰色实体关系表示须保留动态变更1.7. 例外处理1.8. 准确性对下面变更,系统的各项统计计算应能准确反映:1.客户资产结构的变更2.客户所属协款员的变更3.客户状态变更4.客户所属行业的变化1.9. 性能1、日数据处理时间< 3Hours2、客户端查询响应一般查询< 15秒3、数据即时性每天日结以后从业务系统中抽取数据到数据仓库,所以只能查询前一交易日以前的数据。
即时性的数据直接从业务数据中查询。
1.10. 数据容量1.11. 备份/恢复1.12. 运行环境1.12.1.数据仓库平台操作系统:AIX4.3数据库系统:使用IBM DB2产品。
建模工具:ERWIN。
数据采集及转换工具:Visual Warehouse多维数据库:DB/2 OLAP Server前端分析工具:BRIO、MS Excel(Vba编程)。
1.12.2.数据仓库硬件平台硬件平台推荐使用IBM的AS400系列产品。
1.12.3.控制台平台操作系统:WINDOWS 98,WINDOWS NT 4.X,WINDOWS2000硬件平台:586CPU,256M以上内存,10G以上硬盘空间。
显示器分辨率:缺省支持800X600,但在其他模式下也应能显示正常1.13. 安全性角色DWMS管理员数据仓库的修改、OLAP的修收DWMS操作员运行DWMS控制程序2.报表系统2.1. 业务分析业务分析的方法主要是多维分析法,根据业务决策的需要,可进行各种分析。
利用多维分析的方法,可以对统计及明细记录进行分析、对比、排序,各种分析结果可以通过图表直观的反映。
利用业务分析功能,可以及时、明了的掌握银行业务工作各方面的情况和进展。
DB2 OLAP服务器,提供100多种内置的财务、统计或者数学功能,可以进行复杂的趋势分析、创建比率等。
同时,DB2 OLAP Server 拥有几种API 和一组可用于构建定制应用程序的ActiveX 控件。
选择何种API 将取决于应用程序的复杂程度。
使用Wired for OLAP(Hyperion Analyzer),可以非常快地构建一个简单的主管信息系统(EIS Executive Information System)应用程序。
使用电子表格如MS Excel或Lotus 123的Add-In,可以构建相当复杂的应用程序。
Essbase Objects是一组非常灵巧的ActiveX OLAP 控件,可以将其置入到Visual Basic 应用程序(可以按传统方式或通过网络部署)中。