应用集市层 •面向应用的个性化定制。
汇总层
机构汇总
预连接/预处理 产品汇总
渠道汇总 客户汇总
账户汇总
交易统计汇总
汇总层 •提供统一的业务口径。 •避免集市的重复加工。 •随着应用建设逐步完善 •模型相对稳定，随着业务扩展可以扩展 模型； •随着业务统计口径变化，ETL加工逻辑 会变化； 基础层 •面向主题整合；保留详细数据和历史数 据 •按照业务驱动、逐步建设 •模型相对稳定；但是随着源系统和数据 业务标准的变化，ETL加工逻辑会长期 变化 ODS层 •解决源系统快速接入的问题；避免从源 系统频繁、重复数据抽取； •源系统一次性分析、一次性抽取、一次 性接入； •需要随着源系统变更进行维护 8
EDW: •一般最长在线保存7年。 •事件类数据在线保留时间会短 一些，13个月左右。
数据存储 数据应用
EDW 特点 面向主题的 集成的 稳定的 随时间变化的 详细的
ODS: •时效性要求高的 •不需要需历史数据 •需要访问最始数据（审计、稽核 类）的应用 EDW: •模型区时效性可以满足要求的 •需要访问历史数据的 •基于多个系统整合数据的 •不是必须访问原始数据的应用
前端软件（BIEE、Congnus、BO、Microstrategy）
管 控 平 台 缓 冲 层
DB（TD、DB2、Oracle）
模 型 层
汇 总 层
、调 度 软 件 （ ）
Control-M Automation ETL_PLUS
集 市 层
、
ETL软件
Datastage
Powercenter
文本脚本
缓 冲 层 模 型 层 汇 总 层 集 市 层
、
ETL软件
Datastage
Powercenter
文本脚本
SASB
文思信息 版权所有，内部保密材料
YHT
CMS
PMS
。。。
6
数据仓库体系规划
从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述 数据仓库规划。 数据体系
组 织 架 构 组 管 织 控 流 架 程 构 管 控 内 容 数据架构· ODS·基础层·汇总层·集市层
技术体系
统一交换·统一监控·统一调度·统一发布·统一管控
管 管 控 控 体 体 系 系
· ·
应用体系
应用主题·应用模式·应用方案·实施规划
运维体系
数据存储·数据质量·元数据·安全
文思信息 版权所有，内部保密材料
21
国内银行商业智能应用
支持国内银行的数据仓库应用种类超过40余个，主要分布如下
客户信息管理系统（CIM） 分析型客户关系管理系统（ACRM） 操作型客户关系管理（OCRM ） 平衡计分卡 经营指标快报(KPI Dashboard) 个人积分计算 客户贡献度计算/模型 客户流失概率模型 业务统计分析 信用卡分析 渠道分析、中间业务分析 定价系统 客户违约概率模型 信用卡申请评分模型
2
1
审计/风险管理等需要未经加工的 业务原始数据
源数据质量检查规则、常规报告
……
文思信息 版权所有，内部保密材料
9
ODS & EDW 特点比较
• • • • •
ODS : •与源系统保持一致 •基本不进行转换和整合 •当前最新数据
EDW: •第三范式模型 •进行数据整合和转换 •当前数据和历史数据
分析人员
挖掘模型
用途：提供解决那些无法预先定义的查询分析需求以及查找问题时的详细钻取。 场景： “客户交易金额和笔数分布发生变化”的详细分析，比如“哪些客户的哪些交 易有了变化，是交易种类、金额、笔数还是交易场所？这些客户的特征是怎样的？他 们在我行持有的产品分布如何？”
用途：数据挖掘通过模式识别与数学模型技术从数据仓库中的大量明细数据中发现隐 藏的模式与趋势。 场景： 经过随机分析发现那些属于“交易金额和笔数分布发生变化”的客户群中发现 部分客户最近有销户或者已经很长时间不发生往来的倾向，因此需要利用“客户流失 模型”进行评分，结合“客户等级”确定需要进行挽留的客户名单。
捕捉动态事件
操作智能是决策智能向业务系统和流程的延伸。
文思信息 版权所有，内部保密材料
23
业务需求/分析和应用模式的关系
OLAP/固定报表 用途：提供日常业务管理统计，辅助发现业务发展趋势。 场景：客户分布发生变化或者某项业务趋势呈现异常，转而使用其他分析手段，以 “客户交易金额和笔数分布发生变化”为例。 随机查询
固定报表 即席查询 数据挖掘
页面调用功能 分析型应用集成
应用 集成
统一信息 发布内容
权限 管理
认证管 理
角色管理 授权管理
文思信息 版权所有，内部保密材料
用户身份管理 统一认证 单点登录 安全审计
19
统一数据管控架构
综合信息服务管理
数 据 标 准 需 求
数据标 准信息 模型
数据标 准文档
代码标 准落地
源系统 源系统 源系统 ETL Stage
数据平台
数据服务
数据服务
FDM
ADM
数据服务
应用系统
20
文思信息 版权所有，内部保密材料
数据仓库体系规划
从数据体系、技术体系、应用体系、运维体系和管控体系五个方面阐述 数据仓库规划。 数据体系
组 织 架 构 组 管 织 控 流 架 程 构 管 控 内 容 数据架构· ODS·基础层·汇总层·集市层
• • • • •
文思信息 版权所有，内部保密材料
ODS & EDW价值和定位
业务处理系统 (OLTP)
用户群体 • 客户 • 员工 应用 • 交易处理 • 帐务处理 访问特征 • 频繁的更新 • 偶尔的查询 数据模型 • 当前状态数据 • 很少的历史数据 • 范围比较小
战术性查询 (ODS)
用户群体 • 一线的业务人员 • 客户 应用 • 业务领域查询 • 战术性决策支持 • 简单的分析（评分） 访问特征 • 当前数据访问 • 查询较多 优劣势对比 • 满足实时监控和实时业 务需求 • 不能满足中远期决策需 求
战略性分析 (EDW)
用户群 • 管理人员 • 高层领导 应用 • 战略性分析 • 复杂的查询和报表 • 预测 访问特征 • 批量插入-很少的更新 • 频繁的复杂查询 优劣势对比 • 解决企业的决策需求 • 不能满足实时监控和实 时业务需求
任务的连续性
OLTP 1 OLTP 2 OLTP 3
ODS
EDW
Advance Your Potential
数据仓库体系培训
咨询 ·解决方案
1
主题
数据仓库体系规划 数据仓库实施方法论
Q&A
文思信息 版权所有，内部保密材料
2
数据仓库规划步骤
指导方针
• • • 承前启后：着重考虑对前期工作的承接和规划成果的落地实施 敦本务实：实施公司、同业经验与银行实际相结合 远近兼顾：立足长远与满足当前需求相结合
提供检 核问题
检核规则
指标模型
数 据 质 量 需 求 元 数 据 需 求 银 行 业 务 需 求
数据标准管理
提供检 核规则 数据标 准存储 提供检 核对象
数据质量管理
定位检 核问题 检核指 标存储
影响分析、血缘分析 元数 据
提供映 射源
元数 据
操作元数据
元数 据
元 数 据 管 理 技术元数据
业务元数据
基础层
客户
账户
资产
交易
产品
渠道
财务
ODS
核心
文信息 版权所有，内部保密材料
个贷
法贷
基金
存管
国结
不同层次应用场景
4
应用用户、决策用户会访问特定应 用 ……
3
业务人员通过设定业务检查规则来 明确模型可用性
业务部门人员多数需要常规报表供 日常呈报 …… 业务人员参考整合规则来验证业务 正确性 POWER USER通常需要访问第二层对 数据进行深入分析 ……
数据质量管理 元数据管理（Metadata）
数据访问安全管理
22
文思信息 版权所有，内部保密材料
常见的应用模式及其演变发展
操作智能
ACTIVATING MAKE it happen! 使用于操作 什么正在发生
决策智能
预测 什么将会发生 事件营销
分析 为什么会发生
报表 发生什么事情 数据挖掘模型 随机查询, BI Tools 预定义报表
ODS 特点 面向数据的 非集成的 易变的 当前数据的 详细的
ODS: •全部源系统 •不重复保存已经入EDW的Event类 数据 EDW: •全部源系统的原始细节数据，不接 入派生和汇总数据。
数据模型 数据接入
ODS: •状态类数据保存当前最新数据 •日志类数据保存3个月 • 针对及其特殊的需要可以考虑 对数据保留一定时间段的历史
前端软件
管 控 平 台
DM 信用卡 集市 DM 信贷集 市 DM 风险管 理集市 DM 。。。
、调 度 软 件 （ ）
Control-M Automation ETL_PLUS
、
ETL软件
ETL软件
ETL软件
ETL软件
SASB
文思信息 版权所有，内部保密材料
YHT
CMS
PMS
。。。
4
数据仓库典型体系架构（集中型－EDW）
文思信息 版权所有，内部保密材料
ODS层模型
• 简单处理 • 不考虑整合 • 考虑保留策略
• 偏源系统模型 • 部分数据保留全量 • 少量数据保留短暂历 史
文思信息 版权所有，内部保密材料