FA_BOND_TRADE-债券交易表 SK_EVENT 事件代理键 EXECUT_NUM 成交编号 TRAD_DATE 交易日期 DLVY_DATE 交割日期 SK_PRODUCT 产品代理键 SK_SECURITIES 持仓资产代理键 FA_SECU_IN FO.SECU_C ODE 主表已 证券市场代码-冗余 存在 FA_SECU_IN FO.MARKT_ CODE 主表 所属市场代码-冗余 已存在 FA_SECU_IN FO.SECU_CL ASS_CODE 投资品种-冗余 主表已存在 FA_SECU_IN FO.SECU_TY PE_CODE 主 证券品种-冗余 表已存在
SECU_MARKT_CODE
MARKT_CODE
SECU_CLASS_CODE
SECU_TYPE_CODE
目前冗余数据案例-信息表与其他表之间
截取部分表字段查看其中一些冗余字段，可在PDATA中做清理
D_HOLDDATE SK_PRODUCT SK_SECURITY SECU_CODE SECU_NAME MARKET_CODE SECU_CLASS_CODE SECU_TYPE_CODE F_PRICE F_AMOUNT F_COST FA_BOND_HOLD-债券持仓表 持仓日期 产品代码 证券编码 证券代码 证券名称 市场代码 证券大类代码 证券子类代码 当日行情 持仓数量 成本
目前冗余数据案例
一般冗余出现在主档信息表与事件信息表之间，且出现频率较大，如下 举例说明
• 信息表与信息表之间
• 信息表与事件表之间
• 信息表与其他分类表之间
目前冗余数据案例-信息表与信息表之间
截取部分表字段查看其中一些冗余字段，可在PDATA中做清理
FA_SECU_INFO-证券信息主表 SK_SECURITIES 证券信息ID SECU_NAME 证券名称 SECU_ABBR 证券简称 SECU_ENAME 证券英文名称 MARKT_ID 交易市场ID(参数) MARKT_CODE 交易市场代码 MARKT_NAME 交易市场名称 CLEAR_REG_AGENCY 登记结算机构(参数) CLEAR_REG_CODE 登记结算机构代码 CLEAR_REG_NAME 登记结算机构名称 TRAD_CURR_ID 交易币种ID(参数) CURR_CODE 币种代码 CURR_NAME 币种名称 SECU_CLASS_ID 证券大类ID(参数) SECU_CLASS_CODE 证券大类代码-冗余 SECU_CLASS_NAME 证券大类名称 SECU_TYPE_ID 证券子类ID(参数) SECU_TYPE_CODE 证券子类代码 SECU_TYPE_NAME 证券子类名称 ISSUER 发行人
FA_BOND_INFO-债券信息 SK_SECURITIES 证券代理键 财汇证券内码-冗 余 证券市场代码-冗 余
FINC_CODE
SECU_CODE
MARKT_CODE
所属市投资品种-冗余
SECU_TYPE_CODE
证券品种-冗余
FA_SECU_INFO.SECU_CODE 主表 已存在 FA_SECU_INFO.MARKT_CODE 主 表已存在 FA_SECU_INFO.SECU_CLASS_CODE 主表已存在 FA_SECU_INFO.SECU_TYPE_CODE 主表已存在
目前冗余数据案例-信息表与事件表之间
截取部分表字段查看其中一些冗余字段，可在PDATA中做清理
FA_SECU_INFO-证券信息主表 SK_SECURITIES 证券信息ID SECU_NAME 证券名称 SECU_ABBR 证券简称 SECU_ENAME 证券英文名称 MARKT_ID 交易市场ID(参数) MARKT_CODE 交易市场代码 MARKT_NAME 交易市场名称 CLEAR_REG_AGENCY 登记结算机构(参数) CLEAR_REG_CODE 登记结算机构代码 CLEAR_REG_NAME 登记结算机构名称 TRAD_CURR_ID 交易币种ID(参数) CURR_CODE 币种代码 CURR_NAME 币种名称 SECU_CLASS_ID 证券大类ID(参数) SECU_CLASS_CODE 证券大类代码-冗余 SECU_CLASS_NAME 证券大类名称 SECU_TYPE_ID 证券子类ID(参数) SECU_TYPE_CODE 证券子类代码 SECU_TYPE_NAME 证券子类名称 ISSUER 发行人
T11平台配置 待添加
T10资产
T99代码
SDATA
万德
财汇
估值
后续可扩展
SDATA-基础数据层
• SDATA层是数据仓库库内的落地的基 础数据层,根据不同的需求可调整数 据保留时间 • 按来源系统划分，对于每个系统进 行统一编目，统一系统编号 • 采用贴源结构存放数据，表结构与 源系统保持一致，SDATA数据以全量 形式为存于数据库中
2016.8.8-2016.8.19
2016.8.5完成
改造脚本开发及测试
信评接口开发及测试
2016.9.1-2016.9.16 2016.8.22-2016.8.31
PDATA模型层初步完善
• 根据上述几种情况，可分析出，字段冗余一般与信息表相关字段。
• 可通过相关信息表除主键外字段去查出对应数据库中相同字段进行分 析及冗余清理。
• 信息表可参看PDATA中的L99-参数、L01-当事人、L02-产品着手去分析
解决方案
各模型层表确定
包括表清单，表字段删减， 最后表结构的确定
ETL的更新
中银数据中心改造
目录
1
模型层简介 数据分布简介 数据模型层说明 数据冗余案例
2 3 4
5
原EDW层改造方案
整体方案
数据模型层
AP应用接入层
DM
报表集市
应用接入
待添加
报表应用库
流程管理库 CDATA
原EDW层展现
业务接入
待添加
调度应用库
平台控制库
T00参数 PDATA T09财务
T01当事人
T02产品
PDATA-逻辑数据层
• PDATA数据层是为各级机构各个业务部门的不同业务需求提 供一致的、规范的数据。PDATA按照金融机构业务主题领域 和第三范式建模规则来组织数据，如客户、产品、协议、事 件、地理区域和渠道等，可以涵盖金融机构的主要业务范围 和相关数据 • 是中性的、可扩展的、动态的模型，当数据源业务系统改变 时（如添加新的金融产品或者网点撤并等），能够将对逻辑 数据模型的影响减至最小甚至完全不受影响
FA_SECU_INFO.SECU_CODE 主表已存在 FA_SECU_INFO.SECU_NAME 主表已存在 FA_SECU_INFO.MARKT_CODE 主表已存在 FA_SECU_INFO.SECU_CLASS_CODE 主表已存在 FA_SECU_INFO.SECU_TYPE_CODE 主表已存在 FIN_BOND_QUOTE.F_PRICE_CCLOSE（）债券行情表中已存在该数据
• 通过主题划分、高范式数据模型来整合数据
• 数据来源：SDATA
CDATA-业务数据汇总层
• 原EDW数据，通过时间戳方式存放（可考虑以视图方式） • 业务数据汇总层，涵盖各业务系统所需接口数据 • 数据来源：PDATA
DM-应用数据集市层
• 应用接入层，展现形式应该为大宽表 • 信评系统数据存放，项目后续新增应用接入也访问此数据层 • 数据来源：PDATA、SDATA
成本占比 市值 市值占比 估值增值 折溢价 应收利息 数量（上一工作日） 成本（上一工作日）
成本占比 市值（上一工作日） 市值占比 变化标志:0新入/1增加/2减少 编码大类 编码性质 编码子类 会计科目大类 会计科目
是否需要自行计算
是否需要自行计算
是否需要自行计算
是否需要自行计算
系统中有代理主键
解决方案
由于模型层变动及对 应表结构变化，需对 informatica进行批处 理逻辑更新
建设一
业务接口更新
各业务系统的数据接口变化后对 其提供最新接口
建设二
建设三
建设四
PDATA的逐步完善
目前仅对现有EDW 进行改造，如后续 新增源数据，如何 入PDATA层及范围 定义需逐步去更新 完善
项目计划
模型调整，冗余梳理
F_COST_RATIO F_MKTVALUE F_MKTVALUE_RATIO F_VALUE_ADDED F_VALUE_PREMIUM F_VALUE_INTEREST F_AMOUNT_LWKDATE F_COST_LWKDATE
F_COST_RATIO_LWKDATE F_MKTVALUE_LWKDATE F_MKTTVALUE_LWKDATE_RATIO F_CHANGEFLAG INNER_CLASS_CODE INNER_CLASS_PROP INNER_TYPE_CODE ACCOUNT_SUBJ_CLASS ACCOUNT_SUBJ