数据治理平台统简介
Mapping文件
E/R Win模型
接
口
文本文件
区
XML文件
EXCEL文件
元
数
适配器
据
管
理
平
台
数据库
图例:
采集流
解析流
28
数据流
数据治理平台项目组
元数据存储结构
元数据存储模型层包括两部分内容:
元模型定义,即通过XML实现对象、对象关系及对象行为等的定义。 元数据实例存储,元数据实例存储到关系数据库中。
报表清单
报表表头
报表表样导出
报表表头定义
24
数据治理平台项目组
应用界面
业务元数据
报表指标
查看指标相关ER图
25
数据治理平台项目组
应用界面
技术元数据
影响分析
26
数据治理平台项目组
逻辑结构
27
数据治理平台项目组
采集适配器
元数据采集适配器是一种驱动和解析器,用来接收、解析各种不用类型数据源的数据, 将有效的元数据存入模型,并建立关系。
已完成
为数据质量检核指标类和业务方案定义灵活的检 核策略
已完成
调度符合执行策略数据质量检核指标,并分派给 对应的处理器
已完成
对数据质量检核指标执行特定于其指标类的检查 程序
已完成
33
数据治理平台项目组
功能需求
数据质量检核分析 数据质量问题管理 数据质量知识管理
功能定义
问题分布分析
对数据质量检核的结果按机构、系统、数据质 量问题三个维度进行分布分析
已完成
导入主数据ERwin模型,解析生成模型各层级关系。
已完成
定义数据平台各部分,以及源系统间的数据关联映射关系。已完成
依赖所定义的数据平台各部分,以及源系统间的数据映射 已完成 关系,图形化展现数据变化影响和数据问题溯源。
针对元数据不同版本进行差异部分识别与比较。
已完成
业务元数据 代码定义
定义数据平台公共代码及其与源系统代码的关系。
Lists Serialize JDBC
Байду номын сангаас
Management & Control Security Task/Trans Log
Driver &
Adapter
资源层
Database
外部数据
XML 文本 EXCEL 应用系统
ODS DataMart
UA
12
数据治理平台项目组
议题
1. 系统目标与定位 2. 技术实现架构 3. 数据标准管理子系统 4. 元数据管理子系统 5. 数据质量管理子系统 6. 数据服务子系统 7. 统一认证与用户管理模块
数据变更影响评估申请
数据服务
7
数据治理平台项目组
对数据平台业务的支持—数据质量
应用开发者
针对数据质量问题 提出完善建议
业务部门
了解本机构特定系 统数据质量
提出业务数据质量 检核需求
定义检核需求与规则 分析数据平台数据质量 发现、发布数据检核问题
数据质量 检核
数据质量管 理员
Schemas
管理平台 数据质量 数据质量
管理
管理平台元数据, 进行数据影响、 血缘分析
数据标准
元数据管理
5
数据治理平台项目组
对数据平台业务的支持—数据标准
查询数据标准,以开发符合数据标 准的应用 提交标准代码比对文档
应用开发者
维护数据标准 制订、发布标准 应用系统代码标准比对
数据标准文档 版本管理
16
数据治理平台项目组
应用界面
数据标准信息项管理 公共代码管理
数据标准管理
17
数据治理平台项目组
应用界面
数据标准反馈意见 查看反馈意见
反馈意见
18
数据治理平台项目组
逻辑架构
19
数据治理平台项目组
议题
1. 系统目标与定位 2. 技术实现架构 3. 数据标准管理子系统 4. 元数据管理子系统 5. 数据质量管理子系统 6. 数据服务子系统 7. 统一认证与用户管理模块
20
数据治理平台项目组
功能需求
对源系统、数据平台以及数据治理项目中的相关的技术、业务元数据进行统一 的归集管理,实现数据间的血缘分析和影响分析。
功能定义
完成情况
技术元数据 源系统数据结构定义 主数据ER模型 数据与映射关系定义 数据影响与血缘分析 数据变化对比分析
导入源系统数据字典,并以系统-表-字段的层级关系展现 各级数据关系。
和维度分析,以及问题跟踪。
数据服务电子化--为数据平台提供面向业务用户的服务沟通渠道。
4
数据治理平台项目组
数据治理平台构成与定位
分析类应 用系统
数据提供
数据平台
核心业务 系统
信贷业务 系统
信用风险管 理系统
…系统
数据抽取
ODS
管理行内 数据标准
数据服务
提供平台 沟通渠道
数据集市
管理会计
风险
数据流
3
数据治理平台项目组
项目目标
围绕国开行数据平台建设,提供针对数据生命周期的管控机制,体现为以下几个 出发点:
数据标准规范化--规范化管理构成数据平台的业务和技术基础设施,包括数据管
控制度与流程规范文档、信息项定义等。
数据关系脉络化--实现对数据间流转、依赖关系的影响和血缘分析。 数据质量度量化—全方位管理数据平台的数据质量,实现可定义的数据质量检核
数据标准缺乏结构化管理 源数据变化造成数据平台数据混乱 对数据平台数据问题如何快速定位原因? 如何有效监控和改善数据平台数据质量? 。。。
建设一个完整的数据治理平台,作为数据平台的管控系统,从制度、标准、监 控、流程几个方面提升开行的数据信息管理能力,解决目前所面临的数据标准 问题、数据质量问题、元数据管理问题和数据服务问题。
应用界面
检核调度策略管理
业务解决方案
37
数据治理平台项目组
应用界面
数据质量检核分析
批次对比分析 问题分布分析
38
数据治理平台项目组
应用界面
数据质量问题管理
问题发现
39
数据治理平台项目组
逻辑结构
三个层面:
定义层:定义作为系统功能 的核心-数据质量检核,所 需使用对象、指标、调度策 略等配置信息;
已完成
提供针对不同目标应用的适配器,实现定时的自 已完成,但需数据平
元数据自动采集 动采集
台提供采集支持,接
口方式尚需确定。
版本管理
提供元数据定版、批量定版、版本回溯的功能 已完成
访问控制管理 提供针对元数据细节操作的访问控制
已完成
22
数据治理平台项目组
应用界面
23
数据治理平台项目组
应用界面
业务元数据
执行层:使用已定义的检核 配置信息,对数据平台数据 进行检核;
分析层:对检核执行结果进 行定量、定性的分析与处理。
前后端:
前端:用户使用基于操作界 面的应用程序进行交互式的 检核信息定义、检核结果分 析等功能;
后端:系统根据检核策略在 后台自动执行,无需与用户 交互。
13
数据治理平台项目组
功能需求
管理全行数据相关的标准和规范,提供数据标准的查询与反馈等功能。
数据标准文档管理 数据标准信息项管理 数据标准查询与反馈
功能定义
数据标准文档制订 数据标准文档发布 数据标准文档版本管理
维护数据标准相关文档类信息 对数据标准相关文档进行发布管理 对数据标准相关文档的历史版本信息提供查看功能。
XML定义模型
对象属性
对象行为
对象定义
对象关系
实例关系
所属对象 <pi>
所属实例 <pi>
关系
<pi>
目标对象 <pi>
目标实例 <pi>
实例
编号 <pi> 对象 <pi> 顺序 属性1 属性2 属性3 属性4 属性5 属性6
超过的属性 打散/纵向 存储
属性值
实例编号 <pi>
对象
<pi>
属性
<pi>
8
数据治理平台项目组
对数据平台业务的支持-数据服务
数据平台服务申请 应用开发者
业务部门
数据平台服务申请 与数据平台有效沟通
提供数据平台服务 数据服务
数据服务单管 理员
9
数据治理平台项目组
数据治理相关系统关系
登录认证
数据治理平台
数据服务子 系统
AD(目录) 系统
用户与机构 信息同步 统一用户 管理系统
外键约束检查
业务规则检查
数据平台数据生成及时性检查
32
数据治理平台项目组
功能需求
数据质量检核定义 检核系统定义 检核指标与规则定义 检核调度策略定义
数据质量检核执行 检核控制引擎 检核执行处理器
功能定义
完成情况
对纳入数据质量管理需求的系统、数据表纳入检 核范围,并定义相关信息
已完成
按数据质量度量标准,为各类检核指标定义相关 属性和数据检查规则。
跟踪反馈。
检核需求
检核调度 检核指标
检核对象
数据质量 知识库
收集需求 修正
分析规则 问题数据
规则库 执行
检核调度 管理