Ⅰ. 数据治理需求发展趋势Ⅱ. 数据治理成功关键要素Ⅲ. 数据模型管控方案Ⅳ. 成功案例I. 数据治理发展趋势MRPERPCIMBPMSOADWBigDataWeb2.0ITSMBIMDMMobileCRMSCMSmart BI SISDSSERP2.0IT GovernanceSocialCloudData GovernanceDBMainframe§▪60年代: 以简单的业务处理为目的§▪70年代: 以信息提供为目的§▪80年代: 以提升企业市场竞争力为目的11960~1990Dummy TerminalDBMCI§▪00年初: 系统数量增多，数据量暴增§▪数据仓库建设开始(DW)§▪数据统计及简单分析Open SystemEAI32000~2010ClientDB§▪移动应用及互联网等应用扩大，数据量暴增，数据分析需求增加§▪大数据处理技术增多§▪企业数据质量要求提高Open System42010~2020ClientSOA(ESB)§▪90年代初: 电子商务开始, 大规模系统建设开始(ERP)§▪90年代末: 综合业务支撑系统建设开始MainframeEAI21990~2000DBClientOpen System存储应用整合存储应用整合管理存储应用统计整合管理存储分析应用挖掘分析数据治理范围数据治理范围数据治理范围数据治理范围Data quality problems45%46%认知阶段试验阶段发展阶段成熟阶段v 了解数据资产或数据治理概念。
v 学习数据资产中包含的技术要素及内容。
v 思考数据资产化项目带来的价值，及所在单位应当如何实施。
v 设立小型项目，尝试数据资产化项目，确认项目价值。
v 大数据时代的到来，数据的重要性被重视，在数据应用过程中发现数据质量问题较多。
v 试图通过治理提升质量。
v 较大范围启动数据资产化项目，开始设计数据资产产出物。
v 采购工具，设置岗位，构建流程，一定范围扩大应用。
v 数据治理体系比较完善v 将数据治理体系引入系统开发中，严格遵循数据治理体系，并构建自动化的校验体系。
v 在设计、开发、测试等阶段保障数据质量。
2014201620182022AS of July 2015Ⅱ. 数据治理成功关键要素ⅠⅡⅢⅣⅡ.数据治理之我见确保治理理项⽬目成功的关键要素项⽬目成功要素项⽬目背景项⽬目⽬目标缺乏统⼀一数据标准未对数据标准、数据模型、数据质量量等内容进⾏行行梳理理数据资产管理理缺乏有效体系数据应⽤用、系统品开发及数据质量量受影响•元数据内容不不明确，元数据未进⾏行行分类•元数据有待通过专业⽅方式进⾏行行梳理理•数据应⽤用难度度⼤大•新系统开发受影响,⽀支持难度度⼤大•数据质量量低•数据获取、共享、数据规划难度度⼤大•缺乏数据标准化•未构建数据标准化知识库•缺乏数据标准化管理理及⾃自动应⽤用体系•数据标准管控体系缺失•数据模型管控体系缺失•业务元数据管控体系缺失•元数据应⽤用及校验体系缺失数据标准、数据模型、数据质量量等内容设计、加载、管理理⽅方法管理理组织、流流程的产品化程度度管控型数据治理理软件平台构建⾃自动化应⽤用及校验体系构建数据标准、数据模型、数据质量量等管理理内容、组织、流流程构建基于数据治理理平台的数据治理理体系项目名称项目内容某央企•元数据管理，数据模型管控，影响度分析，数据质量，血源关系分析，信息资源目录管理。
某通信公司•数据标准化，数据模型管控。
ETC电子收费系统•元数据管理，数据标准化，数据模型管控，影响度分析。
国内10家以上，国外50家以上银行案例•数据模型管控，数据标准化，元数据管理。
方案1效果•构建了元数据知识库•实现了数据的标准化应用及管理•实现了对数据模型的管控•提升了数据质量•构建了企业级数据资产管控体系效果数据标准和数据质量收集及分析,管控和验证方案•通过了使用搜索引擎实现元数据收集自动化•基于专业的数据建模工具实现数据标准应用自动化•基于元数据工具和建模工具的统一应用，实现数据标准、数据模型等元数据校验自动化具有丰富的项目成功实施经验成功案例数据标准化，数据模型，数据质量等共享统一知识库的专业化工具成功案例实施⼈人员必须具备丰富项⽬目经验，提供可落落地⽅方案核心成功要素保障措施措施1实施人员必须具有丰富项目经验，且提供可落地方案措施2提供基于数据架构的数据治理措施3提供管控型管理流程和自动化应用数据治理平台措施4提供可视化和共享知识库的元数据治理体系要素1初期数据标准、模型、元数据、数据质量等内容的彻底加载要素2构建持续性数据治理运营体系要素3构建前置型数据治理管理体系要素4构建自动应用的数据治理系统数据治理项目成功的核心要素措施2提供基于数据架构的数据治理体系基于数据治理架构管理策略，构建元数据管理体系，其中包括组织、流程、元数据管理策略和内容。
综合数据治理体系架构组织管理组织•规划•方向•原则•目标元数据治理架构管理策略元数据管理系统ETLDW元数据管理策略元数据质量管理体系流程CWM内容元数据标准管理规范数据模型管理规范元数据管理数据结构管理分类体系Reporting数据标准概念继承DA 内容分类体系数据模型逻辑物理单词/用语标准业务元数据域标准代码标准RDBMSDM措施2提供基于数据架构的数据治理体系层级构成业务架构应用架构数据架构技术架构概念层逻辑层物理层企业整体业务架构子模块业务架构详细业务流程业务规划说明手册企业整体应用架构子模块应用架构详细开发流程应用设计说明手册继承关系模型概念模型逻辑模型物理模型技术整体模型基础构造关系图基础构造设计图软硬件产品目录PlannerDesignerBuilder25业务功能(大)业务功能(中)业务功能(小)信息项继承关系模型概念模型逻辑物理模型属性字段信息技术元数据数据模型DB对象（大）DB对象（中）表字段应用功能（大）应用功能（中）应用功能（小）字段映射应用功能（大）应用功能（中）应用功能（小）信息项DBMS ETL OLAP REPORT应用功能（大）应用功能（中）应用功能（小）信息项元数据节点之间的整合业务元数据业务信息业务元数据和技术元数据矩阵图措施3提供管控型管理流程和自动化应用数据治理系统设计运维开发测试管控型数据治理管理体系分析数据治理平台标准模型概念模型逻辑模型物理模型DDL DDLDDL措施3提供管控型管理流程和自动化应用数据治理系统开发运维测试上线支持型数据治理管理体系设计数据标准数据库对象模型变更模型管控业务元数据数据模型模型管理数据标准管理应用影响度分析标准变更标准管控质量管控单词+单词+域标准用语词素解析单词转化用语拼接数据类型定义标准化自动应用逻辑数据模型物理数据模型基于数据标准知识库自动转化单位信息# 单位编号*名称* 上级单位岗位变更# 岗位名称*员工编号(FK)* 开始时间* 结束时间员工信息# 员工编号*姓名* 性别* 年龄* 出生年月* 入职时间*单位编码(FK)DEPT_INF# DEPT_NO *DEPT_NM* HGH_LVL * DEPT_NOPSTN_CHG# PSTN_NO *EMP_NO(FK)* STRT_TIME * END_TIMEEMP_INF# EMP_NO *NM * SEX * AGE* BRTH_DATE * ETY_TIME *DEPT_NO(FK)措施4模型视图API可视化综合分析数据模型数据标准BI / OLAP其他元数据信息REST API共享知识库提供可视化和共享知识库的数据治理系统标准词典单词标准同义词员工Y职员，管理员职员入职Y服务员入职_员工_编码入职员工编码入职_[职员]_编码入职_[管理员]_编码【标准】【非标准】推荐【员工】入职员工编码入职职员编码入职管理员编码申请入职职员编码入职_职员_编码词素分析入职_员工_编码入职员工编码推荐异音同义词推荐支持同义词属性名校验词素解析及校验通过词素分析自动检索和更新顺序不一样的异音同义词数据标准化的⾃自动校验及应⽤用ⅠⅡⅢⅣⅡ. 数据治理成功的核心要素独立型知识库架构整合型知识库架构要点î↘数据库信息集中管理î↘元数据相关关系分析和应用î↘以数据模型和DB 为中心的设计123î↘专业数据建模技术应用4数据质量应用影响度DB 目录数据模型数据标准单一/整合知识库数据质量应用影响度DB 目录数据模型数据标准ⅠⅡⅢⅣⅡ. 数据治理成功的核心要素Ⅲ. 数据模型管控1. 数据模型管控必要性及问题分析2. 数据模型管控解决方案3. 数据模型管控核心价值针对数据模型管控方面存在的诸多问题，我们应从相应岗位设置、管控工具构建、管理流程设计等三个方面着手，构建适合的数据模型管控体系。
事后弥补措施缺失•设计事后弥补流程，对未按照流程发起的变更，设计及时发现及事后弥补方案。
审计工作及指标缺失•设置数据架构师岗位，设计模型变更合理性审计指标管理流程缺失•设计适合的管理流程及数据架构师、模型设计人员、数据标准管理、开发、运维等角色分工辅助性工具体系缺失•构建数据模型管控平台，实现辅助管理1234岗位设置1管控工具2管理流程3改善目标改善方案++•数据架构师（制定制度及流程）•数据模型（模型设计及管控）•数据标准（标准管理及应用）•模型管控•数据标准•变更监控•人员交互流程•事前、事中审计及管理流程•事后弥补及共享流程数据模型变更缺乏事前审计、事中监控、事后管理等体系化的管控措施，致使数据模型逐渐变成“黑盒子”，给系统建设和数据应用带来严重影响。
•修改数据模型后未及时将修改的部分公开，修改的内容仅限于其内部或较少的几个人知道，其他人员均不知晓，同时也未对修改的内容进行管理，致使系统出现故障时排查问题难度较大，数据模型逐渐变成“黑盒子”。
事后弥补措施缺失•生产库中存在大量字段和表没有注释、含义模糊不清、同名不同意、同意不同名、冗余字段和表、枚举型字段中的值使用不统一等现象，直接影响对数据的识别和应用。
审计工作及指标缺失•数据模型变更变更前的合理性缺乏专业人员评审，大部分企业缺乏专业的数据架构师，对不同系统的数据模型，在变更时从数据设计、业务合理性、数据治理、数据库性能等方面进行综合性评审。
管理流程缺失•修改过程中缺乏监控和管理，修改操作是否符合规范，修改脚本是否按照要求编写，修改时是否先修改模型再编写脚本，是否及时保证数据模型与数据库的同步等缺乏监控和管理。
辅助性工具体系缺失问题汇总1 2 3 4事前事后事中审计岗位流程监控DBMS对象变更监控审计流程审计指标审计工具合规检查DBMS对象版本比对模型与DBMS比对一致性检查差异弥补NoNo156279843指标类别审核指标审查指标内容审查方式逻辑模型中文实体名称模型工具(DA#)根据已构建的单词词典对模型中的实体名称进行解析，审查其构成是否符合数据标准化工具实体定义逻辑数据模型中的实体名称定义部分是否为空，即是否对实体的定义、用途进行详细说明工具中文属性名称模型工具(DA#)根据已构建的单词词典对模型中的属性名称进行解析，审查其构成是否符合数据标准化工具属性定义逻辑数据模型中的属性名称定义部分是否为空，即是否对属性的定义、用途进行详细说明工具主标识符审查逻辑模型中是否有未定义主标识符的实体，并自动列举这些实体的名称工具继承标识符审查从其他实体中继承的主标识符名称是否与自身实体中的属性重名工具实体相似度审查逻辑模型中的所有实体相互之间是否有属性个数及属性名称相似度非常高（70%以上认为重复）工具实体名称相似度审查逻辑模型中的所有实体相互之间在实体名称上是否相似度非常高工具+人工主标识符相似度审查逻辑模型中的所有实体相互之间在实体的主标识符上是否相似度非常高或相同（审查重复性）工具范式审查具有继承关系的实体中是否有除了继承的标识符之外的其他一般属性名称相同工具实体孤立审查在逻辑数据模型中是否存在没有与任何实体具有关系的孤立实体工具物理模型表名称模型工具(DA#)根据已构建的单词词典对模型中的表名称进行解析，审查其英文定义是否符合数据标准化工具字段名称模型工具(DA#)根据已构建的单词词典对模型中的字段名称进行解析，审查其英文定义是否符合数据标准化工具主键定义审查物理模型中是否有未定义主键的表工具字段域定义模型工具(DA#)根据已构建的单词词典对模型中的域进行解析，审查字段域是否符合数据标准化工具字段重复审查物理模型中具有关系的表中是否有除了外键之外的其他一般字段名称相同工具中文字段审查物理模型中是否具有利用中文对字段名进行定义的情况工具ⅠⅡⅢⅣⅡ. 数据模型管控-价值§▪模型变更有流程可遵循§▪模型事后变更及时弥补§▪模型审计有据可依§▪数据标准确保落地§▪提升数据质量核心价值直接效果设置数据模型审计专职岗位和设计审计指标构建自动化强，落地性好的软件工具设计及实施数据模型管控流程§▪设计数据架构师、数据标准、数据建模人员、开发人员交互流程§▪设计事前、事中、事后审计及校验流程§▪设计数据模型及数据库对象变更流程§▪设置专职数据建模或数据架构师岗位§▪培养数据架构师，掌握建模技术及业务知识§▪设计符合实际情况且可落地的审计指标§▪数据变现保障§▪模型透明化管理§▪数据架构师、数据标准、数据模型等管理流程配置功能§▪数据标准管理及应用、数据模型管控功能§▪审计校验功能，内置审计校验指标§▪数据库对象自动搜集及差异比对功能§▪数据资产化§▪变更数据共享并公开§▪实现模型数据动态化管理。