数据治理的整体架构
数据治理架构
分类体系 企业架构 建模人员 标准 概念模型 主体领域 数据标准
数据标准/数据模型
单词、用语 域
DATA
SCOPE What
List of Things Important to the Business
申请
元数据库 业务规则 集成资料库
数据标准 数据模型
数据质量
结构信息
数据治理 (DG)
“数据治理是目前一个比较新兴的、正在发展的学科，目前业界对它的定义还不完全一样。”
数据治理涉及的IT技术主题包括元数据管理、主数据管理、数据质量、数据集成、监控与报告等。
Mike Ferguson “Accelerating Enterprise Data Governance” Intelligent Business Strategies. December 2011
法上的认知，能够参与和制定系统整体的规划、管理能力。必须有一个从企业全局看待数据问题
的眼光，才能发现问题根源所在，制定出更全面、更合理的解决方案。（注：学员可自行查阅“ 企业架构”的资料）——在本课程中，学员开发和运维的经验越丰富，感受越多、收获越大。 从商业角度看，数据治理在IT技术中属于较新的、正处在方兴未艾的发展阶段，未来会有更多案 例应用。放眼国际，IBM Infosphere、Oracle BI、Informatica Powercenter等大型数据集成 软件或模块都实现了数据治理的功能；国际上也成立了DAMA International、 DGPO 、 The Data
DATAGURU专业数据分析社区 数据治理及数据仓库模型设计 讲师 郑保卫 孙斌
数据治理的技术组成
数据治理 (DG)
数据治理涉及的IT技术主题包括元数据管理、主数据管理、数据质量、数据剖析、数据分析、数据集成、数 据字典、数据库管理、监控与报告等。
所有与数据有关的技术产出物全部通过知识库(REPOSITORY)实现相互之间共享，知识库作为数据治理的 后台通道，传输不同平台、环境、技术、工具所提交和需要的元数据信息。 数据治理是专注于将数据作为企业的商业资产进行应用和管理的一套管理机制，能够消除数据的不一致性， 建立规范的数据应用标准，提高组织的数据质量，实现数据广泛共享，并能够将数据作为组织的宝贵资产 应用于业务、管理、战略决策中，发挥数据资产的商业价值。
Data governance (DG) refers to the overall management of the availability, usability, integrity, and security of the data employed in an enterprise. A sound data governance program includes a governing body or council, a defined set of procedures, and a plan to execute those procedures. Many companies have difficulty keeping data consistent, synchronised and in a high quality state, Data needs to be managed in a robust way, so Data governance is needed. Data governance processes can be automated using data services built using workflow and deployed on a data Management platform
WEBEE
连接所有家电的智能 HOME RUNNING SYSTEM 起床 商店
Analysis
基于商家交易数据及信用卡 刷卡数据的大数据分析 车站
iBeacon
基于RFID-QR-NFC及 Beacon 的信息推送
Watson Analytics
利用支持自然语言数据分析的WATSON ANALYTICS对销售情况进行分析
最近20年间，中国IT行业快速发展，网络、硬件、软件都飞速发展。随着IT系统建设得越来越多 ，我们逐渐积累了海量的数据，记录承载着各类信息。从我国的媒体来看，2013年至今，“大数 据”也越来越多出现在新闻报道中。当信息量越来越大、数据越来越多时，如何管理这些数据、
让我们能够更高效便捷地使用它呢？
iBeacon
基于RFID-QR-NFC及 Beacon 的信息推送
Watson Analytics
利用支持自然语言数据分析的WATSON ANALYTICS对销售情况进行分析
分析
开会
上班
DATAGURU专业数据分析社区 数据治理及数据仓库模型设计 讲师 郑保卫 孙斌
DATAGURU专业数据分析社区 数据治理及数据仓库模型设计 讲师 郑保卫 孙斌
数据质量 检验信息
CONTEXTUAL
Planner ENTERPRISE MODEL
ENTITY = Class of Business Thing e.g. Semantic Model
CONCEPTUAL
Owner
SYSTEM MODEL
Ent = Business Entity Reln = Business Relationship e.g. Logical Data专业数据分析社区 数据治理及数据仓库模型设计 讲师 郑保卫 孙斌
大数据和我们的生活
WEBEE
连接所有家电的智能 HOME RUNNING SYSTEM 起床 商店
Analysis
基于商家交易数据及信用卡 刷卡数据的大数据分析 车站
iBeacon
基于RFID-QR-NFC及 Beacon 的信息推送
数据治理及数据仓库模型设计 讲师 郑保卫 孙斌 DATAGURU专业数据分析社区
为什么要学数据治理？——对学员
从技术角度看，我们的IT职业生涯不会一直在做最基础的开发和运维。随着技术能力和经验的积 累，自己的在技术部门的职位、在具体项目中的角色，都会提升。这时候我们技术人员所需要具 备的，不仅仅是对某个功能的编程实现，而需要对整个IT系统、甚至企业下的所有IT系统有管理方
分析
开会
上班
销售策 略制定
下班
晚间回家
便民公交
通过对晚间通信分布的 分析，规划夜间便民公交
DATAGURU专业数据分析社区 数据治理及数据仓库模型设计 讲师 郑保卫 孙斌
流动人口密集度分析
优化公交路线
公交车调度设计
DATAGURU专业数据分析社区 数据治理及数据仓库模型设计 讲师 郑保卫 孙斌
大数据时代的数据治理
准确性 Accuracy：准确性用于度量哪些数据和信息是不正确的，或者数据是超期的。
唯一性 Uniqueness：唯一性用于度量哪些数据是重复数据或者数据的哪些属性是重复的。 关联性 Integration：关联性用于度量哪些关联的数据缺失或者未建立索引。 数据质量管理（Data Quality Management），是指对数据从计划、获取、存储、共享、维护、应 用、消亡生命周期的每个阶段里可能引发的各类数据质量问题，进行识别、度量、监控、预警等一系列 管理活动，并通过改善和提高组织的管理水平使得数据质量获得进一步提高。 ——本课程第5课，将 讲授数据质量。
DATAGURU专业数据分析社区 数据治理及数据仓库模型设计 讲师 郑保卫 孙斌
DATAGURU专业数据分析社区 数据治理及数据仓库模型设计 讲师 郑保卫 孙斌
WEBEE
连接所有家电的智能 HOME RUNNING SYSTEM 起床 商店
Analysis
基于商家交易数据及信用卡 刷卡数据的大数据分析 车站
，其使用目的在于：识别资源；评价资源；追踪资源在使用过程中的变化；实现简单高效地管理大量网
络化数据；实现信息资源的有效发现、查找、一体化组织和对使用资源的有效管理。 ——本课程第5课 ，将讲授元数据。 主数据：主数据（MD Master Data）指系统间共享数据（例如，客户、供应商、账户和组织部门相关 数据）。主数据是企业最关心的、最核心的数据，对数据准确性要求非常高；在系统之间的关系图中， 主数据通常处于正中的位置；外围的系统通过主数据系统进行共享数据的交互。 数据标准化： 制定企业级系统的数据标准，以及动态应用、运维、管理标准化成果的流程。 标准数据
审批 退回
质量验证基准
几个名词在本课程中的概念解释（2）
数据质量管理：数据质量，Data Quality，顾名思义就是数据的质量。在软件系统中，可以通过如下属 性来考核数据的质量：
完整性 Completeness：完整性用于度量哪些数据丢失了或者哪些数据不可用。
规范性 Conformity：规范性用于度量哪些数据未按统一格式存储。 一致性 Consistency：一致性用于度量哪些数据的值在信息含义上是冲突的。
制定各类数据的管理规范，落实各类数据对象的管理流程
利用软件工具，及时发现、解决及监控预防系统的数据问题 通过对人员组织、标准规范、管理流程、运维工具等多角度的综合治理，从根本上改善和解决系统中
数据的问题。 —— 本课程后续将分别讲解各部分技术的实现方法
DATAGURU专业数据分析社区 数据治理及数据仓库模型设计 讲师 郑保卫 孙斌
Governance Society 、 The IBM Data Governance Council 、IAIDQ
等多个数据治理组织。国内大型的企业客
户、政府客户在建设大数据的热潮中，对数据治理咨询和实施的需求正在成倍增长。
DATAGURU专业数据分析社区 数据治理及数据仓库模型设计 讲师 郑保卫 孙斌