第9章 电子政务数据质量
数据质量管理PDMA循环源于传统产业质量管理的PDCA (计划-Plan,执行-Do,检验-Check,调整-Action)循环, 如图9-1左侧;改进后为数据领域的PDMA(计划-Plan, 实施-Deploy,监控-Monitor,行动-Act)循环,如图9-1 右侧。两者皆通过循环比对质量目标与现况来改进质量, 差异是数据质量强调在计算机与网络环境下开展实时性系 统监控。
• 针对业务需求,建立具体的、针对各作业环节的数据质量 评估标准与保证措施。
• 根据业务流程,建立跨系统的数据质量意识与管理体系传 导模式,构成政务数据质量保证链。
• 改进政务数据质量,在满足政务系统内外业务的质量水平 上,随用户检验的提升要求改进数据质量与管理模式。
• 为动态测量、监控和交流政务数据质量水平,提供一致性 的监测衡量与管理程序。
(3)格式一致性 特定数据项的一种或多种格式数据项,如 用4数字段+间隔格式来显示银行账号、电话号码等。
(4)映射一致性 将一数据项的值映射到相应的其他等值域 的不同表达,如IP地址通过DNS映射为相应域名。
3)记录完整性模板
通常在系统界面上,依据相应规则给出哪些输入数据项可省 略、哪些不可缺失,以保证关键字段的完整性。
4)正确性模板 模板将数据值与系统后台的相应标准值进行比对,以验证 其正确性。
5)唯一性模板
此规则要求实体具有唯一性,要求仅有一条记录与对象相对 应。
6)关联性模板
当输入某项数据时,与其关联的一条或多条数据项也显示并 参与检验。
还有其他类型的规则模板等。规则模板的优点是将质量控 制规则设计到业务进程中,通过内嵌规则引擎、数据分析 组件、数据描述工具、标识代码比对库等来辅助数据质量 管理。
(3)建立自动或事件驱动的缺陷数据纠正机制,使其能满 足业务要求。
流程(1)使用数据期望值,判断运行中的数据集是否在允 许特性与值域范围内。复杂规则可将其与(2)及(3)流 程结合运用,包括当实际数值不符合质量时的报警与对数 值的纠正提示。
这些业务规则可用模板定义,具体如:
1)值域模板
说明数据项的指定值是从某个定义域中选用的数据值,如我 国行政区划代码中的前2位代表省(直辖市、自治区);
以上指标构成了数据质量管理维度,可据此对质量规则分 类。根据实施之需,对度量的颗粒度进行细化,如数据值、 数据元、数据记录和数据表等。
9.4.2.2 数据质量指标的选择与定义
9.4.2.1给出了常规数据质量要求,具体政务系统中, 指标选择有两个要点。一是指标定义的过程不能在数据质 量管理的最后阶段才进行,而要在数据质量战略制定、设 计和规划阶段开始,其后在实施中不断增减与改进指标; 二是指标选择、构建数据质量管理维度时,要考虑以下一 些指标特性。
质量体系分为质量管理体系和质量保证体系,在非合同环境 下,企业只建立内部质量管理体系;在合同环境下,企业 还须建立质量保证体系,以保证上下游质量控制链的完善。
显然,这些针对传统产业的质量体系概念,对于电子政务数 据质量领域,其基本理念与方法也适用。但电子政务属虚 拟产业,数字领域中的质量体系、质量管理与控制理论等 仍在完善中,各领域的实践也在数据治理的框架下进行中。
口(C)。 • 清洗并纠正数据质量缺陷(O)。 • 设计并实施数据质量管理作业程序(D)。 • 监测政务数据质量管理的操作程序与绩效(C)。 这些内容构成了政务数据质量管理的一般活动框架。
9.3.2 政务数据质量管理的对象、参与者、工具与测量体系 1)管理对象 数据质量管理的对象包括数据元素、元数 据、主数据、参考数据、各类业务与管理数据等,以及与 数据相关的各级工作者。
图9-1 传统质量管理的PDCA循环(左) 与数据质量管理的PDMA循环(右)示意
9.2.3政务数据质量意识与质量管理目标
1)建立政务数据质量意识
数据质量不仅涉及技术、体制与管理,更多的是质量意识问 题。政务数据质量意识包括能将数据质量问题与其实质影 响联系起来,向监管者保证系统化的数据质量管理方法对 机构内外的数据质量进行全面考察,还应向所有人员传递 “政务数据质量问题不能仅靠技术手段解决”、“政务数 据质量贯穿政务系统生命周期全过程,直接影响社会服务、 公众体验”等理念。
(1)制定数据质量现状的评估计划与衡量指标。 (2)实施数据质量测量与改进的流程。 (3)动态测量与监控按业务需求规定的数据质量水平。 (4)执行解决数据质量问题的方案,达到改进与提升质量
的效果等。
9.2.2 政务数据质量管理方法
传统产业的质量管理有许多成功经验与方法,可用于电子政 务领域,其中最具代表性的是数据质量管理PDMA循环。
4)测量体系 数据质量测量体系包括以下内容: (1)数据内容比对。 (2)数据值分析。 (3)错误/不合规对象的检出。 (4)质量查验与校正。 (5)质量水平的达成。 (6)跨机构间数据质量管理的接口契合度。
9.3.3 数据质量的供给、输入与成果
数据质量管理的主要目标,是保证各项服务业务的正确运行, 不断提升数据质量以支持新服务项。故数据质量的供给包括 质量标准、管理技术、测评方法、控制机制、体制衔接等方 面的输入,其成果也包括了能在机构内部与机构间切实实施 的多种规章制度、关键点检测、系统日志、作业台账、异常 报告、处理纪录等。
表9-1给出了适合的监测技术用于相应的数据质量业务规则。
9.4.2.5 确定政务数据质量控制水平
数据质量控制水平用于定义政务系统、特别是跨机构业务整 合系统中,数据质量的标准符合程度。由于数据质量控制 的水平、规模、范围与业务性质等均与成本相关,故确定 合适的控制水平对系统的建设与运行颇为重要。虽然数据 质量检查有助于隔离缺陷数据、分析其根源,提供在预定 时间与范围内纠正错误根源的机制,但从表9-1也能看出, 过深的控制水平需要系统在检索、运算、检测、比对、统 计与校验等方面较大的开销与负担,导致成本增加和服务 效能下降。
2)一致性模板
以跨机构间一致理解与认可的数据内容与表示为前提,建立 质量控制模板,控制以下4种一致性:
(1)内容一致性 包括概念定义、要计算字段的算法、相应 时间或本地的限制条件,精度规则等。
(2)值域一致性 数据项的取值必须满足事先约定的数值、 字典或时域范围,例如:大于0且小于100的数值范围等。
9.2 政务数据质量管理概念
9.2.1 政务数据质量管理定义与内涵 1)政务数据质量管理的定义
政务数据质量管理的定义是:通过计划、实施、控制与改进 活动,运用系统化、网络化质量管理技术来测量、评估、 改进以保证政务系统中各类数据的正确使用。
2)定义的内涵 --- 政务数据质量管理的内涵是,根据政务业 务需求定义合适的数据质量水平与管理体系,包括:
第九章 数据质量管理
9.1 政务数据质量管理概述
数据质量对于政务服务至关重要,在跨系统整合共享需求 下,它是不同机构能否成功构建应用的前提。它由政府系 统内部与外部数据质量需求、质量控制、质量验证与质量 改进等内容组成,涵盖政务数据的创建、采集、加工、转 换、传输与发布等整个生命周期。二)系统数据维护、特别是跨系统数 据追溯与维护困难;(三)政务服务差错;(四)公众服 务体验不佳,满意度下降;(五)用户投诉增加,出现较 多负面评论;(六)政务业务与管理数据失真;(七)机 构间资源共享与交互出现问题;(八)高层决策依据的数 据错误或缺失;(九)政务系统运行效率下降,等等。
• 政务数据质量管理是系统性问题,它在“人类-网络-社会” 环境中,包括:确立与各项政务活动的数据质量需求、构 建数据监测流程、定义数据质量指标及反映其变化与波动 的监控措施。可再将其转换5种控制需求:①针对政务业 务构建数据质量指标体系;(二)依据指标体系建立相应 的单项与关联控制规则;(三)确立各指标可接受的阈值; (四)动态记录业务运行中的数据质量情况;(五)针对 记录中检测到的各种冲突、不一致与错误等报警,供管理 人员处理,并将其加入控制规则等。
9.4 政务数据质量体系
9.4.1 质量体系概述
质量体系的定义是指为保证产品、过程或服务满足规定(或 潜在)的质量要求,由机构、职责、程序、活动、能力和 资源等构成的有机整体,即为实现质量目标而建立的综合 体。传统企业为实施质量管理,生产出满足规定和潜在要 求的产品和提供满意的服务,达到既定的质量目标,必须 通过建立和健全质量体系来实现。
1)可度量性 2)业务相关性
3)可接受度 4)可控性 5)可跟踪性
9.4.2.3定义数据质量业务规则
应动态检查政务数据质量是否满足业务规则,并监控质量对 业务规则的符合度,为此需要以下措施。
(1)将不满足业务需求的数据值、记录和记录集与有效的 数据值、记录与记录集作比对。
(2)生成通知事件,向数据管理员提示出现的质量问题。
电子政务是人-机系统,数据质量的主导因素在人,关键是建 立人的数据质量意识,核心是建立相应的考核与奖惩机制。
2)政务数据质量管理的一般目标
数据质量针对系统各级管理阶层有不同的要求,一般目标 如下:
• 在机构内与参与机构间建立质量意识,让业务合作者、用 户与上下游关联机构参与,同时,系统开发与运行者等都 应强化数据质量意识。
9.4.2.4 数据质量监控模式
对于政务数据质量是否符合业务规则,有针对数据流与数据 批的2种测量监控模式;相应对象也有3种颗粒度:数据值、 数据实例或记录及数据集;这就组成了6种可能的质量监 测方案。如对数据创建时进行数据流测量,对长期存储的 数据记录集进行数据批测量。
将数据质量控制和测量流程嵌入政务业务处理流中,可实现 持续性监控。但因此要测量整个数据集,故在数据量较大 的情况下,测量不太可能以数据流方式实现,较为可行的 是在不同处理阶段间隙进行数据集交互测量。
3)政务数据质量管理的具体目标 政务应用中,数据质量有一些技术性目标,具体如下:
数据丢失:应包含数据却未填写,或填写字段不完整。 数据错误或不准确:信息未被正确输入或未得到正常维护。 数据不对应:数据被错误地输入到了其他栏目。 格式不符:数据未依照记录系统需要进行标准化处理。