当前位置:文档之家› 智能化数据质量监控实践及认识

智能化数据质量监控实践及认识


单位数 据审查 、数 据公司审核 多级数 据检 查链共 享专家知 识控 制数据质量 ,让数据 的 日常监督 管理工作 计算机化 。
2 0 年 ,新疆油 田公司基于 规则知识库 的智能化 、自动化 08 检 智能化 ;三 级审签 、回退 ,数据质 量问题 、错 误查询 、 管 理 工作 计算 机 化 ;规 则知 识库 建 立 、维 护 、查询 平 台
担5 个专业的数据监督工作 。
2 几点认识
21 . 目标明确 、功能清晰健全
1 智能化数据质量监控实践
数据监 督的工 作是围绕 数据 的及 时性 、准 确性 、完整
性 、一致性 进行数据 质量监督管理 ,确保 应用系统的数 据
数据质量监控智能化 ,首先需要明确什么是数据质量 ,
数据质量监 督管理 的职责是什 么 。数 据监督管 理是个全新
以期提 高工作效 率 ,实现价 值 、利益最大 化 ,建立应 对未
来挑战 的能 力。新疆 油 田公 司紧随时代 步伐 ,于2 0 年将 08
油气勘 探开发数 据装入计算 机 ,实现 了数字油 田建 设 ,涉 及 油气勘探 开发生产 的2 个 专业 实现 数据 的正 常化管理 , 5
作 为企业知识 经济的核 心部 门——数 据中心 ,承担 着每天 超过5 oL o  ̄ 字节数据入库的数据监督管理工作 ,数据监 督工 作质量 、工 作效 率面 临严 峻挑 战。
源点得 到推 广应 用。
善 、数据源建设等 众多工作 ,应 该清楚的掌握核 心要 素 ,
那 就是 所 有工 作 紧紧 围绕数 据 的 及时 性 、准 确性 、完整
油 田生产数据质量 监控系 统建成应用 ,实现 了数 据三级质 性 、一致陛开展 ,清理完善数据模型 、健全数据三级传输流
程 、制定数据传输加载管理规范、建立数据质量考评机制 ,
实践 与应 用
大 。数据 的及 时性 、准 确性 、完 整性 、一致 性监督规 则设 立 ,传输 加载管理规范 合理制定 ,数据流程 梳理 、数 据监 督台帐算 法建 立等 ,无 不依赖于 科学合理 的数据模型 ,数 据 模型设 计时 ,需要充 分考虑到数 据质量监 督的需要 ,尽 可 能实现从录入 端规范数 据 ,同时 ,确保数 据质量监 督的
下载 ,数据监 督报表 、台帐 、质量公 报 、数据导 入等监 督 将上述工作按数据质检功能 、数据三级审批功能、数据及时 性预警查询功能 、数据质量公报统计分析功能等部署在数据
质量监控系统中 ,为实现高效高质量数据监控奠定基础 。
22 .准确把握数据库模型设计与数据质量控制的关系
化 。 目前 ,系统已在 1个专业4个 二级单位 10余个数据 5 7 40
的 岗位 ,承担 的是应用系 统 “ 上启 下”的工作 ,承接 了 承 应 用系 统开 发投 用后 暴露 的数 据模 型 问题 ;面 对 系统数 使 用。应 用系统一 旦上线运行 ,支撑的数据需要顺 畅准确 输工 作所 涉及 的网络 、系统权限 配置 、结构完善 、功能完
应 用。新疆 油 田面对众 多 的专业 、支撑 1 o 套应用 系统 据源 录入 用户诸多 的不 适应 ,进行 问题协调 、培 训 、推动 1多 的庞大 数据流量 、有限 的数 据监督人 力资源 , 自2 0 年即 05 开始探 索用计算机取 代人工 ,让数据从 录入端检查 、二级 的进行保 障 ,面对数据 源向数据 中心进行正常化 的数 据传
实践 与应用
中国信息界 2 1 年第0 月 总第2 0 2 6 1 期 6
中国化 工学会信 息技术应用量监控实践及认识
刘 英
( 疆油田公 司数据公 司 新疆 克拉玛依 8 4 0 ) 新 3 0 0
摘 要 :高效高质量实现基 于信 息化的企业数据质量 监控 ,聚集 企业各 专业相关的理 论知 识 、标 准规 范,专 家经验、 管理算 法等形成规 则知识库 ,建设智 能化 数据 质量监控 系统是必 由之路 ,新 疆油 田通过建设 实践 , 总结 出七点认识 ,对有效建 设智能化数据 质量监控 专 家系统具有一定指 导借鉴意义。 关键词 :数据 质量 智能化 规则 -, 库  ̄- / R
平 台化 的应 用 ,调动及提 高 了4 个二 级数 据源 单位 1 0 个 7 40 数据源 点数 据录入 、数 据管理人 员的数 据质检水平 ,充分 激发 了每个相关人 员的数据质量监督 责任 ,数据 质量监控 系 统已成为数 据监督管理 不可 或缺的支 撑工具 ,9 %以上 5 的数据 质量问题均 由系统发现并整改 ,数据质量监 控效果 明显提 升 ,数据 中心一 个数据监督管 理人 员能够 高质量承
这 个 “ 经济增长理 论”以来 ,人类社会 已悄然走进 了知 新 识经 济 时代 。 知识 经济 的 兴起 ,使 知 识上 升 到社 会经 济
发展的基 础地位 。进 入2 世 纪 ,知识成 了最重要 的资 源 , 1 “ 智能资本 ”成 了最 重要的资本 ,在知识基 础上形成 的科 技 实力 成 了最 重要 的竞 争 力 。基于 此 ,信 息技 术 快速 发 展 ,各行 各业都在进 行着数 据仓 库建设 、应用系 统建设 ,
多学 科 、多专 业融汇专 家智慧 的规则知识库 建设及管 理 ,让每个 质检监督人 员都变成 专家控制数 据质量 ,解 决
5 8
数据模 型是数据 质量控制 的重要基础保 障 ,能否 有效
实施智能 化数 据质量监控 ,数据模型设 计的合理性关 系重
中国信 息界 2 1 年第0 月 总第2 0 2 6 1期 6
自1 8 年美 围加州 大学教 授保罗 ・ 93 1 罗默提 出知识经济
了油 田生产数 据涉及专业多 、数 据量大 、数 据质检人 员专 业或管理 经验 不足 、数据库 知识欠缺等带 来的水平参差 不 齐 、专 家级合格质检人 员有钱难寻重 大问题 ,让数 据质量 校验 、 督管理高质量 开展成为现实 。用户权限灵 活分级 监
相关主题