当前位置:
文档之家› 大数据可视化数据治理技术解决方案
大数据可视化数据治理技术解决方案
资源共享:云计算能够使政府各部构门能够更好地共享信息化基础资
源,从而改变电子政务基 础设施使用率低、资源需求分散、系统重 复建设严重等问题
创新模式:云计算带来的建设和服务模式能够帮助政府机构将有限 的资源投入在核心任务和专业流程当中,市政府信息化工作重点从
资产管理转向服务管理
降低成本:利用云基础设施可以快速实施新新项目,从而节约时间 并降低部署成本,提高政府运行效率,更快响应公众需求
数据关系力求明确清晰
少量的样本数据
乐于接受数据的纷繁复 杂
全量数据
探求难以捉摸的因果关系
要求数据精确无误
传统数据分析思维
数据处理思维转变
转而关注事物的关联关系
数据的精确不是那么重要了
大数据分析思维
案例一
• 谷歌翻译系统为了训练其系统,收集其能找到的所有翻译; • 谷歌收集了上万亿页的语料库,包括质量参差不齐的文档; • 上万亿的语料库,相当于950亿句英语; • 相对而言,谷歌的翻译质量还是最好的; • 谷歌翻译之所以更好,不是因为它拥有一个更好的算法机制,而是增 加了各种各样的数据,包括有错误的数据;
管
创新目标
理
供给侧改革
创
新型城镇化
简政放权
新
创新 举措
管理体制创新-碎片化到网格化管理 管理方法创新-数据开放,共享 管理模式创新-动态管理 管理方式创新-数据应用体系 科学决策-决策方式
1
三
步2
走
政府数据体系建设: 自有数据+外部数据
政府数据应用: 内部应用+外部应用
逐步建立服务政府,
3 提升效率,科学决策
目录 Contents
第一章 建设背景&需求分析
1、国家大数据战略
2、大数据综述
第二章 大数据可视化平台建设
第三章 大数据平台数据治理方法
第四章 大数据质量管理平台
1 建设背景及需求分析
中国大数据发展战略
十三五信息化:云计算+网络+大数据+安全
云计算在放大资源支撑能力、创新的建设和服务模式等 方面的特点,使它成为新型电子政务建设的基础技术架
随需服务:云计算使IT系统具备可扩展、可兼容性和可伸缩特性,使 IT系统能够快速使用和满足不断变化的电子政务应用系统的建设要求
国家大数据战略核心内容
加快建设数字中国
加快完善数字基础设施,推进数据资源整合和开放共享, 保障数据安全,加快建设数字中国,更好服务我国经济社 会发展和人民生活改善。
助力产业转型升级
把大数据作为基础性战略资源,全面实施促进大数据发展 行动,加快推动数据资源共享开放和开发应用,助力产业 转型升级和社会治理创新。
ห้องสมุดไป่ตู้
全面推进重点领域大数据高效采集、有效整合,深化政府数据和社会数据关联分析、融合利用,提高宏观调控、市场监管、社会治理和公共服务精准性和有效性。依 托政府数据统一共享交换平台,加快推进跨部门数据资源共享共用。加快建设国家政府数据统一开放平台,推动政府信息系统和公共数据互联开放共享。制定政府数据共 享开放目录,依法推进数据资源向社会开放。统筹布局建设国家大数据平台、数据中心等基础设施。研究制定数据开放、保护等法律法规,制定政府信息资源管理办法。
深化大数据在各行业的创新应用,探索与传统产业协同发展新业态新模式,加快完善大数据产业链。加快海量数据采集、存储、清洗、分析发掘、可视化、安全与隐 私保护等领域关键技术攻关。促进大数据软硬件产品发展。完善大数据产业公共服务支撑体系和生态体系,加强标准体系和质量技术基础建设。
中国大数据正处于高速发展的窗口期,国家政策大力支持
48%
53%
59%
53%
60%
56%
50%
40%
30%
20%
10%
116 172 264 420 643 1000 0%
2015 2016E 2017E 2018E 2019E 2020E
注:数据不包含基础设施部分 数据出处:工信部研究院
政府通过大数据实现管理创新,释放经济价值
大数据时代政府要领跑,需通过广泛采集数据、综合处理数据,实现公共服务的技术创新、管理创新和模 式创新,这是大数据时代的必然选择。
2015年我国大数据市场规模达116亿元,预计未来五 年50%高速增长
社会
法制法规逐步完善
已出台《电信和互联网用户个人信息保护规定》,但 仍存在诸多问题
技术
技术是基石,加大Hadoop、Spark投入
大数大据数应据用应仍用处仍于处初于级初技级术技阶术段阶段
1,200
70%
1,000 800 600 400 200 0
现公共数据资源合理适度向社会开放
大数据 远景
成为重要战略资源
大数据将成为企业、社会和国家层面重要的战略 资源
与云计算深度融合
云计算为大数据提供弹性可扩展的基础设施支 撑环境以及数据服务的高效模式
数据隐私标准建立
出台信息公开与个人隐私相关法规 明确数据隐私的标准和条例出台,保障数据安全
大数据综述
数据处理思维转变
2020年,中国的数据总量将占全球数据总量比例的 20%,成为世界第一数据资源大国和全球数据中心。
2020年,中国大数据市场规模将达1000亿元
政策
国家级大数据战略陆续发布
十八届五中全会提出实施“国家大数据战略”,国务院发布《促 进大数据发展行动计划》、《大数据“十三五”规划》
市场
大数据市场规模50%高速增长
7、夯实运营基础,打造大数据综合运营能力
中国大数据未来五年发展趋势
产业规模
中国大数据产业规模年均增长率将超过50% 大数据产业包括应用市场、基础设施和软件市场
政策制度
建立数据标准和税务标准体系 政府与企业成立大数据相关部门
数据开放
2017年底形成政府跨部门数据资源共享共用格局 2018年底前建成国家政府数据统一开放平台,实
的创新管理模式
“七步走”解决政府面临的大数据痛点
数据 分散
数据 保密
管理 机制
信息烟囱
1、设立专管机构,完善管理体系
利益 割据
技术标准 不统一
安全保障
2、整合数据孤岛,统一数据标准 3、构建数据汇聚体系,打通数据整合通道 4、设计数据存储策略,提升数据存储效率 5、打造完整数据治理体系 6、制订开放共享策略,促进数据融合安全发展
• 在谷歌的翻译团队中,大多数工程师并不懂其翻译出来的语言;
案例二 • 聘请了20多名书评家和编辑组成的团队,在网页上创立“亚马 逊的声音”向客户推荐新书,写书评; • 通过客户的购买历史,寻找客户的相似性,对客户分群进行产 品推荐,推荐的总是与以往购买的相似或略有区别; • 通过大量的数据分析,找出书籍之间的关联关系,即“itemto-item”,时亚马逊发生了天翻地覆的变化。 • AMAZON销售额的三分之一来自于“item-to-item”的推荐系统 。 • AMAZON最终放弃了在线书评,书评团队被解散。