当前位置:
文档之家› 政务领域大数据应用与数据挖掘V1.5
政务领域大数据应用与数据挖掘V1.5
信息来源:* McKinsey
Variety 多样性
基于云的医疗数据, 如病历、检查、影 像和病理报告等, 预计到2015年将 达到14EB
86%的企业承认, 非结构化数据非常 重要,但只有10% 的企业为非结构化 数据的使用制定了 策略。
一架双引擎波音 737在横贯大陆飞 行的过程中,传感 器网络会产生上百 个种类,共计 240TB数据
信息来源:* McKinsey
Value 价值
• Big Data不等于Big Value. • 如何通过强大的机器算法更迅速地完成数据价值“提纯”是目
前大数据汹涌背景下亟待解决的难题!
各行各业的大数据
2020/12/3 Thursday
数据来源:IDC
在美国,仅仅制造行 业就拥有比美国政府还多一 倍的数据,此外,新闻业、 银行业、医疗业、投资业、 零售业都拥有可以和美国政 府相提并论的海量数据。随 着信息技术的普及和进步, 新的支流还在不断产生,各 个支流流动、交汇和整合的 速度,还在继续加快。
人工智能、机器学习和数据挖 掘等技术迅速发展为大数据提 供驱动力
什么是大数据?4V
价值
大数据是指无法在一定时间内用传统数据库软件工具对其内容进 行抓取、管理和处理的数据集合
Volume 数据量
当今全球的90% 的数据都是在过 去两年中形成的
全球所售的RFID 标签数量预计将 从2011年的 1200万增长到 2021年的2090 亿。
交大美林数据挖掘研究中心
西安交通大学和西安美林电子有限责任公司于2010年共同成立 中心在首席科学家徐宗本院士的指导下,下承担科技成果向生产
力转化的任务
算法国际领先
专业的服务团队
丰富的行业数据处理经验
自主知识产权
2020/12/3 Thursday
3
目录
美林简介 大数据浪潮 大数据的价值 政务领域数据潜在机会
现如今,关于“大数据”的话题早已屡见不鲜!
大数据产生的背景
所有研究都表明,未来数年数据量会呈现指数增长。根据麦肯锡全球研究院(MGI)估计,全 球企业2010年在硬盘上存储了超过7EB(1EB等于10亿GB)的新数据,而消费者在PC和笔记 本等设备上存储了超过6EB新数据。1EB数据相当于美国国会图书馆中存储的数据的4000多倍 。事实上,我们如今产生如此多的数据,以至于根本不可能全部存储下来。例如,医疗卫生提 供商会处理掉他们所产生的90%的数据(比如手术过程中产生的几乎所有实时视频图像)。
政务领域是大数据的拥有者
政务数据是典型的大数据。随着信息化建设水平的日益提升,数据的采集粒度越来越 小,所采集的数据类型越来越多,数据的精细化程度越来越高,数据亦将持续其爆炸 式增长趋势
沃尔玛每小时可 处理100万笔客 户交易,为数据 库注入超 2.5PB的数据。
信息来源:* McKinsey
Velocity 速度
亚马逊借助实时营 销工具向400万个 网站中恰当的客户 投放适当的广告。
路透社向农民提供 天气和农作物价格 的实时资讯,帮助 用户做出决定。
医生们以电子的方 式实时访问医疗设 备,实时远程的监 控和了解病人的状 态。
“大数据”话题的出现
早在1980年,著名未来学家阿尔文·托夫勒便在《第三次浪潮》一 书中,将大数据热情地赞颂为“第三次浪潮的华彩乐章”。
不过,“大数据”一词首次被正式提出并受到广泛关注是在2011年 麦肯锡发布的研究报告——《大数据:创新、竞争和生产力 的下一个新 领域》之中,这份报告研究了数据和文档的状态,同时讲解了处理这些 数据能够释放出的潜在价值。
目录
美林简介 大数据浪潮 大数据的价值 政务领域数据潜在机会
2020/12/3 Thursday
1
西安美林电子有限责任公司
美林是国内大数据领域优秀的数据分析处理与IT解决方案提供商。 公司凭借专业的技术团队及多年的行业服务经验,为电力、金融、航天航 空、轨道交通、国防军工、公安武警等国家重点行业和领域提供以数据挖掘 为核心,涵盖软件开发与实施、数据挖掘、应用集成、IT咨询与服务等在内的 信息化整体解决方案。 美林与太极集团精诚合作,开始研究数据挖掘技术在“智慧城市”建设中 的应用,期望通过数据驱动,更好地发挥“智慧”的作用,提升城市整体的 管理水平与决策能力。
(注:1PB = 1,024 TB)
15
大数据的价值体现
根据麦肯锡2011年5月的调查,通过合理的规划 和使用大数据,使得:
2020/12/3 Th信urs息da来y 源:* McKinsey Global Institute:―Big Data – The next frontier for innovation, competition and productivity‖(201116 年 5 月)
2020/12/3 Thursday
4
何为大?
1MB = 1,024 KB = 1,048,576 Bytes 1GB = 1,024 MB = 1,048,576 KB = 1,073,741,824 Bytes 1TB = 1,024 GB = 1,048,576 MB = 1,099,511,627,776 Bytes 1PB = 1,024 TB = 1,048,576 GB =1,125,899,906,842,624 Bytes 1EB = 1,024 PB = 1,048,576 TB = 1,152,921,504,606,846,976 Bytes 1ZB = 1,024 EB = 1,180,591,620,717,411,303,424 Bytes 1YB = 1,024 ZB = 1,208,925,819,614,629,174,706,176 Bytes
大数据产生的背景
Web Logs、XML档案、地理信息 /GPS点位、传感器记录、RFID Tags、图形、影片、声音等非结构 化数据增长迅速
数据的爆发式增长和社会化趋势 大数据已经成为一种自然资源 机器数据日益重要 大数据不被利用就变为成本
大数据产生的背景
云计算、云存储、云服务、云 技术、物联网等技术的发展为 大数据提供了前提