大数据时代的机遇与挑战
Simon I. Hay, Dylan B.
George, Catherine L. Moyes, John S. Brownstein. Big Data Opportunities for Global Infectious Disease
Surveillance. Plos One. 2013.
Jee K,Kim GH.Potentiality of big data in the medical sector:focus on how to reshape the healthcare system [J]l Healthc. Inform. Res.,2013,19(2):79—85.
3、协同方式——从部门信息独立到部门间数据共享。
大数据时代,政治领域的终极目标是:开放数据——智慧政府。
2008年,谷歌利用从各国卫生组织获取的数据,制作出一款“全 球流感地图”,用于预测世界各地爆发流感疫情的可能性,指 两年后,H1N1病毒肆虐全球,谷歌的“全球流感地图” 导游客安全出行。 成功派上用场,准确预测出患病高发地区,有效地指导 人们进行预防。
磁盘发明到现在已近60年,原来的数据存储和现在的 数据存储有哪些不同?
1956年,第一块硬盘容量只有5MB,体积比2个冰箱还大。2013 左边是 1987年的机械硬盘容量只有 年,东芝发布了世界上第一个 1981年DEC的机械硬盘,用当时流行的14”的盘片制成。 NAND 闪存。从 2005 年到 1974 200MB ,重达 10 磅。而 2013 年一个 年主力硬盘容量是4TB,大小只有3.5″。希捷预计,2020年, 而右边是希捷的微硬盘,尺寸比1.8″还小,但容量大得多。 2014 年间, MicroSD 的容量提升了 1000倍。10年1000倍。 东芝 512GB 的 PCIe NAND 闪存磁盘,只有一条内存大小。 采用新技术的机械硬盘的容量将达 60TB。
2013年两会期间,有代表提议将发展“大数据”上升为国家战 略。大数据的发展,将极大地改变政府的管理模式,有利于节约政 府投资、加强市场监管能力、提高政府决策能力、提升公共服务能 力,实现区域化管理。 大数据背景下,我国电子政务创新模式的转变: 1、关注焦点——从信息向原始数据转变; 2、数据增值——从信息公布到数据开放转变;
我国网民数量居世界之首,每天产生的数据量也位于世界前列。 序号 1 类别 淘宝 数据大小产量 道路电子 眼(8Mbps) 中型城市每月数据产量 >5万GB 约4万TB 约60亿次 约1万亿页 1万PB 约3.6GB 约2.6万TB
业、经济及其他领域中,决策将日益基
于数据和分析而作出,而并非基于经验 和直觉。
1、舍恩伯格认为:当前,人类已 进人大数据时代。国际数据公司的 2、2012年3月,奥巴马政府发布了 研究结果表明:2011年全球产生的 “大数据研究和发展倡议”,拟投 3、2012年5月,联合国发表《大数 数据量高达 1.82 ZB 资2亿美元,启动“大数据发展计 据促发展:挑战与机遇》政务白皮 ( 1ZB=1024EB=1024^2PB=1024^3 划”,以期在科学研究、环境、生 书中,指出大数据对于世界各国是 TB=2^30TB ). 物医学等领域利用大数据技术进行 一个历史机遇,探讨如何利用包括 突破。 [Mayer-Schonberger V.,Cukier K.Big Data: 社交网络在内的大数据资源造福人
3 辍学率
升学率
8 7
5
作业的正确率
4
课堂 举手次数
5 识字的准确率
6
美国联邦政府教育部2012年参与了一项耗资2亿美元的公共 教育中的大数据计划,旨在通过运用大数据分析来改善教育。联 邦教育部从财政预算中支出2500万美元,用于理解学生在个性化 层面是怎样学习的。 加拿大教育科技公司Desire 2 Learn已经 面向高等教育领域的学生推出了:基于过 去学习成绩数据的预测,并得出如何改善 未来学习成绩的大数据服务项目。通过监 控学生阅读电子化的课程材料、提交电子 版的作业、通过在线与同学交流、完成考 试与测验,就能让计算程序持续、系统地 分析每个学生的教育数据。老师得到的不 再是只展示学生分数与作业的结果,而是 更为详细的重要信息。
1、智能终端的普及
2、网络带宽的提升
3、电子商务的狂热 4、社交网络流行 5、热点地区预测 6、云计算的兴起 7、物联网时代的到来
全球流量累计达到1EB(即 1024^2TB)的时间:
一年(2001)
一个月(2004)
一周(2007) 一天(2013) 一天产生的信息量可刻满 1.88亿张DVD光盘
一 二
走进大数据时代 大数据时代的机遇
三 大数据时代的挑战
最早提出“大数据时代” 是全球著名咨询公司麦肯锡。 麦肯锡称:“数据,已经渗透到当今每一个行业和业务职能
领域,成为重要的生产因素。人们对于海量数据的挖掘和运
用,预示着新一波生产率增长和消费者盈余浪潮的到来。” 《纽约时报》2012年2月的一篇专栏中 所称 ,“大数据时代”已经降临,在商
目前大数据在金融领域的研究与应用还 处于初级阶段,但价值已经显现。未来, 大数据可能成为最大的金融交易产品,成
为金融领域的重要基础设施。
平均每道题花费的时间
考试时 11 答题的顺序
师生互动的 10 时长与频率
12 1
学习成绩
2
学校教育中的 “大数据”
入学率
回答问题的 时长、正确率 9
回答 问题的次数
潜在 利益 群体
观众
节目 组
竞争 者
明星
赞助 商
《纸牌屋》是从3000万 付费用户的数据中总结 收视习惯、选择, 仔细 分析400万条评论、300 万次主题搜索,并对用 户喜好精准分析的基础 上进行创作的。从受众 洞察、受众定位、受众 接触到受众转化,每一 步都由精准细致高效经 济的数据引导,从而实 现大众创造的C2B,即 由用户需求决定生产。
2012年 奥巴马的竞选团 队对数以千万计的选民邮件 进行数据挖掘,精确预测出
更拥护奥巴马的选民类型,
并进行了有针对性的宣传, 从而帮助奥巴马成为了美国 历史上唯一一位在竞选经费 处于劣势下实现连任的总统。
国双数据中心发布的 《中国政府网站发展
数据报告2012》中显
示:政府网站用户的 总体跳出率为63.33%, 即有2/3左右的用户来 到政府网站之后,仅
访问一个页面就离开
了网站。
2013年10月,济南电子政务数据交换平台正式启用。该
平台基于云计算理念,成功将工商、国税、质检、公安、
社保等20多个部门数据共享。国税局与地税局通过数据比 对,发现了25000条数据差异,落实纳税企业5000多户,补 缴税款2700多万元。
随着GB /T2818-2011 交互 一体机与 高清摄 半球摄 无线摄 传感 编码器 像机 像机 像机 装置 感知层 “智慧城市”基于物联 《安全防范视频监控联网 “智慧城市”所具备的 网、云计算、大数据处理 系统信息传输、交换、控 网络 金盾网 监控专网 基本特征简称“4 广域网 I”,表 传输层 等技术,旨在构建一个可 制技术要求》于2012年6月 述如下: 感知、可预测判断、可数 1日正式生效,基于大数据 海量视 流媒体 管理 智能分析 卡口管理 统一 ( 1 ) Information 频分析 服务器 据安全共享、可自动度量、 服务器 服务器 服务器 网管 支撑 的城市大联网平台建设已 服务器 平台层 (2)Intelligence 调配的富有生命力的现代 CSS2000云存储平台 IEC3.0计算资源虚拟化平台 经成为未来几年智慧城市 (3)Innovation 城市安全、卫生关系数据 建设的首要任务。 交通 治安 刑事 移动 (4)Interaction 业务 …… 管控 管理 侦查 监控 系统。 应用层
大数据(big data)是指由于容量太大和过于复杂,无法在一定 时间内用常规软件对其内容进行抓取、管理、存储、检索、共 享、传输和分析的数据集。大数据具有“4V”特征: (1) Volume; 数据容量一般在1PB以上;
(2) Variety;数据类型繁多,包括结构化、半结构化和非结构化;
(3) Velocity; 产生与更新速度快,时效性高; (4) Value; 蕴含着新知识,以及极其重要的预测价值。
大
我们现在能够捕捉到的数据量越来越大。其实,并非数 据量越大越好,而是我们能够捕获多少有用信息。 我们总希望能够找准方向进行预测,但是在目前的大数
乱
据环境下,我们越来越摸不清方向。 大数据之间必然存在着某种联系,这种关联,必将有助
于我们去更好地进行预测。因此,在大数据面前,我们 应尽量做到谦卑。
关 联
通过大数据分析可以得到解答以下问题: 一个学生成绩差是因为周围环境造成的吗? 师生每节课互动的时长与频率各为多少,有助于学生吸收 知识? 期末考试不及格是否说明学生未掌握学习内容,还是因为 他请了很多病假的缘故?
入学成绩对升学率/辍学率有多大影响?
……
截据。基于LBS(基于地 理位置的服务)平台把定位信息汇总成大数据进行分析,即
a revolution that will transform how we live, work ,and think[M].Boston:Houghton 类。 Miflin Harcourt,2013.
《大数据时代:生活、工作
与思维的大变革》一书的作者维 克托〃迈尔〃舍恩伯格,如是说, “如果个体的人,拒绝大数据时 代,可能会失去生命;如果是一
2013年,世界范围内大数据总产值保守估 计为186亿美元,但广义的大数据应用几乎覆 盖所有产业。据麦肯锡公司预测,开放数据 仅在教育、保健等7个行业便释放3.2~5.4万亿 美元的经济价值。
公共服务 …… 传媒业 机械工程 天文学 情报学 电子政务 图书馆学 地理 社会学 生物医学 商业智能 市场营销 企业管理 气候学 政治领域 教育学 生活娱乐 …… 金融领域