大数据发展发展趋势分析报告2012年,全球数据储存量达到1.8ZB,这是什么概念?它相当于每个中国人,每分钟发3条微博,一共要写2.6976万年才能写完。
四年过去了,全球大数据储量是2012年的8倍,而用于存储数据的全球服务器总量还将增长十倍。
预计到2020年,全球大数据市场规模将达到1263.21亿美元,据数据显示,目前70%的大企业和56%的中小企业已经部署或是正在计划部署与大数据有关的项目和计划。
全球大数据市场结构正在从垄断竞争走向完全竞争的局面。
美国:美国是大数据发展的领跑者,美国政府一直积极出台大数据相关政策。
现今,美国的大数据产业发展广泛渗透到经济、政治、教育、安全和社会管理等领域,步入大规模商业化阶段。
大数据已成企业发展的巨大引擎。
“Facebook”、“Twitter”项目的成功,标志着信息技术企业加快推动大数据业务的发展,大数据的使用将成为领先企业与其他企业之间最显著的差别。
大数据也成为新的盈利模式,正在推动改革企业的决策模式、运营模式和竞争模式,成为企业发展战略的重要组成部分。
政府对大数据政策的支持在美国总统奥巴马宣誓就职后的第一个工作日就签发了“开放政府”备忘录(Memorandum on Transparency and OpenGovernment),指导新一届行政当局从开放政府数据源、建设开放型政府入手,以数字革命带动政府变革。
“开放政府”的目的简洁明了:改进公众服务,提升公众信任,更有效管理公共资源和增进政府责任。
互联网时代的开放型政府,首先必须开放政府数据。
紧随其后,总统签发“开放政府数据”行政令(The Open Government Directive),要求在45天内所有政府部门无一例外必须向社会开放3个有价值的数据源。
在大数据法律方面:美国总统要求超前思考“大数据”对人类社会的影响,重点研究现有技术和未来技术会对现行法律带来哪些挑战,哪些法律和政策需要修订或制定以适应变化。
为了更进一步发展大数据产业,美国政府发布了《联邦大数据研发战略计划》,以加速其2012年提出的“大数据研发行动”进程。
应用案例:大数据在公共设施方面的应用1.在夏威夷四处可见防海啸警报器,但这些警报器里的电池经常被偷,直接导致政府无法准确掌握各个报警器在紧急状况下能否使用,所以他们利用大数据技术,发明了一个“报警器中的报警器”,可以及时获取所有报警器的实时数据,避免了海啸发生前由于数据无法准确掌握造成的重大损失。
2.在拉斯维加斯政府利用大数据开发了城市的市政基础设施网络仿真模型,可以全面掌握市政管网信息,避免发生被施工活动误挖的情况,通过模型观察路面和地下的各种管理线设施,管理者可以实时掌握地下关键资产的位置和状况。
3.整个加州电网系统运营中心管理着加州超过80%的电网,向3500万用户每年输送2.89亿兆瓦电力,海量的数据提高了管理难度,所以他们利用天气、传感器、计量设备等各种数据源的海量数据来平衡全网电力供应和需求,对潜在危机做出快速响应。
大数据在交通管理和治安管理方面的应用1.里昂政府为了避免交通堵塞的发生,减少堵车对市民的影响,应用IBM开发的“决策支持系统优化器”,根据相关数据做出决策,帮助应对解决意料之外的交通事故,并优化公共交通,得到实时交通报告,其中包括大量的交通摄像头数据、信号灯数据、天气数据等,通过及时调整信号灯使车流以最高效率运行,辅助处理突发事件,预测可能发生的拥堵情况。
2.2013年,波士顿国际马拉松赛现场发生了连环爆炸弹袭击事件,为加速侦破案件,FBI在波士顿马拉松爆炸事件案发现场附近采集了10TB左右的数据,FBI利用移动基站存储的电话通讯记录、周边摄像头的监控录像和志愿者提供的影像资料等,调查人员通过比对、查找和分析,最终确定了犯罪嫌疑。
新加坡:“对于新加坡,数据就是未来流通的货币,而我们目前所做的就是将新加坡打造成全球数据管理中心,从而有能力与企业合作,将数据的潜在价值转化为可见的商业利润。
”——新加坡经济发展局资讯通信与媒体业执行司长吴汭刚政府对大数据政策的支持新加坡政府提出支持企业采用大数据技术、利用大数据提升政府服务水平,从基础设施、产业链、到人才,最后到技术和立法,新加坡政府抓住了企业大数据发展的五大关键要素,弥补了企业发展的短板。
数据基础设施方面:作为世界上十大高速网络架构之一的新加坡,承载了东南亚地区半数以上的第三方数据中心储存量。
新加坡已确立其作为全球数据管理枢纽的地位,汇集了东南亚超过50%的商业数据托管及中立运营商数据中心。
大数据产业链方面:在大数据产业链中,横跨了包括数据提供者、存储商、分析和挖掘商,以及应用企业等。
对于企业,往往只有应用能力,却缺乏获得、存储和分析与挖掘大数据的能力。
而在这方面,当然要依靠产业链中相应的服务商,但政府在产业链建设中发挥了关键性的作用。
在数据挖掘方面,鼓励大学设立数据挖掘和分析平台,2012年,新加坡管理大学(SMU)推出的“Livelabs”创新平台,旨在增强新加坡在消费者和社会行为领域的数据分析能力;鼓励企业设立数据分析中心,一些企业通过在新加坡设立数据分析中心,洞察亚洲市场需求,已成功地实现了区域市场业务的拓展。
在交通方面:新加坡的土地管理局研发了为基于位置服务的企业提供了开放数据平台的电子地图,新加坡陆路交通管理局则通过公共数据开放计划开放新加坡交通数据,鼓励企业甚至是个人开发提升公共交通效率的应用软件。
在环境方面:新加坡环境局与多家企业合作,研究如何收取降雨量,并通过掌握不同地区环境的数据,来预测哪个地区接下来会爆发热带地区可能产生的疾病。
在大数据人才方面:由于数据人才的稀缺,新加坡积极培育为政府工作的数据人才。
并于企业及高校展开合作,确保学生获得必要的专业知识和技能。
大数据技术方面:大数据存储、分析和挖掘技术与产品往往需要巨大投资,但是一般的企业无法承受这样的投资,此时政府的作用就尤为重要。
而新加坡在其中,从来就没有缺位。
在立法方面:大数据的发展总是伴随着与个人隐私权的冲突,而能否通过立法明确保护个人隐私权是大数据能否良性发展的关键。
新加坡于2012年公布了《个人资料保护法》作为一项较为宽松的立法,旨在防范对国内数据以及源于境外的个人资料的滥用行为。
该法案的出台使公民得以进一步了解个人资料的使用途径;同时,在进行个人信息处理的过程中,也加强了企业与客户之间的信任程度。
新加坡在收集、存储大量数据的基础上,对数据进行有效的分析与应用,从中获得经济价值。
到2017年底,预计数据行业将为新加坡经济贡献十亿新元的增值,并培养2500名跨领域数据分析专业人才。
应用案例:大数据与公共交通创新新加坡的公共交通系统非常善于利用大数据技术,举凡电子道路收费系统、易捷通卡、早鸟免费乘车计划、巴士等候服务标准、的士预召系统、体温红外线监测与的士排队等候、道路步行适宜度等都可以看到大数据利用的身影。
为了缓解中央商务区的拥堵,新加坡推行电子道路收费(ERP)系统,在核心区域设置不同价格的收费路段和时段。
在其推行的早期主要靠人工来收费,经常出现几个人拼车以规避收费的案例,但该政策仍然执行得非常好。
现在则是通过“电子眼”和汽车上的行车记录仪,由此产生有关汽车移动的海量数据。
未来,政府计划利用全球定位系统(GPS)来对汽车进行定位和收费,将更加准确地记录汽车的行走路线和距离,从而为更有效地管理机动车提供基础。
新加坡采用的易捷通卡(EZ-Link)使大数据利用成为可能,并推动了公共交通的智能化发展。
乘客广泛使用易捷通卡,每天只有不足3%的乘次通过现金或单程卡付费。
换句话说,97%的乘客都使用该卡,且在上下车时都要刷卡,由此产生的海量数据也为公共交通决策优化提供了可能。
比如,陆路交通管理局实验早鸟计划,监测早高峰期前的免费乘车提议是否能够缓解交通拥堵状况。
再如,路交局推动巴士等候服务标准,利用基准数据设定巴士等候时间,据此对巴士运营商予以奖惩。
路交局还推出MyTransport手机应用程序,将所有交通信息“一网打尽”,为乘客和驾车者提供实时路线规划服务,方便他们提前规划线路并规避拥堵。
目前,该服务已经可以结合使用者的地理位置和实时交通状况,为其规划最合理的交通路线。
此外,在出租车管理方面,政府鼓励业者开发电子预召系统,路交局也开发了自己的预召系统。
政府还在出租车站试验站点热感应技术,以估计排队等候的乘客拥挤状况,并为出租车调度提供依据。
大数据与反腐败的应用新加坡一直都被国际组织“透明国际”评为最清廉的国家之一,在维护政府廉洁和打击腐败方面表现突出。
在其早期的反腐策略中,科技并没有被突出出来。
因为科技手段被腐败分子所利用,反腐败也需要利用科技工具予以还击。
最近,科技反腐被新加坡政府一再强调,在反腐方面,新加坡也积极利用大数据技术。
新加坡建立了任人唯贤的文官制度,在政治家和公务员的遴选方面,建立了一套行之有效的制度框架。
许多公职人员为政府奖学金得主,他们从小就接受政府和学校逐级进行的心理测验和各类考试,积累了一套贯穿生命周期的数据。
基于这些数据,政府可以追踪每个人的求学和从政经历,并预测其贪腐概率。
政府使用大数据和电子采购系统,发现腐败的蛛丝马迹。
目前,所有公共部门的服务和产品采购都需要通过集中在线系统招投标。
有关每一宗产品或服务的招投标信息都在政府部门的监督之下,如果发现招投标和资金流动方面的异常情况,就可以发出预警并提供必要的支持。
比如,某个机构总是通过一家公司采购产品或服务,那么就需要对此予以关注。
再如,若某个机构的投标总是来自一家合规公司,那么这家公司的交易也需要进行检查。
新加坡设有合法赌场,赌债会诱发公务员滑向腐败的边缘。
为了规避此类风险,政府对公务人员进出赌场有明文规定。
公务员每月进出赌场超过一定次数,就需要向上级申报,以提前作出预警。
实际上,由于进出赌场需要身份证明,所以政府掌握了公务员有关赌博的信息,并为其提前干预提供了可能。
印度:近两年印度政府运用大数据技术打造出一个智慧城市,据印度全国软件与服务企业协会预计,在未来的三年内,印度大数据行业发展的规模将会得到飞速增长,发展规模将是印度当前大数据发展的6倍之多,相当于全球大数据行业平均增长速度的两倍。
近些年,印度人在美国大型企业中高管的人数明显激增,如微软CEO SatyaNadella,谷歌CEO SundarPichai,而且谷歌董事会领导层的13名成员中有4个是印度裔。
政府对大数据政策的支持2015年,印度总理莫迪提出了多项新政以鼓励互联网及创业企业发展,如“数字印度”(Digital India)、“初创印度”(Start-up India)、“技术印度”(Skill India)、“创新基金”(India Innovation Fund)。