摘要在当代计算机飞速发展的时代,我们的生活越来越离不开计算机,各行各业的工作都需要计算机以及网络的支持,大量的传感器以及远程控制设备遍布身边,全球数据总量剧增,从2000年的800tb到2010年的600eb到现如今的2.72zb ,庞大的数据量超出了现在科技水平下人们的数据处理能力,我们正处在一个数据爆炸性增长的“大数据”时代,大数据在社会经济、政治、文化,人们生活等方面产生深远的影响,大数据时代的到来对人们的数据驾驭能力提出了新的挑战并带来了互联网发展的新机遇。
关键词:大数据,云处理,发展,影响目录第一章大数据 (1)1、大数据的简介 (1)2、大数据时代的影响 (2)3、大数据时代的发展方向、趋势 (3)第二章大数据时代需要什么样的数据存储 (4)1、云计算 (4)2、云存储 (4)3、大数据智能 (4)4、云端共享 (4)第三章、大数据时代对于当今社会各方面的影响 (6)1、对政治的影响 (6)2、对金融的影响 (6)3、对医疗的影响 (7)4、对工程建设的影响 (7)5、对教育的影响 (7)第四章、大数据时代的数据存储和共享 (8)总结 (9)参考文献: (9)第一章大数据1、大数据的简介大数据(big data),或称巨量资料,所指的是涉及的资料量规模巨大到无法透过目前主流的软件工具,在合理时间内达到截取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。
在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法这样的捷径,而采用所有数据的方法,统计所有相关的数据。
大数据具有4v 的特点:voiume(大量)、velocity(高速)、variety(多样)、veracity(精确)。
(注:有些资料中显示大数据时代的4v特点是,数量大、种类多、实时性强、商业价值大。
)“大数据”作为当今时下最火热的IT行业词汇,引发了人们对数据仓库、数据安全、数据分析、数据挖掘等方面的思考。
在1980年阿尔文·托夫勒的《第三次浪潮》中,将大数据称之为“第三次浪潮的华彩乐章”,2009年开始,大数据的概念慢慢进入人们的思想中,美国互联网数据中心指出,互联网上的数据量以每年50%的速度在增加每两年会翻一番,根据CNNIC(中国互联网络信息中心)统计,就中国大陆而言在2013年1月1日,中国内陆网民总计数量是3.89亿,但在2013年7月1日中国内陆网民总计数量就达到了5.91亿,如此庞大的网民数量增长带来的就是巨大的数据量的增长,除此之外,全球工程设备、汽车、桥梁等上面的巨量传感器也在随时传递着有关位置、运动、温度、湿度、甚至空气中微量元素的变化,也产生了巨量的数据信息。
1.1大数据时代大数据时代的概念最早是由全球知名的咨询公司麦肯锡提出的,麦肯锡称:“数据已渗透到当今每一个行业,成为重要的生产因素。
”进入2012年以来,大数据这个词出现在了《纽约时报》、《华尔街时报》等知名杂志上,进入了美国白宫网的新闻,甚至被国君证卷、国泰君安、银河证券等写进了投资推荐报告,宣告大数据时代的来领。
大数据到底有多大?没有人可以准确的说出这个数字,一组名为“互联网上的一天”的数据告诉我们,一天之中,互联网产生的所有内容可以刻录满1.68亿张DVD;发出的邮件有2940亿封(相当于美国两年的纸质信件数量);发出的社区帖子达200万个(相当于《时代》杂志770年的文字数量)。
截止到2012年,全球数据总量已经从TB(1024GB=1TB)级别跃升到PB(1024TB=PB)、EB(1024PB=1EB)乃至ZB(1024EB=1ZB)级别。
国际数据中心研究结果表明,2008年全球产生的数据量为0.49ZB,2009年的数据量为0.8ZB,2010年增长为1.2ZB,2011年的数量更是高达1.82ZB,相当于全球每人产生200GB以上的数据。
而到2012年为止,人类生产的所有印刷材料的数据量是200PB,全人类历史上说过的所有话的数据量大约是5EB。
ibm的研究称,整个人类文明所获得的全部数据中,有90%是过去两年内产生的。
而到了2020年,全世界所产生的数据规模将达到今天的44倍。
1.1.1大数据时代的数据价值大数据时代如此庞大的数据量带给我们了什么?有人可能会觉得带来了过多的垃圾数据,造成数据亢余,其实不然,大数据时代的巨量数据也存在极为庞大的数据价值,它意味着这也许是一种全新的致富手段,数据的价值堪比黄金和石油。
举个例子:如果在某一时间段内,人们通过百度等搜索平台搜索关于某种感冒症状的信息,那是不是意味着某地区流感爆发?或是某种药物市场稀缺?这些数据就可以成为某药厂发展的参考因素由此产生大量的经济效益。
华尔街“德温特资本市场”公司首席执行官保罗·霍廷每天的工作之一,就是利用电脑程序分析全球3.4亿微博账户的留言,进而判断民众情绪,再以“1”到“50”进行打分。
根据打分结果,霍廷再决定如何处理手中数以百万美元计的股票。
霍廷的判断原则很简单:如果所有人似乎都高兴,那就买入;如果大家的焦虑情绪上升,那就抛售。
这一招收效显著——当年第一季度,霍廷的公司获得了7%的收益率。
[1.1.2数据的可视化“数据是新的石油。
”亚马逊前任首席科学家Andreas Weigend说。
Instagram以10亿美元出售之时,成立于1881年的世界最大影像产品及服务商柯达正申请破产。
大数据是如此重要,以至于其获取、储存、搜索、共享、分析,乃至可视化地呈现,都成为了当前重要的研究课题。
在数据可视化呈现方面,一位在美国思科物流部门工作的成员,被Facebook高价挖角,进入其数据研究小组。
他后来惊讶地发现,里面全是来自物流企业、供应链方面的技术人员和专家,“Facebook想知道,能不能用物流的角度和流程的方式,分析用户的路径和行为。
”2、大数据时代的影响大数据,其影响除了经济方面的,它同时也在政治文化等方面产生深远的影响,大数据可以帮助人们开启询“数”管理的模式,也是我们当下“大社会”的集中体现,三分技术,七分数据,的数据者得天下。
大数据时代的到来,我们的传统计算方式也被打破,从科学计算——商业计算——社会计算。
庞大的数据量已不是传统数据库就能解决的。
“大数据”的影响,增加了对信息管理专家的要求。
肯尼思·库基尔和维克托·迈耶-舍恩伯格在《大数据:一场将要改变我们生活、工作和思考方式的革命》一书中写道,美国沃尔玛百货公司通过挖掘销售数据,发现人们会在飓风来袭前储备许多名为“Pop-Tarts”的零食。
现在,每当暴风雨将要来临时,沃尔玛就会把“Pop-Tarts”和手电筒放在同一排货架上。
罗伯特·莱尔曼称他看到了库基尔和迈耶-舍恩伯格在书中提到的大数据为研究工作带来的三大变化。
第一、求规模,不求样本。
一百多年来,统计学家们一直依赖小规模数据样本,以此作为归纳的基础。
他们没有选择,因为他们没有能力收集更多数据。
新技术意味着我们可以“收集到大量数据,而不是满足于样本”。
第二、求杂,不求精。
科研人员传统上喜欢“干净、精确的数据;如果得不到那么多数据,科研人员就必须尽可能拿出严谨态度”。
现在就没必要了。
数据量带来的好处胜过了我们“对精确度的苛求”。
第三、求相关性,不求原因。
尽管科研人员乐于了解现象背后的原因,但“达到(研究)目的”并不一定要求我们必须了解世界的运行规律。
3、大数据时代的发展方向、趋势虽然大数据在国内目前还处于初级阶段,但是其商业价值已经慢慢体现出来。
未来,数据可能会成为最大的交易对象。
因此,大数据的价值是通过数据共享,交叉复用后获取最大的数据价值。
大数据的整体态势和发展趋势,主要体现在几个方面:大数据与学术、大数据与人类活动、大数据的安全隐私、关键应用、系统处理和整个信息行业的影响。
大数据整体态势上,数据的规模将变得更大,数据资源化、数据的价值凸显、数据私有化出现和联盟共享。
大数据的发展会催生许多新兴新职业,会产生数据分析师、数据科学家、数据工程师,有非常丰富的数据经验的人才会成为稀缺人才。
随着大数据的发展,数据共享联盟将逐渐壮大成为产业的核心一环。
随着大数据的共享越来越大,隐私问题也随之而来,比如说每天手机产生的通话、位置等等。
但带来了便利的同时也带来了个人隐私的问题。
数据资源大数据在国家和企业和社会层面成为重要的战略资源,成为新的战略制高点和抢购的新焦点。
第二章大数据时代需要什么样的数据存储大数据时代的到来,庞大的数据量已不是传统数据库可以存储解决的,在2012年百度世界大会上中国科学院院士怀进鹏提出:大数据时代与云计算时代的结合,为了能够适应对数据的处理,更加强调它的性能价格比,效能和可行性,因此云存储和云计算可能会给我们提供新的机会。
1、云计算计算能力云计算(Cloud Computing),是一种基于互联网的计算方式,通过这种方式,共享的软硬件资源和信息可以按需求提供给计算机和其他设备,主要是基于互联网的相关服务地增加、使用和交付模式,通常涉及通过互联网来提供动态易扩展且经常是虚拟化的资源。
云是网络、互联网的一种比喻说法。
过去在图中往往用云来表示电信网,后来也用来表示互联网和底层基础设施的抽象。
狭义云计算指IT基础设施的交付和使用模式,指通过网络以按需、易扩展的方式获得所需资源;广义云计算指服务地交付和使用模式,指通过网络以按需、易扩展的方式获得所需服务。
这种服务可以是IT和软件、互联网相关,也可是其他服务。
它意味着计算也可作为一种商品通过互联网进行流通。
2、云存储云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念,是指通过集群应用、网络技术或分布式文件系统等功能,将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作,共同对外提供数据存储和业务访问功能的一个系统。
当云计算系统运算和处理的核心是大量数据的存储和管理时,云计算系统中就需要配置大量的存储设备,那么云计算系统就转变成为一个云存储系统,所以云存储是一个以存储系统和管理为核心的云计算系统。
3、大数据智能在庞大的虚拟数据中分析出实际问题与现象,并提出解决方案与对策,叫大数据智能4、云端共享用户保存在云端的数据,可以在获取权限之后共享给其他用户,一切工作在云端完成,无需光盘、移动硬盘等传统存储介质,数据变得更安全,不易丢失,不易损坏。
并且在云端的文件自动检测相同文件并合并,减少对云端存储空间的占用。
比如,用户A 和用户B先后向云端存储了一个名为DELL的文件,云端通过计算把相同的文件合并以减少对空间的占用。
2013年6月27日,以“数据驱动业务,存储创造价值”为主题的SNW中国大会召开,大数据成为备受关注的核心话题,来自国际、国内的存储专家和IT分析师从各个角度阐释了大数据和云计算新的发展趋势及其对IT基础架构的影响。