大数据概念最初起源于美国,是由思科、威睿、甲骨文、IBM 等公司倡议发展起来的。
大约从2009年始,“大数据”成为互联网信息技术行业的流行词汇。
事实上,大数据产业是指建立在对互联网、物联网、云计算等渠道广泛、大量数据资源收集基础上的数据存储、价值提炼、智能处理和分发的信息服务业,大数据企业大多致力于让所有用户几乎能够从任何数据中获得可转换为业务执行的洞察力,包括之前隐藏在非结构化数据中的洞察力。
最早提出“大数据时代已经到来”的机构是全球知名咨询公司麦肯锡。
2011 年,麦肯锡在题为《海量数据,创新、竞争和提高生成率的下一个新领域》的研究报告中指出,数据已经渗透到每一个行业和业务职能领域,逐渐成为重要的生产因素;而人们对于海量数据的运用将预示着新一波生产率增长和消费者盈余浪潮的到来。
大数据是一个不断演变的概念,当前的兴起,是因为从IT技术到数据积累,都已经发生重大变化。
仅仅数年时间,大数据就从大型互联网公司高管嘴里的专业术语,演变成决定我们未来数字生活方式的重大技术命题。
2012年,联合国发表大数据政务白皮书《大数据促发展:挑战与机遇》;EMC、IBM、Oracle 等跨国IT 巨头纷纷发布大数据战略及产品;几乎所有世界级的互联网企业,都将业务触角延伸至大数据产业;无论社交平台逐鹿、电商价格大战还是门户网站竞争,都有它的影子;美国政府投资2亿美元启动“大数据研究和发展计划”,更将大数据上升到国家战略层面。
2013年,大数据正由技术热词变成一股社会浪潮,将影响社会生活的方方面面。
关于“大数据”概念产生的来龙去脉
1.“大数据”的名称来自于未来学家托夫勒所著的《第三次浪潮》
尽管“大数据”这个词直到最近才受到人们的高度关注,但早在1980年,著名未来学家托夫勒在其所著的《第三次浪潮》中就热情地将“大数据”称颂为“第三次浪潮的华彩乐章”。
《自然》杂志在2008年9月推出了名为“大数据”的封面专栏。
从2009年开始“大数据”才成为互联网技术行业中的热门词汇。
2.最早应用“大数据”的是麦肯锡公司(McKinsey)
对“大数据”进行收集和分析的设想,来自于世界著名的管理咨询公司麦肯锡公司。
麦肯锡公司看到了各种网络平台记录的个人海量信息具备潜在的商业价值,于是投入大量人力物力进行调研,在2011年6月发布了关于“大数据”的报告,该报告对“大数据”的影响、关键技术和应用领域等都进行了详尽的分析。
麦肯锡的报告得到了金融界的高度重视,而后逐渐受到了各行各业关注。
3.“大数据”的特点由维克托•迈尔-舍恩伯格和肯尼斯•库克耶在《“大数据”时代》中提出
维克托•迈尔-舍恩伯格和肯尼斯•克耶编写的《大数据时代》中提出:“大数据”的4V特点:Volume(数据量大)、Velocity(输入和处理速度快)、Variety(数据多样性)、Value(价值密度低)。
这些特点基本上得到了大家的认可,凡提到“大数据”特点的文章,基本上采用了这4个特点。
4.在云计算出现之后“大数据”才凸显其真正价值
自从有了云计算服务器,“大数据”才有了可以运行的轨道,才可以实现其真正的价值。
有
人就形象地将各种“大数据”的应用比作一辆辆“汽车”,支撑起这些“汽车”运行的“高速公路”就是云计算。
最著名的实例就是Google搜索引擎。
面对海量Web数据,Google于2006年首先提出云计算的概念。
支撑Google内部各种“大数据”应用的,正是Google公司自行研发的云计算服务器。
美国航空航天局管理“大数据”洪流惠及全球此博文包含图片(2013-10-24 10:58:19)转载▼
标签:杂谈分类:科学与技术
2013.10.21
站在显示天文图像的屏幕前的人(NASA/Ames/JPL-Caltech)
美国航空航天局史匹哲太空望远镜(Spitzer Space Telescope)拍摄的银河系中心图像
华盛顿——美国航空航天局(NASA)及其几十个使命项目每天传回的数据犹如奔涌的河流。
航天器监测从我们的地球家园到遥远星系的一切,将图像和信息传回地球。
所有这些数码记录都需要储存、索引和处理,以便世界各地的工程师、科学家和其他人员可以使用这些数据来理解地球及其以外的宇宙。
使命项目策划者和软件工程师正在寻找管理如此庞大复杂而且不断增大的数据流的新策略,这样的数据流在信息技术行业中被称为“大数据”(Big Data)。
“大数据”有多大?美国航空航天局的各项使命每小时收集数百TB数据。
仅1TB就相当于在50,000棵树制成的纸张上打印的信息。
位于加利福尼亚州帕萨迪纳(Pasadena)的美国航空航天局喷气推进实验室(Jet Propulsion Laboratory)的美国航空航天局太阳系可视化项目(Solar System Visualization project)的负责人埃里克•德容(Eric De Jong)说:“科学家们将大数据用于各种目的,从预测地球的天气到监测火星上的冰盖再到搜索遥远的星系。
我们是数据的保存者,而数据使用者则是需要图像、拼图、地图和影片来寻找模式并验证理论的天文学家和科学家。
”太阳系可视化项目可将美国航空航天局使命项目的科学成果转化为研究人员可以使用的可视化产品。
德容解释说,应对来自太空使命的数据涉及三个方面:储存、处理和访问。
第一项任务——储存或存档数据,对于更大量的数据来说自然更具挑战性。
平方千米阵(Square Kilometer Array)是计划部署在南非和澳大利亚的由数千个望远镜组成的阵列,预计每天产生700TB 图像数据,相当于因特网每两天的所有数据流量。
工程师们正忙于开发更好地储存信息的创新软件工具,而不是创造更多硬件。
美国航空航天局“大数据”计划的一位项目负责人克里斯•马特曼恩(Chris Mattmann)说:“我们不必做无谓的重复劳动。
”美国航空航天局一直在加大对开源软件(Open-source Software)的整合,为太空使命提供经改进的数据处理工具。
而后,美国航空航天局的这些工具可供世界其他人用于不同的应用领域。
德容和他的团队正在开发信息可视化的新方式。
例如,美国航空航天局火星勘测轨道飞行器(Mars Reconnaissance Orbiter)上一个摄像机拍摄的每个图像含有120兆像素。
除了制作电脑图像和动画使科学家和公众能够近距离了解这颗红色星球,他的团队还用这类数据来制作影片。
德容说:“数据不只是越来越大,而且越来越复杂。
我们在不断努力寻找使创建可视化产品过程自动化的方式,以便于科学家和工程师使用这些数据。
”
“大数据”领域另一项重要的工作是使用户容易从数据存档中获取所需信息。
美国航空航天局红外处理和分析中心(Infrared Processing and Analysis Center)负责人史蒂夫•格鲁姆(Steve Groom)说:“如果你有一个巨型书架,你仍必须知道如何找到需要的书籍。
”有时候用户希望一次访问所有数据,以寻找全局模式,这是“大数据”存档的一个好处。
格鲁姆说:“天文学家还可以同时浏览我们库存的所有‘书籍’,这在他们自己的电脑上是无法做到的。
”
美国航空航天局说,最终,“大数据”潮流将继续猛增,美国航空航天局将开发出新的策略来管理数据流以惠及全球。