关于大数据的应用前景和技术实现摘要：大数据时代的到来影响着社会的各个层面，从物联网、云计算到微博等影响着人们生活的方方面面。
毫无疑问，“大数据”将成为我们进入信息时代又一具有里程碑式意义的繁荣和发展。
人们的生活、工作、学习，企业的运营管理，公共事业的发展都建在大数据的背景下发生深刻变革。
可以说大数据的应用前景是广阔的，值得我们去遥想。
同时，大数据的时代并没有真正的走向成熟，所以就其发展状况来看，还处于初级阶段。
所以它也面临着种种技术难题需要去解决。
关键字：大数据应用前景技术实现“大数据”这个话题热了，但是要讨论大数据的起源，实际上是一个比较复杂的问题。
最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。
人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。
”“大数据”在物理学、生物学、环境生态学以及军事、金融、通讯等行业领域存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。
“大数据”这个术语最早期的引用可追溯到2004年Oregon State University开始的apache org的开源项目Nutch。
当时，大数据用来描述为更新网络搜索索引需要同时进行批量处理或分析的大量数据集。
随着谷歌MapReduce和Google File System （GFS）的发布，大数据不再仅用来描述大量的数据，还涵盖了处理数据的速度。
早在1980年，著名未来学家阿尔文·托夫勒便在《第三次浪潮》一书中，将大数据热情地赞颂为“第三次浪潮的华彩乐章”。
不过，大约从2009年开始，“163大数据”才成为互联网信息技术行业的流行词汇。
美国互联网数据中心指出，互联网上的数据每年将增长50%，每两年便将翻一番，而目前世界上90%以上的数据是最近几年才产生的。
此外，数据又并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递着有关位置、运动、震动、温度、湿度乃至空气中化学物质的变化，也产生了海量的数据信息。
其实早在2001年，Gartner公司的一份研究报告也出现“大数据（Big Data）”概念的提法。
对于“大数据”（Big data）研究机构Gartner给出了这样的定义。
“大数据”是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
这些关系错综复杂，但是有一点是可以说明的，那就是我们不必要说明“大数据”到底是谁提出来的。
在人类文明发展的进程中，信息的积累，数据的运用也在不断地进行，毫无疑问，这些信息在互联网的环境中又迸发出深切的内涵。
互联、共享的世界给了信息充分的自由，在这里每一个小小的动作都可以演化成数据。
而数据的功能实际上是便于人们理解，为人们服务的，于是数据就被保留了下来，互联网下的一切似乎都有了意义。
于是，“大数据”来了！1、大数据和云计算的关系在“大数据”这个名词热起来之前，“云计算”早早的闯入了人们的视野。
从技术上看，大数据与云计算的关系就像一枚硬币的正反面一样密不可分。
大数据必然无法用单台的计算机进行处理，必须采用分布式架构。
它的特色在于对海量数据进行分布式数据挖掘，但它必须依托云计算的分布式处理、分布式数据库和云存储、虚拟化技术。
[2]随着云时代的来临，大数据（Big data）也吸引了越来越多的关注。
《著云台》的分析师团队认为，大数据（Big data）通常用来形容一个公司创造的大量非结构化数据和半结构化数据，这些数据在下载到关系型数据库用于分析时会花费过多时间和金钱。
大数据分析常和云计算联系到一起，因为实时的大型数据集分析需要像MapReduce一样的框架来向数十、数百或甚至数千的电脑分配工作。
2、大数据未来的发展前景和应用在未来大数据的环境背景下，我们的生活会随着各行各业的发展而产生巨大的改变。
我们的企业会根据大数据的信息处理提高企业管理的管理精度，提高只能部门的工作效率，从而降低公司的开支成本，是企业更加具有竞争力。
在教育领域，根据大数据的数据处理能力可以获知学生的兴趣爱好，个人所长，从而因材施教，帮助孩子获得更好的教育发展。
在商业竞争中，可以利用“大数据”的信息处理能力获得消费者的喜好、需求和商品的卖点，可以及时的推出那些消费者需要而且能让消费者满意的商品。
其实，大数据能影响的远远不止这些。
在未来的前景里，无论是医疗，交通，还是其他公共生活服务领域都有值得畅想的地方。
“大数据”会推动人类社会走向智能。
互联网将造就更大的物联网。
未来的城市将是智能化的城市。
那么“大数据”、物联网以及智慧城市的关系会是怎样的呢？首先，物联网技术的发展是“大数据”形成的动因，“大数据”的数据来源依赖于物联网技术创新和应用。
其次，智慧城市需要依赖于“大数据”的支撑，“大数据”的应用程度也会是智慧城市发达程度的重要指标。
然而智慧城市的建设是以物联网技术为基础，但是其概念外延要比物联网大很多。
智慧城市不仅仅是高新技术的智能化应用，它同时也要求人与人的交互和人与城市的和谐关系的融合。
在智慧城市里，我们的生活会是越来越智能，越来越个性化的。
我们的家具了解我们的习惯，我们的汽车知道它自己该驶向何处，我们的厨房可以学会为我们提供健康的饮食，我们的运动器材清楚我们该做什么样的运动，我们的电视电脑可以识别我们的手势或是一句口令。
智慧城市，是人的思维和物的完美结合。
3、大数据在技术上的支持和面临的难题从大数据比较有影响力的概念和大数据的研究现状来看，推动大数据发展的核心力量之一就是大数据的分析处理工具和技术。
传统的数据分析处理技术已经无法满足大数据的需求，大数据的出现也必然伴随着新的处理工具和新技术的出现。
3.1大数据处理平台支持：在大数据的处理平台中，最广为人知的就应该是Apache的Hadoop的块处理平台，Hadoop主要是基于MapReduce编程框架和HDFS。
HPCC（high performance computing cluster）系统也是一种开源的分布式密集数据处理平。
Hadapt是一种高性能的自适应分析平台。
3.2大数据数据处理技术支持：从大数据的处理过程来看，大数据处理的关键技术包括：大数据采集、大数据预处理、大数据储存及管理、大数据分析及挖掘、大数据展现和应用等。
3.2.1基于数据处理技术方面:Google起步比较早，自行开发了GFS，随着发展的需要有不断出现了第二代GFS——Colossus、BigTable和Megastore。
在BigTable和Megastore的基础上诞生了Spanner,其功能主要是源于一个用GPS和原子钟实现的时间API，这个API能将数据中心之间的时间同步精确到10ms以内。
像微软也自行开发了分布式计算平台Cosmos，能够存储和分析大规模数据集，其宗旨是能够在成千上万台服务器集群上运行。
另外，社交网络的代表Facebook推出了海量小文件的文件处理系统Haystack,同时Facebook还结合自己的应用场景提出了实时的Hadoop系统。
3.2.2基于数据挖掘的大数据处理技术：数据分析离不开数据挖掘，大数据更是如此。
利用数据挖掘进行数据分析常用的方法主要有分类、回归分析、聚类、关联规则、特征、变化和偏差分析、Web页挖掘等，它们分别从不同的角度对数据进行挖掘。
3.2.3基于查询的大数据处理技术：在大数据的处理过程中，数据分析是关键，数据分析主要是依赖于数据分析工具。
危险理论是一种比较新的数据分析方法，危险理论是来源于生物免疫系统，但又不同于传统的人工免疫系统。
在关键特征和属性的选择上引入危险理论，主要是被用做数据过滤策略，可提高数据分析的效率。
在危险理论中关注的是潜在危险，捕捉危险信号，用数值微分法判断危险信号。
这个处理模式与之前的编程处理模型相比具有自学习能力和智能性，它在数据的预处理阶段有明显的效果，更适合于快速的数据过滤。
4、面临的技术难题面对领域大数据，在全生命周期的一体化协同环境下的大数据采集、存储。
管理及分析处理都将面临着前所未有的挑战。
4.1大数据采集问题：如何将大数据变小，在尽量不损失价值的情况下减少数据的冗余，。
如何有效地处理大数据类似物理的作用，把大数据的规模变小但不损失价值：如何从一个平面的大数据提炼出高附加值的概念、知识和智慧。
4.2大数据存储问题：对于结构化数据，海量数据的查询、统计、更新效率低，对于非结构化数据，如图片、视频等文件的存储、检索困难：对于半结构化数据，进行存储。
分析需要转化为结构化数据、，或者按照非结构化数据进行存储，难度较大。
4.3大数据管理问题，如何对分布、多态、异构的大数据进行管理，当前还缺乏有效手段。
参考文献：1、《大数据研究综述》········································华南师范大学涂新莉，刘波，林伟伟2014.06.032、《大数据流式计算：关键技术及系统实例》··················清华大学张大为，张广艳2014.02.053、《“大数据”时代背景下计算机信息处理技术分析》············北京理工大学耿东旭2014.01.194、《大数据时代下数据分析理念的辨析》·····················朱建平，张军贵，刘晓薇2014.10.285、《大数据时代下的数据挖掘》···························何玺2012.11.286、《试析大数据、物联网、智慧城市三者间的关系和相互作用》·············郑鑫，程磊2014.06.15。