大数据行业研究报告2013年11月20日目录一：大数据概述 (2)1.1大数据定义 (2)1.2大数据特点 (3)1.3大数据相关技术 (4)1.4大数据应用价值 (5)二：大数据行业环境分析 (6)2.1产业链 (6)2.2商业模式 (7)2.3市场规模 (9)2.4行业竞争 (9)三：大数据在行业中的应用分析 (10)3.1医疗行业 (10)3.2能源行业 (11)3.2通信行业 (11)3.4零售业 (11)四：大数据行业重点企业介绍 (12)4.1IBM (12)4.2惠普 (12)4.3Teradata (12)4.4阿里巴巴 (12)4.5百度 (13)4.6腾讯 (13)4.7拓尔思 (13)4.8东方国信 (13)4.9同有科技 (14)五：大数据的时代机遇与挑战 (14)·1一：大数据概述1.1大数据的定义大数据是时下最火热的IT行业的词汇，全球知名咨询公司麦肯锡称：“数据，已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。

人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来”。

“大数据”在物理学、生物学、环境生态学等领域以及军事、金融、通讯等行业存在已有时日，却因为近年来互联网和信息行业的发展而引起人们关注。

越来越多的政府、企业等机构开始意识到数据正在成为组织最重要的资产，数据分析能力正在成为组织的核心竞争力。

百度知道对大数据的定义是：大数据（bigdata)，或称巨量资料，指的是所涉及的资料量规模距达到无法透过目前主流软件工具在合理时间内达到撷取，管理，处理、并整理成为帮助企业经营决策更积极目的的资讯。

著名研究机构Gartner是这样定义大数据的。

"大数据"是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

从数据的类别上看，"大数据"指的是无法使用传统流程或工具处理或分析的信息。

它定义了那些超出正常处理范围和大小、迫使用户采用非传统处理方法的数据集。

亚马逊网络服务（AWS）、大2数据科学家JohnRauser提到一个简单的定义：大数据就是任何超过了一台计算机处理能力的庞大数据量。

研发小组对大数据的定义："大数据是最大的宣传技术、是最时髦的技术，当这种现象出现时，定义就变得很混乱。

" Kelly说："大数据是可能不包含所有的信息，但我觉得大部分是正确的。

对大数据的一部分认知在于，它是如此之大，分析它需要多个工作负载，这是AWS的定义。

当你的技术达到极限时，也就是数据的极限"。

大数据不是关于如何定义，最重要的是如何使用。

最大的挑战在于哪些技术能更好的使用数据以及大数据的应用情况如何。

这与传统的数据库相比，开源的大数据分析工具的如Hadoop的崛起，这些非结构化的数据服务的价值在哪里。

1.2大数据的特点大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、速度快。

第一，数据体量巨大。

从TB级别，跃升到PB级别。

第二，数据类型繁多，如网络日志、视频、图片、地理位置信息，等等。

第三，价值密度低。

以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。

第四，处理速度快。

1秒定律。

最后这一点也是和传统的数据挖掘技术有着本质的不同。

物联网、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。

3拥有巨大的数据本身并不能创造出多大价值，需要一定的技术手段进行处理分析才能获取其智能的，深入的有价值的信息。

大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。

解决大数据问题的核心是大数据技术。

目前所说的"大数据"不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。

大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。

因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获取有价值的信息，也体现在如何加强大数据技术研发，抢占时代发展的前沿。

1.3大数据相关技术数据采集：ETL工具负责将分布的、异构数据源中的数据如关系数据、平面数据文件等抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础。

数据存取：关系数据库、NOSQL、SQL等。

基础架构：云存储、分布式文件存储等。

数据处理：自然语言处理(NLP，NaturalLanguageProcessing)是研究人与计算机交互的语言问题的一门学科。

处理自然语言的关键是要让计算机"理解"自然语言，所以自然语言处理又叫做自然语言理解(NLU，NaturalLanguage Understanding)，也称为计算语言学(Computational Linguistics。

一方面它是语言信息处理的一个分支，另一方面它是人工智能(AI, Artificial Intelligence)的核心课题之一。

统计分析：假设检验、显著性检验、差异分析、相关分析、T检验、方差分析、卡方分析、偏相关分析、距离分析、回归分析、简单回归分析、多元回归分析、逐步回归、回归预测与残差分析、岭回归、logistic回归分析、曲线估计、因子分析、聚类分析、主成分分析、因子分析、快速聚类法与聚类法、判别分析、对应分析、多元对应分析（最优尺度分析）、bootstrap技术等等。

4数据挖掘：分类（Classification）、估计（Estimation）、预测（Prediction）、相关性分组或关联规则（Affinity grouping or association rules）、聚类（Clustering）、描述和可视化、Description and Visualization）、复杂数据类型挖掘(Text, Web ,图形图像，视频，音频等)模型预测：预测模型、机器学习、建模仿真。

结果呈现：云计算、标签云、关系图等1.4大数据应用价值“大数据”是继云计算、物联网之后IT产业又一次颠覆性的技术变革。

对国家治理模式、对企业的决策、组织和业务流程、对个人生活方式都将产生巨大的影响。

最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡，观点提出之后引起全球广泛的影响，得到越来越多人的认可。

那么大数据意味着什么，它到底会改变什么？我们需要把大数据放在人的背景中加以透视，理解它作为时代变革力量的所以然。

大数据让我们以一种前所未有的方式，通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见，最终形成变革之力。

变革价值的力量未来十年，决定中国是不是有大智慧的核心意义标准就是国民幸福。

一体现在民生上，通过大数据让有意义的事变得澄明，看我们在人与人关系上，做得是否比以前更有意义；二体现在生态上，通过大数据让有意义的事变得澄明，看我们在天与人关系上，做得是否比以前更有意义。

总之，让我们从前10年的意义混沌时代，进入未来10年意义澄明时代。

变革经济的力量生产者是有价值的，消费者是价值的意义所在。

有意义的才有价值，消费者不认同的，就卖不出去，就实现不了价值；只有消费者认同的，才卖得出去，才实现得了价值。

大数据帮助我们从消费者这个源头识别意义，从而帮助生产者实现价值。

这就是启动内需的原理。

变革组织的力量随着具有语义网特征的数据基础设施和数据资源发展起来，组织的变革就越来越显得不可避免。

大数据将推动网络结构产生无组织的组织力量。

最先反映这种结构特点的，是各种各样去中心化的WEB2.0应用，如RSS、维基、博客等。

大数据之所以成为时代变革力量，在于它通过追随意义而获得智慧。

5简单而言就是通过收集、整理生活中方方面面的数据，并对其进行分析挖掘，进而从中获得有价值信息，最终衍化出一种新的商业模式。

未来，数据可能成为最大的交易商品，首先，手中握有数据的公司站在金矿上，基于数据交易即可产生很好的效益；其次，基于数据挖掘会有很多商业模式诞生，定位角度不同，或侧重数据分析。

比如帮企业做内部数据挖掘，或侧重优化，帮企业更精准找到用户，降低营销成本，提高企业销售率，增加利润，带来商业价值。

谷歌搜索、Facebook的帖子和微博消息使得人们的行为和情绪的细节化测量成为可能。

挖掘用户的行为习惯和喜好，凌乱纷繁的数据背后找到更符合用户兴趣和习惯的产品和服务，并对产品和服务进行针对性地调整和优化，这就是大数据的价值。

大数据也日益显现出对各个行业的推进力。

大数据的价值是通过数据共享、交叉复用后获取最大的数据价值。

未来大数据将会如基础设施一样，有数据提供方、管理者、监管者，数据的交叉复用将大数据变成一大产业。

二：大数据行业环境分析2.1产业链大数据产业属技术密集型产业，竞争更多是技术实力与创新能力的比拼，离数据越近的产业环节，产业价值越大。

能掌控大数据实时集成、海量信息处理和管理、云存储等技术的厂商将成为产业的主导者，主导未来大数据产业技术发展方向，促进商业模式创新。

6大数据产业链现在已经初现雏形，围绕大数据的产生与集聚、组织与管理、分析与发现、应用与服务各层级正在加速构建。

大数据产业链示意图目前，在大数据产业链上有三种大数据公司：1)基于数据本身的公司(数据拥有者)：拥有数据，不具有数据分析的能力;2)基于技术的公司(技术提供者)：技术供应商或者数据分析公司等;3)基于思维的公司(服务提供者)：挖掘数据价值的大数据应用公司;2.2商业模式运营商手中拥有着庞大数据。

除了常规的年龄、品牌、资费、入网渠道，终端的IMEI、MAC、终端品牌、终端类型等基础信息外，互联网、移动互联网、物联网、云计算的兴起以及移动智能终端的快速普及，运营商的网络正在被更完整的用户数据。

例如何时何地上网、上网的内容偏好、各种应用的驻留时间、手机支付信息等等。

在内部运营中，运营商已经从这些庞大的用户数据中，可以分析出不同用户的行为习惯和消费喜好，并应用于在精细化营销基础上。

然而就流量经营而言，就这是远远不够的。

就海量数据，提供高附加值的数据分析服务，将数据封装为服务，形成可对外开放、可商业化的核心能力，实现商业模式的创新，才能真正实现流量经营。

下面是7大数据行业的7种商业模式71、数据存储空间出租利用存储能力进行运营，满足企业和个人将面临海量信息存储的需求。

具体而言，可以分为个人文件存储、针对企业用户两大类。

主要是通过易于使用的API，用户方便地将各种数据对象放在云端，然后再像使用水电一般按用量收费。