大数据IT产业链和生态环境调研报告1目录1 概述 (1)2国内外大数据产业链现状 (1)2.1 大数据产业链全景图 (1)2.2 产业链上中下游 (3)2.3 大数据产业链发展趋势 (4)3产业链和生态环境的瓶颈和建议 (10)3.1 大数据发展产业链和生态环境的瓶颈 (10)3.2 大数据产业链和生态环境发展建议 (13)4大数据人才与教育 (15)4.1 教育与科研机构 (15)4.2 课程体系 (21)5国内外大数据政策与法规 (22)5.1 国内外数据共享的政策与法规 (22)5.2 国内外数据跨境的政策与法规 (27)5.3 国内外隐私保护的政策与法规 (30)2概述马云曾经说过“人类正从IT时代走向DT时代。

”随着大数据、云计算、移动互联网技术的不断发展，我们已经从信息社会已经进入了大数据(Big Data)时代。

大数据是继互联网、云计算、移动互联网之后的又一个新热点，是新一代通信技术的代表。

大数据在推动技术创新、改善公共服务等方面有着重大前景，各国政府纷纷布局大数据战略，推动大数据产业的发展。

随着我国信息产业宏观环境的不断改善，各地方政府纷纷出台大数据发展计划，各高校和科研组织开始培养专业的大数据人才，而以BAT为代表的科技企业也开始涉足大数据产业。

通过各方努力，目前我国已具备加快发展大数据产业发展的基础和态度，大数据产业链正在加速形成。

然而，我国的大数据产业发展还处于起步阶段，大数据产业还存在一些问题，如大数据相关法律法规有待进一步完善，对于信息安全保护还需提高重视等。

因此，我国大数据产业还需要在国家宏观指导下进一步发展。

3国内外大数据产业链现状3.1大数据产业链全景图大数据产业包括一切与大数据的产生与集聚、组织与管理、分析与发现、应用与服务相关的所有活动。

数据产业链按照数据价值实现流程，包括生产与集聚层、组织与管理层、分析与发现层、数据应用与服务层四大层级，每一层都包含相应的IT技术设施、软件与信息服务。

全球互联网公司纷纷进入大数据产业，希望瓜分这一市场。

据电信与媒体市场调研公司Informa Telecoms & Media在2013年的调查结果显示，全球120家运营商中约有48%的运营商正在实施大数据业务。

该调研公司表示，大数据业务成本平均占到运营商总IT预算的10%，并且在未来五年内将升至23%左右。

可见大数据巨大的产业价值已经逐渐被企业重视。

图4-1 大数据产业链全景图1而根据数据从产生到应用、继而产生新数据的过程大数据产业形成了一个环形产业链。

从数据产生到应用，参与企业逐渐增多，数据价值逐级放大。

概括起来主要包括一下几个方面：以云计算、物联网、移动互联网等新一代信息技术而不断生产交易数据、交互数据与传感数据的大数据生产活动；以搭建大数据平台、支撑大数据组织与管理的服务器、存储设备、网络设备、数据中心附属设备等IT基础设施硬件销售与租赁活动；大数据平台的运维与管理服务，系统集成、数据安全、云存储等解决方案与相关咨询服务；支撑数据分析与发现的嵌入式芯片、服务器、高性能计算设备等IT基础设施硬件销售与租赁；与大数据应用相关的数据出售与租赁服务、分析与预测服务、决策支持服务、数据共享平台、数据分析平台等。

随着每次数据产生到数据价值实现的循环过程，数据规模不断扩大、数据复杂度不断加深、数据创造的价值不断加大，同时，也加速大数据技术创新与产业升级。

图4-2 大数据环形产业链23.2产业链上中下游随着现代技术的不断发展，从最初的“在互联网上，没有人知道你是一条狗”，到现在的“不仅知道你是一条狗，还知道是一条什么样的狗”。

随着大数据时代的到临，围绕大数据的产生与集聚、组织与管理、分析与发现、应用于服务的各级正在加速构建。

信息数据产生作为大数据产业链的第一个环节显得尤为重要。

随着新技术的不断发展，数据产生的方式也越来越多样，例如：人们每天使用的互联网和无限通讯，即时通讯、微信、微博、手机电话、短信、彩信甚至是每一个互联网点击（通过点击习惯可以分析经常浏览某类网站，喜欢某类商品，以及上网时间等使用习惯）都会留下记录，带来爆炸性的数据增长。

大数据产业的上游是一批能够掌握大数据标准、入口、汇集和整合过程的公司，他们在大数据储存、使用和分析的基础上推出个性化、精准化和智能化的机制，跨网站、跨产品、跨终端、跨平台，让人与人、人与物、物与物之间实现高效撮合与匹配，从而建立起崭新的商业模式。

例如：GOOLE、百度等。

随着信息数据的爆炸式增长，对数据存储提出了更高的要求。

虽然存储设备是整个产业链中技术含量最少的，发展空间也较窄，但却可能是增长最稳定的子行业。

不但数据采集大多来自于半结构化或非结构化数据，存在着零散性，而且许多数据的产生是散乱和随机的，因此数据整理显得尤为重要。

大数据产业的中游是一批在某些垂直领域或者某些特定区域能够掌握大数据入口、汇集和整合的公司，掌握全部网络用户的部分网络行为，或者是部分网络用户的全部网络行为。

这些公司需要大范围地采集信息数据，并进行有效的噪音数据剔除，可见未来这些公司有机会在这些垂直领域或特定区域成为规则制定者和商业模式创新者。

例如：IBM、EMC2等。

大数据产业链的最末端是信息数据的展示和应用环节，也是最具技术含量和产业价值的行业。

大数据产业的下游由网络公司组成，它们基本上扮演的角色是大数据生态圈里的数据提供者，特色服务运营者和产品分销商，基本通过开放平台和搜索引擎获取用户，处于产业的边缘地带。

任何数据不经过分析这一环节，都无法落实到实际应用。

而且，在同样的数据面前，谁分析出的结果最有效，将决定谁才是真正的“大数据”智能产业领跑者。

例如：SAP等。

3.3大数据产业链发展趋势Gartner对大数据趋势的预测2014年著名咨询机构Gartner发布的技术成熟度报告中，大数据技术作为最热的新技术已经被物联网取代，并且大数据技术过度到了“幻觉破灭阶段”。

这并不是一件坏事，并且表明大数据市场开始变得成熟，变得更贴合实际的应用，大数据将变得更加商业化。

在过去两年里，围绕着大数据的技术已经被过度炒作。

以Hadoop为核心的生态环境、NoSQL数据库、内存数据库和其他大数据技术，已经能够使公司或组织存储、处理和分析大量数据。

而且，投资公司也投入了数十亿美金在大数据领域，但几乎很少的Hadoop和NoSQL公司能够盈利。

为了获得规模和主导地位，大数据公司都在不断扩展，可能在未来几年会见效益。

对于Gartner的报告，更多的应该是从科学技术的角度去观看，但不应过度解读。

图4-3 （2011-2014）Gartner新兴技术成熟度曲线Gartner总结的技术成熟曲线分为五大阶段：技术萌芽期（Technology Trigger），期望膨胀期（Peak of Inflated Expectations），泡沫化的谷底期（Trough of Disillusionment），稳步爬升的光亮期（Slope of Enlightenment），最终的产品成熟期（Plateau of productivity）。

正如图所示，从2011年到2014年，大数据技术经历技术萌芽期、进入峰顶、并开始快速下滑。

大数据技术滑向谷底、进入复苏期，最后走向成熟，这可能需要很多年。

关于大数据技术本身，Gartner在2014年7月发布的技术成熟度曲线如下：图4-4 2014Gartner大数据技术成熟度曲线从图中可以看到，Gartner预测内存计算技术作为一项提升大数据处理效率的技术手段，将会在2年内达到成熟期；物联网作为大数据技术的应用方向之一，目前处于关注的顶峰；基于SQL的Hadoop查询接口也是关注的热点，预期在2～5年内发展成熟；数据开放虽然在学术界的呼声很高，但预期在5～10年内才会达到成熟期。

大数据中的创新将持续，并且创新的催发机制已经很充足，大数据在经过泡沫期后的谷底期的历程将十分迅速。

这种持续的增长将所有的供应商进行洗牌，留下那些紧跟潮流的供应商。

这种趋势可以促发很多初始的并且处于创业初期的项目的呈现，大数据将实现从系统创新到差异化的目标导向的发展。

大数据将会被纳入到市场现有的解决方案中，同时将会取代现有方案的一些功能。

总而言之，大数据市场将会逐步进入一个更加合理的发展方向，新的技术和实践将会嵌入既有的解决方案。

大数据产业链发展趋势全景图2012年，FirstMark资本的Matt Turck绘制了大数据产业链趋势全景图v2.0，该图将数百个大数据创业公司和IT厂商根据产品和商业模式划分为基础设施、分析、应用、数据源、跨基础设施分析、开源解决方案六大类，共计38项。

2014年，Matt Turck从一个风险投资者的角度对两年来大数据市场的最新发展进行了深入研判，对未来趋势进行解读，并绘制了大数据产业链发展趋势全景图v3.0。

图4-5 大数据产业链发展趋势全景图V2.0图4-6 大数据产业链发展趋势全景图V3.0在大数据产业链发展趋势全景图V3.0中，一共有358家公司，和V2.0对比只有16家公司已经退出（被收购或者上市），只占到4.5%的份额。

其中，退出最多的是数据分析（7.5%）以及基础设施（4%），而数据源和开源解决方案类均无企业退出。

在大数据产业链发展趋势全景图V3.0中，最热门的分类分别数据分析、基础设施和应用三个大类，如下图所示：图4-7 大数据产业链分类从大数据产业链发展趋势全景图V2.0版和V3.0版的对比分析中可以看出，大数据产业链有几个关键的变化趋势：（1）竞争加剧创业者们纷纷涌入大数据市场，尾随的风险投资商也是挥金如土，导致大数据创业市场目前已经非常拥挤。

例如一些创业项目类别，例如数据库（无论是NoSQL还是NewSQL），或者社交媒体分析，目前正面临整合或去泡沫化（随着Twitter收购BlueFin和GNIP，社交分析领域的整合已经开始）。

虽然大数据创业市场已经人山人海，但是依然有足够的空间给新的创业公司，现阶段大数据基础设施和分析工具领域的创新吸引了大量的资金，当然，这类大数据创业本来就是资金密集型项目。

（2）大数据市场尚处于初期阶段虽然大数据的概念已经热炒了数年，但该领域依然处于市场的早期阶段，虽然过去几年类似Drawn和Scale这样的公司失败了，但是相当多的公司已经看到了胜利的曙光，例如Infochimps、Causata、Streambase、ParAccel、Aspera、GNIP、BlueFinLanbs、BlueKai等。

还有不少大数据创业公司已经形成规模和气候，并且获得了海量融资，例如MongoDB已经募集2.3亿美元，Plalantir9亿，Cloudera1亿。

但是就成功的IPO或公司而言，市场尚处于早期阶段（虽然已经有Splunk、Tableau等成功IPO）。