大数据实验室建设方案
目录
1概述 (3)
1.1建设背景 (3)
1.2建设现状 (4)
2总体设计 (5)
2.1总体架构 (5)
2.2分步实施方案 (6)
2.2.1一期：实现大数据教学实验入口，建立稳定可靠的大数据实验平台 (6)
2.2.2二期：基于大数据领域的深入拓展研究 (7)
3详细设计 (9)
3.1一期建设内容 (9)
3.1.1机房装修建议方案 (9)
3.1.2云存储平台 (25)
3.1.3大数据实验平台 (29)
3.1.4桌面虚拟化 (96)
3.1.5教学云盘 (98)
3.2二期建设内容 (106)
3.2.1深度学习平台 (106)
3.2.2数据立方大数据库 (111)
3.2.3数据挖掘平台 (117)
3.2.4数据可视化 (122)
3.2.5物联网智能硬件服务平台 (127)
4建设意义 (132)
5规格配置 (134)
1概述
1.1建设背景
随着移动互联网、云计算、物联网的快速发展，特别是智能手机端博客、社交网络、位置服务（LBS）等信息发布方式的不断涌现，数据正以前所未有的速度在不断地增长和累积，全球在2010年正式进入ZB 时代，根据IDC监测，人类自有史以来所有数据量大约每18 个月翻一番，意味着人类在最近18个月产生的数据量相当于之前产生的全部数据量，预计到2020 年，全球将总共拥有35ZB的数据量，是2010年的近30倍，大数据时代已经来到。

在海量数据面前，大数据人才无疑是其中最关键环节之一，然而，不论国内外，大数据人才却紧缺相当稀缺，在未来5-10年，我国大数据市场规模年均增速将超过30%，而大数据人才缺口将突破150万，目前大数据人才平均月薪达1.5万，在BAT发布的招聘职位中，大数据人才超过60%。

我校为顺应新形式的发展，着手建立大数据学院，创建大数据实验室、大数据实验平台，开设大数据教学培训，实现我校教学科研一体化流程，将为我校增加学生就业机会和薪资水平，提高师资水平，逐步培养当今互联网时代IT行业的大数据人才起到至关重要的作用。

而大数据学科方向是一门交叉专业方向，与不同专业相结合可以发展成特定方向的专业或研究领域。

经济金融学、应用数学、统计学、计算机科学等传统专业方向与大数据学科方向相结合表现出多样化的差异特征，包括专业研究方向与社会需求岗位在内。

除了课堂学习，通过实验来加深理解和提高实际应用操作能力也是主要途径。

调查表明，当前大数据涉及到很多内容，如大数据实验、数据分析、数据挖掘、数据可视化等，其中的很多实验，都无法在我校现有的实验室中完成。

因此，我校建设专门的大数据实验室就显得非常重要。

1.2建设现状
虽然目前我校也意识到开设大数据专业及相关课程，但是在专业课程开设的过程中也遇到了诸多问题，因此，我校着眼于未来，着手从全球的技术重点难点-大数据教学出发，拟打造高校大数据教学的标杆，建设新一代的大数据研究教学基地，建立一套具有高可靠、可在线弹性伸缩，提供数据内在关系和价值的大数据教学平台，目前我校大数据实验平台建设具体现状如下：
●基础实验环境薄弱，大数据实训开展难
目前我校的大数据教学大都卡在了实验环节，缺乏相应的基础实验环境，无法为每一个学生都提供一套实验集群，而虚拟化的网络配置与运维又十分复杂，同时大数据分布式软件系统安装、配置难度较大，在实验过程中很容易造成实验环境的破坏，实验数据、实验教案、实验手册缺乏，难以开展相关的实验教学。

●课程体系待完善，大数据教学科研入门难
当前我校的大数据专业处于起步阶段，人才培养课程体系缺乏系统性，大数据教学资源匮乏，可配置和指导实验环境的专业师资不足。

●项目实训缺失，教学效果与就业率打折扣
在大数据教学过程中，缺乏相应的实训项目，只有理论教育，难以培养实用型人才所需的专业项目能力，存在专业学习与实际应用脱轨的情况，使得教学效果与就业率打折扣。

2总体设计
2.1总体架构
大数据实验室总体架构主要包括四个层面：
（1）基础环境设施建设
大数据实验室基础环境建设主要是支撑实验室教学运行的基本环境配套建设，包括实验室机房装修、综合布线、网络通信、配电UPS、安防监控、实验室空调、学生实验桌椅、教学用投影音响器材等。

通过这些基础支撑环境的建设，才能保证大数据实验室的建设提供基础。

（2）IT环境配套建设
在基础环境搭建完善的基础上，需要建设满足大数据实验平台的配套环境，主要包括：各类服务器、交换机、路由器、投影仪、终端电脑等。

（3）大数据实验平台层建设
在满足大数据平台层所需的IT环境配套资源之上，建设存储资源池和计算处理资源池，提供大数据实验平台和深度学习平台，供师生科研教学使用，建立
在数据立方大数据库高速运算、秒级处理基础上，数据挖掘分析平台对现有数据进行智能分析，最终通过数据可视化能将数据以更加直观的方式展现出来，使获取的数据更加客观、更具说服力。

（4）服务层
大数据平台的最终目的是为学校、师生提供服务，因此利用平台搭建可供大量老师、学生完成大数据科研、教学实验的集成环境，该平台同步提供了配套的培训服务，对于科研教学组件的安装、配置，教材、实验手册等具体应用提供一站式服务，有助于高校更好地满足课程设计、课程上机实验、实习实训、科研训练等多方面需求，并在一定程度上缓解大数据师资不足的问题。

对于各大高校而言，即使没有任何大数据实验基础，该平台也能助其轻松开展大数据的教学、实验与科研。

2.2分步实施方案
我校大数据实验室建设的各个环节相互关联，在建设的过程中，需要有计划、有步骤地实施，以确保各项内容的协调发展；基于xxx股份有限公司在云计算、大数据领域积累的丰富经验并且结合学校的实际需求和业务特点，制定以下合理的分步实施方案。

本次方案主要围绕大数据专业课程的开展，搭建大数据实验相关的软硬件平台，分期进行建设。

2.2.1一期：实现大数据教学实验入口，建立稳定可靠的大数据实验
平台
利用大数据、云计算技术构建统一的大数据实验平台，完善大数据教学课程体系，培养大数据实战型人才。

主要建设内容如下：
（1）云存储平台
提供一套存储资源管理系统，采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上；具有低功耗、超高性价比、高可靠、通用、免维护等优
势。

（2）大数据实验平台
大数据实验平台通过应用容器技术，以少量机器虚拟大量实验集群，可供大量学生同时拥有多套集群进行Hadoop相关试验，而每个学生的实验环境不仅相互隔离，方便高效地完成实验，而且实验彼此不干扰，即使某个实验环境被破坏，对其他人也没有影响，一键重启就可以拥有一套新集群，大幅度节省了硬件和人员管理的投入成本。

同时配套提供大数据实验教材、PPT、视频、操作手册、实验数据等配套资源。

（3）教学云盘
通过教学云盘为师生构建私有云平台，为用户提供了安全、稳定、高效、性价比高的数据管理服务。

（4）桌面虚拟化
针对学校日常办公、大数据教学等环境建立一体化桌面虚拟化解决方案，学生师生用户可跨平台、跨终端、跨协议按需弹性配置自己的桌面、应用和数据。

具有高可靠、高安全、多兼容、易管理等优势。

2.2.2二期：基于大数据领域的深入拓展研究
在一期大数据实验平台的建设基础上，突出大数据领域的多应用建设，进一步提升学校在大数据专业的核心竞争力和影响力。

主要建设内容如下：
（1）深度学习平台的建设
根据国家和地方社会经济发展需要，结合区域相关产业和行业特点，以我校优势学科和特色专业为基础，重点从图像处理、视频挖掘、生物识别和人工智能方面的创新实验、实习、实训以及深度学习为重点研究出发进行建设。

提供一套涵盖大数据算法、接口、工具、平台等多方面内容，从大数据监测与收集、大数据存储与处理、大数据分析与挖掘直至大数据创新，帮助高校构建完善的大数据课程体系。

（2）数据挖掘及可视化分析
建立数据立方大数据库，实现EB级的数据能够秒级处理，支持数据仓库存
储、数据深度挖掘和商业智能分析等业务。

建立数据可视化，将数据的各个属性值以多维数据的形式表示，可以从不同的维度观察数据，从而对数据进行更深入的观察和分析。

（3）物联网智能硬件平台
提供一个免费的物联网设备和应用的数据托管平台。

学校现有的智能设备可使用多种协议轻松安全地向万物云提交所产生的设备数据，在服务平台上进行存储和处理，并通过数据应用编程接口向各种物联网应用提供可靠的跨平台的数据查询和调用服务。

通过使用物联网智能硬件平台所提供的各项服务，学校可以收集、处理和分析互连智能设备生成的数据，在物联网应用中方便地调用这些设备数据，而无需投资，安装和管理任何基础设施，不仅大大降低了项目开发的技术门槛，缩短开发周期，而且研发和营运成本也成倍降低。