教育大数据实训平台介绍
平台内容
大数据平台软、硬件环境 教学管理系统 Xdata-EDU IDE实验开发环境(学 生端) 教学课程、实验指导、案例库、推 荐教材 大数据平台与教学软件培训服务
据教学课程、大数据教学系统,大
数据集群实验环境和培训为一体的 软硬件整体平台;
XData-EDU大数据实训平台
6
XData-EDU大数据实训平台 1 2 3 4 5
9
便捷 高效 的教 学系 统平 台
教学管理平台:提供整个平台的管理功能,包括用户、资源、课程、实验过程管理等
运维管理平台:监控、告警、服务管理、参数配置等功能
XData-EDU大数据实训平台
分级教学:课程根据复杂程度划分为初级、中级、高级(可定制课程内容),梯度划分合理, 完成课程后可获得相应等级的证书,提升学员的就业能力。 初级课程:面向职业教育院校、继续教育院所、培训机构提供的大数据开发、运维基础课程,
4
如何提升学生的动手 能力? 如何提供大数据设备?
那么多大数据技术都是做什么 的?
Hadoop 是什么? Hadoop能做什么?
学生
如何搭建Hadoop集群? 怎样开发Hadoop程序?
增加就业竞争力
提升动手能力
了解大数据前沿技术
Hadoop管理与开发
XData-EDU大数据实训平台
5
系统简介
XData-EDU 大数据实训平台是公 司综合分析目前高校的大数据教学 应用现状以及国家和社会对于大数 据人才培养的急迫需求而为高校进 行大数据教育量身定做的,集大数
业界 主流 的大 数据 技术
Flume 日志采 集
内存计算引擎Spark K-V数据库HBase
HadoopUIHue 类SQL编译器Pig
海量数据挖掘算法平台 协同服务Zookeeper
资源管理和任务调度器(YARN) 数据 ETL 分布式存储系统
开源版本上优化
商业产品
开源实现
自主代码
XData-EDU大数据实训平台
数据系统架构师/数据挖掘工程师证书。
XData-EDU大数据实训平台 真实应用案例—用户画像,用户行为分析
用户画像和行为分析:用户画像与行为分析是指根据用户的历史行为数据,对用 户的基本特征做出判断的过程。用户画像是数据挖掘与机器学习算法下的综合应 用,互联网公司已经其他一些企业都非常重视用户画像的分析,例如天猫,京东 等购物网站可以通过用户画像更好的了解客户需求。著名的netflix就是通过精准 的用户画像和推荐系统达到高效的内容推荐和广告投送的。
XData-EDU大数据实训平台
16
先进 易用 的集 群管 理系 统
10
学生完成课程后,可获得大数据软件工程师/大数பைடு நூலகம்系统运维工程师证书。
精心 打造 的大 数据 专业 课程
中级课程:面向高校提供的研究生课程或职业教育、继续教育提供的大数据高级课程,学生 完成课程后,可获得高级大数据软件工程师/高级大数据系统运维工程师证书。 高级课程:面向高校或科研院所提供的大数据挖掘和分析课程,学生完成课程后,可获得大
教育大数据实训平台介绍
技术创新,变革未来
目录
2
1 2
大数据实训平台建设背景 大数据教育面临的问题 XData-EDU大数据实训平台 XData-EDU的优势 成功案例
3 4
5
XData-EDU大数据实训平台建设背景
3
大数据技术—时代的召唤
行业发 展迫切 需求
• 各行各业的发展需要 大数据技术的支撑
11
精心 打造 的大 数据 专业 课程
边学边做
XData-EDU大数据实训平台
12
Hadoop管理软件 (安装、部署、监控、告警、运行、管理) Kafka 消息队 列 个性化推荐引擎 流处理XStorm 数据仓库Hive Map/Reduce 实时计算处理引擎 集群硬件监控 集群硬件监控 Xdata广电大数据分析应用系统 Xdata-Hadoop软件 智能化参数建议 统一用户管理
13
XData-SDH大数据平台
操作系统 计算性能 数据采集 专为Hadoop架构及计算任务而设计
一般Hadoop平台
通用的Linux版本 通用系统环境,环境未经调优 无通用的采集工具 需要手动安装 只有软件 只有软件服务的监控
全系统参数测试优化,比通用的系统 性能提升3-5倍
集成多种数据采集协议 一键部署,8分钟内完成12个节点部署, 含全系统HA、安全认证部署 集网络、分布式文件系统、计算、 管理与一体 实时监测软硬件的服务及用户的作业, 优化作业的响应及性能
XData-EDU大数据实训平台
高度 整合 的大 数据 集群 与教 学系 统
学生 教师 教学 web 客户 端
8
千兆以太网
教学平台实验 管理系统节点
教学投影仪
网络交换机
网络交换机
Hadoop 集群
管理节点
数据节点
学生web客户端 Xdata-EDU IDE开发
XData-EDU大数据实训平台
Xdata-EDU:提供完整的开发运行环境以及详细文档支持 实验开发平台:IDE开发环境,封装有JDK,Hadoop各组间依赖包,预置实验参考代码 实验运行平台:学生可以通过Web界面上传程序包并运行,平台提供结果查看和错误反馈
高度整合的大数据集群 与教学系统 便捷高效的教学系统平 台 精心打造的大数据专业 课程 提供完备的教学与实验 设备 迅速提升教学辅助能力
7
深入大数据教学,快速 掌握大数据知识 真实的大数据生产环境, 快速提高动手能力 高效管理设备,解决后 顾之忧
稳定高效的大数据集群
先进易用的集群管理 系统
最终效果——设备先进,教学高效,课程专业,学生优秀
稳定 高效 的大 数据 集群
集群部署 高融合架构 健全运维
XData-EDU大数据实训平台
提供64位,32位最新版IDE开发工具
14
迅速 提高 动手 开发 能力
XData-EDU大数据实训平台
15
全方位故障诊断 多维度系统监控
XData
一键式快速安装 集中式便捷管理
先进 易用 的集 群管 理系 统
技术教
育相对 落后
前沿技
术不断 创新
• 大数据前沿技术快速 蓬勃发展
• 国家倡导大数据产教 学一体化发展
• 大数据技术人才无法 满足巨大的市场需求 • 现有教学设备无法满 足大数据教学需求
人才储 备严重 缺乏
国家政 策大力 支持
大数据教育面临的问题 教育人员
如何提升学生就业能 力? 如何进行大数据教学?