当前位置:文档之家› hadoop学习课程介绍

hadoop学习课程介绍

云凡教育Hadoop网络培训第二期开课时间:2014年1月20日授课方式:YY在线教育+课程视频+资料、笔记+辅导+推荐就业YY教育平台:20483828课程咨询:1441562932 大胃云凡教育Hadoop交流群:306770165费用:第二期优惠特价:999元;授课对象:对大数据领域有求知欲,想成为其中一员的人员想深入学习hadoop,而不只是只闻其名的人员基础技能要求:具有linux操作一般知识(因为hadoop在linux下跑)有Java基础(因为hadoop是java写的并且编程也要用java语言)课程特色1,以企业实际应用为向导,进行知识点的深入浅出讲解;2,从零起步,循序渐进,剖析每一个知识;3,萃取出实际开发中最常用、最实用的内容并以深入浅出的方式把难点化于无形之中学习安排:Hadoop的起源与生态系统介绍(了解什么是大数据;Google的三篇论文;围绕Hadoop形成的一系列的生态系统;各个子项目简要介绍)1_Linux系统环境搭建和基本命令使用针对很多同学对linux命令不熟悉,在课程的学习中,由于命令不熟悉导致很多错误产生,所以特意增加一节linux基础课程,讲解一些常用的命令,对接下来的学习中做好入门准备;02_Hadoop本地(单机)模式和伪分布式模式安装本节是最基本的课程,属于入门级别,主要对Hadoop 介绍,集中安装模式,如何在linux上面单机(本地)和伪分布模式安装Hadoop,对HDFS 和MapReduce进行测试和初步认识。

03_HDFS的体系结构、Shell操作、Java API使用和应用案例本节是对hadoop核心之一——HDFS的讲解。

HDFS是所有hadoop操作的基础,属于基本的内容。

对本节内容的理解直接影响以后所有课程的学习。

在本节学习中,我们会讲述hdfs的体系结构,以及使用shell、java不同方式对hdfs 的操作。

在工作中,这两种方式都非常常用。

学会了本节内容,就可以自己开发网盘应用了。

在本节学习中,我们不仅对理论和操作进行讲解,也会讲解hdfs 的源代码,方便部分学员以后对hadoop源码进行修改。

04_MapReduce入门、框架原理、深入学习和相关MR面试题本节开始对hadoop核心之一——mapreduce的讲解。

mapreduce是hadoop 的核心,是以后各种框架运行的基础,这是必须掌握的。

在本次讲解中,掌握mapreduce执行的详细过程,以单词计数为例,讲解mapreduce的详细执行过程。

还讲解hadoop的序列化机制和数据类型,并使用自定义类型实现电信日志信息的统计。

最后,还要讲解hadoop的RPC机制,这是hadoop运行的基础,通过该节学习,我们就可以明白hadoop是怎么明白的了,就不必糊涂了,本节内容特别重要。

05_Hadoop集群安装管理、NameNode安全模式和Hadoop 1.x串讲复习hadoop就业主要是两个方向:hadoop工程师和hadoop集群管理员。

我们课程主要培养工程师。

本节内容是面向集群管理员的,主要讲述集群管理的知识。

串讲复习Hadoop 的发展以及基本知识概念,让大家更加深入的理解Hadoop。

06_HBase入门、存储原理、Shell 命令、Java API操作和应用案例•HBase是个好东西,在以后工作中会经常遇到,特别是电信、银行、保险等行业。

本节讲解HBase的伪分布和集群的安装,讲解基本理论和各种操作。

我们通过对hbase原理的讲解,让大家明白为什么hbase会这么适合大数据的实时查询。

最后讲解hbase如何设计表结构,这是hbase优化的重点。

07_Zookeeper集群安装、回顾HBase和MySql 5.1安装与基本使用•本节内容与属于基础性内容,主要讲解Zookeeper和MySQL。

其中Zookeeper是用于协作服务运行的,比如HBase的运行,以及DHFS 2.0中的HA的实现。

MySQL作为Hive、Impala等实时查询数据库框架的元数据存储。

只是在hbase集群安装时才用到。

学好此部分知识,是很有必要的,如果对此不明白的话,在实际的项目开发和运维中,会遇到很到问题。

•08_Hive安装、配置元数据、HiveQL语句学习和应用案例•Hive是个数据仓库,用于对数据进行多维分析,是hadoop对外提供类似于sql语句的一个框架,非常好用,合适熟悉数据库的开发人员快速介入到大数据开发之中。

Hive本质是将HiveQL语句转换成MapReduce,进行Job 运行。

09_串讲复习HDFS、MapReduce、HBase、Hive与Sqoop安装与数据导入导出•通过一个小案例串讲复习之前学习的知识,是大家能将零散的知识点进行整合运用,达到进入企业很好上手工作的目的•该项目是为本课程量身定做的,非常适合我们本阶段课程学习。

有的同学觉得应该多介绍项目,其实如果做过项目后,就会发现项目的思路是相同的,只是业务不同而已。

大家写过这个项目后,就对hadoop的各个框架在项目中是如何使用的,有个比较清晰的认识,对hadoop与javaEE结合有个比较清晰的认识了。

•sqoop适用于在关系数据库与hdfs之间进行双向数据转换的,在企业中,非常常用。

10_答疑总结、任务调度框架Azkaban安装和使用•进行课程的总结和答疑,讲解实际项目中如何分析需求、针对需求进行设计,对选择大数据各种处理框架。

•此外,讲解任务调度的使用,目前暂定讲解Azkaban,可能后期会有变动,会讲解Oozie,依据具体情况而定。

11_Hadoop 2.2.0介绍、集群安装和商业版Hadoop介绍•Hadoop 2.0 系列的已经发布第一个正式版有两个月的时间了,其中添加了很多新的特性,尤其是HDFS HA与HDFS Federation和MRv2(YARN),很多公司真正积极的准备升级到2.0,有必要了解一下,以及简单的集群安装。

•在企业中真正的实际应用,很少回去使用Apache Hadoop,这仅仅作为学习使用,而是去选择商业版的开源的Hadoop版本,比如最著名的有Cloudera、Hotonworks等,尤其Cloudera 的Hadoop版本使用最为广泛。

12_Cloudera Hadoop介绍、CM4.8安装和部署CDH4.5•针对Cloudera 版本的Hadoop进行介绍,以及集群管理工具Cloudera Manager 进行安装和使用CM 安装、管理与部署CDH。

讲师:陈梦琪讲师主要从事对Hadoop技术的实际应用开发,以及其性能优化工作。

熟悉HDFS 架构以及Mapreduce原理和相关编程;在数据分析、数据挖掘、云计算,云存储有多年开发经验,在Hadoop处理大数据方面有自己独到的见解,致力于让Hadoop 大数据应用更简单。

参加过众多大型项目,包括《Xxx省公安厅车辆轨迹大数据研判应用系统》建设、广东肇庆市公安局稽查布控系统、山东枣庄市公安局卡口系统、奇瑞异地工厂EAI系统项目、服务管理系统(SMS)、信息管理与整合系统等组织开发工作。

关于Hadoop:众所周知,经过10多年网络设备的发展,现在普通百姓一般都有10M,50M甚至是100M的上网带宽。

但是,我们看看软件平台的发展呢?几乎和10年以前没有太大的差异!正所谓高速公路建好了,但是车子还是慢速的。

所以我们说这个时代是软件时代,大数据时代,云时代。

我们这个系列课程就是符合这个时代的发展而诞生的,正所谓时代造英雄。

因为网络数据量的巨大,如何快速的分析这些数据成为关键中的关键!这也是为什么大数据会这么热!hadoop是处理大数据最流行的开源软件方案,所以作为想成为IT精英的你,不学hadoop,你觉得能跟上小伙伴们吗?我随便搜了一下51job网站,hadoop的职业需求高达2150条!太惊人!太震撼!其中不乏像“去哪儿网”这样的网络土豪!想要成为高富帅的你,不学hadoop,你觉得对得起谁?云凡教育网络培训FAQ:1.云凡教育网络培训和线下培训有何不同?云凡教育同时在举办企业培训和网络培训,相比之下:.网络培训对地点没有要求,你只要有网络就可以参加我们的培训.对培训时间要求也不高,可以根据自身的情况安排学习任务.由于没有了场地等成本,你的培训费用也相应比线下培训低了不少2.哪些情况不适合参加网络培训?.如果你需要快速的掌握一门技术,时间上不允许你花2-3个月参加我们网络培训,我们的企业培训可能更适合你;.由于没有了教室里老师的监督,如果你对自己的自控力没有信心,我们的企业培训可能会更适合你;当然学习费用也是是线上的10倍的价格以上;3.网络上那么多hadoop视频,并且还有那么多的培训机构,且比你有名气,我为什么要花钱去学你的课程?网络上流传的视频,大部分都是不全的;淘宝上的视频也没有全面的,如果你想免费学习,可以在网络搜搜或是在淘宝花几块钱买一套,比较一下就可以知道了;我们是提供在线教育+课程辅导+课程资料、笔记等,全面而强大的培训;现在网络上培训云计算的也就那么几家,大家在学习之前可以比较一下:课程的深度以及内容的实用性;有的太理论化、有的太简单了;而我们是偏重开发,同时对集群的运维也同样加强教学,我们的讲师是有多年一线的云计算开发和培训经验,将企业最实用的技术传授给大家,最后会将企业现在正开展的云计算项目提取一部分经典的,给大家练习、做demo;4.我在你们平台交了钱,怎么保证钱的安全?我们做企业培训有段时间了,云凡教育将是我们终身的事业,你不是第一个在我们平台付费的用户,也不会是最后一个,我们云凡教育每周都会开课,线上和线下都会进行的,你随时都可以来找我们;5.云凡教育在线学习平台都提供了哪些功能?云凡教育在线学习平台努力营造一体化的虚拟班级的学习环境,老师和学员保持相同的学习进度、相互促进,我们提供了:.无限次学习回放;.在线学习+资料、笔记;.向老师提问,及时回来;.与同学讨论;.课程结束会有相应的小项目要求完成;6.每周两到三次的在线视频答疑将如何进行?我们每周安排学员与老师进行两到三次的直播视频互动答疑,学员有什么问题可以集中提出。

我们将采用直播平台,默认在QQ群视频区和YY视频,届时将会每周通知学员7.能一次性的全部购买视频么?不能,如果你只想买视频,可能你来错了地方。

视频只是学习一部分,伴随我们每期的视频,我们老师会提供相应的有针对性的辅导,同学们也可以相互讨论,取长补短,老师每期也都会结合上期经验,适度修改每期的视频。

8. 如果第一次没有学会,后面能免费学习吗?一次报名,终身学习,只要课程内容有更新,你都可以学习的;9.参加学习后可以推荐工作么?云凡教育与业界多家公司有合作,每期结束后,我们将免费推荐最优秀的学员给业界最优秀的企业同时,我们与业界著名猎头公司建立了合作关系,我们将遵从学员的意见,推荐优秀的毕业学员给猎头公司10.你们提供发票么?暂时不提供发票;11.关于我们云凡教育hadoop学习的几点说明!其一,现在一般使用做大数据存储和处理的,使用Hadoop框架的公司,项目都是比较大的,或者是一个大项目中的一个小部分关于大数据查询与数据分析的。

相关主题