上市公司，官网：大数据开发初学者该如何学习导读：第一章：初识Hadoop第二章：更高效的WordCount第三章：把别处的数据搞到Hadoop上第四章：把Hadoop上的数据搞到别处去第五章：快一点吧，我的SQL第六章：一夫多妻制第七章：越来越多的分析任务第八章：我的数据要实时第九章：我的数据要对外第十章：牛逼高大上的机器学习经常有初学者会问，自己想往大数据方向发展，该学哪些技术，学习路线是什么样的，觉得大数据很火，就业很好，薪资很高……首先，如果你确定了想往这个方面发展，先考虑自己的过去从业经历、专业、兴趣是什么。

计算机专业——操作系统、硬件、网络、服务器？软件专业——软件开发、编程、写代码？还是数学、统计学专业——对数据和数字特别感兴趣？其实这就是想告诉你大数据的三个发展方向，平台搭建/优化/运维/监控、大数据开发/设计/架构、数据分析/挖掘。

先扯一下大数据的4V特征：∙数据量大，TB->PB∙数据类型繁多，结构化、非结构化文本、日志、视频、图片、地理位置等；上市公司，官网：∙商业价值高，但是这种价值需要在海量数据之上，通过数据分析与机器学习更快速的挖掘出来；∙处理时效性高，海量数据的处理需求不再局限在离线计算当中。

现如今，正式为了应对大数据的这几个特点，开源的大数据框架越来越多，越来越强，先列举一些常见的：文件存储：Hadoop HDFS、Tachyon、KFS离线计算：Hadoop MapReduce、Spark流式、实时计算：Storm、Spark Streaming、S4、HeronK-V、NOSQL数据库：HBase、Redis、MongoDB资源管理：YARN、Mesos日志收集：Flume、Scribe、Logstash、Kibana消息系统：Kafka、StormMQ、ZeroMQ、RabbitMQ查询分析：Hive、Impala、Pig、Presto、Phoenix、SparkSQL、Drill、Flink、Kylin、Druid分布式协调服务：Zookeeper集群管理与监控：Ambari、Ganglia、Nagios、Cloudera Manager数据挖掘、机器学习：Mahout、Spark MLLib数据同步：Sqoop任务调度：Oozie1.1 学会百度与Google上市公司，官网： 不论遇到什么问题，先试试搜索并自己解决。

Google首选，翻不过去的，就用百度吧。

1.2 参考资料首选官方文档特别是对于入门来说，官方文档永远是首选文档。

相信搞这块的大多是文化人，英文凑合就行，实在看不下去的，请参考第一步。

1.3 先让Hadoop跑起来Hadoop可以算是大数据存储和计算的开山鼻祖，现在大多开源的大数据框架都依赖Hadoop或者与它能很好的兼容。

关于Hadoop,你至少需要搞清楚以下是什么：∙Hadoop 1.0、Hadoop 2.0∙MapReduce、HDFS∙NameNode、DataNode∙JobTracker、T askTracker∙Yarn、ResourceManager、NodeManager自己搭建Hadoop，请使用第一步和第二步，能让它跑起来就行。

建议先使用安装包命令行安装，不要使用管理工具安装。

另外：Hadoop1.0知道它就行了，现在都用Hadoop 2.0.1.4 尝试使用Hadoop∙HDFS目录操作命令；∙上传、下载文件命令；∙提交运行MapReduce示例程序；∙打开Hadoop WEB界面，查看Job运行状态，查看Job运行日志。

∙知道Hadoop的系统日志在哪里。

上市公司，官网：1.5了解它们的原理MapReduce：如何分而治之；HDFS：数据到底在哪里，什么是副本；Yarn到底是什么，它能干什么；NameNode到底在干些什么；ResourceManager到底在干些什么；1.6 自己写一个MapReduce程序仿照WordCount例子，自己写一个（照抄也行）WordCount程序，打包并提交到Hadoop运行。

不会Java的话，Shell、Python都可以，有个东西叫Hadoop Streaming。

如果能认真完成了以上几步，恭喜你，你的一只脚已经进来了。

2.1 学点SQL吧如果不懂数据库的童鞋先学习使用SQL句。

2.2 SQL版WordCount在1.6中，你写（或者抄）的WordCount一共有几行代码？如果用SQL的话：SELECT word,COUNT(1) FROM wordcount GROUP BY word;这便是SQL的魅力，编程需要几十行，甚至上百行代码，SQL一句就搞定；使用SQL处理分析Hadoop上的数据，方便、高效、易上手、更是趋势。

不论上市公司，官网：是离线计算还是实时计算，越来越多的大数据处理框架都在积极提供SQL接口。

2.3 安装配置HiveHive算是数据仓库工具，安装不难，网上有很多教程，配置完成后，可以正常进入Hive命令行。

2.4 试试使用Hive尝试在Hive中创建wordcount表，并运行2.2中的SQL语句。

在Hadoop WEB界面中找到刚才运行的SQL任务。

看SQL查询结果是否和1.4中MapReduce中的结果一致。

明明写的是SQL，为什么Hadoop WEB界面中看到的是MapReduce任务？2.5 学会Hive的基本命令创建、删除表；加载数据到表；下载Hive表的数据；并学习更多关于Hive的语法和命令。

以上如果按照第一章和第二章的流程认真完整的走了一遍后，应该已经具备以下技能和知识点：0和Hadoop2.0的区别MapReduce的原理（还是那个经典的题目，一个10G大小的文件，给定1G 大小的内存，如何使用Java程序统计出现次数最多的10个单词及次数）；HDFS读写数据的流程；向HDFS中PUT数据；从HDFS中下载数据；自己会写简单的MapReduce程序，运行出现问题，知道在哪里查看日志；会写简单的SELECT、WHERE、GROUP BY等SQL语句；Hive SQL转换成MapReduce的大致流程；Hive中常见的语句：创建表、删除表、往表中加载数据、分区、将表中数据下载到本地；上市公司，官网：从上面的学习，你已经了解到，HDFS是Hadoop提供的分布式存储框架，它可以用来存储海量数据，MapReduce是Hadoop提供的分布式计算框架，它可以用来统计和分析HDFS上的海量数据，而Hive则是SQL On Hadoop，Hive提供了SQL接口，开发人员只需要编写简单易上手的SQL语句，Hive负责把SQL翻译成MapReduce，提交运行。

此时，你的认知中“大数据平台”是这样的：那么问题来了，海量数据如何到HDFS上呢？此处也可以叫做数据采集，把各个数据源的数据采集到Hadoop上。

3.1 HDFS PUT命令put命令在实际环境中也比较常用，通常配合shell、python等脚本语言来使用。

建议需熟练掌握。

3.2 HDFS APIHDFS提供了写数据的API，自己用编程语言将数据写入HDFS，put命令本身也是使用API。

实际环境中一般自己较少编写程序使用API来写数据到HDFS，通常都是使用其他框架封装好的方法。

比如：Hive中的INSERT语句，Spark中的saveAsTextfile等。

可以尝试了解原理，试着写几个Demo。

3.3 Sqoop上市公司，官网： Sqoop是一个主要用于Hadoop/Hive与传统关系型数据库Oracle/MySQL/SQLServer等之间进行数据交换的开源框架。

就像Hive把SQL翻译成MapReduce一样，Sqoop把你指定的参数翻译成MapReduce，提交到Hadoop运行，完成Hadoop与其他数据库之间的数据交换。

自己下载和配置Sqoop（建议先使用Sqoop1，Sqoop2比较复杂）。

了解Sqoop常用的配置参数和方法。

使用Sqoop完成从MySQL同步数据到HDFS；使用Sqoop完成从MySQL同步数据到Hive表；PS：如果后续选型确定使用Sqoop作为数据交换工具，那么建议熟练掌握，否则，了解和会用Demo即可。

3.4 FlumeFlume是一个分布式的海量日志采集和传输框架，因为“采集和传输框架”，所以它并不适合关系型数据库的数据采集和传输。

Flume可以实时的从网络协议、消息系统、文件系统采集日志，并传输到HDFS上。

因此，如果你的业务有这些数据源的数据，并且需要实时的采集，那么就应该考虑使用Flume。

下载和配置Flume。

使用Flume监控一个不断追加数据的文件，并将数据传输到HDFS；PS：Flume的配置和使用较为复杂，如果你没有足够的兴趣和耐心，可以先跳过Flume。

3.5 阿里开源的DataX之所以介绍这个，是因为以前某公司客户目前使用的Hadoop与关系型数据库数据交换的工具，就是之前基于DataX开发的，个人感觉非常好用。

现在DataX已经是3.0版本，支持很多数据源。

你也可以在其之上做二次开发。

PS：有兴趣的可以研究和使用一下，对比一下它与Sqoop。

上市公司，官网：至此，你的“大数据平台”应该是这样的：前面介绍了如何把数据源的数据采集到Hadoop上，数据到Hadoop上之后，便可以使用Hive和MapReduce进行分析了。

那么接下来的问题是，分析完的结果如何从Hadoop上同步到其他系统和应用中去呢？其实此处的方法和第三章基本一致的。

4.1 HDFS GET命令把HDFS上的文件GET到本地。

需要熟练掌握。

4.2 HDFS API原理同3.2.4.3 Sqoop原理同3.3。

使用Sqoop完成将HDFS上的文件同步到MySQL；使用Sqoop完成将Hive表中的数据同步到MySQL；4.4 DataX原理同3.4上市公司，官网： 此时，“你的大数据平台”应该是这样的：走完第三章和第四章的流程，那么你应该已经具备以下技能和知识点：∙知道如何把已有的数据采集到HDFS上，包括离线采集和实时采集；∙知道sqoop（或者还有DataX）是HDFS和其他数据源之间的数据交换工具；∙知道flume可以用作实时的日志采集；至此，对于大数据平台，应该已经掌握如何搭建Hadoop集群，把数据采集到Hadoop上，使用Hive和MapReduce来分析数据，把分析结果同步到其他数据源。

接下来的问题就是，Hive使用的越来越多，你会发现很多不愉快的地方，特别是速度慢，大多情况下，明明我的数据量很小，它都要申请资源，启动MapReduce来执行。

其实大家都已经发现Hive后台使用MapReduce作为执行引擎，实在是有点慢。