页眉内容 创新 专业 高效 进取 共赢 Hadoop集群搭建 目录 Hadoop集群搭建 .............................................................. 1
目录..................................................................... 1 1、 基础集群环境搭建 ......................................................... 2
1.1、 安装JDK ........................................................... 2 1.2、 修改主机名称，关闭防火墙 ........................................... 3 1.3、 添加内网域名映射 ................................................... 3 1.4、 配置免密码登录 ..................................................... 4 2、 Hadoop集群环境安装 ...................................................... 4 2.1、Hadoop版本选择 ..................................................... 4 2.2、安装Hadoop ......................................................... 5
2.2.1、Hadoop伪分布式模式安装 ....................................... 5 2.2.2、Hadoop分布式集群安装 ......................................... 7 3、 集群初步使用 ............................................................ 13
3.1、Hadoop集群启动 .................................................... 13 3.2、HDFS集群初步使用 .................................................. 13 4、 Hadoop集群安装高级知识 ................................................. 14 4.1、Hadoop HA 安装 ..................................................... 14 页眉内容
创新 专业 高效 进取 共赢 1、
2、 3、基础集群环境搭建 1.2、 1.3、安装JDK 2、 3、上传jdk-8u151-linux-x64.tar.gz
/usr rz 5、 6、解压到usr目录下
tar -zxvf jdk-8u151-linux-x64.tar.gz mv jdk原名 jdk1.8.0 (便于后期输入) 7、 8、 9、配置环境变量 (2) (3) vim /etc/profile (5) (6) 在最后加入：
JAVA_HOME=/usr/java1.8 PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME PATH (8) 保存退出 10、 11、 12、source /etc/profile 14、检测是否安装成功，输入命令：java -version
做完以上步骤，可以开始克隆虚拟机。因为以上系统的配置，都是一些基础性的操作。都页眉内容 创新 专业 高效 进取 共赢 是必须的 1.5、 1.6、修改主机名称，关闭防火墙 2、 3、root账号下使用命令：hostnamectl set-hostname hadoop02 5、 6、Xshell关闭连接窗口，重新连接即可更改过来 8、 9、关闭防火墙（CentOS7） (2) (3) firewall-cmd --state #查看防火墙状态 (5) (6) systemctl stop firewalld.service #停止firewall (8) (9) systemctl disable firewalld.service #禁止firewall开机启动 三台都做
1.7、
1.8、 1.9、添加内网域名映射 2、修改配置文件：vim /etc/hosts
发送到另外两台上面 页眉内容
创新 专业 高效 进取 共赢 1.11、 1.12、配置免密码登录 2、 3、在root登录状态下，输入命令 ssh-keygen 或者 ssh-keygen -t rsa 三台都要 5、之后你会发现，在/root/.ssh 目录下生成了公钥文件
7、 8、使用一个简单的方式，使用命令：
ssh-copy-id hadoop02 建立hadoop01到hadoop02的免密码登录，三台都做,包括免密自己
5、 6、Hadoop集群环境安装 2.1、Hadoop版本选择
1、Apache官方版本： 1.X 2.X 2.6.5 2.7.5 3.0.1 2、商业发行版本 页眉内容 创新 专业 高效 进取 共赢 提供完善的管理系统，修复bug可能会领先于官方版本 Cloudera公司的CDH：5.7.X
2.2、安装Hadoop 2.2.1、Hadoop伪分布式模式安装（不弄 ） Hadoop可以在单节点上以伪分布式的方式运行，Hadoop进程以分离的Java进程来运行，节点即作为NameNode也作为DataNode，同时，读取的是HDFS中的文件。
Hadoop的配置文件位于hadoop-2.7.5/etc/hadoop/文件夹中，伪分布式需要修改两个配置文件core-site.xml和hdfs-site.xml（其中hdfs-site.xml用来配置数据块的副本数量，对于伪分布式来说，不管你配置几个副本数量，它始终都只有一个副本，所以可以不用管）。Hadoop分配置文件是xml格式，每个配置文件以声明property的name 和value的方式来实现 1、 2、 3、修改hadoop-env.sh配置文件，添加jdk安装目录
[root@hadoop01 hadoop]# vim hadoop-env.sh
5、 6、修改core-site.xml
页眉内容 创新 专业 高效 进取 共赢 fs.defaultFS hdfs://hadoop01:9000 hadoop.tmp.dir /opt/hadoop-2.7.5/temp
7、 8、修改slaves
hadoop01 9、 10、 11、添加hadoop环境变量：vim /etc/profile
HADOOP_HOME=/home/hadoop-2.7.5 PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH export HADOOP_HOME PATH 12、 13、 14、格式化namenode
[root@hadoop01 hadoop]#hadoop namenode -format 15、 16、 17、启动hdfs 页眉内容 创新 专业 高效 进取 共赢 [root@hadoop01 hadoop]#start-dfs.sh 18、 19、 20、检查是否启动成功 (2) (3) 利用jps工具检测各进程是否启动成功 (5) (6) 利用web UI 查看http://hadoop01:50070
2.2.2、Hadoop分布式集群安装 集群规划：
HDFS YARN
hadoop01 NameNode+DataNode 主节点 NodeManager hadoop02 DataNode+SecondaryNamenode NodeManager
hadoop03 DataNode NodeManager+ResourceManager主节点
总共三个datanode节点，设置副本数为2，是为了观察数据块分布方便，各自可根据自身机器决定。
具体步骤：一、 二、上传安装包，并解压到相关目录
//tar -zxvf hadoop-2.7.5.tar.gz -C /home/ /usr rz