当前位置:文档之家› Hadoop安装部署手册

Hadoop安装部署手册

1.1软件环境
1)CentOS6.5x64
2)Jdk1.7x64
3)Hadoop2.6.2x64
4)Hbase-0.98.9
5)Zookeeper-3.4.6
1.2集群环境
集群中包括 3个节点:1个Master, 2个Slave
2安装前的准备
2.1下载JDK
2.2下载Hadoop
2.3下载Zookeeper
2.4下载Hbase
3开始安装
3.1 CentOS安装配置
1)安装3台CentOS6.5x64 (使用BasicServer模式,其他使用默认配置,安装过程略)
2)Master.Hadoop 配置
a)配置网络
修改为:
保存,退出(esc+:wq+enter ),使配置生效
b) 配置主机名
修改为:
c)配置 hosts
修改为:
修改为:
在最后增加如下内容
以上调整,需要重启系统才能生效
g) 配置用户
新建hadoop用户和组,设置 hadoop用户密码
id_rsa.pub ,默认存储在"/home/hadoop/.ssh" 目录下。

a) 把id_rsa.pub 追加到授权的 key 里面去
b) 修改.ssh 目录的权限以及 authorized_keys 的权限
c) 用root 用户登录服务器修改
SSH 配置文件"/etc/ssh/sshd_config"的下列内容
3) Slavel.Hadoop 、Slavel.Hadoop 配置
及用户密码等等操作
3.2
无密码登陆配置
1)
配置
Master 无密码登录所有 Slave a)使用 hadoop 用户登陆 Master.Hadoop
b)把公钥复制所有的 Slave 机器上。

使用下面的命令格式进行复制公钥
2) 配置Slave 无密码登录Master
a) 使用hadoop 用户登陆Slave
b)把公钥复制Master 机器上。

使用下面的命令格式进行复制公钥
id_rsa 和
相同的方式配置 Slavel 和Slave2的IP 地址,主机名和 hosts 文件,新建hadoop 用户和组
c) 在Master机器上将公钥追加到authorized_keys 中
3.3安装JDK
所有的机器上都要安装 JDK ,先在Master服务器安装,然后其他服务器按照步骤重复进行即可。

安装JDK以及配置环境变量,需要以 "root"的身份进行。

1)解压缩文件
增加如下内容:
因为官网,以下使用root身份进行安装。

1)将hadoop安装包上传到服务器/usr/local/目录下
2)解压缩文件
4)编辑 <HADOOP_HOME>/etc/hadoop/hadoop-env.sh
修改JAVA_HOME 的配置:
5)编辑 <HADOOP_HOME>/etc/hadoop/core-site.xml
修改为:
增加如下内容:
13) 在Slave上重复以上步骤,安装 Hadoop (以下为从 Master复制hadoop至U Slave)
在Slave上进行如上配置后,使用使用hadoop用户启动服务
第一次启动需要在 Master.Hadoop 执行
再启动yarn
在Master验证启动进程
在Slave验证启动进程
15)网页查看集群
3.5 安装Zookeeper
解压缩文件
根据zoo_sample.cfg 创建zoo.cfg并修改
配置环境变量
1)
2)
3)
4)
增加如下内容:
以root 身份将上传到服务器/usr/local/目录下6) 7)
把该文件夹的读权限分配给普通用户 hadoop
用hadoop 用户启动 ZooKeeper 集群
8) 3.6 安
9) 10)
1) 2)
4) 解压缩文件
3)
修改为:
不使用默认
编辑 <HBASE HOME>/conf/hbase-site.xml
在 configuration 里添力
口:
5)
6)
7)删除安装包
:60030
:60030
4集群的启动和查看
4.1启动
1)启动顺序为:HDFS->ZooKeeper->Hbase
以下操作都是使用 hadoop用户
Master节点启动Hadoop集群:
Master节点启动Hbase集群
4.2命令查看
Master节点上执行
:60030
4.4停止
停止顺序为:Hbase->ZooKeeper->HDFS
以下操作都是使用 hadoop用户
Master节点彳^止Hbase集群
每个节点停止ZooKeeper集群:
Master节点彳^止 Hadoop集群:。

相关主题