Linux系统配置
7安装JDK 将JDK文件解压，放到/usr/java目录下 cd /home/dhx/software/jdk mkdir /usr/java mv jdk1.6.0_45.zip /usr/java/
cd /usr/java
unzip jdk1.6.0_45.zip
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
从当前用户切换root用户的命令如下：
Linux系统配置
操作步骤需要在HadoopMaster和HadoopSlave节点
上分别完整操作，都是用root用户。 从当前用户切换root用户的命令如下：
su root
从当前用户切换root用户的命令如下：
Linux系统配置
1拷贝软件包和数据包 mv ~/Desktop/software ~/
环境变量文件中，只需要配置JDK的路径
gedit conf/hadoop-env.sh
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Hadoop配置部署
3配置核心组件core-site.xml
gedit conf/core-site.xml
<configuration> <property> <name></name> /*2.0后用 fs.defaultFS代替*/ <value>hdfs://master:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/home/dhx/hadoopdata</value> </property> </configuration>
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Hadoop配置部署
3配置核心组件core-site.xml
注释一：hadoop分布式文件系统文件存放位置都是基于 hadoop.tmp.dir目录的，namenode的名字空间存放地方 就是 ${hadoop.tmp.dir}/dfs/name，datanode数据块的存 放地方就是 ${hadoop.tmp.dir}/dfs/data，所以设置好 hadoop.tmp.dir目录后，其他的重要目录都是在这个目 录下面，这是一个根目录。
Linux系统配置
8免密钥登录配置
此部分所有的操作都要在dhx用户
在HadoopSlave节点终端生成密钥，命令如下（一 路点击回车生成密钥） ssh-keygen -t rsa 将authorized_keys文件移动到.ssh目录 mv authorized_keys ~/.ssh/
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
dfs.replication，设置数据块的复制次数，默认是3， 如果slave节点数少于3，则写成相应的1或者2
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Hadoop配置部署
5配置计算框架mapred-site.xml
gedit conf/mapred-site.xml
<configuration> <property> <name>mapred. job.tracker</name> <value>master:9001</value> </property> </configuration>
然后执行命令
source .bash_profile
master 从当前用户切换root用户的命令如下： 编辑主机名列表的命令 slave
启动Hadoop集群
1格式化文件系统
hadoop namenode -format 2启动Hadoop cd ~/hadoop-1.2.1 bin/start-all.sh 3查看进程
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Hadoop配置部署
4配置文件系统hdfs-site.xml
gedit conf/hdfs-site.xml
<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration>
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Linux系统配置
8免密钥登录配置
将authorized_keys文件复制到slave节点
scp authorized_keys dhx@slave:~/ scp authorized_keys dhx@slave:~/.ssh
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Hadoop集群配置手册（详细） 太原理工大学 邓红霞
提 纲
启动两台虚拟客户机
Linux系统配置 Hadoop配置部署 启动Hadoop集群 HDFS下的文件操作 Eclipse在Hadoop中的使用及配置
启动两台虚拟客户机
打开VMware Workstation10，打开已经安装好 的虚拟机HadoopMaster和HadoopSlave 。 如果之前没有打开过两个虚拟机，请使用文件 ->打开选项，选择之前的虚拟安装包。
Linux系统配置
8免密钥登录配置
修改authorized_keys文件的权限
chmod 600 authorized_keys 验证免密钥登录 HadoopMaster机器上执行下面的命令 ssh slave
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Hadoop配置部署
1免密钥登录配置
Linux系统配置
7安装JDK
使用gedit配置环境变量
gedit /home/dhx/.bash_profile export JAVA_HOME=/usr/java/jdk1.6.0_45/ export PATH=$JAVA_HOME/bin:$PATH 使改动生效命令 测试版本 source.bash_profile java -version
Hadoop配置部署
9配置Hadoop启动的系统环境变量
该节的配置需要同时在两个节点（HadoopMaster和 HadoopSlave）上进行操作（在自定义用户上操作） cd
gedit .bash_profile
#HADOOP export HADOOቤተ መጻሕፍቲ ባይዱ_HOME=/home/dhx/hadoop-1.2.1 export PATH=$HADOOP_HOME/bin:$PATH
jps
master 从当前用户切换root用户的命令如下： 编辑主机名列表的命令 slave
启动Hadoop集群
4 Web UI查看集群是否成功启动
在HadoopMaster上启动Fixefox浏览器，在浏览器地 址栏中输入http://master:50070/，检查namenode和 datanode是否正常。 在HadoopMaster上启动Fixefox浏览器，在浏览器地
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Linux系统配置
8免密钥登录配置
此部分所有的操作都要在dhx用户
在HadoopMaster节点终端生成密钥，命令如下（一 路点击回车生成密钥） ssh-keygen -t rsa
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Linux系统配置
6配置hosts列表 编辑主机名列表的命令，并添加如下两行到文件 gedit /etc/hosts 192.168.58.128 master 192.168.58.129 slave ping master ping slave
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
配置信息如下：将HadoopMaster节点的主机名改 为master，即下面代码的第3行所示
NETWORKING=yes
#启动网络
NETWORKING_IPV6=no
HOSTNAME=master #主机名
从当前用户切换root用户的命令如下：
Linux系统配置
3配置HadoopSlave节点主机名 gedit /etc/sysconfig/network
Linux系统配置
8免密钥登录配置
复制公钥文件
cat ~/.ssh/id_rsa.pub>>~/.ssh/authorized_keys
从当前用户切换root用户的命令如下： 编辑主机名列表的命令
Linux系统配置
8免密钥登录配置
修改authorized_keys文件的权限
chmod 600 authorized_keys
mapred.job.tracker，设置jobtracker所在机器，端 口号9001
master 从当前用户切换root用户的命令如下： 编辑主机名列表的命令 slave
Hadoop配置部署
6配置主节点masters
gedit conf/masters
master
7配置从节点slaves gedit conf/slaves
址栏中输入http://master:50030/，检查JobTracker和
TaskTracker是否正常
master 从当前用户切换root用户的命令如下： 编辑主机名列表的命令 slave