4.2配置Slave机器上的Hadoop
现在在Master机器上的Hadoop配置就结束 了，剩下的就是配置Slave机器上的Hadoop。
一种方式 是按照上面的步骤，把Hadoop的安装包在用普通用户 hadoop通过"scp"复制到其他机器的"/home/hadoop"目 录下，然后根据实际情况进行安装配置 另一种方式 是将 Master上配置好的hadoop所在文件夹 "/usr/hadoop"复制到所有的Slave的"/usr"目录下
4.4网页查看集群
用"hadoop dfsadmin -report"查看Hadoop集群的状态。
网页查看集群 访问"http:192.168.1.120:50030“ mapreduce的web页面 访问"http:192.168.1.120:50070" hdfs的web页面
5运行程序步骤
首先启动hadoop，把jar包放到指定位置 通过hadoop的命令在HDFS上创建/tmp/work 目录（本次所需） 通过copyFromLocal命令把本地的word.txt复 制到HDFS上 通过命令运行例子，主要是指定jar程序包， 需要统计的数据文件和结果存放的文件 查看运行结果
4.3Hadoop启动及验证
格式化HDFS文件系统
只需一次，下次启动不再需要格式化
启动hadoop（启动前关闭所有机器的防火墙）
可以一次全部启动所有的节点
service iptables stop start-all.sh
或是分别启动namenode、 datanode、 tasktracker 、secondarynamenode 、 jobtracker 验证hadoop
127.0.0.1 localhost 192.168.1.120 ubuntu1 192.168.1.121 ubuntu2 192.168.1.122 ubuntu3 192.168.1.123 ubuntu4
1.3hadoop的主从节点结构分解
2环境说明和安装配置SSH
2.1在所有的机器上建立相同的用户 对每个系统进行系统名和ip地址的配置
4.1配置文件
配置masters文件 第一种：修改localhost为Master.Hadoop 第二种：去掉"localhost"，加入Master机器的IP： 192.168.1.121 配置slaves文件（Master主机特有）
第一种：去掉"localhost"，每行只添加一个主机名， 把剩余的Slave主机名都填上。 第二种：去掉"localhost"，加入集群中所有Slave 机器的IP，也是每行一个。
SSH配置
这就必须在节点之间执行指令的时候是不需要输 入密码的形式，故我们需要配置SSH运用无密码公 钥认证的形式，这样NameNode使用SSH无密码登录 并启动DataName进程，同样原理，DataNode上也 能使用SSH无密码登录到NameNode。
在用户目录下建立ssh的安装目录，之后设置权限 Master机器上生成无密码密码对,追加权限
SSH安装配置
2 .2安装配置SSH 安装和启动SSH协议
yum install ssh 安装SSH协议 yum install rsync service sshd restart 启动服务
配置Master无密码登录所有Salve Hadoop运行过程中需要管理远端Hadoop守护 进程，在Hadoop启动以后，NameNode是通的。
和Master无密码登录所有Slave原理一样，就是把 Slave的公钥追加到Master的".ssh"文件夹下的 "authorized_keys"中 这样就建立了Master和Slave之间的无密码验证相 互登录
3 jdk安装配置
安装jdk1.6.45 环境变量配置
编辑"/etc/profile"文件，在后面添加Java的"JAVA_HOME"、 "CLASSPATH"以及"PATH"内容。
注意：目录要设成700 有执行权限 authorized_keys要设成600 否则会出错 还有ssh 登陆要加入用户名的
SSH配置
用root用户登录服务器修改SSH配置文件 /etc/ssh/sshd_config，无密码登录本级已经设 置完毕，接下来的事儿是把公钥复制所有的Slave 机器上
配置所有Slave无密码登录Master
export JAVA_HOME=/usr/java/jdk1.6.0_31 export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
必须在所有的机器上建立相同的用户，设置每个系统 的ip地址。
2.2配置NameNode和DataNode 配置hosts文件
修改每台机器的/etc/hosts(包括namenode和datanode) ） 127.0.0.1 localhost 192.168.1.120 ubuntu1 192.168.1.121 ubuntu2 192.168.1.122 ubuntu3 192.168.1.123 ubuntu4
使配置生效 （重要） source /etc/profile 验证 Slave安装jdk： Master下的JDK复制到其他Slave的/home/hadoop/下面剩下 的事儿就是在其余的Slave服务器上按照步骤安装JDK。
4 Hadoop集群安装配置
首先在namenode上配置，配置后在分发到datanode上 在“/usr/hadoop”下面创建tmp文件夹
安装
把"/usr/hadoop"读权限分配给hadoop用户
配置hadoop
配置hadoop-env.sh 使得能够找到java的路径 export HADOOP_HOME=/usr/hadoop export JAVA_HOME=/usr/java/jdk1.6.0_29
4.1配置文件
配置文件也被分成了三个core-site.xml、 hdfs-site.xml、mapred-site.xml。 修改Hadoop核心配置文件core-site.xml， 这里配置的是HDFS的地址和端口号。 修改Hadoop中HDFS的配置hdfs-site.xml。 （就是Slave的台数默认3个） 修改Hadoop中MapReduce的配置文件mapredsite.xml， 配置的是JobTracker的地址和端口。
基于Hadoop平台 的并行编程实践
李东秀
内容介绍
熟悉hadoop配置环境 搭建实验 平台 编写 （矩阵相乘）运算的 map， reduce函数 在hadoop实验 平台上实现 配置计算环境： 1个Master、3个Slave的 Hadoop集群
1.1 Hadoop简介
Apache软件基金会下的一个开源分布式计算平台 以Hadoop的HDFS和MapReduce为核心的Hadoop为用 户提供了系统底层细节透明的分布式基础架构。 对于Hadoop的集群来讲，可以分成两大类角色： Master和Salve。 一个HDFS集群是由一个NameNode和若干个 DataNode组成的。 MapReduce框架是由一个单独运行在主节点上的 JobTracker和运行在每个集群从节点的TaskTracker 共同组成的。
1.2环境说明
HDFS在MapReduce任务处理过程中提供了文件操作 和存储等支持，MapReduce在HDFS的基础上实现了任务 的分发、跟踪、执行等工作，并收集结果，二者相互 作用，完成了Hadoop分布式集群的主要任务。 集群中包括4个节点：1个Master，3个Salve，节点IP 地址分布如下：