2016-2017学年第一学期《系统综合应用开发》大作业课题名称：Hadoop集群搭建及MapReduce应用班级：13级软工数据库1班学号：123456姓名：123456成绩：2016年10月一、Hadoop集群的搭建与配置1、节点准备此部分主要描述节点的规划，包括IP的分配，NameNode和DataNode的配置。
1、设置IP修改/etc/sysconfig/network-scripts/ifcfg-eth0文件：DEVICE=eth0 --网卡名称BOOTPROTO=static --获取静态IPHW ADDR=00:E0:4C:F8:3B:CE --机器MAC地址 IPADDR=10.8.3.240 --IPNETMASK=255.255.255.0 --子网掩码 NETWORK=10.8.3.254 --默认网关 ONBOOT=yes2、设置hostname在所有机器的/etc/hosts 文件下添加：10.8.3.240 namenode10.8.3.246 datanode110.8.3.239 datanode210.8.3.249 datanode310.8.3.238 datanode410.8.3.251 datanode5注：为了使机器辨别到hostname，必须重启机器。
2、Java环境安装1.进入安装目录cd /home/magic/gshare/linux下构造java开发环境我的文件夹目录为：2.赋予权限sudo chmod u+x jdk-6u13-linux-i586.bin3、执行安装sudo ./jdk-6u13-linux-i586.bin，进行编译。
接着一直按回车键，直到出现选项：输入yes，按回车键。
就可以完成安装了。
3、SSH配置hadoop控制脚本依赖ssh来执行针对整个集群的操作，因此为了支持无缝工作，此部分主要描述SSH的配置。
1、配置SSH(1)在namenode下执行ssh-keygen -t rsa (2)在namenode下执行ssh-copy-id -i ~/.ssh/id_rsa.pub root@namenode ssh-copy-id -i ~/.ssh/id_rsa.pub root@datan ode1 ssh-copy-id -i ~/.ssh/id_rsa.pub root@datanode2 ssh-copy-id -i ~/.ssh/id_rsa.pub root@ datanode3 ssh-copy-id -i ~/.ssh/id_rsa.pub root@datanode4 ssh-copy-id -i ~/.ssh/id_rsa.pub r oot@datanode5遇到输入提示时，，如果不是询问密码，可直接按回车进入下一步。
执行完成后，实际上在namenode节点的~/.ssh目录下生成了三个文件： authorized_keys 、 id_rsa 、 id_rsa.pub，在datanode节点下分别生成了authorized_keys 文件，作为密钥实现无密码通信 (2)判断是否安装成功在namenode节点执行 ssh datanode1，如果没有询问密码就进入datanode1的命令行界面，证明安装成功，其他节点类似。
2、安装JDK(1)进入jdk-6u34-linux-i586-rpm.bin文件所在目录，执行以下命令进行安装： ./jdk-6u34-linux-i586-rpm.bin(2)安装完成后在/etc/profile 文件下加入JDK环境变量：#config javaexport JA VA_HOME=/usr/java/jdk1.6.0_34export CLASSPA TH=.:$JA V A_HOME/lib/tools.jar:$JA V A_HOME/lib/dt.jar export PATH=$J A V A_HOME/bin:$PA TH(3)使设置生效source /etc/profile4、Hadoop配置1)配置hadoop-env.sh 该"hadoop-env.sh"文件位于"/usr/hadoop/etc/hadoop"目录下。
vim /usr/hadoop/etc/hadoop/hadoop-env.sh 在文件的末尾添加下面内容。
# set java environment export JA VA_HOME=/usr/java/jdk1.8.0_05 2）配置yarn-env.sh 修改JA V A_HOME值export JA VA_HOME=/usr/java/jdk1.8.0_05 / 3）配置slaves文件添加以下内容：（为数据节点服务器相应的IP地址）192.168.1.3 192.168.1.4 并将原有的localhost行去掉。
4）配置core-site.xml文件修改Hadoop核心配置文件core-site.xml，这里配置的是HDFS的地址和端口号。
文件修改后的内容如下：<configuration> <property> <name>hadoop.tmp.dir</name> <value>/usr/hadoop/tmp</value> <description>A base for other temporary directories.</description> </property> <!--file system properties --> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.1.2:9000</value> </property> </configuration> 备注：如没有配置hadoop.tmp.dir参数，此时系统默认的临时目录为：/tmp/hadoo-hadoop。
而这个目录在每次重启后都会被干掉，必须重新执行format 才行，否则会出错。
5）配置hdfs-site.xml文件文件修改后的内容如下：<configuration> <property> <name>node.secondary.http-address</name> <value>192.168.1.2:9001</value> </property> <property> <name>.dir</name><value>file:/usr/hadoop/dfs/name</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>file:/usr/hadoop/dfs/data</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.webhdfs.enabled</name> <value>true</value> </property> </configuration> 6）配置mapred-site.xml文件将mapred-queues.xml.template复制成mapred-site.xml文件，修改Hadoop中MapReduce的配置文件，配置的是JobTracker的地址和端口。
修改后的mapred-site.xml文件内容如下：<configuration> <property> <name></name> <value>yarn</value> </property> </configuration> 7）配置yarn-site.xml文件修改后该文件的内容如下：<configuration> <property> <name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value> </property><property><name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value>ort.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.address</name> <value>192.168.1.2:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name><value>192.168.1.2:8030</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name><value>192.168.1.2:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name><value>192.168.1.2:8033</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name><value>192.168.1.2:8088</value> </property> </configuration>5、Hadoop测试此部分主要对Hadoop进行测试。