Hadoop大数据技术实验资料airyqinHadoop大数据管理与分析处理平台部署实验手册CentOS 6集群下部署Hadoop(Airy qin)Hadoop大数据实验实战资料（请勿在互联网上传播）启动两台虚拟客户机：打开VMware Workstation10打开之前已经安装好的虚拟机：HadoopMaster和HadoopSlave出现异常，选择“否”进入Hadoop大数据实验实战资料（请勿在互联网上传播）如果之前没有打开过两个虚拟机，请使用“文件”->“打开”选项，选择之前的虚拟机安装包（在一体软件包里面的）第1步 Linux系统配置以下操作步骤需要在HadoopMaster和HadoopSlave节点上分别完整操作，都使用root用户，从当前用户切换root用户的命令如下：su root输入密码：zkpkHadoop大数据实验实战资料（请勿在互联网上传播）本节所有的命令操作都在终端环境，打开终端的过程如下图的Terminal菜单：终端打开后如下图中命令行窗口所示。
1.拷贝软件包和数据包将完整软件包“H adoop In Action Experiment”下的software包和sogou-data整体拖拽到HadoopMaster 节点的桌面上，并且在终端中执行下面的移动文件命令：mv ~/Desktop/software ~/Hadoop大数据实验实战资料（请勿在互联网上传播）mv ~/Desktop/sogou-data ~/1.1配置时钟同步1.1.1 配置自动时钟同步使用Linux命令配置crontab -e键入下面的一行代码：输入i，进入插入模式0 1 * * * /usr/sbin/ntpdate 1.1.2 手动同步时间/usr/sbin/ntpdate 1.2配置主机名1.2.1 HadoopMaster节点使用gedit 编辑主机名gedit /etc/sysconfig/network配置信息如下，如果已经存在则不修改，将HadoopMaster节点的主机名改为master，即下面代码的第3行所示。
NETWORKING=yes #启动网络NETWORKING_IPV6=noHOSTNAME=master #主机名确实修改生效命令：hostname master检测主机名是否修改成功命令如下，在操作之前需要关闭当前终端，重新打开一个终端：hostname执行完命令，会看到下图的打印输入：Hadoop 大数据实验实战资料（请勿在互联网上传播）1.2.2 HadoopSlave 节点使用gedit 编辑主机名配置信息如下，如果已经存在则不修改，将Hadoopslave 节点的主机名改为slave ，即下面代码的第3行所示。
确实修改生效命令：检测主机名是否修改成功命令如下，在操作之前需要关闭当前终端，重新打开一个终端：执行完命令，会看到下图的打印输入：1.3 使用setup 命令配置网络环境在终端中执行下面的命令：如果看到下面的打印输出gedit /etc/sysconfig/networkNETWORKING=yes #启动网络 NETWORKING_IPV6=no HOSTNAME=slave #主机名 hostname slave hostnameifconfigHadoop大数据实验实战资料（请勿在互联网上传播）如果看到出现红线标注部分出现，即存在内网IP、广播地址、子网掩码，说明该节点不需要配置网络，否则进行下面的步骤。
在终端中执行下面命令：setup会出现下图中的内容：使用光标键移动选择“Network configuration”，回车进入该项Hadoop 大数据实验实战资料（请勿在互联网上传播）使用光标键移动选择eth0，回车进入该项按照图中的方式输入各项内容重启网络服务检查是否修改成功：看到如下图的内容（IP 不一定和下图相同，根据你之前的配置），说明配置成功，特别关注红线部分/sbin/service network restart ifconfigHadoop大数据实验实战资料（请勿在互联网上传播）1.4关闭防火墙在终端中执行下面命令：setup会出现下图中的内容：光标移动选择“Firewall configuration”选项，回车进入选项如果该项前面有“*”标，则按一下空格键关闭防火墙，如下图所示，然后光标移动选择“OK”保存修改内容Hadoop大数据实验实战资料（请勿在互联网上传播）OK选择编辑主机名列表的命令：gedit /etc/hosts将下面两行添加到/etc/hosts文件中192.168.1.100 master192.168.1.101 slave注意：这里master节点对应IP地址是192.168.1.100，slave对应的IP是192.168.1.101，而自己在做配置时，需要将这两个IP地址改为你的master和slave对应的IP地址。
查看master的IP地址使用下面的命令：ifconfigmaster节点的IP是下图中红线标注的内容。
slave的IP地址也是这样查看。
验证是否配置成功的命令是：ping masterping slave如果出现下图的信息表示配置成功：如果出现下图的内容，表示配置失败：1.6 安装JDK将JDK 文件解压，放到/home/zkpk 目录下使用gedit 配置环境变量复制粘贴以下内容添加到到上面gedit 打开的文件中： 使改动生效命令：测试配置：如果出现下图的信息，表示JDK 安装成功：cd /home/zkpk/software/jdk mkdir /home/zkpkmv jdk1.6.0_45.zip /home/zkpk/ cd /home/zkpkunzip jdk1.6.0_45.zip gedit /home/zkpk/.bash_profile export JAVA_HOME=/home/zkpk/jdk1.6.0_45/ export PATH=$JAVA_HOME/bin:$PATH source .bash_profile java -version1.7免密钥登录配置该部分所有的操作都要在zkpk用户下，切换回zkpk的命令是：su zkpk密码是：zkpk1.7.1 HadoopMaster节点在终端生成密钥，命令如下（一路点击回车生成密钥）ssh-keygen -t rsa生成的密钥在.ssh目录下如下图所示：复制公钥文件cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 执行ls -l命令后会看到下图的文件列表：修改authorized_keys文件的权限，命令如下：chmod 600 authorized_keys修改完权限后，文件列表情况如下：将authorized_keys 文件复制到slave 节点，命令如下：如果提示输入yes/no 的时候，输入yes ，回车 密码是：zkpk1.7.2 HadoopSlave 节点在终端生成密钥，命令如下（一路点击回车生成密钥）将authorized_keys 文件移动到.ssh 目录修改authorized_keys 文件的权限，命令如下：1.7.3 验证免密钥登陆在HadoopMaster 机器上执行下面的命令：如果出现下图的内容表示免密钥配置成功：scp authorized_keys zkpk@slave:~/ ssh-keygen -t rsa mv authorized_keys ~/.ssh/ cd ~/.sshchmod 600 authorized_keys ssh slave第2步 Hadoop配置部署每个节点上的Hadoop配置完全相同，可以每个节点都操作一遍，或者一个操作完成复制到另一个节点。
下面所有的操作都使用zkpk用户，切换zkpk用户的命令是：su zkpk密码是：zkpk将软件包中的Hadoop生态系统包复制到相应zkpk用户的主目录下（直接拖拽方式即可拷贝）2.1Hadoop安装包解压进入Hadoop软件包，命令如下：cd /home/zkpk/software/hadoop/apache复制并解压Hadoop安装包命令如下：cp hadoop-1.2.1.tar.gz ~/cdtar -zxvf hadoop-1.2.1.tar.gzcd hadoop-1.2.1ls -l看到如下图的内容，表示解压成功：2.2 配置环境变量hadoop-env.sh环境变量文件中，只需要配置JDK 的路径。
在文件的靠前的部分找到下面的一行代码：将这行代码修改为：然后保存文件。
2.3 配置核心组件core-site.xml使用gedit 编辑：gedit conf/hadoop-env.sh # export JAVA_HOME=/usr/lib/j2sdk1.5-sun export JAVA_HOME=/home/zkpk/jdk1.6.0_45 gedit conf/core-site.xml用下面的代码替换conf/core-site.xml中的内容<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration><property><name></name><value>hdfs://master:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/zkpk/hadoopdata</value></property></configuration>2.4配置文件系统hdfs-site.xml使用gedit编辑：gedit conf/hdfs-site.xml用下面的代码替换conf/hdfs-site.xml中的内容：<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Put site-specific property overrides in this file. --><configuration><property><name>dfs.replication</name><value>1</value></property></configuration>2.5 配置计算框架mapred-site.xml使用gedit 编辑：用下面的代码替换conf/mapred-site.xml 中的内容<?xml version="1.0"?><?xml-stylesheet type="text/xsl" href="configuration.xsl"?><!-- Put site-specific property overrides in this file. --><configuration> <property><name>mapred.job.tracker</name> <value>master:9001</value> </property> </configuration>2.6 配置主节点masters使用gedit 编辑：用下面的代码替换conf/masters 中的内容： master2.7 配置从节点slaves使用gedit 编辑：gedit conf/mapred-site.xmlgedit conf/masters gedit conf/slaves用下面的代码替换conf/slaves中的内容：slave2.8复制到从节点使用下面的命令将已经配置完成的Hadoop复制到从节点HadoopSlave上：cdscp -r hadoop-1.2.1 slave:~/注意：因为之前已经配置了免密钥登录，这里可以直接远程复制。