CentOS6.6安装Hadoop2.7.3教程大胡子工作室目录1前言 (1)2安装准备 (1)2.1所需软件 (1)2.1.1CentOS6.6minimal (1)2.1.2Hadoop 2.7.3 (1)2.2安装规划 (1)3安装步骤 (2)3.1安装操作系统 (2)3.2操作系统基本配置 (13)3.2.1配置IP地址 (13)3.2.2配置hostname及网关 (14)3.2.3关闭selinux (15)3.2.4设置limit最大连接数 (15)3.2.5配置DNS (16)3.2.6配置本地hosts (17)3.2.7添加hadoop用户 (17)3.2.8关闭防火墙 (18)3.3安装jdk (19)3.4配置ssh免密码登录 (19)3.4.1切换hadoop用户 (20)3.4.2生成免登陆ssh证书 (20)3.4.3追加授权 (20)3.5配置master计算机的hadoop (22)3.5.1解压缩hadoop文件 (23)3.5.2创建存储hadoop数据文件的目录 (23)3.5.3设置hadoop的环境变量 (23)3.5.4配置core-site.xml文件 (26)3.5.5配置hdfs-site.xml文件 (28)3.5.6配置mapred-site.xml文件 (30)3.5.7配置yarn-site.xml文件 (32)3.5.8配置slaves文件 (34)3.5.9格式化HDFS文件系统 (34)3.6配置slave计算机的hadoop (34)3.6.1创建hadoop文件夹 (35)3.6.2将文件分发给slave计算机 (35)3.6.3设置hadoop的环境变量 (35)4hadoop的控制 (36)4.1hadoop的启动 (36)4.2hadoop的关闭 (36)4.3hadoop的状态查看 (37)4.3.1使用命令查看 (37)4.3.2使用web端查看 (39)1前言本篇介绍如何在CentOS-6.6.x86_64下安装hadoop 2.7.3集群服务，主要提供给有一定电脑使用基础的并初学hadoop的程序猿同志们，尽量做到详细介绍安装步骤。
2安装准备2.1所需软件下载所需的软件，如下给出下载地址及提取码：2.1.1CentOS6.6minimal下载地址：/s/1i4XjyOP 提取密码: i3ac2.1.2Hadoop 2.7.3下载地址：/s/1i4U145R 提取密码: 5xkf2.2安装规划本教程计划安装1个master , 3个slave 详细信息如下表2-1：表2-1 部署计划表Hostname Ip OS节点用途master.hadoop192.168.2.32CentOS 6.6.x86_64Namenode slave1.hadoop192.168.2.28CentOS 6.6.x86_64Datanode slave2.hadoop192.168.2.30CentOS 6.6.x86_64Datanode slave3.hadoop192.168.2.16CentOS 6.6.x86_64Datanode3安装步骤安装规划完成后，本集群需要大概4台计算机，如不具备实际的硬件条件，可以采用安装虚拟机的方式，虚拟出4台计算机（虚拟软件可以选择virtual box或者VMware，具体虚拟化软件的安装过程不进行描述，请自行问熊）。
3.1安装操作系统操作系统尽量选择占用磁盘空间及内存空间小的系统，本文以CentOS6.6minimal.x86_64为例。
安装步骤如下：设置光驱启动，进入操作系统安装界面，选择Install or upgrade an existing system选项，按回车进入。
如下图3-1图3-1 操作系统安装选项检测硬盘界面点击skip按钮。
如下图3-2图3-2 跳过存储介质检测在欢迎页面直接点击next按钮继续。
如下图3-3图3-3 安装欢迎界面安装语言界面，选择简体中文并点击next。
如下图3-4图3-4 安装语言选择键盘选择使用默认的美国英语式，点击next。
如下图3-5图3-5 键盘选择存储设备选择默认的【基本存储设备】，点击next。
如下图3-6图3-6 存储设备选择安装方式选择【全新安装】，点击next。
如下图3-7图3-7 安装方式选择主机名称设置，按照规划在安装时给各个计算机配置不同的hostname(依次为：master.hadoop,slave1.hadoop,slave2.hadoop,slave3.hadoop)，设置完成后点击next(本次截图是安装第一台master计算机时截图)。
如下图3-8图3-8 设置hostname设置时区为亚洲/上海，并勾选系统时钟使用UTC时间(s)，点击next。
如下图3-9图3-9 时区选择设置根账户即root用户密码，注意两次输入密码要一致，设置完成后点击next。
如下图3-10图3-10 设置root用户密码在安装类型界面选择【创建自定义布局】，点击next。
如下图3-11图3-11 安装类型界面接下来设置CentOS的磁盘分区，一般CentOS必须要设置的分区，及建议打下如下表3-1表3-1 CentOS系统分区表分区/挂载点大小类型备注swap16000M交换分区，该分区建议为计算机物理内存的1~2倍，我安装的计算机为8G内存，因此设置为16G/boot400M ext4引导分区/5G ext4建议不小于5G/home剩余空间ext4放置用户文件的分区首先添加交换分区(swap)，在磁盘驱动器界面选择空闲的磁盘空间，并点击【创建】按钮。
如下图3-12图3-12磁盘驱动器选择在弹出的【生成存储】对话框中选择【生成分区-标准分区】，点击【创建】按钮，如下图3-13图3-13 创建标准分区在弹出的【添加分区】对话框中【文件系统类型】位置选择【swap】，大小设置为【16000】，（一般交换分区(swap)是物理内存的1~2倍，我的计算机内存是8G，因此交换分区设置为16G），点击【确定】。
如下图3-14图3-14 添加交换分区添加/boot分区，在磁盘驱动器位置选择空闲磁盘，并点击创建按钮。
如下图3-15图3-15 选择空闲的磁盘空间在弹出的【生成存储】对话框中选择【生成分区-标准分区】，点击【创建】按钮，如下图3-16图3-16 创建标准分区在弹出的【添加分区】对话框中，挂载点选项选择【/boot】，文件系统类型使用默认的【ext4】，大小设置为【400】M，勾选【强制为主分区】选项，设置完成后点击【确定】按钮。
如下图3-17图3-17 设置/boot分区按照创建/boot分区的步骤完成/和/home两个分区的创建，并点击下一步继续，创建完成后的磁盘分区如下图3-18图3-18 磁盘分区情况图在弹出的【将存储配置写入磁盘】对话框中点击【将修改写入磁盘】按钮，如下图3-19图3-19 确认将配置写入磁盘在引导装载程序界面直接点击下一步开始安装系统，如下图3-20图3-20 引导程序选择当进度条走完时，点击【重新引导系统】按钮，完成操作系统的安装。
如下图3-21图3-21 操作系统安装进度界面按照上述步骤完成剩下3台slave计算机操作系统的安装，此处不再重复介绍，其中需要注意在设置hostname时按照规划中的将其他三台计算机的hostname分别设置为slave1.hadoop，slave2.hadoop，slave3.hadoop。
3.2操作系统基本配置在配置操作系统时，可以使用xshell软件进行远程操作，由于该软件为收费版本请自行购买下载安装，安装完成后远程连接master计算机。
基本配置需要在4个计算机上分别进行设置，除IP地址，hostname分别设置外，其他需要统一按照本节中的设置。
3.2.1配置IP地址系统刚安装完成时如果没有在安装界面配置IP，则需要先配置IP地址才可以xshell远程连接，使用root用户登录系统，使用如下命令打开网卡配置文件。
vi /etc/sysconfig/network-scripts/ifcfg-eth0执行命令后显示系统的网卡0的配置信息，如下图3-22图3-22 网卡0配置文件在vi编辑器中按【A】，将配置文件中的【ONBOOT】设置为【yes】，【BOOTPROTO】设置为【static】，并添加IP地址，子网掩码，网关等三行信息如下信息：IPADDR=192.168.2.32NETMASK=255.255.255.0IPADDR=192.168.2.20最终配置文件如下图3-23图3-23 网卡0设置信息修改完成后按两下【esc】，输入【:wq】保存退出。
最后执行网卡启动命令。
ifup eth0网卡0其中后，即可以使用xshell远程登录计算机。
本设置中的IP地址是按照安装规划中的master计算机进行配置，其余3个slave计算机的IP地址同上（IP地址可以按照读者自己的局域网情况进行设置，保证4台计算机可以互相访问ping通即可）。
3.2.2配置hostname及网关如果在按照操作系统过程中已经进行hostname的设置，可以略过本节中的hostname 设置。
使用命令打开network文件进行修改。
命令如下：vi /etc/sysconfig/network执行命令后显示network的信息如下图3-24图3-24 network信息修改【HOSTNAME】为需要设置的hostname。
再最后添加一行GATEWAY=192.168.2.20设置网关。
修改完成后保存退出。
如果想让设置临时生效的话可以使用hostname命令进行临时设置，但是使用命令设置在计算机重启之后就无效了，想要一直有效需使用上面修改network信息的方式进行修改。
临时修改hostname的命令为：hostname master.hadoop4台计算机进行设置时需要注意hostname的名称。
3.2.3关闭selinux使用vi命令编辑selinux信息关闭selinux。
命令如下：vi /etc/sysconfig/selinux打开selinux信息，修改SELINUX=enforcing为SELINUX=disabled如下图3-25图3-25 关闭selinux修改完成后保存退出。
如需此步骤生效可以使用命令：setenforce 0getenforce或者使用reboot重启计算机。
3.2.4设置limit最大连接数使用vi命令编辑limit信息。
命令如下：vi /etc/security/limits.conf在打开的界面中添加如下两行：* soft nofile 65536* hard nofile 65536如下图3-26图3-26 limit最大连接数设置添加完成后保存退出。