1、VMware安装我们使用Vmware 14的版本,傻瓜式安装即可。
(只要)双击如过2.安装xshell双击3.安装镜像:解压centos6.5-empty解压双击打开CentOS6.5.vmx如果打不开,在cmd窗口中输入:netsh winsock reset 然后重启电脑。
进入登录界面,点击other用户名:root密码:root然后右键open in terminal输入ifconfig 回车查看ip地址打开xshell点击链接如果有提示,则接受输入用户名:root输入密码:root4.xshell连接虚拟机打开虚拟机,通过ifconfig查看ip5.安装jkd1.解压Linux版本的JDK压缩包mkdir:创建目录的命令rm -rf 目录/文件删除目录命令cd 目录进入指定目录rz 可以上传本地文件到当前的linux目录中(也可以直接将安装包拖到xshell窗口)ls 可以查看当前目录中的所有文件tar 解压压缩包(Tab键可以自动补齐文件名)pwd 可以查看当前路径文档编辑命令:vim 文件编辑命令i:进入编辑状态Esc(左上角):退出编辑状态:wq 保存并退出:q! 不保存退出mkdir /home/software #按习惯用户自己安装的软件存放到/home/software目录下cd /home/software #进入刚刚创建的目录rz 上传jdk tar包 #利用xshell的rz命令上传文件(如果rz命令不能用,先执行yum install lrzsz -y ,需要联网)tar -xvf jdk-7u51-linux-x64.tar.gz #解压压缩包2.配置环境变量1)vim /etc/profile2)在尾行添加#set java environmentJAVA_HOME=/home/software/jdk1.8.0_65JAVA_BIN=/home/software/jdk1.8.0_65/binPATH=$JAVA_HOME/bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jarexport JAVA_HOME JAVA_BIN PATH CLASSPATHEsc 退出编辑状态:wq #保存退出注意JAVA_HOME要和自己系统中的jdk目录保持一致,如果是使用的rpm包安装的jdk,安装完之后jdk的根目录为:/usr/java/jdk1.8.0_111,也可以通过命令:rpm -qal|grep jdk 来查看目录3)source /etc/profile使更改的配置立即生效4)java -version查看JDK版本信息。
如显示版本号则证明成功。
6.安装hadoop1. 安装配置jdk、关闭防火墙service iptables stop执行该命令可以关闭防火墙,但是如果虚拟机重启的话,防火墙会重新开启。
chkconfig iptables off执行该命令可以永久关闭防火墙。
两个命令配合使用2. 修改主机名vim /etc/sysconfig/network以后的Hadoop会有多台主机,因此需要根据主机名来区分这些系统。
注意:主机名里不能有下滑线,或者特殊字符#$,不然会找不到主机,从而导致无法启动。
这种方式更改主机名需要重启才能永久生效,因为主机名属于内核参数。
如果不想重启,可以执行:hostname hadoop01。
但是这种更改是临时的,重启后会恢复原主机名。
所以可以结合使用。
先修改配置文件,然后执行:hostname hadoop01 。
可以达到不重启或重启都是主机名都是同一个的目的3. 配置hosts文件vim /etc/hosts修改hosts文件,以后用到IP连接的地方就可以直接使用hadoop01代替IP地址了。
4. 配置免密码登录ssh-keygen这里只需要回车,无需输入。
ssh-copy-id root@hadoop01想从这台机器免密登录哪个机器,就把公钥文件发送到哪个机器上。
5. 安装配置jdk(省略)6. 上传和解压hadoop安装包过程省略,解压路径为:要记着这个路径,后面的配置要用到。
bin目录:命令脚本etc/hadoop:存放hadoop的配置文件lib目录:hadoop运行的依赖jar包sbin目录:启动和关闭hadoop等命令都在这里libexec目录:存放的也是hadoop命令,但一般不常用最常用的就是bin和etc目录7. 在hadoop根目录下创建tmp目录mkdir tmp 存放Hadoop运行时产生的文件目录8. 配置hadoop-env.sh文件cd etc/hadoopvim hadoop-env.sh修改JAVA_HOME路径和HADOOP_CONF_DIR 路径,注意路径一定要写对,里面原始的获取系统路径的方式不起作用。
(修改两个地方)export JAVA_HOME=/home/software/jdk1.8.0_65:wq 退出source hadoop-env.sh 让配置立即生效9. 修改core-site.xmlvim core-site.xml 在<configuration></configuration>标签中添加如下代码<configuration><property><name>fs.defaultFS</name><value>hdfs://hadoop01:9000</value></property><property><name>hadoop.tmp.dir</name><value>/home/software/hadoop-2.7.1/tmp</value> </property></configuration><!--第一个property参数用来指定hdfs的老大,namenode的地址--><!--第二个property参数用来指定hadoop运行时产生文件的存放目录-->10. 修改 hdfs-site .xmlvim hdfs-site.xml 在<configuration></configuration>标签中添加如下代码<configuration><property><name>dfs.replication</name><value>1</value></property><property><name>dfs.permissions</name><value>false</value></property></configuration><!--第一个property参数指定hdfs保存数据副本的数量,包括自己,默认值是3。
如果是伪分布模式,此值是1 --><!--第二个property参数设置hdfs的操作权限,false表示任何用户都可以在hdfs上操作文件 -->11. 修改 mapred-site.xmlcp mapred-site.xml.template mapred-site.xml拷贝模板文件并重命名vim mapred-site.xml 在<configuration></configuration>标签中添加如下代码<configuration><property><name></name><value>yarn</value></property></configuration><!--property参数指定mapreduce运行在yarn上 -->yarn是Hadoop的资源协调工具。
12. 修改yarn-site.xmlvim yarn-site.xml 在<configuration></configuration>标签中添加如下代码<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.resourcemanager.hostname</name><value>hadoop01</value></property><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property></configuration><!--第一个property参数用来指定yarn的老大resoucemanager的地址 --><!--第二个property参数用来指定NodeManager获取数据的方式 -->13. 配置slaves文件vim slaveshadoop0114. 配置hadoop的环境变量vim /etc/profile 修改配置文件,使hadoop命令可以在任何目录下执行,下面是修改后的代码JAVA_HOME=/home/software/jdk1.8.0_111HADOOP_HOME=/home/software/hadoop-2.7.1JAVA_BIN=/home/software/jdk1.8.0_111/binPATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/s bin:$PATHCLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/to ols.jarexport JAVA_HOME JAVA_BIN PATH CLASSPATH HADOOP_HOME 加粗的地方都是需要修改的地方,注意PATH多个参数值之间用冒号隔开,所有的参数都在$PATH之前source /etc/profile使配置文件生效15. 格式化namenodehadoop namenode -format中间如果提示是否需要重新格式化,则根据自己的需求输入即可。