当前位置:文档之家› Centos7安装和配置hadoop2.7.3的流程和总结

Centos7安装和配置hadoop2.7.3的流程和总结

CentOS7安装完整流程及总结一、前言配置一台master服务器,两台(或多台)slave服务器,master可以无密码SSH登录到slave。

卸载centos7自带的openjdk,通过SecureCRT的rz命令上传文件到服务器,解压安装JDK,解压安装Hadoop,配置hadoop的、、、文件。

配置好之后启动hadoope服务,用jps命令查看状态。

再运行hadoop自带的wordcount程序做一个Hello World实例。

二、准备工作我的系统:windows 10 家庭普通中文版cpu:intel i5内存:8G《64位操作系统需要准备的软件和文件(全部是64位安装包)1.虚拟机:VMware 12 Pro 官网下载:选择DVD ISO(标准版) 及以上,官网下载:下载地址:version 三、安装过程提示:先创建一台虚拟机,安装好centos7系统,使用VMware 的克隆功能,克隆另外两台虚拟机。

这样可以节省时间。

虚拟机设置当三台虚拟机安装好之后,获得它们的IP地址,并设置主机名,(根据实际IP地址和主机名)修改/etc/hosts文件内容为:^1、vi /etc/hosts命令修改,然后保存(vi的相关命令见引用来源16)2、more /etc/hosts查看3、重启后,hosts生效。

命令: reboot now[SSH免密码登录提示:我全程用的都是root用户,没有另外创建用户。

每台服务器都生成公钥,再合并到authorized_keys。

1)CentOS默认没有启动ssh无密登录,去掉/etc/ssh/sshd_config其中2行的注释,每台服务器都要设置,2)#RSAAuthentication yes3)#PubkeyAuthentication yes4)输入命令,ssh-keygen -t rsa,生成key,都不输入密码,一直回车,/root就会生成.ssh文件夹,每台服务器都要设置,5)合并公钥到authorized_keys文件,在master服务器,进入/root/.ssh目录,通过SSH命令合并,(~/.ssh/ 是省略的写法,要根据实际路径来确定)6)cat >> authorized_keys7)ssh root@ cat ~/.ssh/ >> authorized_keys8)ssh. cat ~/.ssh/ >> authorized_keys9)把master服务器的authorized_keys、known_hosts复制到slave服务器的/root/.ssh目录scp -r /root/.ssh/authorized_keys root@:/root/.ssh/scp -r /root/.ssh/known_hosts root@:/root/.ssh/《scp -r /root/.ssh/authorized_keys root@:/root/.ssh/scp -r /root/.ssh/known_hosts root@:/root/.ssh/10)完成后,ssh root@、ssh root@或者(ssh 、ssh ) 就不需要输入密码直接登录到其他节点上。

Secure CRT连接虚拟机1、在VMware中把三台虚拟机启动,如下图所示:,2、打开SecureCRT,在一个session里连接三台虚拟机,就可以登录实现操作。

Fiel->Quick ConnectionProtocol:ssh2 前提条件是在中实现了ssh免密码登录Hostname: 连接的主机名Username: root 连接主机的用户名Connect依次连接好三台虚拟机<3、结果如下:4、上传windows系统中的文件到虚拟机中定位到要上传文件的目录下,输入命令:rz,回车后,弹出文件选择窗口,选择文件,点击add,再OK。

文件就上传到当前服务器的当前目录下。

rz命令如果没有安装,使用这个命令安装:yum install lrzsz安装JDK需要JDK7,由于我的CentOS自带了OpenJDK,所以要先卸载,然后解压下载的JDK并配置变量即可。

1)在/home目录下创建java目录,然后使用rz命令,上传“”到/home/java目录下,2)、3)解压,输入命令,tar -zxvf4)编辑/etc/profile—5)使配置生效,输入命令,source /etc/profile6)输入命令,java -version,完成安装提要1)secureCRT 上传“,放到/home/hadoop目录下2);3)只在master服务器解压,再复制到slave服务器(scp命令传输)4)解压,输入命令,tar -xzvf 在/home/hadoop目录下创建数据存放的文件夹,tmp、dfs、dfs/data、dfs/name(文件中会用到)配置文件1、/home/hadoop/目录下的<configuration><property><name><value></property><property><name><value> /home/hadoop/tmp</value> </property><property><name><value>131702</value></property></configuration>2、配置/home/hadoop/目录下的<configuration><property><name><value></property><property><name><value></property><property><name></name><value>1</value></property><property><name><value>:50090</value></property><property><name><value>true</value></property></configuration>3、配置/home/hadoop/目录下的~<configuration><property><name> <value>yarn</value><final>true</final></property><property><name> <value>:50030</value></property>,<property><name> <value>:10020</value></property><property><name> <value>:19888</value></property><property><name> <value>:9001</value>$</property></configuration>4、配置/home/hadoop/目录下的<configuration><property><name> <value>mapreduce_shuffle</value></property><property> <name> <value> </property> (<property><name> <value>:8032</value></property><property><name> <value>:8030</value></property><property><name> <value>:8031</value>^</property><property><name> <value>:8033</value></property><property><name> <value>:8088</value></property><property>[<name> <value></value></property><property><name> <value>2048</value></property></configuration>提示:的值一定要注意,在最后的hello world程序运行时,会提示内存太小,(hadoop运行到: Running job后停止运行)我把它从1024改成了20485、配置/home/hadoop/目录下、的JAVA_HOME·取消注释,设置为export JAVA_HOME=/home/java/、配置/home/hadoop/目录下的slaves,删除默认的localhost,增加2个slave节点:7、将master服务器上配置好的Hadoop复制到各个节点对应位置上,通过scp 传送scp -r /home/hadoop :/home/scp -r /home/hadoop :/home/启动hadoop提示:在master服务器启动hadoop,各从节点会自动启动,进入/home/hadoop/目录,hadoop的启动和停止都在master服务器上执行。

1)初始化,在目录下输入命令,bin/hdfs namenode –format2)?3)启动命令sbin/sbin/4)输入命令,jps,可以看到相关信息master上看到slave上{5)停止命令,依次执行:sbin/、sbin/至此,hadoop配置完成了。

相关主题