基于网络音乐云Hadoop系统及MapReduce模型管理平台V1.0操作手册北京华康嘉合科技有限公司目录一、服务器基础配置 (2)二、实现Linux的ssh无密码验证配置 (2)三、修改Linux机器名 (2)四、安装JDK，并配置环境变量 (3)五、安装Hadoop，并修改文件的配置 (3)六、创建Hadoop备份的目录 (5)七、将Hadoop的bin加入环境变量 (6)八、修改部分运行文件的权限 (6)九、格式化Hadoop，启动Hadoop (6)十、新加datanode的安装步骤 (7)一、服务器基础配置首先，需要将服务器IP进行固定。
本文采用主机IP：10.0.0.30，分机：10.0.0.31；主机名称：namenode，分机名称：datanode；本文红色字体为终端命令或需修改添加部分。
二、实现Linux的ssh无密码验证配置1.生成密钥：在namenode（主机）上，使用终端输入ssh-keygen –trsa，一直回车，生成密钥；2.在namenode上使用命令cd /root/.ssh进入文件夹，使用ls可查看两个文件：id_rsa.pub,id_rsa；3.然后执行cp id_rsa.pub authorized_keys;使用ssh localhost验证是否成功，第一次需要输入登录密码，以后就不需要输入密码；4.拷贝密钥：[root@namenode .ssh] #scp authorized_keys 10.0.0.31:/root/.ssh这是拷贝命令，将namenode上的authorized_keys 拷贝到datanode的/root/.ssh 上；5.验证是否成功，在namenode上输入ssh 10.0.0.31，第一次连接需要输入yes，就可以连接到datanode上了，无需使用密码即为成功；此时，系统已登录至datanode下，不在namenode上了，可输入命令exit返回至namenode；三、修改Linux机器名1.查看主机名：在命令行输入：hostname[root@namenode ~]# hostnamenamenode//这是你的主机名。
2.修改机器名执行cd /etc/sysconfig ,进如sysconfig目录下执行vi network，修改network文件（文件修改方法，键盘点击Insert键进入输入模式，修改好文件后，按Esc键退出输入模式，直接输入:w进行文件保存，:q退出编辑模式；也可在文件夹内选择需修改文件直接打开进行文件修改）NETWORKING=yesHOSTNAME=namenode（修改成你需要的）执行cd /etc，进入etc目录执行vi hosts要加入的datanode，把IP地址和机器名加在后面。
这一步是让主机记住datanode的名字。
所以在修改datanode的hosts时，只需写入namenode和你需要加入hadoop机器的datanode的IP 地址及机器名就好。
[root@namenode etc]# vi hosts127.0.0.1 localhost.localdomain localhost10.0.0.30 namenode namenode10.0.0.31 datanode datanode重启电脑后输入hostname检查主机名。
四、安装JDK，并配置环境变量1.安装JDK将jdk-7u79-linux-x64.rpm保存在服务器硬盘内，双击进行安装；2.配置环境变量执行cd /etc，进入etc目录执行vi profile，修改profile文件文件中加入如下部分：export JAVA_HOME=/usr/java/jdk1.7.0_79export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATHexport CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib执行chmod +x profile，把profile变为可执行文件；执行source profile，把profile内容执行生效；执行java、javac、java –version查看是否安装成功；五、安装Hadoop，并修改文件的配置1.将hadoop-2.7.1.tar.gz文件解压，本文解压至根目录下（/hadoop-2.7.1）；2.输入cd /hadoop-2.7.1/etc/hadoop，进入hadoop目录1)修改core-site.xml文件<configuration><property><name>hadoop.tmp.dir</name><value>/usr/local/hadoop/hadooptmp</value> （hadoop运行临时文件目录，需手动创建）</property><property><name>dfs.datanode.data.dir</name><value>/usr/local/hadoop/datanodetmp</value></property><property><name>hadoop.native.lib</name><value>true</value><description>Should native hadoop libraries, if present, be used.</description></property><property><name></name><value>hdfs://10.0.0.30:9000</value> （namenode的IP）</property></configuration>2)修改hadoop-env.sh文件修改export JAVA_HOME=/usr/java/jdk1.7.0_79#export HADOOP_OPTS="$HADOOP_OPTS .preferIPv4Stack=true" （注释此行）export HADOOP_OPTS="$HADOOP_OPTS -Djava.library.path=/hadoop-2.7.1/lib/" export HADOOP_COMMON_LIB_NATIVE_DIR="/hadoop-2.7.1/lib/native/"3)修改hdfs-site.xml文件<configuration><property><name>dfs.replication</name><value>2</value>（数字为总服务器数量，本文为主、副2台）</property><property><name>dfs.datanode.max.transfer.threads</name><value>8192</value></property></configuration>4)mapred-site.xml文件（将mapred-site.xml.template原文件复制并粘贴改名为mapred-site.xml）<configuration><property><name>mapred.job.tracker</name><value>10.0.0.30:9001</value> (改成namenode的IP) </property><property><name>mapreduce.jobtracker.staging.root.dir</name><value>/user</value></property><property><name></name><value>yarn</value></property></configuration>5)修改masters文件10.0.0.30 （namenode的IP）6)修改slaves文件10.0.0.31 （datanode的IP）7)修改yarn-site.xml文件<configuration><!-- Site specific YARN configuration properties --><property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property><property><name>yarn.nodemanager.aux-services.mapreduce_shuffle.class</name><value>org.apache.hadoop.mapred.ShuffleHandler</value></property></configuration>六、创建Hadoop备份的目录步骤四中，core-site.xml文件已配置目录位置，需在配置对应位置新建文件夹 /usr/local/hadoop，hadooptmp文件夹在启动hadoop时会自动生成，在启动前不能存在。
七、将Hadoop的bin加入环境变量1.执行cd /etc ,进入etc目录2.执行vi profile，修改profile文件添加：export HADOOP_HOME=/hadoop-2.7.1（Hadoop解压后目录/为根目录）export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbinexportCLASSPATH=$CLASSPATH:$HADOOP_HOME/share/hadoop/common/hadoop-commo n-2.7.1.jarexport JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native执行chmod +x profile，把profile变为可执行文件；执行source profile，把profile内容执行生效；（我们不管是装hadoop和JDK都修改了环境变量，都是在/etc/profile上vi修改的，所以我们做完第一步和第二部之后，可以把profile整个拷贝到你需要增加的datanode节点上。