分布式计算环境实验报告
实验名称:在虚拟机下安装Linux系统和
Hadoop
专业班级:网络1101
学生学号:3110610007
学生姓名:平淑容
目录
实验目的..............................................................................P 实验仪器...............................................................................P 实验内容和步骤...................................................................P 安装过程的问题以及解决方法............................................P 代码运行以及实验结果.......................................................P 运行过程中的问题................................................................P 实验总结................................................................................P
一、实验目的
在虚拟机上安装CentOS系统并在Linux系统上安装Hadoop单机模式并且执行一个Java程序。
二、实验仪器
硬件:虚拟机CentOS
软件:Windows 7操作系统
三、实验内容及步骤
实验内容
一、安装虚拟机
二、安装Linux操作系统
三、设置静态ip
四、修改主机名
四、绑定ip和主机
五、关闭防护墙
六、关闭防火墙的自动运行
七、设置ssh
八、安装JDK
九、安装Hadoop
十、在单机上运行Hadoop
十一、Hadoop执行Java程序
实验步骤:
一、安装虚拟机
此处安装的虚拟机是VMware Workstation版本,直接从压缩包里面解压安装即可,此处不做过多介绍。
二、安装Linux系统
此处安装的Linux系统使用的是CentOS版本,直接从压缩包里面解压,然后使用VMware Workstation打开,打开之后选择开机输入用户名和密码进入linux系统。
三、Hadoop的伪分布安装步骤
1.设置静态IP
①在centOS桌面的右上角选择图标,右击修改ip值,选择静
态ip,输入需要增加的ip值、默认网关。
②然后重启网卡,执行命令service network restart
③验证:执行命令ifconfig,查看ip是否生效,如果出现如图所示则
成功。
2.修改主机名
①修改当前会话中的主机名,执行命令hostname hadoop,然后用命
令hostname来查看主机名
②修改配置文件中的主机名,执行命令vi /etc/sysconfig/network,
将HOSTNAME之后的原来的主机名改成hadoop,然后保存退出。
③验证:重启,执行命令reboot -h now
3.绑定ip和主机
①执行命令vi /etc/hosts,增加一行内容:192.168.80.100 hadoop,最后保存退出。
②验证:ping hadoop测试一下,如能够收到数据包则绑定成功。
3.关闭防火墙
①执行命令service iptables stop
②验证:执行命令service iptables status
4.关闭防火墙的自动运行
①执行命令chkconfig iptables off
②验证:执行命令chkconfig --list | grep iptables
5设置SSH
①执行命令ssh-keygen -t rsa产生密钥,位于~/ .ssh文件夹中
②执行命令cp id_rsa.pub authorized_keys,将公钥存放到
authorized_keys文件夹中
③验证:执行命令ssh localhost,输入yes即可。
6.安装jdk
①执行命令rm -rf /usr/local/*删除所有的内容
②使用winspc把文件从windows下面复制到/usr/local目录下
③行命令chmod u+x jdk-6u24-linux-i586.bin赋予执行权限
④执行命令./jdk-6u24-linux-i586.bin解压缩
⑤执行命令mv jdk1.6.0_24 jdk ,将文件重命名。
⑥执行命令vi /etc/profile设置环境变量,增加了两行内容
export JAVA_HOME=/usr/local/jdk
export PATH=.:$JAVA_HOME/bin:$PATH
保持退出
⑦执行命令source /etc/profile,让设置立即生效。
⑧验证:执行命令java -version
8.安装Hadoop
①执行命令 tar –zxvf hadoop-1.1.2.tar.gz进行解压缩
②执行命令 mv Hadoop-1.1.2 hadoop重命名
③执行命令vi /etc/profile 设置环境变量,增加一行内容
export HADOOP_HOME=/usr/local/hadoop
修改1行内容
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH 保存退出
④执行命令source /etc/profile,让设置立即生效。
⑤修改hadoop的配置文件,位于$HADOOP_HOME/conf目录下
修改4个配置文件,分别是hadoop-env、core-site.xml、
hdfs-site.xml、mapred-site.xml
hadoop-env修改内容如下:
将文件的第九行的命令改成export JAVA_HOME=/usr/local/jdk
core-site.xml修改内容如下:
<configuration>
<property>
<name></name>
<value>hdfs://hadoop:9000 </value>
</property>
<property>
<name>hadoop.tmp.dir </name>
<value>/usr/local/hadoop/tmp</value>
</property>
</confighuration>
hdfs-site.xml的修改内容如下:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
mapred-site.xml的修改内容如下:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value>
</property>
</configuration>
⑥执行命令hadoop namenode-format对hadoop格式化
⑦执行命令start-all.sh启动
⑧验证:(1)执行命令jps,发现六个进程,分别是NameNode、DataNode、SecondaryNameNode、TaskTracker、JobTracker、Jps
(2)通过浏览器http://hadoop:50070和http://hadoop:50030
四、实验安装过程遇到的问题以及解决方法
(1)用vi命令进行编辑操作的时候,对vi命令的使用不是很清楚,没有保存所做的修改。
解决方法:用vi命令编辑时,首先打开的是只读命令,然后按A键进入编辑命令,编辑完之后先按Esc键,再同时按住shift+:键,这时候在左下角就会出现一个冒号,输入wq即代表保存退出。
(2)一开始在终端上ping hadoop一直无法ping通,但是ping 192.168.80.100是能够ping通的
解决方法:将主机名和ip绑定,在/etc/hosts文件中增加一行,192.168.80.100 hadoop。
(3)在进行./jdk-6u24-linux-i586.bin解压缩的时候出现如下问题:
解决方法:是应为缺少了执行权限,执行命令chmod u+x jdk-6u24-linux-i586.bin赋予执行权限
(4)NameNode进程没有启动成功
解决方法:没有对hadoop格式化,配置文件没有修改正确,SSH免密码登陆没有配置成功
(5)进行了多次格式化
解决方法:删除/usr/local/hadoop/tmp文件夹,重新格式化。