当前位置:文档之家› hadoop伪分布式搭建2.0

hadoop伪分布式搭建2.0

1. virtualbox安装1. 1. 安装步骤1. 2. virtualbox安装出错情况1. 2.1. 安装时直接报发生严重错误1. 2.2. 安装好后,打开Vitualbox报创建COM对象失败,错误情况11. 2.3. 安装好后,打开Vitualbox报创建COM对象失败,错误情况21. 2.4. 安装将要成功,进度条回滚,报“setup wizard ended prematurely”错误2. 新建虚拟机2. 1. 创建虚拟机出错情况2. 1.1. 配制好虚拟光盘后不能点击OK按钮3. 安装Ubuntu系统3. 1. 安装Ubuntu出错情况3. 1.1. 提示VT-x/AMD-V硬件加速在系统中不可用4. 安装增强功能4. 1. 安装增强功能出错情况4. 1.1. 报未能加载虚拟光盘错误5. 复制文件到虚拟机5. 1. 复制出错情况5. 1.1. 不能把文件从本地拖到虚拟机6. 配置无秘登录ssh7. Java环境安装7. 1. 安装Java出错情况7. 1.1. 提示不能连接8. hadoop安装8. 1. 安装hadoop的时候出错情况8. 1.1. DataNode进程没启动9. 开机自启动hadoop10. 关闭服务器(需要时才关)1. virtualbox安装1. 1. 安装步骤1.选择hadoop安装软件中的VirtualBox-6.0.8-130520-Win2.双击后进入安装界面,然后直接点击下一步3.如果不想把VirtualBox安装在C盘,那么点击浏览4.直接把最前面的C改成D注意:安装路径中不能有中文如果只有一个C盘,那么这里就不用改动了5.然后直接点击下一步就行了6.这个界面直接点下一步就行7.网络界面的时候直接点“是”就行8.然后点击安装9.在用户账户控制里面点击“是”10.安装完成出现如下界面,点击完成就行11.然后出现如下界面1. 2. virtualbox安装出错情况1. 2.1. 安装时直接报发生严重错误1. 右键点击此电脑,选择管理2. 选择服务和应用程序下面的服务3. 查看如下两个服务的状态4. 如果不是显示的正在运行,那么右键点击服务,然后启动它5. 启动好这两个服务过后,再重新安装VirtulBox1. 2.2. 安装好后,打开Vitualbox报创建COM对象失败,错误情况1这种错误也有可能是没有启用硬件虚拟化,以下是常用笔记本启用虚拟化技术的方法1. 惠普笔记本启用虚拟化功能2. 戴尔笔记本启用虚拟化功能3. 联想笔记本启用虚拟化功能4. 华硕笔记本启用虚拟化功能5. 其他品牌电脑可以按如下方式到百度中搜索电脑品牌怎么启用虚拟化技术1. 2.3. 安装好后,打开Vitualbox报创建COM对象失败,错误情况2这种可能是你的路径中有中文。

如果确实有中文,那就需要把VirtualBox卸载掉,然后重新安装,不要安装在有中文的路径中。

1. 2.4. 安装将要成功,进度条回滚,报“setup wizard ended prematurely”错误这种错误往往是因为之前安装过VirtualBox,卸载后重装可能遇到这种问题,遇到这种问题,在下图的步骤中把红色方框标注的这两个功能,点击一下,然后选择不安装这个功能,基本能解决2. 新建虚拟机新建虚拟机相当于你自己制作了一台电脑,当然这台电脑是虚拟的,不是我们看得见的电脑。

新建虚拟机需要设置内存和磁盘容量。

1.点击新建,我们开始制作电脑了。

2.这里我们要设置这个电脑安装什么系统,我们名称那里写Ubuntu,写完这个名称过后,它能自动检测是什么系统,你们可以看看类型这里是不是Linux,版本是不是Ubuntu(64-bit)或者Ubuntu-64,如果是的,就没有问题。

3.然后弹出内存设置界面,如果你电脑内存是8G,那么这里填2048,;如果你电脑内存是4G,那么这里填15004.然后就是虚拟硬盘的配置,我们选择现在创建虚拟硬盘5.接下来的这步直接点击下一步就OK6.然后选择动态分配7.然后选择虚拟硬盘存储位置,这个存储目录要足够大,至少要分配20G的存储空间存储目录不要选在磁盘根目录下,存储目录中最好不要有中文8.然后点击下一步,然后弹出的界面就有一个这个界面9.选中Ubuntu,然后点击设置10. 然后选择存储,之后选择控制器:IDE下面的没有盘片,然后点选右侧的圆形的像光盘的按钮11. 然后点击选择一个虚拟光盘文件,然后选择我给你们的ubuntu-19.04-desktop-amd64.iso这个文件,然后点击OK,出现如下界面12. 然后点击OK,返回主界面至此虚拟机的设置就完毕了,恭喜你,可以进入下一步了。

2. 1. 创建虚拟机出错情况2. 1.1. 配制好虚拟光盘后不能点击OK按钮如果这里的OK按钮是灰色的,那就是你电脑的虚拟化技术没有启用。

需参照1.2.2小节3. 安装Ubuntu系统在安装Ubuntu之前最好把电脑网络断开,这样安装时间能够大大节省1.首先点击启动,这样就相当于启动了你制造的电脑2.等待一会出现如下界面,表示进入安装Ubuntu系统的界面了3.左边的语言栏,拖到最下面,有中文(简体),选择它3.然后点击安装Ubuntu4. 弹出键盘布局界面,直接继续,如果默认的是英语,也没关系的,直接点击继续5. 弹出如下界面,也选继续6. 弹出如下界面,直接选择现在安装7. 出现如下界面,选择继续8. 弹出如下界面时,现在圆点的那个地方用鼠标左键点击一下,然后选择继续9. 弹出如下界面,按照我的截图进行填写,密码直接使用hadoop,填好后点击继续然后等着就行。

10. 出现如下界面,表示安装完成,点击现在重启11. 重启后界面如下,直接按回车键就行12. 出现这个界面,选中hadoop用户名,左键点击一下13. 然后输入密码就能进入系统14. 第一次进入系统会出现如下界面,直接点击跳过3. 1. 安装Ubuntu出错情况3. 1.1. 提示VT-x/AMD-V硬件加速在系统中不可用如果启动虚拟机出现上面图片中的错误,那么就是硬件虚拟化技术没有启用,请参考1.2.2小节4. 安装增强功能增强功能能够实现本地电脑和虚拟电脑之间的粘贴板互通,相互复制,还可以相互之间复制文件,也能把虚拟机的分辨率调成和本地电脑一样刚开始你们的虚拟机的窗口就和这一样,很小。

这个时候需要安装增强功能1. 进入系统过后,选择最上方的菜单栏中的设备,设备下面有个安装增强功能,点击一下2. 弹出界面,直接点击运行3. 弹出界面,这个时候输入密码,然后点击认证4. 等待安装完成,安装完之后会出现Press Return to close this window,这个时候你们直接按回车就行。

5. 这时你的虚拟机屏幕就变大了6. 设置粘贴板共享,选择设备下面的共享粘贴板,然后设置为双向7. 启用拖放功能,能够实现本机和虚拟机之间的文件相互复制8. 一定要记得重启虚拟机4. 1. 安装增强功能出错情况4. 1.1. 报未能加载虚拟光盘错误如果出现上面这种错误,这需要如下几步来解决1. 点击系统左侧栏中的文件夹图标2. 点击光盘右侧的那个三角图标,卸载光盘3. 卸载后,再次点击安装增强功能,等安装完成后,重启虚拟机5. 复制文件到虚拟机1. 缩小虚拟机和hadoop安装软件的界面,让他们能够在一个屏幕显示需要复制的是hadoop-2.9.2.tar.gz和jdk-12.0.2_linux-x64_bin.tar.gz这两个文件2. 打开虚拟机中的主目录,通过点击左侧栏的文件夹图标3. 复制hadoop文件到虚拟机,步骤参考下面的图片4. 同理复制jdk文件5. 1. 复制出错情况5. 1.1. 不能把文件从本地拖到虚拟机这种情况下需要按照如下几步来解决,要首先联网,确保能够上网的情况下执行下面几步1. 如果终端界面没有打开,使用Ctrl+Alt+T三个按键一起按,然后会弹出如下界面调出界面后,就在这个终端里面输入后面的这些命令。

首先更新apt资源池,输入如下命令sudo apt update安装gcc、perl、make,输入如下命令sudo apt install gcc make perl调出界面后,就在这个终端里面输入后面的这些命令。

2. 首先更新apt资源池,输入如下命令sudo apt update命令输入后,会出现如下的类似界面命令执行完成后,有类似的界面,你要注意看看有没有报错,有报错的情况一般都是你没有联网3. 安装ssh程序,输入如下命令7. Java环境安装5. 在文件末尾加入下面的两行文字export JAVA_HOME=/usr/local/jdk export PATH=$PATH:$JAVA_HOME/bin修改后的应该是这样的情况如果出现如下提示信息说明安装成功,否则配置不成功在文件末尾加上如下两行命令export HADOOP_HOME=/usr/local/hadoopexport PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin然后把下面的内容整体替换掉当前文件的内容<configuration><!--- global properties -->7. 编辑hdfs-site.xml文件,这个文件是用作配置hdfs的各项属性的,输入如下命令然后把下面的内容整体替换掉当前文件的内容<configuration><property><name>dfs.replication</name><value>1</value><description>Default block replication.8. 编辑mapred-site.xml文件,这个文件主要是对mapreduce进行配置,输入如下命令sudo gedit mapred-site.xml这个文件原来不存在,所以弹出的界面里面显示为空然后把下面的内容拷贝到文件中9. 编辑yarn-site.xml文件,这个文件主要是对yarn进行设置,输入如下命令sudo gedit yarn-site.xml打开成功,弹出如下界面把如下内容替换掉文件中的内容<configuration><property><description>The hostname of the RM.</description> <name>yarn.resourcemanager.hostname</name><value>localhost</value></property>10. 编辑hadoop-env.sh文件,设置JAVA_HOME环境变量,输入如下命令sudo gedit hadoop-env.sh打开成功后,出现如下界面然后使用Ctrl+F,调出查找界面,输入JAVA_HOME,我们需要修改的就是红色方框里面。

相关主题