当前位置:
文档之家› Hadoop大数据平台构建与应用 第11章 HADOOP集群(完全分布式)环境搭建
Hadoop大数据平台构建与应用 第11章 HADOOP集群(完全分布式)环境搭建
,具体实践中,应根据自己机房的具体设置,变更自己的 虚拟机IP地址!在一个机房中千万不能出现相同的静态IP地 址,否则,就永远也ping不同该地址了。
✎
11.3 VMware Workstation桥接网络配置
11.3.2 设置网络桥接模式
启动Ubuntu之后或选中启动虚拟机系统而未启动之时,这 两种情况下,进行桥接模设置均可。按教程的设置在集群 的三台机器上都要进行,小组同学各负其责完成各自机器 的设置任务,并验证成功。
组件之前完成,且主机名与用户名一致。三台机器均执行 以下相应操作。
1、修改主机名 2、建立地址映射 3、重启计算机(虚拟机)使设置生效 hostname和hosts两个文件一旦修改完毕,之后就不要中途
再行修改虚拟机的名称,因为虚拟机的名称还与 HADOOP_PID_DIR、YARN_PID_DIR和HBASE_PID_DIR等路 径的配置定义有关联,内部关系极为复杂微妙。
✎
11.4 大数据集群环境配置与搭建
11.4.2 集群SSH免密登录
1、SSH SSH 为 Secure Shell 的缩写。SSH是一种加密网络协议,用 于在不安全的网络上安全地运行网络服务,利用SSH可以实 现加密并安全地远程登录计算机系统。Ubuntu安装后默认 有SSH客户端。 2、ssh-keygen ssh-keygen是SSH服务下的一个生成、管理和转换认证密钥 的命令工具, 3、生成秘钥操作过程
✎
第11章 HADOOP集群(完全分 布式)环境搭建
·克隆LINUX虚拟机 ·桥接模式与NAT模式 ·大数据集群环境配置与搭建
·VMWARE WORKSTATION 桥接网络配置
✎ 目录页
11.1 克隆LINUX虚拟机 11.2 桥接模式与NAT模式 11.2.1 桥接(bridged networking)模式 11.2.2 NAT(network address translation)模式 11.3 VMWARE WORKSTATION桥接网络配置 11.3.1 集群网络配置实现的目标 11.3.2 设置网络桥接模 11.3.3 验证 11.4 大数据集群环境配置与搭建 11.4.1 修改主机名并将主机名与IP地址建立映射 11.4.2 集群SSH免密登录 11.4.3 时间同步
显然,桥接模式是处于同一局域网中的虚拟机之间能够相 互联网的最方便组织方式,但不利方面是,如果你的物理 机(宿主机)网络IP发生变化,虚拟机的IP也应相应的改变 。
✎
11.2 桥接模式与NAT模式
11.2.2 NAT(network address translation)模式
使用NAT模式,就是让虚拟机借助NAT(网络地址转换)功能 ,通过物理机来访问网络。NAT模式IP地址配置示意见图 11-8所示。此模式下,如果物理机可以访问互联网,那么 虚拟机也可以。NAT模式下的虚拟系统的TCP/IP配置信息是 由VMnet8(NAT)虚拟网络的DHCP服务器提供的,无法进行
✎
11.4 大数据集群环境配置与搭建
11.4.3 时间同步
集群时间不同步,有可能造成诸如启动HBase集群的时候出
现错误等各种现象的发生。为了顺利的完成实验,应进行 时间同步操作。
1、安装ntpdate工具 2、设置系统时间与网络时间同步 3、将系统时间写入硬件时间 4、与时间查看有关的两个命令: 5、常见问题 建议:集群在做HBase和hive实验之前,小组成员应约定在 各自节点上做一次时间同步,再做其他功能的集群启动。
✎
11.1 克隆Linux虚拟机
本集群为三人一组,每台单机为一个节点,分别命名为 master、slave1和slave2。也就是,要搭建三个节点,包括 一个主节点master,和两个从节点slave1和slave2。克隆分
别在三台计算机完成,我们也将克隆的虚拟机名称分别命 名为master、slave1和slave2。
手工修改,默认情况下,和物理机同一网络中的其它机器 不能访问虚拟机,但虚拟机可以访问其它物理机。
✎
11.3 VMware Workstation桥接网络配置
11.3.1 集群网络配置实现的目标
本集群在如下三台机器(宿主机)上完成,各自的IP地址设 置分别是192.168.141.4、192.168.141.5、192.168.141.7,将 分别对应虚拟机slave1、slave2和master,并将这三台虚拟 机的IP地址分别设置为192.168.141.104、192.168.141.105、 192.168.141.107。 我们可以查看一台宿主机的IP设置,其中虚拟机slave1对应 宿主机的IP如图 11-9,这是机房之前已经设置好的IP地址
✎
11.2 桥接模式与NAT模式
11.2.1 桥接(bridged networking)模式
在桥接模式下,VMWare虚拟出来的操作系统就像是局域网 中的一台独立的主机,它可以访问网内任何一台机器。在 桥接模式下,需要手工为虚拟系统配置IP地址、子网掩码, 而且还要和宿主机器处于同一网段,这样虚拟系统才能和 宿主机器进行通信。
✎
11.3 VMwaBiblioteka e Workstation桥接网络配置
11.3.3 验证
(1)ifconfig查看静态IP。 (2)集群内三台虚拟机ping验证 (3)ping外网
✎
11.4 大数据集群环境配置与搭建
11.4.1 修改主机名并将主机名与IP地址建立映射 修改主机名的工作必须在配置Hadoop集群环境和安装集群