Hadoop 云计算平台搭建方案一、平台搭建概述总体思路针对于电网企业在营销服务领域展开的大数据分析处理，搭建Hadoop 云计算平台进行海量数据存储，并作深层次加工、处理，挖掘出无法简单直观便可得到的新的模式，为电力企业的决策提供指导。
平台采用作为海量数据存储和分析工具，将其部署在 4 个物理计算机节点上，搭建 Hadoop 集群，其中 1 个节点作为master 节点，其余 3 个作为 slave 节点。
为了获取更好的稳定性，平台搭建在Linux 系统（）环境下。
软件列表软件描述版本VMware Workstation 虚拟化软件VMware Workstation 操作系统JDK Java 的软件开发工具包开源的云计算基础框架分布式数据存储系统可靠协调系统数据迁移工具平台搭建总流程和节点信息一览表在平台搭建前，给出实现的总流程图和节点信息一览表，从而对平台搭建过程和各节点信息有一个全局的认识，平台搭建总流程如下图所示。
创建虚拟机master ，完成 JDK、Hadoop等应用的安装和配置对虚拟机master 进行克隆，得到的虚拟机分别作为slave1 、 slave2 和完成 Zookeeper 、 HBase等其它分布式服务的部署，搭建Hadoop 集群运行并测试Hadoop 集群系统各节点信息如下表所示：机器名master slave1 slave2 slave3IP地址用户名充当角色、 Namenode、 Datanode、 Datanode、 Datanode二、基础平台的搭建步骤此次大数据存储和处理平台的搭建，需要虚拟机软件 VMware Workstation 创建虚拟机的配置大部分是相同的，所以利用4 台物理节点来部署Hadoop平台环境。
我们使用4 台虚拟机，承载平台搭建工作。
另外，由于对 4 台VMware Workstation的克隆功能，可以减少部署的工作量。
安装虚拟机软件VMware Workstation首先在 4 台 PC机器上均安装虚拟化软件VMware Workstation，并输入相应的序列号。
在master 节点上安装 Linux 系统 Ubuntu在设定为 master PC节点上首先安装 Linux 系统（版本为），在安装过程中为提高后期安装软件的兼容性和稳定性，在系统语言上选择英语。
创建用户名为“hadoop ”的普通用户，设置统一的密码。
安装完成后将系统的terminal命令窗口调出来，以便使用。
同时，为实现虚拟机的Ubuntu 系统与本机的Windows 系统之间方便快捷的文字复制粘贴以及物理主机系统与虚拟机系统相互拖放文件进行共享，需要安装VMare Tools 工具，具体操作如下：启动虚拟机，进入 Ubuntu 系统，在 VM菜单栏“虚拟机 (M) ”的下拉菜单点击“安装VMare Tools(T) ”后，会弹出一个“ VMare Tools ”文件夹，里面包含VMare Tools的安装包，将该安装包拷贝到 /home/hadoop目录下，输入命令进行解压安装： tar xzvf此时在/home/hadoop/目录下产生 vmware-tools-distrib文件夹，进入该目录，通过在terminal 终端输入相应命令，运行脚本：cd/home/hadoop/vmware-tools-distrib $JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATHexport PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH ocal/share/',but failed:No such file or directory(gedit:2949):Gtk-WARNING**:Attempting to store changes into `/root/.local/share/',but failed:Failed to create file'/root/.local/share/':No such file or directory(gedit:2949):Gtk-WARNING**:Attempting to set the permissionsof `/root/.local/share/', but failed: No such file or directory解决方法：只需直接在终端中输入命令：sudo mkdir-p/root/.local/share/，创建警告信息中所提示的目录即可。
若无视警告重启ubuntu 后将会出现以下情况：输入密码无法进入系统，一直处于输入密码后又跳转回输入密码的界面。
此时的解决方法是：在输入密码界面同时按下alt+ctrl+F2进入 ubuntu 命令模式，并使用root用户及对应密码登陆系统，然后键入：/usr/bin/vi/etc/profile打开 etc/profile文件，找到最近在末尾加上的hadoop 配置文件，按 delete键删除这些行，然后键入命令:wq ！（注意此处有冒号，不可省略）保存文件。
然后同时按下ctrl+alt+del重启系统即可使系统恢复正常登陆，然后按照上述方法重新配置。
目录设置在普通用户hadoop 下创建 hadoop 的数据存储目录（若使用root用户创建上述文件夹则会因权限问题导致无法向这些文件夹中写入并读取数据），可自行选择数据存储的路径，我们选择在 /home/hadoop/ 文件夹下创建dfs 和 tmp 作为数据存储与交换的目录，并在dfs 文件夹下创建name和 data 两个子文件夹。
分别执行命令：mkdir /home/hadoop/dfs/name/description></property><property> <name> <value>*</value></property><property><name><value>*</value></property></configuration>（4）配置文件，打开该文件，在文件末尾添加以下语句。
文件名打开文件后，在其末尾添加语句：<configuration><property><name><value> </property><property><name><value>file:/home/hadoop/dfs/name</value></property><property><name><value>file:/home/hadoop/dfs/data</value></property><property><name></name><value>4</value></property><property><name><value>true</value></property></configuration>注意：需要在中配置属性时，属性指定HDFS中文件块复制的份数，其默认值为3，当 datanode 节点少于 3 台便会报错。
在一般情况下，当其属性值为 3 的时候， HDFS的部署策略是在本地机柜中一个节点放置一个备份，在本地机柜的不同结点再放置一个备份，然后再在另一个机柜中的一个结点放置一个备份。
（5）配置文件。
事实上在进行配置之前，文件默认并不存在，需要首先将该目录下的文件进行复制，并重命名为，接下来打开，添加以下语句。
文件名打开文件后，在其末尾添加语句：<configuration><property><name><value>yarn</value></property><property><name><value> </property><property><name><value> </property></configuration>（6）配置文件，打开该文件，在文件末尾添加以下语句。
文件名打开文件后，在其末尾添加语句：</configuration><!-- Site specific YARN configuration properties --><property><name><value>mapreduce_shuffle</value></property><property><name><value> </property><property><name><value> </property><property><name><value> </property><property><name><value> </property><property><name><value> </property><property><name><value> </property></configuration>（7）配置文件，打开该文件，检索“ # export JAVA_HOME=/home/y/libexec/ 语句，在该语句下一行添加：export JAVA_HOME=/home/hadoop/通过对上述文件的修改，完成对Hadoop 的配置。
事实上，配置过程并不复杂，一般而言，除了规定的端口、IP 地址、文件的存储位置外，其他配置都不是必须修改的，可以根据需要决定是采用默认配置还是自行修改。
还有一点需要注意的是以上配置都被默认为最终参数，这些参数都不可以在程序中被再次修改。
Hadoop 集群的部署与各节点的通信安装 SSH服务通过建立SSH无密码互访，可以实现Hadoop 虚拟机群之间的无密码登录互访。