1
分布式系统。Hadoop 具有成本低廉、可靠性高、容错性高、扩展性强、效率 高、可移植性强、免费开源的优点。 Hadoop 的核心功能有两个：HDFS 与 MapReduce。与 HDFS 相关的服务 有 NameNode、SecondaryNameNode 及 DataNode；与 MapReduce 相关的服 务有 JobTracker 和 TaskTracker 两种。当最终基于 Hadoop 的云平台搭建完成 时，在主服务器上启动服务器集群后，就会看到这 5 个服务进程启动起来。 Hadoop 集群中有两种角色：master 与 slave，master 又分为主 master 与次 master。其中：主 master 同时提供 NameNode、SecondaryNameNode 及 JobTracker 三种服务；次 master 只提供 SecondaryNameNode 服务；所有 slave 提供 DateNode 和 TaskTracker 两种服务。 启动 Hadoop 的方式是在主 master 上调用命令：$ start-all.sh。 此调用过程中，Hadoop 依次启动以下服务： 在主 master 上启动 NameNode 服务；在主 master 上启动 SecondaryNameNode 服务；在次 master 上启动 SecondaryNameNode 服务； 在所有 slave 上启动 DataNode 服务；在主 master 上启动 JobTracker 服务； 在所有 slave 上的 TaskTracker 服务。
其他几台子服务器也这样设置。
5
（6）JDK 的安装
安装 jdk 用 root 身份登录主服务器后，在/usr 目录下创建“java”文件夹，再把 jdk-6u35-linux-i586.bin 放到/usr/java 文件夹中（通过共享方式，从 mnt 目 录移到/usr/java 文件夹），如下所示
云平台搭建流程总结
--许康
目录
1、云平台搭建简要概述 ...................................................................................... 1 （1）云平台运行环境概述 ............................................................................ 1 （2）云平台搭建架构概述 ............................................................................ 1 （3）集群机器信息 ...................................................................................... 3 （4）搭建云平台需要的软件包 ...................................................................... 3 2.云平台搭建流程详述 ........................................................................................ 3 （1）打开 terminal 终端，输入 sudo yum install ssh,用于被远程访问 ................ 3 （2）安装 rsync，输入 sudo yum install rsync ................................................ 3 （3）修改机器名称 ...................................................................................... 4 （4）本机 IP 地址的设置 .............................................................................. 4 （5）hosts 文件设置 .................................................................................... 5 （6）JDK 的安装 .......................................................................................... 6 （7）SSH 无密码验证 ................................................................................... 7 （8）hadoop 的安装与配置 ......................................................................... 10 3、hadoop 的启动与验证................................................................................... 14 （1）格式化 HDFS 文件系统 ....................................................................... 14 （2）启动 hadoop ...................................................................................... 14 （3）验证 hadoop ...................................................................................... 15
（4）本机 IP 地址的设置
打开/etc/sysconfig/network-scripts/ifcfg-eth0 文件进行配置，
对打开的文件进行修改如下所示，就可以设置本机的 ip 地址等网络配置了。
4
（5）hosts 文件设置
/etc/hosts 这个文件是用来配置主机将用的 dns 服务器信息的，记载 LAN 内接 续的各主机的对应【HostName 和 IP】用的。当用户在进行网络连接时需要查 找对应主机名或域名的 IP 地址。 如果想 ping 某台主机发现 ping 不到，那么解决办法就是修改”/etc/hosts”这个 文件，通过把局域网内某台主机的 ip 地址和 hostname 一一对应写入这个文件 就可解决。修改后的内容如下所示：
基于 Hadoop 的云计算与存储架构模型如下图所示。
2
（3）集群机器信息
这里的集群机器其实就是在自己主机上建的三台 linux 虚拟机，下面将这三 台虚拟机信息以表格形式展现出来，如下表所示。 三个节点上均是 centos 系统，并且有一个相同的用户 hadoop,主服务器主 要配置 namenode 和 jobtracker 的角色，负责总管分布式数据和分解任务的执 行，两个子服务器配置 datanode 和 tasktracker,负责分布式数据存储以及任务 的执行。 机器名称 namenode datanode1 datanode2 节点作用 Namenode&jobtracker Datanode1&tasktracker Datanode2&tasktracker ip 地址 192.168.216.10 192.168.216.11 192.168.216.12 用户名称 hadoop hadoop hadoop 用户密码 hadoop hadoop hadoop
（4）搭建云平台需要的软件包
软件名称 JDK（java 开发工具包） Hadoop 软件分发包 SSH 远程控制端 版本号 jdk-6u35-linux-i586 hadoop-1.0.4.tar pc6-SSHSecureShellClient
上述这些软件包都已经上传到 SVN 上 https://192.168.103.131/svn/Project/2015/IOTESP/Code/xk/云计算平台建设方案/相关软件安装包
（2）云Hadoop 架构的，采用三台安装 Linux 环境的机器来构建一个小规模的分布式集群，其体现效果等同于在一台电脑上 用三台 linux 虚拟机构建一个小规模的分布式集群。 Hadoop 是并行技术、分布式技术和网格计算技术发展的产物，是一种为 适应大规模数据计算和存储而发展起来的模型架构。Hadoop 是 Apache 公司旗 下的一个分布式计算和存储的框架平台，能够高效存储大量数据，而且可以编 写分布式应用程序来分析计算海量数据。Hadoop 可在大量廉价硬件设备集 群 中运行程序，为各应用程序提供可靠稳定的接口来构建高扩展性和高可靠性的
2.云平台搭建流程详述
（1）打开 terminal 终端，输入 sudo yum install ssh,用 于被远程访问
（2）安装 rsync，输入 sudo yum install rsync
3
rsync 是一个远程数据同步工具，可通过 LAN/WAN 快速同步多台主机间的文件。
（3）修改机器名称
接着进入/usr/java 目录下，通过下面命令使 jdk 获得可执行权限，并安装 jdk.
按 enter 键安装完成后，会提示你按 enter 键退出，查看/usr/java 下会多了一 个 jdk1.6.0_35 的文件，表示 jdk 安装成功。 配置环境变量 编 辑 /etc/profile, 在后面添加 java 的“ JAVA_HOME ”、 ”CLASSPATH” 以 及’’PATH’’内容，如下所示，并保存退出。
查看当前机器名称 输入指令 hostname 用于显示机器名称，如果机器名称不是想要的，那么就 需要修改