Cloudera大数据平台环境搭建（CDH5.13.1版）目录Cloudera大数据平台环境搭建 (1)（CDH5.13.1版） (1)1.基础环境 (4)1.1.软件环境 (4)1.2.配置规划 (4)1.3.所需要的软件资源 (4)1.4.修改机器名（所有节点） (5)1.5.设置防火墙（所有节点） (5)1.6.配置免密码登录SSH (6)1.7.关闭SELINUX（所有节点） (6)1.8.修改Linux内核参数（所有节点） (7)1.9.其他安装与配置（所有节点） (8)1.10.配置NTP服务 (8)1.11.安装oracle JDK1.8 （所有节点） (10)1.12.Mysql安装（主节点） (11)2.安装CM (12)2.1.传包，解包 (12)2.2.创建数据库 (12)2.3.创建用户 (13)2.4.制作本地YUM源 (13)2.5.拷贝jar包 (14)2.6.修改cloudera-scm-agent配置 (14)2.7.启动CM Server和Agent (14)2.8.访问CM (15)3.安装CDH (15)3.1.登录后界面 (15)3.2.选择CM版本 (16)3.3.指定主机 (17)3.4.选择CDH版本 (18)3.4.1.出现“主机运行状态不良”错误 (19)3.5.检查主机正确性 (19)3.6.选择安装的服务 (20)3.7.角色分配 (20)3.8.数据库设置 (21)3.8.1.测试连接报错： (22)3.9.群集设置 (23)3.10.开始安装 (24)3.11.安装完成 (25)3.11.1.警告信息： (25)4.常见错误 (27)4.1.初始化数据库错误： (27)4.2.未能连接到 Host Monitor (28)1.基础环境1.1.软件环境1.2.配置规划1.3.所需要的软件资源1)JDK环境：JDK版本：1.8.0_151jdk-8u151-linux-x64.rpm下载地址：2)CM包：CM版本：5.13.1cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz下载地址：3)CDH包CDH版本：5.13.1，CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel；CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1；manifest.json下载地址：4)JDBC连接jar包：jar包版本：5.1.43，mysql-connector-java-5.1.43.jar下载地址：1.4.修改机器名（所有节点）这种方式，在Centos7中可以永久性改变主机名称。
1.5.设置防火墙（所有节点）注：为了简便，可以先关闭防所有节点火墙，安装完成后，再按照下面步骤设置。
防火墙常用命令：注意：需要在所有的节点上执行，因为涉及到的端口太多了，临时开放所有端口是为了安装起来方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。
1.6.配置免密码登录SSH将子节点设置为从主节点ssh无密码登陆（主节点访问从节点需要无密码互通，否则后面会出现问题）在主节点上执行：#cd~ //进入到根目录# ssh-keygen -t rsa一路回车，生成无密码的密钥对。
把公钥拷贝至node169服务器上：# scp /root/.ssh/id_rsa.pub root@node169:~ //输入node169机器上root用户密码拷备成功登录到node169服务器上：然后在node169服务器上，把公钥的内容追加到authorized_keys文件末尾（这个文件也在隐藏文件夹.ssh下，如果没有可以新建）：# cat id_rsa.pub >> ~/.ssh/authorized_keys如果提示下面信息，则需要创建./ssh目录：-bash: /root/.ssh/authorized_keys: No such directory//创建/.ssh目录,再追加公钥内容# mkdir ~/.ssh# cat id_rsa.pub >> ~/.ssh/authorized_keys并设置authorized_keys的访问权限：# chmod 600 ~/.ssh/authorized_keys测试：在node168点上执行ssh node169，正常情况下，不需要密码就能直接登陆进去了。
在node168节点出现下面表示成功登录node169节点：以同样的方式将公钥拷贝至其他节点服务器上。
1.7.关闭SELINUX（所有节点）关闭linux SELINUX安全内核内容增加：（在Centos7中遇到SELINUX无法关闭的问题，重新启动机器恢复正常）1.8.修改Linux内核参数（所有节点）为避免安装过程中出现的异常问题，首先调整Linux内核参数。
1)设置s，控制换出运行时内存的相对权重，Cloudera 建议将 s 设置为 10：自CentOS6版本开始引入了Transparent Huge Pages(THP)，从CentOS7版本开始，该特性默认就会启用。
尽管THP的本意是为提升内存的性能，不过某些数据库厂商还是建议直接关闭THP，否则可能会导致性能出现下降。
首先查看透明大页是否启用，[always] never表示已启用，always [never]表示已禁用：以上状态就说明是启用的。
临时关闭（重启机器会变回默认开启状态）：保存退出，然后赋予rc.local文件执行权限：#chmod +x /etc/rc.d/rc.local重启系统，以后再检查THP状态，显示状态被禁用了。
3)修改文件句柄数：//查看文件句柄数，显示1024，显然太小#ulimit -n1024//修改限制#vi /etc/security/limits.conf//在文件后加入下面内容：* soft no* hard no修改后需要重启机器。
1.9.其他安装与配置（所有节点）# yum -y install psmisc MySQL-python at bc bind-libs bind-utils cups-client cups-libs cyrus-sasl-gssapi cyrus-sasl-plain ed fuse fuse-libs httpd httpd-tools keyutils-libs-devel krb5-devel libcom_err-devel libselinux-devel libsepol-devellibverto-devel mailcap noarch mailx mod_ssl openssl-devel pcre-devel postgresql-libs python-psycopg2 redhat-lsb-coreredhat-lsb-submod-security x86_64 spax time zlib-devel#yum install -y python-lxml#yum install krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-develpython-devel python-simplejson sqlite-devel# chmod +x /etc/rc.d/rc.local# yum -y install rpcbind# systemctl start rpcbind# echo "systemctl start rpcbind" >> /etc/rc.d/rc.local1.10.配置NTP服务集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。
具体建设过程如下：所有节点安装相关组件：# yum install ntp ntpdate -yNTP服务端（主节点）：1)查找时间同步服务器：打开网址，内容如下：2)编辑 /etc/ntp.conf：# vi /etc/ntp.conf//在文件中输入上面网页内容：server server server server 3)启动ntp服务：# systemctl start ntpd4)配置开机启动：# systemctl enable ntpd.service注意：如果ntpd 开机启动失效，有可能是因为安装了chronyd 并且是开机自启状态，所以导致ntpd开机自启失败。
# 查看chronyd设置状态#systemctl status chronyd显示如下：以面表明，chronyd显示为开机启动状态。
将chronyd设为禁用状态：#systemctl disable chronyd.service此时，NTP的服务开机自启动完成！# ntpq -p//更新时间#timedatectlNTP客户端（所有从节点）：6)远程客户端时间同步测试# date#ntpdate 172.16.3.168172.16.3.168是NTP服务端IP，显示如下信息，测试成功：#crontab -e//加入内容：0-59/30 * * * * /usr/sbin/ntpdate 172.16.3.168 && /sbin/hwclock -w//设置开机启动# systemctl enable crond.service//查看状态# systemctl status crond1.11.安装oracle JDK1.8 （所有节点）下载rpm 安装包jdk-8u151-linux-x64.rpm# rpm -qa | grep java# rpm -e –nodeps +包名# rpm -ivh jdk-8u151-linux-x64.rpm配置JAVA_HOME环境变量：# vi /etc/profile在profile文件最后，输入下面内容，保存并退出。
export JAVA_HOME=/usr/java/jdk1.8.0_151export PATH=$PATH:$JAVA_HOME/bin# source /etc/profile //使修改立即生效#echo $PATH //查看PATH值#echo $JAVA_HOME //查看JAVA_HOME值bashrc 文件配置环境变量：# vi /etc/bashrc//在文件最后加入：export JAVA_HOME=/usr/java/jdk1.8.0_151export PATH=$PATH:$JAVA_HOME/bin1.12.Mysql安装（主节点）到官网选择对应安装包：按common–>libs–>client–>server的顺序安装：2.安装CM2.1.传包，解包在主节点上下载相关软件包，这里将软件包下载到/data/ cdh/目录下。