Cloudera大数据平台环境搭建（CDH5.13.1版）目录Cloudera大数据平台环境搭建 (1)（CDH5.13.1版） (1)1.基础环境 (4)1.1.软件环境 (4)1.2.配置规划 (4)1.3.所需要的软件资源 (4)1.4.修改机器名（所有节点） (5)1.5.设置防火墙（所有节点） (5)1.6.配置免密码登录SSH (6)1.7.关闭SELINUX（所有节点） (8)1.8.修改Linux核参数（所有节点） (8)1.9.其他安装与配置（所有节点） (10)1.10.配置NTP服务 (10)1.11.安装oracle JDK1.8 （所有节点） (12)1.12.Mysql安装（主节点） (13)2.安装CM (15)2.1.传包，解包 (15)2.2.创建数据库 (15)2.3.创建用户 (16)2.4.制作本地YUM源 (16)2.5.拷贝jar包 (17)2.6.修改cloudera-scm-agent配置 (17)2.7.启动CM Server和Agent (18)2.8.访问CM (18)3.安装CDH (18)3.1.登录后界面 (18)3.2.选择CM版本 (19)3.3.指定主机 (20)3.4.选择CDH版本 (21)3.4.1.出现“主机运行状态不良”错误 (22)3.5.检查主机正确性 (23)3.6.选择安装的服务 (23)3.7.角色分配 (24)3.8.数据库设置 (24)3.8.1.测试连接报错： (25)3.9.群集设置 (26)3.10.开始安装 (28)3.11.安装完成 (29)3.11.1.警告信息： (29)4.常见错误 (31)4.1.初始化数据库错误： (31)4.2.未能连接到Host Monitor (32)1.基础环境1.1.软件环境1.2.配置规划1.3.所需要的软件资源1)JDK环境：JDK版本：1.8.0_151jdk-8u151-linux-x64.rpm下载地址：.oracle./technetwork/java/javase/downloads/jdk8-downloads-2133151.html2)CM包：CM版本：5.13.1cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz下载地址：archive-primary.cloudera./cm5/cm/5/cloudera-manager-centos7-cm5.13.1_x86_64.tar.gz3)CDH包CDH版本：5.13.1，CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel；CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.sha1；manifest.json下载地址：archive-primary.cloudera./cdh5/parcels/5.13.1/manifest.jsonarchive-primary.cloudera./cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel.s ha1archive-primary.cloudera./cdh5/parcels/5.13.1/CDH-5.13.1-1.cdh5.13.1.p0.2-el7.parcel4)JDBC连接jar包：jar包版本：5.1.43，mysql-connector-java-5.1.43.jar下载地址：/maven2/mysql/mysql-connector-java/5.1.43/mysql-connector-java-5.1.43.jar 1.4.修改机器名（所有节点）1.5.设置防火墙（所有节点）注：为了简便，可以先关闭防所有节点火墙，安装完成后，再按照下面步骤设置。
方便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。
1.6.配置免密码登录SSH将子节点设置为从主节点ssh无密码登陆（主节点访问从节点需要无密码互通，否则后面会出现问题）然后在node169服务器上，把公钥的容追加到authorized_keys文件末尾（这个文件也在隐藏文在node168节点出现下面表示成功登录node169节点：以同样的方式将公钥拷贝至其他节点服务器上。
1.7.关闭SELINUX（所有节点）1.8.修改Linux核参数（所有节点）为避免安装过程中出现的异常问题，首先调整Linux核参数。
1)设置swappiness，控制换出运行时存的相对权重，Cloudera 建议将swappiness 设置为自CentOS6版本开始引入了Transparent Huge Pages(THP)，从CentOS7版本开始，该特性默认就会启用。
尽管THP的本意是为提升存的性能，不过某些数据库厂商还是建议直接关闭THP，否则可能会导致性能出现下降。
表示已禁用：3)修改文件句柄数：1.9.其他安装与配置（所有节点）1.10.配置NTP服务集群中所有主机必须保持时间同步，如果时间相差较大会引起各种问题。
具体建设过程如下：1)查找时间同步服务器/zone/asia：打开网址，容如下：以面表明，chronyd显示为开机启动状态。
chronydNTP客户端（所有从节点）：1.11.安装oracle JDK1.8 （所有节点）下载rpm 安装包jdk-8u151-linux-x64.rpm1.12.Mysql安装（主节点）到官网https://dev.mysql./downloads/file/?id=469456选择对应安装包：5)修改MySQL初始密码1、先修改配置文件/etc/f令MySQL跳过登录时的权限检验，在[mysqld]下加入一行：skip-grant-tables2、重启MySQL#service mysqld restart3、免密码登录MySQL。
#mysql4、mysql客户端执行如下命令，修改root密码mysql> use mysql;mysql> UPDATE user SET authentication_string = password('your-password') WHERE host = 'localhost' AND user = 'root';mysql> select host,user,authentication_string, password_expired from user;mysql> update user set password_expired='N' where password_expired='Y' //密码不过期mysql> update user set host='%' where user='root' and host='localhost'; //远程可访问mysql> flush privileges; //刷新mysql> exit;//退出5、修改配置文件/etc/f删除此前新增那一行skip-grant-tables，并重启MySQL(这一步非常重要，不执行可能导致严重的安全问题)#service mysqld restart //重启Mysql2.安装CM2.1.传包，解包2.2.创建数据库在主节点上：# mysql -h127.0.0.1 -uroot -p //加参数-h127.0.0.1 指定本机方式，否则可能不允许执行grantEnter password: \\输入数据库密码//在MariaDB [(none)]>命令状态输入下面脚本：create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database monitor DEFAULT CHARSET utf8 COLLATE utf8_general_ci;create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;grant all privileges on *.* to rootlocalhost identified by 'root' with grant option;grant all on *.* to root"%" Identified by "root";flush privileges;exit;//复制Mysql JDBC包到/opt/cm-5.13.1/share/cmf/lib/目录#cp mysql-connector-java-5.1.43-bin.jar /opt/cm-5.13.1/share/cmf/lib///初始化CM，执行下面脚本#/opt/cm-5.13.1/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode168 -uroot -proot --scm-host node168 scm scm scm//如果出现下面错误：java.sql.SQLException: Access denied for user 'root''localhost' (using password: YES)//解决办法：在/etc/hosts 文件中，加上127.0.0.1 localhost.node168主节点/etc/hosts容：脚本/scm_prepare_database.sh 执行成功界面：2.3.创建用户2.4.制作本地YUM源2.5.拷贝jar包2.6.修改cloudera-scm-agent配置2.7.启动CM Server和Agent2.8.访问CM地址：主节点IP:7180用户名、密码：admin3.安装CDH3.1.登录后界面接受协议：3.2.选择CM版本本文档选择Cloudera Express免费版。
3.3.指定主机在搜索主机名和IP地址框输入node[169-172]，这里输入的容支持正则表达式。