大数据平台运维手册目录1.简介 (1)1.1.大数据平台介绍 (1)1.2.大数据平台Manager介绍 (2)2.使用前的准备 (3)2.1.客户端硬件配置 (3)2.2.软件环境要求 (3)2.3.支持的浏览器 (3)3.系统检查 (4)3.1.管理员服务器IP，端口及账号权限检查 (4)3.2.管理员服务器空间检查 (4)4.开始集群管理 (5)4.1.TDH Manager的基本操作 (5)4.1.1.启动和停止TDH Manager (5)4.1.2.终止TDH Manager进程 (6)4.1.3.重启大数据平台-manager和agent (6)4.1.4.TDH Manager登入和登出 (6)4.1.5.TDH Manager语言选择 (7)4.1.6.TDH Manager用户信息登记和更新 (8)5.创建集群服务 (10)5.1.创建集群 (10)5.2.集群服务的添加、删除 (13)6.管理菜单 (17)6.1.节点管理 (17)6.1.1.添加节点 (18)6.2.用户管理 (22)6.2.1.管理用户 (23)6.2.2.管理用户组 (33)6.2.3.管理用户角色 (35)6.3.日志查询 (43)6.4.审计查询 (44)6.5.NTP管理 (45)6.6.许可证管理 (46)6.7.Guardian服务监控 (48)6.7.1.Guardian服务的角色 (49)6.7.2.Guardian服务的配置 (50)6.7.3.Guardian服务操作的监控 (51)6.8.备份与恢复 (51)7.Zookeeper的运维 (53)7.1.ZooKeeper服务的管理 (53)7.1.1.启动、停止、删除Zookeeper服务 (53)7.1.2.配置服务 (54)7.2.ZooKeeper服务的监控 (54)7.2.1.CPU使用监控 (54)7.2.2.ZooKeeper概要信息监控 (55)7.2.3.ZooKeeper服务历史监控 (56)7.2.4.ZooKeeper节点监控 (56)7.2.5.ZooKeeper统计信息监控 (56)7.3.ZooKeeper服务的配置 (58)7.3.1.配置ZooKeeper的角色 (58)7.3.2.修改ZooKeeper的配置 (62)7.3.3.Zookeeper的安全配置 (64)7.3.4.查看ZooKeeper操作 (64)8.HDFS的运维 (66)8.1.HDFS服务的管理 (66)8.1.1.启动、停止、删除HDFS服务 (66)8.1.2.配置服务 (67)8.2.HDFS服务的监控 (67)8.2.1.CPU使用监控 (67)8.2.2.HDFS概要信息监控 (68)8.2.3.HDFS服务历史监控 (69)8.2.4.HDFS节点监控 (69)8.2.5.HDFS统计信息监控 (70)8.3.HDFS服务的配置 (71)8.3.1.配置HDFS的角色 (71)8.3.2.修改HDFS的配置 (73)8.3.3.HDFS的安全配置 (75)8.3.4.查看HDFS操作 (76)8.3.5.HDFS的维护 (77)9.YARN的运维 (79)9.1.YARN服务的管理 (79)9.1.1.启动、停止、删除YARN服务 (79)9.1.2.配置服务 (80)9.2.YARN服务的监控 (80)9.2.1.CPU使用监控 (80)9.2.2.YARN概要信息监控 (81)9.2.3.YARN服务历史监控 (81)9.2.4.YARN节点监控 (82)9.2.5.YARN统计信息监控 (82)9.3.YARN服务的配置 (83)9.3.1.配置YARN的角色 (83)9.3.2.修改YARN的配置 (87)9.3.3.YARN的资源管理 (88)9.3.4.YARN的安全配置 (89)9.3.5.查看YARN操作 (90)10.Hyperbase的运维 (92)10.1.Hyperbase服务的管理 (92)10.1.1.启动、停止、删除Hyperbase服务 (92)10.1.2.配置服务 (93)10.2.Hyperbase服务的监控 (93)10.2.1.CPU使用监控 (93)10.2.2.Hyperbase概要信息监控 (94)10.2.3.Hyperbase服务历史监控 (94)10.2.4.Hyperbase节点监控 (94)10.2.5.Hyperbase统计信息监控 (95)10.3.Hyperbase服务的配置 (95)10.3.1.配置Hyperbase的角色 (95)10.3.2.修改Hyperbase的配置 (98)10.3.3.Hyperbase的安全配置 (100)10.3.4.查看Hyperbase操作 (101)11.Discover的运维 (102)11.1.Discover服务的管理 (102)11.1.1.启动、停止、删除Discover服务 (102)11.1.2.配置服务 (103)11.2.Discover服务的监控 (103)11.2.1.CPU使用监控 (103)11.2.2.Discover概要信息监控 (104)11.2.3.Discover服务历史监控 (105)11.2.4.Discover节点监控 (105)11.2.5.Discover统计信息监控 (105)11.3.Discover服务的配置 (106)11.3.1.配置Discover的角色 (106)11.3.2.修改Discover的配置 (107)11.3.3.Discover的资源分配 (109)11.3.4.Discover的安全配置 (110)11.3.5.查看Discover操作 (111)12.InceptorSQL的运维 (112)12.1.InceptorSQL服务的管理 (112)12.1.1.启动、停止、删除InceptorSQL服务 (112)12.1.2.配置服务 (113)12.2.InceptorSQL服务的监控 (113)12.2.1.CPU使用监控 (113)12.2.2.InceptorSQL概要信息监控 (114)12.2.3.InceptorSQL服务历史监控 (114)12.2.4.InceptorSQL节点监控 (114)12.2.5.InceptorSQL统计信息监控 (115)12.3.InceptorSQL服务的配置 (115)12.3.1.配置InceptorSQL的角色 (115)12.3.2.修改InceptorSQL的配置 (117)12.3.3.InceptorSQL的资源分配 (118)12.3.4.InceptorSQL的安全配置 (119)12.3.5.查看InceptorSQL操作 (119)12.3.6.查看Holodesk (120)12.3.7.InceptorSQL 客户端的下载 (120)13.Stream的运维 (122)13.1.Stream服务的管理 (122)13.1.1.启动、停止、删除Stream服务 (122)13.1.2.配置服务 (123)13.2.Stream服务的监控 (123)13.2.1.CPU使用监控 (123)13.2.2.Stream概要信息监控 (124)13.2.3.Stream服务历史监控 (124)13.2.4.Stream节点监控 (125)13.2.5.Stream统计信息监控 (125)13.3.Stream服务的配置 (126)13.3.1.配置Stream的角色 (126)13.3.2.修改Stream的配置 (127)13.3.3.Stream的资源分配 (129)13.3.4.查看Stream操作 (129)14.Kafka的运维 (130)14.1.Kafka服务的管理 (130)14.1.1.启动、停止、删除Kafka服务 (130)14.1.2.配置服务 (131)14.2.Kafka服务的监控 (131)14.2.1.CPU使用监控 (131)14.2.2.Kafka概要信息监控 (132)14.2.3.Kafka服务历史监控 (132)14.2.4.Kafka节点监控 (132)14.2.5.Kafka统计信息监控 (133)14.3.Kafka服务的配置 (134)14.3.1.配置Kafka的角色 (134)14.3.2.修改Kafka的配置 (135)14.3.3.Kafka的安全配置 (136)14.3.4.查看Kafka操作 (137)15.Oozie的运维 (138)15.1.Oozie服务的管理 (138)15.1.1.启动、停止、删除Oozie服务 (138)15.1.2.配置服务 (139)15.2.Oozie服务的配置 (139)15.2.1.配置Oozie的角色 (139)15.2.2.修改Oozie的配置 (140)15.2.3.查看Oozie操作 (141)16.Sqoop的运维 (142)16.1.Sqoop服务的管理 (142)16.1.1.启动、停止、删除Sqoop服务 (142)16.1.2.配置服务 (143)16.2.Sqoop服务的配置 (143)16.2.1.配置Sqoop的角色 (143)16.2.2.修改Sqoop的配置 (144)16.2.3.查看Sqoop操作 (145)17.HUE的运维 (146)17.1.HUE服务的管理 (146)17.1.1.启动、停止、删除HUE服务 (146)17.1.2.配置服务 (147)17.2.HUE服务的配置 (147)17.2.1.配置HUE的角色 (147)17.2.2.修改HUE的配置 (148)17.2.3.查看HUE操作 (150)18.Elasticsearch的运维 (151)18.1.Elasticsearch服务的管理 (151)18.1.1.启动、停止、删除Elasticsearch服务 (151)18.1.2.配置服务 (152)18.2.Elasticsearch服务的配置 (152)18.2.1.配置Elasticsearch的角色 (152)18.2.2.修改Elasticsearch的配置 (153)18.2.3.查看Elasticsearch操作 (154)19.系统监控 (156)19.1.TDH Manager状态监控 (156)19.2.TDH Manager热点图监控 (156)19.3.TDH Manager警报 (158)19.4.TDH Manager操作 (159)20.升级工具的使用 (160)20.1.升级前的准备 (160)20.2.开始升级 (165)20.3.升级失败的回滚 (167)20.4.升级常见错误 (167)21.运维基本说明 (168)21.1.Zookeeper (168)21.1.1. 日志 (168)21.1.2. 启动停止 (168)21.2.HDFS (168)21.2.1. 日志 (168)21.2.2. 启动停止 (168)21.3.YARN (169)21.3.1. 日志 (169)21.3.2. 启动停止 (169)21.4.Hyperbase (170)21.4.1. 日志 (170)21.4.2. 启动停止 (170)21.5.Inceptor (170)21.5.1. 日志 (170)21.5.2. 启动停止 (170)术语表 (173)范例清单6.1.创建用户 (24)6.2.授予用户Alice在InceptorSQL1中创建数据库的权限 (28)6.3.授予用户Alice在InceptorSQL1中对某个数据库的权限 (29)6.4.授予用户Alice在InceptorSQL1中对某张表的权限 (31)6.5.添加用户组 (34)6.6.创建角色 (36)6.7.授予角色sales在InceptorSQL1中创建数据库的权限 (40)6.8.授予角色sales在InceptorSQL1中对某个数据库的权限 (40)6.9.授予角色sales在InceptorSQL1中对某张表的权限 (42)1.简介1.1.大数据平台介绍大数据平台（简称TDH）是国内首个全面支持Spark和SQL2003语言解析的Hadoop商业发行版，也是国内落地案例最多的商业版本，是国内外领先的高性能平台，比开源基于HadoopMapReduce计算框架的版本快10x~100x倍。