大数据平台安装配置使用手册
一、操作系统安装
1、操作系统版本:CentOS 6.5
2、安装注意事项:
1)核查系统配置(CPU、核心数、内存、硬盘大小、系统raid情况),如果系统不是raid0,需重做为
raid0;
2)安装操作系统时需规划好系统的角色和hostname,系统角色划分基本原则是流式计算机器内存和核
心数尽量大,且每台机器之间内存和核心数尽量
保持一致;HBase机器的namenode内存需大一点,
datanode机器用来存放数据硬盘空间尽量大;
hostname命名基本原则:如2台流式计算机器,
总队命名为xxzd-stream01,xxzd-stream02,支队
命名为xxzhd-stream01,xxzhd-stream02;其他命
名类似,stream需改为dn,如
xxzd-dn01,xxzhd-dn02。
3)系统分区,目前一般为:/(根分区)、/swap(swap 分区,一般为内存的1.5倍)、/mnt/diskn(存放
数据分区,大小尽量不要超过1T,n为自然数)。
注:IBM机器需再划分一个/boot/efi(efi分区),
否则系统无法启动。
二、大数据平台安装
1、安装管理界面的节点上,需在/etc/hosts中把本机的
hostname配置上。
2、参照【TranswarpDataHub安装和使用手册v41.pdf】文
档安装。
3、支队只需安装hyperbase和inceptor,总队都安装。
三、集成指挥平台配置使用
1、大数据平台安装完成后,在集成指挥平台的【系统管理】
→【系统配置】→【系统参数管理】里找到图片中所示
的参数,修改为安装的管理节点ip。
2、在集成指挥平台的【系统管理】→【系统配置】→【内
存参数刷新】里刷新内存。
3、在集成指挥平台的【系统管理】→【流计算配置管理】
→【流计算服务器配置】里点击【同步】按钮,同步安
装的机器的hostname,用途等信息。
如果安装了HBase,需进行下面图片里描述的操作,否则查询时会报错。
4、在集成指挥平台的【系统管理】→【流计算配置管理】
→【流计算参数配置】里上传流计算jar包。
5、在集成指挥平台的【系统管理】→【系统运行监测】→
【流计算运行状态监测】里监测流计算的运行状态。
四、相关维护操作
1、登陆管理界面,查看各服务运行状况,绿的表示正常运
行,黄的表示有警告,红的表示未运行,如下图所示。
2、有警告的时候,可点击【警报】查看具体内容。
3、如果发现未有数据入库,先到集成指挥平台的【系统管
理】→【系统运行监测】→【流计算运行状态监测】里
查看运行状态和积压总量。
若未运行,则点击启动运行;
若积压量一直增加,则到管理界面上的服务里,单机stream1
再执行以下步骤,然后到集成指挥平台的【系统管理】
→【系统运行监测】→【流计算运行状态监测】里点击启动。