当前位置:文档之家› Greenplum数据库安装方案

Greenplum数据库安装方案

江西移动Greenplum 数据库安装修改记录目录1物理环境部署................................................................................... 错误!未定义书签。

Greenplum物理架构设计.................................................... 错误!未定义书签。

磁盘硬件RAID设计........................................................... 错误!未定义书签。

网络IP规划 ......................................................................... 错误!未定义书签。

2软件环境安装配置........................................................................... 错误!未定义书签。

操作系统安装配置............................................................... 错误!未定义书签。

操作系统参数设置............................................................... 错误!未定义书签。

操作系统安全配置............................................................... 错误!未定义书签。

操作系统用户组和用户....................................................... 错误!未定义书签。

网络配置............................................................................... 错误!未定义书签。

集群NTP服务时钟同步配置............................................... 错误!未定义书签。

3数据库系统安装配置....................................................................... 错误!未定义书签。

Greenplum软件安装............................................................ 错误!未定义书签。

数据库初始化....................................................................... 错误!未定义书签。

4数据库参数....................................................................................... 错误!未定义书签。

数据库参数设置................................................................... 错误!未定义书签。

调整连接控制参数............................................................... 错误!未定义书签。

5Command center安装 ...................................................................... 错误!未定义书签。

1物理环境部署1.1Greenplum物理架构概述Greenplum是一种基于postgresql(开源数据库)的分布式数据库。

其采用shared nothing架构(MPP),主机,操作系统,内存,存储都是自我控制的,不存在共享。

主要由master host(master管理节点),segment host(segment 数据节点),interconnect(网络)三大组件组成,segment host又包括primary segment(主segment实例)及mirror segment(镜像segment实例)。

如下图所示:其中各组件功能如下:➢Master host (master管理节点)主要负责接收并分配查询等任务,是Greenplum环境与外界通信的入口。

并且,master管理节点不存储任何业务数据,只负责对各Segment数据节点抽取出的业务数据进行汇总,反馈给用户。

➢Standby master(Standby master管理节点)主要作为master管理节点的热备份节点,当master管理节点宕机时Standby master则扮演master管理节点角色。

➢Node/segment host(Segment数据节点)主要负责运行Segment instances(Segment实例)的服务进程,支撑多少个Segment实例取决于Segment数据节点CPU核数。

➢Primary Segment(主实例)存放数据库一部分独立数据(即每个主实例存放的数据完全不一样),主要负责处理查询等任务,每个Segment数据节点能配置多少个主实例取决于CPU等物理配置情况。

当加载数据至数据库时,数据库按既定的分配算法决定实例分别存放哪些数据,当master将执行计划发给各实例,各实例主要处理其负责的那部分数据。

➢Mirror segment(镜像实例)主要作为Primary Segment(主实例)的热备份节点,当Primary Segment(主实例)不可用时Mirror segment(镜像实例)则扮演master管理节点角色。

➢Interconnect switches(互连交换机)是Greenplum数据库环境的通信核心,主要负责各节点的通信交互。

1.2硬件环境1.Master/Standby服务器2., Segment服务器3. 万兆网络2台华为交换机9300做了交换机堆叠配置,每台服务器连接2条万兆网线,分别连接到两台交换机,在主机上配置网卡聚合,实现负载均衡和容错。

1.3磁盘硬件RAID设计考虑数据安全性、可靠性、运行性能和容量需求,在硬件方面采用RAID进行进行数据保护。

对于磁盘RAID设置要求:➢RAID卡打开“Write Back”Cache设置和“Read ahead”读策略。

➢分成2组RAID5:12*900G +11*900G。

1.4网络IP规划为了最大程度满足性能和可靠性的要求,集群配置了2台华为9300交换机,做了交换机堆叠配置,每台服务器连接2条万兆网线,分别连接到两台交换机,在主机上配置网卡聚合(mode=4),实现负载均衡和容错。

由于采用网卡聚合技术,每台服务器只需配置一个IP地址,整个集群处于一个vlan之中。

2软件环境安装配置2.1操作系统安装配置2.1.1BIOS设置➢进入BIOS功能界面,开启BIOS 超线程✓开启➢验证BIOS超线程设置合规性:A: grep –i ‘cpu cores’ | /proc/cpuinfo |wc –lB: grep –i ‘processor’ | /proc/cpuinfo |wc –l➢检查结果:处理器数量是核数的2倍。

2.1.2操作系统安装设置2.1.2.1安装操作系统基础包操作系统版本:Redhat Enterprise Linux Server (64bit)➢要求:✓选择“最小”软件组方式安装Red Hat Enterprise Linux (64bit)✓选中“现在自定义”选项,选择安装其他系统工具包。

2.1.2.2安装系统语言包➢要求:操作系统安装过程中,请安装以下语言支持。

✓POSIX C 和locales 在安装操作系统时安装。

即The POSIX C and locales must be installed during the OS installation. Additionallocales may be installed as necessary to suit the customer.✓以 English(English)作为操作系统安装/登录时采用的语言。

✓除英文环境,在安装附加语言支持时,选择简体中文。

即、、、,等中文语言包需要在安装操作系统时一并安装。

2.1.2.3安装系统工具包2.1.2.4开发语言连接驱动开发语言连接数据库需要特定的驱动,目前Greenplum与第三方开发语言连接方式有如下规范:➢Greenplum自带C/C++开发语言驱动,不需要安装任何驱动。

➢ Greenplum自带JDBC/ODBC连接驱动,开发语言可通过JDBC或ODBC连接数据库,例如 Java开发语言可通过JDBC连接数据库。

➢对于自带有JDBC/ODBC连接驱动的开发语言,可直接通过自身的JDBC/ODBC连接数据库➢Python及Perl开发语言不能通过JDBC/ODBC连接数据库,需通过DBD连接,则要在安装操作系统完成后独立部署安装。

例如LDS及SOR数据库集群开发语言是Perl,则是需要安装如下DBD驱动软件包。

2.1.2.5时区配置➢配置时区要求如下:✓选择时区为东八区“亚洲/上海 - 中国东部”✓Asia/Shanghai East China –Beijing,Guangdong,Shanghai,etc.✓系统时钟不使用UTC2.1.2.6文件系统和分区配置•由于RAID磁盘组大于2T,建议采用parted分区,不采用LVM进行管理。

•Greenplum官方推荐最适合的文件系统是XFS,其他文件系统类型原则上不推荐;2.1.2.7网卡配置每台服务器采取2网卡绑定的方式提高网络带宽(需要交换机支持),网卡绑定参考如下过程:1.停止NetworkManager服务service NetworkManager stopchkconfig NetworkManager off2.新建/etc/sysconfig/network-scripts/ifcfg-bond0文件DEVICE=bond0ONBOOT=yesBOOTPROTO=staticIPADDR=…NETMASK=…GATEWAY=…USERCTL=no3.分别修改每块slave网卡的设置文件,假设slave网卡为eth0,则按以下内容更改/etc/sysconfig/network-scripts/ifcfg-eth0文件:DEVICE=eth0ONBOOT=yesBOOTPROTO=noneMASTER=bond0USERCTL=no4.以步骤3的方式修改另一块slave网卡配置5.编辑/etc/文件,加入以下内容alias bond0 bondingoptions bond0 miimon=100 mode=46.重启network服务service network restart7.检查网络连通性说明:miimon是用来进行链路监测的。

相关主题