Greenplum/Deepgreen（集群/分布式）安装文档
Deepgreen分布式安装文档
环境准备
1、安装VMware虚拟机软件，然后在VMware安装三台Linux虚拟机(使用centos7版本)
2、使用的虚拟机如下：
192.168.136.155 mdw
192.168.136.156 sdw1
192.168.136.157 sdw2
2.1三台虚拟机分别修改主机名为：mdw/sdw1/sdw2
[root@localhost ~]# hostnamectl set-hostname mdw
2.2三台虚拟机分别添加主机名和ip对应关系
[root@sdw1 ~]# vi /etc/hosts
2.3三台虚拟机进行时间同步操作
[root@sdw1 ~]# yum install ntp
[root@sdw1 ~]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
[root@sdw1 ~]# ntpdate pool.ntp.org
[root@sdw1 ~]# systemctl start ntpd
[root@sdw1 ~]# systemctl enable ntpd
2.4三台虚拟机安装工具（可选）
[root@mdw ~]# yum install net-tools –y
[root@mdw ~]# yum install perl
2.5三台虚拟机关闭防火墙
[root@mdw ~]# systemctl stop firewalld
[root@mdw ~]# systemctl disable firewalld
2.6三台虚拟机修改selinux的值为disabled
[root@sdw1 ~]# vi /etc/selinux/config
2.7三台虚拟机修改关于linux系统推荐配置
[root@mdw ~]# vi /etc/sysctl.conf
kernel.shmmax = 2000000000
kernel.shmmni = 4096
kernel.shmall = 16000000000
kernel.sem = 1000 2048000 400 8192
xfs_mount_options = rw,noatime,inode64,allocsize=16m
kernel.sysrq = 1
kernel.core_uses_pid = 1
kernel.msgmnb = 65536
kernel.msgmax = 65536
kernel.msgmni = 2048
net.ipv4.tcp_syncookies = 1
net.ipv4.ip_forward = 0
net.ipv4.conf.default.accept_source_route = 0
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_max_syn_backlog = 4096
net.ipv4.conf.all.arp_filter = 1
net.ipv4.ip_local_port_range = 1025 65535
net.core.netdev_max_backlog = 10000
net.core.rmem_max = 2097152
net.core.wmem_max = 2097152
vm.overcommit_memory = 2
sysctl -p生效
2.8三台虚拟机更改文件限制
[root@mdw ~]# vi /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
2.9磁盘io调度算法有多种：CFQ，AS，deadline推荐deadline
[root@mdw ~]# grubby --update-kernel=ALL --args="elevator=deadline"
[root@mdw ~]#/sbin/blockdev --getra /dev/sda预读块默认大小为8192
[root@mdw ~]#/sbin/blockdev --setra 16384 /dev/sda设置预读块大小16G
上述完成之后，三台机器均需重启系统，然后再开始进入数据库安装操作
3、数据库安装
3.1数据库文件deepgreendb.16.32.rh6.x86_64.180912.bin下载并上传到mdw主机上
http://vitessedata.com/deepgreen-db https://www.centos.org/download/
mdw主机创建gpadmin用户
[root@mdw local]# useradd gpadmin
[root@mdw local]# passwd gpadmin
mdw主机赋权限解压bin文件
[root@mdw local]# chmod u+x ./deepgreendb.16.32.rh6.x86_64.180912.bin
[root@mdw local]# ./deepgreendb.16.32.rh6.x86_64.180912.bin
安装后的整体目录如下：
为gpadmin赋安装后的整体目录权限
[root@mdw deepgreendb]# chown -R gpadmin:gpadmin /usr/local/deepgreendb（软连接）
[root@mdw deepgreendb]# source /usr/local/deepgreendb/greenplum_path.sh
3.2创建一个文件：hostfile_exkeys
[root@mdw deepgreendb]# vi hostfile_exkeys
mdw
sdw1
sdw2
里面内容与etc/hosts节点的内容一样
3.3建立节点服务器间的信任
[root@mdw deepgreendb]# gpssh-exkeys -f hostfile_exkeys
按照提示输入root密码，记住这一步不能输入gpadmin的密码，因为批量安装时需要在/usr/local下创建目录，需要root权限
3.4批量安装
[root@mdw deepgreendb]# gpseginstall -f hostfile_exkeys -u gpadmin -p 123456
这一步其实就是将master上的greenplum打包通过scp命令传到hostfile_exkeys中的主机上，并赋予目录gpadmin的权限
20181031:11:31:26:011120 gpseginstall:mdw:root-[INFO]:-SUCCESS -- Requested commands completed
3.5检查批量安装情况
[root@mdw deepgreendb]# gpssh -f hostfile_exkeys -e ls -l $GPHOME
返回结果中各节点目录一致则代表批量安装成功
3.6上述步骤完成后，创建Master主数据的存储区域
[root@mdw deepgreendb]# mkdir -p /data/master
[root@mdw deepgreendb]# chown gpadmin:gpadmin /data/master
[root@mdw deepgreendb]# vi hostfile_gpssh_segonly
sdw1
sdw2
只含有segment节点
vi hostfile_gpssh_segonly这步主要是为了使用gpssh工具创建数据目录，单机安装一般手动
3.7创建segment主机上创建主数据和镜像数据目录并赋权限
[root@mdw deepgreendb]# source greenplum_path.sh
[root@mdw deepgreendb]# gpssh -f hostfile_gpssh_segonly -e 'mkdir -p /data1/primary'
[sdw1] mkdir -p /data1/primary
[sdw2] mkdir -p /data1/primary
[root@mdw deepgreendb]# gpssh -f hostfile_gpssh_segonly -e 'mkdir -p /data2/primary'
[sdw1] mkdir -p /data2/primary
[sdw2] mkdir -p /data2/primary
[root@mdw deepgreendb]# gpssh -f hostfile_gpssh_segonly -e 'mkdir -p /data2/mirror'
[sdw1] mkdir -p /data2/mirror
[sdw2] mkdir -p /data2/mirror
[root@mdw deepgreendb]# gpssh -f hostfile_gpssh_segonly -e 'mkdir -p /data1/mirror'
[sdw1] mkdir -p /data1/mirror
[sdw2] mkdir -p /data1/mirror
[root@mdw deepgreendb]# gpssh -f hostfile_gpssh_segonly -e 'chown -R gpadmin:gpadmin /data1'
[sdw1] chown -R gpadmin:gpadmin /data1
[sdw2] chown -R gpadmin:gpadmin /data1
[root@mdw deepgreendb]# gpssh -f hostfile_gpssh_segonly -e 'chown -R gpadmin:gpadmin /data2'
[sdw1] chown -R gpadmin:gpadmin /data2
[sdw2] chown -R gpadmin:gpadmin /data2
[root@mdw deepgreendb]#
3.8创建gp初始化文件
[root@mdw deepgreendb]# su - gpadmin
[gpadmin@mdw deepgreendb]$ vi hostfile_gpinitsystem
sdw1
sdw2
从安装软件的模板中拷贝一份gpinitsystem_config文件到当前目录：
[gpadmin@mdw deepgreendb]$ cp docs/cli_help/gpconfigs/gpinitsystem_config .
修改gpinitsystem_config设置segment个数
declare -a DATA_DIRECTORY=(/data1/primary /data2/primary)
[gpadmin@mdw deepgreendb]$ vi ~/.bashrc
source /usr/local/deepgreendb/greenplum_path.sh
export MASTER_DATA_DIRECTORY=/data/master/gpseg-1
export PGPORT=5432
export PGUSER=gpadmin
export PGDATABASE=test
[gpadmin@mdw deepgreendb]$ source ~/.bashrc
完成上述步骤运行初始化工具初始化数据库
[gpadmin@mdw deepgreendb]$ gpinitsystem -c gpinitsystem_config -h hostfile_gpinitsystem -B 8
注释：由于我是36个segement所以并行开的-B 8
安装成功，进行操作即可！
[gpadmin@mdw deepgreendb]$ psql -d postgres
psql (8.2.15)
Type "help" for help.
postgres=#
也可以使用如下初始方式：
[gpadmin@mdw deepgreendb]$ gpinitsystem -c gpinitsystem_config -h hostfile_gpinitsystem -s sdw2 -S
会出错，因为没有足够的主机无法形成spread模式，去掉-S
由于选择sdw2为standby，需要在sdw2节点上创建文件夹
[root@sdw2 primary]# mkdir -p /data/master
[root@sdw2 primary]# chown gpadmin:gpadmin /data/master
======================================================================
关于镜像，有2种方式开启Mirror：
1. 在GP数据库安装的时候，开启Mirror设置
gpinitsystem -c gpinitsystem_config -h hostfile_segonly -s smdw1 -S
-s 代表standby
-S代表spread模式
2. 在已建好的数据库中，使用命令gpaddmirrors和gpinitstandby来开启Mirror
=======================关于节点分布模式：grouped、spread==============================
1.greenplum的两种节点分布模式
①grouped mirror模式：
(grouped模式，主机的mirror节点全部放在下一个主机上)
②spread mirror模式：
(spread模式,主机的第一个mirror在下个主机,第二个mirror在次下个主机,第三mirror在次次下个主机....)
2.初始化的mirror模式：
1）初始化为grouped模式
在部署配置gp的过程中
执行初始化命令：gpinitsystem ，默认的节点分布方式为grouped
[gpadmin@master ~]$gpinitsystem -c gpinitsystem_config -h seg_hosts -s standby
2）在初始化时改为spread模式
在部署配置gp的过程中
执行初始化命令：gpinitsystem加上–S，节点分布方式为spread
[gpadmin@master ~]$gpinitsystem -c gpinitsystem_config -h seg_hosts -s standby –S
3）主机数量少的情况(无法改设spread)
假设segment主机为两台，节点数为2;执行初始化命令gpinitsystem加上–S是无法形成spread模式，并且会在执行初始化命令之后报错，原因由于主机个数没有比primary节点数大1。
3.对于两种模式，添加segment主机节点的情况：
(排除自行修改gpexpand_inputfile_xxxxx_xxxx文件的情况,可以自行添加主机或节点)
1）grouped模式
新增的主机数必须大于等于2，确保新增primary和mirror在不同的机器上。
2）spread模式
新增主机数至少比每台主机上的primary数大1，确保mirror平均分配在其他主机上(参照图例理解)。
4.两种模式的优缺：
①grouped mirror：
如果其中一台挂掉，那么拥有该主机mirror的机器负载加重一倍；在segment主机数非常多的情况下，至少允许两台主机挂掉
②spread mirror：
如果其中一台挂掉，那么拥有该主机mirror的机器负载均衡，没有grouped的压力大；在segment主机数非常多的情况下，只可以挂掉一台主机
（一般情况，greenplum同时死机两台概率很低，死机一台概率较高，建议spread）
==================================================================================
Rebalancing a Table重新平衡一张表
CREATE TABLE sales_temp (LIKE sales) DISTRIBUTED BY (date, total, customer);
INSERT INTO sales_temp SELECT * FROM sales;
DROP sales;
ALTER TABLE sales_temp RENAME TO sales;
============================================================================
https://yq.aliyun.com/articles/177
该链接是关于如何扩展segment的文档写的非常详细，个人也是根据此链接操作成功的。
扩容回滚
如果在扩容过程中，报错，需先启动GP master node，然后rollback再启动GP
gpstart -m
gpexpand –r –D dw
gpstart
==============================================================================
linux nmon的安装及使用：该软件可以监控linux系统
参考：https://blog.csdn.net/u010798968/article/details/74932124
1.下载nmon压缩包：
http://nmon.sourceforge.net/pmwiki.php?n=Site.Download
根据系统的发型版本及CPU位数选择相应的压缩包下载，如笔者的系统发行版本为：红帽子7.3.1611，64位：
所以选择的版本为：nmon16g_x86.tar.gz，
可以下载到本地，再ftp传到linux服务器上，也可以直接在linux服务器上wget 下载链接。
2.下载后解压缩，有适用于不同linux发行版本的文件，根据自身系统选择不同文件，这里笔者选择的是nmon16g_x86_rhel72：
根据自身需求重命名及赋权，这里笔者重命名为nmon，赋755权限：
执行nmon：./nmon，进入nmon实时监控页，按c查看CPU使用信息，按m查看内存使用信息，按n查看网络使用信息，如下图：
更多命令按h查看帮助信息。
3.采集系统性能信息，并生成报告
a.执行./nmon -s3 -c60 -f -m ./report，-s3为每3s收集一次性能信息，-c60为收集60次，-f为生成的文件名包含该文件创建时间，-m ./report为指定测试报告存储路径，如下图：
执行完收集信息的命令后，生成了以hostname+创建年月+创建时间的文件，并且可以看到有个nmon的后台进程，即为收集服务器性能信息的进程，直到60次收集执行完之后，该进程才会结束。
b.下载 nmon analyser分析工具，该工具可以将上面生成的.nmon文件转化为图表，更为直观。
下载地址：https://www.ibm.com/developerworks/community/wikis/home?lang=en#!/wiki/Power%20Systems/page/nmon_analyser
下载完解压可以看到有两个文件：
打开 nmon analyser v51_2.xlsm文件：
将linux服务器上的报告.nmon文件down下来，点击上图中的Analyze nmon data按钮，选择刚刚down下来的文件，生成可视化图表，如下图：
另外，如果有同学点击Analyze nmon data按钮后弹出“宏不可用”的提示，Excel可自行百度如何开启宏，wps个人版则需要下载一个插件，笔者放到了网盘里面：
http://pan.baidu.com/s/1o8iFk6m，可自行下载，下载之后解压，双击vba6chs.msi安装即可，安装好之后重启wps，即可正常使用宏，并生成可视化图表。
