开源大数据集群部署（一）集群实施规划

作者：櫰木

本次集群规划信息

本次实际生产业务体量存在巨大差异，但集群规划内容相同，因此建议实际生产环境按照按照一定比例扩展即可。

主机操作系统要求

软件信息	参数
配置	8C16G
操作系统版本	CentOS Linux release 7.8.2003 (Core)
java版本	java version "1.8.0_281"
hadoop版本	hadoop 3.2.4

集群版本规划

集群组建	版本
HDFS	3.2.4
YARN	3.2.4
MapReduce2	3.2.4
Hive	3.1.2
HBase	2.1.0
ZooKeeper	3.7.1
Trino	389

主机角色规划

服务器	IP	角色
hd1.dtstack.com（管理节点）	172.16.104.226	namenode/resourcemanager/journalnode/zkfc//hive_metastore/hiveserver2
hd2.dtstack.com（管理节点）	172.16.106.252	namenode/resourcemanager/journalnode/zkfc/hamster/ranger
hd3.dtstack.com（数据节点）	172.16.107.127	datanode/nodemanager/journalnode/
hd1.dtstack.com(kerberos节点)	172.16.106.165	freeipaserver

配置目录规划

所有安装包目录为/opt/hadoop 类似

组件	目录名称	目录
HADOOP	hadoop datanode目录	/data/hadoop/dfs/data
	hadoop namenode目录	/data/hadoop/dfs/name
	hadoop临时目录	/data/hadoop/tmp
ZOOKEEPER	zookeeper数据目录	/data/zookeeper/data/
	zookeeper日志目录	/data/zookeeper/log/

组件系统用户规划

组件	启动用户	所属组
hdfs（namenode/datanode/zkfc/journalnode）	hdfs	hadoop
yarn（reourcemanager/nodemanager/）	yarn	hadoop
zookeeper	zookeeper	zookeeper
hive	hive	hadoop
hbase	hbase	hadoop
mysql	mysql	mysql
ranger	ranger	ranger
grafana	grafana	grafana
prometheus	prometheus	prometheus
trino	trino	hadoop