A6--Flink部署

一、版本信息

JDK	1.8
flink	1.16.0

二、部署架构

采用flink-on-yarn架构，无需配置集群。客户端把 Flink 应用提交给 Yarn 的 ResourceManager,
Yarn 的 ResourceManager 会向 Yarn 的 NodeManager 申请容器。在这些容器上， Flink 会部署
JobManager 和 TaskManager 的实例，从而启动集群。 Flink 会根据运行在 JobManger 上的作业
所需要的 Slot 数量动态分配 TaskManager 资源。

三、安装部署

1）上传文件解压缩（由于需要依赖Hadoop环境，直接将flink客户端部署在hadoop集群的管理节点）

tar -zxvf flink-1.16.tgz

 

2）配置环境变量

vim /etc/profile

 

export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

export HADOOP_CLASSPATH=`hadoop classpath`

 

# Flink

export FLINK_HOME=/opt/flink-1.16

export PATH=$FLINK_HOME/bin:$PATH

3）修改配置文件

vim /opt/flink-1.16/conf/flink-conf.yaml

 

# 修改下面相关配置

 

#==============================================================================

# High Availability

#==============================================================================

high-availability: zookeeper

high-availability.storageDir: hdfs://mycluster/flink-yarn/ha/

high-availability.zookeeper.quorum: 192.168.11.201:2181,192.168.11.202:2181,192.168.11.203:2181

high-availability.zookeeper.path.root: /flink-yarn

yarn.application-attempts: 3

 

 

#==============================================================================

# Fault tolerance and checkpointing

#==============================================================================

state.checkpoints.dir: hdfs://mycluster/flink-yarn/flinkcheckp

state.savepoints.dir: hdfs://mycluster/flink-yarn/flinksavep

 

#==============================================================================

# Advanced

#==============================================================================

 

# 配置临时文件目录，建议不要放在系统盘分区

io.tmp.dirs: /data1/tmp,/data2/tmp,/data3/tmp