flink安装部署

下载地址 : 

wget   https://mirrors.tuna.tsinghua.edu.cn/apache/flink/flink-1.9.1/flink-1.9.1-bin-scala_2.12.tgz

 

安装 参照：

Standalone集群 方式：

https://blog.csdn.net/qq_43605654/article/details/100155748

 

vi /etc/profile
export FLINK_HOME=/home/hadoop/flink-191
export PATH=$PATH:$FLINK_HOME/bin

生效环境变量

source /etc/profile

cd /home/hadoop/flink-191/conf

vi flink-conf.yaml
jobmanager.rpc.address: master

rest.port: 8091  ###(这个用于web 页面访问查看管理 flink，默认是 8081 ，因为8081 spark已经使用，所以这里 使用 8091)

修改一下内存参数

jobmanager.heap.size: 300m
taskmanager.heap.size: 300m

 

vi masters配置文件，设置为主节点 备注 ：8081 已经被spark 占用，7071 被 azkaban占用
master:8091
vi slaves配置文件，设置为子节点
slave1
slave2

分发安装包
scp -r /home/hadoop/flink-191/ hadoop@slave1:/home/hadoop/
scp -r /home/hadoop/flink-191/ hadoop@slave2:/home/hadoop/

启动、flink集群
start-cluster.sh

jps
30436 StandaloneSessionClusterEntrypoint 主节点
29516 TaskManagerRunner 子节点

cd /home/hadoop/flink-191
运行示例
flink run examples/streaming/WordCount.jar

打开web管理页面
http://master:8091

关闭flink集群
stop-cluster.sh

 

 

使用示例；

https://www.liangzl.com/get-article-detail-143173.html

 

======================================================

备注:flink 安装之后， 许多jar包都没有，以下是flink 安装之后 初始 自带的 jar包

[hadoop@master lib]$ ls

flink-dist_2.12-1.9.1.jar

flink-table-blink_2.12-1.9.1.jar

slf4j-log4j12-1.7.15.jar

flink-table_2.12-1.9.1.jar

log4j-1.2.17.jar

 

[hadoop@master lib]$ pwd
/home/hadoop/flink-191/lib