flink部署

常用的应用模式(application模式:

推荐使用这种方式,用户的代码是在jobmanager解析的,而不是在客户端解析的

bin/flink run-application -t yarn-application -c wordcount.flink_wc_socket flink_flink-1.0-SNAPSHOT.jar

有哪些参数可以直接用命令看,避免不同版本的差异,复制原文翻译即可得到完整的参数:

./yarn-session.sh -help
./bin/flink run-application --help

 常用启动脚本:

# 基本YARN Application Mode提交
./bin/flink run-application -t yarn-application \
  -D yarn.application.name="MyFlinkApp" \
  -D yarn.application.queue=production \
  -D jobmanager.memory.process.size=2048m \
  -D taskmanager.memory.process.size=4096m \
  -D taskmanager.numberOfTaskSlots=2 \
  -c org.example.MyMainClass \
  ./path/to/your-app.jar

# 带附加配置的提交
./bin/flink run-application -t yarn-application \
  -D state.backend=rocksdb \
  -D state.checkpoints.dir=hdfs:///checkpoints \
  ./your-app.jar

# 从保存点恢复
./bin/flink run-application -t yarn-application \
  -s hdfs://savepoints/savepoint-123456 \
  ./your-app.jar

 停止任务可以用flink或者yarn的命令停止:

先获取所有任务信息:

# 列出所有运行中的作业(显示JobID和作业名称)
./bin/flink list

YARN ApplicationID 可以从yarn的UI页面上获取:

快速终止任务(测试环境、不保存状态):

./bin/flink cancel <JobID>

优雅停止(保存状态、适用生产环境):

./bin/flink stop --savepointPath hdfs:///savepoints <JobID>

flink集群卡死,资源不足直接释放,粗暴方式:

yarn application -kill <YARN_Application_ID>

 

posted @ 2025-05-14 10:15  ---江北  阅读(75)  评论(0)    收藏  举报
TOP