flink部署
常用的应用模式(application模式:
推荐使用这种方式,用户的代码是在jobmanager解析的,而不是在客户端解析的
bin/flink run-application -t yarn-application -c wordcount.flink_wc_socket flink_flink-1.0-SNAPSHOT.jar
有哪些参数可以直接用命令看,避免不同版本的差异,复制原文翻译即可得到完整的参数:
./yarn-session.sh -help
./bin/flink run-application --help
常用启动脚本:
# 基本YARN Application Mode提交 ./bin/flink run-application -t yarn-application \ -D yarn.application.name="MyFlinkApp" \ -D yarn.application.queue=production \ -D jobmanager.memory.process.size=2048m \ -D taskmanager.memory.process.size=4096m \ -D taskmanager.numberOfTaskSlots=2 \ -c org.example.MyMainClass \ ./path/to/your-app.jar # 带附加配置的提交 ./bin/flink run-application -t yarn-application \ -D state.backend=rocksdb \ -D state.checkpoints.dir=hdfs:///checkpoints \ ./your-app.jar # 从保存点恢复 ./bin/flink run-application -t yarn-application \ -s hdfs://savepoints/savepoint-123456 \ ./your-app.jar
停止任务可以用flink或者yarn的命令停止:
先获取所有任务信息:
# 列出所有运行中的作业(显示JobID和作业名称)
./bin/flink list
YARN ApplicationID 可以从yarn的UI页面上获取:
快速终止任务(测试环境、不保存状态):
./bin/flink cancel <JobID>
优雅停止(保存状态、适用生产环境):
./bin/flink stop --savepointPath hdfs:///savepoints <JobID>
flink集群卡死,资源不足直接释放,粗暴方式:
yarn application -kill <YARN_Application_ID>

浙公网安备 33010602011771号