2021年6月18日
【Flink提交流程源码】五、Dispatcher 在onStart方法去启动JobMaster
摘要： 一、Dispatcher 的onStart 启动服务 //把自己启动并注册startDispatcherServices();//启动jobMaster，这一步重要 startRecoveredJobs();this.dispatcherBootstrap = this.dispatcherBoot 阅读全文
posted @ 2021-06-18 20:32 持枢 阅读(489) 评论(0) 推荐(0)
【Flink提交流程源码】四、YarnJobClusterEntrypoint创建ResourceManage、dispatcher
摘要： 一、YarnJobClusterEntrypoint 进入YarnJobClusterEntrypoint类 main方法 SignalHandler.register(LOG); JvmShutdownSafeguard.installAsShutdownHook(LOG); Map<String 阅读全文
posted @ 2021-06-18 18:39 持枢 阅读(462) 评论(0) 推荐(0)
【idea】取出黄色波浪线
摘要： 阅读全文
posted @ 2021-06-18 17:24 持枢 阅读(53) 评论(0) 推荐(0)
【Flink提交流程源码】三、StreamExecutionEnvironment启动appMaster，yarnCli，并初始化yarn-cli
摘要： 一、env.execute() 核心逻辑 executeAsync checkNotNull(streamGraph, "StreamGraph cannot be null."); checkNotNull(configuration.get(DeploymentOptions.TARGET), 阅读全文
posted @ 2021-06-18 17:05 持枢 阅读(348) 评论(0) 推荐(0)
【Flink提交流程源码】二、客户端是否以yarn模式提交
摘要： 一、在验证是否活跃提交模式里面 public boolean isActive(CommandLine commandLine) { //命令行是否有 yarn-cluster final String jobManagerOption = commandLine.getOptionValue(ad 阅读全文
posted @ 2021-06-18 12:56 持枢 阅读(97) 评论(0) 推荐(0)
【Flink提交流程源码】一、客户端任务提交源码CliFrontend找路径、配置、执行
摘要： 一、Flink内核解析，针对版本1.12.0，四大块：任务的提交流程，组件通信，任务的调度，内存管理。 任务的提交流程：以命令行的提交命令开始追踪类，20多个步骤，几十个类，数千行代码量，最后画一个PPT动图 组件通信：actor的模型，akka基本原理和实现,5大关键角色：代理转发，处理细节，PP 阅读全文
posted @ 2021-06-18 12:35 持枢 阅读(320) 评论(0) 推荐(0)