06 2021 档案

【Flink提交流程源码】七、jobMaster启动
摘要：一、jobMaster启动内容 private void startJobMasterServices() throws Exception {//心跳 taskManage与resourceManage的交互 startHeartbeatServices(); // start the slot 阅读全文
posted @ 2021-06-21 16:42 持枢 阅读(408) 评论(0) 推荐(0)
【Flink提交流程源码】六、启动resouceManage
摘要：DefaultDispatcherResourceManagerComponentFactory //resocueManage启动 resourceManager.start(); resourceManagerRetrievalService.start(resourceManagerGatew 阅读全文
posted @ 2021-06-21 15:59 持枢 阅读(184) 评论(0) 推荐(0)
【Flink提交流程源码】五、Dispatcher 在onStart方法去启动JobMaster
摘要：一、Dispatcher 的onStart 启动服务 //把自己启动并注册startDispatcherServices();//启动jobMaster，这一步重要 startRecoveredJobs();this.dispatcherBootstrap = this.dispatcherBoot 阅读全文
posted @ 2021-06-18 20:32 持枢 阅读(506) 评论(0) 推荐(0)
【Flink提交流程源码】四、YarnJobClusterEntrypoint创建ResourceManage、dispatcher
摘要：一、YarnJobClusterEntrypoint 进入YarnJobClusterEntrypoint类 main方法 SignalHandler.register(LOG); JvmShutdownSafeguard.installAsShutdownHook(LOG); Map<String 阅读全文
posted @ 2021-06-18 18:39 持枢 阅读(496) 评论(0) 推荐(0)
【idea】取出黄色波浪线
摘要： 阅读全文
posted @ 2021-06-18 17:24 持枢 阅读(57) 评论(0) 推荐(0)
【Flink提交流程源码】三、StreamExecutionEnvironment启动appMaster，yarnCli，并初始化yarn-cli
摘要：一、env.execute() 核心逻辑 executeAsync checkNotNull(streamGraph, "StreamGraph cannot be null."); checkNotNull(configuration.get(DeploymentOptions.TARGET), 阅读全文
posted @ 2021-06-18 17:05 持枢 阅读(373) 评论(0) 推荐(0)
【Flink提交流程源码】二、客户端是否以yarn模式提交
摘要：一、在验证是否活跃提交模式里面 public boolean isActive(CommandLine commandLine) { //命令行是否有 yarn-cluster final String jobManagerOption = commandLine.getOptionValue(ad 阅读全文
posted @ 2021-06-18 12:56 持枢 阅读(114) 评论(0) 推荐(0)
【Flink提交流程源码】一、客户端任务提交源码CliFrontend找路径、配置、执行
摘要：一、Flink内核解析，针对版本1.12.0，四大块：任务的提交流程，组件通信，任务的调度，内存管理。 任务的提交流程：以命令行的提交命令开始追踪类，20多个步骤，几十个类，数千行代码量，最后画一个PPT动图 组件通信：actor的模型，akka基本原理和实现,5大关键角色：代理转发，处理细节，PP 阅读全文
posted @ 2021-06-18 12:35 持枢 阅读(342) 评论(0) 推荐(0)
【日志】
摘要：我们前面采集的日志数据已经保存到Kafka中，作为日志数据的ODS层，从Kafka的ODS层读取的日志数据分为3类, 页面日志、启动日志和曝光日志。这三类数据虽然都是用户行为数据，但是有着完全不一样的数据结构，所以要拆分处理。将拆分后的不同的日志写回Kafka不同主题中，作为日志DWD层。 页面日志 阅读全文
posted @ 2021-06-05 22:38 持枢 阅读(98) 评论(0) 推荐(0)