摘要: 一、 二、 三、 阅读全文
posted @ 2024-03-03 14:28 有一个娃 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 一、 二、 三、 阅读全文
posted @ 2024-03-03 14:27 有一个娃 阅读(6) 评论(0) 推荐(0) 编辑
摘要: 一、 二、 三、 阅读全文
posted @ 2024-03-03 14:27 有一个娃 阅读(5) 评论(0) 推荐(0) 编辑
摘要: 以上是初始化操作,下面是触发调度操作 阅读全文
posted @ 2024-03-03 14:27 有一个娃 阅读(3) 评论(0) 推荐(0) 编辑
摘要: 在前两篇随笔中解析了Flink Task数据读写过程,其中Task写数据逻辑最终将数据Buffer存放到ResultSubpartition的buffers队列中,依据上下游Task节点分布关系,Task读数据逻辑分别从LocalInputChannel或RemoteInputChannel读取上游 阅读全文
posted @ 2024-03-03 14:26 有一个娃 阅读(16) 评论(0) 推荐(0) 编辑
摘要: 上一篇随笔解析到Flink Task写数据过程,数据最终被写入ResultPartition结果分区模型中。每个ResultPartition实例都包含一到多个ResultSubPartition结果子分区,经过RecordWriter分区器分配后数据以NetworkBuffer形式存放在特定结果子 阅读全文
posted @ 2024-03-03 14:23 有一个娃 阅读(16) 评论(0) 推荐(0) 编辑
摘要: 上篇随笔解析完Task启动过程,本篇开始解析Task写数据过程。Task写数据过程中涉及到RecordWriterOutput、RecordWriter、ChannelSelector、ResultPartition、ResultSubpartition、LocalBufferPool等组件,这些组 阅读全文
posted @ 2024-03-03 14:22 有一个娃 阅读(20) 评论(0) 推荐(0) 编辑
摘要: 在随笔十五最后只是粗略解析到Task初始化过程中的重要信息,但并未详细查看Task构造函数内部构成过程,本篇随笔继续解析Task构造函数内部的构造事宜,继而解析StreamTask启动过程。 一、核心对象说明 1、ResultPartitionWriter:ResultPartitionWriter 阅读全文
posted @ 2024-03-03 14:21 有一个娃 阅读(25) 评论(0) 推荐(0) 编辑
摘要: 一、Task部署过程解析 在上一篇随笔中着重解析了allocateSlotsFor(...)方法触发TaskManager启动的过程,本篇随笔继续解析waitForAllSlotsAndDeploy(...)方法触发Task部署的过程。 1、在waitForAllSlotsAndDeploy方法中会 阅读全文
posted @ 2024-02-26 21:14 有一个娃 阅读(22) 评论(0) 推荐(0) 编辑
摘要: 一、ExecutionGraph调度解析 上一篇随笔最后一部分介绍JobMaster启动过程由两大步骤组成,一是创建2个心跳服务,JobMaster -> TaskManager的心跳服务、ResourceManager -> JobMaster。二是执行ExecutionGraph调度。本节详细解 阅读全文
posted @ 2024-02-03 20:14 有一个娃 阅读(20) 评论(0) 推荐(0) 编辑