摘要: 一、 二、 三、 阅读全文
posted @ 2024-03-03 14:28 有一个娃 阅读(9) 评论(0) 推荐(0) 编辑
摘要: 一、 二、 三、 阅读全文
posted @ 2024-03-03 14:27 有一个娃 阅读(8) 评论(0) 推荐(0) 编辑
摘要: 一、 二、 三、 阅读全文
posted @ 2024-03-03 14:27 有一个娃 阅读(5) 评论(0) 推荐(0) 编辑
摘要: 以上是初始化操作,下面是触发调度操作 -- !!! OperatorSnapshotFutures 三、Task上报checkpoint信息 四、JobManager通知Task进行commit 没有截图所有的 阅读全文
posted @ 2024-03-03 14:27 有一个娃 阅读(4) 评论(0) 推荐(0) 编辑
摘要: 在前两篇随笔中解析了Flink Task数据读写过程,其中Task写数据逻辑最终将数据Buffer存放到ResultSubpartition的buffers队列中,依据上下游Task节点分布关系,Task读数据逻辑分别从LocalInputChannel或RemoteInputChannel读取上游 阅读全文
posted @ 2024-03-03 14:26 有一个娃 阅读(18) 评论(0) 推荐(0) 编辑
摘要: 上一篇随笔解析到Flink Task写数据过程,数据最终被写入ResultPartition结果分区模型中。每个ResultPartition实例都包含一到多个ResultSubPartition结果子分区,经过RecordWriter分区器分配后数据以NetworkBuffer形式存放在特定结果子 阅读全文
posted @ 2024-03-03 14:23 有一个娃 阅读(17) 评论(0) 推荐(0) 编辑
摘要: 上篇随笔解析完Task启动过程,本篇开始解析Task写数据过程。Task写数据过程中涉及到RecordWriterOutput、RecordWriter、ChannelSelector、ResultPartition、ResultSubpartition、LocalBufferPool等组件,这些组 阅读全文
posted @ 2024-03-03 14:22 有一个娃 阅读(23) 评论(0) 推荐(0) 编辑
摘要: 在随笔十五最后只是粗略解析到Task初始化过程中的重要信息,但并未详细查看Task构造函数内部构成过程,本篇随笔继续解析Task构造函数内部的构造事宜,继而解析StreamTask启动过程。 一、核心对象说明 1、ResultPartitionWriter:ResultPartitionWriter 阅读全文
posted @ 2024-03-03 14:21 有一个娃 阅读(36) 评论(0) 推荐(0) 编辑