随笔分类 -  Flink

Flink源码学习（6）StreamTask的初始化和执行
摘要：Stream初始化 taskExecutor执行一个Task 当taskExecutor接受提交Task执行的请求，会调用: CompletableFuture<Acknowledge> submitTask( TaskDeploymentDescriptor tdd, JobMasterId jo 阅读全文
posted @ 2024-05-03 12:36 Heinrich♣ 阅读(111) 评论(0) 推荐(0)
Flink源码学习（5）Flink编程的执行流程
摘要：Flink上层的API很简单，编程套路较为固定 执行环境 ExecutionEnvironment 数据抽象 DataSet/DataStream 逻辑算子 Source Tramsform Sink 我们以Flink中提供的AdaptiveSchedulerITCase为例子 @Test publ 阅读全文
posted @ 2024-04-20 23:57 Heinrich♣ 阅读(365) 评论(0) 推荐(0)
Flink源码学习（4） TaskManager从节点启动分析
摘要：taskManager是flink的worker节点，负责slot的资源管理和task执行 一个taskManager就是一台服务器的抽象 TaskManager基本资源单位是slot，一个作业的task会部署在一个TM的slot上运行，TM会负责维护本地的slot资源列表，并与Master和Job 阅读全文
posted @ 2024-04-11 23:38 Heinrich♣ 阅读(534) 评论(0) 推荐(0)
Flink源码学习（3） 入口函数阅读
摘要：注意：上一节学习到了Flink启动流程，包括initialize初始化组件。然后创建工厂对象，生产三个实例，也就是webMonitor，ResourceManager和Dispatcher三个对象。 具体过程如下 initializeServices commonRpcService负责处理 Fli 阅读全文
posted @ 2024-04-03 00:16 Heinrich♣ 阅读(72) 评论(0) 推荐(0)
Flink源码学习（2） 启动入口
摘要：RPCService RPC主要在flink-rpc模块下，涉及到 RpcGateway 路由，Rpc的老祖宗，所有Rpc组件都是GateWay的子类 RpcServer RpcService和RpcEndpoint之间的粘合层 RpcEndpoint 业务逻辑的载体，对应actor RpcServ 阅读全文
posted @ 2024-03-31 19:14 Heinrich♣ 阅读(161) 评论(0) 推荐(0)
Flink源码学习（1）环境配置与下载代码
摘要：Java和maven 版本注意！！！ Java 1.8 Maven 3.8.6 Java和maven下载，设置环境变量 Maven – Download Apache Maven 如果安装的过高就会遇到下面这样的情况 安装Java包 高级系统设置，在系统变量里面新建MAVEN_HOME然后设置路径， 阅读全文
posted @ 2024-03-30 01:46 Heinrich♣ 阅读(213) 评论(0) 推荐(0)