随笔分类 -  flink

摘要：Task Slot     Flink中每个真正执行任务的TaskManager都是一个JVM进程，其在多线程环境中执行一个或者多个子任务。为了控制一个JVM同时能运行的任务数量，flink引入了 的概念。每一个 代表了TaskManager资源的一个子集，比 阅读全文

摘要：抽象 LeaderElectionService 这个接口用于从一组竞选者中选出一个leader，其 方法需要传递一个 竞选者作为参数，如果有多个竞选者，则每一个竞选者都需要拥有自己的竞选服务类。 LeaderContender 需要竞选leader的候选者们需要实现本接口，即flink中所有需要进 阅读全文

摘要：概述 "FLIP6" 对Flink架构进行了改进，引入了 组件集成了所有任务共享的一些组件： ,`LibraryCacheManager Dispatcher Dispatcher JobGraphs`和提交job的相关jar包存储到持久化仓库中,保证failover后能恢复已经运行的任务。 本文基 阅读全文

摘要：主要抽象 Flink RPC 框架主要抽象了 ,`RpcEndpoint RpcGateway RpcServer akka netty` RpcService 我理解为RPC框架的引擎，可以用来启动、停止、连接一个 ，以及执行某些异步任务或者周期性调度任务。 主要方法: :连接到一个 ,返回一个 阅读全文

摘要：Flink中支持的BLOB文件类型 jar包 被user classloader使用的jar包 高负荷RPC消息 1. RPC消息长度超出了akka.framesize的大小 2. 在HA摸式中，利用底层分布式文件系统分发单个高负荷RPC消息，比如: TaskDeploymentDescriptor 阅读全文

摘要：standalone 模式的高可用 部署 flink 使用zookeeper协调多个运行的jobmanager,所以要启用flink HA 你需要把高可用模式设置成 ，配置zookeeper相关参数，并且在masters配置文件中配置所有的jobmanager主机地址和web UI 端口 在一下例子 阅读全文

摘要：宏观流程如下图: client端 生成StreamGraph 上的一系列 调用会在 中添加相应的 对象，然后调用 方法遍历所有的 对象生成最终的 。 如上代码段会生成如下 : StreamGraph JobGraph 从 的所有source 开始遍历处理，如果是可链接的( 为`true Stream 阅读全文