03 2019 档案

Flink架构分析之资源分配
摘要:Task Slot     Flink中每个真正执行任务的TaskManager都是一个JVM进程,其在多线程环境中执行一个或者多个子任务。为了控制一个JVM同时能运行的任务数量,flink引入了 的概念。每一个 代表了TaskManager资源的一个子集,比 阅读全文

posted @ 2019-03-31 22:24 andyhe 阅读(5156) 评论(0) 推荐(0)

Flink架构分析之HA
摘要:抽象 LeaderElectionService 这个接口用于从一组竞选者中选出一个leader,其 方法需要传递一个 竞选者作为参数,如果有多个竞选者,则每一个竞选者都需要拥有自己的竞选服务类。 LeaderContender 需要竞选leader的候选者们需要实现本接口,即flink中所有需要进 阅读全文

posted @ 2019-03-25 15:02 andyhe 阅读(1124) 评论(0) 推荐(0)

Flink架构分析之Standalone模式启动流程
摘要:概述 "FLIP6" 对Flink架构进行了改进,引入了 组件集成了所有任务共享的一些组件: ,`LibraryCacheManager Dispatcher Dispatcher JobGraphs`和提交job的相关jar包存储到持久化仓库中,保证failover后能恢复已经运行的任务。 本文基 阅读全文

posted @ 2019-03-22 17:42 andyhe 阅读(1490) 评论(0) 推荐(0)

Flink架构分析之RPC详解
摘要:主要抽象 Flink RPC 框架主要抽象了 ,`RpcEndpoint RpcGateway RpcServer akka netty` RpcService 我理解为RPC框架的引擎,可以用来启动、停止、连接一个 ,以及执行某些异步任务或者周期性调度任务。 主要方法: :连接到一个 ,返回一个 阅读全文

posted @ 2019-03-22 17:23 andyhe 阅读(1122) 评论(0) 推荐(0)

导航