Flink中逻辑计划和物理计划的概念划分和对应关系

逻辑计划

  1. logicGraph或者jobGraph,其端点为operator,edge为数据流向。
  2. operator往往代表一个函数。
  3. 同一个分区内的具有连续上下游关系的函数组成operator-chain,同一个operator-chain内的数据,在流动过程中不会出现序列化和分区间的网络通信。

物理计划

  1. physicalGraph是逻辑执行计划为了并行执行而翻译的结果,其端点为task,edge为数据流向及数据分区。
  2. 一个task描述了一个operator或者operator-chain在分布式环境下对应的执行实例,是最小的调度单元。
  3. 一个sub-task是处理分区数据的task在分布式环境下的一个副本。
  4. 一个slot在某一时刻只能执行一个sub-task(业务上一个slot在某一时刻只能处理一条消息)。
posted @ 2020-02-20 19:06  JaxYoun  阅读(658)  评论(0编辑  收藏  举报