|NO.Z.00010|——————————|BigDataEnd|——|Hadoop&Flink.V01|——|Flink.v01|体系结构|重要角色|

一、Flink的重要角色
### --- Flink的重要角色

~~~     # Flink是非常经典的Master/Slave结构实现,JobManager是Master,TaskManager是Slave。
~~~     # JobManager处理器(Master)
~~~     协调分布式执行,它们用来调度task,协调检查点(CheckPoint),协调失败时恢复等
~~~     Flink运行时至少存在一个master处理器,如果配置高可用模式则会存在多个master处理器,
~~~     它们其中有一个是leader,而其他的都是standby。
~~~     # JobManager接收的应用包括jar和JobGraphTaskManager处理器(Slave):也称之为Worker

~~~     主要职责是从JobManager处接收任务, 并部署和启动任务, 接收上游的数据并处理
~~~     Task Manager 是在 JVM 中的一个或多个线程中执行任务的工作节点
~~~     TaskManager在启动的时候会向ResourceManager注册自己的资源信息(Slot的数量等)
~~~     # ResourceManager

~~~     针对不同的环境和资源提供者,如(YARN,Me搜索,Kubernetes或独立部署),
~~~     Flink提供了不同的ResourceManager
~~~     作用:负责管理Flink的处理资源单元---Slot
~~~     # Dispatcher:

~~~     作用:提供一个REST接口来让我们提交需要执行的应用。
~~~     一旦一个应用提交执行,Dispatcher会启动一个JobManager,并将应用转交给他。
~~~     Dispatcher还会启动一个webUI来提供有关作业执行信息
~~~     注意:某些应用的提交执行的方式,有可能用不到Dispatcher
二、各个组件之间的关系:

 
 
 
 
 
 
 
 
 

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart
                                                                                                                                                   ——W.S.Landor

 

 

posted on 2022-04-13 14:55  yanqi_vip  阅读(31)  评论(0)    收藏  举报

导航