Flink分布式运行环境

1、基本架构

• Flink是经典的主从结构，Master-Slave。
• Flink集群启动时，会启动一个JobManager进程，至少一个TaskManager进程。
• 三个角色重要：JobManager、TaskManager、Client。
• JobManager
  • Flink系统的协调者，负责接收Flink Job，调度组成Job的多个Task的执行。
  • 收集Jobd的状态信息，并管理Flink集群中的从节点TaskManager。
• TaskManager
  • 实际负责执行计算的Worker，在TaskManager中，会执行Flink Job的一组Task
  • TaskManager负责管理当前节点上的资源信息（内存、磁盘、网络），在启动的时候将资源的状态向JobManager汇报。
• Client
  • 用户提交一个Flink程序时，Client会对用户提交的Flink程序进行预处理，并且提交到Flink集群。
  • Client将提交的程序，处理成Flink能够执行的Job，并且是以JobGraph的形式提交的。