flink入门（二）——部署与运行架构

一、单机版安装与测试

　　参考：http://www.oushaobin.cn/archives/apache-flink-guide-1.html

　　1）进入IP:8081管理界面（虚拟机需要防火墙关闭），进入submit new job页面

　　　　

 

 　　2）将scala写好的word-count程序打包成包含jar的，在add new中进行添加

　　　　

 

 

 　　3）点击文件前的框，进行参数配置

　　　　

 

 　　4) submit提交后会有执行结果展示

 　　5)造测试数据：

　　　　通过虚拟机的nc命令（可以离线安装nc）：

　　　　

 

 

 　　6）查看结果

　　　　

 　　7）在job界面右上角可以canle停止任务

　　8）使用命令行如何提交？

　　　　通过flink命令：bin/flink run  -c com.xx.xx xxx.jar --host locahost --port 7777

　　　　停止任务通过flink cancel 任务ID即可取消任务

二、运行架构分析

　　1.运行时组件

　　　　

 

 

 　　　　最核心的组件是作业管理器和任务管理器

　　　　1）作业管理器

　　　　　　每个作业管理器是一个应用程序的主进程，也就是一个应用程序一个JobManager，是一个主控，主协调的组件

　　　　　　

 

　　　　　　2）任务管理器

　　　　　　　　实际干活的人

　　　　　　　　

 　　　　　　　　剩余的资源管理器主要是管理控制插槽（slots）,分发器则是为应用提交提供了一个REST接口

　　　　2.一个任务的具体提交流程

　　　　

 

　　　　　　在使用yarn进行资源管理的情况下，任务流程稍有不同

 　　　　3.TaskManager和Slots

　　　　　　

 　　　　　　可以共享Slots来优化资源：

　　　　　　

 　　　　4.程序数据流图

　　　　　　核心就是Source,Trans,Sink

　　　　　　

 

 

　　　　　　

 　　　　　　运行时的核心是运行图：