Flink

Spark，缺点是批计算，Spark-Streaming的流本质上还是批（微批）计算。

Flink真正流计算，实时分布式处理框架，支持高吞吐，低延迟，高性能。

一、Flink

Apache Flink是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。

1，有界流和无界流

任何类型的数据都可以形成一种事件流。信用卡交易，传感器测量，机器日志，网站或移动应用程序上的用户交互记录，所有这些数据都形成一种流。

无界流：有定义流的开始，但没有定义流的结束。它们会无休止的产生数据。无界流的数据必须持续处理，即数据被摄取后需要立即处理。流计算。

有界流：有定义流的开始，也有定义流的结束。有界流所有数据可以被排序，所以并不需要有序摄取。批计算。

2,有状态

Spark Stream有些算子是有状态的，默认是没有状态的。

Flink默认就是有状态的。

状态保存在本机，可以用CheckPoint机制，每隔一段时间把内存中的状态CheckPoint。

3，为什么用Flink?

Flink可以做实时智能推荐，复杂事件处理（CEP），实时欺诈检测，实时数仓与ETL类型，流数据分析类型，实时报表分析（双十一）等实时业务场景。

4， Flink的特点和优势

1）同时支持高吞吐，低延迟，高性能

低延迟，状态保存在内存中，很快计算完。

2）支持事件时间（Event Time）概念

Process TIme,大多数框架窗口计算采用的都是系统时间（process time），也是事件传输到计算框架处理时，系统主机的当前时间。

Event Time，Flink支持基于事件时间（Event Time）语义进行窗口计算，也就是使用事件产生的时间，这种基于事件驱动的机制使得事件即使乱序到达，流系统也能够计算出精确的结果，保持了事件原本产生时的时序性，尽可能避免网络传输或硬件系统的影响。

3）支持有状态计算

4）支持高度灵活的窗口（Window）操作。

Flink中除了滚动窗口，滑动窗口还有基于数量的窗口Count，基于会话的窗口Session。

5）基于轻量级的分布式快照（CheckPoint）来实现容错

6）基于JVM实现独立的内存管理

7）Save Point保存点

CheckPoint是自动的，做容错。Save Point是手动的，处理程序升级。

5，Flink与其他框架对比

二、Flink 入门

1，Flink流计算的WorkCount

2，Flink批计算的WorkCount

三、Flink的架构

1，集群基本架构

1,概述

集群模式：

Standalone
Flink on Yarn
Mesos
Docker
Kubernetes
AWS
Google Compute Engine

Flink整个系统主要由两个组件组成，分别为JobManager和TaskManager。Flink架构也遵循Master-Slave架构设计原则，JobManager为Master节点，TaskManager为Worker(Slave）节点。所有组件（节点）之间的通信都是借助于Akka Framework，包括任务的状态以及Checkpoint触发等信息。

Flink客户端提交给JobManager。

Job Manager把一个程序的多个Task分发到Task Manager上。

每一个TaskManager上有多个Task Slot，Slot上就可以运行Task。

一个TaskManager上有几个Task Slot，是由集群配置的时候自己配置的。

一个Job Manager和多个Task Manager直接通过Actor System通信。

2，Client客户端

客户端负责将任务提交到集群，与JobManager构建Akka连接，然后将任务提交到JobManager，通过和JobManager之间进行交互获取任务执行状态。

客户端将任务提交到集群有3种方式，CLI方式，Flink WebUI方式，通过程序指定JobManager的RPC网络端口构建ExecutionEnvironment提交Flink应用。

WebUI:上传一个jar包，指定一个你要运行的类，点击Submit提交。

Flink客户端程序，通过Program Code生成DataFlow，DataFlow通过优化器Optimizer/GraphBullder生成一个DataFlowGraph数据流图，数据流程图通过Actor System通信系统提交到Job Manager。客户端提交完后接收Job Manager的反馈，执行的状态，执行进度。