Flink----集群搭建

1. Flink集群安装

1.1集群配置

node-1 :master

node-2: slave1

node-3: slave2

flink版本 ： f'link-1.5.0

1.2下载

https://archive.apache.org/dist/flink/flink-1.5.0/

1.3解压

tar –zxvf flink-1.5.0-bin-hadoop24-scala_2.11.tgz

1.4修改配置文件

vim filik-conf.yaml

1.5启动集群

方式一：

♦添加一个JobManager

bin/jobmanager.sh ((start|start-foreground) cluster)|stop|stop-all

♦添加一个TaskManager

bin/taskmanager.sh start|start-foreground|stop|stop-all

 

方式二：

bin/start-cluster.sh

bin/stop-cluster.sh

 

1.6 运行测试任务

bin/flink run /export/servers/flink-1.5.0/examples/batch/WordCount.jar --input /export/servers/zookeeper.out --output /export/servers/flink_data

2.HA配置

对于一个企业级的应用，稳定性是首要要考虑的问题，然后才是性能，因此 HA 机制是必不可少的；

和 Hadoop 一代一样，从架构中我们可以很明显的发现 JobManager 有明显的单点问题JobManager 肩负着任务调度以及资源分配，一旦 JobManager 出现意外，其后果可想而知。Flink 对 JobManager HA 的处理方式，原理上基本和 Hadoop 一样；

对于 Standalone 来说，Flink 必须依赖于 Zookeeper 来实现 JobManager 的 HA（Zookeeper 已经成为了大部分开源框架 HA 必不可少的模块）。在 Zookeeper 的帮助下，一个 Standalone 的 Flink 集群会同时有多个活着的 JobManager，其中只有一个处于工作状态，其他处于 Standby 状态。当工作中的 JobManager 失去连接后（如宕机或 Crash），Zookeeper 会从 Standby 中选举新的 JobManager 来接管 Flink 集群。

(当然，对于flink的集群模式来说，除了standalone外，还有yarn cluster模式，这种模式的在hadoop节点的HA处搭建)

2.1修改conf/flink-conf.yaml

在flink-conf.yaml配置文件中添加

2.2  修改conf/zoo.cfg

2.3修改conf/master   conf/slave

master:

hadoop01:8081

hadoop02:8082

slave:

hadoop01

hadoop02

hadoop03

2.4启动Flink HA模式

1.启动zookeeper

2.启动Hdfs

3.启动flink集群