Flink（三）集群安装（一）Standalone模式

集群安装

Standalone模式

安装

• 解压缩

[user@hadoop102 software]$ tar -zxvf flink-1.10.1-bin-scala_2.12.tgz -C /opt/module/

• 修改flink/conf/flink-conf.yaml文件

jobmanager.rpc.address: hadoop102

• 修改/conf/slaves文件

hadoop103
hadoop104

• 分发给其他两台虚拟机

[user@hadoop102 module]$ xsync flink-1.10.1

• 启动，首先要确保所有Spark集群和hadoop集群已关闭

[user@hadoop102 bin]$ ./start-cluster.sh 
Starting cluster.
Starting standalonesession daemon on host hadoop102.
Starting taskexecutor daemon on host hadoop103.
Starting taskexecutor daemon on host hadoop104.
[user@hadoop102 bin]$ cd 
[user@hadoop102 ~]$ jpsall
=============== hadoop102 ===============
38726 Jps
38649 StandaloneSessionClusterEntrypoint
=============== hadoop103 ===============
6755 Worker
26251 Jps
26174 TaskManagerRunner
=============== hadoop104 ===============
10583 Worker
50444 Jps
50366 TaskManagerRunner

• 访问Web UI对flink集群和任务进行监控管理

http://hadoop102:8081

提交任务

• 首先在/opt/module/flink-1.10.1目录下创建一个数据文件testword.txt

hello flink
hello spark
hello hadoop
hello java

• 把testword.txt分发到TaskManagerRunner服务器上。如果从文件中读取数据，由于是从本地磁盘读取，实际任务会被分发到TaskManagerRunner的服务器上，所以要把数据文件分发

[user@hadoop102 flink-1.10.1]$ xsync testword.txt 
==================== hadoop102 ====================
sending incremental file list

sent 62 bytes  received 12 bytes  148.00 bytes/sec
total size is 48  speedup is 0.65
==================== hadoop103 ====================
sending incremental file list
testword.txt

sent 157 bytes  received 35 bytes  384.00 bytes/sec
total size is 48  speedup is 0.25
==================== hadoop104 ====================
sending incremental file list
testword.txt

sent 157 bytes  received 35 bytes  384.00 bytes/sec
total size is 48  speedup is 0.25

执行程序

• 首先在Xshel打开另一个hadoop102窗口，输入命令，在本机的7777端口上监听传入的连接，一旦有连接建立，它将接受该连接并允许数据传输

nc -lk 7777

• 如果端口已经被占用，可以输入以下命令查看哪个进程正在使用7777端口

sudo lsof -i :7777

• 杀掉占用端口的进程

sudo kill -9 PID

• 连接端口后，执行jar包

[user@hadoop102 flink-1.10.1]$ ./bin/flink run -c com.hongpin.bigdata.StreamWordCount -p 2 Flink-1.0-SNAPSHOT.jar  --host 192.168.10.102 -port 7777

• 此时Web UI界面可以看到有程序在执行

• 如果输出到控制台，应该在taskmanager下查看；如果计算结果输出到文件，同样会保存到taskmanage的机器下，不会在jobmanage下

• 在输入监听端口命令的窗口输入数据

[user@hadoop102 ~]$ nc -lk 7777
hello seventeen
hello world
hello flink

• 查看结果

• Ctrl+Z退出输入数据，杀掉占用端口的进程，Web UI显示作业完成