Rancher搭建flink集群

Service的IP

        service ip不能ping通 但可以通过service ip访问后面的服务

        

        

        You can run a JobManager (master)

        You can also run a TaskManager (worker)

        taskmanager默认会向自身的6123端口发起注册    taskmanager在30000ms内无法在jobmanager处注册就会抛出异常.

 Rancher给pod添加自定义label

           pod添加标签和在工作负载添加标签不一样   在工作负载上添加标签使当前负载下所有创建的pod都会带有此标签  在pod下添加标签只会在当前pod上生效

        

           

          

  给工作负载添加自定义DNS记录

         

        

        

非HA的flink集群搭建

       一个jobmanager

        

      多个taskmanager

           jobmanager和taskmanager的配置都是一样的  他们两者的区别在于启动的指令不一样

           jobmanager的启动命令       "$FLINK_BIN_DIR"/jobmanager.sh start-foreground

           taskmanager的启动命令      "/bin/bash","/flink/flink-1.11.1/bin/taskmanager.sh","start-foreground"

     

 

      

 

       

Demonset启动异常

           主机模式启动flink会出现一些异常

          

           这是由于主机防火墙开启导致task和job服务通信异常,所以必须先关闭主机防火墙

         

          关闭防火墙后,再次启动flink 容器

        

         

       flink网络模式

        

        flink   jobmanager.rpc.address启动提示异常

           

           

自动上传jar包到flink-web

  1.找到上传接口地址

        

  2.使用命令上传

      

 3.解决方案

    1.先让flink主容器处于运行状态 然后在外面(主机上)使用shell脚本调用curl命令把jar上传到flink容器中

    2.使用flink的sidecar容器来处理向flink主容器处理一些辅助功能

      

          

           

               

 flink暴漏主机端口

         

          

#! /bin/bash

echo "开始上传flink的jar包"
count=0

while [ $count -le 0 ]
do
  count=`ss -antp | grep 8081 | wc -l`
  echo "flink进程还在启动中......"
  sleep 3
done

echo "flink进程已经成功启动......."
curl -F 'file=@RelaAnalysisEngine.jar' http://127.0.0.1:8081/jars/upload
echo "上传jar包结束........."
tail -f /dev/null