2022年7月24日
Flink-窗口(处理时间，count统计窗口，session回话窗口)- 重点
摘要： Flink-窗口(处理时间，count统计窗口，session回话窗口) * 时间窗口 * SlidingEventTimeWindows： 滑动的事件时间窗口 * SlidingProcessingTimeWindows： 滑动的处理时间窗口 * TumblingEventTimeWindows： 阅读全文
posted @ 2022-07-24 23:10 a-tao必须奥利给 阅读(343) 评论(0) 推荐(0)
Flink -time(处理时间，事件时间，水位线)
摘要： Flink -time(处理时间，事件时间，水位线) 1. flink基石 2. Time 3. 统计时间 package com.wt.flink.core import org.apache.flink.streaming.api.scala._ import org.apache.flink. 阅读全文
posted @ 2022-07-24 22:53 a-tao必须奥利给 阅读(260) 评论(0) 推荐(0)
Flink-任务需要申请的资源和并行度有关，和task的数量没有关系
摘要： Flink-任务需要申请的资源和并行度有关，和task的数量没有关系 1. 非Flink的需要5个task,如下： 但是在Flink中采用共享模式 在代码中设置并行度为==2== package com.wt.flink.core import org.apache.flink.streaming. 阅读全文
posted @ 2022-07-24 19:56 a-tao必须奥利给 阅读(105) 评论(0) 推荐(0)
Flink on yarn (三种模式)-调节集群的核数和内存方法
摘要： FLINK on YARN 将flink的任务提交到yarn上运行 1、可以先关闭flink的独立集群 stop-cluster.sh 2、配置HADOOP_CLASSPATH vim /etc/profile # 增加 export HADOOP_CLASSPATH=`hadoop classpa 阅读全文
posted @ 2022-07-24 16:53 a-tao必须奥利给 阅读(1081) 评论(0) 推荐(0)
FLink集群搭建并提交一个简单的任务
摘要： FLink集群搭建 独立集群 独立集群不需要依赖任何框架，独立运行 1、上传解压配置环境变量 tar -xvf flink-1.15.0-bin-scala_2.12.tgz vim /etc/profile 2、修改配置文件 vim conf/flink-conf.yaml jobmanager. 阅读全文
posted @ 2022-07-24 15:55 a-tao必须奥利给 阅读(615) 评论(0) 推荐(0)