摘要：
kafka初识 1. kafka是一个高吞吐的分布式消息系统 2. 消息队列的应用场景 3. kafka架构 4. kafka的消息存储和生产消费模型 5. Topic kafka里面的消息是有topic来组织的，简单的我们可以想象为一个队列，一个队列就是一个topic，然后它把每个topic又分为 阅读全文
posted @ 2022-07-25 19:33
a-tao必须奥利给
阅读(58)
评论(0)
推荐(0)
摘要：
Flink-窗口(处理时间，count统计窗口，session回话窗口) * 时间窗口 * SlidingEventTimeWindows： 滑动的事件时间窗口 * SlidingProcessingTimeWindows： 滑动的处理时间窗口 * TumblingEventTimeWindows： 阅读全文
posted @ 2022-07-24 23:10
a-tao必须奥利给
阅读(343)
评论(0)
推荐(0)
摘要：
Flink -time(处理时间，事件时间，水位线) 1. flink基石 2. Time 3. 统计时间 package com.wt.flink.core import org.apache.flink.streaming.api.scala._ import org.apache.flink. 阅读全文
posted @ 2022-07-24 22:53
a-tao必须奥利给
阅读(260)
评论(0)
推荐(0)
摘要：
Flink-任务需要申请的资源和并行度有关，和task的数量没有关系 1. 非Flink的需要5个task,如下： 但是在Flink中采用共享模式 在代码中设置并行度为==2== package com.wt.flink.core import org.apache.flink.streaming. 阅读全文
posted @ 2022-07-24 19:56
a-tao必须奥利给
阅读(105)
评论(0)
推荐(0)
摘要：
FLINK on YARN 将flink的任务提交到yarn上运行 1、可以先关闭flink的独立集群 stop-cluster.sh 2、配置HADOOP_CLASSPATH vim /etc/profile # 增加 export HADOOP_CLASSPATH=`hadoop classpa 阅读全文
posted @ 2022-07-24 16:53
a-tao必须奥利给
阅读(1081)
评论(0)
推荐(0)
摘要：
FLink集群搭建 独立集群 独立集群不需要依赖任何框架，独立运行 1、上传解压配置环境变量 tar -xvf flink-1.15.0-bin-scala_2.12.tgz vim /etc/profile 2、修改配置文件 vim conf/flink-conf.yaml jobmanager. 阅读全文
posted @ 2022-07-24 15:55
a-tao必须奥利给
阅读(615)
评论(0)
推荐(0)
摘要：
Flink 题目 从MySql中读取数据，通过Flink处理之后在存储到MySql中 package com.wt.flink.homework import org.apache.flink.streaming.api.functions.source.SourceFunction import 阅读全文
posted @ 2022-07-23 23:28
a-tao必须奥利给
阅读(137)
评论(0)
推荐(0)
摘要：
Flink-java(api) 1. Map package com.wt.flink.tf import org.apache.flink.api.common.functions.MapFunction import org.apache.flink.streaming.api.scala._ 阅读全文
posted @ 2022-07-23 23:25
a-tao必须奥利给
阅读(425)
评论(0)
推荐(0)
摘要：
Flink APIs 1. flink apis 2. Flink版的WordCount package com.wt.flink.core import org.apache.flink.streaming.api.scala._ object Demo1WordCount { def main( 阅读全文
posted @ 2022-07-23 23:16
a-tao必须奥利给
阅读(136)
评论(0)
推荐(0)
摘要：
Filnk简介 1. flink和spark的区别 2. 流处理和批处理 3. 无界流和有界流 4. 流处理和批处理 流处理 批处理 5. 离线计算和实时计算的区别 6. 实时计算面临的挑战 1.数据处理唯一性（如何保证数据只处理一次？至少一次？最多一次？） 2.数据处理的及时性（采集的实时数据量太 阅读全文
posted @ 2022-07-23 22:40
a-tao必须奥利给
阅读(252)
评论(0)
推荐(0)
浙公网安备 33010602011771号