2022年1月5日
执行环境和source
摘要： Flink创建执行环境有四种方式，下图从上到下是 1 获取执行环境 2.创建本地带webui的环境（实验用） 3.创建本地环境 4.创建远程环境 Flink在流处理上的source和在批处理上的source基本一致。大致有五大类： 基于本地集合的source（Collection-based-sou 阅读全文
posted @ 2022-01-05 21:54 习惯了蓝 阅读(256) 评论(0) 推荐(0)
kafka丢失数据和重复消费数据
摘要： 先处理消费端的丢失数据和重复消费 这俩种情况都是 消息偏移offset的问题导致的，只是场景不同。 offset位移提交一般有俩种方式，自动位移提交和手动位移提交。用enable.auto.commit这个配置属性去控制 丢失消息一般是自动提交的问题，所以切换成手动位移提交就可以。手动位移提交分成同 阅读全文
posted @ 2022-01-05 12:52 习惯了蓝 阅读(1109) 评论(0) 推荐(0)
kafka消费方法整理
摘要： kafka消费者 1. 消费者有订阅topic有俩种方式，一种是assign，一种是subscribe 2.kafka消费模式 消息中间件一般都是拉取模式 可以看下图一个典型的实例代码 只调用poll，拉取数据太过粗糙，可以用 seek定位到具体位置在进行拉取。 阅读全文
posted @ 2022-01-05 10:39 习惯了蓝 阅读(689) 评论(0) 推荐(0)