摘要: 背景 最近项目中使用Flink消费kafka消息,并将消费的消息存储到mysql中,看似一个很简单的需求,在网上也有很多flink消费kafka的例子,但看了一圈也没看到能解决重复消费的问题的文章,于是在flink官网中搜索此类场景的处理方式,发现官网也没有实现flink到mysql的Exactly 阅读全文
posted @ 2020-05-25 09:16 技术研究与问题解决 阅读(1942) 评论(0) 推荐(0)
摘要: Kafka 是现在大数据中流行的消息中间件,其中 kafka 中由 topic 组成,而 topic 下又可以由多个 partition 构成。有时候我们在消费 kafka 中的数据想要保证消费 kafka 中的所有的分区下数据是全局有序的,这种情况下就需要将 topic 下的 partition 阅读全文
posted @ 2020-05-25 08:53 技术研究与问题解决 阅读(2307) 评论(1) 推荐(0)