随笔分类 -  Kafka

【kafka】生产者API
摘要：自动提交 自动提交：每次消费之后，提交自己的offset 手动提交 两种提交方式：同步提交 ，异步提交 阅读全文
posted @ 2020-01-13 16:01 mussessein 阅读(213) 评论(0) 推荐(0)
【kafka】生产者API 回调 同步
摘要：普通实现 同步实现 回调实现 阅读全文
posted @ 2020-01-13 15:47 mussessein 阅读(858) 评论(0) 推荐(0)
【kafka】常用命令行
摘要：Kafka配置 config 集群每台机器需要配置server.properties broker.ID必须唯一，每台设置一个 bin 启停 （下面操作，都已配置环境变量） 1. 先启动zookeeper 2. 启动kafka 3. 关闭kafka topic 创建一个topic topic的分区会 阅读全文
posted @ 2020-01-13 11:53 mussessein 阅读(168) 评论(0) 推荐(0)
【kafka】保证数据一致
摘要：先看下kafka的集群架构： Kafka生产一个Topic，创建了3个分区，每个分区都会先有一个Leader，然后在其他机器中，创建自己分区的follower（副本）； ack应答机制 有三个值： 0：producer不需要确认消息，直接发送消息给leader，有没有收到消息，producer不管； 阅读全文
posted @ 2020-01-13 11:46 mussessein 阅读(805) 评论(0) 推荐(0)
【kafka】offset
摘要：offset 消息队列里的数据，是不会因为消费而被删除的，默认保存7天或1G； patition和Consumer都维护这自己的offset； 消费者默认从自己记录的offset开始消费； 想要从Partition最早记录开始消费,需要两个条件:(API) 1. 设置AUTO_OFFSET_RESE 阅读全文
posted @ 2020-01-08 15:20 mussessein 阅读(686) 评论(0) 推荐(0)
【kafka】角色
摘要：kafka学习推荐网站：orcHome（https://www.orchome.com/kafka/index） 消息系统的两种模式 1.生产者/消费者模式： Producer（生产者）：在数据管道一段生产消息的应用程序。 Consumer（消费者）：在数据管道一端消费消息的应用程序。 生产者将消息 阅读全文
posted @ 2020-01-08 15:17 mussessein 阅读(487) 评论(0) 推荐(0)