摘要：kafka作为一种高吞吐量的分布式发布订阅消息系统，在业务系统中被广泛的使用。 如果问你，如何提高kafka队列中的消息消费速度呢？答案很简单，topic多分几个分片，然后使用消费者组（Consumer Group）去消费topic即可。 如果加个条件，对同一个对象的操作请求必须要严格按照顺序进行处 阅读全文

摘要：Hi，大家好，我是Mic 一个工作5年的粉丝找到我。 他说： “Mic老师，你要是能回答出这个问题，我就佩服你” 我当场就懵了，现在打赌都这么随意了吗？ 我问他问题是什么，他说“Kafka如何避免重复消费的问题！” 下面看看普通人和高手的回答！ 普通人：# Kafka怎么避免重复消费就是我们可以通过 阅读全文

摘要：一.kafka-manager简介 kafka-manager是目前最受欢迎的kafka集群管理工具，最早由雅虎开源，用户可以在Web界面执行一些简单的集群管理操作。具体支持以下内容： 管理多个集群 轻松检查群集状态（主题，消费者，偏移，代理，副本分发，分区分发） 运行首选副本选举 使用选项生成分区 阅读全文

摘要：参考文献：https://docs.confluent.io/current/clients/confluent-kafka-python/index.html#consumer Producer.poll(timeout) timeout (float) – Maximum time to blo 阅读全文

摘要：一，问题描述 搭建的用来测试的单节点Kafka集群（Zookeeper和Kafka Broker都在同一台Ubuntu上），在命令行下使用： ./bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 阅读全文

摘要：当集群中有新成员加入，或者某些主题增加了分区之后，消费者是怎么进行重新分配消费的？这里就涉及到重平衡（Rebalance）的概念，下面我就给大家讲解一下什么是 Kafka 重平衡机制，我尽量做到图文并茂通俗易懂。 重平衡的作用 重平衡跟消费组紧密相关，它保证了消费组成员分配分区可以做到公平分配，也是 阅读全文

摘要：在Kafak中国社区的qq群中，这个问题被提及的比例是相当高的，这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。 一个消费者组中的消费者数量和分区的关系，比如一个组中有3个消费者，那么topic的分区数3，刚刚好，如果，消费者小于3， 阅读全文

摘要：当创建一个新分组的消费者时,auto.offset.reset值为 latest 时, 昨天在写一个java消费kafka数据的实例，明明设置auto.offset.reset为earliest，但还是不从头开始消费，官网给出的含义太抽象了。earliest: automatically reset 阅读全文

摘要：kafka集群有权限校验，在连接时需要加入client.id。但pykafka不能配置该选项。搜索了一下，需要使用confluent-kafka 链接： https://blog.csdn.net/lanyang123456/article/details/80639625 #coding:utf- 阅读全文

摘要：消费者要从头开始消费某个topic的全量数据，需要满足2个条件（spring-kafka）： （1）使用一个全新的"group.id"（就是之前没有被任何消费者使用过）; （2）指定"auto.offset.reset"参数的值为earliest； 对应的spring-kafka消费者客户端配置参数 阅读全文

摘要：kafka consumer：消费者可以从多个broker中读取数据。消费者可以消费多个topic中的数据。 因为Kafka的broker是无状态的，所以consumer必须使用partition offset来记录消费了多少数据。如果一个consumer指定了一个topic的offset，意味着该 阅读全文

摘要：昨天在写一个java消费kafka数据的实例，明明设置auto.offset.reset为earliest，但还是不从头开始消费，官网给出的含义太抽象了。earliest: automatically reset the offset to the earliest offset，自动将偏移量置为最 阅读全文

摘要：topic到group质检是发布订阅的通信方式，即一条topic会被所有的group消费，属于一对多模式；group到consumer是点对点通信方式，属于一对一模式。 举例: 不使用group的话，启动10个consumer消费一个topic，这10个consumer都能得到topic的所有数据， 阅读全文

摘要：kafka消息顺序 我们知道，kafka是一个高性能、分布式容错的消息发布-订阅系统，现在kafka也能处理流数据了。多个生产者在往kafka发送数据的时候，消息的顺序是不能保障的，也就是无序的。 有些场景，比如在用maxwell解析mysql的binlog日志的时候，发送到kafka，后面解析，通 阅读全文

摘要：kafka消息顺序 我们知道，kafka是一个高性能、分布式容错的消息发布-订阅系统，现在kafka也能处理流数据了。多个生产者在往kafka发送数据的时候，消息的顺序是不能保障的，也就是无序的。 有些场景，比如在用maxwell解析mysql的binlog日志的时候，发送到kafka，后面解析，通 阅读全文

摘要：kafka的特性 1.kafka中，写入一个partion照片中的数据是一定有顺序的2.kafka中一个消费者消费一个partion的数据，消费者取出数据时，也是有顺序的 需要顺序的场景 1.数据库中的binlog2.一些业务需要，比如希望把某个订单的数据写入一个partion 为何消息会错乱 1. 阅读全文

摘要：（0）写在前面 面试大厂时，一旦简历上写了Kafka，几乎必然会被问到一个问题：说说acks参数对消息持久化的影响？ 这个acks参数在kafka的使用中，是非常核心以及关键的一个参数，决定了很多东西。 所以无论是为了面试还是实际项目使用，大家都值得看一下这篇文章对Kafka的acks参数的分析，以 阅读全文

摘要：目录 1、Kafka的客户端缓冲机制 2、内存缓冲造成的频繁GC问题 3、Kafka设计者实现的缓冲池机制 4、总结一下 “ 这篇文章，给大家聊一个硬核的技术知识，我们通过Kafka内核源码中的一些设计思想，来看你设计Kafka架构的技术大牛，是怎么优化JVM的GC问题的？ 1、Kafka的客户端缓 阅读全文

摘要：1、背景引入：很多同学看不懂kafka参数 今天给大家聊一个很有意思的话题，大家知道很多公司都会基于Kafka作为MQ来开发一些复杂的大型系统。 而在使用Kafka的客户端编写代码与服务器交互的时候，是需要对客户端设置很多的参数的。 所以我就见过很多年轻的同学，可能刚刚加入团队，对Kafka这个技术 阅读全文

摘要：背景 一个Python项目中要使用kafka去deliver log，1个producer，5个consumer。单条消息的大小是100KB ～ 500KB，producer要在1秒钟之内能够发送30个这样的message。然后每个consumer也要在1秒钟之内消费30个这样的message。另外 阅读全文