摘要： 关于Kafka Java producer如何管理TCP连接的讨论 阅读全文

摘要： 之前网上关于确定Kafka分区数的博客多多少少都源自于饶军大神的文章，如今他带来了这方面的第二篇文章，特此翻译一下，记录一下其中的要点。 原贴地址： https://www.confluent.io/blog/apache-kafka-supports-200k-partitions-per-clu 阅读全文

摘要： Kafka broker IO和page cache的讨论 阅读全文

摘要： 一直觉得kafka-consumer-groups.sh的输出信息有点少，总算在2.0中得到了改善。新版本ConsumerGroupCommand增加了查看成员信息、组状态信息，算是弥补了之前的不足。今天试用了一下，感觉还不错，推荐大家也用一用~~ 1. 查看成员信息(简约版)： $:kafka_2 阅读全文

摘要： 之前写过一篇关于Kafka High watermark的文章，引起的讨论不少：有赞扬之声，但更多的是针对文中的内容被challenge，于是下定决心找个晚上熬夜再看了一遍，昨晚挑灯通读了一遍确实发现不少错误。鉴于此我决定再写一篇博客重新梳理一下最新版本中High watermark（下称HW）的工 阅读全文

摘要： 目前Kafka并没有提供直接的工具来帮助我们获取某个topic的当前总消息数，需要我们自行写程序来实现。下列代码可以实现这一功能，特此记录一下： 阅读全文

摘要： Kafka在1.1.0版本引入了fetch session的概念，旨在降低“无效”FETCH请求对集群带宽资源的占用。故事的背景是这样的： 众所周知，Kafka的broker和consumer都会定期地向leader broker发送FETCH请求去获取数据。对于分区数很多的topic而言，待发送的 阅读全文

摘要： 经常有小伙伴有这样的疑问：为什么线上Kafka机器各个磁盘间的占用不均匀，经常出现“一边倒”的情形？ 这是因为Kafka只保证分区数量在各个磁盘上均匀分布，但它无法知晓每个分区实际占用空间，故很有可能出现某些分区消息数量巨大导致占用大量磁盘空间的情况。在1.1版本之前，用户对此毫无办法，因为1.1之 阅读全文

摘要： Confluent公司于2017年11月宣布KSQL进化到1.0版本，标志着KSQL已经可以被正式用于生产环境。自那时起，整个Kafka发展的重心都偏向于KSQL——这一点可以从Confluent官方博客中KSQL出现的频率之高看出端倪。鉴于最近周围有很多小伙伴都在讨论KSQL，我突然想起了去年9月 阅读全文

摘要： 之前在知乎上尝试过回答这个问题，后来问的人挺多，干脆在博客里面保存一下。 目前Kafka监控方案看似很多，然而并没有一个“大而全”的通用解决方案。各家框架也是各有千秋，以下是我了解到的一些内容： Kafka manager Github地址： https://github.com/yahoo/kaf 阅读全文