随笔分类 -  kafka

case:kafka集群太多topic带来的问题
摘要：前段时间有个朋友遇到kafka集群的topic太多出现too many file类似的错误，只能搭建新的集群。 查找一些资料发现问题是： topic太多造成partition过多。partition是kafka的最小并行单元，每个partition都会在对应的broker上有日志文件。 当topic 阅读全文
posted @ 2020-12-05 09:43 风中雨雨中路 阅读(1582) 评论(0) 推荐(0)
kafka的数据可靠性保证
摘要：一、ACK机制 为保证 producer 发送的数据，能可靠的发送到指定的 topic，topic 的每个 partition 收到 producer 发 送的数据后，都需要向 producer 发送 ack（acknowledgement 确认收到），如果 producer 收到 ack，就会进行 阅读全文
posted @ 2020-10-18 09:57 风中雨雨中路 阅读(270) 评论(0) 推荐(0)
case:kafka消费者重新平衡问题
摘要：kafka消费者重新平衡问题 使用java的API消费kafka数据时，由于kafka集群稳定性或网络问题，commit提交超时， expm=Commit cannot be completed since the group hasalready rebalanced and assigned t 阅读全文
posted @ 2020-10-18 09:47 风中雨雨中路 阅读(1216) 评论(0) 推荐(0)
kafka简单使用
摘要：kafka的API基本上上就是消费者和生产者，可以使用不同语言操作这些API，也有很多组件，框架可以作为kafka的生产者或消费者，下面简单介绍几种 1、java 生产者 public class KafkaProducer { public static void main(String[] ar 阅读全文
posted @ 2020-08-23 15:49 风中雨雨中路 阅读(333) 评论(0) 推荐(0)
kafka集群安装
摘要：kafka是分布式的，需要多台机器，并且保证机器之间是免密登录，同时需要用zookeeper集群负责管理 1、kafka版本选择，从官网下载即可，我这里用的是 kafka_2.11-0.11.0.3.tgz 2、brokers节点分配，注意一定是奇数台节点 3、解压并软链 tar -zxvf /so 阅读全文
posted @ 2020-08-23 15:24 风中雨雨中路 阅读(236) 评论(0) 推荐(0)
初识kafka
摘要：1、消息队列介绍 在介绍kafka之前先简单提一下消息队列，或发布与订阅消息系统。这个系统很重要，其特点是消息(数据)的发送者不会直接将消息发送给接受着，发布者将消息发送给系统，然后接收者订阅这个消息，以此来接收消息。就像订阅杂志一样。 消息队列从简单的消息队列或进程之间的通信到多个应用之间到多个系 阅读全文
posted @ 2020-06-26 16:24 风中雨雨中路 阅读(171) 评论(0) 推荐(0)