摘要：
Kafa consumer消费消息时，向broker发出fetch请求去消费特定分区的消息，consumer指定消息在日志中的偏移量（offset），就可以消费从这个位置开始的消息，customer拥有了offset的控制权，可以向后回滚去重新消费之前的消息，这是很有意义的 阅读全文
posted @ 2020-05-26 21:32
咔啡
阅读(4347)
评论(0)
推荐(0)
摘要：
在启动 Kafka 集群之前，我们需要配置好 log.dirs 参数，其值是 Kafka 数据的存放目录，这个参数可以配置多个目录，目录之间使用逗号分隔，通常这些目录是分布在不同的磁盘上用于提高读写性能。 当然我们也可以配置 log.dir 参数，含义一样。只需要设置其中一个即可。 如果 log.d 阅读全文
posted @ 2020-05-26 16:04
咔啡
阅读(703)
评论(0)
推荐(0)
摘要：
旧的 Kafka 消费者 API 主要包括：SimpleConsumer（简单消费者） 和 ZookeeperConsumerConnectir（高级消费者）。SimpleConsumer 名字看起来是简单消费者，但是其实用起来很不简单，可以使用它从特定的分区和偏移量开始读取消息。高级消费者和现在新 阅读全文
posted @ 2020-05-26 15:30
咔啡
阅读(566)
评论(0)
推荐(0)
摘要：
Kafka是分布式消息系统，需要处理海量的消息，Kafka的设计是把所有的消息都写入速度低容量大的硬盘，以此来换取更强的存储能力，但实际上，使用硬盘并没有带来过多的性能损失。kafka主要使用了以下几个方式实现了超高的吞吐率： 顺序读写； 零拷贝 文件分段 批量发送 数据压缩。 阅读全文
posted @ 2020-05-26 15:12
咔啡
阅读(566)
评论(0)
推荐(0)
摘要：
在Kafka中，当有新消费者加入或者订阅的topic数发生变化时，会触发Rebalance(再均衡：在同一个消费者组当中，分区的所有权从一个消费者转移到另外一个消费者)机制，Rebalance顾名思义就是重新均衡消费者消费。Rebalance的过程如下： 第一步：所有成员都向coordinator发 阅读全文
posted @ 2020-05-26 02:47
咔啡
阅读(1087)
评论(0)
推荐(0)
摘要：
我们可以使用 bin/kafka-topics.sh 命令对 Kafka 增加 Kafka 的分区数据，但是 Kafka 不支持减少分区数。 Kafka 分区数据不支持减少是由很多原因的，比如减少的分区其数据放到哪里去？是删除，还是保留？删除的话，那么这些没消费的消息不就丢了。如果保留这些消息如何放 阅读全文
posted @ 2020-05-26 00:06
咔啡
阅读(4914)
评论(0)
推荐(1)
浙公网安备 33010602011771号