随笔分类 -  Kafka

摘要:1. 使用场景:Kafka适合日志处理;RocketMQ适合业务处理 2. 性能:Kafka吞吐量更高,单机百万/秒;RocketMQ单机10万/秒。 因为Kafka一个topic有很多partition,代表很多目录,每个目录下有很多segment,每个代表一个消息文件,而RocketMQ存储消息 阅读全文
posted @ 2021-05-23 19:46 walker993 阅读(2190) 评论(0) 推荐(0)
摘要:1.1 消息路由策略 生产者生产Record,其中包含key和value,key用于确定存放在哪个partition,value是真正的消息。 1. 指定了partition 2. 未指定partition,但指定了key,通过key的哈希值和partition的数量取模,计算索引 3. 都未指定, 阅读全文
posted @ 2021-05-23 19:09 walker993 阅读(179) 评论(0) 推荐(0)
摘要:1.1 应用场景 日志聚合、数据监控、流处理等等 1.2 高吞吐率实现 Kafka将消息写入到低速大容量的硬盘,但仍然保持了超高的吞吐率,是因为: 顺序读写:在segment中采用顺序写 零拷贝:生产者、消费者对Kafka中的消息操作采用零拷贝实现 批量发送:Kafka允许使用批量消息发送模式 消息 阅读全文
posted @ 2021-05-23 16:16 walker993 阅读(67) 评论(0) 推荐(0)