Kafka 支持百万级 TPS 的秘密

Kafka 支持百万级 TPS 的秘密:

(1)顺序写入数据,在 Partition 末尾追加,所以速度最优。

(2)使用 MMAP 技术将磁盘文件与内存映射,Kafka 可以像操作磁盘一样操作内存。

(3)通过 DMA 技术实现零拷贝,减少数据传输次数。

(4)读取数据时配合sendfile直接暴力输出,批量压缩把所有消息变成一个批量文件,合理减少网络IO损耗。

posted @ 2020-12-08 11:27  gaopengpy  阅读(623)  评论(0编辑  收藏  举报