随笔分类 -  Kafka

Kafka梳理
零拷贝技术
摘要：一、应用场景 内核优化：快速上传/下载文件（fileChannel至socketChannel） 内核优化：快速拷贝文件（fileChannel至fileChannel） 二、产生原因 上传/下载文件：传统网络传输文件时，数据需要经过4次数据拷贝，分别为网卡到内核缓存、内核到用户缓存、用户到内核缓存 阅读全文
posted @ 2022-04-26 17:03 SArtOnline 阅读(73) 评论(0) 推荐(0)
Kafka重复消费、消息丢失、消息乱序
摘要：一、应用场景 大量扫码/刷卡交易订单日志传输 日志采集 二、产生原因 日志采集客户端（Producer）： 超时重传，日志重复（enable.idempotence=false重复发送） 消息失败，未持久化（acks=0不重试；或acks=1但leader闪退） 批量发送，数据乱序（max.in.f 阅读全文
posted @ 2022-04-19 14:39 SArtOnline 阅读(548) 评论(0) 推荐(0)