随笔分类 - 日志收集
摘要:Kafka快的原因:1、partition顺序读写,会先写入页缓存,再写入磁盘,充分利用磁盘特性,这是基础; 2、Producer生产的数据持久化到broker,采用mmap文件映射,实现顺序的快速写入; 3、页缓存技术在读取时可以实现零拷贝,减少io,加快socket传输速度4、Customer从
阅读全文
摘要:flume 优势: 单source可支持多sink输出,能输出hdfs或者访问http接口,插件可扩展性较高(比如读个redis什么的)。失败策略保证消息的无丢失发送 劣势:不稳定,内存占用较大,长时间使用产生较多内存碎片。应用场景大多于离线文件搬运,偏大数据生态。 fluent-bit 优势:k8
阅读全文

浙公网安备 33010602011771号