随笔分类 -  日志收集

摘要:Kafka快的原因:1、partition顺序读写,会先写入页缓存,再写入磁盘,充分利用磁盘特性,这是基础; 2、Producer生产的数据持久化到broker,采用mmap文件映射,实现顺序的快速写入; 3、页缓存技术在读取时可以实现零拷贝,减少io,加快socket传输速度4、Customer从 阅读全文
posted @ 2020-04-10 17:16 巴德大舅子 阅读(213) 评论(0) 推荐(0)
摘要:flume 优势: 单source可支持多sink输出,能输出hdfs或者访问http接口,插件可扩展性较高(比如读个redis什么的)。失败策略保证消息的无丢失发送 劣势:不稳定,内存占用较大,长时间使用产生较多内存碎片。应用场景大多于离线文件搬运,偏大数据生态。 fluent-bit 优势:k8 阅读全文
posted @ 2020-03-23 22:33 巴德大舅子 阅读(1111) 评论(0) 推荐(0)