luzhouxiaoshuai

摘要： 转载自博客： https://blog.csdn.net/u012811805/article/details/121347269 一、背景说明 深夜接到客户紧急电话，反馈腾讯云 kafka 中有大量消息堆积未及时消费。每分钟堆积近 100w 条数据。但是查看 ES 监控，各项指标都远还没到性能瓶颈 阅读全文

摘要： 必看的一篇博客的文章： https://blog.csdn.net/qq_42150559/article/details/100121453 问题logstash消费速率远低于日志数量,消息堆积 部署背景 架构优点：1、采用kafka作为日志缓冲，在高并发情况下可以通过队列就能起到削峰填谷的作用， 阅读全文

摘要： https://www.cnblogs.com/caoweixiong/p/12691458.html 日志架构 所有日志由Rsyslog或者Filebeat收集，然后传输给Kafka，Logstash作为Consumer消费Kafka里边的数据，分别写入Elasticsearch和Hadoop，最 阅读全文