随笔分类 -  1003 日志系统

摘要:为什么用到ELK: 一般我们需要进行日志分析场景:直接在日志文件中 grep、awk 就可以获得自己想要的信息。但在规模较大的场景中,此方法效率低下,面临问题包括日志量太大如何归档、文本搜索太慢怎么办、如何多维度查询。需要集中化的日志管理,所有服务器上的日志收集汇总。常见解决思路是建立集中式日志收集 阅读全文
posted @ 2020-01-10 10:28 panchanggui 阅读(338) 评论(0) 推荐(0) 编辑
摘要:从ELK到EFK演进 背景 作为中国最大的在线教育站点,目前沪江日志服务的用户包含网校,交易,金融,CCTalk 等多个部门的多个产品的日志搜索分析业务,每日产生的各类日志有好十几种,每天处理约10亿条(1TB)日志,热数据保留最近7天数据,冷数据永久保存。 为什么做日志系统 首先,什么是日志? 日 阅读全文
posted @ 2019-04-12 17:50 panchanggui 阅读(7633) 评论(0) 推荐(1) 编辑