2019年2月2日

亿级 ELK 日志平台构建部署实践

摘要: 本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到 EFK 演进」 废话不多说,老司机们座好了,我们准备发车了~~~ 整体架构 整体架构主要分为 4 个模块,分别提供不同的功能 Filebeat: 阅读全文

posted @ 2019-02-02 13:52 大数据运维 阅读(324) 评论(0) 推荐(0)

从 ELK 到 EFK 的演进

摘要: 背景 作为中国最大的在线教育站点,目前沪江日志服务的用户包含网校,交易,金融,CCTalk 等多个部门的多个产品的日志搜索分析业务,每日产生的各类日志有好十几种,每天处理约10亿条(1TB)日志,热数据保留最近7天数据,冷数据永久保存。 为什么做日志系统 首先,什么是日志? 日志就是程序产生的,遵循 阅读全文

posted @ 2019-02-02 13:51 大数据运维 阅读(509) 评论(0) 推荐(0)

导航