日志分析 第一章 ELK介绍

1 ELK各组件介绍?

ELK Stack是elasticsearch、logstash、kibana是三个开源软件的组合,

fielbeat是一个轻量级日志收集工具,类似于Linux系统中tail -f监控文件变化的功能。

Logstash是一款开源的日志收集处理框架,负责数据的采集和格式化

Elasticsearch是一个开源的分布式搜索引擎,用于数据的快速索引存储。

Kibana负责提供web展示功能,Grafana是类似于kibana,也是对后端数据进行实时展示。

为什么需要日志分析

闲扯淡。。。主要原因是不想将时间花在帮开发或运营找各种日志上。。

日志主要包括系统级别日志,应用程序访问和错误日志。一般在没搭建日志分析系统之前获取日志,都是纯手工通过awk,sed,grep解决,而通过日志分析可以近乎时时查看日志,对于出现的致命错误日志,或者状态码异常等,可以通过配置报警策略以后短信、微信、rtx等报警。

3 拓扑图

为了帮大家进一步理解日志处理流程,画了一个拓扑图。

处理流程:

  1. filebeat从不同服务端收集日志转发给logstash处理。
  2. logstash将filebeat收集的日志进行格式化处理,比如使用logstash的geoip插件,可以做到查看客户端IP地址信息,比如哪个国家,哪个城市。
  3. 然后通过elasticsearch对格式化后的数据进行索引和存储,最后交由kibana或grafana展示。

简单来说,进行日志处理分析,一般需要经过以下几个步骤:

  1. 将日志进行集中化管理(filebeat)
  2. 将日志格式化(logstash)
  3. 对格式化后的数据进行索引和存储(elasticsearch)
  4. 前端数据的展示(kibana/grafana)

简单就介绍就到这里了,我们的日志分析系统将通过filebeat + logstash + elasticsearch + grafana实现。

没有选择kibana的原因:

  1. kibana界面太丑了
  2. 对grafana情有独钟,对他感冒
  3. open-falcon监控也是通过grafana出图(写完日志分析之后,会写open-falcon系列)
posted @ 2016-11-25 10:31 hexm 阅读(...) 评论(...) 编辑 收藏
联系我:xiaoming.unix@gmail.com