ELK - 随笔分类 - ChenlongMa

logstash收集慢查询日志配置

摘要：此配置参考了来自http://www.wklken.me/posts/2016/05/24/elk-mysql-slolog.html 做了修改 ELK架构采用 logstash-kafka-logstash-elasticsearch-kibana 第一层logstash只做收集功能，第二层log 阅读全文

posted @ 2017-08-07 15:00 ChenlongMa 阅读(879) 评论(0) 推荐(0)

logstash的timestamp使用日志中的日期

摘要：在logstash中，默认会有一个时间字段，用于记录当前收集日志的时间戳，正常情况下没什么问题。当第一次收集日志，或者使用缓存写入的时候，就会发现timastamp会和实际的时间发生偏差。那么我建议最好使用日志中的时间，转化为logstash的timestamp。在filter中加入阅读全文

posted @ 2017-06-02 10:46 ChenlongMa 阅读(4178) 评论(0) 推荐(0)

logstash收集bash_history历史命令

摘要：原本使用logstash是无法读取/root/.bash_history的。这里用了一个比较巧妙的方法，将history命令记录在message中，然后再使用logstash来读取。我们需要在/etc/profile中最后加入一行： /var/log/message效果如下阅读全文

posted @ 2017-04-12 22:45 ChenlongMa 阅读(482) 评论(0) 推荐(0)

使用supervisord监控logstash

摘要：1.supervisord安装步骤 2.监控logstash配置首先要说明的就是使用yum 安装logstash，配置文件中加入command=/etc/init.d/logstash start会报通过查询发现service 启动程序是以daemon来启动的，不能使用 supervisord监阅读全文

posted @ 2017-03-22 12:03 ChenlongMa 阅读(1413) 评论(0) 推荐(0)

logstash 2.2以上版本,nginx 错误日志切割

摘要：网上nginx错误日期切分的版本各式各样,能用的没几个,踩过很多坑,特意记录下: grok详细信息输出: 阅读全文

posted @ 2016-09-07 18:25 ChenlongMa 阅读(1469) 评论(0) 推荐(0)

结合ELK进行分析PV,构建异步的WAF

摘要：引言: 首先大家应该都知道WAF的功能以及原理,市面上大致都是使用nginx+lua做到的,这里也不例外.但是稍有不同的是,逻辑层面不在lua里去做而是使用ElasticSearch进行分析之后,lua只是使用分析后的IP地址进行封禁,大大减少直接进行阻断而产生的误报等故障. 架构图如下: 可以得阅读全文

posted @ 2016-07-23 18:13 ChenlongMa 阅读(1282) 评论(0) 推荐(0)

举个栗子