kibana可视化分析nginx日志

简介

将日志存入elasticsearch后就可以使用kibana直观的分析nginx日志。这篇文章主要是记录配置kibana分析nginx日志。

解析日志

日志导入可以参考nginx日志导入elasticsearch
这篇文章中重新调整logstash的filter配置，对日志做更多格式化处理之后再存入elasticsearch。下面是调整之后的配置

[root@informixtest logstash-8.6.2]# cat config/logstash-test2.conf 
# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {
  beats {
    port => 5044
  }
}

filter {
   grok {
     match => { "message" => "%{IPORHOST:clientip} - - \[%{HTTPDATE:htptime}\] \"%{DATA:htpmethod}( (?<htpurl>.*?)(\?(?<htppara>.*?))? HTTP/%{NUMBER:htpver})?\" %{NUMBER:htpstatus} %{NUMBER:htpbytes} \"%{DATA:htpref}\" \"%{DATA:htpagent}\"" }
     remove_field => ["message"]
   }

   date {
     match => ["htptime","dd/MMM/yyyy:HH:mm:ss Z"]
     remove_field => ["htptime"]
   }

   mutate {
     convert => {
        "htpstatus" => "integer"
        "htpbytes" => "integer"
     }
   }

   kv {
     source => "htppara"
     target => "htppara"
         field_split => "&"
   }
}

output {
  elasticsearch {
    hosts => ["http://localhost:9200"]
    index => "test"
    user => "elastic"
    password => "xxx"
  }
}

解释：

grok模块将http url中的参数分割出来放到htppara，正则中？表示匹配0或者1次，.*?表示非贪婪匹配。
date模块将htptime转为日期格式，转换前htptime是字符串，转换后默认放入timestamp。
mutate模块将htpstatus,htpbytes转为整数。
kv模块将htppara转为键值对，如可以通过htppara.token引用参数token字段。
为了kibana正确显示时间，需要调整kibana的时区:

如果需要删除日志重新导入，需要清空filebeat的读取记录:

[root@oneNginx1 filebeat]# pwd
/var/lib/filebeat/registry/filebeat
[root@oneNginx1 filebeat]# > log.json
[root@oneNginx1 filebeat]# systemctl restart filebeat