ELK-图示nginx中ip的地理位置

一、环境准备：

1. ELK stack 环境一套
2. geolite数据库文件

二、下载geolite数据库(logstash机器上解压,logstash需调用)：

geolite官网：https://dev.maxmind.com

[root@localhost local]# tar xf GeoLite2-City_20181211.tar.gz
[root@localhost local]# ll GeoLite2-City_20181211
total 60604
-rw-r--r-- 1 es es       55 Dec 13 03:56 COPYRIGHT.txt
-rw-r--r-- 1 es es 62044006 Dec 13 03:56 GeoLite2-City.mmdb  //数据库文件，logstash配置文件中直接引用即可
-rw-r--r-- 1 es es      433 Dec 13 03:56 LICENSE.txt
-rw-r--r-- 1 es es      116 Dec 13 03:56 README.txt

三、编辑logstash配置文件

[root@localhost logstash]# cat conf.d/logstash-sample.conf 
input {
  beats {
    port => 5044
  }
}

filter {
  grok {
    match => {
      patterns_dir => ["/usr/local/logstash/patterns"]
      "message" => "%{COMMONNGINXLOG}"
    }
    overwrite => "message"
  }
  geoip {
    source => "clientip"
    target => "geoip"
    database => "/usr/local/GeoLite2-City_20181211/GeoLite2-City.mmdb"
    add_field => ["[geoip][coordinates]", "%{[geoip][longitude]}" ]
    add_field => ["[geoip][coordinates]", "%{[geoip][latitude]}"  ]
  }
  mutate {
    convert => [ "[request_time]","float" ]
  }
}


output {
  elasticsearch {
    hosts => ["http://192.168.20.4:9200"]
    index => "logstash-kibana_nginx"   //这里之前还有一个logstash_kibana_nginx。注意这里是_与-的区别。
  }
}

配置解释

• geoip：IP查询插件，默认安装
• source: 需要通过geoip插件处理的filed，根据实际情况中nginx日志ip的field_name来修改。
• target: 解析后的geoip地址数据，存放在定义的字段中，默认geoip这个字段
• database: 指定下载的数据库文件
• add_field: 添加经纬度，地图的定位显示是依靠经纬度来实别的

四、展示

打开kibana访问界面：

上图elasticsearch中存储了两个index

如上图，使用logstash_kibana_nginx索引添加地图展示时，无法选择相应field,并提示No Compatible Fields: The "logstash_kibana_nginx" index pattern does not contain any of the following field types: geo_point。提示没有相应"geo_point"类型，可是我的配置文件中根本就没有定义相应类型的啊！那只可能是程序自带的问题了。正好我又上网查阅别人的教程中发现似乎只有index不一致，于是便照着修改了一个一模一样的配置把index修改成logstash-kibana_nginx。等几秒logstash自动reload后，如下图就可以选择展示了：


参考博客地址：https://www.jianshu.com/p/07b82092d4af

五、修改kibana默认地图为国内高德地图

[root@localhost kibana]# echo "tilemap.url: 'http://webrd02.is.autonavi.com/appmaptile?lang=zh_cn&size=1&scale=1&style=7&x={x}&y={y}&z={z}'" >> config/kibana.yml

添加完成后重启生效：

Question

为什么得使用logstash-开头的index可以有geo_point类型？在网上和文档中一番查找，最后发现logstash默认自带的template是以template" : "logstash-*。

[root@localhost logstash]# cat vendor/bundle/jruby/2.3.0/gems/logstash-output-elasticsearch-9.2.4-java/lib/logstash/outputs/elasticsearch/elasticsearch-template-es6x.json  //6版本elasticsearch默认上传模版
{
  "template" : "logstash-*",     //模版名称，即index名匹配规则
  "version" : 60001,
  "settings" : {
    "index.refresh_interval" : "5s"
  },
  "mappings" : {
    "_default_" : {
      "dynamic_templates" : [ {
        "message_field" : {
          "path_match" : "message",      
          "match_mapping_type" : "string",
          "mapping" : {
            "type" : "text",
            "norms" : false
          }
        }
      }, {
        "string_fields" : {
          "match" : "*",
          "match_mapping_type" : "string",
          "mapping" : {
            "type" : "text", "norms" : false,
            "fields" : {
              "keyword" : { "type": "keyword", "ignore_above": 256 }
            }
          }
        }
      } ],
      "properties" : {
        "@timestamp": { "type": "date"},
        "@version": { "type": "keyword"},
        "geoip"  : {
          "dynamic": true,
          "properties" : {
            "ip": { "type": "ip" },
            "location" : { "type" : "geo_point" },
            "latitude" : { "type" : "half_float" },   
            "longitude" : { "type" : "half_float" }   
          }
        }
      }
    }
  }
}
[root@localhost logstash]# 

下一章会专门写一篇关于template，敬请期待。