EFK 数据生命周期

EFK(Elasticsearch + Fluentd + Kibana)生命周期

Elasticsearch创建索引时,自动删除索引,清理历史数据;

一、创建生命周期策略

索引生命周期策略——创建索引——索引名(delete_2day)——(【关闭】启用滚动更新)——删除阶段(设置删除时间(2天))——另存为新策略

二、配置索引

索引管理——索引模版——创建模版——模版名(xxxxxx_logs)——索引模式(celery-,rest_api-等等索引的前缀匹配)——下一步——下一步——索引设置(如下)——下一步——下一步——创建模版

{
  "index": {
    "lifecycle": {
      "name": "delete_2day" # (名字自定义)
    }
  }
}

三、添加策略

索引生命周期策略——delete_2day(操作)——添加策略到索引模版——模版索引(选择刚创建的xxxxx_logs)——添加策略

四、配置策略

索引管理——选择一个新的索引(新的索引代表创建为索引生命周期策略后创建的索引,可以手动删除旧的索引,es会自动创建新的索引)——查看索引在 结论处 有 索引生命周期策管理 策略即说明配置成功

五、索引生命周期策略

索引生命周期策略——delete_2day——显示请求(页面右下角),delete模块actions为空(没有删除动作?),解决:通过URL创建索引生命周期(以下示例是删除2天前的索引),登录服务器执行以下命令即可

curl -X PUT --user elastic:elastic "192.168.1.11:9200/_ilm/policy/delete_2day" -H 'Content-Type: application/json' -d'
{
  "policy": {
    "phases": {
      "hot": {
        "min_age": "0ms",
        "actions": {
          "set_priority": {
            "priority": 100
          }
        }
      },
      "delete": {
        "min_age": "2d",
        "actions": {
        "delete": {}
        }
      }
    }
  }
}
'

结果返回:{"acknowledged":true}
刷新kibana页面,再次查看(显示请求),模版内的actions为delete: {"delete_searchable_snapshot": true}

六、索引管理

索引管理,删除所有的索引,待es自动创建后,所有的索引将自动添加delete_2day生命周期策略。

Kibana 可视化和分析

1、索引模式——创建索引模式——所以模式名称(【celery】,可以匹配到以access开头的索引,目前配置是按照日期自动创建一个索引)——下一步——时间字段(选择 @timestamp)——创建索引模式
2、返回kibana可视化和分析——Discover,可以看的access索引的数据信息,即就是对应access
.log的日志信息
3、其它日志按照此方法从 创建索引模式 开始,一步步添加配置即可。

—— Share every essays ——
posted @ 2021-05-08 15:52  zongxiang  阅读(143)  评论(0编辑  收藏  举报