(五)Kibana设置索引生命周期
写在之前:
初次使用这个功能的时候,总是提示我需要创建索引模板,然后让索引生命周期策略和索引模板绑定,但是自己之前又已经创建了索引,就不知道这三者之间的关键;后来熟悉了才发现;原来默认logstash创建索引并网es中插入数据,会自动找到一个默认索引模板,但是这个模板是没有对应的索引生命周期策略的;所以只有创建了索引模板,并且索引模板绑定过了索引策略,后面新生成的索引用到了这个索引模板,最终才会让这个索引按照索引策略生效;即在此之前创建的索引,索引策略都不会生效;此处在kibana中演示一下完整的流程;
1、进入设置,找到索引生命周期策略
2、创建生命周期策略;点击创建策略;(索引策略将索引分了“热、温、冷、删除”几个阶段,这个感兴趣的自行了解),这里主要是想配置索引的一个时间,超过半个月就删除索引;
3、创建索引模板,这个索引模板主要就是设置分片、副本、以及mapping的字段映射
3.1 基本信息设置
3.2 索引设置(参考一下配置)
{ "index": { "format": "1", "lifecycle": { "name": "scm-history-ilm-policy", "rollover_alias": "scm-history" }, "number_of_shards": "1", "auto_expand_replicas": "0-1", "number_of_replicas": "0" } }
解释:lifecycle:指的就是索引的生命周期,这里就是我们之前创建的索引生命周期;
rollover_alias:滚动别名,单我们配置了索引大小,超过这个大小后,会以这个名称命名
number_of_shards:就是分片数量
auto_expand_replicas: 意思就是辅本数量随着服务器的数量自动扩充,这里0-1,就是最少0个,最多1个
number_of_replicas:副本数量,这里就1台服务器,所以副本数量配置为0即可
详细配置文档见:https://www.elastic.co/guide/en/elasticsearch/reference/7.6/index-modules.html#index-modules-settings
3.3 配置字段映射(这里有两种方式,一种是配置固定映射字段,另一种是使用动态模板,这里是用第一种)
根据日志采集需要的字段,手动添加即可;
3.4 高级选型
动态映射选择关闭;
_source 字段:这里可以配置接收的字段路劲、排除的字段,这里排除后,将不会在查询日志的时候展示:
3.5 点击下一步,点击完成,完成索引模板的创建,后续所有创建的索引是一scm开头的,都会使用这个索引模板,
3.6 删除之前所有的索引,启动程序,新增日志,触发新建索引; 这个时候我们在进入到索引生命周期策略里面,看我们之前创建的策略,现在已链接的索引数量就会变成1;