ElasticSearch——Curator索引管理

 

简介

   curator 是一个官方的,可以管理elasticsearch索引的工具,可以实现创建,删除,段合并等等操作。详见官方文档

 

功能

curator允许对索引和快照执行许多不同的操作,包括:

  1. 从别名添加或删除索引(或两者!)
  2. 更改分片路由分配
  3. 关闭索引
  4. 创建索引
  5. 删除索引
  6. 删除快照
  7. 打开被关闭的索引
  8. 对索引执行forcemerge段合并操作
  9. reindex索引,包括来自远程集群的索引
  10. 更改索引的每个分片的副本数 
  11. rollover索引
  12. 生成索引的快照(备份)
  13. 还原快照

 

版本

 

 

安装

有多种安装方法,本人采用yun安装,官网下载安装包:https://www.elastic.co/guide/en/elasticsearch/client/curator/current/yum-repository.html

执行以下命令进行安装:

rpm -ivh elasticsearch-curator-5.8.1-1.x86_64.rpm

默认安装路径为:/opt/elasticsearch-curator,且不能移动到其它位置,命令会识别不了。

执行以下命令验证是否安装成功:

curator --help

 

 

创建配置文件

curator运行需两个配置文件config.yml(用于连接ES集群配置)、action.yml(用于配置要执行的操作),文件名称可以随意命名。

config.yml样例如下: 配置说明参考官网说明:config.yml

# Rmember, leave a key empty if there is no value.  None will be a string,
# not a Python "NoneType"
client:
  hosts: ["10.0.101.100", "10.0.101.101", "10.0.101.102"]    # es集群地址
  port: 9200                               # es端口   
  url_prefix:
  use_ssl: False
  certificate:
  client_cert:
  client_key:
  ssl_no_validate: False
  http_auth:
  timeout: 30
  master_only: False

logging:
  loglevel: INFO
  logfile: /opt/elasticsearch-curator/logs/run.log        # 日志路径
  logformat: default
  blacklist: ['elasticsearch', 'urllib3']

 

action.yml样例如下: 配置说明参考官网说明:action.yml

# Remember, leave a key empty if there is no value.  None will be a string,
# not a Python "NoneType"
#
# Also remember that all examples have 'disable_action' set to True.  If you
# want to use this action as a template, be sure to set this to False after
# copying it.
actions:
  1:
    action: delete_indices        # 这里执行操作类型为删除索引
    description: >-
      Delete metric indices older than 3 days (based on index name), for zou_data-2018-05-01
      prefixed indices. Ignore the error if the filter does not result in an
      actionable list of indices (ignore_empty_list) and exit cleanly.
    options:
      ignore_empty_list: True
    filters:
    - filtertype: pattern
      kind: prefix
      value: business-logs-        # 这里是指匹配前缀为 “order_” 的索引,还可以支持正则匹配等,详见官方文档
    - filtertype: age            # 这里匹配时间
      source: name              # 这里根据索引name来匹配,还可以根据字段等,详见官方文档
      direction: older
      timestring: '%Y-%m-%d'        # 用于匹配和提取索引或快照名称中的时间戳
      unit: days               # 这里定义的是days,还有weeks,months等,总时间为unit * unit_count
      unit_count: 3

以上命令删除了3天前,以business-logs-*开头的索引。

 

执行多个任务

注意:actions: 后面的,依次类推

2:执行操作
3:执行操作
4:执行操作
N:执行操作

 

 

运行curator

单次运行:

curator --config config.yml action.yml 

实际生成环境中我们添加一个linux的cron定时任务:

crontab -e

加上如下命令(每天0时运行一次):

0 0 */1 * * curator --config /opt/elasticsearch-curator/config.yml /opt/elasticsearch-curator/action.yml

 

 

 

运行curator_cli

用法举例:curator_cli 关闭全部一天前创建的索引名称为logs_*开头的索引。

curator_cli --host 192.168.1.2 --port 9200 close --filter_list '[{"filtertype":"age","source":"creation_date","direction":"older","unit":"days","unit_count":1},{"filtertype":"pattern","kind":"prefix","value":"logs_"}]'

 

 

总结

curator适用于基于时间或者template其他方式创建的索引,不适合单一索引存储N久历史数据的操作的场景。

例如以下场景:

elasticsearch要想实现只保留固定时间的数据,这里以7天为例,要想每个索引的数据都只保留最近7天的数据,大于7天的则删除,有两种方法:

1. 看你的索引是怎么样的,如果你的索引名称中有时间,比如logstash-2019-01-02 这样,就是每天都会生成一个新的索引,这样的话可以使用官方的Curator 工具

2. 如果你的索引中不带时间,比如,如果是根据应用或者服务名来命名的,那么注意,Curator是无法实现删除索中的某一段数据的!! 这里需要特别注意,网上很多说可以实现的,那是因为他们的索引如上面1 所说,是根据时间日期来生成的。

但实际上,很多索引都不是这样的,按正常的思维,更容易用服务名或应用名作为索引,以此来区分日志所属应用,方便日志的分析对应指定的应用。这种时候需要使用elasticsearch的api:delete_by_query来进行删除指定数据。

具体实现请参考:https://blog.csdn.net/weixin_41004350/article/details/85620572

        https://juejin.im/post/58e5de06ac502e006c254145

 

 

参考:

https://blog.csdn.net/laoyang360/article/details/85882832

posted on 2019-12-06 15:24  曹伟雄  阅读(918)  评论(0编辑  收藏  举报

导航