随笔分类 -  elasticsearch

• 使用 curl 和 xargs 命令批量删除 ES索引，并将一些不想删除的索引过滤出来
  摘要：curl http://localhost:9200/_cat/indices | awk '{print $3}' | egrep -v 'xx|xx|xx' | xargs -n 1 -I {} curl -XDELETE http://localhost:9200/{} 阅读全文
  posted @ 2020-12-07 18:04 1Q94 阅读(528) 评论(0) 推荐(0)
• ES 同台机器多实例报 master not discovered or elected yet
  摘要：原因是 第二个实例的 port 为 9201 以及 9301 通过后台日志可知，第二个实例再加入集群时，一直在向 其他机器的 9301 进行通讯，但是其他机器并没有部署 9301 的实例，因此无法找到 因此，将 discovery_seed_hosts 以及 cluster.initial_mast 阅读全文
  posted @ 2020-12-02 17:50 1Q94 阅读(1195) 评论(0) 推荐(0)
• ES数据写入时间格式问题
  摘要：ES 的 mapping为： { "properties": { "@timestamp": { "type": "date", "format": "yyyy-MM-dd'T'HH:mm:ss.SSSZ" }, "timestamp": { "type": "date", "format": "y 阅读全文
  posted @ 2020-12-02 12:26 1Q94 阅读(3726) 评论(0) 推荐(0)
• Kibana 发现数据时间不对
  摘要：Kibana 发现数据总是向后移动了 8 个小时，检查后发现是ES 写入数据时没有指定时间戳，默认存储为 0 时区 的数据，Kibana默认以系统时间显示，当前系统为东8区，因此所有的时间都向后偏移 8 个小时。 阅读全文
  posted @ 2020-12-02 12:23 1Q94 阅读(512) 评论(0) 推荐(0)
• elasticsearch 结合 flink，kafka 性能调优经验
  摘要：1. 产品的架构是数据采集到 kafka，由 flink 读取，送入ES 2. 这个过程中，涉及： kafka分区数，flink并行度，ES 分区数和副本 3. kafka 分区数决定了后面 flink 的并行度，最好是 kafka 的分区数和 flink 的并行度一致，flink的并行度最好和ES 阅读全文
  posted @ 2020-11-10 22:26 1Q94 阅读(1182) 评论(0) 推荐(0)