摘要：环境准备 软件版本 软件 版本 jdk >=1.8 elasticsearch 7.5.2 kibana 7.5.2 logstash 7.5.2 安装方式 rpm包安装 安装elasticsearch 修改系统默认nofile, memlock以及nproc echo -e "* soft nof 阅读全文

摘要：安装zookeeper和kafka 软件及版本 软件 版本 zookeeper 3.5.7 kafka 2.12-2.2.2 jdk 1.8 安装zookeeper tar xf apache-zookeeper-3.5.7-bin.tar.gz -C /usr/local/ cd /usr/loc 阅读全文

摘要：ELK stack 生产问题 问题1: filebeat 跨区跨防火墙连接kafka IP地址不通 ​ 由于kafka的三个IP地址做了NAT映射，filebeat 中配置连接IP为kafka映射后的地址，连接kafka时，kafka会返回给filebeat注册到zookeeper的对外地址，也就是 阅读全文

摘要：​ 前两天有同事打电话问我，说ES删除数据有没有什么坑？ ​ 我当时就问，是删索引还是删索引里的数据？她回答说是删数据，我说查出这些数据直接删除就好了，没有什么坑。。。 ​ 后来想想，关于ES数据的删除，之前确实遇到过很多删除场景，如果真要说有没有所谓的坑，细想一下，还真有。 ​ 我维护过的ES集群 阅读全文

摘要：优化命令 数据从内存刷新到磁盘间隔时间默认为5s, 现在调整为30s, 可以提升写入量，代价就是让新写入的数据在30s之后可以被搜索，新数据可见的及时性有所下降 PUT /logstash-test/_settings { "index" : { "refresh_interval" : "30s" 阅读全文