随笔分类 -  ELK

仅作为个人ELK学习入门笔记
压力大导致你的Logstash重发消息吗？
摘要：今天突然发现自己的ELKF传递给ES的数据都是重复的发，日志中明明只记录了一条但是ES中却有三条，很是疑惑。 首先怀疑filebeat，是不是filebeat重复发送导致logstash传递给ES的数据是重复的 查看filebeat的日志是正常的，但是会出现断开连接，然后retry的日志，所以一开始 阅读全文
posted @ 2021-07-09 11:43 情浅凉心 阅读(463) 评论(0) 推荐(0)
Logstash grok的使用
摘要：常用的一些选项 logstash中grok正则过滤的功能十分强大，如果用好了grok插件的话，基本可以处理99.99%的消息。官方文档上有一些例子，以及给了一个github的地址，上面有很多grok的内置变量，合理的使用，可以让我们的正则表达式既强大又简洁。 ELK官方文档 github地址 基本大 阅读全文
posted @ 2021-06-28 15:14 情浅凉心 阅读(657) 评论(0) 推荐(0)
07_Kibana界面操作ES
摘要：Kibana界面的API操作ES 1.创建索引 1.1 指定分片数量和备份数量 1.2 创建默认 2. 查看索引 2.1 查看单个索引设置 2.2 查看所有索引设置 3.文档管理 3.1 添加文档 可以不指定ID，会自动生成一个ID 3.2 查看文档 3.3 修改文档 覆盖 只修改部分数据，而不是覆 阅读全文
posted @ 2019-09-21 10:05 情浅凉心 阅读(1586) 评论(0) 推荐(0)
06_去除不需要的字段以及ELK时间轴问题
摘要：去除字段只能去除_source中的，不是_source内的无法去除。 去除不必要的字段，不仅可以节省ES的存储内容，同时因为节省了ES的内容，可以加速搜索的速度 Logstash配置去除不需要的字段 重启logstash之后，再次在kibana中查看数据，已经没有了@version和message 阅读全文
posted @ 2019-09-20 19:53 情浅凉心 阅读(1202) 评论(0) 推荐(0)
05_Nginx日志分析
摘要：如果不进行过滤，ES中存储的Nginx的日志是整行日志，在Kibana页面中只能查看到整行的日志，并没有其他太多的价值，所以我们需要对日志进行分割过滤，更有利于进行日志的分析。 学习本章需要具备一定的正则表达式知识 正则表达式 这里只是简单的列举了一些正则表达式，如果想要详细学习正则表达式的可以百度 阅读全文
posted @ 2019-09-20 19:25 情浅凉心 阅读(328) 评论(0) 推荐(0)
04_Logstash安装
摘要：Logstash部署 阅读全文
posted @ 2019-09-20 19:12 情浅凉心 阅读(280) 评论(0) 推荐(0)
02_Kibana的安装
摘要：Kibana部署 1. 下载Kibana 2. 解压源码包 3. 修改配置文件 4.启动Kibana 访问 172.16.141.1250:5601 第一次的时候在DIscover中会有一个新建索引的链接，但是创建完成之后，如果需要创建新的索引 则需要进入Management中创建新的索引 阅读全文
posted @ 2019-09-20 18:49 情浅凉心 阅读(232) 评论(0) 推荐(0)
01_基础环境说明
摘要：服务器说明 JDK环境 ES和Logstash依赖于JDK1.8环境 阅读全文
posted @ 2019-09-20 18:45 情浅凉心 阅读(154) 评论(0) 推荐(0)
ELK6.6.0+filebeat6.6.0部署
摘要：elastic不能用root用户去启动，否则会报错，所以创建elastic用户ES集群部署 elasticsearch6.6.0默认内存需要1G，如果没有1G内存可能会报错，如果内存不够则需要修改配置文件 [1]: max file descriptors [65535] for elasticse 阅读全文
posted @ 2019-03-27 10:37 情浅凉心 阅读(1881) 评论(0) 推荐(0)