随笔分类 -  ELK

摘要:下载 wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.8.rpm wget https://artifacts.elastic.co/downloads/logstash/logstash-5.6 阅读全文
posted @ 2018-04-09 17:17 晚来秋 阅读(1008) 评论(0) 推荐(0)
摘要:由于kibana不支持登录验证,谁都可以访问,放到公网就不合适了,这里配置用nginx进行代理; 生成密码文件 如果安装了httpd可以用htpasswd,比较方便: 若没有安装又不想安装可以用openssl: 配置下文件权限提高安全性(可选,只要让nginx进程有权限读即可): 配置nginx代理 阅读全文
posted @ 2018-04-08 18:26 晚来秋 阅读(563) 评论(0) 推荐(0)
摘要:ELK是一个日志分析和统计框架,是Elasticsearch、Logstash和Kibana三个核心开源组件的首字母缩写,实践中还需要filebeat、redis配合完成日志的搜集。 组件一览 名称 版本 说明 Elasticsearch 2.3 分布式搜索引擎,存储和搜索日志 Logstash 2 阅读全文
posted @ 2016-12-23 17:19 晚来秋 阅读(637) 评论(0) 推荐(0)
摘要:配置文件位于/etc/filebeat/filebeat.yml,就是filebeat的主配置文件 打开文件,搜索multiline:,默认是注释的,常用的有如下三个配置: 上面配置的意思是:不以时间格式开头的行都合并到上一行的末尾(正则写的不好,忽略忽略) pattern:正则表达式 negate 阅读全文
posted @ 2016-12-01 10:03 晚来秋 阅读(7443) 评论(0) 推荐(0)
摘要:在elk+filebeat都安装好,且明白了基本流程后,主要的就是写logstash的filter了,以此来解析特定格式的日志 logstash的filter是用插件实现的,grok是其中一个,用来解析自定义结构的日志,就是说可以完全自定义的去解析 grok的语法是%{pattern:field} 阅读全文
posted @ 2016-11-30 15:07 晚来秋 阅读(5617) 评论(0) 推荐(1)
摘要:来自官网,版本为1.2 下载rpm包并安装 配置文件位于/etc/filebeat/ 默认filebeat的日志是to_syslog,就是/var/log/message,而且是error级别以上才打印,最好改一下 vi /etc/filebeat/filebeat.yml(Logging段,一般在 阅读全文
posted @ 2016-11-28 16:00 晚来秋 阅读(13300) 评论(0) 推荐(0)
摘要:来自官网,版本为4.5 下载rpm包并安装 配置文件位于/opt/kibana/config/ 日志文件位于/var/log/kibana/ 默认连接的是本机elasticsearch,可在配置文件中修改,这里不用修改,直接启动 默认占用5601端口,可通过http://[ip]:5601在浏览器访 阅读全文
posted @ 2016-11-25 14:01 晚来秋 阅读(3066) 评论(0) 推荐(0)
摘要:若是搭建elk,建议先安装好elasticsearch 来自官网,版本为2.3 logstash的配置文件为/etc/sysconfig/logstash,本文不需要修改它,默认即可 日志位于/var/log/logstash/ 为防止重复解析,logstash会记录文件的解析进度到/var/lib 阅读全文
posted @ 2016-11-25 11:53 晚来秋 阅读(13137) 评论(0) 推荐(0)
摘要:来自官网,版本为2.3 注意elasticsearch依赖jdk,2.3依赖jdk7 下载rpm包并安装 配置文件位于/etc/elasticsearch/日志默认位于/var/log/elasticsearch/,可在配置文件中修改没有特殊要求,默认即可使用,启动停止等操作如下 启动默认占用端口9 阅读全文
posted @ 2016-11-23 18:47 晚来秋 阅读(919) 评论(0) 推荐(0)