随笔分类 - ELK Stack
摘要:官方地址:https://github.com/lmenezes/cerebro 需要有java环境 下载地址:https://github.com/lmenezes/cerebro/releases
阅读全文
摘要:```bash filter { mutate { remove_field => ["@version","prospector","input","beat","source","offset"] } grok { match => { "message" => "%{TIMESTAMP_ISO8601:access_time} %{LOGLEVEL:loglevel} \[%{DATA:ex
阅读全文
摘要:浏览器访问提示:Kibana server is not ready yet 查看日志如下 分析: 这个是属于误删除某些系统索引文件,导致账号认证失败造成的 解决办法也简单,重新设置账号密码就行了。
阅读全文
摘要:kibana是一个基于NodeJS的单页web应用。而NodeJS则是基于Chrome V8引擎的。V8引擎对于内存的使用是有限制的,默认情况下,64位系统下约为1.4GB,32位系统下约为0.7GB。 在系统内存不是很大,或者kibana出现OOM异常时,就需要对内存进行调整。一般来说,通过调整老
阅读全文
摘要:经过一段时间运行,es的索引已经达到数十G以上。es采用mmap的方式将索引文件映射到内存中,随着检索的次数增加,越来越多的数据被操作系统读入到内存中。这部分内存位于系统中,但是又不归es管理,也就是和jvm配置的堆内存大小无关。 结果就是导致es总的内存不断增长。 解决该问题的办法是修改es的存储
阅读全文
摘要:kibana 索引配置 管理索引 点击设置 Elasticsearch 的 Index management 可以查看 elk 生成的所有索引 (设置,Elasticsearch ,管理) 配置 kibana 的索引匹配 设置,Kibana,索引模式 配置索引生命周期 点击设置 Elasticsea
阅读全文
摘要:错误提示 重要解决办法 关闭circuit检查: 集群config/jvm.options设置如下 以下这些都不用看了 再尝试其他查询也是如此。经排查,原来是ES默认的缓存设置让缓存区只进不出引起的,具体分析一下。 ES缓存区概述 ES在查询时,会将索引数据缓存在内存(JVM)中: 上图是ES的JV
阅读全文
摘要:汇总:采用最简单的办法,就是在elasticsearch文件开头添加上这一行 系统自带的jdk是jdk8,但是ES7.3内置的jdk是12,因此使用ES内置的jdk版本,并相应的修改垃圾内存回收机制 Java (JVM) Versionedit 修改配置文件 bash ES程序路径:/home/vd
阅读全文
摘要:```bash 最近ES集群数据节点经常出现jvm占用过高,频繁GC导致ES集群卡死,很长时间才恢复。在网上看到用G1垃圾回收可以改善这一情况,但都是老版本的ES,我们现在使用的版本是5.5.2,所以想问问各位5.5.2版本的ES能不能改用G1垃圾回收,另外要怎么改为G1,因为以前的版本都是在elasticsearch.in.sh文件中改JAVA_OPTS的配置,但在5.5.2版本中已找不到这个配
阅读全文
摘要:```bash http.cors.enabled 是否支持跨域,默认为false http.cors.allow-origin 当设置允许跨域,默认为*,表示支持所有域名,如果我们只是允许某些网站能访问,那么可以使用正则表达式。比如只允许本地地址。 /https?:\/\/localhost(:[0-9]+)?/ http.cors.max-age 浏览器发送一个“预检”OPTIONS请求,以确
阅读全文
摘要:压缩包解压,然后打开谷歌浏览器,右上角三个竖点,更多工具,扩展程序,右上角打开开发者模式,左上角点击"加载已解压的扩展程序",找到刚才解压后的目录,打开即可 在谷歌浏览器中打开插件,右上角输入es地址即可 插件下载地址:https://files.cnblogs.com/files/sanduzxc
阅读全文
摘要:1. 实验环境 CPU:4 内存:8G ip:192.168.0.187 开启iptables防火墙 关闭selinux java =1.5 使用yum方式安装的java,提前配置好JAVA_HOME环境变量 2. MySQL信息 mysql账号 root MySQL密码 liykpntuu9?C
阅读全文
摘要:注意事项:默认Kafka传递给elastci的数据是在'data'字段,且不包含其他数据,所以需要使用额外的操作进行处理 logstash配置文件操作
阅读全文
摘要:1. filebeat.yml 2. logstash.conf
阅读全文
摘要:Elasticsearch 的官方查询语言是 Query DSL,存在毕竟有存在的道理,存在即合理。SQL 作为一个数据库查询语言,它语法简洁,书写方便而且大部分服务端程序员都清楚了解和熟知它的写法。但是作为一个 ES 萌新来说,就算他已经是一位编程界的老江湖,但是如果他不熟悉 ES ,那么他如果要
阅读全文
摘要:之前的流程是:filebeat,redis,logstash,elasticsearch 现在的流程是:filebeat,Kafka(zookeeper),logstash,elasticsearch zookeeper集群,使用ZK UI提供的web界面 kafka集群,使用的是kafka eag
阅读全文
摘要:1. 实验环境 CPU:4 内存:8G ip:192.168.0.187 开启iptables防火墙 关闭selinux java =1.5 使用yum方式安装的java,提前配置好JAVA_HOME环境变量 2. MySQL信息 mysql账号 root MySQL密码 liykpntuu9?C
阅读全文
摘要:filebeat启动自带模块后,日志先输出到Redis中 比如开启了system模块日志和redis模块日志 在Redis中查看收集过来的日志时,可以看到如下的这些信息 system日志信息 redis日志信息 根据下图所示,有两处地方可以用来判断来源 可以根据这俩的不同在logstash中判断来源
阅读全文
摘要:系统:centos 7.4 x64 主机ip:192.168.0.160 软件包:elasticsearch 7.3.0 linux x86_64.tar.gz 配置步骤 若报错说找不到主节点,可以先启动主节点,等主节点集群建立后,再启动从节点,观察从节点日志输出,确保从节点加入集群。 分别启动的话
阅读全文
摘要:1 介绍 ELK日志管理属于基础设施平台,接入多个应用系统是正常现象,如果接入多个系统的索引文件没有进行权限划分,那么很大程度会出现索引文件误处理现象,为了避免这种情况发生,多用户及权限设置必不可少。 通过Filebeat采集应用日志,发送到redis(或者kafka),通过在filebeat.ym
阅读全文