随笔分类 -  ELK Stack

摘要:官方地址:https://github.com/lmenezes/cerebro 需要有java环境 下载地址:https://github.com/lmenezes/cerebro/releases 阅读全文
posted @ 2019-12-05 12:07 哈喽哈喽111111 阅读(2619) 评论(0) 推荐(0)
摘要:```bash filter { mutate { remove_field => ["@version","prospector","input","beat","source","offset"] } grok { match => { "message" => "%{TIMESTAMP_ISO8601:access_time} %{LOGLEVEL:loglevel} \[%{DATA:ex 阅读全文
posted @ 2019-12-04 19:05 哈喽哈喽111111 阅读(1250) 评论(0) 推荐(0)
摘要:浏览器访问提示:Kibana server is not ready yet 查看日志如下 分析: 这个是属于误删除某些系统索引文件,导致账号认证失败造成的 解决办法也简单,重新设置账号密码就行了。 阅读全文
posted @ 2019-12-04 18:38 哈喽哈喽111111 阅读(2729) 评论(0) 推荐(0)
摘要:kibana是一个基于NodeJS的单页web应用。而NodeJS则是基于Chrome V8引擎的。V8引擎对于内存的使用是有限制的,默认情况下,64位系统下约为1.4GB,32位系统下约为0.7GB。 在系统内存不是很大,或者kibana出现OOM异常时,就需要对内存进行调整。一般来说,通过调整老 阅读全文
posted @ 2019-12-04 18:09 哈喽哈喽111111 阅读(5161) 评论(0) 推荐(0)
摘要:经过一段时间运行,es的索引已经达到数十G以上。es采用mmap的方式将索引文件映射到内存中,随着检索的次数增加,越来越多的数据被操作系统读入到内存中。这部分内存位于系统中,但是又不归es管理,也就是和jvm配置的堆内存大小无关。 结果就是导致es总的内存不断增长。 解决该问题的办法是修改es的存储 阅读全文
posted @ 2019-12-04 16:14 哈喽哈喽111111 阅读(2298) 评论(0) 推荐(1)
摘要:kibana 索引配置 管理索引 点击设置 Elasticsearch 的 Index management 可以查看 elk 生成的所有索引 (设置,Elasticsearch ,管理) 配置 kibana 的索引匹配 设置,Kibana,索引模式 配置索引生命周期 点击设置 Elasticsea 阅读全文
posted @ 2019-12-04 14:46 哈喽哈喽111111 阅读(5948) 评论(6) 推荐(0)
摘要:错误提示 重要解决办法 关闭circuit检查: 集群config/jvm.options设置如下 以下这些都不用看了 再尝试其他查询也是如此。经排查,原来是ES默认的缓存设置让缓存区只进不出引起的,具体分析一下。 ES缓存区概述 ES在查询时,会将索引数据缓存在内存(JVM)中: 上图是ES的JV 阅读全文
posted @ 2019-12-04 13:53 哈喽哈喽111111 阅读(12643) 评论(0) 推荐(0)
摘要:汇总:采用最简单的办法,就是在elasticsearch文件开头添加上这一行 系统自带的jdk是jdk8,但是ES7.3内置的jdk是12,因此使用ES内置的jdk版本,并相应的修改垃圾内存回收机制 Java (JVM) Versionedit 修改配置文件 bash ES程序路径:/home/vd 阅读全文
posted @ 2019-12-03 12:22 哈喽哈喽111111 阅读(11040) 评论(1) 推荐(3)
摘要:```bash 最近ES集群数据节点经常出现jvm占用过高,频繁GC导致ES集群卡死,很长时间才恢复。在网上看到用G1垃圾回收可以改善这一情况,但都是老版本的ES,我们现在使用的版本是5.5.2,所以想问问各位5.5.2版本的ES能不能改用G1垃圾回收,另外要怎么改为G1,因为以前的版本都是在elasticsearch.in.sh文件中改JAVA_OPTS的配置,但在5.5.2版本中已找不到这个配 阅读全文
posted @ 2019-12-03 11:43 哈喽哈喽111111 阅读(2815) 评论(0) 推荐(0)
摘要:```bash http.cors.enabled 是否支持跨域,默认为false http.cors.allow-origin 当设置允许跨域,默认为*,表示支持所有域名,如果我们只是允许某些网站能访问,那么可以使用正则表达式。比如只允许本地地址。 /https?:\/\/localhost(:[0-9]+)?/ http.cors.max-age 浏览器发送一个“预检”OPTIONS请求,以确 阅读全文
posted @ 2019-12-02 11:33 哈喽哈喽111111 阅读(6895) 评论(0) 推荐(0)
摘要:压缩包解压,然后打开谷歌浏览器,右上角三个竖点,更多工具,扩展程序,右上角打开开发者模式,左上角点击"加载已解压的扩展程序",找到刚才解压后的目录,打开即可 在谷歌浏览器中打开插件,右上角输入es地址即可 插件下载地址:https://files.cnblogs.com/files/sanduzxc 阅读全文
posted @ 2019-11-26 16:02 哈喽哈喽111111 阅读(14) 评论(0) 推荐(0)
摘要:1. 实验环境 CPU:4 内存:8G ip:192.168.0.187 开启iptables防火墙 关闭selinux java =1.5 使用yum方式安装的java,提前配置好JAVA_HOME环境变量 2. MySQL信息 mysql账号 root MySQL密码 liykpntuu9?C 阅读全文
posted @ 2019-10-08 18:02 哈喽哈喽111111 阅读(2380) 评论(0) 推荐(0)
摘要:注意事项:默认Kafka传递给elastci的数据是在'data'字段,且不包含其他数据,所以需要使用额外的操作进行处理 logstash配置文件操作 阅读全文
posted @ 2019-10-08 11:14 哈喽哈喽111111 阅读(1901) 评论(0) 推荐(0)
摘要:1. filebeat.yml 2. logstash.conf 阅读全文
posted @ 2019-09-27 14:45 哈喽哈喽111111 阅读(2162) 评论(0) 推荐(0)
摘要:Elasticsearch 的官方查询语言是 Query DSL,存在毕竟有存在的道理,存在即合理。SQL 作为一个数据库查询语言,它语法简洁,书写方便而且大部分服务端程序员都清楚了解和熟知它的写法。但是作为一个 ES 萌新来说,就算他已经是一位编程界的老江湖,但是如果他不熟悉 ES ,那么他如果要 阅读全文
posted @ 2019-09-25 11:48 哈喽哈喽111111 阅读(5460) 评论(0) 推荐(0)
摘要:之前的流程是:filebeat,redis,logstash,elasticsearch 现在的流程是:filebeat,Kafka(zookeeper),logstash,elasticsearch zookeeper集群,使用ZK UI提供的web界面 kafka集群,使用的是kafka eag 阅读全文
posted @ 2019-09-23 18:15 哈喽哈喽111111 阅读(1009) 评论(0) 推荐(0)
摘要:1. 实验环境 CPU:4 内存:8G ip:192.168.0.187 开启iptables防火墙 关闭selinux java =1.5 使用yum方式安装的java,提前配置好JAVA_HOME环境变量 2. MySQL信息 mysql账号 root MySQL密码 liykpntuu9?C 阅读全文
posted @ 2019-09-20 18:28 哈喽哈喽111111 阅读(5743) 评论(3) 推荐(0)
摘要:filebeat启动自带模块后,日志先输出到Redis中 比如开启了system模块日志和redis模块日志 在Redis中查看收集过来的日志时,可以看到如下的这些信息 system日志信息 redis日志信息 根据下图所示,有两处地方可以用来判断来源 可以根据这俩的不同在logstash中判断来源 阅读全文
posted @ 2019-09-02 14:54 哈喽哈喽111111 阅读(1681) 评论(0) 推荐(0)
摘要:系统:centos 7.4 x64 主机ip:192.168.0.160 软件包:elasticsearch 7.3.0 linux x86_64.tar.gz 配置步骤 若报错说找不到主节点,可以先启动主节点,等主节点集群建立后,再启动从节点,观察从节点日志输出,确保从节点加入集群。 分别启动的话 阅读全文
posted @ 2019-08-30 10:50 哈喽哈喽111111 阅读(2827) 评论(0) 推荐(1)
摘要:1 介绍 ELK日志管理属于基础设施平台,接入多个应用系统是正常现象,如果接入多个系统的索引文件没有进行权限划分,那么很大程度会出现索引文件误处理现象,为了避免这种情况发生,多用户及权限设置必不可少。 通过Filebeat采集应用日志,发送到redis(或者kafka),通过在filebeat.ym 阅读全文
posted @ 2019-08-29 09:02 哈喽哈喽111111 阅读(18829) 评论(0) 推荐(1)