Fork me on GitHub

随笔分类 - ELK

摘要:问题 我们通过logstash 的安装包进行安装好了logstash,然后我们通过systemd进行管理启动,我们发现有如下报错的。 看这个问题是没有找到 的。但是我们是已经配置好了 (在 /etc/profile) 的,我们在终端进行 ,是可以获取到信息的。 logstash 的 systemd的 阅读全文
posted @ 2020-03-11 17:29 自由早晚乱余生 阅读(484) 评论(0) 推荐(1) 编辑
摘要:[toc] 一、问题 最近在查看线上的 es,发现最近2天的索引没有副本,集群的状态也是为 yellow 的。 二、问题的原因 es 所在的服务器磁盘是还有剩余空间的。只不过磁盘使用了大概 89%,按道理来说应该是会继续使用的,并创建索引的副本的,我们经过查阅 "官方文档" 。 我们可以知道,es 阅读全文
posted @ 2020-01-04 22:07 自由早晚乱余生 阅读(1644) 评论(0) 推荐(0) 编辑
摘要:该版本对于上一个版本做了升级。兼容性更好了。 shell !/bin/bash $Name: clean_index.sh $Version: v2.0 $Function: delete es index $Author: dongjiaxiao $Create Date: 2019 12 31 阅读全文
posted @ 2020-01-01 22:49 自由早晚乱余生 阅读(612) 评论(0) 推荐(1) 编辑
摘要:[TOC] elasticsearch 优化 从硬件上 : 1. 使用SSD 硬盘,解决io导致的瓶颈。 2. 增大内存 但不超过32G(单实例建议设置31G) ,elasticsearch 设置不超过机器内存的60%。 3. 如果负载过高,增加cpu核心数。 从软件上: 1. 减少集群的副本数量, 阅读全文
posted @ 2018-12-19 15:08 自由早晚乱余生 阅读(1211) 评论(0) 推荐(0) 编辑
摘要:[TOC] elasticsearch常用的一些集群命令 查看集群健康状态 查看集群的节点列表 查看所有的索引 删除索引 查询索引的某个文档内容 更新文档 删除文档 DELETE /indexname/type/id?pretty 查看分片的分布和里面文档的大小 get 请求 /_cat/shard 阅读全文
posted @ 2018-12-10 17:49 自由早晚乱余生 阅读(894) 评论(0) 推荐(0) 编辑
摘要:[TOC] elasticsearch 配置 目录详情 bin 二进制脚本,包含启动命令和安装插件命令等 config 配置文件目录 lib 依赖包目录 logs 日志文件目录 modules 模块库 plugins 插件目录 data 数据储存目录 (config) 配置文件 elasticsea 阅读全文
posted @ 2018-12-10 17:47 自由早晚乱余生 阅读(6729) 评论(0) 推荐(1) 编辑
摘要:[TOC] elasticsearch 安装与配置 安装java elasticsearch 需要 java环境 使用Java版本1.8.0_131或更高版本 安装受支持的LTS版本java 并配置好环境变量 java 8早期的版本在启用 G1GC收集器时会导致索引损坏。所以我们尽量使用Java版本 阅读全文
posted @ 2018-12-10 17:46 自由早晚乱余生 阅读(1343) 评论(0) 推荐(0) 编辑
摘要:架构图 filebat logstash grok 地址 "grok地址一" "grok地址二" (推荐使用) elasticsearch 基于elasticsearch6.3.2 "elasticsearch(一) 之 elasticsearch初识" "elasticsearch(二) 之 el 阅读全文
posted @ 2018-12-10 17:45 自由早晚乱余生 阅读(1138) 评论(0) 推荐(0) 编辑
摘要:[TOC] 一 、elasticsearch elasticsearch 是一个开源的具有高度扩展性的全文搜索和分析引擎。它可以快速帮助我们存储和搜索、分析大量数据。 在运维方面,我们常用它来存储和分析日志数据,通过filebeat +(redis)+ELK 搭建一个可视化的实时日志分析搜索平台。让 阅读全文
posted @ 2018-12-10 10:34 自由早晚乱余生 阅读(274) 评论(0) 推荐(0) 编辑
摘要:错误 在使用kibana的时候,我们需要对可以进行日志访问进行控制,x-pack插件是最好的选择,但是kibana的x-pack插件是收费的,我们本着节约资源的理念(公司的钱也是钱啊,哈哈),我决定使用nginx的访问控制来进行用户认证,在经过nginx用户认证与htpasswd命令配置后,我们进行 阅读全文
posted @ 2018-11-04 00:06 自由早晚乱余生 阅读(5092) 评论(0) 推荐(0) 编辑
摘要:环境条件: 系统版本:centos 6.8 logstash版本:6.3.2 redis版本:2.4 logstash input配置: input { redis { host => "172.16.73.33" #redis ip port => "52611" #redis 端口 passwo 阅读全文
posted @ 2018-10-01 13:42 自由早晚乱余生 阅读(315) 评论(0) 推荐(0) 编辑
摘要:filebeat output redis 报错 i/o timeout 先把报错内容贴出来。 报错内容是写入超时了。解析问题,在redis的服务的信息正常情况下,可能的问题,第一可能性:是消息队列堵塞了,第二可能性是:连接redis 服务器的网络不太好。 1 redis消息队列阻塞 我的错误就是这 阅读全文
posted @ 2018-09-30 19:17 自由早晚乱余生 阅读(4537) 评论(0) 推荐(0) 编辑
摘要:最近在搭建ELK,然后ELK的kibana界面想添加一个访问限制,看到kibana有个插件x-pack,本来想用用,发现是收费的,就放弃了,然后就想着想配置下nginx的认证访问来实现简单的访问登陆。 nginx的用户认证: 首先nginx是必须的,如果没有安装的nginx的安装下nginx. 然后 阅读全文
posted @ 2018-05-27 11:33 自由早晚乱余生 阅读(465) 评论(0) 推荐(0) 编辑
摘要:为什么会突然想用到对日志的异常内容进行邮件报警,是因为在上周公司的线上业务多次出现锁表,开发在优化sql的同时,我也在想是不是可以对日志的异常内容进行检测并实现邮件预警。 在网上查询了一些资料后,决定使用插件sentinl,sentinl原名KaaE,sentinl这个插件完全可以满足我们的实际需求 阅读全文
posted @ 2018-05-14 09:53 自由早晚乱余生 阅读(1994) 评论(0) 推荐(0) 编辑
摘要:etc在日志系统搭建起来后大半年一直没有出现大的问题,在上个月的某段时间,我慢慢发现有这个问题的存在了,首先是自己遇到过,后面也有人反应这个问题。于是就开始对这个问题进行分析: 1.因为服务器是放在国外的(新加坡的),所以考虑到是不是网络延时较大导致的,我通过新加坡的代理进行访问还是会出现这个问题。 阅读全文
posted @ 2018-05-12 12:51 自由早晚乱余生 阅读(14948) 评论(0) 推荐(0) 编辑
摘要:从去年搭建了日志系统后,就没有去管它了,最近发现大半年各种日志的index也蛮多的,就想着写个脚本定时清理一下,把一些太久的日志清理掉。 脚本思路:通过获取index的尾部时间与我们设定的过期时间进行对比,如果是属于过期时间那么就进行删除,并写入日志。如果不是则不进行处理。 完整的脚本:(今天准备写 阅读全文
posted @ 2018-05-07 18:48 自由早晚乱余生 阅读(3278) 评论(0) 推荐(1) 编辑