ELK - 随笔分类(第2页) - xibuhaohao

Elasticsearch 调优之写入速度优化到极限

摘要：基于版本: 2.x – 5.x 在 es 的默认设置,是综合考虑数据可靠性,搜索实时性,写入速度等因素的,当你离开默认设置,追求极致的写入速度时,很多是以牺牲可靠性和搜索实时性为代价的.有时候,业务上对两者要求并不高,反而对写入速度要求很高,例如在我的场景中,要求每秒200w 条的平均写入速度,每条阅读全文

posted @ 2019-07-09 17:27 xibuhaohao 阅读(2645) 评论(0) 推荐(1)

Elasticsearch 调优之 shrink

摘要：对于索引分片数量，我们一般在模板中统一定义，在数据规模比较大的集群中，索引分片数一般也大一些，在我的集群中设置为 24。但是，并不是所有的索引数据量都很大，这些小数据量的索引也同样有较大的分片数。在 elasticsearch 中，主节点管理分片是很大的工作量，降低集群整体分片数量可以降低 reco 阅读全文

posted @ 2019-07-09 17:05 xibuhaohao 阅读(2256) 评论(0) 推荐(0)

elasticsearch 性能调优

摘要：此处我们是修改为60s 其实可以改为-1s 这样就是不刷新，我们需要在查询的时候进行一次索引刷新然后再查询，这个嘛就得看你们用户能容忍多少时间长度了。 es最近老是挂掉，无缘无故，表现症状为对于大小超过100g的index（5个分片 1e数据量左右）插入超级慢，由于机器资源有限，只能想出将每一阅读全文

posted @ 2019-07-09 17:04 xibuhaohao 阅读(277) 评论(0) 推荐(0)

Elasticsearch原理讲透

摘要：小史是一个非科班的程序员，虽然学的是电子专业，但是通过自己的努力成功通过了面试，现在要开始迎接新生活了。随着央视诗词大会的热播，小史开始对诗词感兴趣，最喜欢的就是飞花令的环节。但是由于小史很久没有背过诗词了，飞一个字很难说出一句，很多之前很熟悉的诗句也想不起来。倒排索引吕老师：但是我让你说出阅读全文

posted @ 2019-07-09 17:00 xibuhaohao 阅读(278) 评论(0) 推荐(0)

prometheus 监控ElasticSearch核心指标

摘要：本文主要讲述使用 Prometheus监控ES，梳理核心监控指标并构建 Dashboard ，当集群有异常或者节点发生故障时，可以根据性能图表以高效率的方式进行问题诊断，再对核心指标筛选添加告警。根据《How to monitor Elasticsearch performance》一文中的介绍：阅读全文

posted @ 2019-07-09 13:48 xibuhaohao 阅读(2093) 评论(0) 推荐(1)

Elasticsearch 监控

摘要：导语 Elasticsearch（文中简称ES）是分布式全文搜索引擎，产品提供高可用、易扩展以及近实时的搜索能力，广泛应用于数据存储、搜索和实时分析。很多服务的可用性对ES重度依赖。因此，保障ES自身可用性，是实现服务高可用的重中之重。基于京东云丰富的运维实战经验，接下来我们将陆续推出ES运维干货阅读全文

posted @ 2019-07-08 17:43 xibuhaohao 阅读(620) 评论(0) 推荐(0)

Elasticsearch 使用：创建、插入、查询、更新、删除

摘要：Elasticsearch 是一个开源的搜索引擎，建立在一个全文搜索引擎库 Apache Lucene™ 基础之上。 Lucene 可能是目前存在的，不论开源还是私有的，拥有最先进，高性能和全功能搜索引擎功能的库。但是 Lucene 仅仅只是一个库。为了利用它，你需要编写 Java 程序，并在你的阅读全文

posted @ 2019-07-08 17:05 xibuhaohao 阅读(1140) 评论(0) 推荐(0)

ES 的基本用法

摘要：ES的基本用法 ES的基本概念 1> 集群和节点一个es集群是由一个或多和es节点组成的集合每一个集群都有一个名字, 如之前的wali 每个节点都有自己的名字, 如之前的master, slave1, slave2 节点是可以存储数据, 参与索引数据等的独立服务 2> 索引(类似于数据库里面的d 阅读全文

posted @ 2019-07-08 16:34 xibuhaohao 阅读(468) 评论(0) 推荐(0)

elasticsearch 集群管理（集群规划、集群搭建、集群管理）

摘要：一、集群规划搭建一个集群我们需要考虑如下几个问题： 1. 我们需要多大规模的集群？ 2. 集群中的节点角色如何分配？ 3. 如何避免脑裂问题？ 4. 索引应该设置多少个分片？ 5. 分片应该设置几个副本？下面我们就来分析和回答这几个问题 1、我们需要多大规模的集群？需要从以下两个方面考虑： 1 阅读全文

posted @ 2019-07-08 15:38 xibuhaohao 阅读(532) 评论(0) 推荐(0)

ElasticSearch 集群环境搭建，安装ElasticSearch-head插件，安装错误解决

摘要：ElasticSearch-5.3.1集群环境搭建，安装ElasticSearch-head插件，安装错误解决说起来甚是惭愧，博主在写这篇文章的时候，还没有系统性的学习一下ES，只知道可以拿来做全文检索，功能很牛逼，但是接到了任务不想做也不行， leader让我搭建一下分布式的ES集群环境，用来支阅读全文

posted @ 2019-07-08 15:37 xibuhaohao 阅读(410) 评论(0) 推荐(0)

ES 集中式日志分析平台 Elastic Stack（介绍）

摘要：一、ELK 介绍 ELK 构建在开源基础之上，让您能够安全可靠地获取任何来源、任何格式的数据，并且能够实时地对数据进行搜索、分析和可视化。最近查看 ELK 官方网站，发现新一代的日志采集器 Filebeat，他是 Beats 家族其中的一员，性能超越 logstash，部署简单，占用资源少，可以很阅读全文

posted @ 2019-05-10 15:52 xibuhaohao 阅读(5645) 评论(0) 推荐(0)

ELK构建MySQL慢日志收集平台详解

摘要：转载自：https://mp.weixin.qq.com/s/umH7ImZZVhdfgMdZ3Hz5fA ELK介绍 ELK最早是Elasticsearch（以下简称ES）、Logstash、Kibana三款开源软件的简称，三款软件后来被同一公司收购，并加入了Xpark、Beats等组件，改名为E 阅读全文

posted @ 2019-05-10 14:36 xibuhaohao 阅读(407) 评论(0) 推荐(0)

随笔分类 - ELK

公告