随笔分类 -  ElasticSearch

破解elasticsearch x-pack插件
只有注册用户登录后才能阅读该文。

posted @ 2019-08-15 21:34 ExplorerMan 阅读(9) 评论(0) 推荐(0)

bootstrap.memory_lock: true导致Elasticsearch启动失败问题
摘要:elasticsearch官网建议生产环境需要设置bootstrap.memory_lock: true 重新启动elasticsearch,报错信息如下: [baoshan@test-43.dev.rokid-inc.com /home/baoshan/elk/elasticsearch-5.3. 阅读全文

posted @ 2019-08-15 20:18 ExplorerMan 阅读(726) 评论(0) 推荐(0)

elasticsearch7.0安装及配置优化
摘要:简单讲ES开箱即用,不用任何配置也能玩转搜索引擎;以下内容是根据易企秀线上实际使用场景进行的安装和配置,支持冷热数据分离 1、安装 Linux 环境下载安装包 curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasti 阅读全文

posted @ 2019-08-14 13:03 ExplorerMan 阅读(2409) 评论(0) 推荐(0)

ELK详细安装部署
摘要:一、前言 ? 日志主要包括系统日志和应用程序日志,运维和开发人员可以通过日志了解服务器中软硬件的信息,检查应用程序或系统的故障,了解故障出现的原因,以便解决问题。分析日志可以更清楚的了解服务器的状态和系统安全状况,从而可以维护服务器稳定运行。 ? 但是日志通常都是存储在各自的服务器中。如果管理数十台 阅读全文

posted @ 2019-08-09 19:05 ExplorerMan 阅读(1042) 评论(0) 推荐(0)

filebeat安装部署
摘要:简单概述 最近在了解ELK做日志采集相关的内容,这篇文章主要讲解通过filebeat来实现日志的收集。日志采集的工具有很多种,如fluentd, flume, logstash,betas等等。首先要知道为什么要使用filebeat呢?因为logstash是jvm跑的,资源消耗比较大,启动一个log 阅读全文

posted @ 2019-08-09 18:43 ExplorerMan 阅读(2236) 评论(0) 推荐(0)

ElasticSearch-5.3.1集群环境搭建,安装ElasticSearch-head插件,安装错误解决
摘要:说起来甚是惭愧,博主在写这篇文章的时候,还没有系统性的学习一下ES,只知道可以拿来做全文检索,功能很牛逼,但是接到了任务不想做也不行, leader让我搭建一下分布式的ES集群环境,用来支持企业信用数据的检索,刚开始宝宝一脸蒙逼,只是之前自己本地搭建过一个测试玩过,开发任务也是忙的不行, 一直也没时 阅读全文

posted @ 2019-08-09 18:39 ExplorerMan 阅读(374) 评论(0) 推荐(0)

手把手教你搭建一个 Elasticsearch 集群
摘要:为何要搭建 Elasticsearch 集群 凡事都要讲究个为什么。在搭建集群之前,我们首先先问一句,为什么我们需要搭建集群?它有什么优势呢? 高可用性 Elasticsearch 作为一个搜索引擎,我们对它的基本要求就是存储海量数据并且可以在非常短的时间内查询到我们想要的信息。所以第一步我们需要保 阅读全文

posted @ 2019-08-09 18:33 ExplorerMan 阅读(618) 评论(0) 推荐(0)

ES 集群管理(集群规划、集群搭建、集群管理)
摘要:一、集群规划 搭建一个集群我们需要考虑如下几个问题: 1. 我们需要多大规模的集群? 2. 集群中的节点角色如何分配? 3. 如何避免脑裂问题? 4. 索引应该设置多少个分片? 5. 分片应该设置几个副本? 下面我们就来分析和回答这几个问题 1、我们需要多大规模的集群? 需要从以下两个方面考虑: 1 阅读全文

posted @ 2019-08-09 17:26 ExplorerMan 阅读(2125) 评论(0) 推荐(0)

Elasticsearch如何关掉服务
摘要:1.使用head插件找到想关掉的节点进行关停 2.使用命令kill杀掉服务器的ES进程即可1.查找ES进程ps -ef | grep elastic 2.杀掉ES进程kill -9 2382(进程号) 3.重启ESsh elasticsearch -d 需要对ES节点进行重新启动或正常关机的时候,有 阅读全文

posted @ 2019-08-09 17:08 ExplorerMan 阅读(2666) 评论(0) 推荐(0)

filebeat直连elasticsearch利用pipeline提取message中的字段
摘要:这里使用filebeat直连elasticsearch的形式完成数据传输,由于没有logstash,所有对于原始数据的过滤略显尴尬(logstash的filter非常强大)。 但是由于业务需求,还是需要将message(原始数据)中的某些字段进行提取,具体方式如下: 1. /path/目录下建立pi 阅读全文

posted @ 2019-08-08 21:34 ExplorerMan 阅读(605) 评论(0) 推荐(0)

python连接 elasticsearch 查询数据,支持分页
摘要:使用python连接es并执行最基本的查询 from elasticsearch import Elasticsearch es = Elasticsearch(["localhost:9200"]) para = {"_source":"message"} es.search(index=inde 阅读全文

posted @ 2019-08-08 21:33 ExplorerMan 阅读(2902) 评论(0) 推荐(0)

python 查询 elasticsearch 常用方法(Query DSL)
摘要:1. 建立连接 from elasticsearch import Elasticsearch es = Elasticsearch(["localhost:9200"]) 2. 查询所有数据 # 方式1: es.search(index="index_name", doc_type="type_n 阅读全文

posted @ 2019-08-08 21:31 ExplorerMan 阅读(15038) 评论(1) 推荐(0)

es笔记---新建es索引
摘要:es对索引的一堆操作都是用restful api去进行的,参数时一堆json,一年前边查边写搞过一次,这回搞迁移,发现es都到6.0版本了,也变化了很多,写个小笔记记录一下。 创建一个es索引很简单,一个put请求。 PUT /my_index { "settings": { ... any set 阅读全文

posted @ 2019-08-08 20:37 ExplorerMan 阅读(3621) 评论(0) 推荐(0)

ES(ElasticSearch) 索引创建
摘要:个人分类: ElasticSearchindex 个人分类: ElasticSearchindex 个人分类: ElasticSearchindex 个人分类: ElasticSearchindex 个人分类: ElasticSearchindex 环境:ES 6.2.2 os:Centos 7 k 阅读全文

posted @ 2019-08-08 20:23 ExplorerMan 阅读(7750) 评论(0) 推荐(0)

Python 操作 ElasticSearch
摘要:官方文档:https://elasticsearch-py.readthedocs.io/en/master/ 1、介绍 python提供了操作ElasticSearch 接口,因此要用python来操作ElasticSearch,首先要安装python的ElasticSearch包,用命令 pip 阅读全文

posted @ 2019-08-08 19:48 ExplorerMan 阅读(389) 评论(0) 推荐(0)

Linux下安装Elasticsearch6.5
摘要:1、安装JDK8(Elastic 需要 Java 8 环境) 1)下载jdk8文件:http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html\ 2)解压文件:tar -zxvf jdk-8u 阅读全文

posted @ 2019-08-08 18:30 ExplorerMan 阅读(447) 评论(0) 推荐(0)

ELK是什么
摘要:为什么做日志系统 通常当系统发生故障时,工程师需要登录到各个服务器上,使用 grep / sed / awk 等 Linux 脚本工具去日志里查找故障原因。在没有日志系统的情况下,首先需要定位处理请求的服务器,如果这台服务器部署了多个实例,则需要去每个应用实例的日志目录下去找日志文件。每个应用实例还 阅读全文

posted @ 2019-08-03 22:52 ExplorerMan 阅读(956) 评论(0) 推荐(0)

linux下elasticsearch 安装、配置及示例
摘要:<!-- flowchart 箭头图标 勿删 --> 简介 开始学es,我习惯边学边记,总结出现的问题和解决方法。本文是在两台linux虚拟机下,安装了三个节点。本次搭建es同时实践了两种模式——单机模式和分布式模式。条件允许的话,可以在多台机器上配置es节点,如果你机器性能有限,那么可以在一台虚拟 阅读全文

posted @ 2019-08-03 20:50 ExplorerMan 阅读(371) 评论(0) 推荐(0)

Elasticsearch入门(一)
摘要:简介 ElasticSearch是一个开源的分布式搜索引擎,具备高可靠性,支持非常多的企业级搜索用例。像Solr4一样,是基于Lucene构建的。支持时间时间索引和全文检索。官网:http://www.elasticsearch.org 它对外提供一系列基于java和http的api,用于索引、检索 阅读全文

posted @ 2019-08-02 18:08 ExplorerMan 阅读(219) 评论(0) 推荐(0)

Elasticsearch入门(二)
摘要:基础概念 Elasticsearch有几个核心概念,从一开始理解这些概念会对整个学习过程有莫大的帮助。 接近实时(NRT) Elasticsearch是一个接近实时的搜索平台。这意味着,从索引一个文档直到这个文档能够被搜索到有一个轻微的延迟(通常是1秒)。 集群(cluster) 一个集群就是由一个 阅读全文

posted @ 2019-08-02 18:06 ExplorerMan 阅读(205) 评论(0) 推荐(0)

导航