ELK - 随笔分类 - xibuhaohao

Logstash 7.5 导入数据到ES7.5

摘要：一、导入到ES单个字段 cat json.conf file { path => "/home/mongodb/vsmongo.json" type => "myfirst" start_position => "beginning" } } output { if [type] == "myfir 阅读全文

posted @ 2020-05-20 16:44 xibuhaohao 阅读(624) 评论(0) 推荐(0)

Logstash 7.4配置转发器报错提示：“[ERROR][logstash.agent] Failed to execute ction {:action=>LogStash::Pipel”原因

摘要：经过修改配置文件，执行以下命令启动服务 nohup bin/logstash -f config/kafka_os_into_es.conf & >通过nohup命令将服务启动的进程放到后台并输出到日志输出的日志是以nohub.out结尾的日志可以通过tail -f 进行查看然后查看日志，报错阅读全文

posted @ 2020-05-20 14:53 xibuhaohao 阅读(7726) 评论(0) 推荐(1)

Es的模糊查询，match，match_phrase、wildcard的区别(转载)

摘要：1、match查询：会先对搜索词进行分词，比如“白雪公主和苹果”，会分成“白雪”“公主”“苹果”。含有相关内容的字段，都会被检索出来。2、match_phrase查询：match_phrase与slop一起用，能保证分词间的邻近关系，slop参数告诉match_phrase查询词条能够相隔多远时仍然阅读全文

posted @ 2020-05-19 10:49 xibuhaohao 阅读(3248) 评论(0) 推荐(0)

Logstash之Elasticsearch导入json数据文件

摘要：一、数据从文件导入elasticsearch 1、数据准备： 1、数据文件：test.json 2、索引名称：index 3、数据类型：doc 4、批量操作API：bulk {"index":{"_index":"index2","_type":"type2","_id":0}} {"age":10 阅读全文

posted @ 2020-05-18 19:58 xibuhaohao 阅读(1999) 评论(0) 推荐(0)

ES 调优查询亿级数据毫秒级返回！怎么做到的？--文件系统缓存

摘要：一道面试题的引入：如果面试的时候碰到这样一个面试题：ElasticSearch(以下简称ES) 在数据量很大的情况下(数十亿级别)如何提高查询效率? 这个问题说白了，就是看你有没有实际用过 ES，因为啥?其实 ES 性能并没有你想象中那么好的。很多时候数据量大了，特别是有几亿条数据的时候，可能你阅读全文

posted @ 2019-11-14 09:44 xibuhaohao 阅读(1677) 评论(0) 推荐(0)

Linux 文件系统缓存 -针对不同数据库有不同作用

摘要：文件系统缓存 filesystem cache 许多人没有意识到。文件系统缓存对于性能的影响。Linux系统默认的设置倾向于把内存尽可能的用于文件cache，所以在一台大内存机器上，往往我们可能发现没有多少剩余内存。（free命令显示的第二行输出，如下)。文件系统cache可以加速磁盘操作，使系统有阅读全文

posted @ 2019-11-14 09:42 xibuhaohao 阅读(921) 评论(0) 推荐(0)

Kafka ISR and AR HW 、 LEO

摘要：相信大家已经对 kafka 的基本概念已经有一定的了解了，下面直接来分析一下 ISR 和 AR 的概念。 0|1ISR and AR 简单来说，分区中的所有副本统称为 AR (Assigned Replicas)。所有与leader副本保持一定程度同步的副本（包括leader副本在内）组成 ISR 阅读全文

posted @ 2019-10-23 17:36 xibuhaohao 阅读(614) 评论(0) 推荐(0)

Kafka Rebalance机制分析

摘要：|1什么是 Rebalance Rebalance 本质上是一种协议，规定了一个 Consumer Group 下的所有 consumer 如何达成一致，来分配订阅 Topic 的每个分区。例如：某 Group 下有 20 个 consumer 实例，它订阅了一个具有 100 个 partitio 阅读全文

posted @ 2019-10-23 17:25 xibuhaohao 阅读(609) 评论(0) 推荐(0)

Kafka 基础操作

摘要：cd /root/kafka/kafka_2.10-0.8.2.2/bin 1、查看kafka topic kafka-topics.sh --list --zookeeper 172.16.100.155:2181 2、查看topic的生产者与消费者消息 kafka-topics.sh --des 阅读全文

posted @ 2019-10-23 09:52 xibuhaohao 阅读(175) 评论(0) 推荐(0)

Kafka 通过python简单的生产消费实现

摘要：使用CentOS6.5、python3.6、kafkaScala 2.10 - kafka_2.10-0.8.2.2.tgz (asc, md5) 一、下载kafka 下载地址 https://kafka.apache.org/downloads 里面包含zookeeper 二、安装Kafka 1、阅读全文

posted @ 2019-10-22 17:36 xibuhaohao 阅读(700) 评论(0) 推荐(0)

Kafka为什么速度那么快？该怎么回答

摘要：Kafka的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka的特性之一就是高吞吐率。即使是普通的服务器，Kafka也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得Kafka在日志处理等海量数据场景广泛应用。阅读全文

posted @ 2019-10-22 14:47 xibuhaohao 阅读(306) 评论(0) 推荐(0)

ES 基础理论配置调优

摘要：一、简介 ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并作为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。它不但包括了全文搜索功能，还可以阅读全文

posted @ 2019-10-12 11:01 xibuhaohao 阅读(1677) 评论(0) 推荐(0)

CentOS6.5 安装ES5.5

摘要：一、CURL查看已开启的ES es5.5：elasticsearch-5.5.2.tar.gz下载，百度云地址 https://pan.baidu.com/s/17oFOQlePLtUhhJHxEPRBcg 提取码 7x82 curl -XGET 192.168.56.60:9200 number表阅读全文

posted @ 2019-10-11 11:39 xibuhaohao 阅读(599) 评论(0) 推荐(0)

ES 大批量写入提高性能的策略

摘要：1、用bulk批量写入你如果要往es里面灌入数据的话，那么根据你的业务场景来，如果你的业务场景可以支持让你将一批数据聚合起来，一次性写入es，那么就尽量采用bulk的方式，每次批量写个几百条这样子。 bulk批量写入的性能比你一条一条写入大量的document的性能要好很多。但是如果要知道一个bu 阅读全文

posted @ 2019-10-10 15:58 xibuhaohao 阅读(2561) 评论(0) 推荐(1)

Kafka kSQL sql查询

摘要：背景 kafka早期作为一个日志消息系统，很受运维欢迎的，配合ELK玩起来很happy，在kafka慢慢的转向流式平台的过程中，开发也慢慢介入了，一些业务系统也开始和kafka对接起来了，也还是很受大家欢迎的，由于业务需要，一部分小白也就免不了接触kafka了，这些小白总是会安奈不住好奇心，要精确的阅读全文

posted @ 2019-09-09 11:28 xibuhaohao 阅读(11722) 评论(0) 推荐(1)

Kafka+kylin——kylin2.5.0流式构建

posted @ 2019-09-04 16:47 xibuhaohao 阅读(1142) 评论(0) 推荐(1)

ElasticSearch 初识ES

posted @ 2019-08-27 09:14 xibuhaohao 阅读(265) 评论(0) 推荐(0)

ES WIndows 安装 ES与ES-head

摘要：一、ES的安装１、到ES官网下载ES 安装ES前，需要安装JDK1.8以上版本 https://www.elastic.co/downloads/elasticsearch ２、解压ES ３、安装ES 打开bin目录下elasticsearch.bat ４、验证进入 http://localho 阅读全文

posted @ 2019-07-16 14:35 xibuhaohao 阅读(3404) 评论(0) 推荐(0)

Elasticsearch 调优之搜索速度优化

摘要：本章讨论搜索速度优化：搜索速度与系统资源、数据索引方式、查询方式等多方面 1、为文件系统cache预留足够的内存 1）应用程序一般情况下，读写都会被操作系统“cache” 2）cache保存在物理内存中，命中cache可以降低对磁盘的读写频率 3）搜索对系统cache很依赖，如果搜索从磁盘读取数据，阅读全文

posted @ 2019-07-09 18:13 xibuhaohao 阅读(1092) 评论(0) 推荐(0)

随笔分类 - ELK

公告