随笔分类 -  ES

Knowledge of ES
从kafka读数据写到ES
摘要:http://kafka.apache.org/documentation.html#newconsumerconfigs kafka是一款基于发布与订阅的消息系统,它一般被称为“分布式提交日志”或者“分布式流平台”。kafka的数据是按照一定顺序持久化保存的,可以按需读取。 核心概念: 消费者与消 阅读全文
posted @ 2019-02-28 18:34 小驼驼 阅读(4443) 评论(0) 推荐(0)
ES数据迁移之elasticdump
摘要:1、安装步骤 如果出现以下错误:(1)没有package.json这个文件:可以使用npm init -f命令生成一下(2)relocation error: npm: symbol SSL_set_cert_cb, version libssl.so.10 not defined in file 阅读全文
posted @ 2019-02-27 16:52 小驼驼 阅读(3491) 评论(0) 推荐(0)
ElasticSearch快照备份及恢复
摘要:1、repository-hdfs的安装 (1)去elasticsearch官网下载repository-hdfs安装包 (elasticsearch-5.4.0对应的版本是repository-hdfs-5.4.0) 下载地址: https://www.elastic.co/guide/en/el 阅读全文
posted @ 2019-02-20 10:19 小驼驼 阅读(3703) 评论(0) 推荐(0)
ES写数据的基本程序
摘要:1 package com.znv.elasticsearch; 2 3 import org.elasticsearch.action.bulk.BulkRequestBuilder; 4 import org.elasticsearch.action.bulk.BulkResponse; 5 import org.elasticsearch.client.transpo... 阅读全文
posted @ 2019-02-19 16:56 小驼驼 阅读(334) 评论(0) 推荐(0)
ES索引管理curator
摘要:1. Curator安装 Curator是Elasticsearch提供的一个可用来管理索引和快照的命令行工具,它是一个Python程序,可以直接通过pipy库安装: 安装pip:pip install elasticsearch-curator 用-U更新到最新版本: pip install -U 阅读全文
posted @ 2019-02-19 15:07 小驼驼 阅读(2435) 评论(0) 推荐(0)
ES数据冷热隔离
摘要:由于需求和资源的限制,将热数据存在tmpfs上(有资源的话可以用SSD),冷数据存在普通磁盘上。 首先说一下一下tmpfs 虚拟内存文件系统: 特点:它的存储空间在VM(virtual memory)。 VM是由linux内核里面的vm子系统管理的,由RM(Real Memory)和swap组成,R 阅读全文
posted @ 2019-02-19 10:34 小驼驼 阅读(2296) 评论(0) 推荐(0)
ES6.3 index Sorting测试
摘要:用法: 在索引模板中添加setting指定排序: "settings" : { "index" : { "sort.field" : "enter_time", "sort.order" : "desc" } } 也可以指定多级排序: "settings" : { "index" : { "sort 阅读全文
posted @ 2019-02-18 14:31 小驼驼 阅读(955) 评论(0) 推荐(0)
ES索引模板
摘要:索引可使用预定义的模板进行创建,这个模板称作Index templates。template大致分成setting和mappings两部分: 模板设置包括settings和mappings,通过模式匹配的方式使得多个索引重用一个模板。 1. settings主要作用于index的一些相关配置信息,如 阅读全文
posted @ 2019-02-18 11:49 小驼驼 阅读(1175) 评论(0) 推荐(0)