从kafka读数据写到ES
摘要:http://kafka.apache.org/documentation.html#newconsumerconfigs kafka是一款基于发布与订阅的消息系统,它一般被称为“分布式提交日志”或者“分布式流平台”。kafka的数据是按照一定顺序持久化保存的,可以按需读取。 核心概念: 消费者与消
阅读全文
posted @
2019-02-28 18:34
小驼驼
阅读(4443)
推荐(0)
ES数据迁移之elasticdump
摘要:1、安装步骤 如果出现以下错误:(1)没有package.json这个文件:可以使用npm init -f命令生成一下(2)relocation error: npm: symbol SSL_set_cert_cb, version libssl.so.10 not defined in file
阅读全文
posted @
2019-02-27 16:52
小驼驼
阅读(3491)
推荐(0)
ElasticSearch快照备份及恢复
摘要:1、repository-hdfs的安装 (1)去elasticsearch官网下载repository-hdfs安装包 (elasticsearch-5.4.0对应的版本是repository-hdfs-5.4.0) 下载地址: https://www.elastic.co/guide/en/el
阅读全文
posted @
2019-02-20 10:19
小驼驼
阅读(3703)
推荐(0)
ES写数据的基本程序
摘要:1 package com.znv.elasticsearch; 2 3 import org.elasticsearch.action.bulk.BulkRequestBuilder; 4 import org.elasticsearch.action.bulk.BulkResponse; 5 import org.elasticsearch.client.transpo...
阅读全文
posted @
2019-02-19 16:56
小驼驼
阅读(334)
推荐(0)
ES索引管理curator
摘要:1. Curator安装 Curator是Elasticsearch提供的一个可用来管理索引和快照的命令行工具,它是一个Python程序,可以直接通过pipy库安装: 安装pip:pip install elasticsearch-curator 用-U更新到最新版本: pip install -U
阅读全文
posted @
2019-02-19 15:07
小驼驼
阅读(2435)
推荐(0)
ES数据冷热隔离
摘要:由于需求和资源的限制,将热数据存在tmpfs上(有资源的话可以用SSD),冷数据存在普通磁盘上。 首先说一下一下tmpfs 虚拟内存文件系统: 特点:它的存储空间在VM(virtual memory)。 VM是由linux内核里面的vm子系统管理的,由RM(Real Memory)和swap组成,R
阅读全文
posted @
2019-02-19 10:34
小驼驼
阅读(2296)
推荐(0)
ES6.3 index Sorting测试
摘要:用法: 在索引模板中添加setting指定排序: "settings" : { "index" : { "sort.field" : "enter_time", "sort.order" : "desc" } } 也可以指定多级排序: "settings" : { "index" : { "sort
阅读全文
posted @
2019-02-18 14:31
小驼驼
阅读(955)
推荐(0)
ES索引模板
摘要:索引可使用预定义的模板进行创建,这个模板称作Index templates。template大致分成setting和mappings两部分: 模板设置包括settings和mappings,通过模式匹配的方式使得多个索引重用一个模板。 1. settings主要作用于index的一些相关配置信息,如
阅读全文
posted @
2019-02-18 11:49
小驼驼
阅读(1175)
推荐(0)