2019年9月27日
es snapshot备份到hdfs及从hdfs恢复snapshot
摘要： snapshot可以将es整个集群，具体索引数据备份到磁盘，hdfs等。需要时，可以从磁盘，hdfs恢复数据到es。 具体参考： https://elasticsearch.cn/article/6194 https://www.elastic.co/guide/en/elasticsearch/r 阅读全文
posted @ 2019-09-27 11:40 vsop_479 阅读(288) 评论(0) 推荐(0)
sparkstreaming消费kafka后bulk到es
摘要： 不使用es-hadoop的saveToES，与scala版本冲突问题太多。不使用bulkprocessor，异步提交，es容易oom，速度反而不快。使用BulkRequestBuilder同步提交。 主要代码 ESClient: 阅读全文
posted @ 2019-09-27 11:32 vsop_479 阅读(775) 评论(0) 推荐(0)