摘要：snapshot可以将es整个集群，具体索引数据备份到磁盘，hdfs等。需要时，可以从磁盘，hdfs恢复数据到es。 具体参考： https://elasticsearch.cn/article/6194 https://www.elastic.co/guide/en/elasticsearch/r 阅读全文

摘要：不使用es-hadoop的saveToES，与scala版本冲突问题太多。不使用bulkprocessor，异步提交，es容易oom，速度反而不快。使用BulkRequestBuilder同步提交。 主要代码 ESClient: 阅读全文

摘要：setFloorSegmentMB多少MB一个层级，在此区间的segment分为一个floor。 setMaxMergeAtOnce一次merge多少个segment。 setSegmentsPerTier每个floor允许有多少个segment，超过该值将进行merge。 阅读全文

摘要：硬件概述：cpu：24，内存：20g，磁盘：10*2.7T。 写入性能：（不对ip进行添加geo信息）。 写入性能对比 速度 Commit耗时（秒） 500*1000条 Bulk耗时（秒） 1000条dns Bulk耗时（秒） 1000条tcpflow Bulk耗时（秒） 1000条weblog C 阅读全文

摘要：写入对比每个路径下都只能有一个IndexWriter负责写入，通过writer.lock实现。不同：lucene可以多个线程共享一个IndexWriter，每个线程负责写一个segment，从addDocument到index都用es bulk线程。详见：https://www.cnblogs.co 阅读全文