随笔分类 -  spark

sparkstreaming消费kafka后bulk到es
摘要：不使用es-hadoop的saveToES，与scala版本冲突问题太多。不使用bulkprocessor，异步提交，es容易oom，速度反而不快。使用BulkRequestBuilder同步提交。 主要代码 ESClient: 阅读全文
posted @ 2019-09-27 11:32 vsop_479 阅读(775) 评论(0) 推荐(0)