Java实现对ES数据的新增，删除，修改，及合并
Java实现对ES数据的新增，删除，修改，及合并
新增数据
代码：
@Autowired
private RestHighLevelClient client;
/**
* @description ES写入数据
* @author zae
* @date 2022/1/13 14:40
* @param index 索引库
* @param dataList 数据集合（size为插入数据的条数）
*/
public void insertEsData(String index,List<Map<String,Object>> dataList) {
BulkProcessor bulkProcessor = null;
try {
bulkProcessor = getBulkProcessor(client);
for(Map<String,Object> dataMap:dataList){
bulkProcessor.add(new IndexRequest(index).source(dataMap));
}
// 将数据刷新到ES中
bulkProcessor.flush();
} catch (Exception e) {
e.printStackTrace();
} finally {
try {
boolean terminatedFlag = bulkProcessor.awaitClose(150L,
TimeUnit.SECONDS);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
private BulkProcessor getBulkProcessor(RestHighLevelClient client) {
BulkProcessor bulkProcessor = null;
try {
BulkProcessor.Listener listener = new BulkProcessor.Listener() {
@Override
public void beforeBulk(long executionId, BulkRequest request) {
logger.info("Try to insert data number : "
+ request.numberOfActions());
}
@Override
public void afterBulk(long executionId, BulkRequest request,
BulkResponse response) {
logger.info("************** Success insert data number : "
+ request.numberOfActions() + " , id: " +
executionId);
}
@Override
public void afterBulk(long executionId, BulkRequest request,
Throwable failure) {
logger.error("Bulk is unsuccess : " + failure + ", executionId: " + executionId);
}
};
BiConsumer<BulkRequest, ActionListener<BulkResponse>> bulkConsumer =
(request, bulkListener) -> client
.bulkAsync(request, RequestOptions.DEFAULT, bulkListener);
BulkProcessor.Builder builder = BulkProcessor.builder(bulkConsumer,
listener);
builder.setBulkActions(5000);//刷新条数
builder.setBulkSize(new ByteSizeValue(100L, ByteSizeUnit.MB));// 刷新大小
builder.setConcurrentRequests(10);//并发线程数
builder.setFlushInterval(TimeValue.timeValueSeconds(100L));// 时间频率
builder.setBackoffPolicy(BackoffPolicy.constantBackoff(TimeValue.timeValueSeconds(1L), 3));//重试补偿策略
bulkProcessor = builder.build();
} catch (Exception e) {
e.printStackTrace();
try {
bulkProcessor.awaitClose(100L, TimeUnit.SECONDS);
} catch (Exception e1) {
logger.error(e1.getMessage());
}
}
return bulkProcessor;
}
注意点：
-
传入数据中的List中的每个Map为一条数据，Map中的key为字段Field，value为值。
-
假如在插入数据前index库中没有定义Field及映射关系，在插入数据时会自动新增字段Field，字段的类型会默认映射为value值的类型。
-
假如新插入的数据和之前第一次插入的数据类型不一致，(相同的key但是value的类型不一样)，这样在执行代码时可能不会报错失败，但是实际上并没有插入数据成功。
删除数据
代码
/**
* @description ES数据删除
* @author zae
* @date 2022/1/13 17:14
* @param index 索引库
* @param id 数据id
*/
public void delete(String index,String id){
DeleteRequest deleteRequest = new DeleteRequest(index,id);
DeleteResponse response = null;
try {
response = client.delete(deleteRequest,RequestOptions.DEFAULT);
} catch (IOException e) {
e.printStackTrace();
}
System.out.println(response);
}
删除的话直接指定索引库和要删除的数据的id进行删除，至于数据的id怎么获取，参考下面更新数据中的代码。
更新数据
直接修改
/**
* @description ES数据更新
* @author zae
* @date 2022/1/13 16:10
* @param index 索引库
* @param key 字段名
* @param value 更新后的值
* @param id 需要修改的那条数据的id
*/
public void update(String index,String key,Object value,String id){
try {
UpdateRequest request = new UpdateRequest();
request.index(index) //索引名
.id(id)//id
.doc(
XContentFactory.jsonBuilder()
.startObject()
.field(key, value)//要修改的字段 及字段值
.endObject()
);
UpdateResponse response= client.update(request,RequestOptions.DEFAULT);
System.out.println(response.status());
} catch (Exception e) {
e.printStackTrace();
}
}
-
更新数据需要传入指定的索引库，需要修改的字段名称，修改后的value值，以及代表那条数据的唯一id
-
关于唯一id怎么获得，可以参考以下代码。
public void selectAndUpdate(){ int count = 0; //step1：根据条件获取需要修改的数据的id SearchHit[] searchHits = esDeal.selectIdByKey(PRODUCT_DEV_INDEX, "name"); // step2:遍历更新查询出来的数据 for (SearchHit searchHit : searchHits) { // 获取到单条记录的id String id = searchHit.getId(); //调用更新数据的核心方法 esDeal.update(PRODUCT_DEV_INDEX,"name","张三",id); count++; } System.out.println("一共更新了"+count+"条数据"); } public SearchHit[] selectIdByKey(String index,String key){ BoolQueryBuilder boolQueryBuilder = QueryBuilders.boolQuery(); boolQueryBuilder.must(QueryBuilders.existsQuery(key)); SearchSourceBuilder sourceBuilder = new SearchSourceBuilder(); sourceBuilder.query(boolQueryBuilder) .trackTotalHits(true) .size(22); SearchRequest searchRequest = new SearchRequest() .indices(index) .source(sourceBuilder); try { SearchResponse searchResponse = client.search(searchRequest, RequestOptions.DEFAULT); SearchHit[] hits = searchResponse.getHits().getHits(); return hits; } catch (IOException e) { e.printStackTrace(); } return null; }
数据合并
数据合并其实也是更新的一种，关键在于怎么提取及封装需要更新的数据，根据业务场景的不同达到合并的效果，以上面的图片为例，我需要将以上数据的20004.value里面的值合并上新的数据却也保留着原有的数据。
@Test
public void selectAndUpdate(){
int count = 0;
//step1：根据条件获取需要修改的数据的id
SearchHit[] searchHits = esDeal.selectIdByKey(PRODUCT_DEV_INDEX, "20004.value");
for (SearchHit searchHit : searchHits) {
String id = searchHit.getId();
// step2:组装数据
Map<String, Object> sourceAsMap = searchHit.getSourceAsMap();
List<Map<String,Object>> mapList = (List<Map<String, Object>>) sourceAsMap.get("20004");
Map<String, Object> mapData = mapList.get(0);
// 获取之前20004.value的数据，并添加上新的数据
List value = (List) mapData.get("value");
value.add("120021");
value.add("3990993");
mapData.put("value",value);
// step3：根据id更新数据
esDeal.update(PRODUCT_DEV_INDEX,"20004",mapList,id);
count++;
}
System.out.println("一共更新了"+count+"条数据");
}
备注：
- 代码中调用的selectIdByKey()以及update()在更新数据的第一部分都有代码，直接使用就好。根据以上代码更新后的数据为：
- 在更新20004.value的值时，不需要保持和20004.value的原有数据类型一致，更新成其他类型也是可以的，这点和插入key：value的数据是有区别的。
