pyspark 往 elasticsearch 中写数据

df.write.format('org.elasticsearch.spark.sql') \
        .option('es.nodes', '10.0.0.1') \
        .option('es.port', '9200') \
        .option('es.resource', 'test/nested_type') \
        .option('es.mapping.id', 'id') \
        .option('es.write.operation', 'update') \
        .option('es.update.script.inline', "if(ctx._source.containsKey('name')){if(!ctx._source.name.contains('bob')){ctx._source.name.add('bob')}}") \
        .save(mode='append')

参数:

Configuration | Elasticsearch for Apache Hadoop [8.14] | Elastic

posted @ 2024-06-27 11:06  猫种鱼  阅读(31)  评论(0)    收藏  举报