es之8:批量查询mget、批量增删改bulk,document的全量替换

1、批量查询的好处

就是一条一条的查询,比如说要查询100条数据,那么就要发送100次网络请求,这个开销还是很大的。如果进行批量查询的话,查询100条数据,就只要发送1次网络请求,网络请求的性能开销缩减100倍

2、批量查询  mget

可以说mget是很重要的,一般来说,在进行查询的时候,如果一次性要查询多条数据的话,那么一定要用batch批量操作的api,尽可能减少网络开销次数,可能可以将性能提升数倍,甚至数十倍,非常非常之重要。

先放点数据:

put /ecommerce/product/1
{
  "a":"1",
  "b":"2"
}
put /ecommerce/product/2
{
  "a":"3",
  "b":"4"
}

批量查询:

GET /_mget
{
"docs":[
 {
  "_index":"ecommerce",
  "_type":"product",
  "_id":1
 },
 {
  "_index":"ecommerce",
  "_type":"product",
  "_id":2
 }
]
}

 

结果:

{
  "docs" : [
    {
      "_index" : "ecommerce",
      "_type" : "product",
      "_id" : "1",
      "_version" : 1,
      "_seq_no" : 0,
      "_primary_term" : 1,
      "found" : true,
      "_source" : {
        "a" : "1",
        "b" : "2"
      }
    },
    {
      "_index" : "ecommerce",
      "_type" : "product",
      "_id" : "2",
      "_version" : 1,
      "_seq_no" : 0,
      "_primary_term" : 1,
      "found" : true,
      "_source" : {
        "a" : "3",
        "b" : "4"
      }
    }
  ]
}

 

如果docs内的document都是同一个index则可以简略为:
get ecommerce/_mget
{
  "docs":[
      {
        "_type":"product",
        "_id":1
      },
      {
        "_type":"product",
        "_id":2
      }
    ]

}
结果同上
 
如果docs内的document都是同一个index同一个type则可以进一步简略为:
GET /ecommerce/product/_mget
{
      "ids":[1,2,3,4]

}

3、批量增删改 bulk

       1、bulk语法
                POST /_bulk
                {"action":{"_index":"","_type":"","_id":""}}
                {"data"}
        action的值有:
                 (1)delete:删除一个文档,只要1个json串就可以了

   (2)create:PUT /index/type/id/_create,强制创建

   (3)index:普通的put操作,可以是创建文档,也可以是全量替换文档

   (4)update:执行的partial update操作       

        注意:

                        (1)action所在json和data所在的json要换行,当action为delete时没有data

                        (2)action所在的json内不能有空格换行,否则出错
                        (3)每个json串不能换行,只能放一行,同时一个json串和一个json串之间,必须有一个换行
                        (4)bulk操作中,任意一个操作失败,是不会影响其他的操作的,但是在返回结果里,会告诉你异常日志
                示例:
POST /_bulk
{"delete":{"_index":"test_index","_type":"test_type","_id":"3"}}
{"create":{"_index":"test_index","_type":"test_type","_id":"13"}}
{"test_field":"replaced test13"}
{"index":{"_index":"test_index","_type":"test_type","_id":"2"}}
{"test_field":"replaced test2"}
{"update":{"_index":"test_index","_type":"test_type","_id":"1","_retry_on_conflict":3}}
{"doc":{"test_field2":"bulk test 1"}}
            2、bulk size最佳大小

            bulk request会加载到内存里,如果太大的话,性能反而会下降,因此需要反复尝试一个最佳的bulk size。一般从1000~5000条数据开始,尝试逐渐增加。另外,如果看大小的话,最好是在5~15MB之间。

1、document的全量替换

    (1)语法与创建文档是一样的,如果document id不存在,那么就是创建;如果document id已经存在,那么就是全量替换操作,替换document的json串内容
    (2)document是不可变的,如果要修改document的内容,第一种方式就是全量替换,直接对document重新建立索引,替换里面所有的内容
    (3)es会将老的document标记为deleted,然后新增我们给定的一个document,当我们创建越来越多的document的时候,es会在适当的时机在后台自动删除标记为deleted的document

2、document的强制创建

    (1)创建文档与全量替换的语法是一样的,有时我们只是想新建文档,不想替换文档,如果强制进行创建呢?
    (2)PUT /index/type/id?op_type=create 或者 PUT /index/type/id/_create

3、document的删除

    (1)DELETE /index/type/id
    (2)不会理解物理删除,只会将其标记为deleted,当数据越来越多的时候,在后台自动删除

posted on 2022-02-19 23:31  duanxz  阅读(948)  评论(0编辑  收藏  举报