Elasticsearch 使用说明

# Elasticsearch 使用说明
#### 1.导包   （我用的是基于5.5版本的 ES， 大家 pip install的时候一定要注意版本号，别下载成老版的包了）
from elasticsearch import Elasticsearch, RequestsHttpConnection 
#### 2.建立连接
```
es = Elasticsearch(
    [<host>],
    http_auth=('name', 'password'),
    port=9200, # 端口号 9200固定
    use_ssl=False  # 是否使用ssl
)
```
------------------------------------------------------------------------------------------------------------------------------------------
#### 3.映射参数
```
mappings = {
    "mappings": {
        "type_doc_test": {              # type_doc_test为doc_type  # 也就是文档名字
            "properties": {             # 内容-> 字段设置
                "id": {                 # 字段名称
                    "type": "long",     # 字段类型
                    "index": "true"     # 是否建立索引
                },
                "is_received": {
                    "type": "boolean",  
                    "index": "false"   
                },
            }
        }
    }
}
mapping 信息中指定了分词的字段，指定了字段的类型 type 为 text，字段属性里面需要添加（如果是 购买的阿里服务 不用考虑这点）：
分词器 analyzer 和 搜索分词器 search_analyzer 为 ik_max_word

[字段类型官方文档](https://www.elastic.co/guide/en/elasticsearch/reference/current/mapping-types.html)

1.字符串类型
    text 、 keyword      # keyword不会进行分词,text会分词  （text模糊搜索[contains]，keyword精确搜索[==]）
2.数值类型
    long, integer, short, byte, double, float, half_float, scaled_float
3.日期类型
    date
4.布尔值类型
    boolean
5.二进制类型
    binary
6.范围类型
    integer_range, float_range, long_range, double_range, date_range
7.Array数据类型(Array不需要定义特殊类型)
    [ "one", "two" ]
    [ 1, 2 ]
    [{ "name": "Mary", "age": 12 },{ "name": "John", "age": 10}]
8.object数据类型 （json嵌套） # 注意必须小写
    { 
      "region": "US",
      "manager": { 
    "age":     30,
    "name": { 
      "first": "John",
      "last":  "Smith"
    }
      }
    }
9.地理数据类型
    Geo-point，Geo-Shape(比较复杂，参考官网文档，一般用Geo-point就可以了)
10.特殊数据类型
    ip(IPv4 and IPv6 addresses)
    completion(自动完成/搜索)
    token_count (数值类型，分析字符串，索引的数量)
    murmur3 (索引时计算字段值的散列并将它们存储在索引中的功能。 在高基数和大字符串字段上运行基数聚合时有很大帮助)
    join (同一索引的文档中创建父/子关系)        
```
#### 4.基本语法
```
1.创建索引
res = es.indices.create(index='datebeses', body=mappings)

index相当于数据库名称, body指定映射关系, 上述命令执行结果为：
创建一个名称为datebases的索引（数据库），创建第一张表名称为type_doc_test。
返回结果：{'acknowledged': True, 'shards_acknowledged': True}



------------------------------------------------------------------------------------------------------------------------------------------


2.插入单个数据
achtion = {
            'is_received': false,
            'id': 1,
        }
res = es.index(index="datebeses", doc_type="doc_type_test", body=action, id=1)


index 指定插入数据到哪个索引
doc_type 指定插入数据到哪个文档
bady 指定需要插入的数据（数据类型说明：python->dict ,  ohter->object）
id 非必传参数 建议传入手动输入 否则后续 get方法id不好指定， 不传id es会自动生成一个字符串id,不方便记录。
返回结果：
{'_id': '1', 
'result': 'created', 
'_index': 'index_test', 
'created': True, 
'_version': 1, 
'_type': 'doc_type_test', 
'_shards':{
            'failed': 0, 
            'successful': 2, 
            'total': 2
        }
}
2.1 多个数据插入

helpers.bulk(client=es,actions=actions)  # actions 列表
actions = [
    {
        "_index": "concrete_values",
        "_type": "concrete_values_list",
        "_id": 1,
        "_source": {
            "id": 1,
            "create_time": '2019-01-25',
            "update_time": '2019-01-25',
            "formset_concrete_id": 1,
            "case_id": 1,
            "company_id": 1,
            "biz_meta_id": 1,
            "value": {"value": "hello world!"},
            "content": "hello world",
            "name": "测试values", }},

]

------------------------------------------------------------------------------------------------------------------------------------------

3. 单个数据查询
res = es.get(index="index_test", doc_type="doc_type_test", id=1) # id参数必传

返回结果
{'_source': {'id': 1, 'is_received': True}, '_version': 1, '_index': 'index_test', 'found': True, '_type': 'doc_type_test', '_id': '1'}

```
------------------------------------------------------------------------------------------------------------------------------------------


#### 4.1 简单查询
```
doc = {
    "query": {  # 查询集
         "match": {  # 查询器
             # 字段名 以及 值  查询的字段type在建立索引的时候如果设置的为text才可以分词查询 其他 都为 ==
             "id": 50000}
         },
    "sort": {"id": {"order": "desc"}},  # 排序   字段  排序方式
    "from": 0,  # 从第几个数据查询
    "size": 1  # 每页的数据数量
}
```

#### 4.2 搜索所有数据
```
es.search(index="my_index",doc_type="test_type")
# 或者
body = {
    "query":{
        "match_all":{}
    }
}
es.search(index="my_index",doc_type="test_type",body=body)
```


#### 4.3 term与terms 
```
# term
body = {
    "query":{
        "term":{
            "name":"python"
        }
    }
}
# 查询name="python"的所有数据
es.search(index="my_index",doc_type="test_type",body=body)

# terms
body = {
    "query":{
        "terms":{
            "name":[
                "python","android"
            ]
        }
    }
}
# 搜索出name="python"或name="android"的所有数据
es.search(index="my_index",doc_type="test_type",body=body)
```


#### 4.4 match与multi_match  单字段或多个字段查询
```
# match:匹配name包含python关键字的数据
body = {
    "query":{
        "match":{
            "name":"python"
        }
    }
}
# 查询name包含python关键字的数据
es.search(index="my_index",doc_type="test_type",body=body)
 
# multi_match:在name和addr里匹配包含深圳关键字的数据
body = {
    "query":{
        "multi_match":{
            "query":"深圳",
            "fields":["name","addr"]
        }
    }
}
# 查询name和addr包含"深圳"关键字的数据
es.search(index="my_index",doc_type="test_type",body=body)
```

#### 4.5 ids 多个ID查询
```
body = {
    "query":{
        "ids":{
            "type":"test_type",
            "values":[
                "1","2"
            ]
        }
    }
}
# 搜索出id为1或2d的所有数据
es.search(index="my_index",doc_type="test_type",body=body)
```

#### 4.6 复合查询
```
body = {
    "query":{
        "bool":{
            "must":[
                {
                    "term":{
                        "name":"python"
                    }
                },
                {
                    "term":{
                        "age":18
                    }
                }
            ]
        }
    }
}
# 获取name="python"并且age=18的所有数据
es.search(index="my_index",doc_type="test_type",body=body)

```

#### 4.7 切片式查询
```
# 可以用作分页
body = {
    "query":{
        "match_all":{}
    }
    "from":2    # 从第二条数据开始
    "size":4    # 获取4条数据
}
# 从第2条数据开始，获取4条数据
es.search(index="my_index",doc_type="test_type",body=body)

```

#### 4.8 范围查询
```
body = {
    "query":{
        "range":{
            "age":{
                "gte":18,       # >=18
                "lte":30        # <=30
            }
        }
    }
}
# 查询18<=age<=30的所有数据
es.search(index="my_index",doc_type="test_type",body=body)

```
#### 4.9 前缀查询
```
body = {
    "query":{
        "prefix":{
            "name":"p"
        }
    }
}
# 查询前缀为"p"的所有数据
es.search(index="my_index",doc_type="test_type",body=body)

```
#### 4.10 通配符查询
```
body = {
    "query":{
        "wildcard":{
            "name":"*id"
        }
    }
}
# 查询name以id为后缀的所有数据
es.search(index="my_index",doc_type="test_type",body=body)

```
#### 4.11 排序
```
body = {
    "query":{
        "match_all":{}
    }
    "sort":{
        "age":{                 # 根据age字段升序排序
            "order":"asc"       # asc升序，desc降序
        }
    }
}

```
#### 4.12 响应过滤
```
# 只需要获取_id数据,多个条件用逗号隔开
es.search(index="my_index",doc_type="test_type",filter_path=["hits.hits._id"])
 
# 获取所有数据
es.search(index="my_index",doc_type="test_type",filter_path=["hits.hits._*"])

```
#### 4.13 count
```
# 获取数据量
es.count(index="my_index",doc_type="test_type")

```
#### 4.14 聚合查询
**· 4.14.1 获取最小值**
```
body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查询
        "min_age":{                 # 最小值的key
            "min":{                 # 最小
                "field":"age"       # 查询"age"的最小值
            }
        }
    }
}
# 搜索所有数据，并获取age最小的值
es.search(index="my_index",doc_type="test_type",body=body)
```
**· 4.14.2 获取最大值**
```
body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查询
        "max_age":{                 # 最大值的key
            "max":{                 # 最大
                "field":"age"       # 查询"age"的最大值
            }
        }
    }
}
# 搜索所有数据，并获取age最大的值
es.search(index="my_index",doc_type="test_type",body=body)
```
**· 4.14.3 获取和**
```

body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查询
        "sum_age":{                 # 和的key
            "sum":{                 # 和
                "field":"age"       # 获取所有age的和
            }
        }
    }
}
# 搜索所有数据，并获取所有age的和
es.search(index="my_index",doc_type="test_type",body=body)

```
**· 4.14.4 获取平均值**
```
body = {
    "query":{
        "match_all":{}
    },
    "aggs":{                        # 聚合查询
        "avg_age":{                 # 平均值的key
            "sum":{                 # 平均值
                "field":"age"       # 获取所有age的平均值
            }
        }
    }
}
# 搜索所有数据，获取所有age的平均值
es.search(index="my_index",doc_type="test_type",body=body)

```
------------------------------------------------------------------------------------------------------------------------------------------
#### 5 查询数据数量
```
res = es.search(index="index_test", doc_type="doc_type_test", filter_path=["hits.total"])
{'hits': {'total': 1}} # total是该doc里面所有的数量 可以用来与from size 做分页

res = es.count(index="index_test",doc_type="doc_type_test")
{'_shards': {'total': 5, 'successful': 5, 'failed': 0}, 'count': 1}
```
#### 6 删除一条数据
```
res = es.delete(index="index_test", doc_type="doc_type_test", id=1， ignore=[400, 404])
# 失败 返回结果  如果 没有ignore 找不到记录会报异常
{'_id': '2', '_index': 'index_test', '_type': 'doc_type_test', '_version': 2, 'found': False, '_shards': {'successful': 2, 'total': 2, 'failed': 0}, 'result': 'not_found'}
# 成功返回结果
{'_shards': {'failed': 0, 'total': 2, 'successful': 2}, 'result': 'deleted', '_index': 'index_test', '_type': 'doc_type_test', 'found': True, '_version': 2, '_id': '1'}
```
#### 7更新数据
```
#更新的主要点： 
#1. 需要指定 id 
#2. body={"doc": <xxxx>} , 这个doc是必须的
es.update(index="index_test",doc_type="doc_type_test",id=1,body={"doc":{"id":"python1","is_received":False}})
```
#### 7.1 条件删除，更新
```
# 删除
delete_by_query：删除满足条件的所有数据，查询条件必须符合DLS格式

query = {'query': {'match': {'sex': 'famale'}}}# 删除性别为女性的所有文档

query = {'query': {'range': {'age': {'lt': 11}}}}# 删除年龄小于11的所有文档

es.delete_by_query(index='indexName', body=query, doc_type='typeName')


# 更新
update_by_query：更新满足条件的所有数据，写法同上删除和查询
```

##### 8 删除索引  慎用！
```
result = es.indices.delete(index='index_test', ignore=[400, 404])

```