Elasticsearch（二）DSL 语句的使用
Elasticsearch（二）DSL 语句的使用
官网教程：https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl.html
简介：
Elasticsearch提供了基于JSON的完整查询DSL（特定于域的语言）来定义查询。将查询DSL视为查询的AST（抽象语法树），它由两种子句组成：
- 查询子句的行为有所不同，具体取决于它们是在 查询上下文中还是在过滤器上下文中使用。
ElasticSearch DSL 语句使用
一、新增数据
ElasticSearch可以直接新增数据，只要你指定了index(索引库名称)和type(类型)即可。在新增的时候你可以自己指定主键ID，也可以不指定，由 ElasticSearch自身生成。
1.1、新增数据命令示例:
POST test_add/_doc/1
{
"uid" : "123456",
"phone" : "18227585633",
"message" : "测试新增",
"msgcode" : "1",
"sendtime" : "2021-05-06 01:57:04"
}
kinaba示例图:
通过上面的请求我们可以发现，没有test_add索引库的时候，默认创建了索引库，如果我们不希望没有的时候自动创建，可以修改配置，执行如下请求：
PUT _cluster/settings
{
"persistent": {
"action.auto_create_index": "false"
}
}
请注意：在绝大多数情况下，我们并不需要这么做，除非你知道你要做什么。详细设置请参阅链接。如果你你想禁止自动创建索引，您必须配置action.auto_create_index以允许这些创建以下索引的组件：
PUT _cluster/settings
{
"persistent": {
"action.auto_create_index": ".monitoring*,.watches,.triggered_watches,.watcher-history*,.ml*"
}
}
1.2、查看 test_add索引的详细信息：
GET test_add/
如果需要查看某一个属性可以使用：
GET test_add/_mappings
只查看mappings 字段的属性：
二、创建索引库
在上述示例中，我们通过直接通过创建数据从而创建了索引库，但是没有创建索引库而通过ES自身生成的这种并不友好，因为它会使用默认的配置，字段结构都是text(text的数据会分词，在存储的时候也会额外的占用空间)，分片 和 索引副本采用默认值，默认是 5 和 1，ES的分片数在创建之后就不能修改，除非 reindex (下面会讲到)，所以这里我们还是指定数据模板进行创建。
这里先简单介绍一下ES的数据结构，以下的数据结构为 ES 的 6.x 版本。
-
核心数据类型
text 和 keyword -
数值数据类型
long，integer，short，byte，double，float，half_float，scaled_float -
日期数据类型
date -
布尔数据类型
boolean -
二进制数据类型
binary -
范围数据类型
integer_range，float_range，long_range，double_range，date_range -
复杂数据类型编辑
-
对象数据类型
object 用于单个JSON对象 -
嵌套数据类型
nested 用于JSON对象数组 -
地理数据类型编辑
-
地理位置数据类型
geo_point 纬度/经度积分 -
地理形状数据类型
geo_shape 用于多边形等复杂形状 -
专业数据类型编辑
-
IP数据类型
ip 用于IPv4和IPv6地址 -
完成数据类型
completion 提供自动完成建议 -
令牌计数数据类型
token_count 计算字符串中令牌的数量
mapper-murmur3
murmur3 在索引时计算值的哈希并将其存储在索引中
mapper-annotated-text
annotated-text 索引包含特殊标记的文本（通常用于标识命名实体） -
渗滤器类型
接受来自query-dsl的查询 -
join 数据类型
为同一索引内的文档定义父/子关系 -
别名数据类型
为现有字段定义别名。 -
多字段编辑
为不同的目的以不同的方式对同一字段建立索引通常很有用。例如，一个string字段可以映射为text用于全文搜索的字段，也可以映射为keyword用于排序或聚合的字段。或者，您可以使用standard分析仪， english分析仪和 french分析仪索引文本字段。
这是多领域的目的。大多数数据类型通过fields参数支持多字段。
上面介绍的字段介绍虽然比较复杂，但是我们常用的几个类型也就是这几种 text、keyword、byte、short、integer、long、float、double、boolean、date，其中 text 和 keyword 都是 string 类型，选择区分很简单，需要进行分词用text，不需要并且进行排序或聚合的可以用 keyword。
关于ES的数据结构就到这里了，我们来进行索引库的创建吧！
新增索引库的命令示例:
PUT test_add2
{
"settings" : {
"number_of_shards" : 10,
"number_of_replicas" : 1,
"refresh_interval" : "1s"
},
"mappings" : {
"_doc" : {
"properties" : {
"uid" : { "type" : "long" },
"phone" : { "type" : "long" },
"message" : { "type" : "keyword" },
"msgcode" : { "type" : "long" },
"sendtime" : {
"type" : "date",
"format" : "yyyy-MM-dd HH:mm:ss"
}
}
}
}
}
settings字段说明:
- number_of_shards: 是设置的分片数，设置之后无法更改！
- refresh_interval: 是设置es缓存的刷新时间，如果写入较为频繁，但是查询对实时性要求不那么高的话，可以设置高一些来提升性能。可以更改
- number_of_replicas : 是设置该索引库的副本数，建议设置为1以上。
其中这里还有几个重要参数也顺便说一下:
- store: true/false 表示该字段是否存储，默认存储。
- doc_values: true/false 表示该字段是否参与聚合和排序。
- index: true/false 表示该字段是否建立索引，默认建立。
三、修改数据
其实ES的新增和修改可以看做是一样，存在则修改，不存在则新增，不过这里还是简单的介绍下吧。
修改数据的方式主要有两种，一种是通过主键ID进行修改，这种比较简单，就是和新增一样即可。
另一种则是通过条件进行修改，相当于SQL更新语句的 where条件。
根据主键修改的命令示例:
POST test_add/_doc/1
{
"uid" : "123456",
"phone" : "18227585933",
"message" : "测试修改",
"msgcode" : "1",
"sendtime" : "2021-05-06 01:57:04"
}
根据条件修改的命令示例:
POST test_add/_update_by_query
{
"query": {
"term": {
"phone": "18227585933"
}
} ,
"script": {
"source": "ctx._source['message'] = 'ddw'"
}
}
四、删除数据、字段和索引库
ES根据主键删除数据的命令示例是 DELETE 索引库/id，简单实用，但是一定要要加上ID，不然就是删除索引库了！
根据主键删除数据命令示例：
DELETE test_add/1
根据条件删除数据的命令示例：
POST test/_delete_by_query
{
"query": {
"term": {
"phone": "12345678909"
}
}
}
五、查询语句
查询所有
match_all可以查询集群所有索引库的信息，包括一些隐藏索性库的信息。
命令示例:
GET _search
{
"query": {
"match_all": {}
}
}
查询索引库所有的数据，命令格式为 GET 索引库名称/索引库类型/_search，也可以不需要索引库类型
GET test_add/_doc/_search
如果根据ID查询某一条数据的话，也比较简单，只需要将上述的_search换成主键ID即可。
命令示例:
GET test_add/_doc/2
等值（term）查询
term主要用于精确匹配哪些值，比如数字，日期，布尔值或 not_analyzed 的字符串(未经分析的文本数据类型)
比如根据手机号进行查询。
命令示例:
GET test_add/_doc/_search
{
"query": {
"term": {
"phone": "123456789"
}
}
}
当然，如果想在一个字段匹配多个值的话，可以使用terms，相当于SQL的in语法。
命令示例:
GET test1/_doc/_search
{
"query": {
"terms": {
"uid": [
1234,
12345,
123456
]
}
}
}
范围（range ）查询
range 可以理解为SQL中的> <符号，其中 gt 是大于，lt 是小于，gte 是大于等于，lte 是小于等于。
命令示例:
GET test1/_doc/_search { "query": { "range": { "uid": { "gt": 1234, "lte": 12345 } } } }
存在(exists)查询
exists 可以理解为SQL中的exists函数，就是判断是否存在该字段。
这里我们新增一条没有 msgcode 的字段，然后用exists去查询。
POST test_add/_doc/2 { "uid" : "123456", "phone" : "123456789", "message" : "测试是否存在", "sendtime" : "2021-05-06 01:57:04" }
存在查询命令示例:
GET test1/_doc/_search
{
"query": {
"exists": {
"field":"msgcode"
}
}
}
组合(bool)查询
bool 可以用来合并多个过滤条件查询结果的布尔逻辑，它包含这如下几个操作符:
- must : 多个查询条件的完全匹配,相当于 and。
- must_not ::多个查询条件的相反匹配，相当于 not。
- should : 至少有一个查询条件匹配, 相当于 or。
查询的命令示例:
GET /test_add/_search
{
"query": {
"bool": {
"must": {
"term": {
"phone": "123456789"
}
},
"must_not": {
"term": {
"uid": 12345
}
},
"should": [
{
"term": {
"uid": 1234
}
},
{
"term": {
"uid": 123456
}
}
],
"adjust_pure_negative": true,
"boost": 1
}
}
}
模糊(wildcard)查询
wildcard 查询相当于SQL语句中的 like 语法，只不过它查询的数据需要加上*符号。
模糊查询命令示例:
GET /test_add/_search { "query": { "wildcard": { "message":"*wu*" } } }
正则(regexp)查询
regexp可以支持正则查询，比如查询短信内容中的验证码之类的
下面的这个示例就是查询以xu开头，后面是0-9数字的内容的数据。
正则查询命令示例:
GET /test_add/_search
{
"query": {
"regexp": {
"message":"xu[0-9]"
}
}
}
浙公网安备 33010602011771号