随笔分类 -  elasticsearch

python bulk批量保存elasticsearch数据
摘要:之前用kclpy读取kinesis流数据,处理并保存到elasticsearch中,现在发现elk中的数据展示与当前时间差越来越大(源数据增加了三倍)。阅读kinesis文档进行相应分片、实例数扩展,均没有明显效果。 重新优化了下代码,使用了bulk批量保存数据到elasticsearch,存放速率 阅读全文

posted @ 2021-05-19 19:47 进击的davis 阅读(513) 评论(0) 推荐(0)

ElasticSearch 字段数据存在,但用term查询搜索不到指定的数据
摘要:最近遇到个问题,使用term形式在es中query或者aggs时,发现竟然查不到数据,反而match却可以。几经波折,发现,如果字段type是text类型,是不支持term形式的keyword方式查找的,重新mapping,可以在该字段下加入keyword的fields,就可以实现term查找了。 阅读全文

posted @ 2021-05-12 10:39 进击的davis 阅读(2326) 评论(0) 推荐(0)

ElasticSearch查询 搜索 | 更新 | 查询
摘要:《ElasticSearch查询》目录导航: ElasticSearch查询 第一篇:搜索API ElasticSearch查询 第二篇:文档更新 ElasticSearch查询 第三篇:词条查询 ElasticSearch查询 第四篇:匹配查询(Match) ElasticSearch查询 第五篇 阅读全文

posted @ 2021-04-22 10:59 进击的davis 阅读(54) 评论(0) 推荐(0)

elasticsearch查询时设置最大返回数 max_result_window | 限制字段总数超1000
摘要:es默认最大返回数是10000,支持的最大返回数是2^31-1,也就是2147483647,不建议设置太大,query数据时size不要太大,总得考虑内存消耗的,设置了返回max后可以用分页获取, from:num_a, size:num_b,获取的就是num_a+1到num_a+num_b的数据。 阅读全文

posted @ 2021-04-13 14:47 进击的davis 阅读(6774) 评论(0) 推荐(0)

python elasticsearch加入@timestamp字段设置及时区设置
摘要:es不常用,最近业务需要用到,因为kibana显示数据需要基于时间轴,临时学习一波,废话不多说,看以下代码: # -*- coding: utf-8 -*- # @Time : 2021-04-13 09:51 # @Author : xxx # @FileName: demo_es.py # @S 阅读全文

posted @ 2021-04-13 10:59 进击的davis 阅读(3470) 评论(0) 推荐(0)

python实现elasticsearch操作-CRUD API
摘要:#python操作elasticsearch常用API *官方API: * https://elasticsearch-py.readthedocs.io/en/master/api.html#global-options ##1.基础 通过elasticsearch 模块实现python与elas 阅读全文

posted @ 2020-09-25 19:57 进击的davis 阅读(417) 评论(0) 推荐(0)

elasticsearch要点及常用查询
摘要:elasticsearch要点及常用查询 查询与过滤 明确查询和过滤各自的优缺点,以及适用场景。 过滤语句会询问每个文档的字段值是否包含着特定值,查询语句会询问每个文档的字段值与特定值的匹配程度如何。这一点较好区分,一条查询语句会计算每个文档与查询语句的相关性,会给出一个相关性评分 _score,并 阅读全文

posted @ 2020-09-25 10:06 进击的davis 阅读(664) 评论(0) 推荐(0)

elasticsearch练习
摘要:#elasticsearch练习 最近在学习elasticsearch,做了一些练习,分享下练习成果,es基于6.7.2,用kibana处理DSL,有兴趣的伙伴可以自己试试 ##1.简单查询练习 source: test003/doc ###1.1 查询name中包含"li"的人, GET test 阅读全文

posted @ 2020-09-25 10:02 进击的davis 阅读(816) 评论(0) 推荐(0)

导航