huan1993的技术分享

摘要： 1、背景 此处来简单学习一下 elasticsearch 的 date_histogram直方图聚合。它和普通的直方图histogram聚合差不多，但是date_histogram只可于 日期或日期范围 类型的值一起使用。 2、bucket_key如何计算 假设我们存在如下时间 2022-11-29 阅读全文

摘要： 1. 简介 直方图聚合是一种基于多桶值聚合，可从文档中提取的数值或数值范围值来进行聚合。它可以对参与聚合的值来动态的生成固定大小的桶。 2. bucket_key如何计算 假设我们有一个值是32，并且桶的大小是5，那么32四舍五入后变成30，因此文档将落入与键30关联的存储桶中。下面的算式可以精确的 阅读全文

摘要： 1、背景 我们知道当我们使用 terms聚合时，当修改默认顺序为_count asc时，统计的结果是不准备的，而且官方也不推荐我们这样做，而是推荐使用rare terms聚合。rare terms是一个稀少的term聚合，可以一定程度的解决升序问题。 2、需求 统计province字段中包含上和湖的 阅读全文

摘要： 1、背景 我们知道在sql中是可以实现 group by 字段a,字段b，那么这种效果在elasticsearch中该如何实现呢？此处我们记录在elasticsearch中的3种方式来实现这个效果。 2、实现多字段聚合的思路 图片来源：https://www.elastic.co/guide/en/ 阅读全文

摘要： 1. 背景 此处简单记录一下bucket聚合下的terms聚合。记录一下terms聚合的各种用法，以及各种注意事项，防止以后忘记。 2. 前置条件 2.1 创建索引 PUT /index_person { "settings": { "number_of_shards": 1 }, "mapping 阅读全文

摘要： 1、背景 此处简单记录一下，elasticsearch8和kibana8在Centos7下的单机安装步骤。 2、es对jdk和操作系统的要求等 不同版本的es对jdk和操作系统的要求不等，我们选择合适的版本，可以通过如下 https://www.elastic.co/cn/support/matri 阅读全文

摘要： 1、背景 我们可以通过fastdfs实现一个分布式文件系统，如果我们的fastdfs部署在外网，那么任何一个人知道了我们的上传接口，那么它就可以文件的上传和访问。那么我们如何阻止他人访问我们fastdfs服务器上的文件呢？此处就需要使用fastdfs的防盗链功能。 2、实现原理 fastdfs的防盗 阅读全文

摘要： 1、背景 在前一节中，我们搭建了一个单机版的fastdfs服务，此处我们将fastdfs与springboot进行整合，实现文件的上传和下载。 2、整合步骤 2.1、引入依赖 <dependency> <groupId>com.github.tobato</groupId> <artifactId> 阅读全文

摘要： 1、背景 最近由于某些原因接触到了分布式存储，而像阿里云的OSS等都是需要付费的，那么有没有免费的呢？fastdfs就是一个免费的，此处记录一下如何搭建一个单机版的 fastdfs 环境。 2、fastdfs的一些知识 2.1 fastdfs的特点 分组存储，灵活简洁 对等结构，不存在单点 文件ID 阅读全文

摘要： 1、需求 系统每日从某个固定的目录中读取csv文件，并在控制台上打印。 2、解决方案 要解决上述需求，可以使用的方法有很多，此处选择使用Spring Batch来实现。 3、注意事项 1、文件路径的获取 此处简单处理，读取 JobParameters 中的日期，然后构建一个文件路径，并将文件路径放入 阅读全文