随笔分类 -  elasticsearch

摘要：背景 用户需求：近期数据查询速度快，较远历史数据运行查询速度慢？ 对于开发人员而言即数据的冷热分离，实现此功能有2个前提条件： 1. 硬件：处理速度不同的硬件，最起码有读写速度不同的硬盘，如SSD、机械硬盘HDD。 2. 软件配置：可以配置 不同的数据存储在不同的硬盘，如近期数据存储在SSD，较远历 阅读全文

摘要：从es将数据导出分两步： 1. 查询大量数据 2. 将数据生成文件并下载 本篇主要是将第二步，第一步在《 "es实战之查询大量数据" 》中已讲述。 csv vs excel excel2003不能超过65536， excel2007及以上版本支持1048576条数据。excel支持的数据量有限，并且 阅读全文

摘要：背景 项目中已提供海量日志数据的多维实时查询，客户提出新需求：将数据导出。 将数据导出分两步： 1. 查询大量数据 2. 将数据生成文件并下载 本文主要探讨第一步，在es中查询大量数据或者说查询大数据集。 es支持的查询数量 es默认支持的查询数量或者说查询深度是10,000。 可以动态修改max_ 阅读全文

摘要：聚合可以做什么？ 1. count 2. avg 3. filter and count 4. 每月新增 5. top 6. 是否存在不正常或不符合规则的数据 关键概念 Buckets group by 将数据按某种标准划分成不同集合 桶嵌套： Cincinnati would be placed 阅读全文

摘要：基本概念 可以对照数关系型据库来理解Elasticsearch的有关概念。 Relational DB | Elasticsearch | Databases | Indices Tables | Types Rows| Documents Columns| Fields 在ES中，存储结构主要有四 阅读全文