es底层原理（ds）

Elasticsearch（简称 ES）是一款基于 Lucene 的分布式搜索引擎，其底层原理围绕分布式架构、倒排索引、实时搜索、数据分片与副本等核心机制展开。以下从多个维度详细解析其底层原理：

一、核心架构与组件

  1. 节点与集群
    • 节点（Node）：ES集群由多个节点组成，每个节点承担不同角色：
      • 主节点（Master Node）：管理集群状态（如分片分配、节点发现）。
      • 数据节点（Data Node）：存储数据分片，执行数据操作。
      • 协调节点（Coordinating Node）：处理客户端请求，路由请求到相关分片并聚合结果。
    • 集群（Cluster）：通过唯一名称标识，节点间通信实现高可用和负载均衡。
  2. 索引与分片
    • 索引（Index）：逻辑上类似数据库，存储JSON文档的集合。每个索引可划分为多个分片。
    • 分片（Shard）：
      • 主分片（Primary Shard）：数据存储的逻辑单元，支持水平扩展。
      • 副本分片（Replica Shard）：主分片的冗余副本，提供高可用性和读取负载均衡。
    • 分片机制：通过哈希函数和模运算路由文档到主分片，确保同一ID的文档始终路由到同一分片。

  3. 一、集群管理：节点与协调

    ES 集群由多个节点（Node）组成，通过Zen Discovery机制进行节点发现和选主：
    1. 节点类型：
      • 主节点（Master Node）：负责集群元数据管理（如索引创建、分片分配），不处理数据请求。
      • 数据节点（Data Node）：存储分片并处理 CRUD、搜索请求。
      • 协调节点（Coordinating Node）：接收客户端请求，分发到其他节点并汇总结果（默认所有节点都是协调节点）。
    2. 选主机制：
      • 当集群启动或主节点故障时，通过 Zen Discovery 选举新主节点（需半数以上节点投票支持）。
      • 最小主节点数（discovery.zen.minimum_master_nodes）：防止脑裂（如网络分区导致多个主节点），通常设为(节点数/2)+1。

  4. 一、分布式架构：分片与副本

    ES 通过分片（Shard） 和副本（Replica） 实现分布式存储与高可用：
    1. 分片（Shard）
      1. 作用：将海量数据拆分到多个分片（默认每个索引 5 个主分片），每个分片是一个独立的 Lucene 实例，可分布在不同节点。
      2. 类型：
        • 主分片（Primary Shard）：数据写入的主节点，不可修改（索引创建后主分片数量固定）。
        • 副本分片（Replica Shard）：主分片的副本，用于分担查询压力和故障恢复（数量可动态调整）。
      3. 路由规则：文档写入时，通过哈希算法（shard = hash(routing) % 主分片数）确定存储的主分片，routing默认是文档 ID。
    2. 副本（Replica）
      1. 高可用：若主分片所在节点故障，副本分片会被自动提升为主分片。
      2. 负载均衡：查询请求可分发到副本分片，提高查询吞吐量。

二、数据存储与索引机制

  1. 倒排索引（Inverted Index）
    • 核心原理：将文档中的词条（Term）映射到包含该词条的文档列表，实现快速检索。例如，词条“Elasticsearch”会指向所有包含该词的文档。
    • 构建流程：
      • 分词：文本经分词器（Analyzer）处理，包括分词、过滤停用词、词干提取等。
      • 词汇表（Vocabulary）：存储唯一词条并排序，优化检索效率。
      • 倒排列表（Posting List）：记录词条出现的文档ID、位置和频率。

    1. 二、核心数据结构：倒排索引（Inverted Index）

      倒排索引是 ES 实现高效搜索的核心，其设计思想与 “正排索引” 相反：
      • 正排索引：以文档 ID 为键，存储文档中所有词的信息（如 “文档 1：[苹果，手机，价格]”），适用于通过文档 ID 查询内容，但不利于关键词搜索。
      • 倒排索引：以关键词为键，存储包含该词的所有文档 ID 及相关信息（如词频、位置、权重），例如： 
        苹果 → [(文档1, 词频:2, 位置:1), (文档3, 词频:1, 位置:5)]
手机 → [(文档1, 词频:1, 位置:3), (文档2, 词频:3, 位置:2)]
        当用户搜索 “苹果手机” 时，ES 可快速通过倒排索引找到包含这两个词的文档，并通过评分算法（如 TF-IDF、BM25）排序。
  2. 数据写入流程
    • 缓冲区与事务日志：
      • 文档写入时先存入内存缓冲区（Buffer），并记录到事务日志（Translog）以确保持久性。
    • 刷新与段合并：
      • 刷新（Refresh）：周期性（默认1秒）将缓冲区数据写入Lucene段（Segment），生成不可变的索引文件。
      • 段合并（Segment Merging）：定期合并小段，删除重复数据，优化存储和查询性能。
    • 异步复制：主分片写入后，数据异步复制到副本分片，确保高可用性。写入确认机制保证数据一致性。
  3. 存储细节
    • 段（Segment）：Lucene索引的基本单位，不可变且独立存储。
    • Doc Values：优化数值字段的聚合和排序性能，通过列式存储实现快速扫描。
    • 冷热分离存储：活跃数据存储在高性能介质（如SSD），历史数据存储在低成本介质（如HDD），平衡成本与性能。

三、分布式架构设计

  1. 分片路由与负载均衡
    • 路由策略：文档通过哈希函数和模运算路由到主分片，确保数据均匀分布。
    • 负载均衡：协调节点将请求分发到相关分片，支持并发查询，聚合结果后返回。
  2. 故障恢复与高可用性
    • 副本机制：副本分片在主分片故障时接管，通过全量拷贝恢复数据。
    • 自动重平衡：集群状态变化时（如节点加入/退出），主节点自动调整分片分布。
  3. 一致性模型
    • 写入一致性：支持配置写入时需确认的副本分片数量，确保数据强一致性。
    • 最终一致性：副本分片异步复制，可能短暂存在数据延迟。

四、查询与检索流程

  1. 两阶段查询
    • 查询阶段（Query Phase）：
      • 协调节点将请求广播到主分片或副本，各分片本地执行查询并返回文档ID和评分。
    • 取回阶段（Fetch Phase）：
      • 协调节点根据ID获取完整文档，合并结果并排序（如按相关性评分）。
  2. 分析器与分词
    • 分词器（Analyzer）：支持多种分词策略，如标准分析器（分词、转小写）、简洁分析器（按非字母分词）等。
    • 自定义分析器：可配置字符过滤器、分词器和词项过滤器，满足特定场景需求。
  3. 聚合与排序
    • 聚合框架：支持桶聚合（如按字段分组）、度量聚合（如求和、平均值）和管道聚合（如移动平均）。
    • 排序机制：支持字段排序、脚本排序和地理距离排序。

四、搜索流程：查询与聚合

  1. 查询流程：
    • 客户端发送查询请求到协调节点。
    • 协调节点计算目标分片（主分片或副本），并分发请求。
    • 各分片执行查询并返回结果（仅返回文档 ID 和评分）。
    • 协调节点汇总结果，排序后获取完整文档（可选），返回给客户端。
  2. 聚合（Aggregation）：
    • 基于搜索结果进行统计分析（如分组、求和、平均值），类似 SQL 的GROUP BY。
    • 实现原理：先在各分片上计算局部聚合结果，再由协调节点汇总为全局结果。

五、性能优化策略

  1. 缓存机制
    • 查询缓存（Query Cache）：缓存频繁执行的查询结果，减少磁盘I/O。
    • 过滤器缓存（Filter Cache）：缓存过滤器结果，加速过滤操作。
  2. 段合并优化
    • 合并策略：通过配置合并因子（Merge Factor）控制段合并频率，平衡写入与查询性能。
  3. 硬件与配置调优
    • 内存管理：合理分配堆内存（默认50%系统内存），避免垃圾回收（GC）影响性能。
    • 线程池调整：根据负载调整搜索、写入线程池大小，防止资源竞争。

  4. 五、性能优化设计

    1. 缓存机制

      • Query Cache：缓存聚合结果（仅对相同查询有效）。

      • Request Cache：缓存分片级查询结果（依赖size=0的聚合）。

      • Fielddata Cache：文本字段聚合时内存缓存（谨慎使用）。

    2. 写入优化

      • 批量写入（bulk API）减少网络开销。

      • 调整refresh_interval（延长刷新间隔提升写入吞吐）。

六、底层依赖

  1. Apache Lucene

    • ES的核心存储与搜索库，负责：

      • 倒排索引/列式存储（Doc Values）。

      • 分词器（Analyzer）、评分算法（TF-IDF/BM25）。

    • 六、核心基础：Lucene 的依赖与扩展

      ES 的核心功能基于Lucene实现，但在其基础上进行了分布式扩展：
      • Lucene 的核心作用：提供单机版的索引创建、搜索、排序等基础能力，核心数据结构为倒排索引（Inverted Index）。
      • ES 的扩展：Lucene 是单机库，ES 通过封装 Lucene，增加了分布式协调、集群管理、RESTful API、水平扩展等功能，使其成为分布式搜索引擎。

  2. JVM 管理

    • 堆内存分配建议 ≤ 30GB，预留内存给OS Cache（Lucene依赖文件系统缓存加速搜索）。

七、实时性保障：近实时搜索（Near Real-Time, NRT）

ES 并非严格实时，而是 “近实时”，延迟通常在 1 秒内，核心机制包括：
  1. 写入流程：
    • 文档写入时先进入内存缓冲区和事务日志（Translog）。
    • 每隔 1 秒（默认），内存缓冲区数据被写入段（Segment） 并生成倒排索引（此时段不可修改，但可被搜索），同时清空缓冲区。
    • 事务日志定期（或段提交时）刷新到磁盘，防止节点崩溃时数据丢失。
  2. 段（Segment）与提交点（Commit Point）
    • 段：Lucene 中索引的最小单位，一个索引由多个段组成，段一旦写入磁盘不可修改（修改需创建新段并标记旧段为删除）。
    • 提交点：记录所有可用段的元数据文件，ES 通过提交点确定哪些段可用于搜索。
  3. 刷新（Refresh）与提交（Flush）
    • 刷新（Refresh）：将内存缓冲区数据写入段（内存中），使文档可被搜索（默认 1 秒一次，可手动触发_refresh）。
    • 提交（Flush）：将段从内存写入磁盘，并清空事务日志（默认 30 分钟一次，或事务日志达到阈值时触发）。

八、文档处理：映射与分析器

  1. 映射（Mapping）：
    • 类似数据库的 “表结构”，定义文档字段的类型（如text、keyword、date）、分词方式、是否索引等。
    • 动态映射（Dynamic Mapping）：ES 默认自动推断字段类型（如数字识别为long，字符串识别为text+keyword子字段），也可手动定义静态映射。
  2. 分析器（Analyzer）：
    • 作用：对文本字段进行分词（如中文 “我爱中国” 拆分为 “我 / 爱 / 中国”），生成倒排索引的关键词。
    • 组成：
      • 字符过滤器（Character Filter）：预处理文本（如去除 HTML 标签）。
      • 分词器（Tokenizer）：拆分文本为词条（如空格分词、IK 分词器）。
      • 词过滤器（Token Filter）：处理词条（如小写转换、去除停用词 “的”“了”）。

九、容错与恢复

  1. 数据恢复：依赖事务日志（Translog），节点重启时，未提交到磁盘的段可通过事务日志恢复。
  2. 选主机制：节点故障后，主节点将故障分片的副本提升为主分片，并重平衡其他节点的副本。
    1. 当集群启动或主节点故障时，通过 Zen Discovery 选举新主节点（需半数以上节点投票支持）。
    2. 最小主节点数（discovery.zen.minimum_master_nodes）：防止脑裂（如网络分区导致多个主节点），通常设为(节点数/2)+1。

    3. 故障恢复

      1. 副本机制：主分片失效时，副本自动提升为主分片。

      2. Master节点选举：通过Zen Discovery协议（或Raft in v8.0+）选主。

  3. 数据一致性

    1. 使用乐观锁（_version字段）避免并发冲突。

    2. 写入需多数分片确认（wait_for_active_shards参数控制）。

总结：ES核心优势

特性实现原理
近实时搜索 定期Refresh + Translog持久化
水平扩展 分片自动路由 + 副本负载均衡
高可用 分片副本 + Master选举机制
复杂查询能力 Lucene倒排索引 + FST/跳表优化

总结

ES 的底层原理可概括为：以 Lucene 倒排索引为核心，通过分片与副本实现分布式存储，依赖刷新 / 提交机制保障近实时性，结合节点协调与分析器支持高效搜索与聚合。其设计兼顾了性能、可扩展性和高可用性，使其成为日志分析、全文检索等场景的首选工具。
posted @ 2025-07-08 13:27  飘来荡去evo  阅读(187)  评论(0)    收藏  举报