Elasticstack - 随笔分类 - Leo_Yide

FileBeat与Logstash集成Kafka实战指南

摘要：一、FileBeat写入Kafka配置详解 1. 核心配置解析 filebeat.inputs: - type: tcp host: "0.0.0.0:9000" # 监听TCP端口 output.kafka: hosts: ["elk91:9092", "elk92:9092", "elk93:9 阅读全文

posted @ 2025-03-31 17:38 Leo_Yide 阅读(232) 评论(0) 推荐(0)

Kafka核心概念与实战操作全解析

摘要：一、Kafka核心术语深度解析 1. 集群架构相关术语说明生产环境要点 Kafka Cluster 由多个broker组成的集群建议至少3节点保证高可用 Broker Kafka服务器实例每个broker需要唯一ID Producer 消息生产者支持同步/异步发送模式 Consumer 阅读全文

posted @ 2025-03-31 17:34 Leo_Yide 阅读(78) 评论(0) 推荐(0)

Kafka集群部署与配置全指南

摘要：一、Kafka单节点部署详解 1. 软件准备与安装下载Kafka发行版 wget https://downloads.apache.org/kafka/3.7.1/kafka_2.13-3.7.1.tgz 解压到指定目录 tar xf kafka_2.13-3.7.1.tgz -C /softwa 阅读全文

posted @ 2025-03-31 17:30 Leo_Yide 阅读(2067) 评论(0) 推荐(0)

ZooKeeper集群深度调优指南

摘要：一、JVM内存配置优化 1. 内存配置原理 ZooKeeper作为Java应用，JVM堆内存设置直接影响其性能表现：默认配置问题：原始1GB配置对于配置中心场景过大内存溢出风险：不当配置可能导致GC频繁或OOM 内存估算公式：推荐堆内存 = 平均znode大小 × znode数量 × 3 + 会阅读全文

posted @ 2025-03-31 10:56 Leo_Yide 阅读(297) 评论(0) 推荐(0)

ZooKeeper节点类型与高级特性深度解析

摘要：一、ZooKeeper节点类型详解 1. 节点类型概述 ZooKeeper中的节点(znode)主要分为两大类型，每种类型在分布式系统中都有特定的应用场景：临时节点(Ephemeral Nodes) 特性：当创建该节点的客户端会话结束时自动删除超时机制：默认会话超时时间为30秒（可通过tickT 阅读全文

posted @ 2025-03-31 10:55 Leo_Yide 阅读(115) 评论(0) 推荐(0)

ZooKeeper集群常用命令实战指南：增删改查全面解析

摘要：前言作为分布式系统中广泛使用的协调服务，Apache ZooKeeper在集群管理、配置维护、命名服务等方面发挥着重要作用。本文将详细介绍ZooKeeper集群中最常用的节点操作命令，包括查看、创建、修改和删除节点等操作，帮助开发者和运维人员掌握ZooKeeper的核心操作技能。环境准备在开始阅读全文

posted @ 2025-03-31 10:41 Leo_Yide 阅读(136) 评论(0) 推荐(0)

Elasticsearch 路由确定机制深度解析

摘要：1. 核心公式与原理 Elasticsearch 使用以下算法确定文档所属分片： shard = hash(document\_id) \ \% \ number\_of\_primary\_shards hash(document_id) 对文档ID（如 "user-1001"）进行一致性哈希计算阅读全文

posted @ 2025-03-30 17:42 Leo_Yide 阅读(74) 评论(0) 推荐(0)

Zookeeper 集群部署与高可用验证指南

摘要：一、Zookeeper 集群规模选择根据官方文档和实践经验，Zookeeper 集群规模选择建议如下： 3节点集群（推荐基础配置）：适合读请求占比75%以下的场景官方测试支持910个客户端并发连接可容忍1个节点故障（满足半数以上存活原则） 5节点集群（生产推荐）：适合高负载或高可用性要求的阅读全文

posted @ 2025-03-30 13:09 Leo_Yide 阅读(515) 评论(0) 推荐(0)

Elasticsearch 集群 API 使用指南与 ELFK 架构瓶颈分析

摘要：一、Elasticsearch 集群 API 详解 1. 集群健康检查 API 基础命令： curl -s -u elastic:密码 10.0.0.91:9200/_cluster/health | jq 关键参数说明参数说明理想值 status 集群健康状态 (green/yellow/r 阅读全文

posted @ 2025-03-30 11:10 Leo_Yide 阅读(54) 评论(0) 推荐(0)

Filebeat 和 Logstash 访问加密 Elasticsearch 集群配置指南

摘要：一、Filebeat 配置加密 ES 集群访问 1. 安全增强的 Filebeat 配置文件示例 filebeat.inputs: - type: tcp host: "0.0.0.0:9000" output.elasticsearch: hosts: - "https://10.0.0.91:9 阅读全文

posted @ 2025-03-30 11:05 Leo_Yide 阅读(217) 评论(0) 推荐(0)

Kibana 认证配置与 Elastic 用户密码修改指南

摘要：一、Kibana 认证配置 1. 修改 Kibana 配置文件 vim /etc/kibana/kibana.yml 添加/修改以下配置项： elasticsearch.username: "kibana_system" elasticsearch.password: "eJxJC67YRh8d5V 阅读全文

posted @ 2025-03-30 10:58 Leo_Yide 阅读(1393) 评论(0) 推荐(0)

Elasticsearch 集群加密认证实施案例

摘要：实施步骤详解 1. 生成证书文件 /usr/share/elasticsearch/bin/elasticsearch-certutil cert --days 3650 -out /etc/elasticsearch/config/elastic-certificates.p12 -pass "" 阅读全文

posted @ 2025-03-30 10:50 Leo_Yide 阅读(122) 评论(0) 推荐(0)

Elasticsearch 原理与关键流程

摘要：一、Elasticsearch 基本原理 Elasticsearch 是一个基于 Lucene 的分布式搜索和分析引擎，主要特点包括：分布式架构：自动分片数据并在集群中分布近实时搜索：数据变更后短时间内即可搜索到高可用性：通过副本机制保证数据安全 RESTful API：通过 HTTP 接口进阅读全文

posted @ 2025-03-30 09:08 Leo_Yide 阅读(51) 评论(0) 推荐(0)

Logstash高级路由与多实例部署实战指南

摘要：一、条件分支处理深度解析 1.1 多分支处理架构设计 Logstash的条件分支允许根据事件特征实现数据路由分流，典型应用场景包括：多数据源差异化处理（如Nginx/Apache/Tomcat日志）敏感数据特殊过滤（如信用卡/PII信息）异常事件单独处理（如错误日志告警）多环境数据隔离（开发阅读全文

posted @ 2025-03-29 11:55 Leo_Yide 阅读(80) 评论(0) 推荐(0)

Logstash Grok与Filter插件深度解析：从基础到高级应用

摘要：一、Grok自定义模式实战指南 1.1 自定义模式文件配置在/etc/logstash/oldboyedu-patterns/目录下创建自定义模式文件（如OLDBOYEDU_PATTERNS）： # 自定义学校模式 SCHOOL [a-zA-Z0-9_]+ # 自定义班级模式 CLASS [a-z 阅读全文

posted @ 2025-03-29 10:58 Leo_Yide 阅读(229) 评论(0) 推荐(0)

ELFK架构下Nginx日志全链路分析与优化实战

摘要：一、架构设计与组件协同 1.1 ELFK全链路数据流 Nginx → Filebeat → Logstash → Elasticsearch → Kibana 1.2 组件角色解析 Filebeat：轻量级日志采集器，负责高效收集和转发Nginx日志 Logstash：日志处理中枢，提供数据解析、丰阅读全文

posted @ 2025-03-29 10:55 Leo_Yide 阅读(124) 评论(0) 推荐(0)

Logstash写入Elasticsearch自定义索引全面指南

摘要：一、索引命名策略与最佳实践 1.1 自定义索引命名规范在Logstash的Elasticsearch output插件中，index参数控制数据写入的目标索引名称。生产环境中推荐采用以下命名策略： output { elasticsearch { index => "项目名称-环境-日志类型-%{ 阅读全文

posted @ 2025-03-29 10:52 Leo_Yide 阅读(328) 评论(0) 推荐(0)

Logstash日期处理深度解析：精准掌控日志时间维度

摘要：一、Date Filter核心作用与原理 Logstash的date filter是日志处理中最关键的组件之一，它专门用于解析和标准化日志中的时间信息，确保时间数据的准确性和一致性。 1.1 核心功能解析时间戳转换：将日志中的各种时间格式转换为ISO8601标准格式 @timestamp覆盖：默认阅读全文

posted @ 2025-03-29 10:50 Leo_Yide 阅读(193) 评论(0) 推荐(0)

Logstash File Input插件详解：文件采集与数据处理实战

摘要：一、File Input插件核心机制 Logstash的File Input插件是日志采集的核心组件之一，它能够高效地监控和读取文件内容，并将数据发送到处理管道。在实际生产环境中，理解其工作机制对于构建稳定的日志采集系统至关重要。 1.1 文件读取位置记录机制 File Input插件通过since 阅读全文

posted @ 2025-03-29 10:26 Leo_Yide 阅读(123) 评论(0) 推荐(0)

Logstash环境搭建与实战应用指南

摘要：一、Logstash核心架构解析 Logstash作为ELK Stack中的数据处理核心组件，采用管道式架构设计，包含三个主要处理阶段： Input插件：负责数据采集，支持50+种数据源文件类：file、beats、kafka 网络类：tcp、udp、http 服务类：jdbc、redis、rab 阅读全文

posted @ 2025-03-28 17:39 Leo_Yide 阅读(141) 评论(0) 推荐(0)

随笔分类 - Elasticstack