Elasticstack - 随笔分类(第2页) - Leo_Yide

Elasticsearch JVM优化深度解析与生产环境配置指南

摘要：一、JVM配置核心原则 Elasticsearch作为基于Java开发的分布式搜索引擎，其性能表现与JVM配置密切相关。优化JVM配置需要遵循以下核心原则：堆内存黄金法则：设置为可用物理内存的50% 最大不超过32GB（避免指针压缩失效）最小堆(Xms)与最大堆(Xmx)必须相等版本适配原则阅读全文

posted @ 2025-03-28 15:48 Leo_Yide 阅读(362) 评论(0) 推荐(0)

Filebeat模块化日志采集：Nginx日志处理全流程实战指南

摘要：一、Filebeat模块核心概念解析 Filebeat模块是Elastic官方提供的标准化日志采集解决方案，为常见服务（如Nginx、MySQL、Redis等）提供开箱即用的配置模板。模块化架构的主要优势包括：预定义解析规则：内置针对特定服务的日志解析管道字段标准化：自动生成符合ECS（Elas 阅读全文

posted @ 2025-03-28 14:41 Leo_Yide 阅读(429) 评论(0) 推荐(0)

Filebeat Filestream实现多行日志与JSON混合格式处理实战指南

摘要：一、Filestream多行日志处理深度解析在生产环境中，应用程序日志往往包含跨越多行的日志条目（如Java堆栈跟踪），正确处理这些多行日志对于后续分析至关重要。Filebeat的Filestream输入插件提供了强大的多行日志处理能力。 1.1 多行日志配置详解 filebeat.inputs: 阅读全文

posted @ 2025-03-28 14:38 Leo_Yide 阅读(343) 评论(0) 推荐(0)

使用Filebeat的Filestream输入插件解析JSON格式日志并发送到Elasticsearch

摘要：一、Filebeat Filestream输入插件简介在现代日志管理系统中，JSON格式日志因其结构化和易于解析的特点而广受欢迎。本文将详细介绍如何使用Filebeat的Filestream输入插件来高效地收集、解析JSON格式的Nginx访问日志，并将其发送到Elasticsearch集群进行存阅读全文

posted @ 2025-03-28 14:22 Leo_Yide 阅读(294) 评论(0) 推荐(0)

Filebeat生产环境部署与管理最佳实践

摘要：一、系统服务化部署在生产环境中，Filebeat应该以系统服务方式运行，确保持久化和高可用性。以下是完整的生产环境部署方案 1. 创建Systemd服务文件 /etc/systemd/system/filebeat.service： [Unit] Description=Filebeat send 阅读全文

posted @ 2025-03-27 18:30 Leo_Yide 阅读(161) 评论(0) 推荐(0)

Filebeat多实例部署与管理完整指南

摘要：一、多实例部署核心原理 Filebeat通过以下参数实现多实例隔离运行： --path.data：指定数据存储目录（注册表、元数据） --path.logs：指定日志输出目录 --path.config：指定配置目录（可选）二、生产级多实例配置方案 1. 标准化目录结构 # 创建实例目录结构 mk 阅读全文

posted @ 2025-03-27 17:19 Leo_Yide 阅读(137) 评论(0) 推荐(0)

Filebeat多输入源与多索引输出配置指南

摘要：一、核心配置解析 1. 多输入源配置 filebeat.inputs: # 文件日志输入 - type: log paths: ["/tmp/xixi.log"] tags: ["xixi", "filelog"] fields: log_type: "application" source: "x 阅读全文

posted @ 2025-03-27 17:16 Leo_Yide 阅读(307) 评论(0) 推荐(0)

Filebeat采集Tomcat多行日志完整指南

摘要：一、Tomcat日志特点分析 Tomcat的catalina.out日志包含以下典型特征：以日期时间开头（如15-Jul-2023 14:30:45.123）堆栈跟踪信息以空格或at开头异常信息包含Caused by:前缀多线程日志交错输出二、多行日志采集优化方案 1. 增强版Filebe 阅读全文

posted @ 2025-03-27 16:44 Leo_Yide 阅读(202) 评论(0) 推荐(0)

自定义Tomcat日志格式与EFK集成完整指南

摘要：一、Tomcat日志格式深度定制 1. 优化AccessLogValve配置在server.xml中配置更完善的JSON日志格式： <Valve className="org.apache.catalina.valves.AccessLogValve" directory="logs" prefi 阅读全文

posted @ 2025-03-27 14:50 Leo_Yide 阅读(89) 评论(0) 推荐(0)

EFK架构采集Tomcat日志完整指南

摘要：一、Tomcat部署与配置 1. 下载并安装Tomcat # 下载Tomcat（选择官方镜像或内部源） wget https://dlcdn.apache.org/tomcat/tomcat-10/v10.1.25/bin/apache-tomcat-10.1.25.tar.gz # 或使用内部源（阅读全文

posted @ 2025-03-27 10:42 Leo_Yide 阅读(86) 评论(0) 推荐(0)

EFK架构采集Nginx日志完整指南

摘要：前言 EFK(Elasticsearch-Filebeat-Kibana)是当前流行的日志收集与分析解决方案。本文将详细介绍如何使用Filebeat采集Nginx日志并发送到Elasticsearch集群，最终通过Kibana进行可视化分析。架构概览 Nginx服务器 → Filebeat(日志采阅读全文

posted @ 2025-03-27 10:10 Leo_Yide 阅读(209) 评论(0) 推荐(0)

基于NFS实现Filebeat配置文件共享方案

摘要：前言在分布式日志收集系统中，统一管理多台服务器上的Filebeat配置是一个常见需求。本文将介绍如何通过NFS(Network File System)实现Filebeat配置文件的集中管理和共享，这种方法特别适合需要保持多台服务器配置一致的ELK(Elasticsearch, Logstash, 阅读全文

posted @ 2025-03-27 09:08 Leo_Yide 阅读(55) 评论(0) 推荐(0)

自定义Nginx JSON日志格式配置指南

摘要：前言在现代Web服务架构中，日志记录是监控、调试和安全审计的重要环节。Nginx作为最流行的Web服务器之一，其灵活的日志配置能力允许我们根据需求定制日志格式。本文将详细介绍如何配置Nginx以JSON格式记录访问日志，这种结构化日志格式特别适合ELK等日志分析系统处理。为什么选择JSON格式日阅读全文

posted @ 2025-03-27 09:04 Leo_Yide 阅读(398) 评论(0) 推荐(0)

Filebeat企业级日志采集实战指南

摘要：一、Filebeat核心架构与部署 1.1 Filebeat安装与配置安装方法： wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.17.22-amd64.deb dpkg -i filebeat-7.17. 阅读全文

posted @ 2025-03-26 17:05 Leo_Yide 阅读(240) 评论(0) 推荐(0)

Elasticsearch专业数据类型实战指南：IP、日期与地理位置

摘要：IP地址类型实战 IP类型概述 IP类型是Elasticsearch专门为处理IPv4和IPv6地址设计的数据类型，支持： IP地址的有效性验证 IP范围查询 CIDR表示法查询高效的IP地址存储和检索生产环境实战创建IP类型索引 PUT http://10.0.0.91:9200/oldbo 阅读全文

posted @ 2025-03-26 14:24 Leo_Yide 阅读(75) 评论(0) 推荐(0)

Elasticsearch 索引删除保护：禁用索引删除的多种方法

摘要：1. 修改elasticsearch.yml主配置文件在elasticsearch.yml中添加以下配置可以全局限制删除操作： # 禁止使用通配符或_all删除索引 action.destructive_requires_name: true # 禁止删除索引的API xpack.security 阅读全文

posted @ 2025-03-26 13:34 Leo_Yide 阅读(136) 评论(0) 推荐(0)

Elasticsearch索引管理全指南：关闭、模板、别名实战

摘要：Elasticsearch索引管理：关闭、模板与别名实践指南索引的关闭与打开操作关闭索引在生产环境中，我们有时需要临时关闭索引以进行维护或减少资源消耗。关闭索引的操作如下： POST 10.0.0.93:9200/oldboyedu-linux-shopping/_close 重要说明：索引阅读全文

posted @ 2025-03-26 13:30 Leo_Yide 阅读(155) 评论(0) 推荐(0)

Kibana 环境搭建与配置指南：从入门到生产实践

摘要：Kibana Dashboard 示例一、Kibana 核心组件介绍 Kibana 是 Elastic Stack 的可视化分析平台，主要提供以下核心功能：数据可视化：创建丰富的图表和仪表板数据探索：通过 Discover 功能交互式查询数据管理工具：管理 Elasticsearch 索引、阅读全文

posted @ 2025-03-26 10:19 Leo_Yide 阅读(1078) 评论(0) 推荐(0)

Elasticsearch DSL查询实战：电商数据分析案例精解

摘要：[Elasticsearch查询流程示意图] 一、DSL查询基础架构 Elasticsearch的DSL(Domain Specific Language)查询语法是构建复杂搜索功能的核心工具，由JSON格式定义。完整的DSL查询通常包含以下核心组件： { "query": {}, // 查询条件阅读全文

posted @ 2025-03-26 10:13 Leo_Yide 阅读(96) 评论(0) 推荐(0)

Elasticsearch索引与文档管理API实战指南：生产环境最佳实践

摘要：Elasticsearch集群架构图一、索引管理实战 1. 索引创建策略基础索引创建（生产环境推荐配置） PUT http://10.0.0.91:9200/prod-logs-2024 { "settings": { "number_of_shards": 5, "number_of_repl 阅读全文

posted @ 2025-03-26 09:45 Leo_Yide 阅读(106) 评论(0) 推荐(0)

随笔分类 - Elasticstack