微服务必备:从零搭建本地 ELK 9.x 全链路日志监控平台(附保姆级避坑指南)

📖 前言:微服务的痛点

在使用 RuoYi-Cloud 等微服务架构开发时,我们通常会启动 5 个以上的模块(Gateway、Auth、System、业务模块等)。此时排查问题简直是噩梦:日志散落在各个 logs 目录下,遇到报错时,一大坨堆栈信息被切断,根本串不起来。

为了解决这些问题,业界标准的 ELK 技术栈(Elasticsearch + Logstash + Kibana)+ Filebeat 是首选方案。本文记录了从新建虚拟机到成功收集所有微服务日志的完整实战过程,将所有踩过的坑全部填平,跟着做,保你一次点亮技能树!


🛠️ 一、 基建准备:虚拟机与 Docker

1. 虚拟机环境配置

  • 宿主机:Windows 11
  • 虚拟机软件:VMware Workstation
  • 操作系统:Rocky Linux 9(Minimal 最小化安装)。
  • 硬件分配:内存 至少 4GB(跑 9.x 建议给 6GB 甚至 8GB 防 OOM),硬盘 40GB,网络模式选 NAT。

💡 避坑点 1:安装系统时,必须勾选 Install OpenSSH server,并放行 root 登录,否则装完后 MobaXterm 等工具连不上。如果忘记勾选了,也不用重装系统,直接在虚拟机控制台登录后执行以下命令补救即可:

🚑 忘记安装 SSH 的补救命令(Rocky Linux 9)

# 1. 安装 OpenSSH Server
dnf install -y openssh-server

# 2. 启动 SSH 服务并设置开机自启(一行命令搞定)
systemctl enable --now sshd

# 3. 验证 SSH 服务状态
systemctl status sshd

🔓 允许 root 用户通过密码远程登录(Rocky Linux 9 默认禁止)

Rocky Linux 9 出于安全考虑,默认禁止 root 用户使用密码直接 SSH 登录。需要修改 SSH 配置:

vi /etc/ssh/sshd_config

在文件中找到 PermitRootLogin 这一行,去掉行首的 #,并把值改成 yes。同时确保 PasswordAuthentication yes 被开启。
保存退出后,重启 SSH 服务:

systemctl restart sshd

🧱 放行防火墙(如果 firewalld 处于运行状态)

如果虚拟机上的 firewalld 没有关闭,需要放行 SSH 的 22 端口:

firewall-cmd --zone=public --permanent --add-service=ssh
firewall-cmd --reload

2. 安装 Docker 与 Compose

通过 MobaXterm 连上虚拟机,执行以下命令:

# 1. 更新系统并安装依赖
dnf update -y
dnf install -y yum-utils device-mapper-persistent-data lvm2

# 2. 添加阿里云 Docker 镜像源
dnf config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

# 3. 安装 Docker 及 Compose 插件
dnf install -y docker-ce docker-ce-cli containerd.io docker-compose-plugin

# 4. 启动并设置开机自启
systemctl start docker
systemctl enable docker

# 5. 验证安装
docker --version
docker compose version

3. 关闭防火墙与 SELinux(关键!)

由于我们需要从 Windows 宿主机访问虚拟机的 Kibana (5601) 和 Logstash (5044) 端口,Rocky Linux 默认的防火墙会直接拦截。本地开发环境为了省事,直接关掉:

systemctl stop firewalld
systemctl disable firewalld

# 临时关闭 SELinux(防止端口映射被拦截)
setenforce 0

🚀 二、 部署核心:ELK 9.x 镜像拉取与启动

1. 创建 ELK 工作目录

ELK 的所有配置和数据都需要持久化,我们需要在 /root 下建一个专属目录,并在里面建好 Logstash 的配置文件夹:

mkdir -p /root/elk/logstash/pipeline
cd /root/elk

2. 生成 docker-compose.yml 文件

国内直接拉取 docker.elastic.co 的镜像龟速。经过测试,DaoCloud 镜像源(elastic.m.daocloud.io)稳定且速度快。

在 /root/elk 目录下,复制下方代码粘贴进终端生成配置:

cat << 'EOF' > docker-compose.yml
services:
  elasticsearch:
    image: elastic.m.daocloud.io/elasticsearch/elasticsearch:9.5.4
    container_name: local-elasticsearch
    environment:
      - discovery.type=single-node
      - xpack.security.enabled=false
      - xpack.security.enrollment.enabled=false
      - ES_JAVA_OPTS=-Xms512m -Xmx512m
    ports:
      - "9200:9200"
    volumes:
      - esdata:/usr/share/elasticsearch/data
    networks:
      - elk-net

  logstash:
    image: elastic.m.daocloud.io/logstash/logstash:9.5.4
    container_name: local-logstash
    ports:
      - "5044:5044"
    volumes:
      - ./logstash/pipeline:/usr/share/logstash/pipeline
    depends_on:
      - elasticsearch
    networks:
      - elk-net

  kibana:
    image: elastic.m.daocloud.io/kibana/kibana:9.5.4
    container_name: local-kibana
    ports:
      - "5601:5601"
    environment:
      - ELASTICSEARCH_HOSTS=http://elasticsearch:9200
    depends_on:
      - elasticsearch
    networks:
      - elk-net

volumes:
  esdata:

networks:
  elk-net:
EOF

💡 避坑点 2(终端粘贴灾难):在 MobaXterm 等终端使用 cat 粘贴长文本时,末尾的 EOF 极易被吞掉或拼接到上一行。如果粘贴后没有回到 [root@localhost elk]# 提示符,手动敲击回车,输入 EOF 再回车。若 YAML 解析失败,建议安装 nano 编辑器(dnf install -y nano)进行编辑。

3. 生成 Logstash 管道配置

同样在 /root/elk 目录下,一键写入 Logstash 的输入输出规则:

cat << 'EOF' > logstash/pipeline/logstash.conf
input {
  beats {
    port => 5044
  }
}

output {
  elasticsearch {
    hosts => ["http://elasticsearch:9200"]
    # 按天动态生成索引,防止单索引过大
    index => "microservices-log-%{+YYYY.MM.dd}"
  }
  stdout { codec => rubydebug }
}
EOF

4. 一键启动与验证

执行启动命令:

docker compose up -d

执行以下命令验证容器状态:

docker ps

看到三个容器(local-elasticsearch、local-logstash、local-kibana)的状态均为 Up,且访问 http://192.168.52.128:5601 能看到 Kibana 欢迎页,说明 ELK 部署大功告成!


📦 三、 采集端:Windows 宿主机 Filebeat 配置

1. 下载与准备

下载与 ELK 版本完全一致的 Filebeat 9.5.4 Windows 版,解压到你想放的目录下(如 C:\apps\)。

下载地址:https://www.elastic.co/cn/downloads/past-releases

2. 修改 filebeat.yml

打开配置文件,这里有三个极易踩的坑:

filebeat.inputs:
- type: filestream
  id: my-filestream-id
  enabled: true
  # 💡 避坑点 3:Windows 路径千万别用单反斜杠 \,必须用正斜杠 /,且带上双引号
  # 💡 微服务适配:使用 */*.log 可以一次性采集所有子模块的日志
  paths:
    - "你的项目路径/logs/*/*.log"

  # 💡 微服务必备:多行合并。将带有时间戳的一行作为新日志的起点,把下方的异常堆栈都吞并进来
  multiline.pattern: '^\d{4}-\d{2}-\d{2}'
  multiline.negate: true
  multiline.match: after

# 💡 避坑点 4:Filebeat 只能配置一个输出!
# 必须把 output.elasticsearch 及下面的内容全部注释掉,否则会报错罢工。
# output.elasticsearch:
#   hosts: ["localhost:9200"]

output.logstash:
  hosts: ["192.168.52.128:5044"]

💡 避坑点 5:验证配置的正确性
在启动前,强烈建议在 CMD 中执行以下命令自检:
.\filebeat.exe test config (检查 yml 语法)
.\filebeat.exe test output (测试网络连通性)

3. 前台启动验证

在 CMD 中执行:

.\filebeat.exe -e -c filebeat.yml

若看到 Connection to backoff(async(tcp://192.168.52.128:5044)) established,说明日志通道已打通,你的微服务日志正在疯狂涌入虚拟机。


🔒 四、 进阶:注册为 Windows 后台服务

每次开着黑窗口跑肯定不优雅。在 filebeat 目录下,以管理员身份运行 PowerShell:

# 💡 避坑点 6:默认执行策略会拦截脚本,需临时放开
Set-ExecutionPolicy -Scope Process -ExecutionPolicy Bypass

# 执行安装脚本
.\install-service-filebeat.ps1

# 启动服务
Start-Service filebeat

此时你可以关掉之前的黑框 CMD,Filebeat 已经在后台默默运行了。


📊 五、 最终验收:Kibana 的全链路震撼

  1. 进入 Kibana( http://192.168.52.128:5601/ ) -> 点击左上角更多找到 Stack Management -> Data Views(数据视图)。
  2. 创建数据视图,Index pattern 填入 microservices-log-\*,时间字段选 @timestamp。
  3. 进入 Discover 页面,右上角时间选择 Last 24 hours。

你的网关、鉴权、订单、库存等所有微服务的日志,全被收集到了一个屏幕。因为配置了多行合并,一整段红色的报错堆栈整整齐齐地展示在一起。

在左上角搜索框,你可以轻松输入:

  • log.file.path : "*gateway*" 只看网关日志。
  • message : "Exception" 一秒钟找出全系统所有的报错。

🎯 总结与回顾

搭建这套微服务 ELK 系统,本质上是一场与网络、版本兼容性、终端玄学的斗智斗勇。

  • 用对国内镜像源能省下一半的时间。
  • 利用 cat << EOF 命令建文件很快,但要时刻警惕 EOF 丢失导致的 YAML 损坏。
  • Filebeat 的 multiline 配置是拯救微服务异常堆栈的神器。
  • 注意:Filebeat 收集的是物理文件。log.info() 写进 .log 文件会被收集;但 System.out.println() 如果只打印在控制台,默认是不会被收集的哦!
posted @ 2026-11-13 21:42  小张睡不醒~  阅读(14)  评论(0)    收藏  举报