快速搭建ELK日志收集系统：从入门到实战全攻略

分享一套完整的ELK日志收集系统搭建方案，解决你的日志管理难题

在日常开发和系统运维中，日志分析是个绕不开的话题。当系统规模较小时，我们可能直接用grep、awk等命令就能搞定。但随着业务发展，日志量激增，传统的日志分析方法就显得力不从心了。

为什么需要ELK？

想象一下这样的场景：你的应用部署在10台服务器上，每台服务器每天产生几个G的日志。当出现线上问题时，你需要：

• 登录每台服务器查看日志
• 手动拼接不同服务的日志时间线
• 在海量日志中寻找关键错误信息

这无疑是大海捞针！而ELK栈正是为了解决这类问题而生。

什么是ELK？

ELK是三个开源项目的首字母缩写：

• Elasticsearch：分布式搜索和分析引擎
• Logstash：服务器端数据处理管道
• Kibana：数据可视化平台

三者结合，构成了一个强大的集中式日志管理系统。

环境准备

在开始之前，确保你的系统已经安装了Docker，这是我们将要使用的部署工具。

一步步搭建ELK系统

1. 创建Docker网络

首先，我们需要创建一个专用的Docker网络，确保各组件间能够通信：

docker network create elk

2. 部署Elasticsearch

Elasticsearch是整个系统的核心，负责存储和检索数据。

# 拉取镜像
docker pull elasticsearch:7.12.1

# 启动容器
docker run -d \
  --name es \
  --net elk \
  -p 9200:9200 \
  -p 9300:9300 \
  -e "discovery.type=single-node" \
  -e "ES_JAVA_OPTS=-Xms1g -Xmx1g" \
  --privileged=true \
  -v /your_path/elasticsearch/data/:/usr/share/elasticsearch/data \
  -v /your_path/elasticsearch/config/:/usr/share/elasticsearch/config \
  elasticsearch:7.12.1

常见问题解决：

如果启动时遇到内存不足的错误，可以通过环境变量调整JVM内存大小：

-e "ES_JAVA_OPTS=-Xms512m -Xmx512m"

或者修改jvm.options文件：

# 查找jvm.options文件
find / -name jvm.options

3. 部署Kibana

Kibana为我们提供了友好的Web界面，用于数据可视化。

# 拉取镜像
docker pull kibana:7.12.1

# 启动容器
docker run -d \
  --name kibana \
  --net elk \
  -p 5601:5601 \
  -e "ELASTICSEARCH_HOSTS=http://es:9200" \
  -e "I18N_LOCALE=zh-CN" \
  kibana:7.12.1

4. 部署Logstash

Logstash负责收集、处理和转发日志数据。

# 拉取镜像
docker pull logstash:7.12.1

# 创建配置文件目录
mkdir -p /your_path/logstash/config
mkdir -p /your_path/logstash/pipeline

# 创建配置文件
vi /your_path/logstash/config/logstash.yml

logstash.yml配置内容：

http.host: "0.0.0.0"
xpack.monitoring.elasticsearch.hosts: [ "http://es:9200" ]

创建管道配置文件：

vi /your_path/logstash/pipeline/logstash.conf

logstash.conf配置内容：

input {
  tcp {
    port => 5044
    codec => json_lines
  }
}

output {
  elasticsearch {
    hosts => ["es:9200"]
    index => "app-logs-%{+YYYY.MM.dd}"
  }
}

启动Logstash容器：

# 启动容器
docker run -d \
  --name logstash \
  --net elk \
  --privileged=true \
  -p 9212:5044 \
  -p 9213:9600 \
  -v /your_path/logstash/data/:/usr/share/logstash/data \
  -v /your_path/logstash/config/:/usr/share/logstash/config \
  -v /your_path/logstash/pipeline/:/usr/share/logstash/pipeline \
  logstash:7.12.1

5. 验证安装

访问以下地址验证各组件是否正常运行：

• Elasticsearch: http://localhost:9200
• Kibana: http://localhost:5601

SpringBoot应用集成

现在ELK系统已经搭建完成，接下来看看如何将SpringBoot应用接入。

添加依赖

<dependency>
    <groupId>net.logstash.logback</groupId>
    <artifactId>logstash-logback-encoder</artifactId>
    <version>6.6</version>
</dependency>

配置logback-spring.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <include resource="org/springframework/boot/logging/logback/defaults.xml"/>
    
    <appender name="LOGSTASH" class="net.logstash.logback.appender.LogstashTcpSocketAppender">
        <destination>your_logstash_ip:5044</destination>
        <encoder class="net.logstash.logback.encoder.LoggingEventCompositeJsonEncoder">
            <providers>
                <timestamp>
                    <timeZone>UTC</timeZone>
                </timestamp>
                <pattern>
                    <pattern>
                        {
                          "level": "%level",
                          "service": "your-service-name",
                          "trace": "%X{X-B3-TraceId:-}",
                          "span": "%X{X-B3-SpanId:-}",
                          "thread": "%thread",
                          "class": "%logger{40}",
                          "message": "%message",
                          "stack_trace": "%exception{10}"
                        }
                    </pattern>
                </pattern>
            </providers>
        </encoder>
    </appender>
    <root level="INFO">
        <appender-ref ref="LOGSTASH" />
    </root>
</configuration>

Kibana查询技巧

数据进入ELK后，最重要的就是如何快速找到需要的信息。Kibana提供了强大的KQL查询语言：

基础查询

# 查找特定字段值
level: ERROR

# 多条件查询
level: ERROR and service: user-service

# 模糊查询
message: "timeout"

# 范围查询
response_time > 1000

高级查询技巧

# 排除特定条件
level: ERROR and not service: gateway

# 通配符查询
service: *service

# 存在性检查
exists: trace_id

# 正则表达式
service: /user-.+/

实用工具推荐

除了Kibana，还有一些好用的Elasticsearch客户端工具：

• Elasticsearch-head：Chrome插件，简单直观

常见问题排查

1. 容器启动失败

如果容器启动失败需要修改配置，可以：

# 将容器内配置文件拷贝到宿主机
docker cp container_id:/path/to/file /host/path/

# 修改后重新拷贝回去
docker cp /host/path/file container_id:/path/to/file

# 重启容器
docker restart container_id

2. 文件权限问题

# 修改文件权限为可写
chmod 666 /path/to/file

# 或者暴力但有效的方法
chmod -R 777 /path/to/directory

3. 内存配置

根据服务器配置合理分配内存，避免因内存不足导致服务崩溃。

总结

通过本文的步骤，你应该已经成功搭建了一套完整的ELK日志收集系统。这套系统能够：

• 集中管理所有服务器的日志
• 提供强大的搜索和过滤功能
• 实现多维度日志分析和可视化
• 大大提高故障排查效率

ELK的学习曲线虽然有些陡峭，但一旦掌握，它将极大提升你的运维效率和问题排查能力。开始你的ELK之旅吧，告别在日志海洋中盲目摸索的日子！

---

希望这篇指南对你有所帮助！如果在搭建过程中遇到问题，欢迎留言讨论。