如何搭建收集docker容器内运行的服务的日志系统?

用户问的是如何搭建一个收集 Docker 容器内服务日志的系统。我需要先理清楚用户的需求。用户可能是在使用 Docker 部署服务，但日志分散在各个容器里，难以集中管理，所以想搭建一个集中式的日志系统。

首先，我得回忆一下常见的 Docker 日志收集方案。通常有几种方法：使用 Docker 自带的日志驱动，比如 json-file 或者 syslog；或者集成第三方工具，比如 ELK Stack（Elasticsearch, Logstash, Kibana）、EFK（Elasticsearch, Fluentd, Kibana）、或者 Fluentd、Fluent Bit 等。另外，云服务商也有自己的日志服务，比如 AWS CloudWatch、阿里云 SLS 等。

用户可能对 Docker 比较熟悉，但可能不太清楚如何配置日志驱动或者集成外部工具。需要给出一个步骤清晰的指南，涵盖不同的方法，让用户可以根据自己的情况选择。

首先，应该提到 Docker 的默认日志驱动，json-file，这可能不够高效，尤其是在生产环境。然后介绍如何切换到其他驱动，比如 syslog，或者使用第三方工具。比如，如果用户想要集中管理，可以考虑使用 Fluentd 或者 Fluent Bit 来收集日志，然后发送到 Elasticsearch 或其他存储中。

接下来，可能需要分步骤说明：

1. 配置 Docker 的日志驱动，比如设置 daemon.json，或者在运行容器时指定 --log-driver 选项。
2. 使用第三方工具，比如安装 Fluentd，配置它收集容器日志，然后输出到 Elasticsearch。
3. 搭建 ELK Stack，配置 Logstash 接收日志，处理后存入 Elasticsearch，用 Kibana 进行可视化。
4. 或者使用更轻量级的 EFK，因为 Fluentd 比 Logstash 资源占用更少。
5. 另外，云服务的方案可能更简单，比如使用阿里云的 SLS，直接配置日志服务，无需自己维护服务器。

需要注意的是，用户可能对某些工具不太熟悉，所以步骤要详细，但也要简洁，避免过于技术化。同时，可能需要提醒用户考虑日志的存储、备份、安全等问题，比如使用持久化存储，或者加密传输。

另外，用户的环境是上海浦东，可能需要考虑网络延迟，比如选择国内的云服务，或者本地搭建服务。不过这部分可能不需要特别提及，除非用户有特殊要求。

还要考虑用户可能的误区，比如是否需要每个容器都安装日志代理，或者是否可以通过 Docker 的日志驱动统一收集。比如，使用 Fluentd 作为 sidecar 容器，或者在宿主机上运行，通过 Docker socket 获取日志。

最后，总结不同方法的优缺点，帮助用户根据自身情况选择合适的方案。比如，ELK 功能强大但资源消耗大，Fluentd 更轻量，云服务更方便但依赖第三方。

搭建 Docker 容器日志收集系统通常需要结合日志驱动配置和日志处理工具，以下是常见方案及步骤：

一、方案选择

根据需求选择以下方案之一：

1. 轻量级方案：Docker 日志驱动 + Fluentd/Fluent Bit → Elasticsearch → Kibana
2. 完整方案：Docker 日志驱动 + Logstash → Elasticsearch → Kibana
3. 云服务方案：直接使用云厂商日志服务（如阿里云 SLS、AWS CloudWatch）

二、轻量级方案（推荐）

1. 配置 Docker 日志驱动

修改 Docker Daemon 配置（/etc/docker/daemon.json），启用json-file或local驱动：

json

 

 

{
  "log-driver": "json-file",
  "log-opts": {
    "max-size": "10m",  // 单文件最大10MB
    "max-file": "5"     // 保留5个旧文件
  }
}

 

重启 Docker 生效：

bash

 

 

sudo systemctl restart docker

 

2. 部署 Fluentd/Fluent Bit

方式一：宿主机部署

bash

 

 

# 安装Fluent Bit
curl -s https://raw.githubusercontent.com/fluent/fluent-bit/master/install.sh | sh

# 配置采集Docker日志
cat > /etc/fluent-bit/fluent-bit.conf <<EOF
[SERVICE]
    Flush         1
    Log_Level     info
    Daemon        off

[INPUT]
    Name          tail
    Path          /var/lib/docker/containers/*/*.log
    Parser        docker
    Tag           docker.*

[OUTPUT]
    Name          es
    Match         *
    Host          elasticsearch-host
    Port          9200
    Logstash_Format On
EOF

 

方式二：容器化部署

bash

 

 

docker run -d \
  --name fluent-bit \
  --volume /var/lib/docker/containers:/var/lib/docker/containers \
  --volume /etc/fluent-bit/fluent-bit.conf:/fluent-bit/etc/fluent-bit.conf \
  fluent/fluent-bit:2.0

 

3. 部署 Elasticsearch 和 Kibana

bash

 

 

# Elasticsearch（单节点示例）
docker run -d \
  --name es \
  -p 9200:9200 \
  -e "discovery.type=single-node" \
  docker.elastic.co/elasticsearch/elasticsearch:8.7.0

# Kibana
docker run -d \
  --name kibana \
  -p 5601:5601 \
  --link es:elasticsearch \
  docker.elastic.co/kibana/kibana:8.7.0

 

三、完整方案（ELK Stack）

1. 配置 Docker 日志驱动（同上）
2. 部署 Logstash
   bash

    

    

   docker run -d \
     --name logstash \
     -p 5044:5044 \
     --volume /etc/logstash/pipeline:/usr/share/logstash/pipeline \
     docker.elastic.co/logstash/logstash:8.7.0

    
   
   配置/etc/logstash/pipeline/logstash.conf：
   conf

    

    

   input {
     beats {
       port => 5044
     }
   }
   
   filter {
     grok {
       match => { "message" => "%{COMBINEDAPACHELOG}" }
     }
     date {
       match => [ "timestamp", "dd/MMM/yyyy:HH:mm:ss Z" ]
     }
   }
   
   output {
     elasticsearch {
       hosts => ["elasticsearch:9200"]
     }
   }

    
3. 部署 Filebeat（宿主机或容器内）：
   bash

    

    

   docker run -d \
     --name filebeat \
     --volume /var/lib/docker/containers:/var/lib/docker/containers \
     --volume /etc/filebeat/filebeat.yml:/usr/share/filebeat/filebeat.yml \
     docker.elastic.co/beats/filebeat:8.7.0

    

四、云服务方案（以阿里云 SLS 为例）

1. 开通 SLS 服务
2. 安装 Logtail（日志采集器）：
   bash

    

    

   curl -s https://ali-log.cn-shanghai.aliyuncs.com/install.sh | sh -s -- --project-name your-project --logstore-name your-logstore

    
3. 配置 Docker 日志路径：
   修改 Logtail 配置文件（/etc/ilogtail/ilogtail_config.json）：
   json

    

    

   {
     "logs": [
       {
         "logPath": "/var/lib/docker/containers/*/*.log",
         "topic": "docker_logs"
       }
     ]
   }

    

五、验证与监控

1. 访问 Kibana（http://localhost:5601）创建索引模式。
2. 使用docker logs验证容器日志是否被采集。
3. 检查日志处理工具的健康状态（如 Fluent Bit 的日志输出）。

注意事项

• 日志保留策略：在 Elasticsearch 或 SLS 中设置 TTL，避免存储爆炸。
• 性能优化：使用 Fluent Bit 替代 Fluentd 可降低资源消耗。
• 安全性：敏感日志需加密传输（如启用 TLS）。

根据业务规模和复杂度选择合适方案，建议优先尝试轻量级方案。

 

https://v9-flow.douyinvod.com/8600cd14ac527a9bfafb6be539e5d0b5/681c5d7a/video/tos/cn/tos-cn-ve-15/oYnEA4eI4mU4B4LCBfsVBdhHGzErNRA67QCepa/?a=495671&ch=0&cr=0&dr=0&er=0&lr=default&cd=0%7C0%7C0%7C0&cv=1&br=195&bt=195&cs=0&ds=6&ft=9lXWHiugBBkq8ZmoO5CJ-_vjVQWw&mime_type=video_mp4&qs=1&rc=ZjRnNTk0ZTQ8NzU5OmQ7OUBpM3R0Mzc6ZmRmcTMzNGkzM0A1YTMzXjMvNl4xLTAxNDY2YSMuY2BwcjRncnFgLS1kLWFzcw%3D%3D&btag=c0000e00030000&dy_q=1746685496&feature_id=46a7bb47b4fd1280f3d3825bf2b29388&l=202505081424567BC372D3392D35A908F2&__vid=v0d00fg10000cntcuajc77u4s0cqfq10