Docker Compose 运行大量容器如何优化系统文件描述符限制

运行大量 Docker 容器时，文件描述符限制需要从系统级、用户级和 Docker 服务级三层同时调整，只改其中一层往往无法彻底解决问题。

先说结论：文件描述符不足会导致容器无法新建连接或进程异常退出，优化需覆盖宿主机系统限制、Docker 守护进程限制和容器内限制三个层面。

• 先定位：用cat /proc/sys/fs/file-nr和cat /proc/$(pgrep docker)/limits确认当前限制和使用量
• 先做：同时修改/etc/security/limits.conf、systemd 服务配置和 Docker daemon.json
• 再验证：重启 Docker 后用ls /proc/$(pgrep docker)/fd | wc -l确认新限制生效

命令速用版

以下是可直接执行的配置命令，按顺序执行后需重启 Docker 服务：

# 1. 系统级文件描述符上限（临时生效）
echo 1000000 > /proc/sys/fs/file-max

# 2. 用户级限制（需重启会话生效）
echo "* soft nofile 65536" >> /etc/security/limits.conf
echo "* hard nofile 65536" >> /etc/security/limits.conf

# 3. Docker systemd 服务限制（关键步骤）
mkdir -p /etc/systemd/system/docker.service.d
echo -e "[Service]\nLimitNOFILE=1000000" > /etc/systemd/system/docker.service.d/override.conf
systemctl daemon-reload

# 4. 重启 Docker 服务
systemctl restart docker

为什么会这样

Linux 对文件描述符的限制分三层：系统全局上限、进程级限制、容器内限制。Docker 容器本质是宿主机上的进程，会继承宿主机进程的资源限制。当运行大量容器时，每个容器的网络连接、日志文件、卷挂载都会消耗文件描述符。

常见问题是只修改了/etc/security/limits.conf，但 Docker 作为 systemd 管理的服务，其限制由 systemd 控制，不受 limits.conf 影响。这就是为什么很多用户改了配置却发现docker ps仍然报错too many open files。

分步处理

第一步：检查当前限制

# 查看系统全局上限
cat /proc/sys/fs/file-max

# 查看当前已使用数量
cat /proc/sys/fs/file-nr

# 查看 Docker 进程的限制
pid=$(pgrep dockerd)
cat /proc/$pid/limits | grep 'Max open files'

如果file-nr的第一项接近file-max，说明系统级资源紧张。如果 Docker 进程的Max open files显示 1024 或 65536，在高并发场景下可能不够用。

第二步：修改系统级限制

# 编辑/etc/sysctl.conf，添加或修改以下行
fs.file-max = 1000000

# 使配置生效
sysctl -p

这一步设置的是整个系统能打开的文件描述符总数，建议设为 100 万以上以支持大量容器。

第三步：修改用户级限制

# 编辑/etc/security/limits.conf，添加
* soft nofile 65536
* hard nofile 65536
root soft nofile 65536
root hard nofile 65536

注意：这个配置对新登录的会话生效，已运行的进程不受影响。

第四步：修改 Docker 服务级限制（最关键）

# 创建 systemd 覆盖配置
mkdir -p /etc/systemd/system/docker.service.d
cat > /etc/systemd/system/docker.service.d/override.conf << EOF
[Service]
LimitNOFILE=1000000
EOF

# 重载 systemd 配置
systemctl daemon-reload

# 重启 Docker
systemctl restart docker

这一步是大多数教程容易遗漏的。Docker 守护进程由 systemd 启动，其资源限制由 systemd 的LimitNOFILE参数控制，而不是limits.conf。

第五步：Docker Compose 容器内限制

在docker-compose.yml中为服务添加 ulimits 配置：

version: '3.8'
services:
  web:
    image: nginx
    ulimits:
      nofile:
        soft: 65536
        hard: 65536

这确保容器内进程的文件描述符限制与宿主机一致，避免容器内应用因限制过低而报错。

怎么验证是否生效

# 1. 确认 Docker 进程限制已更新
pid=$(pgrep dockerd)
cat /proc/$pid/limits | grep 'Max open files'
# 应显示 1000000 或你设置的值

# 2. 查看当前打开的文件描述符数量
ls /proc/$pid/fd | wc -l

# 3. 运行一个测试容器验证
docker run `--rm` alpine sh -c 'ulimit -n'
# 应显示 65536 或你设置的容器内限制

# 4. 监控系统级使用量
cat /proc/sys/fs/file-nr
# 第一项应远小于第三项（最大值）

如果验证发现限制未生效，检查是否漏掉了systemctl daemon-reload步骤，或确认 systemd 配置文件的权限和内容是否正确。

常见坑

• 只改 limits.conf 不改 systemd：这是最常见的问题。Docker 作为 systemd 服务，其限制由LimitNOFILE控制，修改limits.conf对已运行的 Docker 进程无效。
• 修改后未重启 Docker：所有限制配置都需要重启 Docker 守护进程才能生效，仅重启容器不够。
• 容器内限制与宿主机不一致：即使宿主机限制已提高，容器内默认可能仍是 1024，需要在 Compose 文件中显式配置 ulimits。
• 忽略系统全局上限：如果fs.file-max设置过低，即使进程级限制再高也无法突破系统总上限。
• CentOS Stream 9 的 cgroup v2：CentOS 9 默认使用 cgroup v2，部分旧版配置方式可能不兼容，建议确认 systemd 配置方式是否适配当前系统。

参考来源

• CSDN 博客 - 《Docker 资源管理终极指南》：限制容器数量的 5 种高效方法
• 技术文章 - 《Docker Compose 文件描述符限制配置解析》：ulimits 配置说明
• 技术文章 - 《Docker 进程文件句柄数超限的排查与优化方案》：诊断方法和验证命令
• 技术文章 - 《Linux Docker 性能如何优化》：系统内核参数调优建议
• 技术文章 - 《centos 上 docker 如何优化》：CentOS 系统下的配置方法

原文链接：https://www.zjcp.cc/ask/9923.html