nginx 超时问题: upstream timed out (110: Connection timed out) while reading response header from upstream

在使用 Nginx 时，错误信息 upstream timed out (110: Connection timed out) while reading response header from upstream 是一个常见的超时问题。这一错误意味着 Nginx 作为反向代理，在等待上游服务器（如 Tomcat、PHP-FPM）返回响应头时超出了预设时间。下面详细分析可能的原因及解决办法。

可能的原因

1. 上游服务器处理缓慢：像应用程序存在性能问题，或者数据库查询耗时过长，都可能导致服务器处理请求的速度变慢。
2. 网络连接不稳定：Nginx 与上游服务器之间的网络可能存在丢包、延迟等情况。
3. Nginx 超时参数设置不合理：相关的超时参数配置可能无法满足应用的实际需求。
4. 上游服务器负载过高：服务器资源不足，无法及时响应请求。
5. 防火墙限制：防火墙可能阻断了 Nginx 与上游服务器之间的通信。

解决方案

1. 调整 Nginx 超时参数

你可以在 Nginx 配置文件中对以下超时参数进行调整：

http {
    # 全局超时设置
    proxy_connect_timeout 60s;     # 连接上游服务器的超时时间
    proxy_send_timeout 60s;        # 向上游服务器发送请求的超时时间
    proxy_read_timeout 60s;        # 从上游服务器读取响应的超时时间
    send_timeout 60s;              # 客户端与 Nginx 连接的超时时间
    
    server {
        location / {
            proxy_pass http://backend;
            # 针对特定位置的超时设置，会覆盖全局设置
            proxy_connect_timeout 300s;
            proxy_send_timeout 300s;
            proxy_read_timeout 300s;
        }
    }
}

 

参数说明：

• proxy_connect_timeout：Nginx 尝试与上游服务器建立连接的最大时长。
• proxy_send_timeout：Nginx 向上游服务器发送请求的最长时间。
• proxy_read_timeout：Nginx 等待上游服务器发送响应头的最长时间。
• send_timeout：Nginx 向客户端发送响应的最长时间。

2. 优化上游服务器性能

• 检查应用程序性能：可以使用工具（如 VisualVM、YourKit）对应用进行性能分析，找出导致处理缓慢的代码。
• 优化数据库查询：为查询添加索引，避免全表扫描，对复杂查询进行重构。
• 增加服务器资源：根据实际情况，考虑增加服务器的 CPU、内存或磁盘资源。
• 实现异步处理：将耗时的操作放入消息队列，让应用能够快速返回响应。

3. 检查网络连接

• 测试网络连通性：使用 ping 和 traceroute 命令检查 Nginx 与上游服务器之间的网络是否畅通。
• 监控网络状态：查看服务器的网络接口状态，检查是否存在丢包、高延迟等问题。
• 增加网络带宽：如果网络流量较大，考虑升级网络带宽。

4. 配置 keepalive 连接

启用 keepalive 连接可以减少连接建立的开销，降低超时的可能性：

 

upstream backend {
    server backend1.example.com;
    server backend2.example.com;
    
    keepalive 32;                  # 保持活跃的连接数
    keepalive_timeout 60s;         # 连接保持活跃的时间
    keepalive_requests 100;        # 一个连接可以处理的最大请求数
}

server {
    location / {
        proxy_pass http://backend;
        proxy_http_version 1.1;    # 必须使用 HTTP/1.1
        proxy_set_header Connection "";  # 清除默认的 Connection 头
    }
}

 

5. 检查防火墙设置

确保防火墙允许 Nginx 与上游服务器之间的通信：

• 开放相应端口：开放上游服务器监听的端口（如 8080、9000）。
• 检查 SELinux/AppArmor：如果服务器启用了 SELinux 或 AppArmor，需要配置它们允许 Nginx 访问上游服务器。

6. 启用 Nginx 状态监控

在 Nginx 配置中添加状态页面，方便监控连接状态：

 

server {
    location /nginx_status {
        stub_status on;
        access_log off;
        allow 127.0.0.1;
        deny all;
    }
}

 

通过访问 http://your-server/nginx_status 可以查看 Nginx 的当前连接状态。

7. 实现重试机制

在 Nginx 配置中添加重试逻辑，当请求超时时可以自动重试其他上游服务器：

 

upstream backend {
    server backend1.example.com max_fails=3 fail_timeout=30s;
    server backend2.example.com max_fails=3 fail_timeout=30s;
}

server {
    location / {
        proxy_pass http://backend;
        proxy_next_upstream error timeout invalid_header http_500 http_502 http_503 http_504;
        proxy_next_upstream_tries 3;
    }
}

 

验证配置

修改 Nginx 配置后，需要验证配置的正确性并重新加载：

 

nginx -t                # 检查配置文件语法
nginx -s reload         # 重新加载配置

总结

处理 Nginx 超时问题的关键在于：

1. 合理调整超时参数，使其与应用的实际需求相匹配。
2. 优化上游服务器的性能，提高其响应速度。
3. 确保网络连接稳定，减少丢包和延迟。
4. 通过 keepalive 连接和重试机制增强系统的健壮性。

通过以上步骤，通常可以有效解决 upstream timed out 错误。如果问题仍然存在，建议进一步检查应用程序日志和系统资源使用情况。