NGINX反向代理大模型和AI智能体

1.NGINX反向代理智能体

如果你反向代理之后，模型/智能体没有流式输出（打字机效果），请参考如下NGINX配置文件写法

server {
    listen       80;
    listen  [::]:80;
    server_name  localhost;
 
    location / {
        # 重定向到目标服务器
        proxy_pass http://ip:8080;
 
        # 开启流式传输并禁用缓存
        proxy_buffering off;  # 禁用代理缓冲
        proxy_cache off;      # 禁用缓存
        proxy_set_header Host $host;     # 传递原始 Host 头部
        proxy_set_header X-Real-IP $remote_addr;  # 传递真实客户端 IP
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;  # 传递转发的 IP
        proxy_set_header X-Forwarded-Proto $scheme;  # 传递协议信息
 
    }
}

或

server {
    listen       443;
    server_name ai.abc.com;   # 访问域名
 
   ssl_certificate /path/to/abc.crt;  # 证书文件路径 
    ssl_certificate_key /path/to/abc.key;  # 私钥文件路径
 
    location / {
        # 重定向到目标服务器
        proxy_pass http://ip:8080;
 
        # 开启流式传输并禁用缓存
        proxy_buffering off;  # 禁用代理缓冲
        proxy_cache off;      # 禁用缓存
        proxy_set_header Host $host;     # 传递原始 Host 头部
        proxy_set_header X-Real-IP $remote_addr;  # 传递真实客户端 IP
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;  # 传递转发的 IP
        proxy_set_header X-Forwarded-Proto $scheme;  # 传递协议信息
 
    }
}

2.NGINX反向代理大模型

以阿里百炼为例。OpenAI 等其他平台亦如此

server
  {
      listen 80;
      server_name  ip; # 你自己的域名,需要解析到这台服务,没有域名这里写服务器ip
      location / {
      proxy_pass  https://dashscope.aliyuncs.com/;    # 反向代理https://dashscope.aliyuncs.com/这个地址
      proxy_ssl_server_name on;
      proxy_set_header Host dashscope.aliyuncs.com;   # Host字段为dashscope.aliyuncs.com
      chunked_transfer_encoding off;
      proxy_buffering off;
      proxy_cache off;
     }
}