让简易流行的FRP支持Nginx转发SSE“打字效果”

      最近gpt带来的轰动效应大家有目共睹,大家应该好奇它回复消息时的“打字”效果,为什么这么快,而且没有建立很多http连接,是定时轮询的吗,当然不是。它使用的就是浏览器基于http协议的Server Sent Events(SSE)协议,采用消息流的方式,共享同一个连接,自然就能提升性能,效果丝滑。那么自己部署了相关的LLM模型后,需要公开域名或者网站到外网使用的话,为了安全默认frp都是经过nginx转发一次,nginx上需要做一些设置,才能正确转发流经frp的SSE消息流:

    server {
        listen       80;
        server_name  *.mygpt.com;
        client_header_buffer_size 32k;
		
        location / {
            proxy_pass http://127.0.0.1:7001; 
            proxy_set_header Host $host; 
	        proxy_pass_header Set-Cookie;
	        proxy_redirect http://$host/ http://$http_host/;
	        proxy_ssl_server_name on;
            proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; 
			
            proxy_set_header Upgrade $http_upgrade; 
            #proxy_set_header Connection "upgrade"; 
            #proxy_connect_timeout 7d; 
            #proxy_send_timeout 7d; 
            #proxy_read_timeout 7d; 
		    proxy_set_header Connection 'upgrade';//WS/WSS协议支持
		    proxy_http_version 1.1;
		    chunked_transfer_encoding off;
		    proxy_buffering off;
		    proxy_cache off;
			
        }
    }

  

其中最后5行是新增的配置,转发到frp的7001口上去,修改重启ng,frp网站就可以享受 “打字”效果了,此配置同样支持WS或者WSS的Socket,比如SignalR。

 

posted @ 2023-07-31 08:34  pccai  阅读(229)  评论(0编辑  收藏  举报