随笔分类 -  nginx

利用nginx对爬虫服务做集群处理
摘要:nginx有11个处理阶段,如下图所示: 一般我们在开发过程中常用到的阶段如下: 1.set_by_lua 做流程分支判断,判断变量初始化 2.rewrite_by_lua 转发重定向,缓存功能 3.access_by_lua ip准入,接口合法权限判断,根据iptable做防火墙的功能 4.con 阅读全文
posted @ 2019-06-28 15:19 kakaok 阅读(6329) 评论(0) 推荐(0)
摘要:前缀匹配时,Nginx 不对 url 做编码,因此请求为 /static/20%/aa,可以被规则 ^~ /static/ /aa 匹配到(注意是空格) 多个 location 配置的情况下匹配顺序为(参考资料而来,还未实际验证,试试就知道了,不必拘泥,仅供参考): 首先精确匹配 = 其次前缀匹配  阅读全文
posted @ 2019-06-28 14:32 kakaok 阅读(1050) 评论(0) 推荐(0)
摘要:最近在对爬虫服务做分布式服务的时候总是遇到服务器返回504,搞了两天才发现原来是nginx中有对超时的设置参数,自己都是用默认的,然而客户端的等待时间超过了nginx默认的超时设置 修改 keepalive_timeout 120; 默认的是75s,根据自己的需要修改合适的值 修改后再运行测试发现一 阅读全文
posted @ 2017-05-15 14:00 kakaok 阅读(701) 评论(0) 推荐(0)