抓取某网站数据被限制时的解决方案 

server {
      listen 80;
      server_name abc.bbb.cn;

      location / {
        proxy_pass http://www.abxxx.com/;
        proxy_set_header   User-Agent "Mozilla/5.0 (iPhone; CPU iPhone OS 13_2_3 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/13.0.3 Mobile/15E148 Safari/604.1";
      }
}

　　

如果你想抓去  www.abxxx.com  网站中的数据，出现链接被重置等问题时，可以使用nginx 进行伪造正常用户的请求，得到抓取数据的效果。此时代码中请求的  www.abxxx.com 需要替换成  anc.bbb.cn

posted @ 2022-07-29 21:30  哦克Oak  阅读(123)  评论(0)  编辑  收藏  举报