scrapy shell请求 带请求头
写法:
scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0" https://www.zhihu.com/question/285908404
# 后面网址换成自己的网址,这样shell返回403的网站,正常返回200值。
    如果人生还有重来,那就不叫人生。
写法:
scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0" https://www.zhihu.com/question/285908404
# 后面网址换成自己的网址,这样shell返回403的网站,正常返回200值。