scrapy shell请求 带请求头

写法:

scrapy shell -s USER_AGENT="Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:61.0) Gecko/20100101 Firefox/61.0" https://www.zhihu.com/question/285908404

# 后面网址换成自己的网址,这样shell返回403的网站,正常返回200值。

posted @ 2020-12-09 21:33  凹凸曼大人  阅读(111)  评论(0)    收藏  举报