Scrapy 设置请求头

爬虫的过程有些网站设置反盗链，需要我们在请求头中添加下，修改settings.py文件中添加

DEFAULT_REQUEST_HEADERS = {
    'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
    'Accept-Language': 'en',
    "Referer": "https://i.autohome.com.cn",
    "Host": "i.autohome.com.cn",
}

具体的信息可以根据自己需求修改，注意这个设置是全局请求都要走这个配置；

posted on 2018-01-31 16:08  梦雨情殇  阅读(1175)  评论(0)  编辑  收藏  举报

导航