scrapy常用设置

1、禁止重定向

REDIRECT_ENABLED = False

2、禁用cookies

COOKIE_ENABLED = False

3、禁用referer

REFERER_ENABLED = False

posted @ 2021-07-23 19:44  CJTARRR  阅读(114)  评论(0)    收藏  举报