2020年12月26日
爬虫-Scrapy（二） 爬取糗百笑话-单页
摘要： 1. Scrapy 设置文件修改 配置文件就是项目根路径下的 settings,py ,改下面的配置信息 a.遵循人机协议设置成false，否则基本啥也爬不到 # Obey robots.txt rules ROBOTSTXT_OBEY = False b. 设置ua,不然大部分网址是爬不到的 # 阅读全文
posted @ 2020-12-26 00:06 荆棘谷三季稻 阅读(156) 评论(0) 推荐(0)