2022年6月2日
爬虫_scrapy_某瓜视频
摘要： 1.settings.py # Scrapy settings for scrapy_ixigua project # # For simplicity, this file contains only settings considered important or # commonly used 阅读全文
posted @ 2022-06-02 13:21 创客未来 阅读(146) 评论(0) 推荐(0)
爬虫_scrapy_请求头配置
摘要： 某些网站建立了反爬手段，这就需要在爬取中设置UA和cookie 1.UA 的设置 第一种方式 在settings中找到 USER_AGENT，将内容写成真正的浏览器UA即可，将注释解开，这个UA 是全局的。 第二种方式 在DEFAULT_REQUEST_HEADERS种配置UA 2.cookie的设 阅读全文
posted @ 2022-06-02 10:40 创客未来 阅读(440) 评论(0) 推荐(0)