2022年5月25日
scrapy框架中间件（处理请求和代理）
摘要： #修改中间件 import random class MiddleproDownloaderMiddleware(object): # Not all methods need to be defined. If a method is not defined, # scrapy acts as i 阅读全文
posted @ 2022-05-25 23:24 simon_T 阅读(76) 评论(0) 推荐(0)
scrapy框架图片爬取
摘要： 只需要将img的src的属性值进行解析，提交到管道，管道就会对图片的src进行请求发送获取图片的二进制类型的数据，且还会帮我们进行持久化存储 #使用流程： ##数据解析（图片的地址） ##将存储图片地址的item提交到制定的管道类 import scrapy from imgPro.items im 阅读全文
posted @ 2022-05-25 22:52 simon_T 阅读(158) 评论(0) 推荐(0)