案例 - 创建一个爬虫下载图片
1. 简单创建一个爬虫 下载图片
1. 成功下载图片, 路径设置 , 完成
2. 无固 批量下载 批量创建自定义文件夹
3. 图片无命名,
1.1 爬虫文件
class ImagesSpider(scrapy.Spider): name = 'images' allowed_domains = ['chaochui.ml', 'ledchuzu.com'] start_urls = ['https://b.chaochui.ml/P/5109'] def parse(self, response): # css 选择器 拿到数据 images_urls 固定链接 image_urls = response.css('.entry-content p img::attr(src)').getall() # print(image_urls) yield { 'image_urls': image_urls, }
1.2 setting 设置
# 开启管道 ITEM_PIPELINES = { # 图片下载专用管道 'scrapy.pipelines.images.ImagesPipeline': 300, } # 设置图片保存地址 IMAGES_STORE = 'e:/img'