案例 - 创建一个爬虫下载图片

 

1. 简单创建一个爬虫 下载图片 

1.  成功下载图片,  路径设置 , 完成 
2. 无固 批量下载 批量创建自定义文件夹
3. 图片无命名,

  1.1  爬虫文件 

class ImagesSpider(scrapy.Spider):
    name = 'images'
    allowed_domains = ['chaochui.ml', 'ledchuzu.com']
    start_urls = ['https://b.chaochui.ml/P/5109']

    def parse(self, response):

        # css 选择器 拿到数据 images_urls 固定链接
        image_urls = response.css('.entry-content p img::attr(src)').getall()
        # print(image_urls)
        yield {
            'image_urls': image_urls,
        }

 

  1.2 setting 设置 

# 开启管道
ITEM_PIPELINES = {

   # 图片下载专用管道
   'scrapy.pipelines.images.ImagesPipeline': 300,

}

# 设置图片保存地址
IMAGES_STORE = 'e:/img'

 


 

posted @ 2022-08-01 15:30  我在春天等伱  阅读(49)  评论(0)    收藏  举报