2021 年 3月 31 日随笔档案 - .Tang

公告

2021年3月31日

scrapy下载文件，当传递一个url列表到pipelines管道处理时，如何做到不受多线程影响进行排序。

摘要：与下载图片类似： 1.item中需要有固定的字段 file_urls = scrapy.Field() files = scrapy.Field() 2.获取到文件的url，通过item["file_urls"]传送到 pipelines def parse_item(self, response) 阅读全文

posted @ 2021-03-31 10:53 .Tang 阅读(261) 评论(0) 推荐(0)