2024年3月13日
scrapy下载大文件失败问题
摘要： 由于scrapy并发请求过多，默认情况下会同时下载16个文件，而连接时间默认超过三分钟就会丢失。就是说如果三分钟之内你的网速没法支持你同时下载完16个文件的话就会造成这个问题。 解决方法就是在settings.py中将默认并发连接数调小或者将timeout时间调大 CONCURRENT_REQUES 阅读全文
posted @ 2024-03-13 10:02 珊瑚贝博客 阅读(90) 评论(0) 推荐(0)