Scrapy [scrapy.utils.signal] ERROR: Error caught on signal handler: <bound method MemoryUsage.engine_started of <scrapy.extensions.memusage.MemoryUsage object at

 

 最近放假在学习Scrapy,其中遇到这错误.网上都没有发现,去国外翻了翻也没发现有人问??

首先排查settings文件,大概60多行.将写的Pipeline开启

 

 再排查有没有加保存路径.用的FilesPipeline加FIles_Store  images加images_Store

 

 再排查40多行,请求头参数,如果有的网站需要cookie要加上 下面那个是开启允许请求转发.解决一些网站下载的东西要被重定向

最后检查Pipeline

起初我也是极度怀疑这里的问题.其实只要这里就那么几步要注意的.几乎不会是这里的问题.

一般是爬虫文件写的有问题,特别是持久化相关操作!!!

一般是爬虫文件写的有问题,特别是持久化相关操作!!!

一般是爬虫文件写的有问题,特别是持久化相关操作!!!

 

如果上面所有都排查过了还是有问题,检查请求参数,尤其是cookie是否带有随机key.

如果还是有,根据规则在Middleware的DownloaderMiddleware的request方法或者exception方法生成对应随机key

 

 

如果还是排查不出来建议先巩固Scrapy,肯定是哪写错了.