随笔分类 -  报错集合

使用scrapy框架报错：Spider must return xxxx
摘要：完整报错如下：ERROR: Spider must return Request, BaseItem, dict or None, got 'ArticleItemLoader' in 通过设置断点排查，发现是我在spiders目录下的爬虫文件，在yield的时候，写... 阅读全文
posted @ 2018-08-11 08:49 有关心情 阅读(601) 评论(0) 推荐(0)
利用Scrapy框架下载图片报400状态码
摘要：问题：利用Scrapy框架爬伯乐在线的时候，涉及到图片下载，因为scrapy框架中内置有图片下载功能，所以没有另外写，直接使用。在settings.py中做了如下修改：ITEM_PIPELINES = { 'Article.pipelines.ArticlePi... 阅读全文
posted @ 2018-08-06 16:57 有关心情 阅读(307) 评论(0) 推荐(0)