文章分类 - python爬虫scrapy
摘要:在scrapy中,负责导出数据的组件被称为Exporter,scrapy内部实现了多个exporter,每个实现了一种数据格式,支持的数据格式: JSON JSON lines CSV XML Pickle Marshal 如果需要其他形式,可以自行实现Exporter 我们可以通过两种方式来指定爬
阅读全文
摘要:先回顾一下我们前边是如何提取链接地址的 #以网站http://books.toscrape.com/index.html为例,提取下一页的链接地址 #我们来提取一下 >>> response.css('li.next a::attr(href)').extract_first() 'catalogu
阅读全文