文章分类 -  python爬虫scrapy

摘要:在scrapy中,负责导出数据的组件被称为Exporter,scrapy内部实现了多个exporter,每个实现了一种数据格式,支持的数据格式: JSON JSON lines CSV XML Pickle Marshal 如果需要其他形式,可以自行实现Exporter 我们可以通过两种方式来指定爬 阅读全文
posted @ 2020-05-07 13:34 风之老凌 阅读(312) 评论(0) 推荐(0)
摘要:先回顾一下我们前边是如何提取链接地址的 #以网站http://books.toscrape.com/index.html为例,提取下一页的链接地址 #我们来提取一下 >>> response.css('li.next a::attr(href)').extract_first() 'catalogu 阅读全文
posted @ 2020-05-07 10:40 风之老凌 阅读(457) 评论(0) 推荐(0)