2020年4月2日
scrapy图片数据爬取
摘要： 需求:爬取站长素材中的高清图片 一.数据解析（图片的地址) 通过xpath解析出图片src的属性值。只需要将img的src的属性值进行解析,提交到管道, 管道就会对图片的src进行请求发送获取图片 spider文件 class ImgSpider(scrapy.Spider): name = 'im 阅读全文
posted @ 2020-04-02 21:41 一只小小的寄居蟹 阅读(694) 评论(1) 推荐(0)
Scrapy爬取全站数据并存储到数据库和文件中
摘要： scrapy五大核心组件简介 引擎(Scrapy) 用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址 阅读全文
posted @ 2020-04-02 00:23 一只小小的寄居蟹 阅读(3587) 评论(0) 推荐(0)