摘要: 一.什么是scrapy? 是为了爬取网站数据,提取结构性数据而编写的应用框架。之所以叫做框架是因为集成了各种实用功能(高性能异步下载,队列,分布式,解析,持久化等等)的项目模板。对于框架的学习,重点是要学习其框架的特性、各个功能的用法。 二.安装方法 Linux: pip3 install scra 阅读全文
posted @ 2019-06-03 21:34 small_caier 阅读(119) 评论(0) 推荐(0)
摘要: 恢复内容开始 一. 先介绍图片懒加载技术 当获取一个网站的图片数据时,只能爬取到图片的名称,并不能获得链接,而且也不能获得xpath表达式。这是应用了图片懒加载技术。 - 图片懒加载技术的概念: -- 图片懒加载是一种网页优化技术。图片作为一种网络资源,在被请求时也与普通静态资源一样,将占用网络资源 阅读全文
posted @ 2019-06-03 20:27 small_caier 阅读(286) 评论(0) 推荐(0)