肥余

摘要： Scrapy框架 crapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。 Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还 阅读全文

摘要： 有时候我们会遇到这样一个问题，就是明明xpath解析式是对的，但是却一直返回空列表的情况，这个时候我们就需要注意我们爬取的网页是哪种渲染方式，如果是服务器渲染那么通过xpath我们就可以轻松得到想要的内容，但如果是客户端渲染那么我们将得不到想要的数据，两者的区别在于前者在网页源代码中有相应内容，而后 阅读全文