摘要: 在学习使用scrapy爬虫框架之前,需要了解一些基础原理 我们知道HTTP请求是基于socket模块进行发送和接受的,但是socket套接字的在使用的中存在着阻塞,不利用爬虫的高性能运行,所以我们就需要对框架进行一些高性能设置,使用select模块,检测socket请求的IO操作,实现对socket 阅读全文
posted @ 2017-08-31 22:23 左岸边 阅读(972) 评论(0) 推荐(0)