2019年3月25日
Scrapy架构概览
摘要： 1. 首先Spider发送第一个需要爬取的Requests给Engine,然后跳到4 2. Engine在Scheduler中对Requests进行调度, 并请求下一个需要爬取的Requests. 3. Scheduler接受请求后, 返回下一个Requests给Engine. 4. Engine收 阅读全文
posted @ 2019-03-25 14:34 twfb 阅读(228) 评论(0) 推荐(0)