2022年12月7日
【2022-12-07】爬虫从入门到入狱(五)
摘要： scrapy架构介绍 # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。有关详细信息，请参见上面的数据流部分。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来 阅读全文
posted @ 2022-12-07 21:47 dy12138 阅读(59) 评论(0) 推荐(0)