2022年12月7日
scrapy
摘要： scrapy架构介绍 1.引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件 2.调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, 同时去除 阅读全文
posted @ 2022-12-07 21:29 无言以对啊 阅读(118) 评论(0) 推荐(0)