2023年3月21日
0 scrapy架构介绍、1 scrapy解析数据、2 settings相关配置，提高爬取效率、3 持久化方案、 4 全站爬取cnblogs文章
摘要： 0 scrapy架构介绍 # 引擎(EGINE) 引擎负责控制系统所有组件之间的数据流，并在某些动作发生时触发事件。 # 调度器(SCHEDULER) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先级队列, 由它来决定下一个要抓取的网址是什么, 同 阅读全文
posted @ 2023-03-21 14:52 DYuH 阅读(51) 评论(0) 推荐(0)