2018年7月24日
scrapy的框架原理
最近想搞懂srapy，读了很多资料觉得这张图最好理解 5+2模式 五个模块 SPIDERS：能提出需求产生爬取项item，爬取请求requests，解析响应response ENGINE：控制数据流，提供事件触发，核心部分 SCHEDULER：接收请求，调度请求 DOWNLOADER：工作模块，根据 Read More
posted @ 2018-07-24 22:19 朝游碧海暮苍梧 Views(205) Comments(0) Diggs(0) Edit