摘要：
一、scrapy原理 Scrapy 使用了 Twisted异步网络库来处理网络通讯。整体架构大致如下 Scrapy主要包括了以下组件： 引擎(Scrapy)用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler)用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时 阅读全文
posted @ 2018-11-24 10:17 Linfinity 阅读(686) 评论(0) 推荐(0)
LinfinityNever say never. |
浙公网安备 33010602011771号