2018年11月10日
Twisted框架学习
摘要： Twisted是用Python实现的基于事件驱动的网络引擎框架，是python中一个强大的异步IO库。理解twisted的一个前提是弄清楚twisted中几个核心的概念: reactor, Protocl, ProtocolFactory, Deffered 1 reactor twisted.in 阅读全文
posted @ 2018-11-10 12:02 silence_cho 阅读(9659) 评论(0) 推荐(0)
Scrapy学习
摘要： 1.Scrapy整体框架 Scrapy采用了Twisted异步网络来处理请求，整体框架如下： Scrapy Engine爬虫引擎：协调整个框架组件间的数据交互，是框架的核心 Schedule调度器：接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL的优先队列, 阅读全文
posted @ 2018-11-10 09:06 silence_cho 阅读(666) 评论(0) 推荐(0)