五杀摇滚小拉夫

摘要： Engine：引擎，处理整个系统的数据流处理、触发事务，是整个框架的核心。 Item：项目，定义爬虫结果的数据结构，爬去的数据被赋值为该item对象。 Scheduler：调度器，接受引擎发过来的请求并将其加入队列中，在引擎再次请求时将请求提供给引擎。 Downloader：下载器，下载网页内容，并 阅读全文