天叔

摘要： 五大核心组件作用 引擎（Scrapy）：用来整个系统的数据流处理，触发事物（框架核心） 调度器（Sheduler）：用来接受引擎发过来的请求，压入队列中，并在引擎再次请求的时候返回，可以想象成一个URL的优先队列，由它来决定下一个要抓取的网址，同时去除重复网址 下载器（Downloader）：用于下 阅读全文