摘要: 介绍 Scrapy 是一个基于 Twisted 的异步处理框架,是纯 Python 实现的爬虫框架,其架构清晰,模块之间的耦合程度低,可扩展性强,可以灵活完成各种需求 结构介绍 它可以分为以下几个部分 数据流 Scrapy 中的数据流由引擎控制,数据流的过程如下: 项目结构 scrapy.cfg : 阅读全文
posted @ 2019-08-08 23:00 __Invoker 阅读(238) 评论(0) 推荐(0) 编辑