2020年4月4日
scrapy源码解读（一）框架总体结构
摘要： 一、前言 阅读本文的前提是你已经对scrapy有了基本的认识，或是已经使用scrapy写过数据抓取项目。 二、框架总体结构 scrapy框架由多个组件组合而成，要采集的数据经过网络响应后返回流过各个组件，经过一些处理（如格式校验，过滤去重，异常数据抛弃），最终保存到指定的文件或数据库中。 下面是sc 阅读全文
posted @ 2020-04-04 22:15 天意凉 阅读(414) 评论(0) 推荐(0) 编辑