路飞学城Python-Day153
摘要:
Scrapy核心组件 引擎 用来处理这个系统的数据流处理,出发事务(框架核心) 引擎会监测到爬虫文件中有没有定义url,如果有url,引擎就会调用一个startrequest的一个父类的方法,对爬虫文件中起始url列表发起请求,这些对象都会提交给引擎 管道 负责处理爬虫从网页中抽取出来的实体,主要的 阅读全文
posted @ 2018-11-18 16:17 pandaboy1123 阅读(171) 评论(0) 推荐(0)
浙公网安备 33010602011771号