2020年10月12日
爬虫笔记...
摘要： scrapy运行流程 先弄清除他的运行流程之外,得先知道他的5大核心组件 1 spider,爬虫 2 引擎 3 调度器 4 下载器 5 管道 流程: - 在爬虫类中定义要爬取得url,将url封装成一个对象,传入引擎 - 引擎接收到对象,将对象传到调度器 - 调度器由2个部分组成,一个是过滤器,一个 阅读全文
posted @ 2020-10-12 21:18 李淳罡zZ 阅读(84) 评论(0) 推荐(0)