2019年3月4日
scrapy的核心组件，post请求，日志、请求参数，中间件的UA池和selenium的应用
摘要： 一.scrapy的核心组件 五大核心组件工作流程： 引擎(Scrapy) 用来处理整个系统的数据流处理, 触发事务(框架核心) 调度器(Scheduler) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来 阅读全文
posted @ 2019-03-04 16:30 Montant 阅读(510) 评论(0) 推荐(0) 编辑