2018年12月26日
Scrapy框架解读
摘要： 1. Scrapy组件a. 主体部分i. 引擎(Scrapy)：处理整个系统的数据流处理，触发事务(框架核心)ii. 调度器(Scheduler)：1) 用来接受引擎发过来的请求, 压入队列中, 并在引擎再次请求的时候返回。2) 类似一个URL的优先队列, 由它决定下一个要抓取的网址, 同时去除重复 阅读全文
posted @ 2018-12-26 22:21 随想LJG 阅读(181) 评论(0) 推荐(0)
几图理解BeautifulSoup
摘要： 阅读全文
posted @ 2018-12-26 15:01 随想LJG 阅读(155) 评论(0) 推荐(0)