2019年6月2日
分布式爬虫的搭建-糗事百科(案例)
摘要： 糗事百科采用分布式爬取 1:scrapy-redis的工作原理 有相关scrapy经验者可仔细研究一些，无经验者可直接看下一节内容，等走完流程可在回头看 1，spider打开某网页，获取到一个或者多个request，经由scrapy engine传送给调度器scheduler request特别多并 阅读全文
posted @ 2019-06-02 10:32 hero1 阅读(338) 评论(0) 推荐(0)