大江东去，浪淘尽，千古风流人物。故垒西边，人道是，三国周郎赤壁。乱石穿空，惊涛拍岸，卷起千堆雪。江山如画，一时多少豪杰。遥想公瑾当年，小乔初嫁了，雄姿英发。羽扇纶巾，谈笑间，樯橹灰飞烟灭。故国神游，多情应笑我，早生华发。人生如梦，一尊还酹江月。

人生苦短 我用Python

扩大
缩小

随笔分类 -  014-分布式爬虫

分布式爬虫系统
摘要：分布式爬虫系统 一、架构 二、原理 1.分布式原理： 利用scrapy-redis实现分布式，利用主从模式，把自己核心服务器称为master，用于跑爬虫程序的机器称为slave。我们知道，采用scrapy框架抓取网页，需要首先给定一些start_urls，爬虫首先访问start_urls里面的url 阅读全文

posted @ 2019-04-30 11:44 GuoZeping 阅读(1473) 评论(0) 推荐(0)

分布式爬虫系统
摘要：分布式爬虫系统 https://blog.csdn.net/zwq912318834/article/details/79773870#commentsedit https://blog.csdn.net/zwq912318834/article/details/79720742 阅读全文

posted @ 2019-04-26 14:32 GuoZeping 阅读(155) 评论(0) 推荐(0)

导航