2018年11月29日

scrapy抓取拉勾网职位信息（七）——实现分布式

摘要： 上篇我们实现了数据的存储，包括把数据存储到MongoDB，Mysql以及本地文件，本篇说下分布式。 我们目前实现的是一个单机爬虫，也就是只在一个机器上运行，想象一下，如果同时有多台机器同时运行这个爬虫，并且把数据都存储到同一个数据库，那不是美滋滋，速度也得到了很大的提升。 要实现分布式，只需要对se 阅读全文

posted @ 2018-11-29 22:41 月见空青 阅读(308) 评论(1) 推荐(0)

导航