摘要: 之前我们分析过喜马拉雅的爬取信息,使用分布式爬取,而且需要修改scrapy redis的过滤算法为布隆过滤来减少redis内存占用,最后考虑这样还是不一定够,那么redis集群就是更好的一种选择方式了。 Redis 集群介绍 Redis 集群是一个提供在多个Redis节点间共享数据的程序集。 Red 阅读全文
posted @ 2018-06-09 20:16 星星在线 阅读(5662) 评论(0) 推荐(0) 编辑