分布式爬虫处理redis数据
摘要:分布式爬虫默认八数据存储在redis中,可以将数据转存到Monogdb或Mysql中,从而降低内存消耗。 from redis import Redisfrom pymongo import MongoClientimport jsondef redis_to_mongodb(): redis_cl
阅读全文
posted @ 2021-05-02 23:53
posted @ 2021-05-02 23:53