Loading

2019年5月7日
利用Redis和Flask维护一个通用爬虫代理池
摘要： 1 环境依赖 Redis / aiohttp / requests / redis py / Flask 2 模块架构 2.1 存储模块 负责代理池的存储 要求数据去重 要求动态实时地处理每个代理 因此我们采用Redis的Sorted Set作为存储框架 2.2 获取模块 代理池系统的入口 负责捕获 阅读全文
posted @ 2019-05-07 21:01 云野Winfield 阅读(302) 评论(0) 推荐(0)