2019年9月26日
爬虫技术：代理池的维护
摘要： 一：代理池维护的模块 1. 抓取模块Crawl，负责从代理网站上抓取代理 抓取模块 2. 获取代理Getter，负责获取抓取模块返回的值，并判断是否超过存储模块的最大容量。 获取模块 3.存储模块Redis，负责将抓取的每一条代理存放至有序集合中。 存储模块 4.测试模块Tester，负责异步测试每 阅读全文
posted @ 2019-09-26 15:57 张京墨 阅读(544) 评论(0) 推荐(0)