2018年8月17日
使用redis+flask维护动态代理池
摘要： 在进行网络爬虫时，会经常有封ip的现象。可以使用代理池来进行代理ip的处理。 代理池的要求：多站抓取，异步检测。定时筛选，持续更新。提供接口，易于提取。 代理池架构：获取器，过滤器，代理队列，定时检测。 使用https://github.com/Germey/ProxyPool/tree/maste 阅读全文
posted @ 2018-08-17 20:30 handsomeXXP 阅读(1481) 评论(0) 推荐(0)