随笔分类 -  网络爬虫

摘要:构建代理池 首先,使用GitHub上的开源项目ProxyPool在服务器上构建代理池 在Scrapy爬虫的middlewares.py中添加代理中间件 class RandomProxyMiddleware(object): def process_exception(self, request, 阅读全文
posted @ 2021-01-29 19:37 VanGy 阅读(251) 评论(0) 推荐(0)