摘要: 在爬虫学习的过程中,维护一个自己的代理池是非常重要的。 详情看代码: 1.运行环境 python3.x,需求库:bs4,requests 2.实时抓取西刺-国内高匿代理中前3页的代理ip(可根据需求自由修改) 3.多线程对抓取的代理进行验证并存储验证后的代理ip #-*-coding:utf8-*- 阅读全文
posted @ 2016-08-24 15:33 溟茻 阅读(876) 评论(0) 推荐(0)