摘要：selenium是一款老牌的自动化测试工具，也被不少人用做爬虫工具。 通常我们使用时都是在Windows或者带图形界面的Linux系统下，且需配合ChromeDriver（或其他浏览器Driver），但生产环境很多时候是纯命令行的Linux环境；其实在这种条件下，selenium也是可以部署使用的， 阅读全文

摘要：业务需求 现需对某国外图片网站进行大量爬取，为提高效率使用多进程，对多个子目录下的图片同时爬取。由于网站对单IP的下载量有限额，需要在额度耗尽时自动从代理池里更换新代理。IP的可用额度无法在本地计算或实时获取，只有在耗尽时才能从目标网站得到异常通知。 业务分析 虽然是单机并发，但所面对的问题其实属于 阅读全文