动态代理Ip爬取数据结合Jsoup

如果爬取数据的量很大，而且使用代理Ip封号很频繁，那么就应该考虑动态代理ip,如果这个Ip访问不了，就换下一个ip继续爬取数据。

用于动态ip代理的工具类HttpUtils，代码如下：

 

上图中的“D:\\ips.txt”如下图所示，都是代理Ip,全部集合在一起，方便换取。

用于获取document对象的工具类JsoupUtils，代码如下：

实际项目需要用动态代理IP,就可以调用上面两个工具类，代码如下图所示;

下图是代理Ip不能访问的效果图

下面是代理ip访问的效果图，根据我的项目代码，是可以爬取数据插入数据库的，如下图所示：