shell小技巧：用curl批量验证代理IP是否可用

我们做SEO的有时候有一些奇怪的需求，比如批量查2000个词的排名什么的，如果同一个IP查的话，百度很容易屏蔽我们，这时候我们就需要一些代理IP来配合我们工作，那我们如何搞到一些可用的代理IP呢？

思路

1、用proxyfire（没听说过的自己百度一下）批量扫一批代理IP

2、筛选出中国地区的代理IP

3、用shell下的curl命令批量用代理IP去访问百度，把其中能正常访问的IP记下来

4、过滤出状态码200的IP即为可用的代理IP

5、awk出这些可用代理IP，生成ip-good.txt

 

以下是shell代码

 

cat ip.txt|while read line;do curl -x $line www.baidu.com -m 5 –connect-timeout 5 -o /dev/null -s -w “$line “%{http_code}”\n”;done>ip2.txt

awk ‘{if($2==200)print $1}’>ip-good.txt

效果如下图：

分享一些可用的代理IP http://seofangfa.com/shell/curl-proxy-ip.html