识别和拒绝爬虫的访问
摘要：
有相当多的爬虫对网站会造成非常高的负载，因此识别爬虫的来源IP是很容易的事情。最简单的办法就是用netstat检查80端口的连接：C代码netstat -nt | grep youhostip:80 | awk '{print $5}' | awk -F":" '{print $1}'| sort | uniq -c | sort -r -nnetstat -nt | grep youhostip:80 | awk '{print $5}' | awk -F":" '{print $1}'| sort | uniq -c | sort -r -n这行shell可以按照80端口连接数量对来源IP 阅读全文
posted @ 2010-12-19 11:49 最初的模样 阅读(4022) 评论(0) 推荐(1) 编辑