如何屏蔽掉搜狗蜘蛛

如果有一天,你突然发现自己的网站打开的时候,提示说数据库连接不上了,但是访问统计显示访客并没有明显的增长,近期也没有新增什么占用cpu比较大的插件,主机商的服务器也没有什么问题,自己的数据库信息也正确,那么很有可能是一些搜索引擎的蜘蛛访问和抓取过于频繁导致网站的cpu超标,并发数也达到了最大,因此主机商采用了零时限制的方法,通常会偶尔断开一下,如果遇到搜狗这样的蜘蛛频繁的光顾,那么很可能网站就基本打不开了。我就试过两次,第一次已经用robots.txt来限制搜狗蜘蛛的抓取了,也屏蔽掉了搜狗蜘蛛的一些ip!

我试过用robots.txt来限制搜狗蜘蛛的网站的抓取,也不是说搜狗不抓取,但是要过一段时间,网站就会不收录了,但是再过一段时间,搜狗的蜘蛛就会重来(刚检查了一下,是我后来又让搜狗爬的,错怪搜狗了),有一度我的网站就被搜狗的蜘蛛爬得宕机了.无奈之下, 只好手动把搜狗蜘蛛的ip屏蔽掉了.

一、使用robots.txt:

User-agent: Sogou web spider/4.0 
Disallow: /

把以上这段规则加到你的网站robots.txt文件当中!不过搜狗蜘蛛需要一段时间才会不再抓取!

二、屏蔽掉搜狗蜘蛛的ip是最快的方法  ip拒绝器!

不过由于搜狗蜘蛛的ip挺多的,因此估计要连续多天登录后台查看,继续添加新的搜狗蜘蛛ip!

由于我的网站本身从搜狗来的流量基本没有(收录和排名都很好,奈何用的人少啊)

如图,是各大搜索引擎蜘蛛访问我的网站的数据(不是何苦呢这个站):(是某日志分析工具的截图)

全文:http://nowayhere.com/pingbi-sougou-zhizhu.html //我刚刚与作者相反,搜狗蜘蛛根本不访我我的站,发外链引蜘蛛试了很多次了

posted @ 2016-04-12 13:22  stma  阅读(934)  评论(0)    收藏  举报