蜘蛛设置了访问的层数

由于不可能抓取所有的网页，有些网络蜘蛛对一些不太重要的网站，设置了访问的层数。例如，在右图中，A为起始网页，属于0层，B、C、D、E、F属于第1 层，G、H属于第2层，I属于第3层。如果网络蜘蛛设置的访问层数为2的话，网页I是不会被访问到的。这也让有些网站上一部分网页能够在搜索引擎上搜索到，另外一部分不能被搜索到。对于网站设计者来说，扁平化的网站结构设计有助于搜索引擎抓取其更多的网页。

 

全文：http://www.zzbaike.com/wiki/%E8%9C%98%E8%9B%9B

 

按照上文，换句话说，蜘蛛会对权重高的网站设置访问的层数宽广一些，相对权重低的网站 访问的层数就狭窄了。

如果真是这样，蜘蛛在抓取的时候会对网站的权重进行判断 再进行抓取。

 

我试过用网站地图，发到其它秒收录高权重的论坛，例如：新浪论坛，根本没有效果。是因为我的网站权重低，蜘蛛访问层数设置少了吗？

如果真是这样，网站地图还有什么用？相比，直接把内文文章地址批量发出发，还有效得多。