摘要： 今天有人说可以利用 html 页面的中 meta 标签来屏蔽搜索引擎蜘蛛的抓取或不让蜘蛛抓取网页中的其它链接，本着好奇的精神，就查了一些相关的资料，发现了一串类似 <meta name='robots' content='noindex,nofollow' /> 这样的HTML代码，可以告诉来网页爬 阅读全文