细觉编程|如何给网站添加robots.txt

2021-09-27，今日主要分享Robots.txt的原理、作用、语法、使用。

一、什么是Robots.txt？

Robots是一个纯文本的文件，网站管理者可以通过声明该网站是否被搜索引擎访问或者指定搜索引擎只收录指定的网站内容；搜索引擎又称搜索机器人、蜘蛛程序，当访问一个站点时，首先会检查该站点根域下是否含有robots.txt文件的存在，如果根域下存在该文件，则搜索机器人或蜘蛛程序根据文件中的内容来确定访问其范围；如果根域下不存在该文件，那么搜索机器人就沿着链接抓取。

二、Robots的作用

• 引导搜索引擎蜘蛛抓取指定栏目或内容；
• 网站改版或者URL重写优化时候屏蔽对搜索引擎不友好的链接；
• 屏蔽死链接、404错误页面；
• 屏蔽无内容、无价值页面；
• 屏蔽重复页面，如评论页、搜索结果页；
• 屏蔽任何不想被收录的页面；
• 引导蜘蛛抓取网站地图；

三、Robots的语法

三个语法如下：

1、User-agent:（定义搜索引擎）

示例：

User-agent: *（定义所有搜索引擎）
User-agent: Googlebot （定义谷歌，只允许谷歌蜘蛛爬取）
User-agent: Baiduspider （定义百度，只允许百度蜘蛛爬取）

不同的搜索引擎的搜索机器人有不同的名称，谷歌:Googlebot、百度:Baiduspider、MSN:MSNbot、Yahoo:Slurp。

2、Disallow:（用来定义禁止蜘蛛爬取的页面或目录）

示例：

Disallow: /（禁止蜘蛛爬取网站的所有目录 "/" 表示根目录下）
Disallow: /admin （禁止蜘蛛爬取admin目录）
Disallow: /abc.html （禁止蜘蛛爬去abc.html页面）
Disallow: /help.html （禁止蜘蛛爬去help.html页面）

3、Allow:（用来定义允许蜘蛛爬取的页面或子目录）

示例：

Allow: /admin/test/（允许蜘蛛爬取admin下的test目录）
Allow: /admin/abc.html（允许蜘蛛爬去admin目录中的abc.html页面）

两个通配符如下：

4、匹配符 “$”

$ 通配符：匹配URL结尾的字符

5、通配符 “*”

* 通配符：匹配0个或多个任意字符

四、Robots的使用

1、禁止搜索引擎抓取特定目录

在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。

User-agent: *

Disallow: /admin/
Disallow: /tmp/
Disallow: /abc/

2、禁止admin目录，但允许抓取admin目录下的seo子目录

User-agent: * 　　

Allow: /admin/seo/
Disallow: /admin/

3、禁止抓取/abc/目录下的所有以".htm”为后缀的URL（包含子目录）

User-agent: * 　　

Disallow: /abc/*.htm$

4、禁止抓取网站中所有的动态页面

User-agent: * 　　

Disallow: /?

屏蔽所有带“?”的文件，这样就屏蔽所有的动态路径。

5、禁止百度蜘蛛抓取网站所有的图片：

User-agent: Baiduspider
Disallow: /.jpg$
Disallow: /.jpeg$
Disallow: /.gif$
Disallow: /.png$
Disallow: /*.bmp$

6、要在阻止网站页面被抓取的同时仍然在这些页面上显示 AdSense 广告

User-agent: * 　　

Disallow: /folder1/

User-agent: Mediapartners-Google
Allow: /folder1/

请禁止除 Mediapartners-Google 以外的所有漫游器。 这样可使页面不出现在搜索结果中，同时又能让 Mediapartners-Google 漫游器分析页面，从而确定要展示的广告。 Mediapartners-Google 漫游器并不与其他 Google User-agent 共享网页。

 

原文地址：https://w.cnblogs.com/aksir/p/6777811.html