关于robot的一些知识(转)

[-]

  1. robot禁止搜索引擎收录的方法
    1. robotstxt文件
    2. robotstxt文件格式
    3. User-agent
    4. Disallow
    5. Allow
    6. 通配符
    7. shell脚本禁止搜索引擎抓取
  2. 优化搜索引擎站内抓取robottxt在线生成-使用方法-检测方法
  3. robotstxt 详细说明
    1. 一什么是robotstxt文件
    2. 二 robotstxt文件放在哪里
    3. 三 robotstxt文件的格式
      1. User-agent
      2. Disallow
      3. Allow
      4. 一个网站的所有URL默认是Allow的所以Allow通常与Disallow搭配使用实现允许访问一部分网页同时禁止访问其它所有URL的功能
    4. 四 robotstxt文件用法举例
    5. 五 robotstxt文件参考资料
  4. 在你的主页中为Web Robot设计路标
    1. Internet上的流浪汉 Web Robot
    2. 其实Web Robot能听懂你的话
      1. Robots Exclusion Protocol 协议
      2. Robots META tag
    3. 使用Robots Exclusion Protocol协议
    4. 下面是几个robottxt的例子
    5. 使用Robots META tag方式
  5. 分享robotstxt的写法
    1. 什么是robotstxt文件
    2. robotstxt文件的格式
    3. 我们常用的搜索引擎类型有
    4. robotstxt文件的写法
    5. Robots Meta标签
  6. robottxt在线生成
 
http://write.blog.csdn.net/postedit/50538590

robot禁止搜索引擎收录的方法

转自：http://www.cnblogs.com/dyllove98/archive/2013/06/09/3130063.html

robots.txt文件

搜索引擎使用sphider程序自动访问互联网上的网页并获取网页信息。sphider在访问一个网站时，会首先检查该网站的根目录下是否有一个叫做robots.txt的纯文本文件，这个文件用于指定sphider在您的网站上的抓取范围。您可以在您的网站上创建一个robots.txt，在文件中声明该网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分
 
 

robots.txt文件格式

“robots.txt”文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL，or NL作为结束符），每一条记录的格式如下所示：
 
[html] view plain copy
 
  1. “<field>:<optional space><value><optional space>”  

在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow和Allow行。
 

User-agent

该项的值用于描述搜索引擎robot的名字。在“robots.txt”文件中，如果有多条User-agent记录说明有多个robot会受到“robots.txt”的限制，对该文件来说，至少要有一条User-agent记录。如果该值的值为*,则对任何robot均有效
 

Disallow

该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问
 

Allow

该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许被robot访问的
 

通配符

sphider支持使用“*”和“$”来模糊匹配URL
 
 

shell脚本禁止搜索引擎抓取

禁止搜索引擎抓取网站的网址可以在每个网站的根目录下放置如下的robots.txt文件：
http://write.blog.csdn.net/postedit/50538590
[html] view plain copy
 
  1. User-agent: *  
  2. Disallow: /  

一键部署的shell脚本：
 
[html] view plain copy
 
  1. #!/bin/bash  
  2.   
  3. #网站根目录定义  
  4. root_dir=("/var/www/")  
  5.   
  6. #构建爬虫规则  
  7. for dir in ${root_dir[*]}  
  8. do  
  9.     #删除过期的robots.txt文件  
  10.     if [ -f $dir/robots.txt ]; then  
  11.         rm -r $dir/robots.txt  
  12.     fi  
  13.   
  14.     #增加新的爬虫规则  
  15.     echo "User-agent: *" >$dir/robots.txt  
  16.     echo "Disallow: /" >>$dir/robots.txt  
  17.   
  18.     #修改权限  
  19.     chown www-data.www-data $dir/robots.txt  
  20. done  

 

优化搜索引擎站内抓取：robot.txt在线生成-使用方法-检测方法

稿源：乱炖-研究web：http://levi.yii.so/?p=3295

robots.txt 详细说明

一．什么是robots.txt文件?

搜索引擎通过一种程序robot（又称spider），自动访问互联网上的网页并获取网页信息。 您可以在您的网站中创建一个纯文本文件robots.txt，在这个文件中声明该网站中不想被robot访问的部分，这样，该网站的部分或全部内容就 可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。

二. robots.txt文件放在哪里?

robots.txt文件应该放在网站根目录下。举例来说，当robots访问一个网站（比如http://levi.yii.so）时，首先会检查该网站中是否存在http://levi.yii.so/robots.txt这个文件，如果机器人找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。

网站 URL 相应的 robots.txt的 URL

http://levi.yii.so/ http://levi.yii.so/robots.txt
http://levi.yii.so:80/ http://levi.yii.so:80/robots.txt
http://levi.yii.so:1234/ http://levi.yii.so:1234/robots.txt
http://yii.so/ http://yii.so/robots.txt

三. robots.txt文件的格式

“robots.txt”文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示：

“<field>:<optionalspace><value><optionalspace>”。

在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干 Disallow行,详细情况如下：

User-agent:

该项的值用于描述搜索引擎robot的名字，在”robots.txt”文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文 件来说，至少要有一条User-agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在”robots.txt”文件中，”User-agent：*”这样 的记录只能有一条。

Disallow :

该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow 开头的URL均不会被robot访 问到。

例如”Disallow: /help”对/help.html 和/help/index.html都不允许搜索引擎访问，而”Disallow: /help/”则允许robot访问/help.html ，而不能访问/help/index.html。

任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在”/robots.txt”文件中，至少要有一条Disallow记录。如 果”/robots.txt”是一个空文件，则对于所有的搜索引擎robot，该网站都是开放的。

Allow:

该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头 的URL 是允许robot访问的。

例如”Allow:/hilevi”允许robot访问/hilevi.htm、/hilevicom.html、 /hilevi/com.html。

一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。

使用”*”and”$”：

Baiduspider支持使用通配符”*”和”$”来模糊匹配url。

  • “$” 匹配行结束符。
  • “*” 匹配0或多个任意字符。

注：严格遵守robots的相关协议，请注意区分您不想被抓取或收录的目录的大小写，robots中所写的文件和您不想被抓取和收录的目录做精确匹配，否则robots协议无法生效。

四. robots.txt文件用法举例

例1. 禁止所有搜索引擎访问网站的任何部分 下载该robots.txt文件

 User-agent: *
 Disallow: /

例2. 允许所有的robot访问 (或者也可以建一个空文件 “/robots.txt” file)

User-agent: *
 Disallow:

例3. 禁止某个搜索引擎的访问

User-agent: BadBot
 Disallow: /

例4. 允许某个搜索引擎的访问

User-agent: baiduspider
Disallow:
User-agent: *
Disallow: /

例5. 一个简单例子 在这个例子中，该网站有三个目录对搜索引擎的访问做了限制，即搜索引擎不会访问这三个目录。 需要注意的是对每一个目录必须分开声明，而不要写成 “Disallow: /cgi-bin/ /tmp/”。 User-agent:后的* 具有特殊的含义，代表”any robot”，所以在该文件中不能有”Disallow: /tmp/*” or “Disallow: *.gif”这样的记录出现.

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

五. robots.txt文件参考资料

robots.txt文件的更具体设置,请参看以下链接：

在你的主页中为Web Robot设计路标。

Internet越来越酷，WWW的知名度如日中天。在Internet上发布公司信息、进行电子商务已经从时髦演化成时尚。作为一个Web Master，你可能 对HTML、Java script、Java、 ActiveX了如指掌，但你是否知道什么是Web Robot？你是否知道Web Robot和你所设 计的主页有什么关系？

Internet上的流浪汉— Web Robot

有时你会莫名其妙地发现你的主页的内容在一个搜索引擎中被索引，即使你从未与他 们有过任何联系。其实这正是Web Robot的功劳。Web Robot其实是一些程序，它可以 穿越大量Internet网址的超文本结构，递归地检索网络站点所有的内容。这些程序有时被叫 “蜘蛛（Spider） ” ， “网上流浪汉（Web Wanderer）”，“网络蠕虫（web worms）”或Web crawler。一些Internet网上知名的搜索引擎站点（Search Engines）都有专门的Web Robot程序来完成信息的采集，例如Lycos，Webcrawler，Altavista等，以及中文搜索引擎站点例如北极星，网易， GOYOYO等。

Web Robot就象一个不速之客，不管你是否在意，它都会忠于自己主人的职责，任劳任怨、不知疲倦地奔波于万维网的空间，当然也会光临你的 主页，检索主页内容并生成它所需要的记录格式。或许有的主页内容你乐于世人皆知，但有的内容你却不愿被洞察、索引。难道你就只能任其 “横行”于自己主页空间，能否指挥和控制Web Robot的行踪呢？答案当然是肯定的。只要你阅读了本篇的下文，就可以象一个交通 警察一样 ，布置下一个个路标，告诉Web Robot应该怎么去检索你的主页，哪些可以检索，哪些不可以访问。

其实Web Robot能听懂你的话。

不要以为Web Robot是毫无组织，毫无管束地乱跑。很多Web Robot软件给网络站点的 管理员或网页内容制作者提供了两种方法来限制Web Robot的行踪：

1、Robots Exclusion Protocol 协议

网络站点的管理员可以在站点上建立一个专门格式的文件，来指出站点上的哪一部分 可以被robot访问, 这个文件放在站点的根目录下，即 robots.txt.” http://…/robots.txt.

2、Robots META tag

一个网页作者可以使用专门的HTML META tag ，来指出某一个网页是否可以被索引、分析或链接。

这些方法适合于大多数的Web Robot，至于是否在软件中实施了这些方法，还依赖于 Robot的开发者，并非可以保证对任何Robot都灵验。如果 你迫切需要保护自己内容，则应考虑采用诸如增加密码等其他保护方法。

使用Robots Exclusion Protocol协议

当Robot访问一个 Web 站点时，它先去检查文件robots.txt。如果这个文件存在，它便会按照这样的记录格式去分析：

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

以确定它是否应该检索站点的文件。这些记录是专门给Web Robot看的，一般的浏览者大概永远不会看到这个文件，所以千万不要异想天开地在 里面加入形似<img src=*> 类的HTML语句或是“How do you do? where are you from?”之类假情假意的问候语。

在一个站点上只能有一个 “/robots.txt” 文件，而且文件名的每个字母要求全部是小 写。在Robot的记录格式中每一个单独的”Disallow”行表 示你不希望Robot访问的URL， 每个URL必须单独占一行，不能出现 “Disallow: /cgi-bin/ /tmp/”这样的病句。同时在一个记录中不能出现空 行，这是因为空行是多个记录分割的标志。

User-agent行指出的是Robot或其他代理的名称。在User-agent行，”*” 表示一个特殊的含义—所有的robot。

下面是几个robot.txt的例子：

在整个服务器上拒绝所有的robots：

User-agent: *
Disallow: /

允许所有的robots访问整个站点 (或者产生一个空的 “/robots.txt” 文件)：

User-agent: *
Disallow:

服务器的部分内容允许所有的robot访问

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /private/

拒绝某一个专门的robot：

User-agent: BadBot Disallow: /

只允许某一个robot光顾：

User-agent: WebCrawler 
Disallow:
User-agent: * 
Disallow: /

最后我们给出 http://www.w3.org/站点上的robots.txt：

# For use by search.w3.org User-agent: W3Crobot/1
Disallow:
User-agent: *
Disallow: /Member/ # This is restricted to W3C Members only
Disallow: /member/ # This is restricted to W3C Members only
Disallow: /team/ # This is restricted to W3C Team only
Disallow: /TandS/Member # This is restricted to W3C Members only
Disallow: /TandS/Team # This is restricted to W3C Team only
Disallow: /Project
Disallow: /Systems
Disallow: /Web
Disallow: /Team

使用Robots META tag方式

Robots META tag 允许HTML网页作者指出某一页是否可以被索引，或是否可以用来查找更多的链接文件。目前只有部分robot实施了这一功能。

Robots META tag的格式为：

1
<META NAME="ROBOTS" CONTENT="NOINDEX, NOFOLLOW">

象其他的META tag一样，它应该放在HTML文件的HEAD区：

1
2
3
4
5
6
7
8
<html>
    <head>
        <meta name="robots" content="noindex,nofollow">
        <meta name="description" content="This page ....">
        <title>...</title>
    </head>
    <body>
    ...

Robots META tag指令使用逗号隔开，可以使用的指令包括 [NO]INDEX 和[NO]FOLLOW。

INDEX 指令指出一个索引性robot是否可以对本页进行索 引；FOLLOW 指 令指出robot是否可以跟踪本页的链接。缺省的情况是INDEX和FOLLOW。例如：

1
2
3
4
<meta name="robots" content="index,follow">
<meta name="robots" content="noindex,follow">
<meta name="robots" content="index,nofollow">
<meta name="robots" content="noindex,nofollow">

一个好的Web 站点管理员应该将robot的管理考虑在内，使robot为自己的主页服务， 同时又不损害自己网页的安全。

分享——robots.txt的写法

在进行网站优化的时候，经常会使用robots文件把一些内容不想让蜘蛛抓取，以前写过一篇网站优化robots.txt文件的运用现在写这编文章在补充一点点知识！

什么是robots.txt文件

搜索引擎通过一种爬虫spider程序（又称搜索蜘蛛、robot、搜索机器人等），自动搜集互联网上的网页并获取相关信息。

鉴于网络安全与隐私的考虑，搜索引擎遵循robots.txt协议。通过根目录中创建的纯文本文件robots.txt，网站可以声明不想被robots访问的部分。每个网站都可以自主控制网站是否愿意被搜索引擎收录，或者指定搜索引擎只收录指定的内容。当一个搜索引擎的爬虫访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果该文件不存在，那么爬虫就沿着链接抓取，如果存在，爬虫就会按照该文件中的内容来确定访问的范围。

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

robots.txt文件的格式

  • User-agent: 定义搜索引擎的类型
  • Disallow: 定义禁止搜索引擎收录的地址
  • Allow: 定义允许搜索引擎收录的地址

我们常用的搜索引擎类型有：

  • google蜘蛛：googlebot
  • 百度蜘蛛：baiduspider
  • yahoo蜘蛛：slurp
  • alexa蜘蛛：ia_archiver
  • msn蜘蛛：msnbot
  • altavista蜘蛛：scooter
  • lycos蜘蛛：lycos_spider_(t-rex)
  • alltheweb蜘蛛：fast-webcrawler
  • inktomi蜘蛛： slurp

robots.txt文件的写法

# 这里的*代表的所有的搜索引擎种类，*是一个通配符
User-agent: * 

# 这里定义是禁止爬寻admin目录下面的目录
Disallow: /admin/ 

# 这里定义是禁止爬寻require目录下面的目录
Disallow: /require/ 

# 这里定义是禁止爬寻ABC整个目录
Disallow: /ABC 
Disallow: /cgi-bin

要拦截对所有包含问号 (?) 的网址的访问，可使用下列条目：

User-agent: *
Disallow: /*?*

使用 $ 匹配网址的结束字符

您可使用 $ 字符指定与网址的结束字符进行匹配。例如，要拦截以.asp 结尾的网址，可使用下列条目：

User-Agent: Googlebot
Disallow: /*.asp$

您可将此模式匹配与 Allow 指令配合使用。例如，如果 ? 表示一个会话 ID，您可排除所有包含该 ID 的网址，确保 Googlebot 不会抓取重复的网页。但是，以 ? 结尾的网址可能是您要包含的网页版本。在此情况下，可对 robots.txt 文件进行如下设置：

User-agent: *
Allow: /*?$
Disallow: /*?
Disallow: / *?

一行将拦截包含 ? 的网址（具体而言，它将拦截所有以您的域名开头、后接任意字符串，然后是问号 (?)，而后又是任意字符串的网址）。

Allow: /*?$ 一行将允许包含任何以 ? 结尾的网址（具体而言，它将允许包含所有以您的域名开头、后接任意字符串，然后是问号 (?)，问号之后没有任何字符的网址）。

Robots Meta标签

Robots.txt文件主要是限制整个站点或者目录的搜索引擎访问情况，而Robots Meta标签则主要是针对一个个具体的页面。和其他的META标签（如使用的语言、页面的描述、关键词等）一样，Robots Meta标签也是放在页面的中，专门用来告诉搜索引擎ROBOTS如何抓取该页的内容。

Robots Meta标签中没有大小写之分，name=”Robots”表示所有的搜索引擎，可以针对某个具体搜索引擎写为name=”BaiduSpider”。content部分有四个指令选项：index、noindex、follow、nofollow，指令间以“,”分隔。

  • index指令告诉搜索机器人抓取该页面；
  • follow指令表示搜索机器人可以沿着该页面上的链接继续抓取下去；

Robots Meta标签的缺省值是index和follow，只有inktomi除外，对于它，缺省值是index、nofollow。

需要注意的是：上述的robots.txt和Robots Meta标签限制搜索引擎机器人（ROBOTS）抓取站点内容的办法只是一种规则，需要搜索引擎机器人的配合才行，并不是每个ROBOTS都遵守的。

目前看来，绝大多数的搜索引擎机器人都遵守robots.txt的规则，而对于RobotsMETA标签，目前支持的并不多，但是正在逐渐增加，如著名搜索引擎GOOGLE就完全支持，而且GOOGLE还增加了一个指令“archive”，可以限制GOOGLE是否保留网页快照。

robot.txt在线生成

注意：有发现404页面 及时用robot.txt屏蔽

 

最后，有什么问题，大家可以给我留言哦，别忘了关注我的博客哦：

posted @ 2017-04-30 10:40  Garven  阅读(220)  评论(0)    收藏  举报