5.分析Robots协议-03.robotparser

robotparser

• 了解Robots协议之后，就可以使用robotparser模块来解析robots.txt文件了。该模块提供了一个类RobotFileParser,它可以根据某网站的robots.txt文件判断一个爬取爬虫是否有权限爬取这个网页。
• 该类用起来非常简单，只需要在构造方法里传入robots.txt文件链接即可。首先看一下它的声明：
  urllib.robotparser.RobotFileParser(url='')
• 当然，也可以不再声明时传入robots.txt文件的链接，就让其默认为空，最后在使用ser_url()方法设置一下也可以。
• 下面列出了RobotFileParser类的几个常用方法：
  • set_url：用来设置robots.txt文件的链接。如果在创建RobotFileParser对象时传入了链接，就不需要使用这个方法设置了。
  • read:读取robots.txt文件并进行分析。注意，这个方法执行读取和分析操作，如果不调用这个方法，接下来的判断都会为False，所以一定记得调用这个方法。这个方法虽然不会返回任何内容，但是执行了读取操作。
  • parse:用来解析robots.txt文件，传入其中的参数时robots.txt文件中的某些行的内容，它会按照robots.txt的语法规则来分析这些内容。
  • can_fetch:该方法有两个参数，第一个是User-Agent,第二个是要抓取的URL。返回结果是True或False，表示User-Agent指示的搜索引擎是否可以抓取这个URL。
  • mtime:返回上次抓取和分析robot.txt文件的时间，这个对于长时间分析和抓取robots.txt文件的搜索爬虫很有必要，你可能需要定期检查以抓取最新的robots.txt文件。
  • modified:它同样对长时间分析和抓取的搜索爬虫很有帮助，可以将当前时间设置为上次抓取和分析robots.txt文件的时间。
• 下面我们用实例来看一下：

from urllib.robotparser import RobotFileParser

rp = RobotFileParser()
rp.set_url('http://www.baidu.com/robots.txt')
rp.read()
print(rp.can_fetch('BaiduSpider', 'http://www.baidu.com/'))
print(rp.can_fetch('BaiduSpider', 'http://www.baidu.com/homepage/'))
print(rp.can_fetch('Googlebot', 'http://www.baidu.com/homepage/'))

• 这里以百度为例，首先创建了一个RobotFileParser对象rp，然后通过set_url方法设置了robot.txt文件的链接。当然，要是不用set_url方法，可以在声明时直接用如下方法设置：
  rp = RobotFileParser('http://www.baidu.com/robots.txt')
• 接着利用can_fetch方法判断了网页是否可以被爬取。
• 运行结果如下：

True
True
False

• 可以看到，这里我们利用了BaiduSpider可以抓取百度的首页以及homepage页面，但是Googlebot就不能抓取homepage页面。
• 打开百度的robots.txt文件，可以看到如下信息：

User-agent: Baiduspider
Disallow: /baidu
Disallow: /s?
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh

User-agent: Googlebot
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/
Disallow: /bh

• 不难看出，百度的robot.txt文件没有限制BaiduSpider对百度homepage页面的抓取，限制了Googlebot对homepage页面的抓取。
• 这里同样可以使用parse方法执行对robots.txt文件的读取和分析，实例如下：

from urllib.robotparser import RobotFileParser
from urllib.request import urlopen

rp = RobotFileParser()
rp.parse(urlopen('http://www.baidu.com/robots.txt').read().decode('utf-8').split('\n'))
print(rp.can_fetch('BaiduSpider', 'http://www.baidu.com/'))
print(rp.can_fetch('BaiduSpider', 'http://www.baidu.com/homepage/'))
print(rp.can_fetch('Googlebot', 'http://www.baidu.com/homepage/'))

• 运行结果是一样的：

True
True
False