Python3 Robots协议

  • Robots协议：也被称作爬虫协议、机器人协议，它的全名叫做网络爬虫排除标准（Robots Exclusion Protocol），用来告诉爬虫和搜索引擎哪些页面可以抓取，哪些不可以抓取，它通常是一个叫做 robots.txt 的文本文件，放在网站的根目录下；
  • 当搜索爬虫访问一个站点时，它首先会检查下这个站点根目录下是否存在 robots.txt 文件，如果存在，搜索爬虫会根据其中定义的爬取范围来爬取；如果没有找到这个文件，那么搜索爬虫便会访问所有可直接访问的页面
 1 # 实现了对所有搜索爬虫只允许爬取public目录的作用
 2 User-agent: *   # User-agent 就描述了搜索爬虫的名称，在这里将值设置为 *，则代表该协议对任何的爬取爬虫有效
 3 Disallow: /        # Disallow 指定了不允许抓取的目录，设置为/则代表不允许抓取所有页面
 4 Allow: /public/ # Allow一般和Disallow一起使用，一般不会单独使用，用来排除某些限制，设置为/public/起到的作用是所有页面不允许抓取，但是public目录是可以抓取的
 5 # 禁止所有爬虫访问任何目录
 6 User-agent: * 
 7 Disallow: /
 8 # 许所有爬虫访问任何目录 或者直接把robots.txt文件置空
 9 User-agent: *
10 Disallow:
11 # 禁止所有爬虫访问网站某些目录
12 User-agent: *
13 Disallow: /private/
14 Disallow: /tmp/
15 # 只允许某一个爬虫访问
16 User-agent: WebCrawler
17 Disallow:
18 # User-agent: Baiduspider：代表我们设置的规则对百度爬虫是有效的，如果有多条 User-agent 记录，则就会有多个爬虫会受到爬取限制，但至少需要指定一条
  • RobotFileParser类：robotparser模块提供，它可以根据某网站的 robots.txt 文件来判断一个爬取爬虫是否有权限来爬取这个网页
1 # 只需要在构造方法里传入 robots.txt的链接即可
2 # 当然也可以声明时不传入，默认为空，再使用 set_url() 方法设置一下也可以
3 urllib.robotparser.RobotFileParser(url='')
  • set_url()：用来设置 robots.txt 文件的链接，如果已经在创建 RobotFileParser 对象时传入了链接，那就不需要再使用这个方法设置了
  • read()：读取 robots.txt 文件并进行分析，注意这个函数是执行一个读取和分析操作，如果不调用这个方法，接下来的判断都会为 False，所以一定记得调用这个方法，这个方法不会返回任何内容，但是执行了读取操作
  • parse()：用来解析 robots.txt 文件，传入的参数是 robots.txt 某些行的内容，它会按照 robots.txt 的语法规则来分析这些内容
  • can_fetch()：方法传入两个参数，第一个是 User-agent，第二个是要抓取的 URL，返回的内容是该搜索引擎是否可以抓取这个 URL，返回结果是 True 或 False
  • mtime()：返回的是上次抓取和分析 robots.txt 的时间，这个对于长时间分析和抓取的搜索爬虫是很有必要的，你可能需要定期检查来抓取最新的 robots.txt
  • modified()：同样的对于长时间分析和抓取的搜索爬虫很有帮助，将当前时间设置为上次抓取和分析 robots.txt 的时间
1 from urllib.robotparser import RobotFileParser
2 rp = RobotFileParser() # 或者直接rp = RobotFileParser('http://www.jianshu.com/robots.txt')，不使用set_url
3 rp.set_url('http://www.jianshu.com/robots.txt')
4 rp.read()
5 print(rp.can_fetch('*', 'http://www.jianshu.com/p/b67554025d7d'))
6 print(rp.can_fetch('*', "http://www.jianshu.com/search?q=python&page=1&type=collections"))
 
常见的搜索爬虫的名称及对应的网站
爬虫名称名称网站
BaiduSpider 百度 www.baidu.com
Googlebot 谷歌 www.google.com
360Spider 360搜索 www.so.com
YodaoBot 有道 www.youdao.com
ia_archiver Alexa www.alexa.cn
Scooter altavista www.altavista.com
 
posted @ 2020-08-23 22:15  陨落的星尘  阅读(265)  评论(0)    收藏  举报