robots.txt 简单解析

简介

robots.txt 是一个规范，对于执行正常操作的爬虫理应遵守的规范.

例子

博客园例子

https://www.cnblogs.com/robots.txt

User-Agent: *
Allow: /

允许所有爬虫爬取网站任何地址。

百度例子

User-agent: Baiduspider # 百度自己的爬虫
Disallow: /baidu # 不允许自己的爬虫爬取百度的站点 https://www.baidu.com/baidu.html
Disallow: /s?
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/ # /home/news/data/目录的所有内容

User-agent: Googlebot
Disallow: /baidu
Disallow: /s?
Disallow: /shifen/
Disallow: /homepage/
Disallow: /cpro
Disallow: /ulink?
Disallow: /link?
Disallow: /home/news/data/

参考链接

百度站长管理