2019年11月14日
百度robots文件可参考爬虫名称
摘要： User-agent: Baiduspider Disallow: /baidu Disallow: /s? Disallow: /ulink? Disallow: /link? Disallow: /home/news/data/ User-agent: Googlebot Disallow: / 阅读全文
posted @ 2019-11-14 15:24 洪雨 阅读(514) 评论(0) 推荐(0)

友情链接

红尘修行笔记|钱度众生