摘要：
1.robots.txt文件：禁止用户代理为BadCrawler的爬虫爬取该网站信息，详细信息http://www.robotstxt.org/robotstxt.html 2.#section 1 ①代理跟许可 ***User-agent:代理用户；Disallow:排除的URL*** ②将所有机 阅读全文
posted @ 2018-12-19 14:57
ArSang-Blog
阅读(767)
评论(0)
推荐(0)
浙公网安备 33010602011771号