2022年5月20日
限制bing等搜索引擎频繁抓取 - 蜘蛛爬行频率和次数
摘要： User-agent:msnbot Visit-time:0855-1700说明:指定每天允许BING蜘蛛采集的时间段，格式为mmss-mmss，例如0800-1700，即限制BING蜘蛛08:00-17:00访问。User-agent:msnbotRequest-rate:1/5 0900-104 阅读全文
posted @ 2022-05-20 10:59 xiaobingch 阅读(1796) 评论(0) 推荐(0)