2017年2月9日
robots 小记
摘要： 简介 网站所有者使用/robots.txt文件向网站机器人提供有关其网站的说明;这称为 Robots Exclusion Protocol.它的工作原理是这样的：robot 想要访问一个网站URL，比如http://www.example.com/welcome.html。在此之前，它首先检查htt 阅读全文
posted @ 2017-02-09 22:55 brother_four 阅读(136) 评论(0) 推荐(0)