爬虫

百度的：

地址：https://www.baidu.com/robots.txt

 

posted @ 2016-11-21 09:15  Tinywan  阅读(174)  评论(0)    收藏  举报