摘要： 今天在爬知乎精华时，出现了‘Forbidden by robots.txt’的问题 了解到到scrapy在爬取设定的url之前，它会先向服务器根目录请求一个txt文件，这个文件规定了爬取范围 scrapy会遵守这个范围协议，查看自己是否符合权限，出错说明不符合，所以我们只要不遵守这个协议就Ok了 在 阅读全文