爬虫基础问题

爬虫的尺寸

 

网络爬虫的限制: 

通过判断user-agent进行审查限制

发布Robots协议

Robots协议: 网络爬虫排除标准。形式:在网站根目录创建。有user-agent和Disallow

 

posted @ 2020-09-09 23:05  _年少无知  阅读(101)  评论(0)    收藏  举报