爬虫基础问题

爬虫的尺寸

 

网络爬虫的限制： 

通过判断user-agent进行审查限制

发布Robots协议

Robots协议： 网络爬虫排除标准。形式:在网站根目录创建。有user-agent和Disallow