摘要： 爬虫笔记 爬虫分类 通用网络爬虫（搜索引擎使用，遵守robots协议） robots协议：网站通过robots协议告诉搜索引擎哪些页面可以抓取，哪些页面不能抓取，通过网络爬虫需要遵守robots协议。 实例：www.baidu.con/robots.txt 聚焦网络爬虫：自己写爬虫程序 爬虫数据步骤 阅读全文