摘要： 一、爬虫介绍 （一）爬虫的分类 1、通用爬虫：通用爬虫是搜索引擎（Baidu、Google、Yahoo等）“抓取系统”的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。再对这些网页做相关处理(提取关键字、去掉广告)，最后提供一个用户检索接口。 搜索引擎如何抓取互联网 阅读全文