1. 引言搜索引擎由四个系统组成：（1）下载——负责网页的下载和同步；（2）分析——负责网页的数据抽取，进行分词和PageRank；（3）索引——负责将网页对象索引入库；--------------------------以上为离线部分，制作搜索引擎所需要的数据--------------------------（4）查询——负责分析用户提出的请求，从索引库中检索出网页并将将网页排序，将结果返回给用户。-----------------------------以上为在线部分，要求快速响应----------------------------------------2.下载系统（爬虫）2.1