搜索引擎架构与爬虫通用框架

搜索引擎架构图

 

 

爬虫通用框架

 

 

 

——取自《这就是搜索引擎 核心技术详解》