2018年8月27日
实战项目：基础爬虫架构及运行流程
摘要： 基础爬虫架构有五大模块： 爬虫调度器：负责统筹其他四个模块的协调工作 URL管理器：管理URL链接，维持已经爬取的URL集合和未爬取的URL集合，提供新的URL链接接口 HTML下载器： 用于从URL管理器中获取未爬虫的URL链接并下载HTML网页 HTML解析器：从HTML下载器中获取已经下载的H 阅读全文
posted @ 2018-08-27 20:43 大大的大笨熊 阅读(768) 评论(0) 推荐(0)