2019年2月24日
浅谈增量式爬虫
摘要： 引入 在我们爬取某些网站时会遇到一些问题？某些网站会定时在原有网页数据的基础上更新一批数据。 例如某电影网站会实时更新一批最近热门的电影。小说网站会根据作者创作的进度实时更新最新的章节数据等等。 那么遇到类似的场景，我们就可以采用增量式爬虫了 而增量式爬虫分为两个步骤： 增量爬取 一个站点更新也会出 阅读全文
posted @ 2019-02-24 22:23 温而新 阅读(5303) 评论(0) 推荐(46) 编辑