网络爬虫：基于对象持久化实现爬虫现场快速还原
摘要：
前言： 因为中间有一些其他的任务工作，所以有一些时日没有再关心爬虫的程序了。今天想到了另一个优化爬虫的思路。 在上篇中，我们说到可以使用布隆过滤器可以很好地实现URL的去重操作。可是，如果在某一个时刻我们不小心中止了爬虫的继续运行。这个时候要怎么办呢？ 本篇博客的重点正是解决这个问题... 阅读全文
posted @ 2015-11-27 15:53 王峰炬 阅读(170) 评论(0) 推荐(0)
浙公网安备 33010602011771号