摘要:
实现每个链接都能独立缓存,如果存在直接读取,如果不存在,则获取网页,然后系列化后保存到本地 目录功能比较简单:后续可能会改进 下面是将上面的缓存 网页当作一个模块来调用,实现爬取豆瓣电影排行top 250的爬虫,因为豆瓣采取了一定的反爬虫策略 所以这里的缓存的作用就在于,只要成功爬取一次网页,后面就 阅读全文
posted @ 2017-07-01 20:12
Andy_963
阅读(312)
评论(0)
推荐(0)
浙公网安备 33010602011771号