摘要：能够利用redis缓存数据库的优点去重来避免数据的大面积冗余 1、首先就是要创建猫眼爬虫项目 2、进入项目内部创建一个爬虫文件 创建完文件之后就是要爬取的内容，我这边以爬取猫眼电影的title和link为例（这个完全看个人你可以先去写爬虫，然后再来写items文件） 3、编写item文件 4、编写爬 阅读全文

摘要：当上面这些方式都无效的时候，就需要使用本地保存获取了 阅读全文