踩坑大王

摘要： https://zhuanlan.zhihu.com/p/69071435 阅读全文

摘要： 项目介绍 本项目旨在利用高级搜索功能，爬取微博网页版的详细数据。而大多数爬虫以单线程为主，但单线程存在资源利用率低的不足，针对这以问题，本项目主要使用如下技术： （1）多线程+协程技术+Redis实现增量式爬虫。实现过程中存在两个技术难点：一是使用redis数据传输时开销频繁，服务器容易崩溃；二是多 阅读全文