摘要：
功能点：如何发送携带cookie访问登录后的页面，如何发送post请求登录 简单介绍： 安装：pip3 install scrapy_redis 在scrapy的基础上实现了更多的功能：如request去重（增量爬虫），爬虫持久化，实现分布式 工作流程：通过redis实现调度器的队列和指纹集合；每个 阅读全文
摘要：
功能点：如何发送携带cookie访问登录后的页面，如何发送post请求登录 爬取网站：bilibili、github 完整代码：https://files.cnblogs.com/files/bookwed/login.zip 主要代码： bili.py github.py github2.py 阅读全文