摘要: 功能点:如何发送携带cookie访问登录后的页面,如何发送post请求登录 简单介绍: 安装:pip3 install scrapy_redis 在scrapy的基础上实现了更多的功能:如request去重(增量爬虫),爬虫持久化,实现分布式 工作流程:通过redis实现调度器的队列和指纹集合;每个 阅读全文
posted @ 2019-04-03 14:25 bookwed 阅读(500) 评论(0) 推荐(0) 编辑
摘要: 功能点:如何发送携带cookie访问登录后的页面,如何发送post请求登录 爬取网站:bilibili、github 完整代码:https://files.cnblogs.com/files/bookwed/login.zip 主要代码: bili.py github.py github2.py 阅读全文
posted @ 2019-04-03 14:19 bookwed 阅读(879) 评论(0) 推荐(0) 编辑