吉阿吉

2021年5月8日

Redis+Flask维护动态Cookies池

摘要： 为什么要用Cookies池目标网站需要登录才能爬取，例如新浪微博。爬取过程中，如果请求频率过高，会导致封号。这就需要维护多个账号的Cookies池实现大规模爬取。Cookies池的要求自动登录更新定时验证筛选提供外部接口Cookies池的架构 首先，需要有一个账号队列，把一些账号密码存到数据库里，生 阅读全文

posted @ 2021-05-08 16:31 吉阿吉 阅读(139) 评论(0) 推荐(0)

导航