会员
周边
捐助
新闻
博问
闪存
赞助商
所有博客
当前博客
我的博客
我的园子
账号设置
简洁模式
...
退出登录
注册
登录
礼拜16
喜欢读书,喜欢代码 https://github.com/old-boy
博客园
首页
新随笔
联系
订阅
管理
2022年9月4日
Python scrapy 爬虫 模拟登录
摘要: 模拟登录,可以解决某些网站,必须要登录才能抓取的问题。 模拟登录就是要拿到网站的 cookie。 当爬虫程序进入网站开始抓取时数据时,爬虫的入口并不是 scrapy 给定的 pass ,而是 scrapy 封装好的 start_requests ,这个方法就是对 start_urls 执行 for
阅读全文
posted @ 2022-09-04 17:13 礼拜16
阅读(430)
评论(0)
推荐(0)
编辑
公告