摘要：
scrapy模拟登陆&分页 一、模拟登陆 学习目标： 应用 scrapy直接携带cookie模拟登陆的方法 应用 scrapy.FormRequest()发送post请求进行登陆 1、回顾之前的模拟登陆的方法 1.1 requests模块是如何实现模拟登陆的？ 直接携带cookies请求页面 找ur 阅读全文
posted @ 2023-08-07 12:21
小青年て
阅读(96)
评论(0)
推荐(0)
摘要：
一、scrapy_redis分布式原理 学习目标 了解 scarpy_redis的概念和功能 了解 scrapy_redis的原理 了解 redis数据库操作命令 在前面scrapy框架中我们已经能够使用框架实现爬虫爬取网站数据,如果当前网站的数据比较庞大, 我们就需要使用分布式来更快的爬取数据 1 阅读全文
posted @ 2023-08-07 10:40
小青年て
阅读(167)
评论(0)
推荐(0)
浙公网安备 33010602011771号