2022年12月26日
Scrapy基本使用
摘要： 介绍： Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘，信息处理 或存储历史数据等一系列的程序中。 安装教程 # （1） pip install scrapy # (2) 报错1： building 'twisted.test.raiser' exten 阅读全文
posted @ 2022-12-26 19:48 信2005-2赵磊 阅读(30) 评论(0) 推荐(0)
request案例--cookie登陆古诗文网 session
摘要： 解决反爬，隐藏域： 首先随便登陆一下，找登录接口。观察参数 有两个参数在源码中，然后用bs/xpath 获取数值 # 通过登陆 然后进入到主页面 # 通过找登陆接口我们发现 登陆的时候需要的参数很多 # _VIEWSTATE: /m1O5dxmOo7f1qlmvtnyNyhhaUrWNVTs3TMK 阅读全文
posted @ 2022-12-26 17:21 信2005-2赵磊 阅读(55) 评论(0) 推荐(0)