与太阳肩并肩

异步爬虫之多进程and多线程

摘要： 1.异步爬虫的方式：阅读全文

posted @ 2023-07-02 09:39 与太阳肩并肩阅读(17) 评论(0) 推荐(0)

异步爬虫概述

摘要： 1.异步处理的问题：串行，网站从一个网址开始爬取：阅读全文

posted @ 2023-07-02 09:26 与太阳肩并肩阅读(65) 评论(0) 推荐(0)

代理在爬虫中的应用以及如何测试代理是否成功

摘要： 1.查看origin的value值如果和proxies相同，则代理生效： 2.测试代理成功后，将代理添加到爬虫程序中使用：阅读全文

posted @ 2023-06-26 22:06 与太阳肩并肩阅读(131) 评论(0) 推荐(0)

代理理论讲解

摘要：代理：破解放IP这种反爬机制代理的概念： - 代理服务器。代理的作用： - 突破自身IP访问的限制。 - 可以隐藏自身真是IP代理相关的网站： - 快代理 - 西祠代理 - www.goubanjia.com 阅读全文

posted @ 2023-06-25 21:42 与太阳肩并肩阅读(83) 评论(0) 推荐(0)

模拟登录cookie操作

摘要： 1.方法一自动添加cookie：定义session方法，登录后使用session.get（）代替requests.get()： 2.方法二：手动添加cookie_cookie请求登录用户主页1：先找到登录请求的url中的cookie: 3.方法二：手动添加cookie_cookie请求登录用户主页2 阅读全文

posted @ 2023-06-25 21:31 与太阳肩并肩阅读(175) 评论(0) 推荐(0)

模拟登录实现流程梳理

摘要： 1.超级鹰验证码图片识别函数 '''思路： 1.requests对网址发送请求获取图片 2.下载图片图片到本地 3.用超级鹰识别图片获取验证码'''import requestsfrom lxml import etreefrom hashlib import md5# 封装识别验证码图片的函数# 阅读全文

posted @ 2023-06-24 15:15 与太阳肩并肩阅读(113) 评论(0) 推荐(0)

古诗文网验证码识别

摘要： 1.将超级鹰的验证码识别demo代码添加到请求代码中_1： 2.将超级鹰的验证码识别demo代码添加到请求代码中_2： 3.先请求网站数据下载验证码图片，调用超级鹰函数进行图片验证码识别： 4.识别古诗文网的登录验证码图片：阅读全文

posted @ 2023-06-24 12:32 与太阳肩并肩阅读(116) 评论(0) 推荐(0)

超级鹰验证码识别网站流程

摘要： 1.注册登录后进入用户中心： 2.查看是否有积分如果没有则关注公众号领取积分： 3.关注超级鹰公众号领取识别码积分： 4.点击软件ID生成一个软件ID_1： 5.创建相对应的软件名和使用说明： 6.创建成功后进入开发者文档下载python语言demo： 7.超级鹰py文件修改账号密码软件ID： 8. 阅读全文

posted @ 2023-06-24 11:35 与太阳肩并肩阅读(259) 评论(0) 推荐(0)

作业：爬取站长素材中免费简历模板

摘要： 1.爬取免费简历模板_1： 2.爬取免费简历模板_2： 3.简历爬取结果：阅读全文

posted @ 2023-06-24 10:12 与太阳肩并肩阅读(28) 评论(0) 推荐(0)

xpath解析案例-全国城市名称爬取

摘要： url： https://www.aqistudy.cn/historydata/ 1.获取热门城市的城市名称： 2.获取所有城市的名称： 3.用竖杠符号连接xpath：阅读全文

posted @ 2023-06-23 16:16 与太阳肩并肩阅读(76) 评论(0) 推荐(0)