爬虫 - 随笔分类 - 与太阳肩并肩

aiohttp模块引出

摘要：1.为什么要用aiohttp模块引出: 阅读全文

posted @ 2023-07-05 22:33 与太阳肩并肩阅读(10) 评论(0) 推荐(0)

aiohttp模块引出_aiohttp+多任务异步协程实现异步爬虫

摘要：1.为什么要用aiohttp模块引出: 2.异步模块aiohttp对比requests基于同步的区别: 3.需要在response.text()前面添加await进行手动挂起: 4.response.text()前面一定要添加await再次运行程序告警取消: 5.异步爬虫get或post中写入的参数阅读全文

posted @ 2023-07-05 22:26 与太阳肩并肩阅读(21) 评论(0) 推荐(0)

多任务异步协程实现

摘要：1.未实现异步操作代码： 2.实现异步操作代码：阅读全文

posted @ 2023-07-03 23:08 与太阳肩并肩阅读(11) 评论(0) 推荐(0)

异步编程

摘要：1.greenlet实现协程过程详细： 2.yield关键字实现协程for循环流程： 3.asyncio模块实现协程操作： 4.async&await关键字实现协程：阅读全文

posted @ 2023-07-03 22:27 与太阳肩并肩阅读(16) 评论(0) 推荐(0)

协程相关概念

摘要：1.协程的相关概念：阅读全文

posted @ 2023-07-03 20:21 与太阳肩并肩阅读(10) 评论(0) 推荐(0)

异步爬虫之线程池案例应用

摘要：1.爬取梨视频缓存本地视频_1: 2.爬取梨视频缓存本地视频_2: 3.下载至本地视频: 阅读全文

posted @ 2023-07-02 16:20 与太阳肩并肩阅读(12) 评论(0) 推荐(0)

异步爬虫之线程池的基本使用

摘要：1.串行方式执行程序记录： 2.串行使用8秒，使用线程池用了2秒：阅读全文

posted @ 2023-07-02 10:00 与太阳肩并肩阅读(11) 评论(0) 推荐(0)

异步爬虫之多进程and多线程

摘要：1.异步爬虫的方式：阅读全文

posted @ 2023-07-02 09:39 与太阳肩并肩阅读(10) 评论(0) 推荐(0)

异步爬虫概述

摘要：1.异步处理的问题：串行，网站从一个网址开始爬取：阅读全文

posted @ 2023-07-02 09:26 与太阳肩并肩阅读(18) 评论(0) 推荐(0)

代理在爬虫中的应用以及如何测试代理是否成功

摘要：1.查看origin的value值如果和proxies相同，则代理生效： 2.测试代理成功后，将代理添加到爬虫程序中使用：阅读全文

posted @ 2023-06-26 22:06 与太阳肩并肩阅读(49) 评论(0) 推荐(0)

代理理论讲解

摘要：代理：破解放IP这种反爬机制代理的概念： - 代理服务器。代理的作用： - 突破自身IP访问的限制。 - 可以隐藏自身真是IP代理相关的网站： - 快代理 - 西祠代理 - www.goubanjia.com 阅读全文

posted @ 2023-06-25 21:42 与太阳肩并肩阅读(29) 评论(0) 推荐(0)

模拟登录cookie操作

摘要：1.方法一自动添加cookie：定义session方法，登录后使用session.get（）代替requests.get()： 2.方法二：手动添加cookie_cookie请求登录用户主页1：先找到登录请求的url中的cookie: 3.方法二：手动添加cookie_cookie请求登录用户主页2 阅读全文

posted @ 2023-06-25 21:31 与太阳肩并肩阅读(153) 评论(0) 推荐(0)

模拟登录实现流程梳理

摘要：1.超级鹰验证码图片识别函数 '''思路： 1.requests对网址发送请求获取图片 2.下载图片图片到本地 3.用超级鹰识别图片获取验证码'''import requestsfrom lxml import etreefrom hashlib import md5# 封装识别验证码图片的函数# 阅读全文

posted @ 2023-06-24 15:15 与太阳肩并肩阅读(47) 评论(0) 推荐(0)

古诗文网验证码识别

摘要：1.将超级鹰的验证码识别demo代码添加到请求代码中_1： 2.将超级鹰的验证码识别demo代码添加到请求代码中_2： 3.先请求网站数据下载验证码图片，调用超级鹰函数进行图片验证码识别： 4.识别古诗文网的登录验证码图片：阅读全文

posted @ 2023-06-24 12:32 与太阳肩并肩阅读(32) 评论(0) 推荐(0)

超级鹰验证码识别网站流程

摘要：1.注册登录后进入用户中心： 2.查看是否有积分如果没有则关注公众号领取积分： 3.关注超级鹰公众号领取识别码积分： 4.点击软件ID生成一个软件ID_1： 5.创建相对应的软件名和使用说明： 6.创建成功后进入开发者文档下载python语言demo： 7.超级鹰py文件修改账号密码软件ID： 8. 阅读全文

posted @ 2023-06-24 11:35 与太阳肩并肩阅读(216) 评论(0) 推荐(0)

作业：爬取站长素材中免费简历模板

摘要：1.爬取免费简历模板_1： 2.爬取免费简历模板_2： 3.简历爬取结果：阅读全文

posted @ 2023-06-24 10:12 与太阳肩并肩阅读(23) 评论(0) 推荐(0)

xpath解析案例-全国城市名称爬取

摘要：url： https://www.aqistudy.cn/historydata/ 1.获取热门城市的城市名称： 2.获取所有城市的名称： 3.用竖杠符号连接xpath：阅读全文

posted @ 2023-06-23 16:16 与太阳肩并肩阅读(66) 评论(0) 推荐(0)

xpath解析案例-4k图片解析下载

摘要：url: https://pic.netbian.com/4kmeinv/ 1.li标签_a标签_获取img标签中src和alt属性: 2.图片名称中文乱码的解决方式： 3.图片下载保存到指定文件夹：阅读全文

posted @ 2023-06-23 14:53 与太阳肩并肩阅读(26) 评论(0) 推荐(0)

xpath实战-苏州租房

摘要：url: https://sz.5i5j.com/zufang?channel_name=baidu_sem_track&channel_link_type=web&hash_key=21oblcfX5ajZyIj5bQPY&callback_id=wHfPdxtr&sat_cf=2&_data_v 阅读全文

posted @ 2023-06-23 14:05 与太阳肩并肩阅读(18) 评论(0) 推荐(0)

xpath解析基础

摘要：1.xpath基础用法： 2.class定位属性 3.索引定位，定位到`苏轼`，注意是从1开始计算： 4.text()方法取文本： 5.text()方法取文本_2： 6.text()获取文本_3：获取tang标签下面所有的文本内容： 7.@属性名称，获取属性值：阅读全文

posted @ 2023-06-23 12:12 与太阳肩并肩阅读(8) 评论(0) 推荐(0)

随笔分类 - 爬虫