2025年7月9日
摘要：
selenium 防检测策略的方法汇总： 合理设置延迟：请求间添加随机延迟 (2-10秒) 限制爬取频率：控制每小时/每天的请求量 轮换用户代理：准备至少10个不同的User-Agent 使用住宅代理：优先选择高质量的住宅代理IP 处理验证码：集成2Captcha或Anti-Captcha服务 定期 阅读全文
posted @ 2025-07-09 16:31
梅格安小姐
阅读(112)
评论(0)
推荐(0)
摘要：
在使用 Selenium 自动化测试或爬取网页时，可能会遇到弹窗，影响脚本执行，例如广告、登录提示、浏览器通知。 怎么在打开页面的时候，关闭弹窗呢? 这里我们就要区分，这个网页弹窗是属于哪种类型的： 是不是位置不限，需要手动找位置的，例如那种还会弹来弹去的广告 or 是固定的广告位，一直都会有，固定 阅读全文
posted @ 2025-07-09 16:31
梅格安小姐
阅读(252)
评论(0)
推荐(0)
摘要：
前提： 最近看了个书，周末要参加读书会，要分享这本书的内容。一般来说，我都是写好了内容文档，然后在网上找一些模板套上去。 最近发现，有些网站已经可以按照文档，自动生成PPT模板了，里面的格式、图片全部已经排版好了，作为简单的分享来说，足够用了。 好处就是，我们可以省下编排PPT的时间了，在要求不是太 阅读全文
posted @ 2025-07-09 16:31
梅格安小姐
阅读(392)
评论(0)
推荐(0)
摘要：
看到有朋友评论问，用selenium怎么模仿人类行为，去操作网页的页面呢？ 我想了想，这确实是一个很大的点，不应该是一段代码能解决的， 就像是,如果让程序模拟人类的行为。例如模拟人类买菜，做饭，吃饭，聊天，蹲坑等 这个过程中最重要的不是结果，不是程序能不能完成这些事，而是做这些事的时候，能不能尽可能 阅读全文
posted @ 2025-07-09 16:31
梅格安小姐
阅读(16)
评论(0)
推荐(0)
摘要：
我在搞爬取的时候，发现有些网站直接用driver.get(url) 跳转到目标特定的网址的时候，会被强制跳转到其他的网址上，但是如果是自己手动，在网址栏那里输入网址，并点回车，却能完成跳转。 这是在使用 Selenium 进行自动化测试或爬虫时，driver.get(url) 和 手动输入网址并回车 阅读全文
posted @ 2025-07-09 16:30
梅格安小姐
阅读(39)
评论(0)
推荐(0)
摘要：
我在使用selenium的find_element的方式去获取网页元素，一般通过xpath、css_selector、class_name的方式去获取元素的绝对位置。 但是有时候如果网页多了一些弹窗或者啥之类的，绝对位置会发生变化，使用xpath等方法，需要经常变动。 于是我在想，能不能让selen 阅读全文
posted @ 2025-07-09 16:30
梅格安小姐
阅读(18)
评论(0)
推荐(0)
摘要：
有时候，我们在写好的for循环程序里，会有遇到一些不能预测的报错，有时候在测试的时候并没有遇到这样的错误，但是长时间挂着程序运行的时候，就会遇到了问题，然后就会在循环里一直会出现这个问题，并不断报错。 为了避免不断报错的问题，我们可以在循环里，插入了try except 。 如果遇到error, 计 阅读全文
posted @ 2025-07-09 16:30
梅格安小姐
阅读(44)
评论(0)
推荐(0)
摘要：
使用os.path 读取路径下的文件，并拼接文件名，可能会遇到这个问题： ValueError: Excel file format cannot be determined, you must specify an engine manually. 因为我用的是相对路径的拼接的方法，读取出来会有这 阅读全文
posted @ 2025-07-09 16:30
梅格安小姐
阅读(627)
评论(0)
推荐(0)
摘要：
1. 字符串转json 我们如果使用sql存储json格式，要将json转为字符串才能转。 存入sql前，字典格式转json字符串可以用这个： Table_= ''' [ { "id": 1, "name": "Alice", "task": 25, "work": "alice@example.c 阅读全文
posted @ 2025-07-09 16:30
梅格安小姐
阅读(36)
评论(0)
推荐(0)
摘要：
最近在看一些有趣的数学视频，发现了以前都没发现的，一个简单的计算方法：头同尾合速算和头合尾同速算~ 1. 头同尾合速算法： 大家可以先算一下上面的数，发现了什么规律？ 条件一：两个的十位数都是一样的 条件二：左边的个位数+右边的个位数=10 条件三：左边的个位数 - 左边的十位数 =1 这三者条件满 阅读全文
posted @ 2025-07-09 16:30
梅格安小姐
阅读(118)
评论(0)
推荐(0)
浙公网安备 33010602011771号