随笔分类 - 爬虫
摘要:声明:本文内容仅供学习交流使用,不得用于商业或非法用途。抓包内容、敏感网址、数据接口已脱敏处理,严禁转载、修改或二次传播。若有侵权,请联系作者删除。 极验滑块第4代逆向分析 网址:aHR0cHM6Ly9ndDQuZ2VldGVzdC5jb20v 好久没水文了,接着之前的极验滑块逆向https://w
阅读全文
摘要:闲来无事,登录了练习平台找了个简单题练手,涉及到了新的内容,记录一下。 现象: 网页和charles重放可以拿到返回结果,通过postman和代码请求403或者其他 原因 后端进行了http2.0请求判断,非http2.0不通过 如何分辨 http1.1:以百度为例,在source-> reques
阅读全文
摘要:通过flask+mongo+requests实现一个主从分布式爬虫 一:分布式爬虫介绍 1、对等分布式:每台机器上的的爬虫都一致 无论那台机器掉线,都不会影响其他机器的爬虫 可以根据需求动态的增/删计算机和爬虫的数量 试用场景:非递进关系网站 2、主从分布式:不同的机器类型做不同的动作,例如主机器只
阅读全文

浙公网安备 33010602011771号