Loading

随笔分类 -  爬虫知识

分享爬虫相关知识
通杀无限 debugger，目前只有 1% 的人知道！
摘要：前言 相信很多小伙伴在进行 web 逆向的时候，都遇到过无限 debugger。最简单的方法，在 debugger 位置，点击行号，右键 Never pause here，永远不在此处断下即可。但是这种方法就妄想通杀，显然是不大可能的，不然这种防护岂不是弄出来骗自己的。 现在很多网站，这样处理是无法 阅读全文
posted @ 2023-12-21 18:31 K哥爬虫 阅读(2067) 评论(0) 推荐(1)
【K哥爬虫普法】大众点评VS百度地图，论“数据权属”对爬虫开发的罪与罚！
摘要：【K哥爬虫普法】大众点评VS百度地图，论“数据权属”对爬虫开发的罪与罚！我国目前并未出台专门针对网络爬虫技术的法律规范，但在司法实践中，相关判决已屡见不鲜，K哥特设了“K哥爬虫普法”专栏，本栏目通过对真实案例的分析，旨在提高广大爬虫工程师的法律意识，知晓如何合法合规利用爬虫技术，警钟长鸣，做一个守法、护法、有原则的技术人员。 案情介绍 被告人：北京百度网讯科技有限公司（ 阅读全文
posted @ 2023-03-23 17:44 K哥爬虫 阅读(293) 评论(0) 推荐(0)
逆向进阶，利用 AST 技术还原 JavaScript 混淆代码
摘要：什么是 AST AST（Abstract Syntax Tree），中文抽象语法树，简称语法树（Syntax Tree），是源代码的抽象语法结构的树状表现形式，树上的每个节点都表示源代码中的一种结构。语法树不是某一种编程语言独有的，JavaScript、Python、Java、Golang 等几乎所 阅读全文
posted @ 2022-05-06 14:55 K哥爬虫 阅读(5536) 评论(2) 推荐(4)
RPC 技术及其框架 Sekiro 在爬虫逆向中的应用，加密数据一把梭！
摘要：RPC 技术及其框架 Sekiro 在爬虫逆向中的应用，加密数据一把梭！什么是 RPC RPC，英文 RangPaCong，中文让爬虫，旨在为爬虫开路，秒杀一切，让爬虫畅通无阻！ 开个玩笑，实际上 RPC 为远程过程调用，全称 Remote Procedure Call，是一种技术思想而非一种规范或协议。RPC 的诞生事实上离不开分布式的发展，RPC 主要解决了两个问题 阅读全文
posted @ 2022-02-23 10:41 K哥爬虫 阅读(1582) 评论(0) 推荐(0)
爬虫逆向基础，认识 SM1-SM9、ZUC 国密算法
摘要：爬虫逆向基础，认识 SM1-SM9、ZUC 国密算法关注微信公众号：K哥爬虫，QQ交流群：808574309，持续分享爬虫进阶、JS/安卓逆向等技术干货！ 【01x00】 简介 国密即国家密码局认定的国产加密算法，爬虫工程师在做 JS 逆向的时候，会遇到各种各样的加密算法，其中 RSA、AES、SHA 等算法是最常见的，这些算法都是国外的，在 K 哥 阅读全文
posted @ 2021-11-09 16:11 K哥爬虫 阅读(2664) 评论(0) 推荐(1)
爬虫逆向基础，理解 JavaScript 模块化编程 webpack
摘要：爬虫逆向基础，理解 JavaScript 模块化编程 webpack关注微信公众号：K哥爬虫，QQ交流群：808574309，持续分享爬虫进阶、JS/安卓逆向等技术干货！ 简介 在分析一些站点的 JavaScript 代码时，比较简单的代码，函数通常都是一个一个的，例如： function a() {console.log("a")} function b() {c 阅读全文
posted @ 2021-10-21 17:34 K哥爬虫 阅读(795) 评论(0) 推荐(1)
Python 3.10 正式发布，新增模式匹配，同事用了直呼真香！
摘要：Python 3.10 正式发布，新增模式匹配，同事用了直呼真香！Python 3.10 发布，match-case 模式匹配是你的菜吗？ 阅读全文
posted @ 2021-10-18 16:27 K哥爬虫 阅读(1384) 评论(1) 推荐(2)
【爬虫知识】爬虫常见加密解密算法
摘要：简介 本文总结了在爬虫中常见的各种加密算法、编码算法的原理、在 JavaScript 中和 Python 中的基本实现方法，遇到 JS 加密的时候可以快速还原加密过程，有的网站在加密的过程中可能还经过了其他处理，但是大致的方法是一样的。 常见加密算法： 对称加密（加密解密密钥相同）：DES、3DES 阅读全文
posted @ 2021-08-16 09:20 K哥爬虫 阅读(1225) 评论(0) 推荐(0)
【爬虫知识】浏览器开发者工具使用技巧总结
摘要：总览 浏览器开发者工具在爬虫中常用来进行简单的抓包分析、JS逆向调试，打开方式： F12； 快捷键 Ctrl+Shift+I； 鼠标右键检查或者审查元素； 浏览器右上角 —> 更多工具 —> 开发者工具 常见禁用开发者工具手段：https://blog.csdn.net/cplvfx/article 阅读全文
posted @ 2021-08-12 11:34 K哥爬虫 阅读(1136) 评论(0) 推荐(0)