爬虫 - 随笔分类 - 凫弥

第1章 day01 http协议相关

摘要：软件开发的架构目前我们了解的涉及到两个程序之间通讯的应用大致可以分为两种：第一种是应用类：qq、微信、网盘、优酷这一类是属于需要安装的桌面应用第二种是web类：比如百度、知乎、博客园等使用浏览器访问就可以直接使用的应用这些应用的本质其实都是两个程序之间的通讯。而这两个分类又对应了两个软件开发阅读全文

posted @ 2025-09-29 17:13 凫弥阅读(55) 评论(1) 推荐(0)

第2章 day02 requests基础

摘要：爬虫初始爬虫相关介绍什么是爬虫? 爬虫程序是需要充当B/S或者C/S架构中的客户端。爬虫程序需要模拟客户端进行请求发送，然后获取服务器端对应的相关数据。在B/S架构中爬虫程序模拟的就是浏览器。提问：如果日后你的爬虫程序没有爬取到你想要的数据，why？爬虫程序模拟浏览器的力度不够。爬虫在阅读全文

posted @ 2025-09-29 17:12 凫弥阅读(58) 评论(0) 推荐(0)

第3章 day03 xpath+反爬虫

摘要：上次直播作业下厨房的菜谱搜索(多个请求参数) 通过抓包工具的分析发现，搜索菜谱的数据包有两个请求参数： keyword：搜索的关键字 cat：1001固定形式 import requests #请求头 headers = { 'User-Agent':'Mozilla/5.0 (Macintosh 阅读全文

posted @ 2025-09-29 17:12 凫弥阅读(33) 评论(0) 推荐(0)

第4章 day04 防盗链

摘要：需求：https://ks.wangxiao.cn/，所有类别下的题目进行爬取分析思路： #1.可以在首页将所有的一级标题、二级标题和二级标题对应的详情页链接进行爬取和解析 #2.发现上一步中，获取的二级标题的详情页链接，对应的是【模拟考试】的内容，并不是我们想要的【每日一练】的内容 #3.观察【阅读全文

posted @ 2025-09-29 17:11 凫弥阅读(46) 评论(0) 推荐(0)

第5章 day05 1.Javascript入门

摘要：Javascript基础入门 1992年底，美国国家超级电脑应用中心（NCSA）开始开发一个独立的浏览器，叫做Mosaic。这是人类历史上第一个浏览器，从此网页可以在图形界面的窗口浏览。但是该浏览器还没有面向大众的普通用户。 1994年10月，NCSA的一个主要程序员Jim Clark，成立了一家N 阅读全文

posted @ 2025-09-29 17:10 凫弥阅读(38) 评论(0) 推荐(0)

第6章 day06 2.Javascript高级

摘要：上节课遗留： JS中的函数(重点) 函数在程序中代表的就是一段具有功能性的代码，可以让我们的程序编程更加具有结构性和提升程序的复用性,也能让代码变得更加灵活强大声明函数 function 函数名 (参数){ 函数体; return 返回值; } 功能说明：函数由关键字function定义函阅读全文

posted @ 2025-09-29 17:09 凫弥阅读(40) 评论(0) 推荐(0)

第7章 day07 了解常见的加密算法

摘要：NodeJs V8引擎我们知道，js是一种可以直接运行在浏览器中的脚本语言。那么为什么浏览器可以直接运行js脚本程序呢？原因就在于浏览器中内置了“V8”引擎。什么是V8引擎？ V8引擎是一款专门解释和执行JavaScript代码的虚拟机。任何程序只要集成了V8引擎，就可以执行JavaScript 阅读全文

posted @ 2025-09-29 17:09 凫弥阅读(53) 评论(0) 推荐(0)

第8章 day08 PyExecJS介绍/微信公众平台案例

摘要：PyExecJS介绍 PyExecJS 是一个可以使用 Python 来模拟运行 JavaScript 的库。使用该模块可以通过python程序调用执行js代码，获取js代码返回的结果！注意事项：电脑必须安装好了nodejs开发环境上述模块才可以生效！环境安装： pip install PyE 阅读全文

posted @ 2025-09-29 17:08 凫弥阅读(42) 评论(0) 推荐(0)

第9章 day09 hook插件

摘要：二. hook插件 1.概念在JavaScript中，hook是一种能够拦截和修改函数或方法行为的技术。通过使用hook，开发者可以在现有的函数执行前、执行后或者替换函数的实现逻辑。hook目的是找到函数入口以及一些参数变化，便于分析js逻辑。 2.hook的作用：增强代码的可扩展性：Hook技阅读全文

posted @ 2025-09-29 17:05 凫弥阅读(63) 评论(0) 推荐(0)

第10章 day10 DrissionPage详细教程

摘要：DrissionPage详细教程 1. 基本概述 DrissionPage 是一个基于 python 的网页自动化工具。它既能控制浏览器，也能像requests一样收发数据包，更重要的是还能把两者合二为一。因此，简单来说DrissionPage可兼顾浏览器自动化的便利性和 requests 的高效率阅读全文

posted @ 2025-09-29 17:04 凫弥阅读(309) 评论(0) 推荐(0)

第11章 day11-day12关于json请求体/逆向爬虫实战

摘要：第1知识点：关于json请求体第2知识点：关于精准请求（如何排除干扰请求）第3知识点：入口定位一、关键字方法 (1) 方法关键字 encrypt decrypt (2) key关键字第4知识点：断点与断点调试普通断点 XHR断点条件断点日志断点脚本断点点击查看01 福建省电子交易平阅读全文

posted @ 2025-09-29 16:53 凫弥阅读(56) 评论(0) 推荐(0)

第12章 day13 关于json请求体

摘要：第1知识点：关于json请求体第2知识点：关于精准请求（如何排除干扰请求）第3知识点：入口定位一、关键字方法 (1) 方法关键字 encrypt :加密入口 decrypt ：解密入口 JSON.stringify:加密入口 JSON.parse：解密入口 (2) key关键字 (3) hea 阅读全文

posted @ 2025-09-25 19:29 凫弥阅读(25) 评论(0) 推荐(0)

第13章 day14-15 Webpack逆向

摘要：Webpack逆向 Webpack是一个现代的静态模块打包工具，它主要用于前端开发中的模块化打包和构建。通过Webpack，开发者可以将多个模块（包括JavaScript、CSS、图片等）进行打包，生成优化后的静态资源文件，以供在浏览器中加载和运行。 Webpack的主要功能和特点包括：模块化支持阅读全文

posted @ 2025-09-25 17:06 凫弥阅读(69) 评论(0) 推荐(0)

第14章 day16-17 webpack的加载器/得物/蜂鸟竞技

摘要：一、单文件webpack 数组模块对象模块二、多文件webpack 数组模块对象模块核心细节：（1）怎么在全局调用加载器函数 -- window = global -- window.loader = n （2）怎么监控模块调用的过程（3）恶心的初始化问题使用webpack的步骤 (1 阅读全文

posted @ 2025-09-25 17:03 凫弥阅读(52) 评论(0) 推荐(0)

第15章 day18 Ast系列篇

摘要：Ast系列篇何为混淆？混淆可以理解为是一种对js代码加密技术，主要用于隐藏代码的真实功能，以防止js代码被逆向工程师分析和修改。通过混淆，让代码变得复杂和难以理解，使得逆向工程师在调试工程中消耗大量的时间或者放弃，从而达到一种保护。混淆总的来说就是一种代码保护方案，将原始代码转换为可读性较差或者阅读全文

posted @ 2025-09-25 17:00 凫弥阅读(89) 评论(0) 推荐(0)

第22章 Day26-Day27 DrissionPage之实战项目

摘要：案例一页面： https://fuwu.nhsa.gov.cn/nationalHallSt/#/search/disease-diagnosis?code=90000&flag=false&gbFlag=true 逆向接口: https://fuwu.nhsa.gov.cn/ebus/fuwu/ 阅读全文

posted @ 2025-09-25 16:59 凫弥阅读(106) 评论(0) 推荐(0)

第21章 Day25 抖音最新ab

摘要：import requests import execjs import urllib.parse cookies = { 'enter_pc_once': '1', 'UIFID_TEMP': '163eead721bc91ca6f3a3cb4766a73c0638fabced1012e02c28 阅读全文

posted @ 2025-09-25 16:57 凫弥阅读(235) 评论(0) 推荐(0)

第20章 Day24 原型链

摘要：原型链 EventTarget 不是 Window 的"构造函数" EventTarget 也是一个构造函数，Window 也是一个构造函数。它们之间是构造函数的继承关系。正确的理解 // 两个构造函数之间的继承 Object.setPrototypeOf(Window, EventTarget) 阅读全文

posted @ 2025-09-25 16:46 凫弥阅读(53) 评论(0) 推荐(0)

第19章 Day23 加速乐案例

摘要：点击查看encode.js代码 var _0x4918 = ['w7AQw5Rf', 'woLCkSU=', 'wrQVbMOd', 'GsOHIsKz', 'wojCqMO+dg==', 'w7jCqMKuEg==', 'w4fCj8O2ZA==', 'wpFWCMKq', 'w7DDmjfDvA 阅读全文

posted @ 2025-09-25 16:44 凫弥阅读(41) 评论(0) 推荐(0)

第18章 Day22 高阶混淆ast进阶

摘要：网站：https://www.mps.gov.cn/ 内容：加速乐一键解混淆混淆代码 var _0x2414 = ['wr7CksK8Uw==', 'wrbDosKFOQ==', 'woZNHCg=', 'w48zCBM=', 'wrbCnAka', 'bcOJKcO8', 'KCnDpMK3', 阅读全文

posted @ 2025-09-25 16:40 凫弥阅读(850) 评论(0) 推荐(0)

fuminer

随笔分类 - 爬虫

公告