摘要: 做过全国级数据采集的朋友,大概率都遇到过这个高频痛点: 按省份 / 城市拆分存储 Excel,爬完几十上百个文件,想快速知道总数据量、每个文件行数、异常空表,手动点开统计根本不现实 —— 耗时、易错、还没法留档溯源。 最近刚落地一个全国各省业务数据爬虫项目,数据源按地级市独立归档 Excel,爬取完 阅读全文
posted @ 2026-05-10 10:24 逸乐太子 阅读(204) 评论(0) 推荐(1)
摘要: 数据使用canvas渲染出来的。 针对*速体育这种用 Canvas 渲染数字的反爬方案,我给你提供 4 种从易到难的逆向方法,其中Hook Canvas API 是通用杀招,不需要分析接口加密,100% 能拿到和页面显示完全一致的数据。 核心原理 所有 Canvas 绘制的文字,最终都必须通过浏览器 阅读全文
posted @ 2026-05-05 22:50 逸乐太子 阅读(26) 评论(0) 推荐(0)
摘要: 台风数据采集是很多项目的基础——不管是做台风路径可视化、灾害预警系统,还是气象数据分析,都离不开精准、高效的台风数据支撑。最近刚好做了相关需求,整理了一套完整的台风数据采集方案,涵盖权威数据源、实操方法,话不多说,直接上干货! 在开始采集前,先理清核心需求,避免做无用功。台风数据的核心维度主要分为3 阅读全文
posted @ 2026-05-03 16:11 逸乐太子 阅读(14) 评论(0) 推荐(0)
摘要: 假如你想使用豆包生成的图片,但是生成的图片要:么左上角有AI生成,要么右下角有豆包AI生成?怎么办呢?第一步:按需求生成图片,保存原图(此时带有豆包AI生成字样)第二步:打开网页版的豆包,找到相应的对话,然后打开F12,在元素面签中找到生成的图片,使用新标签打开图片,此时的图片只有左上角的AI生成水 阅读全文
posted @ 2026-04-30 14:27 逸乐太子 阅读(332) 评论(0) 推荐(0)
摘要: 一、完善后具体需求 1. 核心目标 面向跑者、赛事运营、数据分析、媒体、跑团管理等场景,合规批量采集中国马拉松官网(runchina.org.cn,中国田径协会官方)全量赛历元数据,解决手动查赛、抄信息、整理日历、筛选赛事效率低、易漏错、数据不统一的痛点,实现 “一键检索、全量采集、多格式导出、实时 阅读全文
posted @ 2026-03-31 09:57 逸乐太子 阅读(51) 评论(0) 推荐(0)
摘要: 一、具体需求 1. 核心目标 面向企业合规、科研检测、标准管理、工程设计等场景,合规批量采集官方权威国家标准(GB/GB/T/GB/Z)全量元数据,支持多维度检索、精准筛选、完整字段导出,覆盖标准生命周期全状态,解决手动查标准慢、漏、错、散的痛点,实现标准信息 “一键查、批量采、规范存、快速用”。 阅读全文
posted @ 2026-03-28 09:41 逸乐太子 阅读(74) 评论(0) 推荐(0)
摘要: 1. 核心目标 面向科研人员、学生与文献管理者,提供合规、批量、全自动的知网文献元数据采集,输出可直接导入 LaTeX/BibTeX、EndNote 的标准格式文件,补齐知网原生导出缺失的摘要、关键词、引用次数、全文永久链接,提升文献管理与写作效率。 2. 功能需求 检索与筛选 支持关键词、作者、单 阅读全文
posted @ 2026-03-28 09:26 逸乐太子 阅读(65) 评论(0) 推荐(0)
摘要: 超级课堂网站是中小学大片式学习平台,将网页上的题目转为本地直接打开的网页。其中数学公式使用MathJax.js转换。 导出的效果如下图所示: 工具界面如下: 阅读全文
posted @ 2025-08-21 08:40 逸乐太子 阅读(13) 评论(0) 推荐(0)
摘要: 为了方便学生刷题与查看答案,将在线的题库导出至本地,方便快速浏览。 导出至本地的效果如下: 浏览器上的效果: 阅读全文
posted @ 2025-07-31 08:16 逸乐太子 阅读(132) 评论(0) 推荐(0)
摘要: 目标网址:https://pubscholar.cn/resource/journals 收集下面期刊的名字。 打开开发者工具,切换网页页码发现接口地址如下: 另外接口请求头中有加密签名: 经分析发现加密位置如下: 如有需要可扫描下方二维码联系我。 阅读全文
posted @ 2025-06-13 19:52 逸乐太子 阅读(39) 评论(0) 推荐(0)