摘要: 作业4 一、沪深 A 股数据爬取:Ajax 动态数据抓取与结构化存储 1.1 实现方案与核心代码 需求背景与整体思路 本次任务核心目标是爬取东方财富网沪深 A 股、上证 A 股、深证 A 股三大板块的股票数据,解决Ajax 动态加载数据无法直接抓取、网站反爬检测、多板块批量爬取、数据结构化存储四大核 阅读全文
posted @ 2025-12-09 22:02 chen宇新 阅读(14) 评论(0) 推荐(0)
摘要: 作业3 中国气象网图片爬取实验 一、实验目的 通过实现单线程和多线程两种爬取方式,对比不同并发策略在网络图片下载任务中的效率差异,深入理解多线程编程在 IO 密集型任务中的优势,掌握requests、BeautifulSoup、ThreadPoolExecutor等工具的综合使用。 二、实现方法 ( 阅读全文
posted @ 2025-11-25 22:11 chen宇新 阅读(20) 评论(0) 推荐(0)
摘要: 作业①: 爬取中国气象网给定城市7日天气预报并存储到数据库 一、核心思路与代码 1. WeatherDB (数据库操作类) 1.1. 方法: openDB 1.1.1 思路: 连接 sqlite3 数据库,创建 weathers 表。关键点是使用 (wCity, wDate) 作为复合主键来防止数据 阅读全文
posted @ 2025-11-11 22:13 chen宇新 阅读(23) 评论(0) 推荐(0)
摘要: 作业1 学号:102302129 姓名:何玮鑫 作业①: 1、爬取中国大学排名实验 我们先打开网页,对网页源码进行阅读,然后定位我们所需要的排名和学校名称的标签。目标位置有明显的“data-v-309300f0”字样,根据特征,我们可以设计正则表达式精确定位。 完整代码: 先是通过request爬取 阅读全文
posted @ 2025-10-27 15:36 chen宇新 阅读(21) 评论(0) 推荐(0)