第二次作业
数据采集与融合技术 第二次作业
学号:102402148 姓名:周凯
本次作业包含三份爬虫,全部把结果保存进数据库(SQLite),并共用同一套数据库访问层。
一、三道题分别在做什么
| 作业 | 目标 | 数据来源 | 技术路线 | 结果 |
|---|---|---|---|---|
| ① | 中国气象网 5 个城市的 7 日天气预报 | weather.com.cn/weather/<城市代码>.shtml |
页面服务端渲染 → requests + lxml(XPath) 解析 HTML | 35 条(5 城 × 7 天) |
| ② | 股票行情数据 | 东方财富 push2.eastmoney.com/api/qt/clist/get(备用:新浪财经) |
requests + response.json() 解析 |
400 条 / 19 列 |
| ③ | 软科 2021 中国大学主榜全部院校 + F12 抓包过程录制 GIF | shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021 |
requests + JSON 解析;Playwright 控制 DevTools 录 GIF | 582 所 |
三道题的共同点:先判断数据来自 HTML 还是 XHR 接口,再决定解析方式。
判断错了,后面写多少代码都是白费。
二、目录结构
第二次作业/
├── common/
│ ├── __init__.py
│ ├── db.py # SQLite 封装:建表 / 批量插入 / 查询 / 导出 CSV
│ └── fmt.py # 终端对齐工具(中文按 2 列宽计算)
├── t1_weather/
│ └── weather_spider.py # 作业① 中国气象网 7 日预报
├── t2_stock/
│ └── stock_spider.py # 作业② 东方财富 / 新浪 股票行情
├── t3_university/
│ ├── rank_spider.py # 作业③ 软科 2021 主榜
│ └── record_gif.py # 作业③ F12 抓包过程录制 GIF
├── data/ # weather.db / stock.db / stock_trim.db / university.db + CSV
├── blog/
│ ├── 102402148 周凯 第二次作业-博客.md
│ └── img/ # 博客插图(含 F12 抓包 GIF)
├── shots/
│ ├── out/ # 三份程序的真实运行输出(截图素材)
│ └── gif_frames/ # GIF 逐帧图与关键静图
├── run_all.py # 一键跑完三份程序
├── make_shots.py # 把运行输出渲染成博客插图
├── build_blog.py # 由源码 + 运行数据生成博客 Markdown
├── build_preview.py # 生成 HTML 预览
└── 博客预览.html
三、运行方式
依赖:requests、lxml(数据采集);pillow、imageio、playwright(仅用于生成 GIF 和图)。
数据库用 Python 标准库 sqlite3,无需安装 MySQL。
# 一键跑完三份作业(含东财失败自动切新浪的逻辑)
python run_all.py
# 单独运行
python t1_weather/weather_spider.py
python t2_stock/stock_spider.py --pages 5
python t2_stock/stock_spider.py --source sina --pages 5 # 备用数据源
python t2_stock/stock_spider.py --fields f12,f14,f2,f3 # 裁剪请求参数
python t3_university/rank_spider.py --year 2021
python t3_university/record_gif.py # 重新录制 GIF
# 生成博客与预览
python make_shots.py && python build_blog.py && python build_preview.py
四、数据库
| 库文件 | 表 | 记录数 | 主键约束 |
|---|---|---|---|
data/weather.db |
weather_forecast |
35 | UNIQUE(city_code, forecast_date) |
data/stock.db |
stock_quote |
400 | UNIQUE(code) |
data/stock_trim.db |
stock_quote |
80 | 裁剪请求参数后的 7 列版本 |
data/university.db |
university_rank |
582 | UNIQUE(univ_name_cn) |
直接用 SQLite 客户端或 sqlite3 命令行打开即可查看,字段都写了注释。
脚本每次运行会先 DROP TABLE 再重建,保证数据不重复累加。
五、实测中踩到的坑(供参考)
- 中国气象网:当天(第一个
<li>)只给最低温,没有最高温;风力文本里有裸的
<(3-4级转<3级),用正则抠标签会在这里错位,用 lxml 解析正常。 - 东方财富:对出口 IP 有频率限制。本项目第一次跑 5 页(500 条)成功,
几分钟后再跑就变成 TLS 层直接断开(server closed abruptly),
换 UA / host / 关代理均无效。因此实现了新浪备用源,并做了两个源的交叉验证
(芯碁微装 10.62%、康盛股份 10.14% 两边一致)。 - 软科:榜单页是 Nuxt 服务端渲染,数据打包在
payload.js里随页面下发,
翻页只是前端切数组,不会请求bcur接口——所以正常浏览时 Network 里
抓不到这条 XHR。接口本身一次返回全部 582 条,直接调接口比解析 20 页 HTML 稳。 - DevTools 自动化:整个界面包在 Shadow DOM 里,
get_by_text、query_selector
都定位不到,键盘快捷键也传不进前端进程;只能用「坐标网格 +elementFromPoint
逐层穿透 shadowRoot」的命中测试找到页签坐标再点。 - 网络抖动:代理偶尔返回 502,导致单个城市/单页抓取失败。
各脚本都加了带递增间隔的重试,避免一批数据里缺几条。
六、博客
Markdown 源文件:blog/102402148 周凯 第二次作业-博客.md
本地预览:博客预览.html(图片走相对路径,双击即可打开)
结构按作业要求:两个大标题,各含两个小标题——
- 一、静态页面与 JSON 接口:天气与股票数据的定向爬取
- 1.1 作业①与作业②:代码与运行结果
- 1.2 心得
- 二、F12 抓包与全量入库:软科 2021 中国大学主榜
- 2.1 F12 抓包分析过程与爬虫代码(含录制 GIF)
- 2.2 心得

浙公网安备 33010602011771号