第二次作业

数据采集与融合技术 第二次作业

学号:102402148 姓名:周凯

本次作业包含三份爬虫,全部把结果保存进数据库(SQLite),并共用同一套数据库访问层。


一、三道题分别在做什么

作业 目标 数据来源 技术路线 结果
① 中国气象网 5 个城市的 7 日天气预报 weather.com.cn/weather/<城市代码>.shtml 页面服务端渲染 → requests + lxml(XPath) 解析 HTML 35 条(5 城 × 7 天)
② 股票行情数据 东方财富 push2.eastmoney.com/api/qt/clist/get(备用:新浪财经) requests + response.json() 解析 400 条 / 19 列
③ 软科 2021 中国大学主榜全部院校 + F12 抓包过程录制 GIF shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021 requests + JSON 解析;Playwright 控制 DevTools 录 GIF 582 所

三道题的共同点:先判断数据来自 HTML 还是 XHR 接口,再决定解析方式。
判断错了,后面写多少代码都是白费。


二、目录结构

第二次作业/
├── common/
│   ├── __init__.py
│   ├── db.py                  # SQLite 封装:建表 / 批量插入 / 查询 / 导出 CSV
│   └── fmt.py                 # 终端对齐工具(中文按 2 列宽计算)
├── t1_weather/
│   └── weather_spider.py      # 作业① 中国气象网 7 日预报
├── t2_stock/
│   └── stock_spider.py        # 作业② 东方财富 / 新浪 股票行情
├── t3_university/
│   ├── rank_spider.py         # 作业③ 软科 2021 主榜
│   └── record_gif.py          # 作业③ F12 抓包过程录制 GIF
├── data/                      # weather.db / stock.db / stock_trim.db / university.db + CSV
├── blog/
│   ├── 102402148 周凯 第二次作业-博客.md
│   └── img/                   # 博客插图(含 F12 抓包 GIF)
├── shots/
│   ├── out/                   # 三份程序的真实运行输出(截图素材)
│   └── gif_frames/            # GIF 逐帧图与关键静图
├── run_all.py                 # 一键跑完三份程序
├── make_shots.py              # 把运行输出渲染成博客插图
├── build_blog.py              # 由源码 + 运行数据生成博客 Markdown
├── build_preview.py           # 生成 HTML 预览
└── 博客预览.html

三、运行方式

依赖:requests、lxml(数据采集);pillow、imageio、playwright(仅用于生成 GIF 和图)。
数据库用 Python 标准库 sqlite3,无需安装 MySQL。

# 一键跑完三份作业(含东财失败自动切新浪的逻辑)
python run_all.py

# 单独运行
python t1_weather/weather_spider.py
python t2_stock/stock_spider.py --pages 5
python t2_stock/stock_spider.py --source sina --pages 5      # 备用数据源
python t2_stock/stock_spider.py --fields f12,f14,f2,f3       # 裁剪请求参数
python t3_university/rank_spider.py --year 2021
python t3_university/record_gif.py                           # 重新录制 GIF

# 生成博客与预览
python make_shots.py && python build_blog.py && python build_preview.py

四、数据库

库文件 表 记录数 主键约束
data/weather.db weather_forecast 35 UNIQUE(city_code, forecast_date)
data/stock.db stock_quote 400 UNIQUE(code)
data/stock_trim.db stock_quote 80 裁剪请求参数后的 7 列版本
data/university.db university_rank 582 UNIQUE(univ_name_cn)

直接用 SQLite 客户端或 sqlite3 命令行打开即可查看,字段都写了注释。
脚本每次运行会先 DROP TABLE 再重建,保证数据不重复累加。


五、实测中踩到的坑(供参考)

  1. 中国气象网:当天(第一个 <li>)只给最低温,没有最高温;风力文本里有裸的
    <(3-4级转<3级),用正则抠标签会在这里错位,用 lxml 解析正常。
  2. 东方财富:对出口 IP 有频率限制。本项目第一次跑 5 页(500 条)成功,
    几分钟后再跑就变成 TLS 层直接断开(server closed abruptly),
    换 UA / host / 关代理均无效。因此实现了新浪备用源,并做了两个源的交叉验证
    (芯碁微装 10.62%、康盛股份 10.14% 两边一致)。
  3. 软科:榜单页是 Nuxt 服务端渲染,数据打包在 payload.js 里随页面下发,
    翻页只是前端切数组,不会请求 bcur 接口——所以正常浏览时 Network 里
    抓不到这条 XHR。接口本身一次返回全部 582 条,直接调接口比解析 20 页 HTML 稳。
  4. DevTools 自动化:整个界面包在 Shadow DOM 里,get_by_text、query_selector
    都定位不到,键盘快捷键也传不进前端进程;只能用「坐标网格 + elementFromPoint
    逐层穿透 shadowRoot」的命中测试找到页签坐标再点。
  5. 网络抖动:代理偶尔返回 502,导致单个城市/单页抓取失败。
    各脚本都加了带递增间隔的重试,避免一批数据里缺几条。

六、博客

Markdown 源文件:blog/102402148 周凯 第二次作业-博客.md
本地预览:博客预览.html(图片走相对路径,双击即可打开)

结构按作业要求:两个大标题,各含两个小标题——

  • 一、静态页面与 JSON 接口:天气与股票数据的定向爬取
    • 1.1 作业①与作业②:代码与运行结果
    • 1.2 心得
  • 二、F12 抓包与全量入库:软科 2021 中国大学主榜
    • 2.1 F12 抓包分析过程与爬虫代码(含录制 GIF)
    • 2.2 心得
posted @ 2026-11-20 00:04  zkk321  阅读(4)  评论(0)    收藏  举报