数据采集第二次作业
实验二有三个小题,正好对应三种不同的网站:服务端直接渲染的天气页、异步加载的股票行情、前端框架渲染的大学排名。我把每个作业的过程记一下,代码只贴关键几行,完整的放在 Gitee。
一、作业① 中国天气网:4 个城市的 7 天预报
1.1 代码和运行结果
中国天气网的城市页面地址很规律:https://www.weather.com.cn/weather/101010100.shtml,后面那串数字是城市编码。我在站内搜了几个城市,把编码抄下来:北京 101010100、上海 101020100、广州 101280101、福州 101230101。作业要求 3~5 个城市,我选了这四个。
这个页面是老式的服务端渲染,右键「查看网页源代码」就能看到七天的数据,所以不用去 F12 里找接口。我用开发者工具的元素选择器点了一条天气,看到七天的内容都在 <ul class="t clearfix"> 下面的 li 里:日期在 h1,天气在 p.wea,最高温和最低温在 p.tem 的 span 和 i 里。


城市集合和解析的核心就这几行:
CITIES = [("北京", "101010100"), ("上海", "101020100"),
("广州", "101280101"), ("福州", "101230101")]
soup = BeautifulSoup(resp.text, "html.parser")
for li in soup.select("ul.t.clearfix > li"):
date = li.select_one("h1").get_text(strip=True)
weather = li.select_one("p.wea").get_text(strip=True)
high = li.select_one("p.tem span").get_text(strip=True).replace("℃", "")
low = li.select_one("p.tem i").get_text(strip=True).replace("℃", "")
写代码之前,我先把四个城市的页面逐个打开确认能访问,免得跑到一半某个城市 404。
有两个地方和我预想的不一样。一是第一行「今天」只有当前温度,没有最高温,span 取出来是空的;二是温度后面带 ℃,直接入库会变成字符串,我统一 replace 掉了。
四个城市是一个列表循环请求的,中间加了 1 秒间隔。写库之前先按城市把旧记录删掉,不然跑第二遍数据就翻倍了。

1.2 心得
这个作业我一开始想得很简单,觉得 requests 拿到页面、find_all 找 li 就完事了。真写的时候用 find_all("li") 抓出来一堆导航栏和广告,根本不是天气。后来老老实实打开 F12,用选择器点到某一天的「晴」,看它父级是谁,才写出 ul.t.clearfix > li 这个选择器。先看结构再写解析,这句话说起来简单,我是踩了一次才记住的。
另一个体会是数据清洗不能省。温度带 ℃、今天没有最高温、风力是几个 span 拼起来的,这些不处理,数据库里就是一堆没法用的字符串。还有就是多城市别请求太密,我一开始四个城市连着发,偶尔会返回空页面,加了 sleep 就稳了。
二、作业② 新浪财经:抓股票列表
2.1 代码和运行结果
新浪财经的股票页面,右键看源码是找不到股票名字的,说明列表是 JS 异步加载的,只能去 F12 里找接口。
这个接口不在首页。我一开始在 finance.sina.com.cn/stock/ 的 Fetch/XHR 里翻了半天,一条都没匹配;后来打开新浪行情中心 vip.stock.finance.sina.com.cn/mkt/,F12 → Network → 全部,刷新,才看到 Market_Center.getHQNodeData 这条——它不在 Fetch/XHR 分类里,要选「全部」才显示。它的参数里 page 是页码、num 是每页条数、node 控制市场(hs_a 沪深 A 股、sh_a 上证 A 股)、sort=changepercent 按涨跌幅排、asc=0 是降序。返回的是一个 JSON 数组,里面有 code、name、trade、high、low、settlement 这些字段。


找到之后我先把这个 URL 复制到新标签页打开,确认返回的是 JSON 而不是报错,才开始写解析。
拼接参数、解析 JSON 的部分:
params = {"page": page, "num": 20, "node": "hs_a",
"sort": "changepercent", "asc": 0}
data = requests.get(API_URL, params=params, headers=HEADERS, timeout=15).json()
for item in data:
volume = float(item["volume"]) / 100 # 股 -> 手
amplitude = ((float(item["high"]) - float(item["low"]))
/ float(item["settlement"]) * 100) # 振幅自己算
这里有两个要注意的地方。接口给的成交量单位是「股」,但行情软件都用「手」,差 100 倍,不换算表格数字会大得离谱;振幅接口根本不返回,得自己拿最高、最低、昨收算。
另外接口本身也踩了个坑。我最开始用的是东方财富的 push2 接口,本机上一直被限流,换了几个域名都不行,后来才换成新浪的。所以代码里留了两套字段映射,新浪挂了会自动切东财。
主程序按 page=1/2/3 各取 20 条,一共 60 条写进 stocks.db,终端按 13 列打出来。

2.2 心得
这次最大的收获是知道数据到底在哪。页面上明明有股票列表,源码里却一行都没有,如果不是 F12 的 Network 面板,我可能还在那儿翻 HTML。抓包的时候也别指望一眼找到,几十条请求,我是按「Response 里有没有股票名字」一个个筛出来的。
第二个是单位。接口给什么就用什么,看起来很省事,实际上成交量差 100 倍、振幅干脆没有,表格一打出来就不对。后来我养成习惯,每拿一个字段都先想一下它的单位是什么、是不是我要的口径。
第三个是备用方案。东财被限流那会儿我一度以为程序写错了,调了半天才发现是接口的问题。多留一个数据源,至少不会卡死在一个接口上。
三、作业③ 软科 2021 中国大学排名
3.1 代码和运行结果
软科这个页面和前两个都不一样。它是服务端渲染的,右键查看源码就能看到院校表格,清华 969.2 那行就在 HTML 里。所以刷新页面不会产生排名接口的 XHR——我最开始在 F12 里筛 bcur,怎么筛都是 0 条,就是这个原因。
但排名数据本身有一个 JSON 接口,页面首屏只渲染了一部分,剩下的数据走接口。我是这样验证的:在排名页按 F12,切到 Console,执行一句 fetch 调用接口,Network 里立刻出现这条 bcur 请求。Headers 里是 bcur_type=11(主榜)、year=2021,点开 Response 的「预览」,data.rankings 里 582 所院校都在,每条有 ranking、univNameCn、province、univCategory、score,清华 969.2 和页面对得上。整个过程我录了 GIF,放在下面。


接口返回的 JSON 比解析 HTML 规整得多,所以代码里直接请求接口,没有再动页面源码。
拿到数据后就是取字段、入库:
resp = requests.get("https://www.shanghairanking.cn/api/pub/v1/bcur",
params={"bcur_type": 11, "year": 2021}, headers=HEADERS)
rankings = resp.json()["data"]["rankings"]
for item in rankings:
row = (item["ranking"], item["univNameCn"], item["province"],
item["univCategory"], item["score"])
入库的时候踩了个坑。我一开始把 ranking 设成主键,结果第 95、109、117 这些并列名次直接插不进去,582 条只进去一部分。改成自增 id、ranking 只当普通字段之后,才一次写全。
接口返回 582 条,数据库也是 582 条,第 1 名清华 969.2,和页面上一致。

3.2 心得
这个作业让我明白,不是所有网站都能靠抓 XHR 解决。软科页面是服务端渲染,数据就在 HTML 里,我按股票作业的思路在 Network 里翻,一条 bcur 都没有,后来才想明白先去看页面源码。接口是我在控制台里调出来验证的——先确认它返回什么,再决定代码怎么解析,比盲猜字段靠谱得多。
第二个是数据库主键。平时建表 id 自增是习惯,真遇到并列排名才发现,想当然地把 ranking 当唯一键会出事。数据里「唯一」的假设,最好先验证一下。
最后是 GIF。先展示页面上的清华 969.2,再开 Network、在控制台调接口、展开 data.rankings。
四、提交信息
- 三个作业的代码、数据库和报告都在 Gitee:
https://gitee.com/Annabelle-lin/2026_crawl_project - 环境:Python 3.9、requests、beautifulsoup4、sqlite3
- 跑法:进对应文件夹
pip install -r requirements.txt,再python xxx.py - 天气和股票的数据是采集当天的,重新跑会变,博客里的数字以那次运行为准
浙公网安备 33010602011771号