数据采集作业2
数据采集与融合技术第二次作业:天气预报、股票行情与大学排名爬取
学号:102402126 姓名:黄炜杰
Gitee 文件夹: https://gitee.com/aemeth/data-fusion-and-acquisition/tree/main/作业2
本次作业共三个任务:① 中国气象网 5 个城市 7 日天气预报;② 东方财富网沪深 A 股行情;③ 软科中国大学排名 2021 主榜。三个爬虫均使用 Python 编写,数据统一保存到 SQLite 数据库。
为符合博客“两个大标题、每个大标题下两个小标题”的格式要求,本文将作业①和作业②合并为第一部分,作业③单独作为第二部分;每个部分的第一小节放网页分析、代码和运行结果,第二小节写作业心得。
GIF 说明: 文中三个网页的静态截图均已替换为操作 GIF。每个 GIF 下方都给出“操作步骤”和“画面内容说明”,逐步对应“点了哪里、输入了什么、画面中出现了什么”,方便复现整个查找过程。
一、作业①与作业②:天气预报与股票行情采集
1.1 网页分析、代码与运行结果
(1)作业①:中国气象网 7 日天气预报
目标与城市集
中国气象网的城市天气预报页面遵循固定 URL 规律:
https://www.weather.com.cn/weather/{城市代码}.shtml
本次选取 5 个城市,满足作业“3~5 个城市”的要求:
| 城市 | 城市代码 | 城市 | 城市代码 |
|---|---|---|---|
| 福州 | 101230101 | 北京 | 101010100 |
| 上海 | 101020100 | 广州 | 101280101 |
| 深圳 | 101280601 |
页面结构分析
打开福州天气页并按 F12 查看 DOM,7 日预报位于 <ul class="t clearfix"> 中,每一天是一个 <li>:
| 节点 | 含义 | 示例 |
|---|---|---|
<h1> |
日期文本 | 6日(今天) |
<p class="wea"> |
天气现象 | 小雨,title 属性更完整 |
<p class="tem"> 中的 <span> |
白天最高温 | 22 |
<p class="tem"> 中的 <i> |
夜间最低温 | 19℃ |
<p class="win"> 中的 span[title] |
风向 | 东北风 |
<p class="win"> 中的 <i> |
风力 | 3-4级转<3级 |
GIF 操作演示:用 F12 找到 7 日预报容器

GIF 中实际执行的操作
- 在 Chrome 地址栏打开
https://www.weather.com.cn/weather/101230101.shtml,页面显示福州天气预报。 - 将鼠标移到“6日(今天)”到“12日(周四)”的 7 张预报卡片上,确认页面上确实有 7 天的数据。
- 按
F12打开开发者工具,点击顶部的 Elements(元素) 标签。 - 在 Elements 面板中按
Ctrl+F,在搜索框输入t clearfix,按回车。 - 搜索框显示
1 of 1,DOM 树中高亮出<ul class="t clearfix">,它的 7 个<li>子节点就是 7 天预报。
GIF 画面内容说明
- 左半部分:中国气象网福州页面。顶部是“今天 / 7天 / 8-15天”等选项卡,下方是 6 日到 12 日的 7 张预报卡片,每张卡片包含日期、天气图标、最高/最低温和风力。
- 右半部分:Chrome DevTools 的 Elements 面板。可以看到
<body>、<div class="top_wrap">、<ul class="t clearfix">等节点。 - 最后几秒:Elements 面板底部的搜索框输入了
t clearfix,右侧显示1 of 1,DOM 中对应的<ul class="t clearfix">被高亮。这个节点就是后面 Python 代码中soup.find("ul", class_="t clearfix")的来源。
关键代码
页面是服务端渲染的静态 HTML,用 requests 请求、BeautifulSoup 按 class 定位即可。温度用正则提取,避免因个别日期缺少 <span> 或 <i> 而报错;日期则按抓取日顺推,转成标准的 YYYY-MM-DD 后入库。
def parse_forecast(html, city, city_code):
"""解析一个城市的 7 日预报页面,返回按天组织的记录列表。"""
soup = BeautifulSoup(html, "html.parser")
ul = soup.find("ul", class_="t clearfix") # 7 日预报列表容器
if ul is None:
raise RuntimeError("页面结构可能已变化:未找到 ul.t.clearfix")
today = date.today()
records = []
for index, li in enumerate(ul.find_all("li", recursive=False)):
date_text = li.find("h1").get_text(strip=True)
wea_tag = li.find("p", class_="wea")
weather = wea_tag.get("title") or wea_tag.get_text(strip=True)
# <p class="tem"><span>22</span>/<i>19℃</i></p>
tem_text = li.find("p", class_="tem").get_text(" ", strip=True)
numbers = [int(x) for x in re.findall(r"-?\d+", tem_text)]
high, low = numbers[0], numbers[1] if len(numbers) > 1 else None
# 风向取 span 的 title 属性,例如“东北风”“无持续风向”
wind_tag = li.find("p", class_="win")
directions = [s.get("title") for s in wind_tag.find_all("span") if s.get("title")]
wind = "/".join(dict.fromkeys(directions))
wind_scale = wind_tag.find("i").get_text(strip=True)
records.append({
"city": city,
"city_code": city_code,
"forecast_date": (today + timedelta(days=index)).isoformat(),
"date_text": date_text,
"weather": weather,
"temp_high": high,
"temp_low": low,
"wind": wind,
"wind_scale": wind_scale,
})
return records
建表时把城市代码和预报日期设为联合唯一键,重复运行先清空旧表,保证数据库中始终是本次抓取到的最新 7 日预报:
CREATE TABLE weather_forecast (
id INTEGER PRIMARY KEY AUTOINCREMENT,
city TEXT NOT NULL,
city_code TEXT NOT NULL,
forecast_date TEXT NOT NULL,
date_text TEXT,
weather TEXT,
temp_high INTEGER,
temp_low INTEGER,
wind TEXT,
wind_scale TEXT,
fetched_at TEXT,
UNIQUE(city_code, forecast_date)
);
运行结果
在作业目录执行:
python 1_weather/1.py
5 个城市全部抓取成功,每个城市 7 天,共 35 条记录写入 weather.db:

以福州为例,入库的部分数据如下:
| 日期 | 天气 | 最高/最低温 | 风向 | 风力 |
|---|---|---|---|---|
| 2026-11-06 | 小雨 | 22/19℃ | 东北风/无持续风向 | 3-4级转<3级 |
| 2026-11-07 | 小雨转多云 | 22/19℃ | 东北风/无持续风向 | 4-5级转<3级 |
| 2026-11-08 | 多云转小雨 | 28/21℃ | 无持续风向 | <3级 |
| 2026-11-09 | 阴转多云 | 23/13℃ | 无持续风向 | <3级 |
| 2026-11-10 | 晴转多云 | 19/13℃ | 无持续风向 | <3级 |
| 2026-11-11 | 多云 | 21/15℃ | 东北风/无持续风向 | 3-4级转<3级 |
| 2026-11-12 | 阴 | 25/17℃ | 无持续风向 | <3级 |
把 5 个城市的最高气温画成折线图,可以直观看出本轮降温过程:北京在 11 月 7~8 日最低,福州、广州、深圳整体仍在 20℃ 以上。

(2)作业②:东方财富网股票行情定向爬取
F12 抓包分析
东方财富行情页 https://quote.eastmoney.com/center/gridlist.html 的股票表格是前端动态渲染的,直接请求 HTML 拿不到数据。按 F12 打开 Network → Fetch/XHR,刷新页面并筛选 clist/get,可以定位到股票列表接口:
https://push2.eastmoney.com/api/qt/clist/get
?pn=1&pz=100&po=1&np=1&fltt=2&invt=2
&fid=f3
&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23
&fields=f12,f14,f2,f3,f4,f5,f6,f7,f8,f9,f10,f15,f16,f17,f18,f20,f21,f23
请求参数的含义如下:
| 参数 | 含义 |
|---|---|
pn / pz |
页码(从 1 开始)/ 每页条数 |
po / fid |
排序方向(1 为降序)/ 排序字段(f3 为涨跌幅) |
fs |
市场过滤:深证主板、创业板、上证主板、科创板 |
fields |
按需返回的字段,删减不用的字段可以减小响应体积 |
常用字段映射:
| 字段 | 含义 | 字段 | 含义 |
|---|---|---|---|
f12 |
股票代码 | f14 |
股票名称 |
f2 |
最新价 | f3 |
涨跌幅(%) |
f4 |
涨跌额 | f5 |
成交量(手) |
f6 |
成交额(元) | f7 |
振幅(%) |
f8 |
换手率(%) | f9 |
市盈率(动态) |
f10 |
量比 | f15 / f16 |
最高 / 最低 |
f17 / f18 |
今开 / 昨收 | f20 / f21 |
总市值 / 流通市值 |
f23 |
市净率 |
GIF 操作演示:在 Network 中找到股票列表接口

GIF 中实际执行的操作
- 打开东方财富行情中心
https://quote.eastmoney.com/center/gridlist.html,页面上可以看到沪深 A 股的实时行情表。 - 按
F12打开开发者工具,点击 Network(网络) 标签。 - 在 Network 的 Filter 过滤框中输入
clist,把请求列表缩小到与股票列表相关的接口。 - 按
Ctrl+R刷新页面,让 Network 重新记录页面加载过程中的请求。 - 过滤后只剩一条请求,Name 列显示为
get?t=1&np=1...;点击该请求,可以在右侧查看 Headers、Preview、Response。 - 从 Headers 的 Request URL 可以看到完整地址是
https://push2.eastmoney.com/api/qt/clist/get?...,说明它就是股票列表的数据接口。
GIF 画面内容说明
- 左半部分:东方财富行情页,表格列有“序号、代码、名称、最新价、涨跌幅、涨跌额、成交量、成交额、振幅、最高、最低、今开、昨收”等,说明页面确实是动态加载的行情数据。
- 右半部分:Chrome DevTools 的 Network 面板。顶部可以看到
All / Fetch/XHR / Doc / CSS / JS等请求类型筛选,中间是请求列表,底部状态栏显示当前请求数量。 - 输入
clist后:请求列表从几十条减少到 1 条,Name 列只显示 URL 的最后一段get?t=1...。这是 Chrome 的显示规则,完整路径其实是/api/qt/clist/get,可以在 Headers 的 Request URL 中确认。 - Status 200:说明接口请求成功;Size 约 2.1 KB,Time 约 105 ms,说明返回的是压缩后的 JSON 数据,而不是 HTML 页面。
接口返回的是标准 JSON,结构为:
{
"data": {
"total": 5563,
"diff": [
{"f12": "301697", "f14": "贝特利", "f2": 36.6, "f3": 20.0, "f6": 608431098.46}
]
}
}
关键代码
用 requests.Session() 带上 Referer 请求接口,再用 resp.json() 直接解析。东方财富有多个负载均衡域名,且对高频访问会限流,因此代码在多个域名之间轮换并做退避重试:
API_HOSTS = [
"https://82.push2.eastmoney.com/api/qt/clist/get",
"https://push2.eastmoney.com/api/qt/clist/get",
]
def fetch_page(page):
"""请求第 page 页股票列表,返回接口中的 data 字典。"""
params = {
"pn": page,
"pz": 100,
"po": 1, # 降序
"np": 1, # 排除未上市股票
"fltt": 2,
"invt": 2,
"fid": "f3", # 按涨跌幅排序
"fs": "m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23",
"fields": FIELDS,
"ut": "bd1d9ddb04089700cf9c27f6f7426281",
}
for attempt in range(6):
url = API_HOSTS[attempt % len(API_HOSTS)]
try:
resp = SESSION.get(url, params=params, timeout=20)
resp.raise_for_status()
data = resp.json().get("data") # requests 内置 JSON 解析
if not data or not isinstance(data.get("diff"), list):
raise ValueError("接口未返回 data.diff")
return data
except Exception:
time.sleep(min(1.5 * (attempt + 1), 8))
raise RuntimeError("第 %d 页请求失败" % page)
接口中的 "-" 表示该字段没有数值(例如亏损股的市盈率),入库前统一转成 None,避免把字符串写进 REAL 列。成交量、成交额保留原始数值,展示时再格式化成“万/亿”,这样数据库仍然可以参与排序和计算:
def _to_float(value):
if value is None or value == "-" or value == "":
return None
try:
return float(value)
except (TypeError, ValueError):
return None
def parse_stock(item, rank_no):
code = str(item.get("f12", "")).strip()
market = "沪市" if code.startswith("6") else "深市"
return {
"rank_no": rank_no,
"code": code,
"name": str(item.get("f14", "")).strip(),
"market": market,
"price": _to_float(item.get("f2")),
"change_pct": _to_float(item.get("f3")),
"change_amount": _to_float(item.get("f4")),
"volume": _to_int(item.get("f5")), # 手
"amount": _to_float(item.get("f6")), # 元
"turnover_rate": _to_float(item.get("f8")),
"pe_ratio": _to_float(item.get("f9")),
"high": _to_float(item.get("f15")),
"low": _to_float(item.get("f16")),
"total_market_cap": _to_float(item.get("f20")),
}
运行结果
python 2_stock/2.py
本次请求了涨幅榜前 3 页,每页 100 条。由于行情实时变化,跨页可能出现重复股票,代码按股票代码去重,最终入库 300 条:

涨幅榜前 10 名如下(抓取时间 2026-11-06):
| 排名 | 代码 | 名称 | 最新价 | 涨跌幅 | 成交额 | 换手率 |
|---|---|---|---|---|---|---|
| 1 | 301697 | 贝特利 | 36.60 | 20.00% | 6.08 亿 | 39.27% |
| 2 | 300686 | 智动力 | 13.68 | 20.00% | 2.48 亿 | 7.60% |
| 3 | 300118 | 东方日升 | 10.26 | 15.15% | 18.58 亿 | 20.04% |
| 4 | 300695 | 兆丰股份 | 59.34 | 13.63% | 3.65 亿 | 6.25% |
| 5 | 688203 | 海正生材 | 15.89 | 12.06% | 2.52 亿 | 8.12% |
| 6 | 300237 | 美晨科技 | 2.63 | 11.91% | 2.35 亿 | 6.16% |
| 7 | 300313 | 天山生物 | 11.33 | 11.85% | 3.10 亿 | 14.89% |
| 8 | 600537 | *ST 亿晶 | 2.05 | 10.22% | 1.88 亿 | 7.98% |
| 9 | 601188 | 龙江交通 | 3.81 | 10.12% | 8.84 亿 | 18.18% |
| 10 | 002578 | 闽发铝业 | 5.01 | 10.11% | 5.07 亿 | 11.76% |

1.2 作业心得
(1)作业①心得
这个任务看起来最简单,但真正动手后有几个细节值得记录。
第一是不能只看页面上的文字,要看节点结构。温度在页面上显示成“22/19℃”,如果直接取 <p class="tem"> 的文本再按 / 切分,遇到“19℃”还要处理单位;而查看 DOM 后发现高温在 <span>、低温在 <i> 中,按标签取值更稳定。风向同理,页面上显示“东北风”,但文本节点里可能还混有“无持续风向”,真正干净的值在 span 的 title 属性里。
第二是日期的处理。页面给的是“6日(今天)”“7日(明天)”这样的相对文本,直接入库不利于后续查询。我在代码里以抓取日为起点顺推 7 天,生成标准的 YYYY-MM-DD,同时保留原始 date_text,既方便程序使用,也保留了页面信息。
第三是礼貌抓取。5 个城市连续请求时加了 1.2 秒间隔,并设置了 15 秒超时和 3 次退避重试。数据量不大,但这是爬虫的基本习惯。
(2)作业②心得
这个任务的核心是学会看 F12 的 Network 面板。页面本身是前端渲染的,HTML 里没有股票表格,但数据一定来自某个 XHR/Fetch 请求。按 Fetch/XHR 筛选、再按响应大小排序,很快就能找到 clist/get 这个返回 JSON 的接口。
几个实践中的坑:
Referer不能少。东方财富接口有防盗链校验,缺少Referer可能返回空数据。fields参数要按需取。一开始返回了全部字段,响应体很大;后来只保留代码、名称、价格、涨跌幅、成交额、换手率等 18 个字段,解析和入库都更清晰。- 接口会限流,且域名不止一个。连续快速翻页时
push2.eastmoney.com偶尔会主动断开连接,代码在82.push2.eastmoney.com和push2.eastmoney.com之间轮换,并做指数退避。 - 实时数据会“跨页重复”。按涨跌幅排序时,两次请求之间排名会变化,同一只股票可能同时出现在第 1 页和第 3 页。最初直接按代码主键写入,数据库条数总比解析条数少;后来在解析阶段按代码去重,并重新编号,问题才解决。
另外,数据库里保存的是原始数值(成交额用元、成交量用手),而不是“6.08 亿”这样的字符串。格式化只放在控制台展示层,这样后续做排序、求和、筛选都不会受单位影响。
二、作业③:软科中国大学排名 2021 主榜全量采集
2.1 网页分析、代码与运行结果
(1)F12 抓包与 API 分析
目标页面是 https://www.shanghairanking.cn/rankings/bcur/2021,页面显示主榜共 582 所院校,每页只展示 30 条。
第一步:确认分页是否是后端分页。
打开 F12 → Network,刷新页面,再点击第 2 页。结果发现 Network 里没有新的 XHR 请求,说明 582 条数据是一次性加载到前端的,分页只是前端行为。
第二步:按资源大小找数据文件。
在 Network 中按 Size 排序,发现一个 200 多 KB 的 payload.js:
https://www.shanghairanking.cn/_nuxt/static/{buildId}/rankings/bcur/2021/payload.js
它是 Nuxt 服务端渲染框架的页面数据文件,采用 __NUXT_JSONP__ 压缩格式,582 所院校全部在其中。完整的 F12 调试分析过程录制成了 GIF:

GIF 对应的操作步骤
- 在 Chrome 中打开
https://www.shanghairanking.cn/rankings/bcur/2021,页面显示“2021 中国大学排名(主榜)”“共 582 所学校”。 - 按
F12打开开发者工具,点击 Network(网络) 标签。 - 刷新页面,让 Network 记录页面加载过程中的全部请求。
- 在 Filter 过滤框中输入
payload,观察请求列表的变化。 - 过滤后列表只剩多条
payload.js请求;它们的 Status 都是 200,Size 分别为 0 B、5.3 KB、4.5 KB 等。 - GIF 最后停留在过滤结果;在真实调试中继续点击其中一条
payload.js,右侧 Response 面板会显示__NUXT_JSONP__(...)开头的数据体,说明排名数据被预加载在这个文件里。
GIF 画面内容说明
- 左半部分:软科 2021 中国大学排名页面。可以看到“2021 中国大学排名”标题、“共 582 所学校”、排名表头(排名、学校名称、省市、类型、总分)以及清华大学、北京大学等前几名。
- 右半部分:Chrome DevTools 的 Network 面板。顶部 Network 标签处于选中状态,Filter 输入框中逐步输入
payload。 - 过滤后的请求列表:只剩
payload.js,Name 列可以看到文件名,Status 为 200,Type 为 script,Initiator 指向2021.8...等脚本,Size/Time 列显示每个请求的大小和耗时。 - 底部状态栏:显示当前请求数量、传输大小、加载完成时间,例如
3/78 requests、274 kB / 10,204 kB resources。 - 结论:排名数据不是通过常见的 XHR 接口返回,而是 Nuxt 在服务端渲染时写入
payload.js的预加载数据;这也解释了为什么翻页时 Network 没有新请求。
第三步:进一步找到标准 JSON API。
payload.js 里的变量名被压缩成 a、b、c 这样的短名,解析起来比较繁琐。继续分析站点接口后,找到公开的榜单 API:
GET https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021
其中 bcur_type=11 表示“中国大学排名(主榜)”,year=2021 表示年份。接口返回标准 JSON:
{
"code": 200,
"data": {
"rankings": [
{
"ranking": "1",
"univNameCn": "清华大学",
"univNameEn": "Tsinghua University",
"province": "北京",
"univCategory": "综合",
"score": 969.2,
"univTags": ["双一流", "985", "211"]
}
]
}
}
我将 API 返回的 582 条数据与 payload.js 中的数据逐条比对,顺序、学校、省市、类型、总分完全一致。因此最终代码选择 API 作为数据源:它是标准 JSON,字段清晰,比还原压缩 JS 更稳定、更容易维护;而 GIF 记录的是最初发现 payload.js 的完整 F12 过程。
(2)代码实现
请求 API 并用 resp.json() 解析,核心代码如下:
API_URL = "https://www.shanghairanking.cn/api/pub/v1/bcur"
YEAR = 2021
BCUR_TYPE = 11 # 11 = 中国大学排名(主榜)
HEADERS = {
"User-Agent": "Mozilla/5.0 ... Chrome/126.0.0.0 Safari/537.36",
"Referer": "https://www.shanghairanking.cn/rankings/bcur/2021",
}
def fetch_rankings(year=YEAR, bcur_type=BCUR_TYPE):
"""请求软科榜单 API,返回 data.rankings 列表。"""
params = {"bcur_type": bcur_type, "year": year}
for attempt in range(1, 4):
try:
resp = requests.get(API_URL, params=params, headers=HEADERS, timeout=20)
resp.raise_for_status()
payload = resp.json()
if payload.get("code") != 200:
raise RuntimeError(payload.get("msg"))
rankings = payload.get("data", {}).get("rankings")
if not isinstance(rankings, list) or not rankings:
raise RuntimeError("接口未返回 data.rankings")
return rankings
except Exception:
if attempt < 3:
time.sleep(2 ** attempt)
raise RuntimeError("软科 API 请求失败")
解析时要注意两个细节:
ranking在 JSON 里是字符串(如"95"),入库前要转成整数;- 排名存在并列。582 条记录只覆盖 510 个不同名次,有 62 组并列(例如两所学校同为第 95 名)。所以不能用
ranking单独做主键,代码使用自增id,并在(ranking, univ_name)上建唯一约束。
def parse_ranking(item):
ranking = int(float(item["ranking"]))
tags = item.get("univTags") or []
return {
"ranking": ranking,
"univ_name": item["univNameCn"].strip(),
"univ_name_en": item.get("univNameEn", "").strip(),
"province": item.get("province", "").strip(),
"category": item.get("univCategory", "").strip(),
"score": float(item["score"]),
"tags": "/".join(tags), # 双一流/985/211
}
对应的建表语句:
CREATE TABLE university (
id INTEGER PRIMARY KEY AUTOINCREMENT,
ranking INTEGER, -- 排名(允许并列)
univ_name TEXT NOT NULL, -- 学校中文名
univ_name_en TEXT, -- 学校英文名
province TEXT, -- 省市
category TEXT, -- 办学类型
score REAL, -- 总分
tags TEXT, -- 双一流/985/211 等标签
fetched_at TEXT,
UNIQUE(ranking, univ_name)
);
(3)运行结果
python 3_ranking/3.py
API 成功返回 582 条院校记录,全部写入 rank.db:

前 5 名与官网页面完全一致:
| 排名 | 学校 | 省市 | 类型 | 总分 |
|---|---|---|---|---|
| 1 | 清华大学 | 北京 | 综合 | 969.2 |
| 2 | 北京大学 | 北京 | 综合 | 855.3 |
| 3 | 浙江大学 | 浙江 | 综合 | 768.7 |
| 4 | 上海交通大学 | 上海 | 综合 | 723.4 |
| 5 | 南京大学 | 江苏 | 综合 | 654.8 |
把前 20 名的总分画成条形图,可以直观看到清华大学、北京大学与后面院校的分数差距:

2.2 作业心得
(1)技术收获
这是三个任务中分析难度最大的一个,也是收获最多的一个。
一开始我按经验在 Network 里找 XHR 接口,结果发现排名数据根本不走接口。这促使我换了一个思路:不只看请求类型,也看资源大小和页面源码。按 Size 排序后,payload.js 非常显眼;进一步阅读源码才知道它是 Nuxt 的 __NUXT_JSONP__ 格式——页面把重复出现的字符串抽成函数形参,数据体里只保留短变量名,以减小传输体积。
虽然最终代码用了更简单的 API,但 payload.js 的分析过程让我理解了服务端渲染框架的数据传递方式:“抓不到 XHR”不等于“没有数据”,数据可能藏在 HTML 预加载的 state/payload 文件里,也可能通过其他公开接口提供。会看 Network 的请求列表、响应大小、Initiator,再结合页面源码,比死记某个接口地址更有用。
另一个收获是并列排名的处理。最初想用 ranking 当主键,后来发现 582 条记录只有 510 个不同名次,直接当主键会覆盖掉同分的学校。改成自增 id + 联合唯一约束后,582 条数据才完整保留。这也提醒我:写数据库之前,先检查数据的唯一性和空值情况,不能想当然。
(2)不足与改进
当前实现还有几个可以改进的地方:
- API 可能有变动。目前代码只走 API,如果站点改版,可以增加
payload.js解析作为兜底;本次已经验证两种数据源完全一致,后续可以把 fallback 写进代码。 - 数据是静态快照。作业只要求 2021 主榜,所以每次运行重建表即可;如果要做历年对比,应该增加
year字段和唯一键,改成增量更新。 - 可以增加更多分析维度。例如按省市统计上榜数量、按类型统计平均分、对比 2020 与 2021 的名次变化。本次博客只做了总分 Top 20 的可视化,后续可以继续扩展。
- 抓取频率和异常监控。三个脚本都做了基本的超时和重试,但没有统一的日志与告警;如果做成长期运行的数据采集任务,应该增加日志文件、失败重试队列和数据质量校验。
总的来说,这次作业让我把“请求—解析—入库—可视化”完整走了一遍。相比单独学 requests 或 BeautifulSoup,把三个任务放在一起对比,更容易理解静态页面、JSON 接口、SSR 数据文件这三种不同数据来源的特点,也更清楚数据库表结构应该如何根据数据特征来设计。
Gitee 仓库(作业2 文件夹): https://gitee.com/aemeth/data-fusion-and-acquisition/tree/main/作业2
运行方式:
pip install -r requirements.txt
python 1_weather/1.py
python 2_stock/2.py
python 3_ranking/3.py

浙公网安备 33010602011771号