第二次作业:从页面到接口的三次数据采集
课程:数据采集与融合技术
姓名 / 学号:张佩琪 / 102402102
运行环境:Python 3.14、requests、BeautifulSoup4、SQLite
Gitee 仓库:https://gitee.com/novavespera/python-crawler-assignments/tree/master/作业2
这次作业的三个任务看起来分别是天气、股票和大学排名,但真正做的其实是同一件事:先找到数据真正的来源,再把它变成可校验、可重复写入数据库的结构化记录。
中国天气网适合练习“解析静态页面”,新浪股票适合练习“看懂 JSON 接口”,软科排名则更进一步:页面首屏只显示一小部分,完整数据藏在 XHR 请求里。下面按两次大作业记录代码、运行结果和踩过的坑。
一、作业①与作业②:天气与股票数据的定向采集
1.1 作业代码与运行结果
作业①:中国天气网四个城市的七日预报
1. 目标与实现思路
任务要求给定 3—5 个城市,抓取七日天气预报并保存到数据库。我选择了北京、上海、广州、武汉四个城市,城市编码分别为 101010100、101020100、101280101、101200101。
页面地址有很稳定的规律:
https://www.weather.com.cn/weather/{城市编码}.shtml
实现时主要做了四件事:
- 用
requests.Session()依次请求四个城市,关闭环境代理继承,避免本机代理影响请求; - 用 BeautifulSoup 定位
#7d ul.t > li,要求每个城市恰好 7 个li; - 不直接使用本机日期,而是优先读取响应头
Date,再结合第一天的“日”推断年月,兼容跨月、跨年和本机时间误差; - 四个城市全部解析、校验成功后,才在同一个 SQLite 事务里替换
forecasts表,任何一步失败都不会写入半份数据。
2. 代码 1.py
"""作业①:直接采集中国天气网四个城市的七日预报,保存至 SQLite。
安装依赖后直接运行:python 1.py
数据库 weather.db 保存在本脚本所在目录;晚上缺失的当日最高温记为 NULL。
"""
import re
import sqlite3
import sys
import time
from datetime import datetime, timedelta, timezone
from email.utils import parsedate_to_datetime
from pathlib import Path
import requests
from bs4 import BeautifulSoup
CITY_CODES = {
"北京": "101010100",
"上海": "101020100",
"广州": "101280101",
"武汉": "101200101",
}
DATABASE = Path(__file__).resolve().with_name("weather.db")
CHINA_TZ = timezone(timedelta(hours=8))
def temperature(element):
"""将温度标签转为整数,网站未提供时保留空值,不猜测温度。"""
if element is None:
return None
match = re.search(r"-?\d+", element.get_text())
if not match:
raise ValueError("温度格式发生变化")
return int(match.group())
def fetch_city(session, city, code):
"""下载城市页面,校验七日日期顺序并提取天气与风力。"""
url = f"https://www.weather.com.cn/weather/{code}.shtml"
response = session.get(url, timeout=(10, 30))
response.raise_for_status()
response.encoding = "utf-8"
soup = BeautifulSoup(response.text, "html.parser")
items = soup.select('[id="7d"] ul.t > li')
if len(items) != 7:
raise ValueError(f"{city}应返回7日预报,实际为{len(items)}日")
# 使用服务器日期推断年月,兼容跨月、跨年及本机时间误差。
server_date = response.headers.get("Date")
now = parsedate_to_datetime(server_date) if server_date else datetime.now(CHINA_TZ)
today = now.astimezone(CHINA_TZ).date()
first_day = int(re.match(r"\d+", items[0].select_one("h1").get_text()).group())
candidates = [today + timedelta(days=offset) for offset in range(-2, 3)]
start = next((day for day in candidates if day.day == first_day), None)
if start is None:
raise ValueError(f"{city}页面日期与服务器日期不符,请检查页面是否过期")
fetched_at = datetime.now(CHINA_TZ).isoformat(timespec="seconds")
rows = []
for index, item in enumerate(items):
date = start + timedelta(days=index)
day_label = item.select_one("h1").get_text(strip=True)
if int(re.match(r"\d+", day_label).group()) != date.day:
raise ValueError(f"{city}七日日期不连续")
weather = item.select_one(".wea").get_text(strip=True)
high = temperature(item.select_one(".tem span"))
low = temperature(item.select_one(".tem i"))
wind = "转".join(dict.fromkeys(
span["title"] for span in item.select(".win em span[title]")
))
force = item.select_one(".win i").get_text(strip=True)
if not weather or low is None or not wind or not force:
raise ValueError(f"{city} {day_label}存在缺失字段")
rows.append((code, city, date.isoformat(), weather, high, low,
wind, force, url, fetched_at))
return rows
def save_forecasts(rows):
"""在同一事务中更新当前预报快照,失败时回滚,避免写入半份结果。"""
with sqlite3.connect(DATABASE) as connection:
connection.execute("""CREATE TABLE IF NOT EXISTS forecasts (
city_code TEXT NOT NULL, city TEXT NOT NULL,
forecast_date TEXT NOT NULL, weather TEXT NOT NULL,
high_c INTEGER, low_c INTEGER NOT NULL,
wind TEXT NOT NULL, wind_force TEXT NOT NULL,
source_url TEXT NOT NULL, fetched_at TEXT NOT NULL,
PRIMARY KEY (city_code, forecast_date))""")
connection.execute("DELETE FROM forecasts")
connection.executemany(
"INSERT INTO forecasts VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?)", rows
)
count = connection.execute("SELECT COUNT(*) FROM forecasts").fetchone()[0]
if count != len(CITY_CODES) * 7:
raise ValueError("数据库记录数校验失败")
return count
def main():
"""依次请求四个城市,全部校验成功后再入库。"""
rows = []
with requests.Session() as session:
# 默认直连公开网站,避免继承不可用的本机环境代理。
session.trust_env = False
session.headers["User-Agent"] = "Mozilla/5.0 (educational weather crawler)"
for city, code in CITY_CODES.items():
city_rows = fetch_city(session, city, code)
rows.extend(city_rows)
print(f"{city}:已获取 {len(city_rows)} 日预报")
time.sleep(0.5)
count = save_forecasts(rows)
print("城市 日期 天气 最高温/最低温 风向 风力")
for _, city, date, weather, high, low, wind, force, *_ in rows:
print(f"{city} {date} {weather} {high if high is not None else '未提供'}/{low}℃ {wind} {force}")
print(f"入库校验通过:{len(CITY_CODES)}个城市,共{count}条记录")
print(f"数据库:{DATABASE}")
if __name__ == "__main__":
try:
main()
except (requests.RequestException, ValueError, AttributeError, sqlite3.Error) as error:
print(f"天气采集失败:{error}", file=sys.stderr)
sys.exit(1)
3. 运行结果

图 1 PyCharm 运行 1.py:4 个城市各 7 日,共 28 条记录,进程正常退出
运行输出的关键信息:
- 北京、上海、广州、武汉均输出“已获取 7 日预报”;
- 输出表头为“城市 日期 天气 最高温/最低温 风向 风力”;
- 最后提示“入库校验通过:4个城市,共28条记录”;
- 数据库文件为本目录下的
weather.db; - 末尾显示“进程已结束,退出代码为 0”。
有一个细节值得说明:截图里北京、上海、广州、武汉的第一天最高温显示“未提供”,程序把它存成了 NULL,而不是 0。这不是解析失败,而是晚间页面只给出当天最低温、不再给出当天最高温。缺失就是缺失,不能用 0 代替,否则后续统计会把“没有数据”误当成“0℃”。

图 2 中国天气网北京页面:七天预报、日期、天气、温度、风向和风力都可在页面中直接核对
作业②:新浪股票行情 JSON 接口采集
1. 抓包与接口分析
打开新浪股票首页后按 F12,在 Network 面板中筛选 Fetch/XHR,刷新页面,可以观察到行情列表并不是直接写在 HTML 里,而是由下面这个接口返回:
https://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQNodeData
请求参数中比较关键的有:
| 参数 | 作用 | 本次取值 |
|---|---|---|
page |
页码 | 1、2 |
num |
每页条数 | 20 |
node |
市场节点 | hs_a |
sort |
排序字段 | symbol |
asc |
是否升序 | 1 |
symbol |
代码过滤 | 空字符串 |
把 page 改成 2 就能拿到第二页;把 num 改大可以一次拿更多,但为了不过度请求,代码默认只取 2 页、每页 20 条,共 40 条。
这个接口返回的是原生 JSON 数组,不是 JSONP,因此可以直接用 json.loads() 解析,不能使用 eval()。这一点在“定向爬取 + json 解析”的题目里很重要:解析的是数据,不是执行服务器返回的代码。
2. 代码 2.py
"""作业②:使用 requests 和 json 采集新浪股票行情并存入 SQLite。
运行:python 2.py;默认采集2页,每页20条,结果保存到本目录 stocks.db。
网页:https://finance.sina.com.cn/stock/
"""
import argparse
import json
import math
import sqlite3
import sys
import time
from datetime import datetime, timedelta, timezone
from pathlib import Path
import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry
API_URL = (
"https://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/"
"Market_Center.getHQNodeData"
)
DATABASE = Path(__file__).resolve().with_name("stocks.db")
CHINA_TZ = timezone(timedelta(hours=8))
# page为页码,num为每页条数;node=hs_a选择A股,symbol升序减少分页漂移。
PARAMS = {"page": 1, "num": 20, "sort": "symbol", "asc": 1,
"node": "hs_a", "symbol": "", "_s_r_a": "page"}
def number(value):
"""缺失行情记为NULL,禁止把短横线或空值误当作0。"""
if value in (None, "", "-", "--"):
return None
result = float(value)
if not math.isfinite(result):
raise ValueError(f"无效的数值:{value}")
return result
def fetch_page(session, page):
"""请求原生JSON列表,直接用json.loads解析,不执行响应中的代码。"""
response = session.get(API_URL, params={**PARAMS, "page": page},
timeout=(10, 30))
response.raise_for_status()
records = json.loads(response.content.decode("utf-8-sig"))
if not isinstance(records, list) or not records:
raise ValueError(f"第{page}页未返回股票列表")
if len(records) > PARAMS["num"]:
raise ValueError(f"第{page}页超过请求条数,请检查接口参数")
return records
def normalize(records):
"""将JSON字段映射为有意义的列名,并检查跨页重复。"""
rows, seen = [], set()
fetched_at = datetime.now(CHINA_TZ).isoformat(timespec="seconds")
for item in records:
symbol, code, name = item["symbol"], str(item["code"]), item["name"]
if not name or not code.isdigit() or len(code) != 6 or symbol in seen:
raise ValueError(f"股票字段缺失或分页重复:{symbol}")
seen.add(symbol)
# 新浪trade单位为元,changepercent为%,volume为股、amount为元。
values = [number(item.get(field)) for field in
("trade", "changepercent", "pricechange", "volume",
"amount", "high", "low", "open", "settlement")]
rows.append((symbol, code, name, *values, item.get("ticktime"),
fetched_at))
return rows
def save_quotes(rows):
"""以事务替换本次请求范围的快照,重复运行不会累加相同股票。"""
with sqlite3.connect(DATABASE) as connection:
connection.execute("""CREATE TABLE IF NOT EXISTS stock_quotes (
symbol TEXT PRIMARY KEY, code TEXT NOT NULL, name TEXT NOT NULL,
price REAL, change_percent REAL, change_amount REAL,
volume_shares REAL, turnover_yuan REAL, high REAL, low REAL,
open REAL, previous_close REAL, quote_time TEXT,
fetched_at TEXT NOT NULL)""")
connection.execute("DELETE FROM stock_quotes")
connection.executemany(
"INSERT INTO stock_quotes VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)", rows
)
count = connection.execute("SELECT COUNT(*) FROM stock_quotes").fetchone()[0]
if count != len(rows):
raise ValueError("入库记录数校验失败")
return count
def main():
"""低频分页抓取,打印字段示例和实际入库数。"""
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument("--pages", type=int, default=2, help="采集页数,默认2")
args = parser.parse_args()
if not 1 <= args.pages <= 10:
parser.error("--pages应在1至10之间")
records = []
with requests.Session() as session:
session.trust_env = False
session.headers.update({"User-Agent": "Mozilla/5.0",
"Referer": "https://finance.sina.com.cn/"})
# 接口偶尔主动断开连接,只对幂等GET请求进行有限重试。
retry = Retry(total=2, backoff_factor=1,
status_forcelist=(429, 500, 502, 503, 504),
allowed_methods=frozenset({"GET"}))
session.mount("https://", HTTPAdapter(max_retries=retry))
for page in range(1, args.pages + 1):
page_rows = fetch_page(session, page)
records.extend(page_rows)
print(f"第{page}页:获取{len(page_rows)}条股票行情")
time.sleep(0.5)
rows = normalize(records)
count = save_quotes(rows)
print("代码 名称 最新价(元) 涨跌幅(%) 成交量(股) 成交额(元)")
for row in rows[:10]:
print(row[1], row[2], row[3], row[4], row[6], row[7])
print(f"入库校验通过:共{count}条记录;以上展示前10条")
print("行情时间为接口提供的时分秒,不推断其交易日期")
print(f"数据库:{DATABASE}")
if __name__ == "__main__":
try:
main()
except (requests.RequestException, ValueError, KeyError, TypeError, sqlite3.Error) as error:
print(f"股票采集失败:{error}", file=sys.stderr)
sys.exit(1)
3. 运行结果

图 3 PyCharm 运行 2.py:抓取 2 页共 40 条股票行情,进程正常退出
输出中可以看到:
- 第 1 页、第 2 页各获取 20 条;
- 程序打印“代码、名称、最新价、涨跌幅、成交量、成交额”;
- 入库校验通过,共 40 条记录;
- 数据库为
stocks.db; - 末尾退出代码为 0。
代码里保留了 pricechange、high、low、open、settlement 等字段,但展示时只挑了最常用的几列,避免运行面板输出过长。数据库中的字段名改成了 price、change_percent、volume_shares、turnover_yuan 等有明确含义的名字,而不是直接照搬接口的缩写。

图 4 新浪股票首页:页面中的行情列表由 XHR 接口异步加载,不是静态 HTML
1.2 作业心得
(1)先确认页面结构,再写解析规则
天气页面最容易犯的错误,是看到页面上有 7 天就直接 find_all('li')。实际页面里还有其他列表,如果不把范围限定在 #7d ul.t 内,很容易多抓或错抓。我在代码里加了三层检查:必须正好 7 个 li、日期必须连续、天气/低温/风向/风力不能为空。只要有一项不满足就抛异常并以退出码 1 结束,而不是“能写多少写多少”。
这让我意识到,爬虫代码的“正确”不只是能跑通,还要能在页面改版或字段缺失时明确失败。悄悄写进一条错数据,比直接报错更难发现。
(2)缺失值不是 0,空字符串也不是 0
天气的第一天最高温、股票的停牌/无成交字段,都可能返回空值或短横线。最开始我习惯用 float(value or 0),后来发现这会制造假数据:0℃ 和“没有最高温”在业务上完全是两回事。最终 1.py 对最高温返回 None,2.py 的 number() 对 None、空串、-、-- 统一返回 None,只有合法数字才转换。
数据库允许这些列存 NULL,展示时再写成“未提供”。这样既保留了原始语义,也不会让后续统计被 0 拉偏。
(3)接口参数要理解,不要只复制 URL
新浪这个接口的参数不少,但真正影响本次结果的是 page、num、node、sort、asc。我一开始只复制了浏览器里的完整 URL,后来发现把参数拆成字典更清晰,也方便改页数。sort=symbol&asc=1 是为了让分页顺序稳定,减少翻页时因为行情变化导致的重复或漏抓。
另外,接口偶尔会主动断开连接,所以代码只对幂等的 GET 请求加了有限重试(最多 2 次,退避 1 秒),没有对所有异常无限重试。爬虫要克制,不能因为自己写错参数就把对方服务器当成压力测试目标。
(4)用事务和主键让程序可以重复运行
三个任务都采用了“先删旧快照,再插入新数据,最后校验条数”的方式,并且放在同一个事务里。这样做的好处是:
- 重复运行不会累积重复记录;
- 中途失败会回滚,不会留下半张表;
- 主键能兜底,例如天气的
(city_code, forecast_date)、股票的symbol、大学的(year, school)。
比起“每次运行都往后追加”,这种快照式写入更适合课程作业,也更接近真实的数据同步任务。
二、作业③:软科 2021 中国大学排名全量采集
2.1 作业代码与运行结果
1. 先抓包:完整榜单不在 HTML 首屏里
打开 https://www.shanghairanking.cn/rankings/bcur/2021,页面显示“共 582 所学校”,但首屏只渲染前几条。按 F12 打开开发者工具,切换到 Network → Fetch/XHR,刷新页面,可以看到一个关键请求:
https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021
其中:
bcur_type=11表示中国大学排名主榜;year=2021表示 2021 年榜单;- 返回的
data.rankings是一个包含全部 582 所院校的数组,并不是只返回当前页。
在请求的 Preview / Response 中,可以看到每条记录至少包含:
| 字段 | 含义 |
|---|---|
ranking |
排名 |
univNameCn |
学校中文名 |
province |
省市 |
univCategory |
类型 |
score |
总分 |
这一步非常关键:如果只解析页面 DOM,最多只能拿到首屏的几十条;而接口一次就返回了全量数据。

图 5 软科 2021 中国大学排名主榜页面,页面标注“共 582 所学校”

图 6 code 为 200,data.rankings 为院校数组

图 7 从榜单页进入 api/pub/v1/bcur 并查看 JSON 返回(GIF)
2. 代码 3.py
"""作业③:采集软科2021中国大学排名主榜全部582所院校并存入SQLite。
运行:python 3.py;数据库 universities_2021.db 保存于本脚本目录。
页面:https://www.shanghairanking.cn/rankings/bcur/2021
接口参数bcur_type=11表示主榜,year=2021表示榜单年份。
"""
import json
import math
import sqlite3
import sys
from datetime import datetime, timedelta, timezone
from pathlib import Path
import requests
PAGE_URL = "https://www.shanghairanking.cn/rankings/bcur/2021"
API_URL = "https://www.shanghairanking.cn/api/pub/v1/bcur"
YEAR = 2021
EXPECTED_COUNT = 582 # 2021主榜完整院校数,用于防止误存页面首屏30条。
DATABASE = Path(__file__).resolve().with_name("universities_2021.db")
def fetch_rankings():
"""请求完整JSON数组;接口已返回全榜,不需要对页面逐页翻页。"""
with requests.Session() as session:
session.trust_env = False
session.headers.update({"User-Agent": "Mozilla/5.0", "Referer": PAGE_URL})
response = session.get(
API_URL, params={"bcur_type": 11, "year": YEAR}, timeout=(10, 30)
)
response.raise_for_status()
payload = json.loads(response.content.decode("utf-8-sig"))
if payload.get("code") != 200 or not isinstance(payload.get("data"), dict):
raise ValueError("排名接口返回异常")
rankings = payload["data"].get("rankings")
if not isinstance(rankings, list) or len(rankings) != EXPECTED_COUNT:
raise ValueError("全榜院校数校验失败,请检查网站接口是否发生变化")
return rankings
def normalize(rankings):
"""保留全部院校,验证必要字段,允许网站原有的并列名次。"""
rows, names = [], set()
fetched_at = datetime.now(timezone(timedelta(hours=8))).isoformat(timespec="seconds")
for item in rankings:
rank = int(item["ranking"])
name = item["univNameCn"]
province = item["province"]
category = item["univCategory"]
score = float(item["score"])
if not all((name, province, category)) or not math.isfinite(score):
raise ValueError(f"院校字段缺失或总分无效:{name}")
if name in names or not 1 <= rank <= EXPECTED_COUNT:
raise ValueError(f"院校重复或名次超出范围:{name},{rank}")
names.add(name)
rows.append((YEAR, rank, name, province, category, score, fetched_at))
rows.sort(key=lambda row: row[1])
# 竞赛排名允许95、95、97这样的并列;新名次应等于该行所在序号。
for index, row in enumerate(rows):
previous = rows[index - 1][1] if index else None
if row[1] != index + 1 and row[1] != previous:
raise ValueError(f"名次序列异常:第{index + 1}条的名次为{row[1]}")
return rows
def save_rankings(rows):
"""使用年份和学校作为主键,在事务中替换2021主榜数据。"""
with sqlite3.connect(DATABASE) as connection:
connection.execute("""CREATE TABLE IF NOT EXISTS university_rankings (
year INTEGER NOT NULL, rank INTEGER NOT NULL,
school TEXT NOT NULL, province TEXT NOT NULL,
category TEXT NOT NULL, score REAL NOT NULL,
fetched_at TEXT NOT NULL, PRIMARY KEY (year, school))""")
connection.execute("DELETE FROM university_rankings WHERE year = ?", (YEAR,))
connection.executemany(
"INSERT INTO university_rankings VALUES (?, ?, ?, ?, ?, ?, ?)", rows
)
count = connection.execute(
"SELECT COUNT(*) FROM university_rankings WHERE year = ?", (YEAR,)
).fetchone()[0]
if count != EXPECTED_COUNT:
raise ValueError("数据库全榜记录数校验失败")
return count
def main():
"""获取全榜、校验完整性、写库并展示首尾记录。"""
rows = normalize(fetch_rankings())
count = save_rankings(rows)
print("2021软科中国大学排名主榜")
print("排名 学校 省市 类型 总分")
for _, rank, name, province, category, score, _ in rows[:10]:
print(rank, name, province, category, score)
print("……")
_, rank, name, province, category, score, _ = rows[-1]
print(rank, name, province, category, score)
print(f"全榜校验通过:共{count}所院校全部入库,保留原始并列名次")
print(f"数据库:{DATABASE}")
if __name__ == "__main__":
try:
main()
except (requests.RequestException, ValueError, KeyError, TypeError, sqlite3.Error) as error:
print(f"大学排名采集失败:{error}", file=sys.stderr)
sys.exit(1)
3. 运行结果

图 8 PyCharm 运行 3.py:582 所院校全部入库,进程正常退出
程序输出前 10 名和最后 1 名,便于快速核对:
| 排名 | 学校 | 省市 | 类型 | 总分 |
|---|---|---|---|---|
| 1 | 清华大学 | 北京 | 综合 | 969.2 |
| 2 | 北京大学 | 北京 | 综合 | 855.3 |
| 3 | 浙江大学 | 浙江 | 综合 | 768.7 |
| 4 | 上海交通大学 | 上海 | 综合 | 723.4 |
| 5 | 南京大学 | 江苏 | 综合 | 654.8 |
| 6 | 复旦大学 | 上海 | 综合 | 649.7 |
| 7 | 中国科学技术大学 | 安徽 | 理工 | 577.0 |
| 8 | 华中科技大学 | 湖北 | 综合 | 574.3 |
| 9 | 武汉大学 | 湖北 | 综合 | 567.9 |
| 10 | 西安交通大学 | 陕西 | 综合 | 537.9 |
| … | … | … | … | … |
| 582 | 太原学院 | 山西 | 理工 | 58.2 |
最终提示“全榜校验通过:共 582 所院校全部入库,保留原始并列名次”,数据库为 universities_2021.db,退出代码为 0。
2.2 作业心得
(1)页面看到的不等于接口返回的
这是本次作业最大的收获。软科页面首屏只显示少量学校,如果按照传统 requests + BeautifulSoup 的思路去翻 DOM,很容易以为“只能抓到这么多”。打开 F12 后才发现,真正加载数据的是 api/pub/v1/bcur,而且一次返回全量 582 条。
这让我养成了一个习惯:先看 Network,再决定用 HTML 解析还是 JSON 解析。 静态页面、服务端渲染、XHR 接口,三种情况对应三种写法,不能拿一种方法套所有网站。
(2)用“总数校验”防止只抓到首屏
代码里定义了 EXPECTED_COUNT = 582,接口返回后先检查 code == 200、data 是字典、rankings 是列表且长度正好 582,否则直接报错。这个检查看起来“多此一举”,但它能准确防止一种常见事故:接口悄悄改成分页,程序只拿到第一页 30 条,却仍然开开心心写进数据库。
入库后还会再查一次 COUNT(*),确认数据库里也是 582 条。请求层校验一次,入库层再校验一次,两次都对上,才敢说“全量”。
(3)并列名次不能用“序号等于名次”来判断
一开始我想当然地认为第 i 行的排名就应该等于 i + 1,后来发现榜单存在并列:可能出现 95、95、97。如果强行要求严格递增,程序会把正常的并列判成异常。
最终的处理方式是:排序后,每一行的名次要么等于它的序号,要么等于上一行的名次。这样既保留了网站原始的并列名次,又能发现“突然跳到 200”的异常。数据校验要尊重业务规则,不能为了代码简单而把真实数据改掉。
(4)F12 不只是“找 URL”,还要会看参数和响应
这次抓包我主要看了三个地方:
- Request URL:确认接口是
/api/pub/v1/bcur; - Query String Parameters:确认
bcur_type=11和year=2021的含义; - Preview / Response:确认
data.rankings的字段名和记录数量。
以前我抓包只看 URL,拿到 JSON 后再靠猜字段名。现在会先看 Preview,确认字段结构,再写 item["univNameCn"] 这样的取值。这样代码一次就能写对,也更容易发现接口返回的是数组还是对象。
(5)三个任务的共同点:把“能跑”变成“可复核”
这次作业我没有满足于“屏幕上打印出数据”,而是给每个任务都加了可复核的证据:
- 天气:4 个城市 × 7 天 = 28 条,逐条打印;
- 股票:2 页 × 20 条 = 40 条,打印前 10 条并说明“以上展示前10条”;
- 排名:582 条,打印前 10 名和最后 1 名,并做总数校验。
这些输出既方便截图,也方便交作业前快速检查。最重要的是,它们让“程序跑完了”变成了“数据确实对了”。
附:代码与数据文件说明
第二次作业/
├── 作业2/
│ ├── 1.py # 中国天气网四城市七日预报
│ ├── 2.py # 新浪股票行情 JSON 接口
│ ├── 3.py # 软科 2021 中国大学排名主榜
│ └── requirements.txt
运行方式:
pip install -r requirements.txt
python 1.py
python 2.py
python 3.py
三个脚本互相独立,运行某一个不会自动执行另外两个;数据库文件都保存在脚本所在目录。

浙公网安备 33010602011771号