数据采集第二次作业:天气、股票与大学排名
本次实验分别处理 HTML 天气页面、JSON 股票接口和软科网页配套的 Nuxt 数据,统一保存到 SQLite。天气城市集选择福州、厦门、北京、上海、广州;股票采集东方财富接口按代码升序排列的前 3 页;大学排名按要求采集 2021 年中国大学主榜全部学校。
本次结果采集于 2026 年 11 月 10 日 14:43(北京时间)。天气和股票反映采集时的返回内容,大学排名的榜单年份为 2021。原始响应、运行日志、CSV 和数据库一起保留,后续重新运行时动态数据可能变化。
代码仓库:数据采集与融合技术实践。本实验文件夹:作业2。
| 项目 | 数据来源 | 本次数量 | 数据表 |
|---|---|---|---|
| 2.1 七日天气 | 中国天气网 | 5 × 7 = 35 | weather_forecasts |
| 2.2 股票行情 | 东方财富 | 3 × 20 = 60 | stock_quotes |
| 2.3 大学排名 | 2021 软科中国大学主榜 | 582 | university_rankings |
运行环境为 Python 3.12,依赖 requests、BeautifulSoup4 和 Brotli;SQLite 使用 Python 标准库。进入实验目录后运行:
python -m pip install -r requirements.txt
python run_all.py
python verify_results.py
python -m unittest discover -s tests -v
一、实验 2.1:给定城市的七日天气预报
1. 作业代码与运行结果
页面结构与采集方法
以福州七日天气页面为例,七日预报在 id="7d" 的区域内,每个 ul.t > li 对应一天。h1 是日期标签,p.wea 是天气描述,p.tem 内的 span 和 i 分别保存最高温和最低温。
页面显示的日期通常只有“10日(今天)”这样的文字。直接拼接电脑当前月份,遇到跨月或跨年就会出错。程序读取预报区域的 fc_24h_internal_update_time 作为日期基准,再逐日累加,同时核对页面标签中的日数。若页面只给出夜间最低温,最高温保留为 None,入库后对应 NULL。
城市代码放在独立配置文件里,修改城市集时不需要改解析函数:
cities.json
{
"福州": "101230101",
"厦门": "101230201",
"北京": "101010100",
"上海": "101020100",
"广州": "101280101"
}
三个实验共用以下请求和存储函数。请求设置超时与有限重试;原始响应按运行会话分目录保存,避免失败重跑覆盖上一轮证据。数据全部解析、校验后,再在事务中替换对应表。任何一条插入失败都会回滚,重复运行也不会累积重复行。
common.py
"""三个实验共用的网络请求、JSON 解码和 SQLite 存储函数。"""
import csv
import json
import re
import sqlite3
import unicodedata
from datetime import datetime
from pathlib import Path
from uuid import uuid4
from zoneinfo import ZoneInfo
import requests
from requests.adapters import HTTPAdapter
from urllib3.util.retry import Retry
ROOT = Path(__file__).resolve().parent
DB_PATH = ROOT / 'data' / 'lab2.db'
def now():
return datetime.now(ZoneInfo('Asia/Shanghai')).isoformat(timespec='seconds')
def make_session(referer):
"""设置来源页、重试及本轮独立响应目录;HTTPS 验证证书。"""
session = requests.Session()
session.headers.update({'User-Agent': 'Mozilla/5.0', 'Referer': referer})
retry = Retry(total=2, backoff_factor=1, status_forcelist=[429, 500, 502, 503, 504])
session.mount('https://', HTTPAdapter(max_retries=retry))
session.source_dir = ROOT / 'sources' / uuid4().hex
session.source_dir.mkdir(parents=True)
return session
def fetch(session, url, filename, params=None):
"""保存本次原始响应和请求元数据,供复核及离线查看。"""
response = session.get(url, params=params, timeout=(10, 30))
response.raise_for_status()
response.encoding = 'utf-8'
folder = session.source_dir
raw_file = folder / filename
raw_file.write_bytes(response.content)
info = {'url': response.url, 'fetched_at': now(),
'http_status': response.status_code,
'content_type': response.headers.get('Content-Type'),
'decoded_bytes': len(response.content),
'raw_file': raw_file.relative_to(ROOT).as_posix()}
(folder / (filename + '.meta.json')).write_text(
json.dumps(info, ensure_ascii=False, indent=2), encoding='utf-8')
return response.text, info
def decode_json(text):
"""优先解码 JSON,兼容合法 JSONP 外壳,不执行其中的脚本。"""
try:
return json.loads(text)
except json.JSONDecodeError:
match = re.fullmatch(r'\s*[\w.$]+\s*\((.*)\)\s*;?\s*', text, re.S)
if not match:
raise ValueError('响应不是 JSON 或可识别的 JSONP')
return json.loads(match.group(1))
def replace_table(db_path, table, schema, rows):
"""验证后的完整批次在一个事务内更新,插入失败时回滚旧数据。"""
if not rows:
raise ValueError('拒绝用空结果覆盖数据库')
columns = list(rows[0])
if any(not re.fullmatch(r'[a-z_][a-z_0-9]*', x) for x in [table] + columns):
raise ValueError('数据库标识符不合法')
db_path = Path(db_path)
db_path.parent.mkdir(parents=True, exist_ok=True)
with sqlite3.connect(db_path) as conn:
conn.execute(f'CREATE TABLE IF NOT EXISTS {table} ({schema})')
conn.execute(f'DELETE FROM {table}')
marks = ','.join('?' for _ in columns)
conn.executemany(
f'INSERT INTO {table} ({",".join(columns)}) VALUES ({marks})',
[tuple(row[c] for c in columns) for row in rows])
count = conn.execute(f'SELECT COUNT(*) FROM {table}').fetchone()[0]
if count != len(rows):
raise ValueError('数据库写入数量不一致')
return count
def save_results(name, rows, metadata):
folder = ROOT / 'results'
folder.mkdir(exist_ok=True)
(folder / (name + '.json')).write_text(json.dumps(
{'metadata': metadata, 'rows': rows}, ensure_ascii=False, indent=2),
encoding='utf-8')
with (folder / (name + '.csv')).open('w', encoding='utf-8-sig', newline='') as f:
writer = csv.DictWriter(f, fieldnames=list(rows[0]))
writer.writeheader()
writer.writerows(rows)
def print_table(headers, rows):
"""在等宽终端中按中文双宽字符补空格,空值显示为 --。"""
data = [[str(v) if v is not None else '--' for v in row] for row in [headers] + rows]
def width(text):
return sum(2 if unicodedata.east_asian_width(c) in 'WF' else 1 for c in text)
widths = [max(width(row[i]) for row in data) for i in range(len(headers))]
for row in data:
print(' '.join(value + ' ' * (w - width(value)) for value, w in zip(row, widths)))
weather_spider.py
"""实验 2.1:采集给定城市的七日天气并保存到 SQLite。"""
import argparse
import json
import re
import sqlite3
import time
from datetime import datetime, timedelta
import requests
from bs4 import BeautifulSoup
from common import ROOT, DB_PATH, fetch, make_session, now
from common import print_table, replace_table, save_results
SCHEMA = '''city_id TEXT NOT NULL, city TEXT NOT NULL,
forecast_date TEXT NOT NULL, date_label TEXT NOT NULL,
weather TEXT NOT NULL, high_c INTEGER, low_c INTEGER,
source_url TEXT NOT NULL, fetched_at TEXT NOT NULL,
PRIMARY KEY(city_id, forecast_date)'''
def temperature(node):
if node is None:
return None
match = re.search(r'-?\d+', node.get_text())
return int(match.group()) if match else None
def parse_weather(html, city, city_id):
"""以页面预报基准日期还原年月日,正确处理跨月、跨年和缺失高温。"""
soup = BeautifulSoup(html, 'html.parser')
area = soup.find(id='7d')
if area is None:
raise ValueError(f'{city}:找不到七日预报区域')
stamp = area.find(id='fc_24h_internal_update_time')
if stamp is None or not re.fullmatch(r'\d{10}', stamp.get('value', '')):
raise ValueError(f'{city}:预报基准日期缺失')
start = datetime.strptime(stamp['value'][:8], '%Y%m%d').date()
items = area.select('ul.t > li')
if len(items) != 7:
raise ValueError(f'{city}:应有 7 日预报,实际为 {len(items)} 条')
rows = []
for index, item in enumerate(items):
label = item.find('h1')
condition = item.select_one('p.wea')
degree = item.select_one('p.tem')
if label is None or condition is None or degree is None:
raise ValueError(f'{city}:第 {index + 1} 天字段不完整')
forecast_date = start + timedelta(days=index)
date_label = label.get_text(strip=True)
match = re.match(r'(\d+)日', date_label)
if match is None or int(match.group(1)) != forecast_date.day:
raise ValueError(f'{city}:日期标签与基准日期不一致')
high = temperature(degree.find('span'))
low = temperature(degree.find('i'))
if low is None or not condition.get_text(strip=True):
raise ValueError(f'{city}:温度或天气内容缺失')
if high is not None and high < low:
raise ValueError(f'{city}:最高温低于最低温')
rows.append({'city_id': city_id, 'city': city,
'forecast_date': forecast_date.isoformat(),
'date_label': date_label,
'weather': condition.get_text(strip=True),
'high_c': high, 'low_c': low})
return rows
def main():
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument('--cities', type=str, default=str(ROOT / 'cities.json'))
args = parser.parse_args()
with open(args.cities, encoding='utf-8') as f:
cities = json.load(f)
if not cities or any(not re.fullmatch(r'\d{9}', str(v)) for v in cities.values()):
raise ValueError('城市配置应为非空的 城市名:九位城市代码 对象')
if len(set(cities.values())) != len(cities):
raise ValueError('城市配置中有重复代码')
rows, sources = [], []
with make_session('https://www.weather.com.cn/') as session:
for city, city_id in cities.items():
url = f'https://www.weather.com.cn/weather/{city_id}.shtml'
html, info = fetch(session, url, f'weather_{city_id}.html')
batch = parse_weather(html, city, city_id)
for row in batch:
row.update(source_url=info['url'], fetched_at=info['fetched_at'])
rows.extend(batch)
sources.append(info)
print(f'{city}:已取得 7 日预报,起始日期 {batch[0]["forecast_date"]}')
time.sleep(0.5)
count = replace_table(DB_PATH, 'weather_forecasts', SCHEMA, rows)
save_results('weather', rows, {'fetched_at': now(), 'cities': cities, 'sources': sources})
print_table(['序号', '地区', '日期', '天气信息', '温度'], [
[i, r['city'], r['forecast_date'], r['weather'],
f'{r["high_c"] if r["high_c"] is not None else "--"}℃/{r["low_c"]}℃']
for i, r in enumerate(rows, 1)])
print(f'入库完成:weather_forecasts 共 {count} 条。数据库:data/lab2.db')
if __name__ == '__main__':
try:
main()
except (requests.RequestException, ValueError, OSError, sqlite3.Error) as exc:
raise SystemExit(f'天气采集失败:{exc}')
运行结果
本次取得 2026-11-10 至 2026-11-16 的预报,每个城市 7 条,共 35 条。下面展示福州和厦门的 14 条记录,其余城市保存在数据库和 CSV 中。

图 1:根据本次 results/weather.json 生成的结果表。完整控制台输出见 results/weather_spider.txt。
数据库以 (city_id, forecast_date) 为联合主键,温度使用整数列,日期使用 YYYY-MM-DD 文本格式。下面的查询可验证每个城市是否恰好有 7 条:
SELECT city, COUNT(*) AS days, MIN(forecast_date), MAX(forecast_date)
FROM weather_forecasts
GROUP BY city_id, city;
2. 作业心得
天气页面的主要难点在日期和空值处理。页面上能看到温度,并不代表每一天都有两个温度节点;把不存在的最高温直接设为 0,会把“没有公布”变成一个错误的气温值。保留空值后,展示时可以用 --,数据库里也能区分缺失和真实的零度。
另一个容易忽略的地方是预报日期与采集日期的区别。保存完整年月日,并使用网页给出的日期基准,后面查询某一天的天气时才不会混淆。测试中特意构造了跨年、负温度以及缺失最高温的页面,检查这些情况仍能正常解析。逐个城市检查 7 条再入库,也比只看总条数更容易发现漏采。
二、实验 2.2:股票行情接口采集
1. 作业代码与运行结果
接口与参数分析
本实验使用东方财富的股票列表接口:
https://push2.eastmoney.com/api/qt/clist/get
该接口也是课件给出的抓包示例。可以在股票列表页打开开发者工具的 Network 面板,刷新后筛选 clist/get,查看请求参数和返回结果。程序直接请求这个 JSON 接口,从 data.diff 中读取每只股票的字段,而不是依赖浏览器已经渲染好的表格。
| 参数 | 本次设置 | 用途 |
|---|---|---|
| pn | 1、2、3 | 页码 |
| pz | 20 | 每页条数 |
| po / fid | 0 / f12 | 按股票代码升序排列,减少动态排序造成的翻页重复 |
| np | 1 | 返回列表形式的 diff |
| fltt | 2 | 使用接口格式化后的数值 |
| fs | m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23 | 本次沪深列表筛选条件 |
| fields | f12,f13,f14 及行情字段 | 只请求需要的字段 |
字段对应关系
| 返回字段 | 含义 | 保存方式 |
|---|---|---|
| f12 / f14 | 股票代码 / 名称 | 文本,保留代码前导零 |
| f13 | 市场编号 | 与代码共同作为主键 |
| f2 | 最新价 | 元 |
| f3 / f4 | 涨跌幅 / 涨跌额 | 百分数 / 元 |
| f5 / f6 | 成交量 / 成交额 | 手 / 元 |
| f7 | 振幅 | 百分数 |
| f15 / f16 | 最高 / 最低 | 元 |
| f17 / f18 | 今开 / 昨收 | 元 |
本次请求设置 fltt=2,例如首条平安银行的最新价返回 11.85,涨跌幅返回 -0.34,不再额外除以 100。接口中的 "-" 表示该项没有可用值,程序保存为 NULL,不会填成零。
stock_spider.py
"""实验 2.2:requests + JSON 采集东方财富股票行情并入库。"""
import argparse
import math
import re
import sqlite3
import time
import requests
from common import DB_PATH, decode_json, fetch, make_session, now
from common import print_table, replace_table, save_results
URL = 'https://push2.eastmoney.com/api/qt/clist/get'
# 字典顺序对应实验要求的十个行情字段,也决定终端表格的列顺序。
FIELDS = {'f2': 'latest', 'f3': 'change_pct', 'f4': 'change_amount',
'f5': 'volume_lots', 'f6': 'turnover_yuan', 'f7': 'amplitude_pct',
'f15': 'high', 'f16': 'low', 'f17': 'open', 'f18': 'previous_close'}
SCHEMA = '''market INTEGER NOT NULL, code TEXT NOT NULL, name TEXT NOT NULL,
latest REAL, change_pct REAL, change_amount REAL, volume_lots REAL,
turnover_yuan REAL, amplitude_pct REAL, high REAL, low REAL,
open REAL, previous_close REAL, source_url TEXT NOT NULL,
fetched_at TEXT NOT NULL, PRIMARY KEY(market, code)'''
def number(value):
"""停牌等缺失值存 NULL,不把横线转换成 0。"""
if value in ('-', '', None):
return None
result = float(value)
if not math.isfinite(result):
raise ValueError('行情中出现非有限数值')
return result
def parse_stocks(payload):
if payload.get('rc') != 0 or not isinstance(payload.get('data'), dict):
raise ValueError('股票接口返回错误状态或空数据')
items = payload['data'].get('diff')
if isinstance(items, dict):
items = list(items.values())
if not isinstance(items, list) or not items:
raise ValueError('股票列表为空')
rows = []
for item in items:
code = item.get('f12')
if not isinstance(code, str) or not re.fullmatch(r'\d{6}', code):
raise ValueError('股票代码应为六位字符串')
if not item.get('f14') or item.get('f13') not in (0, 1):
raise ValueError('股票名称或沪深市场编号异常')
if any(field not in item for field in FIELDS):
raise ValueError(f'{code}:行情字段缺失')
row = {'market': item['f13'], 'code': code, 'name': item['f14']}
row.update({name: number(item[field]) for field, name in FIELDS.items()})
rows.append(row)
return rows
def main():
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument('--pages', type=int, default=3)
parser.add_argument('--page-size', type=int, default=20)
args = parser.parse_args()
if args.pages < 1 or not 1 <= args.page_size <= 100:
raise ValueError('pages 必须为正整数,page-size 应在 1 到 100 之间')
params = {'pn': 1, 'pz': args.page_size, 'po': 0, 'np': 1,
'fltt': 2, 'invt': 2, 'fid': 'f12',
'fs': 'm:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23',
'fields': ','.join(['f12', 'f13', 'f14'] + list(FIELDS)),
'ut': 'fa5fd1943c7b386f172d6893dbfba10b'}
rows, sources, seen = [], [], set()
with make_session('https://quote.eastmoney.com/') as session:
for page in range(1, args.pages + 1):
params['pn'] = page
text, info = fetch(session, URL, f'stocks_page_{page}.json', params)
payload = decode_json(text)
batch = parse_stocks(payload)
total = int(payload['data']['total'])
expected = min(args.page_size, total - (page - 1) * args.page_size)
if len(batch) != expected:
raise ValueError('本页数量与接口 total 不一致')
for row in batch:
key = (row['market'], row['code'])
if key in seen:
raise ValueError('翻页出现重复股票,停止保存以免误报完整')
seen.add(key)
row.update(source_url=info['url'], fetched_at=info['fetched_at'])
rows.extend(batch)
sources.append(info)
print(f'第 {page} 页:{len(batch)} 条;接口总数 {total}')
if len(rows) >= total:
break
time.sleep(0.7)
count = replace_table(DB_PATH, 'stock_quotes', SCHEMA, rows)
save_results('stocks', rows, {'fetched_at': now(), 'pages': len(sources),
'page_size': args.page_size, 'available_total': total,
'fltt': 2, 'sources': sources})
headers = ['序号', '代码', '名称', '最新价', '涨跌幅%', '涨跌额',
'成交量(手)', '成交额(元)', '振幅%', '最高', '最低', '今开', '昨收']
print_table(headers, [[i, r['code'], r['name']] +
[None if r[k] is None else f'{r[k]:.2f}' for k in FIELDS.values()]
for i, r in enumerate(rows, 1)])
print(f'入库完成:stock_quotes 共 {count} 条;采集范围为前 {len(sources)} 页。')
if __name__ == '__main__':
try:
main()
except (requests.RequestException, ValueError, OSError, sqlite3.Error) as exc:
raise SystemExit(f'股票采集失败:{exc}')
运行结果

图 2:本次 60 条结果中的前 10 条。截图中的横线对应数据库空值。完整 13 列输出见 results/stock_spider.txt。
采集范围是接口按代码升序的前 3 页,共 60 条,不代表已经采集全部股票。程序逐页检查条数,并检查 (market, code) 是否重复。本次接口返回的可用总数为 5563,记录在结果元数据中。不同页面的请求有时间先后,因此这是一轮采集结果,并非严格同一时刻的市场快照。
SELECT code, name, latest, change_pct, volume_lots, turnover_yuan
FROM stock_quotes
ORDER BY code, market
LIMIT 10;
也可以单独运行 python stock_spider.py --pages 5 --page-size 20,调整需要采集的页数。每次成功运行会用新批次替换该表。
2. 作业心得
处理股票接口时,字段单位比把 JSON 转成字典更值得注意。f2、f3 这样的名称本身不能说明含义,必须结合请求参数、页面列名和实际数值一起判断。已经格式化的价格再除以 100,程序不会报错,但所有结果都会错两个数量级。
本次返回内容里确实存在行情缺项,这说明只用前一两条完整记录测试是不够的。代码需要保留股票代码前面的零,也要接受某些数值缺失。翻页采用代码排序并检查重复,是为了尽量避免按实时涨幅排序时,同一股票跨页移动造成重复或遗漏;即使如此,各页行情仍会随时间变化,报告中应说明采集范围和时间。
三、实验 2.3:2021 年中国大学完整主榜
1. 作业代码与运行结果
网页分析过程
目标是2021 年软科中国大学排名主榜。直接解析最初返回的 HTML 表格,只能得到首屏 30 所学校,而页面标注的主榜总数为 582。因此需要继续寻找完整数据来源。

图 3:实际浏览器分析关键帧动图。

图 4:Response 中的 univData、univNameCn 和 score 字段。
本次页面的配套资源地址为:
https://www.shanghairanking.cn/_nuxt/static/1792567042/rankings/bcur/2021/payload.js
中间的构建编号可能随网站更新变化,所以程序从当前 HTML 中的 state.js 地址推导同目录的 payload.js,不把构建编号写死。这个资源是 Nuxt 包装的 JavaScript 数据,不是普通 JSON:部分值被压缩成变量,变量名与实际值分别保存在函数形参和调用实参中。程序先解析字面量参数,再建立对应关系,最后提取学校字段;整个过程不执行网页脚本。
完整性检查分为三步:确认路径属于 2021 主榜;核对配套数据前 30 条与 HTML 首屏的排名、名称、总分;核对解析数量与页面公布的 582 所一致,并检查学校标识唯一。数据库用 (year, school_id) 作主键,而不是用排名作主键,从而兼容并列名次。
university_spider.py
"""实验 2.3:采集 2021 年软科中国大学主榜所有学校并入库。"""
import json
import re
import sqlite3
from urllib.parse import urljoin, urlsplit
import requests
from bs4 import BeautifulSoup
from common import DB_PATH, fetch, make_session, now
from common import print_table, replace_table, save_results
URL = 'https://www.shanghairanking.cn/rankings/bcur/2021'
SCHEMA = '''year INTEGER NOT NULL, school_id TEXT NOT NULL,
rank INTEGER NOT NULL, name TEXT NOT NULL, province TEXT,
category TEXT, score REAL NOT NULL, source_url TEXT NOT NULL,
fetched_at TEXT NOT NULL, PRIMARY KEY(year, school_id)'''
def parse_payload(source):
"""解码 Nuxt 数据中的字面量及变量映射,禁止 eval 或执行远端 JS。"""
match = re.search(r'function\(([^)]*)\)\{return', source)
if match is None or 'univData:[' not in source:
raise ValueError('无法识别学校数据格式')
tail = source.rsplit('}(', 1)
if len(tail) != 2:
raise ValueError('无法定位配套数据的参数列表')
arguments = re.sub(r'\)\)\);?\s*$', '', tail[1])
names = match.group(1).split(',')
values = json.loads('[' + arguments + ']')
if len(names) != len(values):
raise ValueError('数据变量和值的数量不同')
mapping = dict(zip(names, values))
fields = ['univUp', 'ranking', 'univNameCn', 'province', 'univCategory', 'score']
rows = []
for block in re.findall(r'\{univUp:.*?(?=,indData:)', source):
row = []
for field in fields:
token_match = re.search(field + r':("(?:\\.|[^"\\])*"|[^,}]+)', block)
if token_match is None:
raise ValueError(f'学校数据缺少 {field}')
token = token_match.group(1)
row.append(mapping[token] if token in mapping else json.loads(token))
rows.append({'year': 2021, 'school_id': row[0], 'rank': int(row[1]),
'name': row[2], 'province': row[3], 'category': row[4],
'score': float(row[5])})
if not rows:
raise ValueError('未解析到大学记录')
return sorted(rows, key=lambda r: r['rank'])
def main():
with make_session(URL) as session:
html, page_info = fetch(session, URL, 'ranking_2021.html')
soup = BeautifulSoup(html, 'html.parser')
state = soup.find('script', src=re.compile(r'/state\.js$'))
if state is None:
raise ValueError('未找到当前构建的数据地址')
payload_url = urljoin(URL, state['src'].replace('state.js', 'payload.js'))
if urlsplit(payload_url).hostname != 'www.shanghairanking.cn':
raise ValueError('配套数据地址不属于软科原站')
source, info = fetch(session, payload_url, 'ranking_2021_payload.js')
if '"/rankings/bcur/2021"' not in source[:150]:
raise ValueError('配套数据年份不符合 2021 主榜')
rows = parse_payload(source)
visible = []
for tr in soup.select('tbody tr'):
cells = tr.find_all('td', recursive=False)
if len(cells) < 5 or cells[1].select_one('.name-cn') is None:
raise ValueError('首屏表格结构发生变化')
visible.append((int(cells[0].get_text(strip=True)),
cells[1].select_one('.name-cn').get_text(strip=True),
float(cells[4].get_text(strip=True))))
if not visible or visible != [(r['rank'], r['name'], r['score']) for r in rows[:len(visible)]]:
raise ValueError('配套数据与网页首屏不一致')
count_match = re.search(r'共\s*(\d+)\s*所学校', soup.get_text(' ', strip=True))
if not count_match or int(count_match.group(1)) != len(rows):
raise ValueError('学校数量与网页公布总数不符')
if len({r['school_id'] for r in rows}) != len(rows):
raise ValueError('存在重复学校')
for row in rows:
row.update(source_url=info['url'], fetched_at=info['fetched_at'])
count = replace_table(DB_PATH, 'university_rankings', SCHEMA, rows)
save_results('universities', rows, {'fetched_at': now(), 'year': 2021,
'count': count, 'visible_count': len(visible),
'page': page_info, 'payload': info})
print(f'2021 中国大学排名主榜:共 {count} 所;首屏 {len(visible)} 条已核对。')
print_table(['排名', '学校', '总分'],
[[r['rank'], r['name'], f'{r["score"]:.1f}'] for r in rows])
print(f'入库完成:university_rankings 共 {count} 条。数据库:data/lab2.db')
if __name__ == '__main__':
try:
main()
except (requests.RequestException, ValueError, OSError, sqlite3.Error) as exc:
raise SystemExit(f'大学排名采集失败:{exc}')
运行结果与数据库复核

图 5:前 10 所与最后 5 所学校。完整 582 条记录见 results/universities.csv 和 results/university_spider.txt。
首条是清华大学,969.2 分;最后一条是太原学院,58.2 分。以下查询用于复核保存数量和学校唯一性:
SELECT COUNT(*) AS rows, COUNT(DISTINCT school_id) AS schools
FROM university_rankings
WHERE year = 2021;
两项结果均为 582。三个实验共用 data/lab2.db,分别保存到三张表。离线核验脚本重新解析保存的原始响应,再逐条对比 JSON 和数据库,结果如下:

图 6:由本次验证结果生成的汇总表。原始验证输出见 results/verification.txt。
用于依次运行三个实验并保留控制台输出的脚本如下:
run_all.py
"""依次运行三个实验,保留真实标准输出;失败时返回非零退出码。"""
import subprocess
import sys
from pathlib import Path
ROOT = Path(__file__).resolve().parent
def main():
(ROOT / 'results').mkdir(exist_ok=True)
failures = []
for name in ('weather_spider', 'stock_spider', 'university_spider'):
print(f'\n===== {name}.py =====', flush=True)
result = subprocess.run([sys.executable, str(ROOT / (name + '.py'))],
capture_output=True, text=True, encoding='utf-8')
print(result.stdout, end='')
if result.stderr:
print(result.stderr, file=sys.stderr, end='')
(ROOT / 'results' / (name + '.txt')).write_text(result.stdout, encoding='utf-8')
(ROOT / 'results' / (name + '_stderr.txt')).write_text(result.stderr, encoding='utf-8')
if result.returncode:
failures.append(name)
if failures:
raise SystemExit('以下实验失败:' + ', '.join(failures))
print('\n三个实验均已运行完成。')
if __name__ == '__main__':
main()
依赖文件如下,SQLite、JSON 等模块由 Python 自带:
requirements.txt
requests>=2.32,<3
beautifulsoup4>=4.12,<5
brotli>=1.1,<2
验证记录与适用范围
本次三个采集脚本均成功运行,数据库分别为 35、60、582 条。另有 8 项离线测试,覆盖跨年日期、缺失温度、股票前导零与单位、异常响应、JSONP 解码、排名变量与并列名次、数据库回滚与重复运行,以及不同采集会话的原始文件隔离。完整测试代码位于 tests/test_lab2.py。
后续如果目标站点更换结构,解析程序可能明确报错,此时应重新观察请求与响应。程序在验证失败时不会用不完整结果覆盖原有数据;原始响应按独立会话目录保留,便于定位变化。
2. 作业心得
这一题最直接的体会是,“打印出大学排名”与“采集完整榜单”是两件事。首屏 30 条也有正确的排名和分数,如果不核对页面的总数,很容易误以为已经完成。把首屏交叉核对、总数核对和学校唯一性检查放在一起,才比较有把握说明这 582 条来自同一份主榜。
Nuxt 配套数据中有些排名、地区和学校类型使用变量表示,不能只用正则截取一串看起来像数字的内容。先还原变量映射,再抽取字段,解析逻辑会更清楚。排名也不适合作为唯一标识;即使当前展示的几个名次没有并列,数据库仍应按学校标识区分记录。
三个实验做完后,保存原始响应的作用也更明确了:联网采集会受到网站和网络变化影响,而原始文件可以支持离线复核。把采集时间、原始地址、解析结果和数据库一起保留,后续遇到差异时就能区分是源数据更新,还是解析与存储出现问题。

浙公网安备 33010602011771号