数据采集作业2

数据采集与融合技术第二次作业:天气预报、股票行情与大学排名爬取

学号:102402126 姓名:黄炜杰

Gitee 文件夹: https://gitee.com/aemeth/data-fusion-and-acquisition/tree/main/作业2

本次作业共三个任务:① 中国气象网 5 个城市 7 日天气预报;② 东方财富网沪深 A 股行情;③ 软科中国大学排名 2021 主榜。三个爬虫均使用 Python 编写,数据统一保存到 SQLite 数据库。

为符合博客“两个大标题、每个大标题下两个小标题”的格式要求,本文将作业①和作业②合并为第一部分,作业③单独作为第二部分;每个部分的第一小节放网页分析、代码和运行结果,第二小节写作业心得。

GIF 说明: 文中三个网页的静态截图均已替换为操作 GIF。每个 GIF 下方都给出“操作步骤”和“画面内容说明”,逐步对应“点了哪里、输入了什么、画面中出现了什么”,方便复现整个查找过程。


一、作业①与作业②:天气预报与股票行情采集

1.1 网页分析、代码与运行结果

(1)作业①:中国气象网 7 日天气预报

目标与城市集

中国气象网的城市天气预报页面遵循固定 URL 规律:

https://www.weather.com.cn/weather/{城市代码}.shtml

本次选取 5 个城市,满足作业“3~5 个城市”的要求:

城市 城市代码 城市 城市代码
福州 101230101 北京 101010100
上海 101020100 广州 101280101
深圳 101280601

页面结构分析

打开福州天气页并按 F12 查看 DOM,7 日预报位于 <ul class="t clearfix"> 中,每一天是一个 <li>:

节点 含义 示例
<h1> 日期文本 6日(今天)
<p class="wea"> 天气现象 小雨,title 属性更完整
<p class="tem"> 中的 <span> 白天最高温 22
<p class="tem"> 中的 <i> 夜间最低温 19℃
<p class="win"> 中的 span[title] 风向 东北风
<p class="win"> 中的 <i> 风力 3-4级转<3级

GIF 操作演示:用 F12 找到 7 日预报容器

中国气象网 7 日预报 F12 查找操作 GIF

GIF 中实际执行的操作

  1. 在 Chrome 地址栏打开 https://www.weather.com.cn/weather/101230101.shtml,页面显示福州天气预报。
  2. 将鼠标移到“6日(今天)”到“12日(周四)”的 7 张预报卡片上,确认页面上确实有 7 天的数据。
  3. 按 F12 打开开发者工具,点击顶部的 Elements(元素) 标签。
  4. 在 Elements 面板中按 Ctrl+F,在搜索框输入 t clearfix,按回车。
  5. 搜索框显示 1 of 1,DOM 树中高亮出 <ul class="t clearfix">,它的 7 个 <li> 子节点就是 7 天预报。

GIF 画面内容说明

  • 左半部分:中国气象网福州页面。顶部是“今天 / 7天 / 8-15天”等选项卡,下方是 6 日到 12 日的 7 张预报卡片,每张卡片包含日期、天气图标、最高/最低温和风力。
  • 右半部分:Chrome DevTools 的 Elements 面板。可以看到 <body>、<div class="top_wrap">、<ul class="t clearfix"> 等节点。
  • 最后几秒:Elements 面板底部的搜索框输入了 t clearfix,右侧显示 1 of 1,DOM 中对应的 <ul class="t clearfix"> 被高亮。这个节点就是后面 Python 代码中 soup.find("ul", class_="t clearfix") 的来源。

关键代码

页面是服务端渲染的静态 HTML,用 requests 请求、BeautifulSoup 按 class 定位即可。温度用正则提取,避免因个别日期缺少 <span> 或 <i> 而报错;日期则按抓取日顺推,转成标准的 YYYY-MM-DD 后入库。

def parse_forecast(html, city, city_code):
    """解析一个城市的 7 日预报页面,返回按天组织的记录列表。"""
    soup = BeautifulSoup(html, "html.parser")
    ul = soup.find("ul", class_="t clearfix")       # 7 日预报列表容器
    if ul is None:
        raise RuntimeError("页面结构可能已变化:未找到 ul.t.clearfix")

    today = date.today()
    records = []
    for index, li in enumerate(ul.find_all("li", recursive=False)):
        date_text = li.find("h1").get_text(strip=True)

        wea_tag = li.find("p", class_="wea")
        weather = wea_tag.get("title") or wea_tag.get_text(strip=True)

        # <p class="tem"><span>22</span>/<i>19℃</i></p>
        tem_text = li.find("p", class_="tem").get_text(" ", strip=True)
        numbers = [int(x) for x in re.findall(r"-?\d+", tem_text)]
        high, low = numbers[0], numbers[1] if len(numbers) > 1 else None

        # 风向取 span 的 title 属性,例如“东北风”“无持续风向”
        wind_tag = li.find("p", class_="win")
        directions = [s.get("title") for s in wind_tag.find_all("span") if s.get("title")]
        wind = "/".join(dict.fromkeys(directions))
        wind_scale = wind_tag.find("i").get_text(strip=True)

        records.append({
            "city": city,
            "city_code": city_code,
            "forecast_date": (today + timedelta(days=index)).isoformat(),
            "date_text": date_text,
            "weather": weather,
            "temp_high": high,
            "temp_low": low,
            "wind": wind,
            "wind_scale": wind_scale,
        })
    return records

建表时把城市代码和预报日期设为联合唯一键,重复运行先清空旧表,保证数据库中始终是本次抓取到的最新 7 日预报:

CREATE TABLE weather_forecast (
    id            INTEGER PRIMARY KEY AUTOINCREMENT,
    city          TEXT NOT NULL,
    city_code     TEXT NOT NULL,
    forecast_date TEXT NOT NULL,
    date_text     TEXT,
    weather       TEXT,
    temp_high     INTEGER,
    temp_low      INTEGER,
    wind          TEXT,
    wind_scale    TEXT,
    fetched_at    TEXT,
    UNIQUE(city_code, forecast_date)
);

运行结果

在作业目录执行:

python 1_weather/1.py

5 个城市全部抓取成功,每个城市 7 天,共 35 条记录写入 weather.db:

中国气象网 7 日预报运行结果

以福州为例,入库的部分数据如下:

日期 天气 最高/最低温 风向 风力
2026-11-06 小雨 22/19℃ 东北风/无持续风向 3-4级转<3级
2026-11-07 小雨转多云 22/19℃ 东北风/无持续风向 4-5级转<3级
2026-11-08 多云转小雨 28/21℃ 无持续风向 <3级
2026-11-09 阴转多云 23/13℃ 无持续风向 <3级
2026-11-10 晴转多云 19/13℃ 无持续风向 <3级
2026-11-11 多云 21/15℃ 东北风/无持续风向 3-4级转<3级
2026-11-12 阴 25/17℃ 无持续风向 <3级

把 5 个城市的最高气温画成折线图,可以直观看出本轮降温过程:北京在 11 月 7~8 日最低,福州、广州、深圳整体仍在 20℃ 以上。

5 个城市未来 7 天最高气温趋势


(2)作业②:东方财富网股票行情定向爬取

F12 抓包分析

东方财富行情页 https://quote.eastmoney.com/center/gridlist.html 的股票表格是前端动态渲染的,直接请求 HTML 拿不到数据。按 F12 打开 Network → Fetch/XHR,刷新页面并筛选 clist/get,可以定位到股票列表接口:

https://push2.eastmoney.com/api/qt/clist/get
    ?pn=1&pz=100&po=1&np=1&fltt=2&invt=2
    &fid=f3
    &fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23
    &fields=f12,f14,f2,f3,f4,f5,f6,f7,f8,f9,f10,f15,f16,f17,f18,f20,f21,f23

请求参数的含义如下:

参数 含义
pn / pz 页码(从 1 开始)/ 每页条数
po / fid 排序方向(1 为降序)/ 排序字段(f3 为涨跌幅)
fs 市场过滤:深证主板、创业板、上证主板、科创板
fields 按需返回的字段,删减不用的字段可以减小响应体积

常用字段映射:

字段 含义 字段 含义
f12 股票代码 f14 股票名称
f2 最新价 f3 涨跌幅(%)
f4 涨跌额 f5 成交量(手)
f6 成交额(元) f7 振幅(%)
f8 换手率(%) f9 市盈率(动态)
f10 量比 f15 / f16 最高 / 最低
f17 / f18 今开 / 昨收 f20 / f21 总市值 / 流通市值
f23 市净率

GIF 操作演示:在 Network 中找到股票列表接口

东方财富股票接口 F12 Network 查找操作 GIF

GIF 中实际执行的操作

  1. 打开东方财富行情中心 https://quote.eastmoney.com/center/gridlist.html,页面上可以看到沪深 A 股的实时行情表。
  2. 按 F12 打开开发者工具,点击 Network(网络) 标签。
  3. 在 Network 的 Filter 过滤框中输入 clist,把请求列表缩小到与股票列表相关的接口。
  4. 按 Ctrl+R 刷新页面,让 Network 重新记录页面加载过程中的请求。
  5. 过滤后只剩一条请求,Name 列显示为 get?t=1&np=1...;点击该请求,可以在右侧查看 Headers、Preview、Response。
  6. 从 Headers 的 Request URL 可以看到完整地址是 https://push2.eastmoney.com/api/qt/clist/get?...,说明它就是股票列表的数据接口。

GIF 画面内容说明

  • 左半部分:东方财富行情页,表格列有“序号、代码、名称、最新价、涨跌幅、涨跌额、成交量、成交额、振幅、最高、最低、今开、昨收”等,说明页面确实是动态加载的行情数据。
  • 右半部分:Chrome DevTools 的 Network 面板。顶部可以看到 All / Fetch/XHR / Doc / CSS / JS 等请求类型筛选,中间是请求列表,底部状态栏显示当前请求数量。
  • 输入 clist 后:请求列表从几十条减少到 1 条,Name 列只显示 URL 的最后一段 get?t=1...。这是 Chrome 的显示规则,完整路径其实是 /api/qt/clist/get,可以在 Headers 的 Request URL 中确认。
  • Status 200:说明接口请求成功;Size 约 2.1 KB,Time 约 105 ms,说明返回的是压缩后的 JSON 数据,而不是 HTML 页面。

接口返回的是标准 JSON,结构为:

{
  "data": {
    "total": 5563,
    "diff": [
      {"f12": "301697", "f14": "贝特利", "f2": 36.6, "f3": 20.0, "f6": 608431098.46}
    ]
  }
}

关键代码

用 requests.Session() 带上 Referer 请求接口,再用 resp.json() 直接解析。东方财富有多个负载均衡域名,且对高频访问会限流,因此代码在多个域名之间轮换并做退避重试:

API_HOSTS = [
    "https://82.push2.eastmoney.com/api/qt/clist/get",
    "https://push2.eastmoney.com/api/qt/clist/get",
]

def fetch_page(page):
    """请求第 page 页股票列表,返回接口中的 data 字典。"""
    params = {
        "pn": page,
        "pz": 100,
        "po": 1,                 # 降序
        "np": 1,                 # 排除未上市股票
        "fltt": 2,
        "invt": 2,
        "fid": "f3",             # 按涨跌幅排序
        "fs": "m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23",
        "fields": FIELDS,
        "ut": "bd1d9ddb04089700cf9c27f6f7426281",
    }
    for attempt in range(6):
        url = API_HOSTS[attempt % len(API_HOSTS)]
        try:
            resp = SESSION.get(url, params=params, timeout=20)
            resp.raise_for_status()
            data = resp.json().get("data")       # requests 内置 JSON 解析
            if not data or not isinstance(data.get("diff"), list):
                raise ValueError("接口未返回 data.diff")
            return data
        except Exception:
            time.sleep(min(1.5 * (attempt + 1), 8))
    raise RuntimeError("第 %d 页请求失败" % page)

接口中的 "-" 表示该字段没有数值(例如亏损股的市盈率),入库前统一转成 None,避免把字符串写进 REAL 列。成交量、成交额保留原始数值,展示时再格式化成“万/亿”,这样数据库仍然可以参与排序和计算:

def _to_float(value):
    if value is None or value == "-" or value == "":
        return None
    try:
        return float(value)
    except (TypeError, ValueError):
        return None

def parse_stock(item, rank_no):
    code = str(item.get("f12", "")).strip()
    market = "沪市" if code.startswith("6") else "深市"
    return {
        "rank_no": rank_no,
        "code": code,
        "name": str(item.get("f14", "")).strip(),
        "market": market,
        "price": _to_float(item.get("f2")),
        "change_pct": _to_float(item.get("f3")),
        "change_amount": _to_float(item.get("f4")),
        "volume": _to_int(item.get("f5")),       # 手
        "amount": _to_float(item.get("f6")),     # 元
        "turnover_rate": _to_float(item.get("f8")),
        "pe_ratio": _to_float(item.get("f9")),
        "high": _to_float(item.get("f15")),
        "low": _to_float(item.get("f16")),
        "total_market_cap": _to_float(item.get("f20")),
    }

运行结果

python 2_stock/2.py

本次请求了涨幅榜前 3 页,每页 100 条。由于行情实时变化,跨页可能出现重复股票,代码按股票代码去重,最终入库 300 条:

东方财富股票行情运行结果

涨幅榜前 10 名如下(抓取时间 2026-11-06):

排名 代码 名称 最新价 涨跌幅 成交额 换手率
1 301697 贝特利 36.60 20.00% 6.08 亿 39.27%
2 300686 智动力 13.68 20.00% 2.48 亿 7.60%
3 300118 东方日升 10.26 15.15% 18.58 亿 20.04%
4 300695 兆丰股份 59.34 13.63% 3.65 亿 6.25%
5 688203 海正生材 15.89 12.06% 2.52 亿 8.12%
6 300237 美晨科技 2.63 11.91% 2.35 亿 6.16%
7 300313 天山生物 11.33 11.85% 3.10 亿 14.89%
8 600537 *ST 亿晶 2.05 10.22% 1.88 亿 7.98%
9 601188 龙江交通 3.81 10.12% 8.84 亿 18.18%
10 002578 闽发铝业 5.01 10.11% 5.07 亿 11.76%

东方财富涨幅榜 Top 10


1.2 作业心得

(1)作业①心得

这个任务看起来最简单,但真正动手后有几个细节值得记录。

第一是不能只看页面上的文字,要看节点结构。温度在页面上显示成“22/19℃”,如果直接取 <p class="tem"> 的文本再按 / 切分,遇到“19℃”还要处理单位;而查看 DOM 后发现高温在 <span>、低温在 <i> 中,按标签取值更稳定。风向同理,页面上显示“东北风”,但文本节点里可能还混有“无持续风向”,真正干净的值在 span 的 title 属性里。

第二是日期的处理。页面给的是“6日(今天)”“7日(明天)”这样的相对文本,直接入库不利于后续查询。我在代码里以抓取日为起点顺推 7 天,生成标准的 YYYY-MM-DD,同时保留原始 date_text,既方便程序使用,也保留了页面信息。

第三是礼貌抓取。5 个城市连续请求时加了 1.2 秒间隔,并设置了 15 秒超时和 3 次退避重试。数据量不大,但这是爬虫的基本习惯。

(2)作业②心得

这个任务的核心是学会看 F12 的 Network 面板。页面本身是前端渲染的,HTML 里没有股票表格,但数据一定来自某个 XHR/Fetch 请求。按 Fetch/XHR 筛选、再按响应大小排序,很快就能找到 clist/get 这个返回 JSON 的接口。

几个实践中的坑:

  1. Referer 不能少。东方财富接口有防盗链校验,缺少 Referer 可能返回空数据。
  2. fields 参数要按需取。一开始返回了全部字段,响应体很大;后来只保留代码、名称、价格、涨跌幅、成交额、换手率等 18 个字段,解析和入库都更清晰。
  3. 接口会限流,且域名不止一个。连续快速翻页时 push2.eastmoney.com 偶尔会主动断开连接,代码在 82.push2.eastmoney.com 和 push2.eastmoney.com 之间轮换,并做指数退避。
  4. 实时数据会“跨页重复”。按涨跌幅排序时,两次请求之间排名会变化,同一只股票可能同时出现在第 1 页和第 3 页。最初直接按代码主键写入,数据库条数总比解析条数少;后来在解析阶段按代码去重,并重新编号,问题才解决。

另外,数据库里保存的是原始数值(成交额用元、成交量用手),而不是“6.08 亿”这样的字符串。格式化只放在控制台展示层,这样后续做排序、求和、筛选都不会受单位影响。


二、作业③:软科中国大学排名 2021 主榜全量采集

2.1 网页分析、代码与运行结果

(1)F12 抓包与 API 分析

目标页面是 https://www.shanghairanking.cn/rankings/bcur/2021,页面显示主榜共 582 所院校,每页只展示 30 条。

第一步:确认分页是否是后端分页。

打开 F12 → Network,刷新页面,再点击第 2 页。结果发现 Network 里没有新的 XHR 请求,说明 582 条数据是一次性加载到前端的,分页只是前端行为。

第二步:按资源大小找数据文件。

在 Network 中按 Size 排序,发现一个 200 多 KB 的 payload.js:

https://www.shanghairanking.cn/_nuxt/static/{buildId}/rankings/bcur/2021/payload.js

它是 Nuxt 服务端渲染框架的页面数据文件,采用 __NUXT_JSONP__ 压缩格式,582 所院校全部在其中。完整的 F12 调试分析过程录制成了 GIF:

软科 2021 主榜 F12 抓包分析过程

GIF 对应的操作步骤

  1. 在 Chrome 中打开 https://www.shanghairanking.cn/rankings/bcur/2021,页面显示“2021 中国大学排名(主榜)”“共 582 所学校”。
  2. 按 F12 打开开发者工具,点击 Network(网络) 标签。
  3. 刷新页面,让 Network 记录页面加载过程中的全部请求。
  4. 在 Filter 过滤框中输入 payload,观察请求列表的变化。
  5. 过滤后列表只剩多条 payload.js 请求;它们的 Status 都是 200,Size 分别为 0 B、5.3 KB、4.5 KB 等。
  6. GIF 最后停留在过滤结果;在真实调试中继续点击其中一条 payload.js,右侧 Response 面板会显示 __NUXT_JSONP__(...) 开头的数据体,说明排名数据被预加载在这个文件里。

GIF 画面内容说明

  • 左半部分:软科 2021 中国大学排名页面。可以看到“2021 中国大学排名”标题、“共 582 所学校”、排名表头(排名、学校名称、省市、类型、总分)以及清华大学、北京大学等前几名。
  • 右半部分:Chrome DevTools 的 Network 面板。顶部 Network 标签处于选中状态,Filter 输入框中逐步输入 payload。
  • 过滤后的请求列表:只剩 payload.js,Name 列可以看到文件名,Status 为 200,Type 为 script,Initiator 指向 2021.8... 等脚本,Size/Time 列显示每个请求的大小和耗时。
  • 底部状态栏:显示当前请求数量、传输大小、加载完成时间,例如 3/78 requests、274 kB / 10,204 kB resources。
  • 结论:排名数据不是通过常见的 XHR 接口返回,而是 Nuxt 在服务端渲染时写入 payload.js 的预加载数据;这也解释了为什么翻页时 Network 没有新请求。

第三步:进一步找到标准 JSON API。

payload.js 里的变量名被压缩成 a、b、c 这样的短名,解析起来比较繁琐。继续分析站点接口后,找到公开的榜单 API:

GET https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021

其中 bcur_type=11 表示“中国大学排名(主榜)”,year=2021 表示年份。接口返回标准 JSON:

{
  "code": 200,
  "data": {
    "rankings": [
      {
        "ranking": "1",
        "univNameCn": "清华大学",
        "univNameEn": "Tsinghua University",
        "province": "北京",
        "univCategory": "综合",
        "score": 969.2,
        "univTags": ["双一流", "985", "211"]
      }
    ]
  }
}

我将 API 返回的 582 条数据与 payload.js 中的数据逐条比对,顺序、学校、省市、类型、总分完全一致。因此最终代码选择 API 作为数据源:它是标准 JSON,字段清晰,比还原压缩 JS 更稳定、更容易维护;而 GIF 记录的是最初发现 payload.js 的完整 F12 过程。

(2)代码实现

请求 API 并用 resp.json() 解析,核心代码如下:

API_URL = "https://www.shanghairanking.cn/api/pub/v1/bcur"
YEAR = 2021
BCUR_TYPE = 11          # 11 = 中国大学排名(主榜)

HEADERS = {
    "User-Agent": "Mozilla/5.0 ... Chrome/126.0.0.0 Safari/537.36",
    "Referer": "https://www.shanghairanking.cn/rankings/bcur/2021",
}

def fetch_rankings(year=YEAR, bcur_type=BCUR_TYPE):
    """请求软科榜单 API,返回 data.rankings 列表。"""
    params = {"bcur_type": bcur_type, "year": year}
    for attempt in range(1, 4):
        try:
            resp = requests.get(API_URL, params=params, headers=HEADERS, timeout=20)
            resp.raise_for_status()
            payload = resp.json()
            if payload.get("code") != 200:
                raise RuntimeError(payload.get("msg"))
            rankings = payload.get("data", {}).get("rankings")
            if not isinstance(rankings, list) or not rankings:
                raise RuntimeError("接口未返回 data.rankings")
            return rankings
        except Exception:
            if attempt < 3:
                time.sleep(2 ** attempt)
    raise RuntimeError("软科 API 请求失败")

解析时要注意两个细节:

  1. ranking 在 JSON 里是字符串(如 "95"),入库前要转成整数;
  2. 排名存在并列。582 条记录只覆盖 510 个不同名次,有 62 组并列(例如两所学校同为第 95 名)。所以不能用 ranking 单独做主键,代码使用自增 id,并在 (ranking, univ_name) 上建唯一约束。
def parse_ranking(item):
    ranking = int(float(item["ranking"]))
    tags = item.get("univTags") or []
    return {
        "ranking": ranking,
        "univ_name": item["univNameCn"].strip(),
        "univ_name_en": item.get("univNameEn", "").strip(),
        "province": item.get("province", "").strip(),
        "category": item.get("univCategory", "").strip(),
        "score": float(item["score"]),
        "tags": "/".join(tags),       # 双一流/985/211
    }

对应的建表语句:

CREATE TABLE university (
    id           INTEGER PRIMARY KEY AUTOINCREMENT,
    ranking      INTEGER,              -- 排名(允许并列)
    univ_name    TEXT NOT NULL,        -- 学校中文名
    univ_name_en TEXT,                 -- 学校英文名
    province     TEXT,                 -- 省市
    category     TEXT,                 -- 办学类型
    score        REAL,                 -- 总分
    tags         TEXT,                 -- 双一流/985/211 等标签
    fetched_at   TEXT,
    UNIQUE(ranking, univ_name)
);

(3)运行结果

python 3_ranking/3.py

API 成功返回 582 条院校记录,全部写入 rank.db:

软科 2021 中国大学排名运行结果

前 5 名与官网页面完全一致:

排名 学校 省市 类型 总分
1 清华大学 北京 综合 969.2
2 北京大学 北京 综合 855.3
3 浙江大学 浙江 综合 768.7
4 上海交通大学 上海 综合 723.4
5 南京大学 江苏 综合 654.8

把前 20 名的总分画成条形图,可以直观看到清华大学、北京大学与后面院校的分数差距:

软科 2021 中国大学排名 Top 20


2.2 作业心得

(1)技术收获

这是三个任务中分析难度最大的一个,也是收获最多的一个。

一开始我按经验在 Network 里找 XHR 接口,结果发现排名数据根本不走接口。这促使我换了一个思路:不只看请求类型,也看资源大小和页面源码。按 Size 排序后,payload.js 非常显眼;进一步阅读源码才知道它是 Nuxt 的 __NUXT_JSONP__ 格式——页面把重复出现的字符串抽成函数形参,数据体里只保留短变量名,以减小传输体积。

虽然最终代码用了更简单的 API,但 payload.js 的分析过程让我理解了服务端渲染框架的数据传递方式:“抓不到 XHR”不等于“没有数据”,数据可能藏在 HTML 预加载的 state/payload 文件里,也可能通过其他公开接口提供。会看 Network 的请求列表、响应大小、Initiator,再结合页面源码,比死记某个接口地址更有用。

另一个收获是并列排名的处理。最初想用 ranking 当主键,后来发现 582 条记录只有 510 个不同名次,直接当主键会覆盖掉同分的学校。改成自增 id + 联合唯一约束后,582 条数据才完整保留。这也提醒我:写数据库之前,先检查数据的唯一性和空值情况,不能想当然。

(2)不足与改进

当前实现还有几个可以改进的地方:

  1. API 可能有变动。目前代码只走 API,如果站点改版,可以增加 payload.js 解析作为兜底;本次已经验证两种数据源完全一致,后续可以把 fallback 写进代码。
  2. 数据是静态快照。作业只要求 2021 主榜,所以每次运行重建表即可;如果要做历年对比,应该增加 year 字段和唯一键,改成增量更新。
  3. 可以增加更多分析维度。例如按省市统计上榜数量、按类型统计平均分、对比 2020 与 2021 的名次变化。本次博客只做了总分 Top 20 的可视化,后续可以继续扩展。
  4. 抓取频率和异常监控。三个脚本都做了基本的超时和重试,但没有统一的日志与告警;如果做成长期运行的数据采集任务,应该增加日志文件、失败重试队列和数据质量校验。

总的来说,这次作业让我把“请求—解析—入库—可视化”完整走了一遍。相比单独学 requests 或 BeautifulSoup,把三个任务放在一起对比,更容易理解静态页面、JSON 接口、SSR 数据文件这三种不同数据来源的特点,也更清楚数据库表结构应该如何根据数据特征来设计。


Gitee 仓库(作业2 文件夹): https://gitee.com/aemeth/data-fusion-and-acquisition/tree/main/作业2

运行方式:

pip install -r requirements.txt
python 1_weather/1.py
python 2_stock/2.py
python 3_ranking/3.py
posted @ 2026-11-06 17:55  远航星的告别  阅读(12)  评论(0)    收藏  举报