数据采集与融合技术——第二次作业

一、天气预报与股票信息采集入库(作业①、②)

1)实验代码与结果展示

python -m pip install -r requirements.txt
python 1.py
python 2.py
python 3.py
第二次作业/
├── 第二次作业.md
├── 1.py
├── 2.py
├── 3.py
├── requirements.txt
├── homework2.db
└── images/
    ├── weather.svg
    ├── stocks.svg
    ├── universities.svg
    └── f12_2021.gif 

作业①:3 个城市的 7 日天气预报

来源为中国天气网,选择北京、上海和广州,城市编号依次为 101010100、101020100、101280101。请求地址格式为 https://www.weather.com.cn/weather/城市编号.shtml。先定位七日预报列表,再逐项读取日期、天气和温度;将页面只显示的日号与北京时间匹配,按连续七天补全年月,防止月底日期拼接错误。

weather 表以 (city,date) 为联合主键,包含城市、预报日期、天气、最高温、最低温和采集时间。温度单位为摄氏度;当晚页面可能不再显示当天最高温,应保存 NULL,而不是猜测或填零。

Gitee 文件夹链接:https://gitee.com/lzsydy666123/python-web-crawler-homework/tree/master/

完整代码:

"""第二次作业:采集数据并以事务写入 SQLite。"""
import json
import os
import sqlite3
from datetime import datetime, timedelta
from pathlib import Path
import requests

ROOT = Path(__file__).resolve().parent

def fetch(url, params=None):
    """请求公开数据;代理不可用时设置 CRAWLER_DIRECT=1。"""
    with requests.Session() as session:
        session.trust_env = os.getenv("CRAWLER_DIRECT") != "1"
        response = session.get(url, params=params, timeout=30)
        response.raise_for_status()
        response.encoding = "utf-8"
        return response.text

def save(table, columns, rows):
    """表结构来自代码常量;数据参数化写入,失败时事务回滚。"""
    if not rows:
        raise ValueError("拒绝用空结果覆盖数据库")
    with sqlite3.connect(ROOT / "homework2.db") as db:
        db.execute(f"CREATE TABLE IF NOT EXISTS {table} ({columns})")
        db.execute(f"DELETE FROM {table}")
        marks = ",".join("?" for _ in rows[0])
        db.executemany(f"INSERT INTO {table} VALUES ({marks})", rows)
        assert db.execute(f"SELECT COUNT(*) FROM {table}").fetchone()[0] == len(rows)
    print(f"{table}: 入库 {len(rows)} 条")
    for row in rows[:7]:
        print(row)

import re
from html import unescape
from datetime import timezone

CITIES = {"北京": "101010100", "上海": "101020100", "广州": "101280101"}

def clean(value):
    return unescape(re.sub(r"<[^>]+>", "", value)).strip()

def main():
    """获取三个城市七日天气;缺失最高温记为NULL。"""
    rows = []
    now = datetime.now(timezone(timedelta(hours=8)))
    for city, code in CITIES.items():
        source = fetch(f"https://www.weather.com.cn/weather/{code}.shtml")
        block = re.search(r'<ul class="t clearfix">(.*?)</ul>', source, re.S)
        if block is None:
            raise ValueError(f"{city}未找到七日预报")
        items = re.findall(r"<li\b[^>]*>(.*?)</li>", block.group(1), re.S)
        if len(items) != 7:
            raise ValueError("预报天数不是7天")
        first_day = int(re.search(r"<h1>(\d+)", items[0]).group(1))
        candidates = [now.date() + timedelta(days=d) for d in range(-2, 3)]
        start = next((d for d in candidates if d.day == first_day), None)
        if start is None:
            raise ValueError("预报日期与当前日期不符")
        for i, item in enumerate(items):
            date = start + timedelta(days=i)
            label = clean(re.search(r"<h1>(.*?)</h1>", item, re.S).group(1))
            if int(re.match(r"\d+", label).group()) != date.day:
                raise ValueError("预报日期顺序异常")
            condition = clean(re.search(r'<p[^>]*class="wea"[^>]*>(.*?)</p>', item, re.S).group(1))
            temp = re.search(r'<p class="tem"[^>]*>(.*?)</p>', item, re.S).group(1)
            high = re.search(r"<span>(.*?)</span>", temp, re.S)
            low = re.search(r"<i>(.*?)</i>", temp, re.S)
            def number(match):
                return int(re.search(r"-?\d+", clean(match.group(1))).group()) if match else None
            rows.append((city, str(date), condition, number(high), number(low), now.isoformat()))
    assert len(rows) == 21
    save("weather", "city TEXT, date TEXT, condition TEXT, high INTEGER, low INTEGER, fetched_at TEXT, PRIMARY KEY(city,date)", rows)

if __name__ == "__main__":
    main()

实际结果:3 个城市各 7 条,共 21 条,日期覆盖 2026-11-06 至 2026-11-12。

城市 日期 天气 最高温℃ 最低温℃
北京 2026-11-06 多云 NULL 2
北京 2026-11-07 雨夹雪 5 1
北京 2026-11-08 雨夹雪转晴 6 -3
北京 2026-11-09 晴 10 -1
北京 2026-11-10 晴 10 0
北京 2026-11-11 晴 12 0
北京 2026-11-12 晴 12 1

![天气入库结果]weather

作业②:requests 与 json 解析股票数据

选择新浪股票,使用 Market_Center.getHQNodeData 的 JSON 接口。本实验取第一页 20 条,题目未要求全市场,因此不宣称覆盖全部股票。接口返回列表,用 json.loads() 解析,不用正则解析 JSON。

请求参数:page=1 表示页码,num=20 表示条数,sort=symbol 与 asc=1 表示按代码升序,node=hs_a 为行情板块。该接口当前返回结果含北交所股票,不能仅根据参数名称推断只含沪深股票。题目提及的 f1、f2 属于其他接口的字段约定,本实验不套用这些名称。

stocks 表以 symbol 为主键;name 为名称,trade 映射为 price,changepercent 映射为 change_pct;volume、amount 保留接口成交量及成交额原值,不擅自换算单位;ticktime 为接口行情时间,只含时分秒,不能误作完整交易日期。该表保存本次行情快照,价格随请求时间变化;展示排序不构成投资建议。

Gitee 文件夹链接:https://gitee.com/lzsydy666123/python-web-crawler-homework/tree/master/

完整代码:

"""第二次作业:采集数据并以事务写入 SQLite。"""
import json
import os
import sqlite3
from datetime import datetime, timedelta
from pathlib import Path
import requests

ROOT = Path(__file__).resolve().parent

def fetch(url, params=None):
    """请求公开数据;代理不可用时设置 CRAWLER_DIRECT=1。"""
    with requests.Session() as session:
        session.trust_env = os.getenv("CRAWLER_DIRECT") != "1"
        response = session.get(url, params=params, timeout=30)
        response.raise_for_status()
        response.encoding = "utf-8"
        return response.text

def save(table, columns, rows):
    """表结构来自代码常量;数据参数化写入,失败时事务回滚。"""
    if not rows:
        raise ValueError("拒绝用空结果覆盖数据库")
    with sqlite3.connect(ROOT / "homework2.db") as db:
        db.execute(f"CREATE TABLE IF NOT EXISTS {table} ({columns})")
        db.execute(f"DELETE FROM {table}")
        marks = ",".join("?" for _ in rows[0])
        db.executemany(f"INSERT INTO {table} VALUES ({marks})", rows)
        assert db.execute(f"SELECT COUNT(*) FROM {table}").fetchone()[0] == len(rows)
    print(f"{table}: 入库 {len(rows)} 条")
    for row in rows[:7]:
        print(row)

URL = "https://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQNodeData"

def numeric(value):
    """缺失值保持NULL。"""
    return float(value) if value not in (None, "", "--") else None

def main():
    """抓取第一页20条,不宣称覆盖全市场。"""
    params = {"page": 1, "num": 20, "sort": "symbol", "asc": 1, "node": "hs_a"}
    data = json.loads(fetch(URL, params))
    if not isinstance(data, list) or not data:
        raise ValueError("股票接口未返回有效列表")
    rows = [(x["symbol"], x["name"], numeric(x.get("trade")), numeric(x.get("changepercent")), numeric(x.get("volume")), numeric(x.get("amount")), x.get("ticktime")) for x in data]
    save("stocks", "symbol TEXT PRIMARY KEY, name TEXT, price REAL, change_pct REAL, volume REAL, amount REAL, quote_time TEXT", rows)

if __name__ == "__main__":
    main()

实际结果:20 条股票记录已写入数据库,以下展示前 7 条。

股票代码 名称 最新价 涨跌幅%
bj920000 安徽凤凰 11.24 -2.091
bj920001 纬达光电 9.66 -2.915
bj920002 万达轴承 47.51 -3.631
bj920003 中诚咨询 13.82 -1.144
bj920005 鼎佳精密 25.49 6.253
bj920006 晟楠科技 19.71 -0.655
bj920007 酉立智能 42.33 7.192

![股票入库结果]stocks

数据库核验方法:可用 DB Browser for SQLite 打开 homework2.db,执行下面的 SQL;也可用 Python 标准库 sqlite3 查询。

SELECT city, COUNT(*) FROM weather GROUP BY city; -- 每个城市7条
SELECT COUNT(*) FROM stocks;                    -- 20条
SELECT * FROM weather ORDER BY city,date;
SELECT * FROM stocks ORDER BY symbol;

2)心得体会

天气采集让我理解到,页面中的空值也具有含义。夜间预报可能省略当天最高温,填零会改变数据的真实含义,因此应在数据库中保存 NULL。页面只写日号时,还必须处理跨月日期,不能直接拼接当前月份。

股票采集的重点是找准数据接口,再分析参数和返回结构。网页上的表格不一定存在于初始 HTML 中,JSON 接口通常更容易提取;但不同网站使用不同字段,不能把东方财富的字段名直接套在新浪数据上。HTTP 成功也不等于业务成功,因此要检查返回类型是否符合预期。

数据库使数据能够重复查询,但也引入了主键、事务和缺失值处理问题。参数化 SQL 避免中文名称或特殊字符破坏语句;先抓取校验、再事务写入,可以避免网络请求中途失败导致旧数据被提前清空。本实验选择覆盖快照,若以后需要比较不同时刻,则应增加采集批次和历史表。

二、2021 中国大学主榜全量采集(作业③)

1)实验代码与结果展示

目标:抓取软科2021中国大学排名主榜全部院校,输出排名、学校、省市、类型、总分并保存数据库。不能仅取页面初始显示的前30名。

实际接口分析:本次通过 HTTP 请求验证了 https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021。其中 bcur_type=11 选择主榜,year=2021 选择年份,响应业务状态 code=200,列表在 data.rankings,实际包含582条。该接口分析是程序请求验证,并非已经完成浏览器 F12 录制。

字段映射如下:

接口字段 数据库字段 含义
univUp university_id 院校标识
ranking rank 排名,按文本保留
univNameCn name 中文校名
province province 省市
univCategory category 学校类型
score score 总分

表 universities 另存 year,以 (year,university_id) 为联合主键。入库前检查582条、582个唯一标识,并检查清华大学总分969.2,防止拿错年份或重复记录。582为本次核实的2021榜单完整条数,若接口内容改变,程序会明确报错而非静默声称成功。

Gitee 文件夹链接:https://gitee.com/lzsydy666123/python-web-crawler-homework/tree/master/

完整代码:

"""第二次作业:采集数据并以事务写入 SQLite。"""
import json
import os
import sqlite3
from datetime import datetime, timedelta
from pathlib import Path
import requests

ROOT = Path(__file__).resolve().parent

def fetch(url, params=None):
    """请求公开数据;代理不可用时设置 CRAWLER_DIRECT=1。"""
    with requests.Session() as session:
        session.trust_env = os.getenv("CRAWLER_DIRECT") != "1"
        response = session.get(url, params=params, timeout=30)
        response.raise_for_status()
        response.encoding = "utf-8"
        return response.text

def save(table, columns, rows):
    """表结构来自代码常量;数据参数化写入,失败时事务回滚。"""
    if not rows:
        raise ValueError("拒绝用空结果覆盖数据库")
    with sqlite3.connect(ROOT / "homework2.db") as db:
        db.execute(f"CREATE TABLE IF NOT EXISTS {table} ({columns})")
        db.execute(f"DELETE FROM {table}")
        marks = ",".join("?" for _ in rows[0])
        db.executemany(f"INSERT INTO {table} VALUES ({marks})", rows)
        assert db.execute(f"SELECT COUNT(*) FROM {table}").fetchone()[0] == len(rows)
    print(f"{table}: 入库 {len(rows)} 条")
    for row in rows[:7]:
        print(row)

URL = "https://www.shanghairanking.cn/api/pub/v1/bcur"

def main():
    """取得2021主榜全量院校,校验年份、数量和唯一性。"""
    data = json.loads(fetch(URL, {"bcur_type": 11, "year": 2021}))
    if data.get("code") != 200:
        raise ValueError(f"接口错误:{data.get('msg')}")
    items = data["data"]["rankings"]
    rows = [(2021, x["univUp"], str(x["ranking"]), x["univNameCn"], x["province"], x["univCategory"], x["score"]) for x in items]
    if len(rows) != 582 or len({r[1] for r in rows}) != 582:
        raise ValueError("全榜数量或唯一性校验失败")
    if rows[0][3] != "清华大学" or float(rows[0][6]) != 969.2:
        raise ValueError("年份或字段校验失败")
    save("universities", "year INTEGER, university_id TEXT, rank TEXT, name TEXT, province TEXT, category TEXT, score REAL, PRIMARY KEY(year,university_id)", rows)

if __name__ == "__main__":
    main()

实际结果:2021主榜582所院校全部入库;下表及图片展示前7所。

排名 学校 省市 类型 总分
1 清华大学 北京 综合 969.2
2 北京大学 北京 综合 855.3
3 浙江大学 浙江 综合 768.7
4 上海交通大学 上海 综合 723.4
5 南京大学 江苏 综合 654.8
6 复旦大学 上海 综合 649.7
7 中国科学技术大学 安徽 理工 577.0

![大学排名入库结果]universities

SELECT COUNT(*), COUNT(DISTINCT university_id) FROM universities;
-- 实测返回:582, 582
SELECT rank,name,province,category,score FROM universities
WHERE year=2021 ORDER BY CAST(rank AS INTEGER) LIMIT 10;

2)心得体会

大学排名实验与第一页表格解析不同,核心是确认数据是否完整。浏览器显示30条记录不代表榜单只有30所院校;取得完整接口列表后,还需要核对记录数、唯一标识和首条数据,才能证明抓取范围满足要求。

接口参数中的榜单类型和年份决定数据语义。仅看到“清华大学排名第一”不足以判断年份正确,而总分969.2可以作为额外校验条件。排名以文本保留,也能为未来出现并列或区间排名留下空间。

F12记录的价值在于把“如何发现和验证接口”的过程展示给读者。代码请求成功与真实浏览器调试是两种证据,不能混为一谈。补录时应如实区分网页自动发出的请求与自己手动打开的接口,确保博客的过程说明可以复现。

posted @ 2026-11-15 14:14  jisl  阅读(1)  评论(0)    收藏  举报