数据采集与融合技术——第二次作业
一、天气预报与股票信息采集入库(作业①、②)
1)实验代码与结果展示
python -m pip install -r requirements.txt
python 1.py
python 2.py
python 3.py
第二次作业/
├── 第二次作业.md
├── 1.py
├── 2.py
├── 3.py
├── requirements.txt
├── homework2.db
└── images/
├── weather.svg
├── stocks.svg
├── universities.svg
└── f12_2021.gif
作业①:3 个城市的 7 日天气预报
来源为中国天气网,选择北京、上海和广州,城市编号依次为 101010100、101020100、101280101。请求地址格式为 https://www.weather.com.cn/weather/城市编号.shtml。先定位七日预报列表,再逐项读取日期、天气和温度;将页面只显示的日号与北京时间匹配,按连续七天补全年月,防止月底日期拼接错误。
weather 表以 (city,date) 为联合主键,包含城市、预报日期、天气、最高温、最低温和采集时间。温度单位为摄氏度;当晚页面可能不再显示当天最高温,应保存 NULL,而不是猜测或填零。
Gitee 文件夹链接:https://gitee.com/lzsydy666123/python-web-crawler-homework/tree/master/
完整代码:
"""第二次作业:采集数据并以事务写入 SQLite。"""
import json
import os
import sqlite3
from datetime import datetime, timedelta
from pathlib import Path
import requests
ROOT = Path(__file__).resolve().parent
def fetch(url, params=None):
"""请求公开数据;代理不可用时设置 CRAWLER_DIRECT=1。"""
with requests.Session() as session:
session.trust_env = os.getenv("CRAWLER_DIRECT") != "1"
response = session.get(url, params=params, timeout=30)
response.raise_for_status()
response.encoding = "utf-8"
return response.text
def save(table, columns, rows):
"""表结构来自代码常量;数据参数化写入,失败时事务回滚。"""
if not rows:
raise ValueError("拒绝用空结果覆盖数据库")
with sqlite3.connect(ROOT / "homework2.db") as db:
db.execute(f"CREATE TABLE IF NOT EXISTS {table} ({columns})")
db.execute(f"DELETE FROM {table}")
marks = ",".join("?" for _ in rows[0])
db.executemany(f"INSERT INTO {table} VALUES ({marks})", rows)
assert db.execute(f"SELECT COUNT(*) FROM {table}").fetchone()[0] == len(rows)
print(f"{table}: 入库 {len(rows)} 条")
for row in rows[:7]:
print(row)
import re
from html import unescape
from datetime import timezone
CITIES = {"北京": "101010100", "上海": "101020100", "广州": "101280101"}
def clean(value):
return unescape(re.sub(r"<[^>]+>", "", value)).strip()
def main():
"""获取三个城市七日天气;缺失最高温记为NULL。"""
rows = []
now = datetime.now(timezone(timedelta(hours=8)))
for city, code in CITIES.items():
source = fetch(f"https://www.weather.com.cn/weather/{code}.shtml")
block = re.search(r'<ul class="t clearfix">(.*?)</ul>', source, re.S)
if block is None:
raise ValueError(f"{city}未找到七日预报")
items = re.findall(r"<li\b[^>]*>(.*?)</li>", block.group(1), re.S)
if len(items) != 7:
raise ValueError("预报天数不是7天")
first_day = int(re.search(r"<h1>(\d+)", items[0]).group(1))
candidates = [now.date() + timedelta(days=d) for d in range(-2, 3)]
start = next((d for d in candidates if d.day == first_day), None)
if start is None:
raise ValueError("预报日期与当前日期不符")
for i, item in enumerate(items):
date = start + timedelta(days=i)
label = clean(re.search(r"<h1>(.*?)</h1>", item, re.S).group(1))
if int(re.match(r"\d+", label).group()) != date.day:
raise ValueError("预报日期顺序异常")
condition = clean(re.search(r'<p[^>]*class="wea"[^>]*>(.*?)</p>', item, re.S).group(1))
temp = re.search(r'<p class="tem"[^>]*>(.*?)</p>', item, re.S).group(1)
high = re.search(r"<span>(.*?)</span>", temp, re.S)
low = re.search(r"<i>(.*?)</i>", temp, re.S)
def number(match):
return int(re.search(r"-?\d+", clean(match.group(1))).group()) if match else None
rows.append((city, str(date), condition, number(high), number(low), now.isoformat()))
assert len(rows) == 21
save("weather", "city TEXT, date TEXT, condition TEXT, high INTEGER, low INTEGER, fetched_at TEXT, PRIMARY KEY(city,date)", rows)
if __name__ == "__main__":
main()
实际结果:3 个城市各 7 条,共 21 条,日期覆盖 2026-11-06 至 2026-11-12。
| 城市 | 日期 | 天气 | 最高温℃ | 最低温℃ |
|---|---|---|---|---|
| 北京 | 2026-11-06 | 多云 | NULL | 2 |
| 北京 | 2026-11-07 | 雨夹雪 | 5 | 1 |
| 北京 | 2026-11-08 | 雨夹雪转晴 | 6 | -3 |
| 北京 | 2026-11-09 | 晴 | 10 | -1 |
| 北京 | 2026-11-10 | 晴 | 10 | 0 |
| 北京 | 2026-11-11 | 晴 | 12 | 0 |
| 北京 | 2026-11-12 | 晴 | 12 | 1 |
![天气入库结果]
作业②:requests 与 json 解析股票数据
选择新浪股票,使用 Market_Center.getHQNodeData 的 JSON 接口。本实验取第一页 20 条,题目未要求全市场,因此不宣称覆盖全部股票。接口返回列表,用 json.loads() 解析,不用正则解析 JSON。
请求参数:page=1 表示页码,num=20 表示条数,sort=symbol 与 asc=1 表示按代码升序,node=hs_a 为行情板块。该接口当前返回结果含北交所股票,不能仅根据参数名称推断只含沪深股票。题目提及的 f1、f2 属于其他接口的字段约定,本实验不套用这些名称。
stocks 表以 symbol 为主键;name 为名称,trade 映射为 price,changepercent 映射为 change_pct;volume、amount 保留接口成交量及成交额原值,不擅自换算单位;ticktime 为接口行情时间,只含时分秒,不能误作完整交易日期。该表保存本次行情快照,价格随请求时间变化;展示排序不构成投资建议。
Gitee 文件夹链接:https://gitee.com/lzsydy666123/python-web-crawler-homework/tree/master/
完整代码:
"""第二次作业:采集数据并以事务写入 SQLite。"""
import json
import os
import sqlite3
from datetime import datetime, timedelta
from pathlib import Path
import requests
ROOT = Path(__file__).resolve().parent
def fetch(url, params=None):
"""请求公开数据;代理不可用时设置 CRAWLER_DIRECT=1。"""
with requests.Session() as session:
session.trust_env = os.getenv("CRAWLER_DIRECT") != "1"
response = session.get(url, params=params, timeout=30)
response.raise_for_status()
response.encoding = "utf-8"
return response.text
def save(table, columns, rows):
"""表结构来自代码常量;数据参数化写入,失败时事务回滚。"""
if not rows:
raise ValueError("拒绝用空结果覆盖数据库")
with sqlite3.connect(ROOT / "homework2.db") as db:
db.execute(f"CREATE TABLE IF NOT EXISTS {table} ({columns})")
db.execute(f"DELETE FROM {table}")
marks = ",".join("?" for _ in rows[0])
db.executemany(f"INSERT INTO {table} VALUES ({marks})", rows)
assert db.execute(f"SELECT COUNT(*) FROM {table}").fetchone()[0] == len(rows)
print(f"{table}: 入库 {len(rows)} 条")
for row in rows[:7]:
print(row)
URL = "https://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQNodeData"
def numeric(value):
"""缺失值保持NULL。"""
return float(value) if value not in (None, "", "--") else None
def main():
"""抓取第一页20条,不宣称覆盖全市场。"""
params = {"page": 1, "num": 20, "sort": "symbol", "asc": 1, "node": "hs_a"}
data = json.loads(fetch(URL, params))
if not isinstance(data, list) or not data:
raise ValueError("股票接口未返回有效列表")
rows = [(x["symbol"], x["name"], numeric(x.get("trade")), numeric(x.get("changepercent")), numeric(x.get("volume")), numeric(x.get("amount")), x.get("ticktime")) for x in data]
save("stocks", "symbol TEXT PRIMARY KEY, name TEXT, price REAL, change_pct REAL, volume REAL, amount REAL, quote_time TEXT", rows)
if __name__ == "__main__":
main()
实际结果:20 条股票记录已写入数据库,以下展示前 7 条。
| 股票代码 | 名称 | 最新价 | 涨跌幅% |
|---|---|---|---|
| bj920000 | 安徽凤凰 | 11.24 | -2.091 |
| bj920001 | 纬达光电 | 9.66 | -2.915 |
| bj920002 | 万达轴承 | 47.51 | -3.631 |
| bj920003 | 中诚咨询 | 13.82 | -1.144 |
| bj920005 | 鼎佳精密 | 25.49 | 6.253 |
| bj920006 | 晟楠科技 | 19.71 | -0.655 |
| bj920007 | 酉立智能 | 42.33 | 7.192 |
![股票入库结果]
数据库核验方法:可用 DB Browser for SQLite 打开 homework2.db,执行下面的 SQL;也可用 Python 标准库 sqlite3 查询。
SELECT city, COUNT(*) FROM weather GROUP BY city; -- 每个城市7条
SELECT COUNT(*) FROM stocks; -- 20条
SELECT * FROM weather ORDER BY city,date;
SELECT * FROM stocks ORDER BY symbol;
2)心得体会
天气采集让我理解到,页面中的空值也具有含义。夜间预报可能省略当天最高温,填零会改变数据的真实含义,因此应在数据库中保存 NULL。页面只写日号时,还必须处理跨月日期,不能直接拼接当前月份。
股票采集的重点是找准数据接口,再分析参数和返回结构。网页上的表格不一定存在于初始 HTML 中,JSON 接口通常更容易提取;但不同网站使用不同字段,不能把东方财富的字段名直接套在新浪数据上。HTTP 成功也不等于业务成功,因此要检查返回类型是否符合预期。
数据库使数据能够重复查询,但也引入了主键、事务和缺失值处理问题。参数化 SQL 避免中文名称或特殊字符破坏语句;先抓取校验、再事务写入,可以避免网络请求中途失败导致旧数据被提前清空。本实验选择覆盖快照,若以后需要比较不同时刻,则应增加采集批次和历史表。
二、2021 中国大学主榜全量采集(作业③)
1)实验代码与结果展示
目标:抓取软科2021中国大学排名主榜全部院校,输出排名、学校、省市、类型、总分并保存数据库。不能仅取页面初始显示的前30名。
实际接口分析:本次通过 HTTP 请求验证了 https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021。其中 bcur_type=11 选择主榜,year=2021 选择年份,响应业务状态 code=200,列表在 data.rankings,实际包含582条。该接口分析是程序请求验证,并非已经完成浏览器 F12 录制。
字段映射如下:
| 接口字段 | 数据库字段 | 含义 |
|---|---|---|
| univUp | university_id | 院校标识 |
| ranking | rank | 排名,按文本保留 |
| univNameCn | name | 中文校名 |
| province | province | 省市 |
| univCategory | category | 学校类型 |
| score | score | 总分 |
表 universities 另存 year,以 (year,university_id) 为联合主键。入库前检查582条、582个唯一标识,并检查清华大学总分969.2,防止拿错年份或重复记录。582为本次核实的2021榜单完整条数,若接口内容改变,程序会明确报错而非静默声称成功。
Gitee 文件夹链接:https://gitee.com/lzsydy666123/python-web-crawler-homework/tree/master/
完整代码:
"""第二次作业:采集数据并以事务写入 SQLite。"""
import json
import os
import sqlite3
from datetime import datetime, timedelta
from pathlib import Path
import requests
ROOT = Path(__file__).resolve().parent
def fetch(url, params=None):
"""请求公开数据;代理不可用时设置 CRAWLER_DIRECT=1。"""
with requests.Session() as session:
session.trust_env = os.getenv("CRAWLER_DIRECT") != "1"
response = session.get(url, params=params, timeout=30)
response.raise_for_status()
response.encoding = "utf-8"
return response.text
def save(table, columns, rows):
"""表结构来自代码常量;数据参数化写入,失败时事务回滚。"""
if not rows:
raise ValueError("拒绝用空结果覆盖数据库")
with sqlite3.connect(ROOT / "homework2.db") as db:
db.execute(f"CREATE TABLE IF NOT EXISTS {table} ({columns})")
db.execute(f"DELETE FROM {table}")
marks = ",".join("?" for _ in rows[0])
db.executemany(f"INSERT INTO {table} VALUES ({marks})", rows)
assert db.execute(f"SELECT COUNT(*) FROM {table}").fetchone()[0] == len(rows)
print(f"{table}: 入库 {len(rows)} 条")
for row in rows[:7]:
print(row)
URL = "https://www.shanghairanking.cn/api/pub/v1/bcur"
def main():
"""取得2021主榜全量院校,校验年份、数量和唯一性。"""
data = json.loads(fetch(URL, {"bcur_type": 11, "year": 2021}))
if data.get("code") != 200:
raise ValueError(f"接口错误:{data.get('msg')}")
items = data["data"]["rankings"]
rows = [(2021, x["univUp"], str(x["ranking"]), x["univNameCn"], x["province"], x["univCategory"], x["score"]) for x in items]
if len(rows) != 582 or len({r[1] for r in rows}) != 582:
raise ValueError("全榜数量或唯一性校验失败")
if rows[0][3] != "清华大学" or float(rows[0][6]) != 969.2:
raise ValueError("年份或字段校验失败")
save("universities", "year INTEGER, university_id TEXT, rank TEXT, name TEXT, province TEXT, category TEXT, score REAL, PRIMARY KEY(year,university_id)", rows)
if __name__ == "__main__":
main()
实际结果:2021主榜582所院校全部入库;下表及图片展示前7所。
| 排名 | 学校 | 省市 | 类型 | 总分 |
|---|---|---|---|---|
| 1 | 清华大学 | 北京 | 综合 | 969.2 |
| 2 | 北京大学 | 北京 | 综合 | 855.3 |
| 3 | 浙江大学 | 浙江 | 综合 | 768.7 |
| 4 | 上海交通大学 | 上海 | 综合 | 723.4 |
| 5 | 南京大学 | 江苏 | 综合 | 654.8 |
| 6 | 复旦大学 | 上海 | 综合 | 649.7 |
| 7 | 中国科学技术大学 | 安徽 | 理工 | 577.0 |
![大学排名入库结果]
SELECT COUNT(*), COUNT(DISTINCT university_id) FROM universities;
-- 实测返回:582, 582
SELECT rank,name,province,category,score FROM universities
WHERE year=2021 ORDER BY CAST(rank AS INTEGER) LIMIT 10;
2)心得体会
大学排名实验与第一页表格解析不同,核心是确认数据是否完整。浏览器显示30条记录不代表榜单只有30所院校;取得完整接口列表后,还需要核对记录数、唯一标识和首条数据,才能证明抓取范围满足要求。
接口参数中的榜单类型和年份决定数据语义。仅看到“清华大学排名第一”不足以判断年份正确,而总分969.2可以作为额外校验条件。排名以文本保留,也能为未来出现并列或区间排名留下空间。
F12记录的价值在于把“如何发现和验证接口”的过程展示给读者。代码请求成功与真实浏览器调试是两种证据,不能混为一谈。补录时应如实区分网页自动发出的请求与自己手动打开的接口,确保博客的过程说明可以复现。
浙公网安备 33010602011771号