第二次数据采集作业
目录
一、七日天气预报
采集代码与结果
福州、厦门和泉州的预报页格式相同,网址里的城市编号不同。因此,代码用一个字典保存城市名和编号,再依次调用 get_weather。网页上同时有七日预报和分时段预报。为了取到每天的一条记录,先用 BeautifulSoup 找到编号为 7d 的区域,再遍历其中的七个日期卡片。每次循环只在当前卡片里找天气、最高温、最低温和风力,这样读到的几个值就属于同一天。
卡片上的日期写成“11日(今天)”,直接存“今天”,过几天再查就不清楚是哪一天了。代码取网页的预报更新日期作为起点,第一个卡片加 0 天,第二个加 1 天,依次算出完整日期,再和卡片上的日号对照。三个城市全部读完后,才把 21 条记录写入 SQLite。表里用城市和日期共同区分记录,这样福州和厦门同一天的预报可以分别保存。
from datetime import datetime, timedelta
from pathlib import Path
import sqlite3
import requests
from bs4 import BeautifulSoup
def get_weather(city, city_code):
"""读取一个城市的七日预报,每一天整理成一行。"""
url = f"https://www.weather.com.cn/weather/{city_code}.shtml"
response = requests.get(url, timeout=20)
response.raise_for_status()
page = BeautifulSoup(response.content.decode("utf-8"), "html.parser")
days = page.find(id="7d").select("ul.t > li")
if len(days) != 7:
raise ValueError(f"{city}的预报不足或超过七天,请检查网页")
# 从预报更新时间取年月日,跨月时也能算出下一天。
update = page.find(id="fc_3h_internal_update_time")["value"]
start = datetime.fromisoformat(update).date()
rows = []
for offset, day in enumerate(days):
date = start + timedelta(days=offset)
if int(day.h1.text.split("日")[0]) != date.day:
raise ValueError(f"{city}的预报日期和更新时间不一致")
weather = day.select_one(".wea").text.strip()
high_tag = day.select_one(".tem span")
high = None # 晚间发布时,当天可能只给出最低温。
if high_tag:
high = int(high_tag.text.strip().rstrip("℃"))
low = int(day.select_one(".tem i").text.strip().rstrip("℃"))
winds = []
for tag in day.select(".win span"):
if tag["title"] not in winds:
winds.append(tag["title"])
level = day.select_one(".win i").text.strip()
rows.append((city, date.isoformat(), weather, high, low, "转".join(winds), level))
return rows
def main():
cities = {"福州": "101230101", "厦门": "101230201", "泉州": "101230501"}
rows = []
for city, code in cities.items():
rows.extend(get_weather(city, code))
# 先采集齐三个城市,再在同一个事务内更新快照。
with sqlite3.connect(Path(__file__).with_name("weather.db")) as db:
db.execute("""CREATE TABLE IF NOT EXISTS weather (
city TEXT, date TEXT, weather TEXT, high INTEGER, low INTEGER,
wind TEXT, level TEXT, PRIMARY KEY (city, date))""")
db.execute("DELETE FROM weather")
db.executemany("INSERT INTO weather VALUES (?, ?, ?, ?, ?, ?, ?)", rows)
print("天气预报已保存,共", len(rows), "条")
if __name__ == "__main__":
main()

福州七日天气预报数据库查询结果
与原网站核对
打开中国天气网的城市预报页,在“7天”区域按日期对照。11 月 11 日的福州预报写着“阴、16℃、<3级”,终端里对应的是天气“阴”、最低温 16℃、最高温留空、风力 <3级。三个城市的网页各有 7 天,数据库按城市分组也各有 7 条。福州 · 厦门 · 泉州

福州七日预报
福州七日预报。11 月 11 日为阴,页面只显示 16℃。

厦门七日预报
厦门七日预报。11 月 11 日为阴,17℃,风力 4~5 级。
作业心得
福州第一天的最高温为什么是空的?查看当天的网页后可以看到,温度一栏只有最低温标签。如果直接读取最高温,程序会在第一行停下来。这里先判断标签是否存在,缺失时在数据库中保存 NULL。截图中,福州 11 月 11 日的最高温一栏为空,最低温为 16℃。
二、股票行情
采集代码与结果
这道题要取得一组能互相比较的行情,所以先确定排序方式和采集范围。请求参数里,sort=amount 和 asc=0 让接口按成交额从高到低排列,page=1 和 num=40 表示取第一页的 40 只股票。这样,换一天运行同一段代码,选股规则相同,返回的股票可以随行情变化。
接口返回的 JSON 数组中,每个元素代表一只股票。json.loads 把它转成 Python 列表后,就可以逐只按字段名取值。例如,trade 是最新价,volume 是成交量,amount 是成交额。写入 SQLite 时保留成交额的原始单位“元”,展示时才换算成亿元。截图里的查询用了 LIMIT 5,所以终端显示五行,表里实际保存了全部 40 条。
import json
import sqlite3
from pathlib import Path
import requests
def get_stocks():
"""按成交额从高到低取一页 A 股行情。"""
url = "https://vip.stock.finance.sina.com.cn/quotes_service/api/json_v2.php/Market_Center.getHQNodeData"
params = {"node": "hs_a", "page": 1, "num": 40, "sort": "amount", "asc": 0}
response = requests.get(url, params=params, timeout=20)
response.raise_for_status()
stocks = json.loads(response.content)
if len(stocks) != 40:
raise ValueError("本次未取得完整的 40 条行情")
rows = []
for stock in stocks:
# 代码保留为文本,避免丢掉开头的 0。其他字段按接口单位保存。
rows.append((stock["code"], stock["name"], stock["trade"], stock["changepercent"],
stock["pricechange"], stock["volume"], stock["amount"], stock["high"],
stock["low"], stock["open"], stock["settlement"], stock["ticktime"]))
return rows
def main():
rows = get_stocks()
with sqlite3.connect(Path(__file__).with_name("stocks.db")) as db:
db.execute("""CREATE TABLE IF NOT EXISTS stocks (
code TEXT PRIMARY KEY, name TEXT, price REAL, change_percent REAL,
change_amount REAL, volume INTEGER, amount REAL, high REAL, low REAL,
open REAL, previous_close REAL, quote_time TEXT)""")
db.execute("DELETE FROM stocks")
db.executemany("INSERT INTO stocks VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?, ?)", rows)
print("股票行情已保存,共", len(rows), "条")
if __name__ == "__main__":
main()

成交额前五的行情查询结果
与原网站核对
打开新浪财经的行情接口,用浏览器查找股票代码 300308。该条记录的名称是中际旭创,最新价为 542.000。接口的 amount 以元为单位,除以一亿、保留两位小数后为 312.29 亿元,对应截图第一行。按相同方法核对前五只股票,代码、名称、最新价和成交额都与截图一致。这是本次采集时的行情。本次使用的新浪行情列表

新浪行情接口
新浪行情接口。代码 300308 对应中际旭创,最新价为 542.000 元,成交额折合 312.29 亿元。
作业心得
股票的代码和价格看起来都是数字,但用途不同。价格需要比较大小,股票代码要按原样显示,所以建表时把代码设成 TEXT。行情表保存最近一次成功采集的快照,重复运行可以更新数据。
三、2021 年中国大学主榜
接口分析、代码与结果
在软科 2021 主榜中,清华大学位列第一,总分为 969.2。为了核对接口是否对应这一年的主榜,在 Chrome 的 Network 面板中直接访问排名接口,打开 Payload,查看榜单类型 bcur_type=11 和年份 year=2021。接着切到 Preview,可以看到学校列表在 data.rankings 里。

在 Chrome 开发者工具中检查排名请求的参数和返回数据
在 Preview 展开 data 后,可以看到 rankings 以及省份、学校类型等其他列表。每所学校的名称和分数都在 rankings 的同一条记录中,因此代码用 response.json()["data"]["rankings"] 取出这个列表。遍历时按字段名读取排名、中文校名、省市、类型和总分。以清华大学为例,univNameCn 取到“清华大学”,同一条记录的 score 取到 969.2,两者一起写进一行。
接口一次返回整份榜单,所以采集时只需发一次请求。写库前先核对列表长度是否为 582,数量不符就停止,保留上一次的结果。建表时用校名作为主键,让并列的学校也能分别保存。查询前五名时再按排名升序排列,便于和网页逐行对照。
from pathlib import Path
import sqlite3
import requests
def get_rankings():
"""读取软科 2021 主榜的完整排名数组。"""
url = "https://www.shanghairanking.cn/api/pub/v1/bcur"
params = {"bcur_type": 11, "year": 2021}
response = requests.get(url, params=params, timeout=20)
response.raise_for_status()
schools = response.json()["data"]["rankings"]
if len(schools) != 582:
raise ValueError("返回的学校数与 2021 主榜的 582 所不符")
rows = []
for school in schools:
# 排名有并列,使用学校名称区分记录。
rows.append((school["ranking"], school["univNameCn"], school["province"],
school["univCategory"], school["score"]))
return rows
def main():
rows = get_rankings()
with sqlite3.connect(Path(__file__).with_name("ranking.db")) as db:
db.execute("""CREATE TABLE IF NOT EXISTS ranking (
rank INTEGER, school TEXT PRIMARY KEY, province TEXT, type TEXT, score REAL)""")
db.execute("DELETE FROM ranking")
db.executemany("INSERT INTO ranking VALUES (?, ?, ?, ?, ?)", rows)
print("大学排名已保存,共", len(rows), "所")
if __name__ == "__main__":
main()

按排名查询数据库得到的前五所高校
与原网站核对
打开软科 2021 主榜,在第一页找到清华大学,对照排名、学校、省市、类型和总分五列。网页第一行是“1、清华大学、北京、综合、969.2”,第五行是“5、南京大学、江苏、综合、654.8”,前五行与截图一致。再把接口中的 582 所院校按这五个字段与数据库逐校比较,全部一致。2021 年主榜 · 排名接口

软科接口预览
软科接口预览。rankings 数组下标从 0 到 581,对应数据库中的 582 所高校。
作业心得
只看首页前几行,很容易以为每翻一页都得发一次请求。实际检查接口后发现,一次响应就包含了整份主榜。验证时做了两步:先检查学校总数,再把数据库里的第一行与题目样例逐列对照。清华大学这一行的排名、省市、类型和总分都能对上。
浙公网安备 33010602011771号