第二次作业:天气、股票与大学排名数据采集
第二次作业:天气、股票与大学排名数据采集
环境是 Windows 11 + Anaconda 的 Python 3.9,用到了 requests、BeautifulSoup、lxml 和 sqlite3。代码放在 Gitee:
- 仓库:https://gitee.com/king2328/shujucaiji
- 作业目录:https://gitee.com/king2328/shujucaiji/tree/master/第二次作业
一、作业①:中国气象网 7 日天气预报
1. 代码与图片
题目要求抓 3~5 个城市的 7 天天气。中国气象网的天气页 URL 是按城市编码拼的,比如北京是:
http://www.weather.com.cn/weather/101010100.shtml
我选了北京、上海、广州、深圳、成都五个城市,编码如下:
| 城市 | 编码 |
|---|---|
| 北京 | 101010100 |
| 上海 | 101020100 |
| 广州 | 101280101 |
| 深圳 | 101280601 |
| 成都 | 101270101 |
城市编码是从对应城市页面的 URL 里拿到的。
核心代码:
class WeatherSpider:
"""中国气象网7日天气预报爬虫"""
def \_\_init\_\_(self):
# 城市编码,选了5个城市
self.city\_code = {
"北京": "101010100",
"上海": "101020100",
"广州": "101280101",
"深圳": "101280601",
"成都": "101270101",
}
self.headers = {
"User-Agent": (
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/120.0.0.0 Safari/537.36"
)
}
self.session = requests.Session()
self.db = WeatherDB()
self.db.openDB()
self.serial\_no = 1
def forecast\_city(self, city):
"""抓一个城市的7天天气"""
if city not in self.city\_code:
print(f"\[错误] 没有找到「{city}」的编码")
return
code = self.city\_code\[city]
url = f"http://www.weather.com.cn/weather/{code}.shtml"
try:
response = self.session.get(
url, headers=self.headers, timeout=15, verify=False
)
response.encoding = "utf-8"
response.raise\_for\_status()
except requests.RequestException as exc:
print(f"\[错误] 获取「{city}」天气失败:{exc}")
return
soup = BeautifulSoup(response.text, "lxml")
weather\_list = soup.select("ul.t.clearfix li")
for day in weather\_list:
date = day.find("h1").get\_text(strip=True)
weather = day.find("p", class\_="wea").get\_text(strip=True)
tem\_p = day.find("p", class\_="tem")
temp\_span = tem\_p.find("span")
temp\_i = tem\_p.find("i")
# 有的城市只有最高温,没有最低温
if temp\_span:
temp\_high = temp\_span.get\_text(strip=True).replace("℃", "°C")
temp\_low = (
temp\_i.get\_text(strip=True).replace("℃", "°C")
if temp\_i
else ""
)
temperature = f"{temp\_high}/{temp\_low}"
else:
temperature = (
temp\_i.get\_text(strip=True).replace("℃", "°C")
if temp\_i
else "-"
)
self.db.insert(city, date, weather, temperature)
print(f"{self.serial\_no:<6}{city:<6}{date:<14}"
f"{weather:<24}{temperature}")
self.serial\_no += 1
weathers 表用“城市 + 日期”作为联合主键,这样同一个城市同一天不会重复插入:
CREATE TABLE weathers (
wCity VARCHAR(16),
wDate VARCHAR(16),
wWeather VARCHAR(128),
wTemp VARCHAR(32),
CONSTRAINT pk\_weather PRIMARY KEY (wCity, wDate)
);
运行后数据库里是 5 个城市 × 7 天,共 35 条:
5 个城市 × 7 天 = 35 条记录
部分数据:
| 城市 | 日期 | 天气 | 温度 |
|---|---|---|---|
| 北京 | 19日(今天) | 晴 | -2°C |
| 北京 | 20日(明天) | 晴 | 8°C/-2°C |
| 上海 | 19日(今天) | 多云 | 6°C |
| 广州 | 19日(今天) | 小雨 | 12°C |
| 深圳 | 19日(今天) | 小雨 | 15°C |
| 成都 | 19日(今天) | 晴 | 6°C |

图1 五个城市 7 日天气预报运行结果

图2 天气页面里日期、天气、温度对应的标签
完整代码和数据库:2.1 天气爬虫
2. 作业心得
不同城市的页面结构基本一样,但温度那里有时只有最高温,有时是“最高温/最低温”,所以 span 和 i 不能默认都存在,要分开判断。数据库用“城市 + 日期”做主键,重复运行也不会插重复数据。
二、作业②:新浪财经股票信息
1. 代码与图片
题目要求用 requests 和 json 解析抓股票数据。打开新浪财经股票页,按 F12,切到 Network,选 Fetch/XHR,刷新后能找到股票列表接口:
https://vip.stock.finance.sina.com.cn/quotes\_service/api/json\_v2.php/Market\_Center.getHQNodeData
请求参数:
| 参数 | 作用 | 我用的值 |
|---|---|---|
page |
页码 | 1~3 |
num |
每页数量 | 40 |
sort |
排序字段 | changepercent |
asc |
升序/降序 | 0 |
node |
板块 | sh_a |
symbol |
股票代码过滤 | 空 |
这个接口有个坑:返回的不是标准 JSON,键名没有双引号,直接 json.loads 会报错。比如:
\[{symbol:"sh600000",name:"浦发银行",trade:"10.00",...}]
所以先用正则给键名补上引号:
@staticmethod
def \_format\_json(raw\_str):
"""给新浪JSON的键名补双引号"""
return re.sub(
r'(\[{,])\\s\*(\[a-zA-Z\_]\\w\*)\\s\*:',
r'\\1"\\2":',
raw\_str,
)
@staticmethod
def \_fmt\_amount(num):
"""成交量、成交金额转成万/亿"""
try:
num = float(num)
except (ValueError, TypeError):
return str(num)
if num >= 1e8:
return f"{num / 1e8:.2f}亿"
if num >= 1e4:
return f"{num / 1e4:.2f}万"
return str(int(num))
分页请求和解析的主要代码:
def crawl(self, pages=3, num=40):
"""抓指定页数的股票列表"""
for page in range(1, pages + 1):
params = {
"page": page,
"num": num,
"sort": "changepercent",
"asc": 0,
"node": "sh\_a",
"symbol": "",
}
try:
resp = self.session.get(
self.api\_url,
params=params,
headers=self.headers,
timeout=15,
)
raw = resp.text.strip()
# 先处理非标准JSON
raw = self.\_format\_json(raw)
if raw in ("null", "\[]", ""):
print(f"\[提示] 第 {page} 页没有数据")
continue
data = json.loads(raw)
for item in data:
symbol = item.get("symbol", "").upper()
name = item.get("name", "-")
trade = item.get("trade", "-")
pricechange = item.get("pricechange", "-")
changepercent = item.get("changepercent", "-")
settlement = item.get("settlement", "-")
volume = item.get("volume", "-")
amount = item.get("amount", "-")
high = item.get("high", "-")
low = item.get("low", "-")
open\_ = item.get("open", "-")
price\_s = f"{float(trade):.2f}" if trade != "-" else "-"
change\_amt\_s = (
f"{float(pricechange):.2f}" if pricechange != "-" else "-"
)
change\_pct\_s = (
f"{float(changepercent):.2f}%"
if changepercent != "-"
else "-"
)
high\_s = f"{float(high):.2f}" if high != "-" else "-"
low\_s = f"{float(low):.2f}" if low != "-" else "-"
open\_s = f"{float(open\_):.2f}" if open\_ != "-" else "-"
pre\_s = (
f"{float(settlement):.2f}" if settlement != "-" else "-"
)
try:
amplitude = (
(float(high) - float(low)) / float(settlement) \* 100
)
amp\_s = f"{amplitude:.2f}%"
except (ValueError, ZeroDivisionError, TypeError):
amp\_s = "-"
vol\_s = self.\_fmt\_amount(volume)
amount\_s = self.\_fmt\_amount(amount)
self.db.insert(
symbol, name, price\_s, change\_pct\_s, change\_amt\_s,
vol\_s, amount\_s, amp\_s, high\_s, low\_s, open\_s, pre\_s,
)
except json.JSONDecodeError as exc:
print(f"\[错误] 第 {page} 页 JSON 解析失败:{exc}")
except requests.RequestException as exc:
print(f"\[错误] 第 {page} 页请求失败:{exc}")
字段对应关系:
| 数据库字段 | 接口字段 | 含义 |
|---|---|---|
sCode |
symbol |
股票代码 |
sName |
name |
股票名称 |
sPrice |
trade |
最新报价 |
sChangePct |
changepercent |
涨跌幅 |
sChangeAmt |
pricechange |
涨跌额 |
sVolume |
volume |
成交量 |
sAmount |
amount |
成交金额 |
sHigh |
high |
最高价 |
sLow |
low |
最低价 |
sOpen |
open |
今开 |
sPreClose |
settlement |
昨收 |
程序设置 pages=3、num=40,一共抓到 120 条。部分结果:
| 代码 | 名称 | 最新价 | 涨跌幅 | 成交量 | 成交金额 |
|---|---|---|---|---|---|
| SH688004 | 博汇科技 | 37.25 | 20.01% | 1196.21万 | 4.10亿 |
| SH688517 | 金冠电气 | 21.18 | 20.00% | 2283.05万 | 4.71亿 |
| SH688156 | 路德科技 | 25.40 | 11.40% | 1286.97万 | 3.23亿 |
| SH688282 | 理工导航 | 55.97 | 11.29% | 240.31万 | 1.31亿 |
| SH600831 | 广电网络 | 3.91 | 10.14% | 3977.90万 | 1.54亿 |

图3 股票列表接口的 Request URL

图4 接口返回的股票数据

图5 股票爬取运行结果,共 120 条
完整代码和数据库:2.2 股票爬虫
2. 作业心得
作业②的难点主要在接口返回格式。浏览器里看 Response 是 JSON 的样子,但直接拿 resp.text 去 json.loads 会报错,因为键名没有引号。我一开始卡在这里,后来用正则把键名补上引号才解析成功。另外这个接口要带 Referer,不然可能被拒绝。
股票这个任务让我对 F12 的 Network 面板熟悉了不少:先过滤 Fetch/XHR,再看请求的 URL、参数和 Response,比直接猜接口地址可靠。代码里加了 timeout 和异常处理,单页失败不会让整个程序停掉。
三、作业③:2021 软科中国大学排名
1. 代码与图片
题目要求抓 2021 软科中国大学排名主榜的所有院校,存进数据库,并且要有 F12 抓包分析。
打开页面:
https://www.shanghairanking.cn/rankings/bcur/2021
按 F12,切到 Network,选 Fetch/XHR,刷新。
这里我卡了比较久:Network 里只有 collect、list、state.js 这些请求,找不到 bcur。后来看页面源码才发现,这个页面是 Nuxt 服务端渲染,首屏的排名数据已经写进 HTML 和 state.js 里了,所以首屏不会发排名接口。
页面不发请求,不代表接口不存在。排名接口可以直接访问:
https://www.shanghairanking.cn/api/pub/v1/bcur?bcur\_type=11\&year=2021
返回结构:
{
"code": 200,
"msg": "success",
"data": {
"rankings": \[
{
"ranking": "1",
"univNameCn": "清华大学",
"univNameEn": "Tsinghua University",
"province": "北京",
"univCategory": "综合",
"score": 969.2
}
]
}
}
主要字段:
| 字段 | 含义 |
|---|---|
ranking |
排名 |
univNameCn |
学校中文名 |
univNameEn |
学校英文名 |
province |
省市 |
univCategory |
类型,比如综合、理工、师范 |
score |
总分 |
请求和解析代码:
API\_URL = "https://www.shanghairanking.cn/api/pub/v1/bcur?bcur\_type=11\&year=2021"
DB\_NAME = "shanghairanking\_2021.db"
HEADERS = {
"User-Agent": (
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/120.0.0.0 Safari/537.36"
),
"Referer": "https://www.shanghairanking.cn/rankings/bcur/2021",
}
def fetch\_rankings():
"""请求排名接口,返回rankings列表"""
response = requests.get(API\_URL, headers=HEADERS, timeout=30)
response.raise\_for\_status()
data = response.json()
return data.get("data", {}).get("rankings", \[])
def parse\_rankings(rankings):
"""把接口数据转成入库用的元组"""
records = \[]
for item in rankings:
name\_cn = (item.get("univNameCn") or "").strip()
name\_en = (item.get("univNameEn") or "").strip()
province = (item.get("province") or "").strip()
category = (item.get("univCategory") or "").strip()
try:
rank = int(item.get("ranking") or 0)
score = float(item.get("score") or 0)
except (TypeError, ValueError):
continue
if name\_cn and rank > 0:
records.append((rank, name\_cn, name\_en, province, category, score))
return records
表结构:
CREATE TABLE university\_rank (
id INTEGER PRIMARY KEY AUTOINCREMENT,
ranking INTEGER,
university\_name\_cn TEXT,
university\_name\_en TEXT,
province TEXT,
univ\_category TEXT,
total\_score REAL
);
原来的表没有“类型”列,这次我直接改了建表语句,并且每次运行前先 DROP TABLE,保证表结构和代码一致:
def save\_records(records):
"""重建表并写入全部院校"""
conn = sqlite3.connect(DB\_NAME)
cursor = conn.cursor()
cursor.execute("DROP TABLE IF EXISTS university\_rank")
cursor.execute("""
CREATE TABLE university\_rank (
id INTEGER PRIMARY KEY AUTOINCREMENT,
ranking INTEGER,
university\_name\_cn TEXT,
university\_name\_en TEXT,
province TEXT,
univ\_category TEXT,
total\_score REAL
)
""")
cursor.executemany(
"""
INSERT INTO university\_rank
(ranking, university\_name\_cn, university\_name\_en,
province, univ\_category, total\_score)
VALUES (?, ?, ?, ?, ?, ?)
""",
records,
)
conn.commit()
conn.close()
运行后一共 582 条,univ\_category 没有空值。前 10 名:
| 排名 | 学校 | 省市 | 类型 | 总分 |
|---|---|---|---|---|
| 1 | 清华大学 | 北京 | 综合 | 969.2 |
| 2 | 北京大学 | 北京 | 综合 | 855.3 |
| 3 | 浙江大学 | 浙江 | 综合 | 768.7 |
| 4 | 上海交通大学 | 上海 | 综合 | 723.4 |
| 5 | 南京大学 | 江苏 | 综合 | 654.8 |
| 6 | 复旦大学 | 上海 | 综合 | 649.7 |
| 7 | 中国科学技术大学 | 安徽 | 理工 | 577.0 |
| 8 | 华中科技大学 | 湖北 | 综合 | 574.3 |
| 9 | 武汉大学 | 湖北 | 综合 | 567.9 |
| 10 | 西安交通大学 | 陕西 | 综合 | 537.9 |

图6 2021 软科中国大学排名运行结果

图7 Network 里的 bcur 请求
图7 的请求类型是 document,因为我是直接在地址栏打开 API 的;如果在 Console 里用 fetch 请求,类型会显示成 fetch,其实是同一个接口。

图8 Headers 里的 Request URL

图9 Response 里的 data.rankings 和 univCategory
完整代码和数据库:2.3 大学排名爬虫
2. 作业心得
作业③最花时间的是抓包。按常规思路在 Fetch/XHR 里找 bcur,结果什么都没有,一开始还以为是自己操作错了。后来查页面源码,才知道是服务端渲染,数据直接在 state.js 里。这个点挺有意思:页面能看到数据,不代表它一定通过 XHR 拿数据。
知道原因后,我直接请求 bcur 接口,把 Headers 和 Response 截下来。解析时先取 data.rankings,再逐条拿 ranking、univNameCn、province、univCategory、score。其中“类型”对应的是 univCategory,不是办学类型,字段名要看清楚。
数据库这边,原来的表缺“类型”列,我这次直接改建表语句并重建表。对作业来说这样最省事,但真实项目里不能随便 DROP TABLE,应该写迁移脚本保留数据。
另外,接口里的 score 有时是数字、有时是字符串,ranking 也是字符串,学校英文名可能为空,所以代码里统一做了 or ""、int()、float() 和异常跳过。不处理这些,个别数据就会让程序中断。
浙公网安备 33010602011771号