第二次作业_博客稿.md
juju# 第二次作业:requests 数据采集与数据库存储
环境说明:Python 3.11、requests、BeautifulSoup4(lxml)、pymysql、MySQL 5.7/8.0。
依赖安装:pip install requests beautifulsoup4 lxml pymysql
数据库:spider_homework,建表脚本见下文《公共建表脚本》。
本文所有代码均在作业2/目录下直接运行;数据同时写入 MySQL 并导出 CSV/JSON 便于查看。
一、作业代码与运行结果
公共建表脚本(作业二、作业三共用)
先建库建表,四张表分别对应三次作业的数据。脚本可重复执行。
-- sql/create_tables.sql
CREATE DATABASE IF NOT EXISTS spider_homework
DEFAULT CHARACTER SET utf8mb4
COLLATE utf8mb4_general_ci;
USE spider_homework;
-- 作业二①:中国天气网 7 日天气预报
CREATE TABLE IF NOT EXISTS weather_forecast (
id INT AUTO_INCREMENT PRIMARY KEY COMMENT '自增主键',
city VARCHAR(32) NOT NULL COMMENT '城市名称',
city_code VARCHAR(16) NOT NULL COMMENT '城市编码',
forecast_date VARCHAR(32) NOT NULL COMMENT '预报日期,如 19日(今天)',
weather VARCHAR(64) COMMENT '天气现象',
temp_high VARCHAR(16) COMMENT '最高气温',
temp_low VARCHAR(16) COMMENT '最低气温',
wind VARCHAR(64) COMMENT '风向风力',
crawl_time DATETIME DEFAULT CURRENT_TIMESTAMP COMMENT '抓取时间',
KEY idx_city (city)
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COMMENT '7日天气预报';
-- 作业二② / 作业三②:东方财富股票行情
CREATE TABLE IF NOT EXISTS stock_quote (
id INT AUTO_INCREMENT PRIMARY KEY COMMENT '序号',
stock_no VARCHAR(16) NOT NULL COMMENT '股票代码',
stock_name VARCHAR(32) NOT NULL COMMENT '股票名称',
latest_price VARCHAR(16) COMMENT '最新报价',
change_pct VARCHAR(16) COMMENT '涨跌幅(%)',
change_amt VARCHAR(16) COMMENT '涨跌额',
volume VARCHAR(32) COMMENT '成交量',
turnover VARCHAR(32) COMMENT '成交额',
amplitude VARCHAR(16) COMMENT '振幅(%)',
high VARCHAR(16) COMMENT '最高',
low VARCHAR(16) COMMENT '最低',
open_price VARCHAR(16) COMMENT '今开',
prev_close VARCHAR(16) COMMENT '昨收',
crawl_time DATETIME DEFAULT CURRENT_TIMESTAMP COMMENT '抓取时间',
UNIQUE KEY uk_stock_no (stock_no)
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COMMENT '股票行情';
-- 作业二③:软科中国大学排名 2021 主榜
CREATE TABLE IF NOT EXISTS university_ranking (
id INT AUTO_INCREMENT PRIMARY KEY COMMENT '自增主键',
rank_no INT COMMENT '排名',
university VARCHAR(64) COMMENT '学校',
province VARCHAR(32) COMMENT '省市',
uni_type VARCHAR(32) COMMENT '类型',
score VARCHAR(16) COMMENT '总分'
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COMMENT '2021软科中国大学排名';
-- 作业三③:中国银行外汇牌价
CREATE TABLE IF NOT EXISTS forex_rate (
id INT AUTO_INCREMENT PRIMARY KEY COMMENT '自增主键',
currency VARCHAR(32) COMMENT '货币名称',
tbp VARCHAR(16) COMMENT '现汇买入价',
cbp VARCHAR(16) COMMENT '现钞买入价',
tsp VARCHAR(16) COMMENT '现汇卖出价',
csp VARCHAR(16) COMMENT '现钞卖出价',
publish_time VARCHAR(16) COMMENT '发布时间',
publish_date VARCHAR(16) COMMENT '发布日期',
crawl_time DATETIME DEFAULT CURRENT_TIMESTAMP COMMENT '抓取时间',
UNIQUE KEY uk_currency_time (currency, publish_time, publish_date)
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COMMENT '外汇牌价';
作业①:中国气象网 5 个城市 7 日天气预报
思路:中国天气网的天气页面为 http://www.weather.com.cn/weather/{城市编码}.shtml,
7 日预报写在 ul.t.clearfix > li 列表中:h1 是日期、p.wea 是天气现象、
p.tem 中 span 为最高温、i 为最低温、p.win i 为风向风力。
用 requests 取页面、BeautifulSoup 解析,再批量写入 weather_forecast 表。
# 作业2/1.py
# -*- coding: utf-8 -*-
"""作业二①:爬取中国天气网指定城市未来 7 天天气预报,并保存到 MySQL。"""
from pathlib import Path
import pymysql
import requests
from bs4 import BeautifulSoup
# ---------------------------------------------------------------- 配置
# 5 个城市及其在中国天气网的编码
CITY_CODES = {
"北京": "101010100",
"上海": "101020100",
"广州": "101280101",
"深圳": "101280601",
"成都": "101270101",
}
HEADERS = {
"User-Agent": ("Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/120.0 Safari/537.36"),
"Referer": "http://www.weather.com.cn/",
}
DB_CONFIG = {
"host": "localhost",
"port": 3306,
"user": "root",
"password": "123456", # TODO: 改成自己的 MySQL 密码
"database": "spider_homework",
"charset": "utf8mb4",
}
DATA_DIR = Path(__file__).resolve().parent.parent / "数据"
def fetch_forecast(city: str, code: str) -> list:
"""抓取一个城市的 7 日预报,返回 [(city, code, 日期, 天气, 最高温, 最低温, 风向)]。"""
url = "http://www.weather.com.cn/weather/%s.shtml" % code
resp = requests.get(url, headers=HEADERS, timeout=10)
resp.raise_for_status()
resp.encoding = "utf-8"
soup = BeautifulSoup(resp.text, "lxml")
rows = []
for li in soup.select("ul.t.clearfix > li"):
h1 = li.find("h1")
wea = li.find("p", class_="wea")
tem = li.find("p", class_="tem")
win = li.find("p", class_="win")
if not (h1 and wea):
continue
# 最高温在 span 中,最低温在 i 中;部分日期只有一种
high = tem.find("span").get_text(strip=True) if tem and tem.find("span") else ""
low = tem.find("i").get_text(strip=True) if tem and tem.find("i") else ""
wind = win.find("i").get_text(strip=True) if win and win.find("i") else ""
rows.append((city, code, h1.get_text(strip=True),
wea.get_text(strip=True), high, low, wind))
return rows
def save_to_mysql(all_rows: list) -> None:
"""把结果写入 MySQL:先删掉这些城市的旧数据,再批量插入。"""
conn = pymysql.connect(**DB_CONFIG)
try:
with conn.cursor() as cur:
cur.execute(
"DELETE FROM weather_forecast WHERE city_code IN (%s)"
% ",".join(["%s"] * len(CITY_CODES)),
list(CITY_CODES.values()),
)
cur.executemany(
"INSERT INTO weather_forecast"
"(city, city_code, forecast_date, weather, temp_high, temp_low, wind) "
"VALUES (%s, %s, %s, %s, %s, %s, %s)",
all_rows,
)
conn.commit()
finally:
conn.close()
def save_to_csv(all_rows: list) -> None:
"""导出 CSV,便于直接查看结果(utf-8-sig 保证 Excel 不乱码)。"""
DATA_DIR.mkdir(parents=True, exist_ok=True)
path = DATA_DIR / "weather_forecast.csv"
with open(path, "w", encoding="utf-8-sig", newline="") as fp:
fp.write("城市,城市编码,日期,天气,最高温,最低温,风向\n")
for row in all_rows:
fp.write(",".join(str(x) for x in row) + "\n")
print("CSV 已导出:%s" % path)
def main() -> None:
all_rows = []
for city, code in CITY_CODES.items():
try:
rows = fetch_forecast(city, code)
except Exception as exc: # 单个城市失败不影响其它城市
print("[失败] %s:%s" % (city, exc))
continue
print("\n===== %s(%s)7 日预报 =====" % (city, code))
for r in rows:
print(" %-10s %-6s %-6s %-6s %s" % (r[2], r[3], r[4], r[5], r[6]))
all_rows.extend(rows)
if not all_rows:
print("没有抓到任何数据,请检查网络或页面结构是否变化")
return
try:
save_to_mysql(all_rows)
print("\n共写入 MySQL %d 条记录" % len(all_rows))
except Exception as exc: # MySQL 未启动时仍导出 CSV
print("\n[MySQL 写入失败] %s" % exc)
print("请先启动 MySQL 并执行 sql/create_tables.sql")
save_to_csv(all_rows)
if __name__ == "__main__":
main()
运行结果:5 个城市 × 7 天 = 35 条记录,控制台按城市分组输出,数据库表 weather_forecast 同步写入。
===== 北京(101010100)7 日预报 =====
19日(今天) 晴 -2℃ <3级
20日(明天) 晴 8℃ -2℃ <3级
21日(后天) 晴 6℃ -3℃ <3级
22日(周日) 多云 6℃ -3℃ <3级
...
CSV 已导出:...\数据\weather_forecast.csv

作业②:requests + json 定向爬取东方财富股票
F12 抓包过程:打开 https://quote.eastmoney.com/center/gridlist.html,在 Network 面板筛选
Fetch/XHR,刷新页面即可看到行情列表来自
https://push2.eastmoney.com/api/qt/clist/get。接口参数含义:
| 参数 | 含义 |
|---|---|
pn / pz |
页码 / 每页条数 |
po / fid |
排序方向(1=降序)/ 排序字段 |
fs |
市场板块,m:0+t:6 等为沪深 A 股组合 |
fields |
需要的字段,f2最新价、f3涨跌幅、f4涨跌额、f5成交量、f6成交额、f7振幅、f12代码、f14名称、f15最高、f16最低、f17今开、f18昨收 |
返回的是 JSON,data.diff 为当页数据列表。按题目提示可删减不需要的 f 参数,减少返回体积。
# 作业2/2.py
# -*- coding: utf-8 -*-
"""作业二②:requests + json 解析,定向爬取东方财富网沪深 A 股行情并存入 MySQL。"""
import json
from pathlib import Path
import pymysql
import requests
# ---------------------------------------------------------------- 配置
API_URL = "https://push2.eastmoney.com/api/qt/clist/get"
# fs 为市场板块组合:沪深 A 股
FS = "m:0+t:6,m:0+t:13,m:0+t:80,m:1+t:2,m:1+t:23"
FIELDS = "f2,f3,f4,f5,f6,f7,f12,f14,f15,f16,f17,f18"
PAGE_SIZE = 100 # 每页条数
MAX_PAGES = 5 # 最多抓 5 页,避免请求过多
HEADERS = {
"User-Agent": ("Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/120.0 Safari/537.36"),
"Referer": "https://quote.eastmoney.com/",
}
DB_CONFIG = {
"host": "localhost",
"port": 3306,
"user": "root",
"password": "123456", # TODO: 改成自己的 MySQL 密码
"database": "spider_homework",
"charset": "utf8mb4",
}
DATA_DIR = Path(__file__).resolve().parent.parent / "数据"
def format_amount(value) -> str:
"""把成交量(手)/ 成交额(元)格式化为 万 / 亿。"""
if value in (None, "-", ""):
return "-"
try:
value = float(value)
except (TypeError, ValueError):
return str(value)
if abs(value) >= 1e8:
return "%.2f亿" % (value / 1e8)
if abs(value) >= 1e4:
return "%.2f万" % (value / 1e4)
return "%.2f" % value
def fetch_page(page: int) -> tuple:
"""请求一页股票数据,返回 (总数, [标准化后的记录])。"""
params = {
"pn": page,
"pz": PAGE_SIZE,
"po": 1, # 按涨跌幅降序
"np": 1,
"fltt": 2,
"invt": 2,
"fid": "f3",
"fs": FS,
"fields": FIELDS,
}
resp = requests.get(API_URL, params=params, headers=HEADERS, timeout=10)
resp.raise_for_status()
payload = json.loads(resp.text)
data = payload.get("data") or {}
total = data.get("total", 0)
diff = data.get("diff") or []
if isinstance(diff, dict): # 兼容 diff 为字典的情况
diff = list(diff.values())
rows = []
for item in diff:
rows.append((
str(item.get("f12", "")), # 股票代码
item.get("f14", ""), # 股票名称
item.get("f2", "-"), # 最新报价
item.get("f3", "-"), # 涨跌幅
item.get("f4", "-"), # 涨跌额
format_amount(item.get("f5")), # 成交量
format_amount(item.get("f6")), # 成交额
item.get("f7", "-"), # 振幅
item.get("f15", "-"), # 最高
item.get("f16", "-"), # 最低
item.get("f17", "-"), # 今开
item.get("f18", "-"), # 昨收
))
return total, rows
def save_to_mysql(rows: list) -> None:
"""先清空表再写入,保证多次运行结果不重复。"""
conn = pymysql.connect(**DB_CONFIG)
try:
with conn.cursor() as cur:
cur.execute("TRUNCATE TABLE stock_quote")
cur.executemany(
"INSERT INTO stock_quote"
"(stock_no, stock_name, latest_price, change_pct, change_amt, "
" volume, turnover, amplitude, high, low, open_price, prev_close) "
"VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)",
rows,
)
conn.commit()
finally:
conn.close()
def save_to_csv(rows: list) -> None:
DATA_DIR.mkdir(parents=True, exist_ok=True)
path = DATA_DIR / "stock_quote.csv"
with open(path, "w", encoding="utf-8-sig", newline="") as fp:
fp.write("股票代码,股票名称,最新报价,涨跌幅,涨跌额,成交量,成交额,振幅,最高,最低,今开,昨收\n")
for row in rows:
fp.write(",".join(str(x) for x in row) + "\n")
print("CSV 已导出:%s" % path)
def main() -> None:
all_rows = []
total = 0
for page in range(1, MAX_PAGES + 1):
total, rows = fetch_page(page)
if not rows:
break
all_rows.extend(rows)
print("第 %d 页抓取 %d 条(总数 %d)" % (page, len(rows), total))
if len(all_rows) >= total:
break
if not all_rows:
print("未获取到数据,请检查接口是否变更")
return
# 打印前 5 条预览
print("\n序号 代码 名称 最新 涨跌幅 成交量 振幅 最高 最低")
for i, r in enumerate(all_rows[:5], start=1):
print("%-4d %-8s %-10s %-6s %-8s %-9s %-6s %-6s %-6s"
% (i, r[0], r[1], r[2], r[3], r[5], r[7], r[8], r[9]))
try:
save_to_mysql(all_rows)
print("\n共写入 MySQL %d 条记录" % len(all_rows))
except Exception as exc: # MySQL 未启动时仍导出 CSV
print("\n[MySQL 写入失败] %s" % exc)
print("请先启动 MySQL 并执行 ../作业2/sql/create_tables.sql")
save_to_csv(all_rows)
if __name__ == "__main__":
main()
运行结果:5 页 × 100 条 = 500 条,写入 stock_quote 表,导出的 CSV 可用 Excel 直接打开。
第 1 页抓取 100 条(总数 5432)
第 2 页抓取 100 条(总数 5432)
...
序号 代码 名称 最新 涨跌幅 成交量 振幅 最高 最低
1 301348 蓝箭电子 21.66 20.00 37.55万 20.78 21.66 17.91

作业③:软科中国大学排名 2021 主榜
F12 抓包过程:打开 https://www.shanghairanking.cn/rankings/bcur/2021,Network 中可见
XHR 请求 https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021,
返回 JSON 的 data.rankings 即全部院校:ranking 排名、univNameCn 学校、province 省市、
univCategory 类型、score 总分。
# 作业2/3.py
# -*- coding: utf-8 -*-
"""作业二③:爬取软科中国大学排名 2021 主榜全部院校,并存入 MySQL。"""
from pathlib import Path
import pymysql
import requests
# ---------------------------------------------------------------- 配置
API_URL = "https://www.shanghairanking.cn/api/pub/v1/bcur"
PARAMS = {
"bcur_type": "11", # 11 = 主榜
"year": "2021",
"page": 1,
"page_size": 100,
}
HEADERS = {
"User-Agent": ("Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/120.0 Safari/537.36"),
"Referer": "https://www.shanghairanking.cn/rankings/bcur/2021",
}
DB_CONFIG = {
"host": "localhost",
"port": 3306,
"user": "root",
"password": "123456", # TODO: 改成自己的 MySQL 密码
"database": "spider_homework",
"charset": "utf8mb4",
}
DATA_DIR = Path(__file__).resolve().parent.parent / "数据"
def fetch_all() -> list:
"""分页拉取全部院校,返回 [(排名, 学校, 省市, 类型, 总分)]。"""
rows, seen = [], set()
page = 1
while True:
params = dict(PARAMS, page=page)
resp = requests.get(API_URL, params=params, headers=HEADERS, timeout=15)
resp.raise_for_status()
payload = resp.json()
if payload.get("code") != 200:
raise RuntimeError("接口返回异常:%s" % payload.get("msg"))
rankings = (payload.get("data") or {}).get("rankings") or []
if not rankings:
break
new_count = 0
for item in rankings:
name = item.get("univNameCn", "")
key = (item.get("ranking"), name)
if key in seen: # 接口不支持分页时避免重复
continue
seen.add(key)
new_count += 1
rows.append((
item.get("ranking", ""),
name,
item.get("province", ""),
item.get("univCategory", ""),
item.get("score", ""),
))
print("第 %d 页:%d 条,累计 %d 条" % (page, len(rankings), len(rows)))
if new_count == 0: # 翻页无效,说明一次已返回全部
break
page += 1
if page > 20: # 保险上限
break
# 按排名数值排序
rows.sort(key=lambda r: int(r[0]) if str(r[0]).isdigit() else 10 ** 6)
return rows
def save_to_mysql(rows: list) -> None:
conn = pymysql.connect(**DB_CONFIG)
try:
with conn.cursor() as cur:
cur.execute("TRUNCATE TABLE university_ranking")
cur.executemany(
"INSERT INTO university_ranking(rank_no, university, province, uni_type, score) "
"VALUES (%s,%s,%s,%s,%s)",
rows,
)
conn.commit()
finally:
conn.close()
def save_to_csv(rows: list) -> None:
DATA_DIR.mkdir(parents=True, exist_ok=True)
path = DATA_DIR / "university_ranking.csv"
with open(path, "w", encoding="utf-8-sig", newline="") as fp:
fp.write("排名,学校,省市,类型,总分\n")
for row in rows:
fp.write(",".join(str(x) for x in row) + "\n")
print("CSV 已导出:%s" % path)
def main() -> None:
rows = fetch_all()
if not rows:
print("未获取到数据")
return
print("\n排名 学校 省市 类型 总分")
for r in rows[:10]:
print("%-5s %-14s %-7s %-5s %s" % r)
try:
save_to_mysql(rows)
print("\n共写入 MySQL %d 条记录" % len(rows))
except Exception as exc: # MySQL 未启动时仍导出 CSV
print("\n[MySQL 写入失败] %s" % exc)
print("请先启动 MySQL 并执行 sql/create_tables.sql")
save_to_csv(rows)
if __name__ == "__main__":
main()
运行结果:主榜共 582 所院校,全部入库。
排名 学校 省市 类型 总分
1 清华大学 北京 综合 969.2
2 北京大学 北京 综合 855.3
3 浙江大学 浙江 综合 768.7
...
CSV 已导出:...\数据\university_ranking.csv



二、作业心得
- 抓包是动态网站爬取的第一步。 天气网、软科这类页面的数据要么由服务端渲染、要么由接口返回,
直接解析 HTML 往往会拿到空列表。通过 F12 的 Network 面板筛选 XHR,能快速找到真正的数据接口,
再决定用 BeautifulSoup 还是 json 解析,效率比盲目试错高得多。 - 接口参数可以按需裁剪。 东方财富的
fields支持只取需要的字段,既减少流量也让解析代码更直观;
分页参数pn/pz则用来控制抓取量,避免给对方服务器造成压力。 - 写库要考虑幂等。 天气与股票采用“先删后插 / TRUNCATE 再插入”,软科用唯一键,
这样重复运行不会产生重复数据,排查问题时也能放心多跑几次。 - 异常要兜底。 单个城市失败不影响其它城市、MySQL 未启动时仍然导出 CSV,
让脚本在任何环境下都能给出可检查的结果。

浙公网安备 33010602011771号