数据采集第二次作业
实验2:Python 网络数据采集
2-1 中国气象网 7 日天气预报
2-1.1 作业代码与运行结果
实现思路:
- 准备北京、上海、广州 3 个城市及对应的城市代码;
- 请求
http://www.weather.com.cn/weather/城市代码.shtml; - 用 BeautifulSoup 找到
class="t clearfix"的天气列表; - 逐个解析日期、天气、最高温、最低温;
- 使用 SQLite 保存到
homework2_1.db的weather表。
整个程序可以分成“准备参数、请求网页、解析 HTML、写入数据库”四个部分。城市代码不是随便写的数字,而是中国气象网内部用来定位城市的编号,例如北京是 101010100。把城市名和代码放在字典里,循环时就能同时得到城市名和对应 URL。
核心代码:
import sqlite3
import requests
from bs4 import BeautifulSoup
# 3 个城市及中国气象网城市代码
cities = {
"北京": "101010100",
"上海": "101020100",
"广州": "101280101",
}
DB = "homework2_1.db" # SQLite 数据库文件
# 模拟浏览器请求,避免被网站拒绝
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/156.0.0.0 Safari/537.36 Edg/156.0.0.0"
}
# 连接数据库,每次运行重建 weather 表
conn = sqlite3.connect(DB)
conn.execute("DROP TABLE IF EXISTS weather")
conn.execute("""
CREATE TABLE weather (
city TEXT,
date TEXT,
weather TEXT,
highTemp TEXT,
lowTemp TEXT,
PRIMARY KEY (city, date)
)
""")
conn.commit()
for city, cityCode in cities.items():
# 城市代码拼到 URL 中,得到该城市的天气页面
url = "http://www.weather.com.cn/weather/" + cityCode + ".shtml"
response = requests.get(url, headers=headers, timeout=15)
# 页面声明可能是其他编码,这里统一按 UTF-8 解码
html = response.content.decode("utf-8")
soup = BeautifulSoup(html, "lxml")
# 7 天天气都在 class="t clearfix" 的 ul 中
ul = soup.find("ul", attrs={"class": "t clearfix"})
print("=" * 40, city, "=" * 40)
if ul is None:
print(city, "没有找到天气列表")
continue
# 每个 li 对应当天或未来某一天
for li in ul.find_all("li"):
day_tag = li.find("h1") # 日期
wea_tag = li.find("p", attrs={"class": "wea"}) # 天气
tem = li.find("p", attrs={"class": "tem"}) # 温度
# 页面中可能混入广告或其他结构,缺少字段就跳过
if day_tag is None or wea_tag is None or tem is None:
continue
high_tag = tem.find("span") # 最高温
low_tag = tem.find("i") # 最低温
if low_tag is None:
continue
day = day_tag.text
weather = wea_tag.text
# 今天的高温可能为空,用 "-" 占位
high_temp = high_tag.text if high_tag else "-"
low_temp = low_tag.text
# 同一城市同一天只保留一条记录
conn.execute(
"INSERT OR REPLACE INTO weather "
"(city, date, weather, highTemp, lowTemp) "
"VALUES (?, ?, ?, ?, ?)",
(city, day, weather, high_temp, low_temp)
)
print("日期:" + day + " 天气:" + weather +
" 温度:" + high_temp + "/" + low_temp)
# 提交事务,把内存中的数据真正写入数据库文件
conn.commit()
# 查询总数,确认入库是否成功
count = conn.execute("SELECT COUNT(*) FROM weather").fetchone()[0]
print("天气数据已保存到", DB, ",weather 表共有", count, "条记录")
conn.close()
代码分步说明:
requests.get(url, headers=headers, timeout=15):发送 GET 请求。headers中的User-Agent用来模拟浏览器,timeout防止网络一直卡住。response.content.decode("utf-8"):把响应字节按 UTF-8 解码。网页响应头不一定准确,直接使用response.text有时会出现乱码,所以这里显式解码。soup.find("ul", attrs={"class": "t clearfix"}):定位包含 7 天天气的列表。class中间有空格,所以用attrs传入完整字符串,而不是class_="t"。ul.find_all("li"):列表中的每个<li>对应一天。每一天内部再用h1找日期,用p.wea找天气,用p.tem找温度。tem.find("span"):最高温;tem.find("i"):最低温。今天的高温可能已经过去,页面只保留最低温,所以需要判断span是否存在。INSERT OR REPLACE:以(city, date)作为联合主键,重复运行时会覆盖同一天的数据,不会无限增加重复记录。conn.commit():把内存中的修改提交到数据库;SELECT COUNT(*)用来检查最终写入的条数。
运行结果:

3 个城市各 7 天,共 21 条天气记录。数据库表 weather 的字段含义如下:
| 字段 | 含义 |
|---|---|
city |
城市名称 |
date |
页面上的日期文字,例如“15日(今天)” |
weather |
天气描述,例如“多云” |
highTemp |
最高温度 |
lowTemp |
最低温度 |
(city, date) 是联合主键,因此同一个城市同一天只保留一条记录。
gitee :https://gitee.com/wqwabc/data-collection-and-fusion/tree/main/作业2/1
2-1.2 作业心得
这次实验让我熟悉了使用 requests + BeautifulSoup 解析网页的基本流程。中国气象网的天气数据在 <ul class="t clearfix"> 中,每一天对应一个 <li>,日期在 <h1> 中,天气在 <p class="wea"> 中,温度在 <p class="tem"> 中。
在解析 HTML 时,我最大的感受是“页面结构比代码本身更重要”。如果不知道日期在 h1、天气在 p.wea、温度在 p.tem,即使会写 Python 也很难取到正确的数据。因此写爬虫之前,应该先在浏览器中按 F12 查看 Elements,确认标签层级,再写选择器。
另外,今天的高温为空这个问题让我认识到:网页数据并不总是完整的。代码不能默认每个标签都存在,否则一个缺失的 <span> 就会让整个程序中断。比较稳妥的做法是先判断标签是否存在,再决定保存实际温度还是占位符 -。如果不处理这种情况,程序只能抓到 6 天,无法达到“7 日天气预报”的要求。
2-2 东方财富股票行情
2-2.1 作业代码与运行结果
这个接口的返回结构是 JSON,核心数据在 data.pool 中,每一只股票是一个字典。主要字段含义如下:
| 字段 | 含义 |
|---|---|
c |
股票代码 |
n |
股票名称 |
m |
市场代码,1 表示沪市,0 表示深市 |
p |
最新价,接口放大了 1000 倍 |
zdp |
涨跌幅 |
amount |
成交额,单位元 |
hs |
换手率 |
lbc |
连板数 |
hybk |
所属行业 |
翻页参数 Pageindex 从 0 开始,pagesize=20 表示每页 20 条。程序循环请求前 3 页,当某一页不足 20 条时说明已经到最后一页,可以提前结束。
核心代码:
import sqlite3
from datetime import datetime
import requests
DB = "homework2.db" # SQLite 数据库文件
# 东方财富涨停板池接口
url = "https://push2ex.eastmoney.com/getTopicZTPool"
# 接口需要 YYYYMMDD 格式的日期
today = datetime.now().strftime("%Y%m%d")
MAX_PAGES = 3 # 抓前 3 页
# 请求参数:Pageindex 是页码,pagesize 是每页数量
params = {
"ut": "7eea3edcaed734bea9cbfc24409ed989", # 接口令牌
"dpt": "wz.ztzt", # 涨停板池类型
"Pageindex": 0, # 第 1 页(从 0 开始)
"pagesize": 20, # 每页 20 只
"sort": "fbt:asc", # 按首次封板时间排序
"date": today, # 交易日期
}
# 模拟浏览器请求
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/120.0.0.0 Safari/537.36",
"Referer": "https://quote.eastmoney.com/",
}
# ---------- 1. 翻页请求东方财富 ----------
stocks = [] # 保存所有页的股票
trade_date = None # 接口返回的交易日
for page in range(MAX_PAGES):
params["Pageindex"] = page # Pageindex 从 0 开始
# 发送请求,timeout 防止网络一直卡住
response = requests.get(url, params=params, headers=headers, timeout=15)
response.raise_for_status() # 状态码不是 200 时直接报错
response.encoding = "utf-8"
# 接口返回 JSON,股票列表在 data.pool 中
data = response.json()["data"]
page_stocks = data["pool"] or []
trade_date = data["qdate"] # 接口对应的交易日
print("第", page + 1, "页抓到", len(page_stocks), "只")
if not page_stocks:
break
stocks.extend(page_stocks)
# 当前页不足 pagesize 条,说明已经是最后一页
if len(page_stocks) < params["pagesize"]:
break
# 按股票代码去重
unique_stocks = []
seen = set()
for item in stocks:
if item["c"] not in seen:
seen.add(item["c"])
unique_stocks.append(item)
stocks = unique_stocks
print("实际请求 URL:", response.url)
print("本次共抓到股票:", len(stocks), "只;交易日:", trade_date)
这段代码的关键点:
params["Pageindex"] = page:每轮循环修改页码,实现翻页。response.raise_for_status():如果 HTTP 状态码不是 200,直接抛出异常,避免把错误页面当成 JSON 解析。response.encoding = "utf-8":接口虽然有时声明 UTF-8,显式设置更稳妥,避免中文股票名乱码。data["pool"]:当前页的股票列表;data["qdate"]:这次数据对应的交易日。len(page_stocks) < params["pagesize"]:当前页不足 20 条,说明没有下一页,提前break,避免无意义的请求。seen集合:不同页之间可能有重复股票,用股票代码去重后再入库。
入库时只保存接口能提供的字段:
# ---------- 2. 建表 ----------
conn = sqlite3.connect(DB)
conn.execute("DROP TABLE IF EXISTS stocks") # 每次运行保存最新结果
conn.execute("""
CREATE TABLE stocks (
code TEXT PRIMARY KEY, -- 股票代码
name TEXT, -- 股票名称
market TEXT, -- 沪A/深A/北交
price REAL, -- 最新价
changePct REAL, -- 涨跌幅
amount REAL, -- 成交额(元)
turnoverRate REAL, -- 换手率
industry TEXT, -- 所属行业
limitUpDays INTEGER, -- 连板数
updateTime TEXT -- 采集时间
)
""")
conn.commit()
# ---------- 3. 解析并入库 ----------
print("=" * 100)
print("作业②:东方财富涨停板池(前 3 页)")
print("=" * 100)
print(f"{'序号':<4}{'代码':<8}{'名称':<10}{'最新价':>8}"
f"{'涨跌幅':>9}{'成交额(亿)':>12}{'换手率':>9}{'连板':>5} 行业")
updateTime = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
for i, item in enumerate(stocks, start=1):
code = item["c"]
name = item["n"]
market_code = item["m"]
if market_code == 1:
market = "沪A"
elif code.startswith(("4", "8", "92")):
market = "北交"
else:
market = "深A"
# 接口价格放大了 1000 倍,5010 表示 5.01
price = item["p"] / 1000
changePct = item["zdp"]
amount = item["amount"]
turnoverRate = item["hs"]
industry = item["hybk"]
limitUpDays = item["lbc"]
# 用 REPLACE 避免同一只股票重复插入
conn.execute(
"INSERT OR REPLACE INTO stocks "
"(code, name, market, price, changePct, amount, turnoverRate, "
" industry, limitUpDays, updateTime) "
"VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?)",
(code, name, market, price, changePct, amount, turnoverRate,
industry, limitUpDays, updateTime)
)
print(f"{i:<4}{code:<8}{name:<10}{price:>8.2f}"
f"{changePct:>8.2f}%{amount / 100000000:>12.2f}"
f"{turnoverRate:>8.2f}%{limitUpDays:>5} {industry}")
conn.commit()
count = conn.execute("SELECT COUNT(*) FROM stocks").fetchone()[0]
print("=" * 100)
print("股票数据已保存到", DB, ",stocks 表共有", count, "条记录")
conn.close()
数据库表 stocks 使用 code 作为主键,因此同一只股票只保留一条记录。price 保存的是除以 1000 之后的真实价格;amount 保存原始成交额(元),显示时再除以一亿换算成“亿元”。market 根据市场代码和股票代码前缀判断,北交所代码通常以 4、8、92 开头。
运行结果:

gitee : https://gitee.com/wqwabc/data-collection-and-fusion/tree/main/作业2/2
2-2.2 作业心得
东方财富股票爬虫让我了解了 JSON 接口的解析方式。和 HTML 页面不同,接口返回的数据已经是结构化的 JSON,只需要用 response.json() 转成字典,再按字段取值即可。
这两个程序都使用 SQLite 保存数据。SQLite 不需要安装数据库服务,直接生成 .db 文件,适合课程实验。通过 CREATE TABLE、INSERT OR REPLACE 和 SELECT COUNT(*),我掌握了 Python 操作数据库的基本流程。
2-3 软科中国大学 2021 主榜
2-3.1 作业代码与运行结果
F12调试:

在浏览器 F12 的 Network 中可以找到软科排名的数据接口:
https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021
接口返回 JSON,data.rankings 中是全部 582 所院校。
参数含义:
bcur_type=11:表示中国大学主榜;year=2021:表示 2021 年榜单;Referer:告诉服务器请求来自排名页面,避免被当成异常请求。
如果直接解析排名页面的 HTML,只能拿到页面首屏渲染的 30 条左右数据,因为后面的数据是页面滚动或 JavaScript 动态加载的。使用这个接口可以一次性拿到全部院校,既减少请求次数,也避免模拟滚动。
核心代码:
import sqlite3
from datetime import datetime
import requests
DB = "homework2_3.db" # SQLite 数据库文件
# 在浏览器 F12 -> Network 中抓到的数据接口
url = "https://www.shanghairanking.cn/api/pub/v1/bcur"
params = {
"bcur_type": 11, # 11 表示主榜
"year": 2021, # 2021 年榜单
}
# 模拟浏览器请求,Referer 表示请求来自排名页面
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/120.0.0.0 Safari/537.36",
"Referer": "https://www.shanghairanking.cn/rankings/bcur/2021",
}
# 1. 请求接口,接口返回 JSON
response = requests.get(url, params=params, headers=headers, timeout=20)
response.raise_for_status() # 非 200 状态码直接报错
rankings = response.json()["data"]["rankings"] # 全部院校列表
print("接口返回院校数量:", len(rankings))
# 2. 连接数据库,重建 universities 表
conn = sqlite3.connect(DB)
conn.execute("DROP TABLE IF EXISTS universities")
conn.execute("""
CREATE TABLE universities (
rank_no TEXT, -- 排名
name_cn TEXT, -- 学校中文名
province TEXT, -- 省市
category TEXT, -- 学校类型
score REAL, -- 总分
update_time TEXT, -- 采集时间
PRIMARY KEY (rank_no, name_cn)
)
""")
conn.commit()
update_time = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
print(f"{'排名':<6}{'学校名称':<16}{'省市':<8}{'类型':<8}{'总分':>8}")
print("-" * 55)
# 3. 逐条解析并写入数据库
for item in rankings:
# 接口字段名和数据库列名不完全一样,这里做映射
rank_no = str(item.get("ranking", "")) # 排名
name = item.get("univNameCn", "") # 学校中文名
province = item.get("province", "") # 省市
category = item.get("univCategory", "") # 学校类型
# 有些学校没有总分,空值保存为 NULL
score = item.get("score")
score = float(score) if score not in ("", None) else None
# 用 REPLACE 避免同一所学校重复插入
conn.execute(
"INSERT OR REPLACE INTO universities "
"(rank_no, name_cn, province, category, score, update_time) "
"VALUES (?, ?, ?, ?, ?, ?)",
(rank_no, name, province, category, score, update_time)
)
# 屏幕只打印前 50 名,完整数据已经写入数据库
if rank_no.isdigit() and int(rank_no) <= 50:
score_text = "-" if score is None else f"{score:.1f}"
print(f"{rank_no:<6}{name:<16}{province:<8}{category:<8}{score_text:>8}")
conn.commit()
saved = conn.execute("SELECT COUNT(*) FROM universities").fetchone()[0]
print("-" * 55)
print("大学数据已保存到", DB, ",universities 表共有", saved, "条记录")
conn.close()
接口中每一条记录的字段和数据库列的对应关系如下:
| 接口字段 | 数据库字段 | 含义 |
|---|---|---|
ranking |
rank_no |
排名,保存为 TEXT,兼容并列名次 |
univNameCn |
name_cn |
学校中文名 |
province |
province |
省市 |
univCategory |
category |
学校类型 |
score |
score |
总分 |
运行结果:

gitee :https://gitee.com/wqwabc/data-collection-and-fusion/tree/main/作业2/2
2-3.2 作业心得
软科大学排名爬虫让我体会到“先抓包、再写代码”的重要性。排名页面是动态加载的,直接解析 HTML 只能拿到首屏的一部分数据;通过 F12 找到 bcur 接口后,可以一次性拿到全部 582 所院校,代码也更简单。
通过本次实验,我最大的收获是:写爬虫之前要先分析数据来源,是 HTML 表格还是 JSON 接口;同时要考虑接口失效、字段缺失和数据重复等情况。代码写完以后,还要实际运行,检查数据库中的数据条数和字段是否正确。数据库表的主键设计、字段类型和去重逻辑,也会直接影响最终数据的质量。

浙公网安备 33010602011771号