数据采集与融合第二次作业
数据采集与融合技术 · 第二次作业
本次作业一共三个小题目:中国气象网天气、东方财富股票行情、软科中国大学排名。
运行环境:Python 3.12、requests、beautifulsoup4、lxml、sqlite3。数据库文件直接放在各自作业目录里,重新运行脚本会先清空旧表再写入,保证每次跑出来的都是最新数据。
仓库目录结构:
data-collection-and-fusion/
├── 作业1/
│ ├── 1.py
│ ├── weather.db
│ └── images/f12_weather.gif
├── 作业2/
│ ├── 2.py
│ ├── stock.db
│ └── images/f12_stock.png
├── 作业3/
│ ├── 3.py
│ ├── university.db
│ └── images/f12_rankings.gif
└── 实验报告.md
一、实验代码与抓包过程
1.1 作业①:中国气象网 3~5 个城市 7 日天气预报
1.1.1 先从页面里找到 7 天的数据
打开 http://www.weather.com.cn/weather/101010100.shtml,地址里的 101010100 就是北京的城市编码,换一个编码就是换一个城市,所以抓取时只要拼 URL 就行,不用点页面上的城市切换。本次选了 5 个城市:
| 城市 | 编码 | 城市 | 编码 |
|---|---|---|---|
| 北京 | 101010100 | 深圳 | 101280601 |
| 上海 | 101020100 | 成都 | 101270101 |
| 广州 | 101280101 |
按 F12 打开 Elements 面板,用 Ctrl+F 搜索 t clearfix,能直接定位到 7 天预报的容器 <ul class="t clearfix">,它下面正好 7 个 <li>,一个 li 就是一天。整个过程录成了 GIF:

定位到 ul.t.clearfix 之后,再逐个展开 li,结构很规整,四个字段分别在这几个位置:
- 日期:
<h1>6日(今天)</h1> - 天气:
<p class="wea">晴转多云</p> - 气温:
<p class="tem"><i>14</i>/<i>2</i>℃</p> - 风力:
<p class="win"><em><span title="东南风"></span>…</em><i><3级</i></p>,风向写在title属性里
因为数据是直接写在 HTML 里的(服务端渲染),所以不需要找接口,requests 拿回来用 BeautifulSoup 解析就可以了。
1.1.2 代码
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""作业①:抓取中国气象网 7 日天气预报,保存到 SQLite 数据库。
思路:7 日预报页 http://www.weather.com.cn/weather/城市编码.shtml
把 7 天的数据直接写在 HTML 的 <ul class="t clearfix"> 里,
requests 拿到网页后,用 BeautifulSoup 找到每个 <li>,再取出日期、
天气、气温、风力,最后写进数据库。
运行:python 1.py
"""
import re
import sqlite3
from datetime import date, datetime
import requests
from bs4 import BeautifulSoup
# 要抓的城市,键是城市名,值是气象网的城市编码
cities = {
"北京": "101010100",
"上海": "101020100",
"广州": "101280101",
"深圳": "101280601",
"成都": "101270101",
}
# 请求头里加上浏览器标识,避免被网站拦截
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}
def get_html(code):
"""根据城市编码下载 7 日预报页面,返回网页文本。"""
url = "http://www.weather.com.cn/weather/" + code + ".shtml"
response = requests.get(url, headers=headers, timeout=10)
response.encoding = "utf-8" # 页面是 UTF-8 编码,不设置会乱码
return response.text
def get_date(text):
"""把“6日(今天)”这类文字换成完整日期,跨月时进位到下个月。"""
day = int(re.findall(r"(\d+)日", text)[0])
today = date.today()
year = today.year
month = today.month
if day < today.day: # 比如今天 30 日,页面出现 2 日,说明到了下个月
month = month + 1
if month > 12:
month = 1
year = year + 1
return "%d-%02d-%02d" % (year, month, day)
def parse_html(html, city, code):
"""解析网页,返回 [(城市, 编码, 日期, 天气, 最高温, 最低温, 风力), ...]。"""
soup = BeautifulSoup(html, "lxml")
ul = soup.find("ul", class_="t") # 7 天预报就在这个 ul 里
rows = []
for li in ul.find_all("li"):
# 日期,例如 6日(今天)
day_text = li.find("h1").get_text(strip=True)
day = get_date(day_text)
# 天气现象,例如 晴转多云
weather = li.find("p", class_="wea").get_text(strip=True)
# 气温,例如 14/2℃,用正则取出两个数字
temp_text = li.find("p", class_="tem").get_text(strip=True)
temps = re.findall(r"-?\d+", temp_text)
high = temps[0]
low = temps[1] if len(temps) > 1 else "--"
# 风力,例如 东南风转东北风 <3级
wind_node = li.find("p", class_="win")
directions = []
for span in wind_node.find_all("span"):
name = span.get("title") # 风向写在 title 属性里
if name not in directions:
directions.append(name)
level = wind_node.find("i").get_text(strip=True)
wind = "转".join(directions) + " " + level
rows.append((city, code, day, weather, high, low, wind))
return rows
def save_to_db(rows):
"""把数据写入 weather.db,每次运行先清空旧数据再插入。"""
conn = sqlite3.connect("weather.db")
cursor = conn.cursor()
cursor.execute("""CREATE TABLE IF NOT EXISTS weather (
city TEXT,
code TEXT,
day TEXT,
weather TEXT,
high TEXT,
low TEXT,
wind TEXT,
save_time TEXT
)""")
cursor.execute("DELETE FROM weather") # 清掉上一次抓的数据
now = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
for row in rows:
cursor.execute(
"INSERT INTO weather VALUES (?, ?, ?, ?, ?, ?, ?, ?)",
row + (now,)
)
conn.commit()
conn.close()
def main():
"""主函数:逐个城市抓取,打印结果,最后写库。"""
all_rows = []
for city in cities:
code = cities[city]
print("正在抓取 " + city + " ...")
html = get_html(code)
rows = parse_html(html, city, code)
for row in rows:
print(row[2], row[3], row[4] + "/" + row[5] + "℃", row[6])
all_rows = all_rows + rows
print()
save_to_db(all_rows)
print("共写入 %d 条预报,数据库文件 weather.db" % len(all_rows))
if __name__ == "__main__":
main()
1.1.3 运行结果
正在抓取 北京 ...
2026-11-06 晴转多云 14/2℃ 东南风转东北风 <3级
2026-11-07 小雨转雨夹雪 5/0℃ 北风 <3级
2026-11-08 雨夹雪转晴 5/-3℃ 东北风转西北风 <3级
...
共写入 35 条预报,数据库文件 weather.db
5 个城市 × 7 天 = 35 条,weather 表里存了城市、编码、日期、天气、最高温、最低温、风力、保存时间共 8 列。查一下数据库确认:
| city | day | weather | high | low | wind |
|---|---|---|---|---|---|
| 北京 | 2026-11-06 | 晴转多云 | 14 | 2 | 东南风转东北风 <3级 |
| 北京 | 2026-11-07 | 小雨转雨夹雪 | 5 | 0 | 北风 <3级 |
| 北京 | 2026-11-08 | 雨夹雪转晴 | 5 | -3 | 东北风转西北风 <3级 |
SELECT COUNT(DISTINCT city), MIN(day), MAX(day) FROM weather;
-- 5 | 2026-11-06 | 2026-11-12
1.2 作业②:东方财富网股票信息
1.2.1 抓包找到行情接口
东方财富的行情页 https://quote.eastmoney.com/ 上的股票列表不是写在 HTML 里的,页面加载后由脚本再请求一次接口。F12 打开 Network 面板,按 Fetch/XHR 过滤,能看到一条请求:
https://push2.eastmoney.com/api/qt/clist/get?pn=1&pz=100&po=1&np=1&fltt=2&invt=2&fid=f3
&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23&fields=f12,f14,f2,f3,f4,f5,f6
返回的是一段 JSON,结构是 {"data": {"total": 5563, "diff": [ {...}, {...} ]}}。把参数一个个拆开看:
| 参数 | 含义 |
|---|---|
pn / pz |
第几页 / 每页多少条,想多抓就把 pz 调大 |
po / fid |
排序方向(1 降序) / 按哪个字段排(f3 涨跌幅) |
fs |
市场范围:深证主板、创业板、上证主板、科创板 |
fields |
要哪些字段,不需要的可以不写,返回就少一大截 |
fields 里每个 f 开头的是字段编号,试出来对应关系是:f12 代码、f14 名称、f2 最新价、f3 涨跌幅、f4 涨跌额、f5 成交量、f6 成交额。按题目提示把不要的字段删掉,返回的 JSON 会小很多。
直接把接口地址粘到浏览器地址栏里,能看到完整的 JSON:

这里踩了一个坑:接口不做任何伪装直接用 curl 或 requests 请求,会直接被断开(curl 返回码 000)。必须带上浏览器的 User-Agent,另外再加一个 Referer: https://quote.eastmoney.com/,请求才能正常返回数据。
1.2.2 代码
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""作业②:用 requests 请求东方财富网的行情接口,解析 JSON 后存入 SQLite。
F12 抓包可以看到,东方财富行情列表页并不是把数据写在 HTML 里,
而是由页面里的脚本去请求 https://push2.eastmoney.com/api/qt/clist/get ,
返回的是一段 JSON。这里直接请求同一个接口,把字段取出来存库。
运行:python 2.py
"""
import json
import sqlite3
from datetime import datetime
import requests
# 行情列表接口
url = "https://push2.eastmoney.com/api/qt/clist/get"
# 请求参数说明:
# pn 第几页,pz 每页多少条,po=1 表示降序,fid=f3 表示按涨跌幅排序
# fs 是市场范围:深证主板、创业板、上证主板、科创板
# fields 是要返回的字段:f12 代码、f14 名称、f2 最新价、f3 涨跌幅、
# f4 涨跌额、f5 成交量、f6 成交额
params = {
"pn": 1,
"pz": 100,
"po": 1,
"np": 1,
"fltt": 2,
"invt": 2,
"fid": "f3",
"fs": "m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23",
"fields": "f12,f14,f2,f3,f4,f5,f6",
}
# 不加请求头接口会直接断开连接,这里伪装成浏览器
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
"Referer": "https://quote.eastmoney.com/",
}
def get_stocks():
"""请求接口,返回股票数据列表。"""
response = requests.get(url, params=params, headers=headers, timeout=10)
text = response.text
data = json.loads(text) # 接口返回的就是 JSON 文本,直接解析
stock_list = data["data"]["diff"]
return stock_list
def change_to_num(value):
"""接口里停牌股票的价格会返回 '-',这里统一转成 None。"""
if value == "-" or value is None:
return None
return value
def save_to_db(stocks):
"""把股票数据写入 stock.db。"""
conn = sqlite3.connect("stock.db")
cursor = conn.cursor()
cursor.execute("""CREATE TABLE IF NOT EXISTS stock (
code TEXT,
name TEXT,
price REAL,
change_pct REAL,
change_amt REAL,
volume INTEGER,
amount INTEGER,
save_time TEXT
)""")
cursor.execute("DELETE FROM stock") # 每次运行先清空旧数据
now = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
for item in stocks:
cursor.execute(
"INSERT INTO stock VALUES (?, ?, ?, ?, ?, ?, ?, ?)",
(
item["f12"], # 代码
item["f14"], # 名称
change_to_num(item["f2"]), # 最新价
change_to_num(item["f3"]), # 涨跌幅
change_to_num(item["f4"]), # 涨跌额
change_to_num(item["f5"]), # 成交量
change_to_num(item["f6"]), # 成交额
now,
)
)
conn.commit()
conn.close()
def main():
"""主函数:抓数据、打印几条、写数据库。"""
stocks = get_stocks()
print("接口返回 %d 条股票数据" % len(stocks))
print()
print("%-8s %-10s %8s %8s %10s" % ("代码", "名称", "最新价", "涨跌幅", "成交额"))
for item in stocks[:10]:
print("%-8s %-10s %8s %8s %10s" % (
item["f12"], item["f14"], item["f2"], str(item["f3"]) + "%", item["f6"]
))
save_to_db(stocks)
print()
print("已写入 stock.db,共 %d 条" % len(stocks))
if __name__ == "__main__":
main()
1.2.3 运行结果
接口返回 100 条股票数据
代码 名称 最新价 涨跌幅 成交额
301697 贝特利 36.6 20.0% 600170551.66
300118 东方日升 10.69 19.98% 1329641878.51
300237 美晨科技 2.65 12.77% 69519506.83
...
已写入 stock.db,共 100 条
stock 表 8 列(代码、名称、最新价、涨跌幅、涨跌额、成交量、成交额、保存时间)。停牌股票接口会把价格返回成 -,代码里统一转成 NULL 再入库,避免写库时报错。
1.3 作业③:软科中国大学排名 2021 主榜
1.3.1 分析页面的发包情况
页面是 https://www.shanghairanking.cn/rankings/bcur/2021。F12 的 Network 面板里按 bcur 过滤,能看到的接口是:
https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021
bcur_type=11 是主榜,换别的数字就是医药、财经这类单科榜;year 就是年份。接口一次返回全部名单,JSON 结构是 {"code": 200, "data": {"rankings": [ ... ]}},一所学校一条记录。
GIF 里演示的是:先在左侧看到接口返回的 JSON,再到 Network 面板里点开这条请求,切到 Response 标签,能看到每条记录里的 univNameCn(学校)、province(省市)、univCategory(类型)、score(总分)、ranking(排名),和题目要求的表格字段一一对应:

顺带一提,这个页面首屏的数据其实也随 HTML 一起下发(Nuxt 的 payload),所以直接看 HTML 也能拿到第一页,但翻页、换年份时走的就是上面这个接口。抓接口更省事,一次就能把 582 所院校全部拿到。
1.3.2 代码
#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""作业③:抓取软科中国大学排名 2021 主榜全部院校,存入 SQLite。
F12 抓包可以看到,排名页 https://www.shanghairanking.cn/rankings/bcur/2021
的数据是通过接口 https://www.shanghairanking.cn/api/pub/v1/bcur 拿到的,
参数 bcur_type=11 表示主榜,year=2021 表示年份。
接口返回 JSON,全部 582 所院校都在这一个响应里。
运行:python 3.py
"""
import json
import sqlite3
from datetime import datetime
import requests
url = "https://www.shanghairanking.cn/api/pub/v1/bcur"
# bcur_type=11 是主榜,其它数字是医药、财经等单科榜单
params = {
"bcur_type": 11,
"year": 2021,
}
headers = {
"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
"(KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
}
def get_rankings():
"""请求接口,返回院校数据列表。"""
response = requests.get(url, params=params, headers=headers, timeout=15)
text = response.text
data = json.loads(text)
rankings = data["data"]["rankings"] # 所有院校都在 data.rankings 里
return rankings
def save_to_db(rankings):
"""把院校数据写入 university.db。"""
conn = sqlite3.connect("university.db")
cursor = conn.cursor()
cursor.execute("""CREATE TABLE IF NOT EXISTS university (
ranking TEXT,
name TEXT,
province TEXT,
category TEXT,
score REAL,
tags TEXT,
save_time TEXT
)""")
cursor.execute("DELETE FROM university")
now = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
for item in rankings:
cursor.execute(
"INSERT INTO university VALUES (?, ?, ?, ?, ?, ?, ?)",
(
item["ranking"], # 排名
item["univNameCn"], # 学校
item["province"], # 省市
item["univCategory"], # 类型
item["score"], # 总分
",".join(item["univTags"]), # 标签,如 985,211
now,
)
)
conn.commit()
conn.close()
def main():
"""主函数:抓数据、打印前几行、写数据库。"""
rankings = get_rankings()
print("接口返回 %d 所院校" % len(rankings))
print()
print("%-6s %-14s %-8s %-8s %8s" % ("排名", "学校", "省市", "类型", "总分"))
for item in rankings[:10]:
print("%-6s %-14s %-8s %-8s %8s" % (
item["ranking"], item["univNameCn"], item["province"],
item["univCategory"], item["score"]
))
save_to_db(rankings)
print()
print("已写入 university.db,共 %d 条" % len(rankings))
if __name__ == "__main__":
main()
1.3.3 运行结果
接口返回 582 所院校
排名 学校 省市 类型 总分
1 清华大学 北京 综合 969.2
2 北京大学 北京 综合 855.3
3 浙江大学 浙江 综合 768.7
...
582 太原学院 山西 综合 58.2
已写入 university.db,共 582 条
和题目给的示例(清华大学 969.2,北京,综合)对得上。university 表 7 列:排名、学校、省市、类型、总分、标签(985/211/双一流)、保存时间。
二、实验心得
2.1 作业①心得
这个题目让我第一次认真用 F12 的 Elements 面板去找数据,而不是靠肉眼在源码里翻。以前抓网页只知道 requests.get().text 然后正则,这次发现 Ctrl+F 直接在 DOM 树里搜类名,比在压缩过的 HTML 里找要快得多,还能顺手看到元素在页面上占的位置和尺寸,确认自己找的就是那块预报。
解析上也有几个小细节值得记一下:风向不是文本节点而是 span 的 title 属性;气温是 14/2℃ 这种合在一起的写法,要用正则拆;日期只有「6日(今天)」这样的短格式,跨月的时候要自己进位算年份月份,不然到了月末抓出来的日期是错的。这些都是文档里不会写、只能对着真实页面一点点试出来的东西。
2.2 作业②心得
第二个题目最大的收获是理解了「页面上的东西」和「页面背后的接口」是两回事。行情页里看到的表格,源码里一行数据都没有,真正的数据在 push2.eastmoney.com 这个接口后面。学会在 Network 面板里按 XHR 过滤,然后照着请求的 URL 和参数复现一遍,比解析 HTML 干净太多。
另外就是请求头这件事。第一次请求直接被断开,返回码 000,看日志完全不知道错在哪;后来把浏览器里那条请求的 Request Headers 照着抄过来(User-Agent 和 Referer),马上就有数据了。这让我意识到很多网站并不是靠验证码拦爬虫,而是看请求像不像浏览器发的。
参数也不是照抄就完事。fields 这一项把不需要的字段删掉之后,返回体积小了很多;pz 决定了每页多少条,想抓全量就得配合 pn 翻页。看懂参数再改,比盲抄 URL 有用。
2.3 作业③心得
软科这个站是前端框架渲染的,一开始我在 Network 里硬刷新,怎么都找不到接口,列表里只有一堆 payload.js、state.js。后来才想明白:首屏的数据是跟 HTML 一起下发的,接口只在切换年份、翻页这类交互时才被调用。所以抓包不能只看页面刚打开的那一瞬间,得在页面上做点操作,看它什么时候真的去请求数据。
也顺便体会到抓接口比抓页面省事。582 所院校如果按页面翻页去抓,要处理页码、拼 URL、还要防止漏页;换成接口,一个请求就全拿到了,字段也是规整的 JSON,不用再解析表格。当然前提是先把接口的参数(bcur_type、year)试明白。
最后是关于代码的写法。这次三个脚本都刻意写得比较朴素:一个函数做一件事,请求、解析、存库分开,变量名用城市名、股票代码这种看得懂的名字,关键的几行加上注释。写完回头看,几十行代码,但每一步都能对上抓包时看到的那个字段,改起来也方便。
浙公网安备 33010602011771号