作业二
数据采集与融合技术作业:网络爬虫三则(天气 / 股票 / 大学排名)
Gitee 仓库地址:https://gitee.com/gandeshilaji/data-collecting-homework
一、作业①:中国气象网 7 日天气预报爬取
1. 任务要求
爬取中国气象网( http://www.weather.com.cn )给定城市集(3-5 个城市)的 7 日天气预报,并保存到数据库。
2. 思路分析
中国气象网每个城市有独立的 7 日预报页面,URL 形如 http://www.weather.com.cn/weather/城市编码.shtml。本次选取 5 个城市:
| 城市 | 编码 |
|---|---|
| 北京 | 101010100 |
| 上海 | 101020100 |
| 广州 | 101280101 |
| 深圳 | 101280601 |
| 杭州 | 101210101 |
按 F12 审查元素,7 日预报数据位于 div#7d > ul.t.clearfix > li 中,每个 li 对应一天:
h1:日期p.wea:天气状况p.tem:最高 / 最低气温p.win:风向与风力
该页面为服务端渲染,数据直接在 HTML 中,因此用 requests + BeautifulSoup 解析即可。数据库使用 Python 自带的 SQLite,免安装。
3. 核心代码
def parse_7day_forecast(html: str) -> list:
"""解析 7 日天气预报页面,提取每日预报信息。"""
soup = BeautifulSoup(html, "html.parser")
# 注意:id "7d" 以数字开头,不是合法 CSS 标识符,需用 find 按属性定位
forecast_div = soup.find("div", id="7d")
if not forecast_div:
return []
day_items = forecast_div.select("ul.t.clearfix li")
...
踩坑记录:一开始用 soup.select("div#7d ...") 直接报 Malformed id selector 错误,因为 CSS 规范中 id 选择器不能以数字开头,改用 find("div", id="7d") 后解决。

4. 运行结果
[作业①] 正在爬取 北京 (http://www.weather.com.cn/weather/101010100.shtml) ...
√ 北京 成功写入 7 条预报记录
...(上海、广州、深圳、杭州同样成功)
[作业①] 全部完成,数据已保存至数据库文件 weather.db
数据库 weather_forecast 表内容示例(北京):
| 日期 | 天气 | 最高温 | 最低温 | 风向 | 风力 |
|---|---|---|---|---|---|
| 20日(今天) | 多云转晴 | 8 | -2 | 西北风/北风 | <3级 |
| 21日(明天) | 晴 | 6 | -3 | 西南风 | <3级 |
| 22日(后天) | 多云 | 4 | -1 | 北风 | <3级 |

二、作业②:东方财富网股票信息爬取(requests + json)
1. 任务要求
用 requests 和 json 解析方法定向爬取股票相关信息,并存储在数据库中。
2. F12 抓包分析过程
- 打开东方财富行情中心
http://quote.eastmoney.com/center/gridlist.html; - 按 F12 打开开发者工具 → Network → Fetch/XHR,刷新页面;
- 找到形如
http://82.push2.eastmoney.com/api/qt/clist/get?pn=1&pz=20&...的请求,查看 Response 可见返回的是 JSON 数据; - 分析请求参数:
pn/pz:页码 / 每页条数;fid=f3:按涨跌幅排序;fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23:市场范围(沪深 A 股);fields:返回字段,其中f12代码、f14名称、f2最新价、f3涨跌幅等,可根据需要增删参数。
返回 JSON 结构为 {"data": {"total": N, "diff": [ {...}, ... ]}},用 json.loads() 解析即可。
3. 核心代码
def fetch_stock_page(page_no: int) -> list:
"""请求一页股票列表数据,并用 json 解析为结构化字典列表。"""
params = {
"pn": page_no, "pz": PAGE_SIZE, "po": "1", "np": "1",
"ut": "bd1d9ddb04089700cf9c27f6f7426281",
"fltt": "2", "invt": "2", "fid": "f3",
"fs": "m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23",
"fields": "f12,f14,f2,f3,f4,f5,f6,f7,f8,f9,f15,f16,f17,f18",
}
response = requests.get(API_URL, headers=HEADERS, params=params, timeout=15)
data = json.loads(response.text) # json 解析
diff = (data.get("data") or {}).get("diff") or []
...
4. 运行结果
[作业②] 正在爬取第 1/2 页 ...
√ 第 1 页解析到 50 条股票数据
[作业②] 正在爬取第 2/2 页 ...
√ 第 2 页解析到 50 条股票数据
[作业②] 共写入 100 条股票数据至数据库文件 stock.db

三、作业③:软科中国大学排名 2021 主榜爬取
1. 任务要求
爬取中国大学 2021 主榜( https://www.shanghairanking.cn/rankings/bcur/2021 )所有院校信息(排名、学校、省市、类型、总分),并存储到数据库。
2. F12 抓包分析过程
- 打开榜单页面,按 F12 → Network,刷新页面观察发包情况;
- 切换到「文档」筛选,点击名为
2021的文档请求,查看其响应内容,发现全部院校的排名、学校、省市、类型、总分数据直接嵌入在 HTML 中(服务端渲染); - 进一步分析该站点的接口,发现其还提供 JSON 数据接口
https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021,返回结构中data.rankings数组的univNameCn(学校)、province(省市)、univCategory(类型)、score(总分)、ranking(排名)即为所需字段。
F12 抓包分析过程 Gif:




因此爬虫采用「接口优先、页面兜底」的策略:优先请求 JSON 接口,失败时回退为解析页面 HTML。
3. 核心代码
def fetch_from_api() -> list:
"""请求榜单数据 API,用 json 解析返回结果。"""
response = requests.get(API_URL, headers=HEADERS, params=API_PARAMS, timeout=15)
data = json.loads(response.text)
# 返回结构为 {"code": 0, "data": {"rankings": [ {...}, ... ]}}
rankings = (data.get("data") or {}).get("rankings") or []
rows = []
for item in rankings:
rows.append({
"ranking": str(item.get("ranking", "")).strip(),
"univ_name": (item.get("univNameCn") or "").strip(),
"province": (item.get("province") or "").strip(),
"category": (item.get("univCategory") or "").strip(),
"score": item.get("score"),
})
return rows
4. 运行结果
[作业③] 方式一:正在请求榜单数据 API ...
√ API 返回 582 条院校数据
[作业③] 共写入 582 条院校数据至数据库文件 university.db
前 5 条数据示例:
排名 1 | 清华大学 | 北京 | 综合 | 969.2
排名 2 | 北京大学 | 北京 | 综合 | 855.3
排名 3 | 浙江大学 | 浙江 | 综合 | 768.7
排名 4 | 上海交通大学 | 上海 | 综合 | 723.4
排名 5 | 南京大学 | 江苏 | 综合 | 654.8
共爬取全部 582 所院校,结果与榜单页面一致。

四、总结与体会
- 静态页面与接口数据的区别:作业①③的数据直接渲染在 HTML 中,用 BeautifulSoup 解析标签即可;作业②的数据由 JavaScript 异步加载,必须通过 F12 抓包找到数据接口,用 requests + json 定向获取,效率更高也更稳定。
- CSS 选择器细节:id 以数字开头时(如
7d)不能直接用于 CSS 选择器,需改用find()按属性定位。 - 反爬与礼貌爬虫:请求需携带 User-Agent 头,并加适当延时,避免对目标网站造成压力。
- 数据库存储:使用 Python 内置的 sqlite3,建表后先清空旧数据再写入,保证数据不重复,也便于追溯。

浙公网安备 33010602011771号