数据采集第二次作业
第二次作业
本作业使用 Python 3.12,主要库为 urllib.request、BeautifulSoup、json 和 sqlite3。
作业1、中国气象网 7 日天气预报
解析过程

图中展示了中国天气网 7 日天气预报页面的抓包和元素分析过程。页面数据直接包含在服务器返回的 HTML 中,预报列表位于ul.t.clearfix 中。每条天气预报的日期、天气、最高温、最低温
和风力分别对应 h1、p.wea、p.tem span、p.tem i 和p.win 标签。
核心代码:
def parse_weather(html, city):
soup = BeautifulSoup(html, "lxml")
weather_list = soup.select_one("ul.t.clearfix")
if weather_list is None:
raise ValueError("err")
records = []
for item in weather_list.select("li"):
date_tag = item.find("h1")
if date_tag is None:
continue
weather_tag = item.find("p", class_="wea")
temperature_tag = item.find("p", class_="tem")
wind_tag = item.select_one("p.win i")
high_temp = None
low_temp = None
if temperature_tag is not None:
high_tag = temperature_tag.find("span")
low_tag = temperature_tag.find("i")
high_temp = parse_number(high_tag.get_text(strip=True)) if high_tag else None
low_temp = parse_number(low_tag.get_text(strip=True)) if low_tag else None
records.append({
"city": city,
"forecast_date": date_tag.get_text(strip=True),
"weather": weather_tag.get_text(strip=True) if weather_tag else "",
"high_temp": high_temp,
"low_temp": low_temp,
"wind": wind_tag.get_text(strip=True) if wind_tag else "",
})
return records
完整代码:https://gitee.com/oqst/2026_crawl_project/blob/master/第二次作业/作业1/weather.py
运行结果:
共保存 28 条天气记录到 weather.db

心得体会
这次天气爬虫让我第一次完整经历了“请求网页—解析 HTML—保存数据库”的过程。和中国天气网这类页面打交道时,数据不是以 JSON 形式返回,而是直接写在 HTML 标签里,因此需要先用 urllib.request 获取页面源码,再用 BeautifulSoup 定位 ul.t.clearfix、li、h1、p.wea、p.tem 等节点。实践中最需要注意的不是代码本身,而是页面结构细节:例如“今天”的天气预报可能没有最高温,只剩下最低温,如果直接按照固定格式拆分就会报错。因此解析时要先判断标签是否存在,再提取数据。
作业2、东方财富股票信息
股票列表通过东方财富 JSON 接口获取。F12 抓包后找到接口:
https://push2.eastmoney.com/api/qt/clist/get

图中展示了东方财富股票列表的接口分析过程。股票数据由/api/qt/clist/get 接口返回,pn 控制页码,pz 控制每页数量,fields 控制返回字段。接口返回的 JSON 数据位于data.diff 中,其中 f12 表示股票代码,f14 表示股票名称,f2 表示最新价,f3 表示涨跌幅。
核心代码:
def parse_stocks(payload):
data = payload.get("data") or {}
stock_list = data.get("diff") or []
if not stock_list:
raise ValueError("")
records = []
for item in stock_list:
records.append({
"stock_code": str(item.get("f12") or ""),
"stock_name": item.get("f14") or "",
"latest_price": number_or_none(item.get("f2")),
"change_percent": number_or_none(item.get("f3")),
"change_amount": number_or_none(item.get("f4")),
"volume": number_or_none(item.get("f5")),
"amount": number_or_none(item.get("f6")),
"amplitude": number_or_none(item.get("f7")),
"high_price": number_or_none(item.get("f15")),
"low_price": number_or_none(item.get("f16")),
"open_price": number_or_none(item.get("f17")),
"previous_close": number_or_none(item.get("f18")),
})
return records
完整代码:https://gitee.com/oqst/2026_crawl_project/blob/master/第二次作业/作业2/stock.py
运行结果
实际运行保存了 100 只股票到 stock.db。

心得体会
东方财富股票爬虫让我认识到,很多网页的显示内容和实际数据来源并不是一回事。页面上虽然能看到股票列表,但数据并不是直接写在 HTML 中,而是通过 clist/get 接口动态加载。通过 F12 的 Network 面板分析请求后,我学会了查看请求 URL、查询参数和返回的 JSON 结构。这个接口使用 pn 控制页码、pz 控制每页数量、fields 指定需要返回的字段,说明在实际爬取中不必机械地请求所有字段,而可以根据任务需要删减参数。接口中的 f12、f14、f2、f3 等字段名虽然不直观,但结合页面显示内容就能判断它们分别代表股票代码、名称、最新价和涨跌幅。通过 json.loads() 解析数据后,再把结果映射成容易理解的字段并写入 SQLite,让我体会到“网页展示数据”和“程序获取数据”之间的区别。
作业3、2021 软科中国大学主榜
F12 抓包后找到排名接口:
https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021

这个页面使用了 Nuxt.js,服务端可能已经请求完数据,所以浏览器 Network 里不一定能看到 API 请求。这时用 Console:

在 Console 中调用该接口后,data.rankings 返回 582 条记录。程序使用 urllib.request 请求该接口,再用 json.loads() 解析,并将排名数据保存到 SQLite 数据库。
核心代码:
def parse_rankings(payload):
data = payload.get("data") or {}
ranking_list = data.get("rankings") or []
if not ranking_list:
raise ValueError("接口没有返回大学排名数据")
records = []
for item in ranking_list:
records.append({
"ranking": str(item.get("ranking") or ""),
"school_name": item.get("univNameCn") or "",
"province": item.get("province") or "",
"category": item.get("univCategory") or "",
"score": item.get("score"),
})
return records
完整代码 https://gitee.com/oqst/2026_crawl_project/blob/master/第二次作业/作业3/university.py
运行结果:
2021 软科中国大学主榜共 582 所,已保存到 university.db

心得体会
软科大学排名爬虫让我遇到了这次作业中最特殊的情况。按原来的想法,我认为所有动态网页都应该能在 F12 的 Network 面板中找到一个明显的 API 请求,但实际检查后发现,当前页面采用了服务端渲染,排名数据可能已经由服务器写入 payload.js 或页面数据包中,浏览器端并没有直接显示排名接口。因此不能因为 Network 中没有看到 API 就认为数据无法获取。通过进一步查看页面返回内容,并在浏览器中直接验证公开接口,我确认排名数据可以通过 /api/pub/v1/bcur?bcur_type=11&year=2021 获取,其中 bcur_type=11 表示中国大学主榜,year=2021 表示 2021 年数据。接口返回的 JSON 中,排名列表位于 data.rankings,共包含 582 条院校记录。这次实践让我认识到,分析网页时既要看 Network,也要结合 Elements、Sources 和页面返回的原始数据,不能只依赖一种方法。
总结
通过这次作业,我对网络爬虫的整体流程有了更完整的认识。爬虫并不是简单地“找标签然后复制数据”,而是要先判断网页的数据来源:有的数据直接写在 HTML 中,例如中国天气网;有的数据通过 JSON 接口动态加载,例如东方财富;还有的页面采用服务端渲染,浏览器中看到的可能只是已经生成好的页面数据包。不同的数据来源需要使用不同的分析方法,但最终目标都是找到稳定、可重复获取的数据地址。
在技术方面,我使用了 urllib.request 发送请求,用 BeautifulSoup 解析 HTML,用 json.loads() 解析接口返回的数据,并使用 SQLite 完成数据存储。通过这三项任务,我逐渐理解了请求、解析和入库之间的关系,也意识到异常处理的重要性。例如天气页面的“今天”可能没有最高温,接口字段可能使用缩写,部分网页的 Network 面板不一定显示 API,这些情况都需要根据实际返回结果进行调整。
这次作业还让我认识到,爬虫代码不能只追求“能运行一次”,还要考虑页面结构变化、重复抓取、数据字段映射和数据库表设计。今后遇到类似任务时,我会先通过 F12 分析数据来源,再编写最小验证代码,确认接口或页面结构稳定后,才进行批量抓取和数据库保存。

浙公网安备 33010602011771号