数据采集第二次作业

第二次作业

本作业使用 Python 3.12,主要库为 urllib.request、BeautifulSoup、json 和 sqlite3。

作业1、中国气象网 7 日天气预报

解析过程

天气爬虫1
图中展示了中国天气网 7 日天气预报页面的抓包和元素分析过程。页面数据直接包含在服务器返回的 HTML 中,预报列表位于ul.t.clearfix 中。每条天气预报的日期、天气、最高温、最低温
和风力分别对应 h1、p.wea、p.tem span、p.tem i 和p.win 标签。

核心代码:

def parse_weather(html, city):
    soup = BeautifulSoup(html, "lxml")
    weather_list = soup.select_one("ul.t.clearfix")
    if weather_list is None:
        raise ValueError("err")

    records = []
    for item in weather_list.select("li"):
        date_tag = item.find("h1")
        if date_tag is None:
            continue

        weather_tag = item.find("p", class_="wea")
        temperature_tag = item.find("p", class_="tem")
        wind_tag = item.select_one("p.win i")

        high_temp = None
        low_temp = None
        if temperature_tag is not None:
            high_tag = temperature_tag.find("span")
            low_tag = temperature_tag.find("i")
            high_temp = parse_number(high_tag.get_text(strip=True)) if high_tag else None
            low_temp = parse_number(low_tag.get_text(strip=True)) if low_tag else None

        records.append({
            "city": city,
            "forecast_date": date_tag.get_text(strip=True),
            "weather": weather_tag.get_text(strip=True) if weather_tag else "",
            "high_temp": high_temp,
            "low_temp": low_temp,
            "wind": wind_tag.get_text(strip=True) if wind_tag else "",
        })
    return records

完整代码:https://gitee.com/oqst/2026_crawl_project/blob/master/第二次作业/作业1/weather.py

运行结果:

共保存 28 条天气记录到 weather.db

7bc1be1fb4626e41a7fbbff24a55db0d

心得体会

这次天气爬虫让我第一次完整经历了“请求网页—解析 HTML—保存数据库”的过程。和中国天气网这类页面打交道时,数据不是以 JSON 形式返回,而是直接写在 HTML 标签里,因此需要先用 urllib.request 获取页面源码,再用 BeautifulSoup 定位 ul.t.clearfix、li、h1、p.wea、p.tem 等节点。实践中最需要注意的不是代码本身,而是页面结构细节:例如“今天”的天气预报可能没有最高温,只剩下最低温,如果直接按照固定格式拆分就会报错。因此解析时要先判断标签是否存在,再提取数据。

作业2、东方财富股票信息

股票列表通过东方财富 JSON 接口获取。F12 抓包后找到接口:

https://push2.eastmoney.com/api/qt/clist/get

股票爬虫1

图中展示了东方财富股票列表的接口分析过程。股票数据由/api/qt/clist/get 接口返回,pn 控制页码,pz 控制每页数量,fields 控制返回字段。接口返回的 JSON 数据位于data.diff 中,其中 f12 表示股票代码,f14 表示股票名称,f2 表示最新价,f3 表示涨跌幅。

核心代码:

def parse_stocks(payload):
    data = payload.get("data") or {}
    stock_list = data.get("diff") or []
    if not stock_list:
        raise ValueError("")

    records = []
    for item in stock_list:
        records.append({
            "stock_code": str(item.get("f12") or ""),
            "stock_name": item.get("f14") or "",
            "latest_price": number_or_none(item.get("f2")),
            "change_percent": number_or_none(item.get("f3")),
            "change_amount": number_or_none(item.get("f4")),
            "volume": number_or_none(item.get("f5")),
            "amount": number_or_none(item.get("f6")),
            "amplitude": number_or_none(item.get("f7")),
            "high_price": number_or_none(item.get("f15")),
            "low_price": number_or_none(item.get("f16")),
            "open_price": number_or_none(item.get("f17")),
            "previous_close": number_or_none(item.get("f18")),
        })
    return records

完整代码:https://gitee.com/oqst/2026_crawl_project/blob/master/第二次作业/作业2/stock.py

运行结果

实际运行保存了 100 只股票到 stock.db。
c192078d-0bbb-4cc8-a3c1-1634606a9b9a

心得体会

东方财富股票爬虫让我认识到,很多网页的显示内容和实际数据来源并不是一回事。页面上虽然能看到股票列表,但数据并不是直接写在 HTML 中,而是通过 clist/get 接口动态加载。通过 F12 的 Network 面板分析请求后,我学会了查看请求 URL、查询参数和返回的 JSON 结构。这个接口使用 pn 控制页码、pz 控制每页数量、fields 指定需要返回的字段,说明在实际爬取中不必机械地请求所有字段,而可以根据任务需要删减参数。接口中的 f12、f14、f2、f3 等字段名虽然不直观,但结合页面显示内容就能判断它们分别代表股票代码、名称、最新价和涨跌幅。通过 json.loads() 解析数据后,再把结果映射成容易理解的字段并写入 SQLite,让我体会到“网页展示数据”和“程序获取数据”之间的区别。

作业3、2021 软科中国大学主榜

F12 抓包后找到排名接口:

https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021

大学1
这个页面使用了 Nuxt.js,服务端可能已经请求完数据,所以浏览器 Network 里不一定能看到 API 请求。这时用 Console:
大学2
在 Console 中调用该接口后,data.rankings 返回 582 条记录。程序使用 urllib.request 请求该接口,再用 json.loads() 解析,并将排名数据保存到 SQLite 数据库。

核心代码:

def parse_rankings(payload):
    data = payload.get("data") or {}
    ranking_list = data.get("rankings") or []
    if not ranking_list:
        raise ValueError("接口没有返回大学排名数据")

    records = []
    for item in ranking_list:
        records.append({
            "ranking": str(item.get("ranking") or ""),
            "school_name": item.get("univNameCn") or "",
            "province": item.get("province") or "",
            "category": item.get("univCategory") or "",
            "score": item.get("score"),
        })
    return records

完整代码 https://gitee.com/oqst/2026_crawl_project/blob/master/第二次作业/作业3/university.py

运行结果:

2021 软科中国大学主榜共 582 所,已保存到 university.db

86995db6-77bf-44ee-b49e-ea9e81e2bd52

心得体会

软科大学排名爬虫让我遇到了这次作业中最特殊的情况。按原来的想法,我认为所有动态网页都应该能在 F12 的 Network 面板中找到一个明显的 API 请求,但实际检查后发现,当前页面采用了服务端渲染,排名数据可能已经由服务器写入 payload.js 或页面数据包中,浏览器端并没有直接显示排名接口。因此不能因为 Network 中没有看到 API 就认为数据无法获取。通过进一步查看页面返回内容,并在浏览器中直接验证公开接口,我确认排名数据可以通过 /api/pub/v1/bcur?bcur_type=11&year=2021 获取,其中 bcur_type=11 表示中国大学主榜,year=2021 表示 2021 年数据。接口返回的 JSON 中,排名列表位于 data.rankings,共包含 582 条院校记录。这次实践让我认识到,分析网页时既要看 Network,也要结合 Elements、Sources 和页面返回的原始数据,不能只依赖一种方法。

总结

通过这次作业,我对网络爬虫的整体流程有了更完整的认识。爬虫并不是简单地“找标签然后复制数据”,而是要先判断网页的数据来源:有的数据直接写在 HTML 中,例如中国天气网;有的数据通过 JSON 接口动态加载,例如东方财富;还有的页面采用服务端渲染,浏览器中看到的可能只是已经生成好的页面数据包。不同的数据来源需要使用不同的分析方法,但最终目标都是找到稳定、可重复获取的数据地址。

在技术方面,我使用了 urllib.request 发送请求,用 BeautifulSoup 解析 HTML,用 json.loads() 解析接口返回的数据,并使用 SQLite 完成数据存储。通过这三项任务,我逐渐理解了请求、解析和入库之间的关系,也意识到异常处理的重要性。例如天气页面的“今天”可能没有最高温,接口字段可能使用缩写,部分网页的 Network 面板不一定显示 API,这些情况都需要根据实际返回结果进行调整。

这次作业还让我认识到,爬虫代码不能只追求“能运行一次”,还要考虑页面结构变化、重复抓取、数据字段映射和数据库表设计。今后遇到类似任务时,我会先通过 F12 分析数据来源,再编写最小验证代码,确认接口或页面结构稳定后,才进行批量抓取和数据库保存。

posted @ 2026-11-18 21:03  oqst  阅读(2)  评论(0)    收藏  举报