作业二

数据采集与融合技术作业:网络爬虫三则(天气 / 股票 / 大学排名)

Gitee 仓库地址:https://gitee.com/gandeshilaji/data-collecting-homework

一、作业①:中国气象网 7 日天气预报爬取

1. 任务要求

爬取中国气象网( http://www.weather.com.cn )给定城市集(3-5 个城市)的 7 日天气预报,并保存到数据库。

2. 思路分析

中国气象网每个城市有独立的 7 日预报页面,URL 形如 http://www.weather.com.cn/weather/城市编码.shtml。本次选取 5 个城市:

城市 编码
北京 101010100
上海 101020100
广州 101280101
深圳 101280601
杭州 101210101

按 F12 审查元素,7 日预报数据位于 div#7d > ul.t.clearfix > li 中,每个 li 对应一天:

  • h1:日期
  • p.wea:天气状况
  • p.tem:最高 / 最低气温
  • p.win:风向与风力

该页面为服务端渲染,数据直接在 HTML 中,因此用 requests + BeautifulSoup 解析即可。数据库使用 Python 自带的 SQLite,免安装。

3. 核心代码

def parse_7day_forecast(html: str) -> list:
    """解析 7 日天气预报页面,提取每日预报信息。"""
    soup = BeautifulSoup(html, "html.parser")
    # 注意:id "7d" 以数字开头,不是合法 CSS 标识符,需用 find 按属性定位
    forecast_div = soup.find("div", id="7d")
    if not forecast_div:
        return []
    day_items = forecast_div.select("ul.t.clearfix li")
    ...

踩坑记录:一开始用 soup.select("div#7d ...") 直接报 Malformed id selector 错误,因为 CSS 规范中 id 选择器不能以数字开头,改用 find("div", id="7d") 后解决。

作业①_weather数据库

4. 运行结果

[作业①] 正在爬取 北京 (http://www.weather.com.cn/weather/101010100.shtml) ...
  √ 北京 成功写入 7 条预报记录
  ...(上海、广州、深圳、杭州同样成功)
[作业①] 全部完成,数据已保存至数据库文件 weather.db

数据库 weather_forecast 表内容示例(北京):

日期 天气 最高温 最低温 风向 风力
20日(今天) 多云转晴 8 -2 西北风/北风 <3级
21日(明天) 晴 6 -3 西南风 <3级
22日(后天) 多云 4 -1 北风 <3级

作业③_university数据库

二、作业②:东方财富网股票信息爬取(requests + json)

1. 任务要求

用 requests 和 json 解析方法定向爬取股票相关信息,并存储在数据库中。

2. F12 抓包分析过程

  1. 打开东方财富行情中心 http://quote.eastmoney.com/center/gridlist.html;
  2. 按 F12 打开开发者工具 → Network → Fetch/XHR,刷新页面;
  3. 找到形如 http://82.push2.eastmoney.com/api/qt/clist/get?pn=1&pz=20&... 的请求,查看 Response 可见返回的是 JSON 数据;
  4. 分析请求参数:
    • pn / pz:页码 / 每页条数;
    • fid=f3:按涨跌幅排序;
    • fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23:市场范围(沪深 A 股);
    • fields:返回字段,其中 f12 代码、f14 名称、f2 最新价、f3 涨跌幅等,可根据需要增删参数。

返回 JSON 结构为 {"data": {"total": N, "diff": [ {...}, ... ]}},用 json.loads() 解析即可。

3. 核心代码

def fetch_stock_page(page_no: int) -> list:
    """请求一页股票列表数据,并用 json 解析为结构化字典列表。"""
    params = {
        "pn": page_no, "pz": PAGE_SIZE, "po": "1", "np": "1",
        "ut": "bd1d9ddb04089700cf9c27f6f7426281",
        "fltt": "2", "invt": "2", "fid": "f3",
        "fs": "m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23",
        "fields": "f12,f14,f2,f3,f4,f5,f6,f7,f8,f9,f15,f16,f17,f18",
    }
    response = requests.get(API_URL, headers=HEADERS, params=params, timeout=15)
    data = json.loads(response.text)          # json 解析
    diff = (data.get("data") or {}).get("diff") or []
    ...

4. 运行结果

[作业②] 正在爬取第 1/2 页 ...
  √ 第 1 页解析到 50 条股票数据
[作业②] 正在爬取第 2/2 页 ...
  √ 第 2 页解析到 50 条股票数据
[作业②] 共写入 100 条股票数据至数据库文件 stock.db

作业②_stock数据库

三、作业③:软科中国大学排名 2021 主榜爬取

1. 任务要求

爬取中国大学 2021 主榜( https://www.shanghairanking.cn/rankings/bcur/2021 )所有院校信息(排名、学校、省市、类型、总分),并存储到数据库。

2. F12 抓包分析过程

  1. 打开榜单页面,按 F12 → Network,刷新页面观察发包情况;
  2. 切换到「文档」筛选,点击名为 2021 的文档请求,查看其响应内容,发现全部院校的排名、学校、省市、类型、总分数据直接嵌入在 HTML 中(服务端渲染);
  3. 进一步分析该站点的接口,发现其还提供 JSON 数据接口 https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021,返回结构中 data.rankings 数组的 univNameCn(学校)、province(省市)、univCategory(类型)、score(总分)、ranking(排名)即为所需字段。

F12 抓包分析过程 Gif:

C156D733F4219F211CADD4528B9F1A8F

929FC989A7F91563880203710A5F33F8

75F240A29BD2D8083275A2FC28FE1339

2CFC01A99F02F3714C8EFCB167B09F34

因此爬虫采用「接口优先、页面兜底」的策略:优先请求 JSON 接口,失败时回退为解析页面 HTML。

3. 核心代码

def fetch_from_api() -> list:
    """请求榜单数据 API,用 json 解析返回结果。"""
    response = requests.get(API_URL, headers=HEADERS, params=API_PARAMS, timeout=15)
    data = json.loads(response.text)
    # 返回结构为 {"code": 0, "data": {"rankings": [ {...}, ... ]}}
    rankings = (data.get("data") or {}).get("rankings") or []
    rows = []
    for item in rankings:
        rows.append({
            "ranking": str(item.get("ranking", "")).strip(),
            "univ_name": (item.get("univNameCn") or "").strip(),
            "province": (item.get("province") or "").strip(),
            "category": (item.get("univCategory") or "").strip(),
            "score": item.get("score"),
        })
    return rows

4. 运行结果

[作业③] 方式一:正在请求榜单数据 API ...
  √ API 返回 582 条院校数据
[作业③] 共写入 582 条院校数据至数据库文件 university.db
前 5 条数据示例:
  排名 1 | 清华大学 | 北京 | 综合 | 969.2
  排名 2 | 北京大学 | 北京 | 综合 | 855.3
  排名 3 | 浙江大学 | 浙江 | 综合 | 768.7
  排名 4 | 上海交通大学 | 上海 | 综合 | 723.4
  排名 5 | 南京大学 | 江苏 | 综合 | 654.8

共爬取全部 582 所院校,结果与榜单页面一致。

929FC989A7F91563880203710A5F33F8

四、总结与体会

  1. 静态页面与接口数据的区别:作业①③的数据直接渲染在 HTML 中,用 BeautifulSoup 解析标签即可;作业②的数据由 JavaScript 异步加载,必须通过 F12 抓包找到数据接口,用 requests + json 定向获取,效率更高也更稳定。
  2. CSS 选择器细节:id 以数字开头时(如 7d)不能直接用于 CSS 选择器,需改用 find() 按属性定位。
  3. 反爬与礼貌爬虫:请求需携带 User-Agent 头,并加适当延时,避免对目标网站造成压力。
  4. 数据库存储:使用 Python 内置的 sqlite3,建表后先清空旧数据再写入,保证数据不重复,也便于追溯。
posted @ 2026-11-20 11:10  干的湿垃圾  阅读(0)  评论(0)    收藏  举报