数据采集第二次作业

实验2:Python 网络数据采集

2-1 中国气象网 7 日天气预报

2-1.1 作业代码与运行结果

实现思路:

  1. 准备北京、上海、广州 3 个城市及对应的城市代码;
  2. 请求 http://www.weather.com.cn/weather/城市代码.shtml;
  3. 用 BeautifulSoup 找到 class="t clearfix" 的天气列表;
  4. 逐个解析日期、天气、最高温、最低温;
  5. 使用 SQLite 保存到 homework2_1.db 的 weather 表。

整个程序可以分成“准备参数、请求网页、解析 HTML、写入数据库”四个部分。城市代码不是随便写的数字,而是中国气象网内部用来定位城市的编号,例如北京是 101010100。把城市名和代码放在字典里,循环时就能同时得到城市名和对应 URL。

核心代码:


import sqlite3
import requests
from bs4 import BeautifulSoup

# 3 个城市及中国气象网城市代码
cities = {
    "北京": "101010100",
    "上海": "101020100",
    "广州": "101280101",
}

DB = "homework2_1.db"  # SQLite 数据库文件

# 模拟浏览器请求,避免被网站拒绝
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                  "AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/156.0.0.0 Safari/537.36 Edg/156.0.0.0"
}

# 连接数据库,每次运行重建 weather 表
conn = sqlite3.connect(DB)
conn.execute("DROP TABLE IF EXISTS weather")
conn.execute("""
CREATE TABLE weather (
    city TEXT,
    date TEXT,
    weather TEXT,
    highTemp TEXT,
    lowTemp TEXT,
    PRIMARY KEY (city, date)
)
""")
conn.commit()

for city, cityCode in cities.items():
    # 城市代码拼到 URL 中,得到该城市的天气页面
    url = "http://www.weather.com.cn/weather/" + cityCode + ".shtml"
    response = requests.get(url, headers=headers, timeout=15)

    # 页面声明可能是其他编码,这里统一按 UTF-8 解码
    html = response.content.decode("utf-8")
    soup = BeautifulSoup(html, "lxml")

    # 7 天天气都在 class="t clearfix" 的 ul 中
    ul = soup.find("ul", attrs={"class": "t clearfix"})

    print("=" * 40, city, "=" * 40)

    if ul is None:
        print(city, "没有找到天气列表")
        continue

    # 每个 li 对应当天或未来某一天
    for li in ul.find_all("li"):
        day_tag = li.find("h1")                              # 日期
        wea_tag = li.find("p", attrs={"class": "wea"})       # 天气
        tem = li.find("p", attrs={"class": "tem"})           # 温度

        # 页面中可能混入广告或其他结构,缺少字段就跳过
        if day_tag is None or wea_tag is None or tem is None:
            continue

        high_tag = tem.find("span")   # 最高温
        low_tag = tem.find("i")       # 最低温
        if low_tag is None:
            continue

        day = day_tag.text
        weather = wea_tag.text
        # 今天的高温可能为空,用 "-" 占位
        high_temp = high_tag.text if high_tag else "-"
        low_temp = low_tag.text

        # 同一城市同一天只保留一条记录
        conn.execute(
            "INSERT OR REPLACE INTO weather "
            "(city, date, weather, highTemp, lowTemp) "
            "VALUES (?, ?, ?, ?, ?)",
            (city, day, weather, high_temp, low_temp)
        )

        print("日期:" + day + " 天气:" + weather +
              " 温度:" + high_temp + "/" + low_temp)

# 提交事务,把内存中的数据真正写入数据库文件
conn.commit()

# 查询总数,确认入库是否成功
count = conn.execute("SELECT COUNT(*) FROM weather").fetchone()[0]
print("天气数据已保存到", DB, ",weather 表共有", count, "条记录")
conn.close()

代码分步说明:

  • requests.get(url, headers=headers, timeout=15):发送 GET 请求。headers 中的 User-Agent 用来模拟浏览器,timeout 防止网络一直卡住。
  • response.content.decode("utf-8"):把响应字节按 UTF-8 解码。网页响应头不一定准确,直接使用 response.text 有时会出现乱码,所以这里显式解码。
  • soup.find("ul", attrs={"class": "t clearfix"}):定位包含 7 天天气的列表。class 中间有空格,所以用 attrs 传入完整字符串,而不是 class_="t"。
  • ul.find_all("li"):列表中的每个 <li> 对应一天。每一天内部再用 h1 找日期,用 p.wea 找天气,用 p.tem 找温度。
  • tem.find("span"):最高温;tem.find("i"):最低温。今天的高温可能已经过去,页面只保留最低温,所以需要判断 span 是否存在。
  • INSERT OR REPLACE:以 (city, date) 作为联合主键,重复运行时会覆盖同一天的数据,不会无限增加重复记录。
  • conn.commit():把内存中的修改提交到数据库;SELECT COUNT(*) 用来检查最终写入的条数。

运行结果:

屏幕截图 2026-11-16 000938

3 个城市各 7 天,共 21 条天气记录。数据库表 weather 的字段含义如下:

字段 含义
city 城市名称
date 页面上的日期文字,例如“15日(今天)”
weather 天气描述,例如“多云”
highTemp 最高温度
lowTemp 最低温度

(city, date) 是联合主键,因此同一个城市同一天只保留一条记录。

gitee :https://gitee.com/wqwabc/data-collection-and-fusion/tree/main/作业2/1

2-1.2 作业心得

这次实验让我熟悉了使用 requests + BeautifulSoup 解析网页的基本流程。中国气象网的天气数据在 <ul class="t clearfix"> 中,每一天对应一个 <li>,日期在 <h1> 中,天气在 <p class="wea"> 中,温度在 <p class="tem"> 中。

在解析 HTML 时,我最大的感受是“页面结构比代码本身更重要”。如果不知道日期在 h1、天气在 p.wea、温度在 p.tem,即使会写 Python 也很难取到正确的数据。因此写爬虫之前,应该先在浏览器中按 F12 查看 Elements,确认标签层级,再写选择器。

另外,今天的高温为空这个问题让我认识到:网页数据并不总是完整的。代码不能默认每个标签都存在,否则一个缺失的 <span> 就会让整个程序中断。比较稳妥的做法是先判断标签是否存在,再决定保存实际温度还是占位符 -。如果不处理这种情况,程序只能抓到 6 天,无法达到“7 日天气预报”的要求。

2-2 东方财富股票行情

2-2.1 作业代码与运行结果

这个接口的返回结构是 JSON,核心数据在 data.pool 中,每一只股票是一个字典。主要字段含义如下:

字段 含义
c 股票代码
n 股票名称
m 市场代码,1 表示沪市,0 表示深市
p 最新价,接口放大了 1000 倍
zdp 涨跌幅
amount 成交额,单位元
hs 换手率
lbc 连板数
hybk 所属行业

翻页参数 Pageindex 从 0 开始,pagesize=20 表示每页 20 条。程序循环请求前 3 页,当某一页不足 20 条时说明已经到最后一页,可以提前结束。

核心代码:


import sqlite3
from datetime import datetime

import requests

DB = "homework2.db"  # SQLite 数据库文件

# 东方财富涨停板池接口
url = "https://push2ex.eastmoney.com/getTopicZTPool"

# 接口需要 YYYYMMDD 格式的日期
today = datetime.now().strftime("%Y%m%d")
MAX_PAGES = 3       # 抓前 3 页

# 请求参数:Pageindex 是页码,pagesize 是每页数量
params = {
    "ut": "7eea3edcaed734bea9cbfc24409ed989",  # 接口令牌
    "dpt": "wz.ztzt",                          # 涨停板池类型
    "Pageindex": 0,      # 第 1 页(从 0 开始)
    "pagesize": 20,      # 每页 20 只
    "sort": "fbt:asc",   # 按首次封板时间排序
    "date": today,       # 交易日期
}

# 模拟浏览器请求
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                  "AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/120.0.0.0 Safari/537.36",
    "Referer": "https://quote.eastmoney.com/",
}

# ---------- 1. 翻页请求东方财富 ----------
stocks = []          # 保存所有页的股票
trade_date = None    # 接口返回的交易日

for page in range(MAX_PAGES):
    params["Pageindex"] = page  # Pageindex 从 0 开始

    # 发送请求,timeout 防止网络一直卡住
    response = requests.get(url, params=params, headers=headers, timeout=15)
    response.raise_for_status()  # 状态码不是 200 时直接报错
    response.encoding = "utf-8"

    # 接口返回 JSON,股票列表在 data.pool 中
    data = response.json()["data"]
    page_stocks = data["pool"] or []
    trade_date = data["qdate"]  # 接口对应的交易日

    print("第", page + 1, "页抓到", len(page_stocks), "只")

    if not page_stocks:
        break

    stocks.extend(page_stocks)

    # 当前页不足 pagesize 条,说明已经是最后一页
    if len(page_stocks) < params["pagesize"]:
        break

# 按股票代码去重
unique_stocks = []
seen = set()
for item in stocks:
    if item["c"] not in seen:
        seen.add(item["c"])
        unique_stocks.append(item)
stocks = unique_stocks

print("实际请求 URL:", response.url)
print("本次共抓到股票:", len(stocks), "只;交易日:", trade_date)

这段代码的关键点:

  • params["Pageindex"] = page:每轮循环修改页码,实现翻页。
  • response.raise_for_status():如果 HTTP 状态码不是 200,直接抛出异常,避免把错误页面当成 JSON 解析。
  • response.encoding = "utf-8":接口虽然有时声明 UTF-8,显式设置更稳妥,避免中文股票名乱码。
  • data["pool"]:当前页的股票列表;data["qdate"]:这次数据对应的交易日。
  • len(page_stocks) < params["pagesize"]:当前页不足 20 条,说明没有下一页,提前 break,避免无意义的请求。
  • seen 集合:不同页之间可能有重复股票,用股票代码去重后再入库。

入库时只保存接口能提供的字段:

# ---------- 2. 建表 ----------
conn = sqlite3.connect(DB)
conn.execute("DROP TABLE IF EXISTS stocks")  # 每次运行保存最新结果
conn.execute("""
CREATE TABLE stocks (
    code TEXT PRIMARY KEY,     -- 股票代码
    name TEXT,                 -- 股票名称
    market TEXT,               -- 沪A/深A/北交
    price REAL,                -- 最新价
    changePct REAL,            -- 涨跌幅
    amount REAL,               -- 成交额(元)
    turnoverRate REAL,         -- 换手率
    industry TEXT,             -- 所属行业
    limitUpDays INTEGER,       -- 连板数
    updateTime TEXT            -- 采集时间
)
""")
conn.commit()

# ---------- 3. 解析并入库 ----------
print("=" * 100)
print("作业②:东方财富涨停板池(前 3 页)")
print("=" * 100)
print(f"{'序号':<4}{'代码':<8}{'名称':<10}{'最新价':>8}"
      f"{'涨跌幅':>9}{'成交额(亿)':>12}{'换手率':>9}{'连板':>5}  行业")

updateTime = datetime.now().strftime("%Y-%m-%d %H:%M:%S")

for i, item in enumerate(stocks, start=1):
    code = item["c"]
    name = item["n"]
    market_code = item["m"]

    if market_code == 1:
        market = "沪A"
    elif code.startswith(("4", "8", "92")):
        market = "北交"
    else:
        market = "深A"

    # 接口价格放大了 1000 倍,5010 表示 5.01
    price = item["p"] / 1000
    changePct = item["zdp"]
    amount = item["amount"]
    turnoverRate = item["hs"]
    industry = item["hybk"]
    limitUpDays = item["lbc"]

    # 用 REPLACE 避免同一只股票重复插入
    conn.execute(
        "INSERT OR REPLACE INTO stocks "
        "(code, name, market, price, changePct, amount, turnoverRate, "
        " industry, limitUpDays, updateTime) "
        "VALUES (?, ?, ?, ?, ?, ?, ?, ?, ?, ?)",
        (code, name, market, price, changePct, amount, turnoverRate,
         industry, limitUpDays, updateTime)
    )

    print(f"{i:<4}{code:<8}{name:<10}{price:>8.2f}"
          f"{changePct:>8.2f}%{amount / 100000000:>12.2f}"
          f"{turnoverRate:>8.2f}%{limitUpDays:>5}  {industry}")

conn.commit()

count = conn.execute("SELECT COUNT(*) FROM stocks").fetchone()[0]
print("=" * 100)
print("股票数据已保存到", DB, ",stocks 表共有", count, "条记录")
conn.close()

数据库表 stocks 使用 code 作为主键,因此同一只股票只保留一条记录。price 保存的是除以 1000 之后的真实价格;amount 保存原始成交额(元),显示时再除以一亿换算成“亿元”。market 根据市场代码和股票代码前缀判断,北交所代码通常以 4、8、92 开头。

运行结果:
image

gitee : https://gitee.com/wqwabc/data-collection-and-fusion/tree/main/作业2/2

2-2.2 作业心得

东方财富股票爬虫让我了解了 JSON 接口的解析方式。和 HTML 页面不同,接口返回的数据已经是结构化的 JSON,只需要用 response.json() 转成字典,再按字段取值即可。
这两个程序都使用 SQLite 保存数据。SQLite 不需要安装数据库服务,直接生成 .db 文件,适合课程实验。通过 CREATE TABLE、INSERT OR REPLACE 和 SELECT COUNT(*),我掌握了 Python 操作数据库的基本流程。

2-3 软科中国大学 2021 主榜

2-3.1 作业代码与运行结果

F12调试:
2026-11-15T16_29_10.535Z-59945

在浏览器 F12 的 Network 中可以找到软科排名的数据接口:

https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021

接口返回 JSON,data.rankings 中是全部 582 所院校。

参数含义:

  • bcur_type=11:表示中国大学主榜;
  • year=2021:表示 2021 年榜单;
  • Referer:告诉服务器请求来自排名页面,避免被当成异常请求。

如果直接解析排名页面的 HTML,只能拿到页面首屏渲染的 30 条左右数据,因为后面的数据是页面滚动或 JavaScript 动态加载的。使用这个接口可以一次性拿到全部院校,既减少请求次数,也避免模拟滚动。

核心代码:


import sqlite3
from datetime import datetime

import requests

DB = "homework2_3.db"  # SQLite 数据库文件

# 在浏览器 F12 -> Network 中抓到的数据接口
url = "https://www.shanghairanking.cn/api/pub/v1/bcur"

params = {
    "bcur_type": 11,   # 11 表示主榜
    "year": 2021,      # 2021 年榜单
}

# 模拟浏览器请求,Referer 表示请求来自排名页面
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                  "AppleWebKit/537.36 (KHTML, like Gecko) "
                  "Chrome/120.0.0.0 Safari/537.36",
    "Referer": "https://www.shanghairanking.cn/rankings/bcur/2021",
}

# 1. 请求接口,接口返回 JSON
response = requests.get(url, params=params, headers=headers, timeout=20)
response.raise_for_status()  # 非 200 状态码直接报错
rankings = response.json()["data"]["rankings"]  # 全部院校列表

print("接口返回院校数量:", len(rankings))

# 2. 连接数据库,重建 universities 表
conn = sqlite3.connect(DB)
conn.execute("DROP TABLE IF EXISTS universities")
conn.execute("""
CREATE TABLE universities (
    rank_no TEXT,          -- 排名
    name_cn TEXT,          -- 学校中文名
    province TEXT,         -- 省市
    category TEXT,         -- 学校类型
    score REAL,            -- 总分
    update_time TEXT,      -- 采集时间
    PRIMARY KEY (rank_no, name_cn)
)
""")
conn.commit()

update_time = datetime.now().strftime("%Y-%m-%d %H:%M:%S")

print(f"{'排名':<6}{'学校名称':<16}{'省市':<8}{'类型':<8}{'总分':>8}")
print("-" * 55)

# 3. 逐条解析并写入数据库
for item in rankings:
    # 接口字段名和数据库列名不完全一样,这里做映射
    rank_no = str(item.get("ranking", ""))       # 排名
    name = item.get("univNameCn", "")           # 学校中文名
    province = item.get("province", "")         # 省市
    category = item.get("univCategory", "")     # 学校类型

    # 有些学校没有总分,空值保存为 NULL
    score = item.get("score")
    score = float(score) if score not in ("", None) else None

    # 用 REPLACE 避免同一所学校重复插入
    conn.execute(
        "INSERT OR REPLACE INTO universities "
        "(rank_no, name_cn, province, category, score, update_time) "
        "VALUES (?, ?, ?, ?, ?, ?)",
        (rank_no, name, province, category, score, update_time)
    )

    # 屏幕只打印前 50 名,完整数据已经写入数据库
    if rank_no.isdigit() and int(rank_no) <= 50:
        score_text = "-" if score is None else f"{score:.1f}"
        print(f"{rank_no:<6}{name:<16}{province:<8}{category:<8}{score_text:>8}")

conn.commit()

saved = conn.execute("SELECT COUNT(*) FROM universities").fetchone()[0]
print("-" * 55)
print("大学数据已保存到", DB, ",universities 表共有", saved, "条记录")
conn.close()

接口中每一条记录的字段和数据库列的对应关系如下:

接口字段 数据库字段 含义
ranking rank_no 排名,保存为 TEXT,兼容并列名次
univNameCn name_cn 学校中文名
province province 省市
univCategory category 学校类型
score score 总分

运行结果:

image

gitee :https://gitee.com/wqwabc/data-collection-and-fusion/tree/main/作业2/2

2-3.2 作业心得

软科大学排名爬虫让我体会到“先抓包、再写代码”的重要性。排名页面是动态加载的,直接解析 HTML 只能拿到首屏的一部分数据;通过 F12 找到 bcur 接口后,可以一次性拿到全部 582 所院校,代码也更简单。

通过本次实验,我最大的收获是:写爬虫之前要先分析数据来源,是 HTML 表格还是 JSON 接口;同时要考虑接口失效、字段缺失和数据重复等情况。代码写完以后,还要实际运行,检查数据库中的数据条数和字段是否正确。数据库表的主键设计、字段类型和去重逻辑,也会直接影响最终数据的质量。

posted @ 2026-11-16 23:17  WQWa  阅读(2)  评论(0)    收藏  举报