第二次作业_博客稿.md

juju# 第二次作业:requests 数据采集与数据库存储

环境说明:Python 3.11、requests、BeautifulSoup4(lxml)、pymysql、MySQL 5.7/8.0。
依赖安装:pip install requests beautifulsoup4 lxml pymysql
数据库:spider_homework,建表脚本见下文《公共建表脚本》。
本文所有代码均在 作业2/ 目录下直接运行;数据同时写入 MySQL 并导出 CSV/JSON 便于查看。

一、作业代码与运行结果

公共建表脚本(作业二、作业三共用)

先建库建表,四张表分别对应三次作业的数据。脚本可重复执行。

-- sql/create_tables.sql
CREATE DATABASE IF NOT EXISTS spider_homework
    DEFAULT CHARACTER SET utf8mb4
    COLLATE utf8mb4_general_ci;

USE spider_homework;

-- 作业二①:中国天气网 7 日天气预报
CREATE TABLE IF NOT EXISTS weather_forecast (
    id            INT AUTO_INCREMENT PRIMARY KEY COMMENT '自增主键',
    city          VARCHAR(32)  NOT NULL COMMENT '城市名称',
    city_code     VARCHAR(16)  NOT NULL COMMENT '城市编码',
    forecast_date VARCHAR(32)  NOT NULL COMMENT '预报日期,如 19日(今天)',
    weather       VARCHAR(64)           COMMENT '天气现象',
    temp_high     VARCHAR(16)           COMMENT '最高气温',
    temp_low      VARCHAR(16)           COMMENT '最低气温',
    wind          VARCHAR(64)           COMMENT '风向风力',
    crawl_time    DATETIME DEFAULT CURRENT_TIMESTAMP COMMENT '抓取时间',
    KEY idx_city (city)
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COMMENT '7日天气预报';

-- 作业二② / 作业三②:东方财富股票行情
CREATE TABLE IF NOT EXISTS stock_quote (
    id           INT AUTO_INCREMENT PRIMARY KEY COMMENT '序号',
    stock_no     VARCHAR(16) NOT NULL COMMENT '股票代码',
    stock_name   VARCHAR(32) NOT NULL COMMENT '股票名称',
    latest_price VARCHAR(16)          COMMENT '最新报价',
    change_pct   VARCHAR(16)          COMMENT '涨跌幅(%)',
    change_amt   VARCHAR(16)          COMMENT '涨跌额',
    volume       VARCHAR(32)          COMMENT '成交量',
    turnover     VARCHAR(32)          COMMENT '成交额',
    amplitude    VARCHAR(16)          COMMENT '振幅(%)',
    high         VARCHAR(16)          COMMENT '最高',
    low          VARCHAR(16)          COMMENT '最低',
    open_price   VARCHAR(16)          COMMENT '今开',
    prev_close   VARCHAR(16)          COMMENT '昨收',
    crawl_time   DATETIME DEFAULT CURRENT_TIMESTAMP COMMENT '抓取时间',
    UNIQUE KEY uk_stock_no (stock_no)
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COMMENT '股票行情';

-- 作业二③:软科中国大学排名 2021 主榜
CREATE TABLE IF NOT EXISTS university_ranking (
    id         INT AUTO_INCREMENT PRIMARY KEY COMMENT '自增主键',
    rank_no    INT          COMMENT '排名',
    university VARCHAR(64)  COMMENT '学校',
    province   VARCHAR(32)  COMMENT '省市',
    uni_type   VARCHAR(32)  COMMENT '类型',
    score      VARCHAR(16)  COMMENT '总分'
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COMMENT '2021软科中国大学排名';

-- 作业三③:中国银行外汇牌价
CREATE TABLE IF NOT EXISTS forex_rate (
    id            INT AUTO_INCREMENT PRIMARY KEY COMMENT '自增主键',
    currency      VARCHAR(32) COMMENT '货币名称',
    tbp           VARCHAR(16) COMMENT '现汇买入价',
    cbp           VARCHAR(16) COMMENT '现钞买入价',
    tsp           VARCHAR(16) COMMENT '现汇卖出价',
    csp           VARCHAR(16) COMMENT '现钞卖出价',
    publish_time  VARCHAR(16) COMMENT '发布时间',
    publish_date  VARCHAR(16) COMMENT '发布日期',
    crawl_time    DATETIME DEFAULT CURRENT_TIMESTAMP COMMENT '抓取时间',
    UNIQUE KEY uk_currency_time (currency, publish_time, publish_date)
) ENGINE = InnoDB DEFAULT CHARSET = utf8mb4 COMMENT '外汇牌价';

作业①:中国气象网 5 个城市 7 日天气预报

思路:中国天气网的天气页面为 http://www.weather.com.cn/weather/{城市编码}.shtml,
7 日预报写在 ul.t.clearfix > li 列表中:h1 是日期、p.wea 是天气现象、
p.tem 中 span 为最高温、i 为最低温、p.win i 为风向风力。
用 requests 取页面、BeautifulSoup 解析,再批量写入 weather_forecast 表。

# 作业2/1.py
# -*- coding: utf-8 -*-
"""作业二①:爬取中国天气网指定城市未来 7 天天气预报,并保存到 MySQL。"""

from pathlib import Path

import pymysql
import requests
from bs4 import BeautifulSoup

# ---------------------------------------------------------------- 配置
# 5 个城市及其在中国天气网的编码
CITY_CODES = {
    "北京": "101010100",
    "上海": "101020100",
    "广州": "101280101",
    "深圳": "101280601",
    "成都": "101270101",
}

HEADERS = {
    "User-Agent": ("Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                   "AppleWebKit/537.36 (KHTML, like Gecko) "
                   "Chrome/120.0 Safari/537.36"),
    "Referer": "http://www.weather.com.cn/",
}

DB_CONFIG = {
    "host": "localhost",
    "port": 3306,
    "user": "root",
    "password": "123456",   # TODO: 改成自己的 MySQL 密码
    "database": "spider_homework",
    "charset": "utf8mb4",
}

DATA_DIR = Path(__file__).resolve().parent.parent / "数据"


def fetch_forecast(city: str, code: str) -> list:
    """抓取一个城市的 7 日预报,返回 [(city, code, 日期, 天气, 最高温, 最低温, 风向)]。"""
    url = "http://www.weather.com.cn/weather/%s.shtml" % code
    resp = requests.get(url, headers=HEADERS, timeout=10)
    resp.raise_for_status()
    resp.encoding = "utf-8"

    soup = BeautifulSoup(resp.text, "lxml")
    rows = []
    for li in soup.select("ul.t.clearfix > li"):
        h1 = li.find("h1")
        wea = li.find("p", class_="wea")
        tem = li.find("p", class_="tem")
        win = li.find("p", class_="win")
        if not (h1 and wea):
            continue

        # 最高温在 span 中,最低温在 i 中;部分日期只有一种
        high = tem.find("span").get_text(strip=True) if tem and tem.find("span") else ""
        low = tem.find("i").get_text(strip=True) if tem and tem.find("i") else ""
        wind = win.find("i").get_text(strip=True) if win and win.find("i") else ""

        rows.append((city, code, h1.get_text(strip=True),
                     wea.get_text(strip=True), high, low, wind))
    return rows


def save_to_mysql(all_rows: list) -> None:
    """把结果写入 MySQL:先删掉这些城市的旧数据,再批量插入。"""
    conn = pymysql.connect(**DB_CONFIG)
    try:
        with conn.cursor() as cur:
            cur.execute(
                "DELETE FROM weather_forecast WHERE city_code IN (%s)"
                % ",".join(["%s"] * len(CITY_CODES)),
                list(CITY_CODES.values()),
            )
            cur.executemany(
                "INSERT INTO weather_forecast"
                "(city, city_code, forecast_date, weather, temp_high, temp_low, wind) "
                "VALUES (%s, %s, %s, %s, %s, %s, %s)",
                all_rows,
            )
        conn.commit()
    finally:
        conn.close()


def save_to_csv(all_rows: list) -> None:
    """导出 CSV,便于直接查看结果(utf-8-sig 保证 Excel 不乱码)。"""
    DATA_DIR.mkdir(parents=True, exist_ok=True)
    path = DATA_DIR / "weather_forecast.csv"
    with open(path, "w", encoding="utf-8-sig", newline="") as fp:
        fp.write("城市,城市编码,日期,天气,最高温,最低温,风向\n")
        for row in all_rows:
            fp.write(",".join(str(x) for x in row) + "\n")
    print("CSV 已导出:%s" % path)


def main() -> None:
    all_rows = []
    for city, code in CITY_CODES.items():
        try:
            rows = fetch_forecast(city, code)
        except Exception as exc:          # 单个城市失败不影响其它城市
            print("[失败] %s:%s" % (city, exc))
            continue

        print("\n===== %s(%s)7 日预报 =====" % (city, code))
        for r in rows:
            print("  %-10s %-6s %-6s %-6s %s" % (r[2], r[3], r[4], r[5], r[6]))
        all_rows.extend(rows)

    if not all_rows:
        print("没有抓到任何数据,请检查网络或页面结构是否变化")
        return

    try:
        save_to_mysql(all_rows)
        print("\n共写入 MySQL %d 条记录" % len(all_rows))
    except Exception as exc:            # MySQL 未启动时仍导出 CSV
        print("\n[MySQL 写入失败] %s" % exc)
        print("请先启动 MySQL 并执行 sql/create_tables.sql")
    save_to_csv(all_rows)


if __name__ == "__main__":
    main()

运行结果:5 个城市 × 7 天 = 35 条记录,控制台按城市分组输出,数据库表 weather_forecast 同步写入。

===== 北京(101010100)7 日预报 =====
  19日(今天)  晴     -2℃   <3级
  20日(明天)  晴     8℃    -2℃   <3级
  21日(后天)  晴     6℃    -3℃   <3级
  22日(周日)  多云   6℃    -3℃   <3级
  ...
CSV 已导出:...\数据\weather_forecast.csv

image

作业②:requests + json 定向爬取东方财富股票

F12 抓包过程:打开 https://quote.eastmoney.com/center/gridlist.html,在 Network 面板筛选
Fetch/XHR,刷新页面即可看到行情列表来自
https://push2.eastmoney.com/api/qt/clist/get。接口参数含义:

参数 含义
pn / pz 页码 / 每页条数
po / fid 排序方向(1=降序)/ 排序字段
fs 市场板块,m:0+t:6 等为沪深 A 股组合
fields 需要的字段,f2最新价、f3涨跌幅、f4涨跌额、f5成交量、f6成交额、f7振幅、f12代码、f14名称、f15最高、f16最低、f17今开、f18昨收

返回的是 JSON,data.diff 为当页数据列表。按题目提示可删减不需要的 f 参数,减少返回体积。

# 作业2/2.py
# -*- coding: utf-8 -*-
"""作业二②:requests + json 解析,定向爬取东方财富网沪深 A 股行情并存入 MySQL。"""

import json
from pathlib import Path

import pymysql
import requests

# ---------------------------------------------------------------- 配置
API_URL = "https://push2.eastmoney.com/api/qt/clist/get"
# fs 为市场板块组合:沪深 A 股
FS = "m:0+t:6,m:0+t:13,m:0+t:80,m:1+t:2,m:1+t:23"
FIELDS = "f2,f3,f4,f5,f6,f7,f12,f14,f15,f16,f17,f18"
PAGE_SIZE = 100     # 每页条数
MAX_PAGES = 5       # 最多抓 5 页,避免请求过多

HEADERS = {
    "User-Agent": ("Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                   "AppleWebKit/537.36 (KHTML, like Gecko) "
                   "Chrome/120.0 Safari/537.36"),
    "Referer": "https://quote.eastmoney.com/",
}

DB_CONFIG = {
    "host": "localhost",
    "port": 3306,
    "user": "root",
    "password": "123456",   # TODO: 改成自己的 MySQL 密码
    "database": "spider_homework",
    "charset": "utf8mb4",
}

DATA_DIR = Path(__file__).resolve().parent.parent / "数据"


def format_amount(value) -> str:
    """把成交量(手)/ 成交额(元)格式化为 万 / 亿。"""
    if value in (None, "-", ""):
        return "-"
    try:
        value = float(value)
    except (TypeError, ValueError):
        return str(value)
    if abs(value) >= 1e8:
        return "%.2f亿" % (value / 1e8)
    if abs(value) >= 1e4:
        return "%.2f万" % (value / 1e4)
    return "%.2f" % value


def fetch_page(page: int) -> tuple:
    """请求一页股票数据,返回 (总数, [标准化后的记录])。"""
    params = {
        "pn": page,
        "pz": PAGE_SIZE,
        "po": 1,            # 按涨跌幅降序
        "np": 1,
        "fltt": 2,
        "invt": 2,
        "fid": "f3",
        "fs": FS,
        "fields": FIELDS,
    }
    resp = requests.get(API_URL, params=params, headers=HEADERS, timeout=10)
    resp.raise_for_status()
    payload = json.loads(resp.text)

    data = payload.get("data") or {}
    total = data.get("total", 0)
    diff = data.get("diff") or []
    if isinstance(diff, dict):          # 兼容 diff 为字典的情况
        diff = list(diff.values())

    rows = []
    for item in diff:
        rows.append((
            str(item.get("f12", "")),                 # 股票代码
            item.get("f14", ""),                      # 股票名称
            item.get("f2", "-"),                      # 最新报价
            item.get("f3", "-"),                      # 涨跌幅
            item.get("f4", "-"),                      # 涨跌额
            format_amount(item.get("f5")),            # 成交量
            format_amount(item.get("f6")),            # 成交额
            item.get("f7", "-"),                      # 振幅
            item.get("f15", "-"),                     # 最高
            item.get("f16", "-"),                     # 最低
            item.get("f17", "-"),                     # 今开
            item.get("f18", "-"),                     # 昨收
        ))
    return total, rows


def save_to_mysql(rows: list) -> None:
    """先清空表再写入,保证多次运行结果不重复。"""
    conn = pymysql.connect(**DB_CONFIG)
    try:
        with conn.cursor() as cur:
            cur.execute("TRUNCATE TABLE stock_quote")
            cur.executemany(
                "INSERT INTO stock_quote"
                "(stock_no, stock_name, latest_price, change_pct, change_amt, "
                " volume, turnover, amplitude, high, low, open_price, prev_close) "
                "VALUES (%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s,%s)",
                rows,
            )
        conn.commit()
    finally:
        conn.close()


def save_to_csv(rows: list) -> None:
    DATA_DIR.mkdir(parents=True, exist_ok=True)
    path = DATA_DIR / "stock_quote.csv"
    with open(path, "w", encoding="utf-8-sig", newline="") as fp:
        fp.write("股票代码,股票名称,最新报价,涨跌幅,涨跌额,成交量,成交额,振幅,最高,最低,今开,昨收\n")
        for row in rows:
            fp.write(",".join(str(x) for x in row) + "\n")
    print("CSV 已导出:%s" % path)


def main() -> None:
    all_rows = []
    total = 0
    for page in range(1, MAX_PAGES + 1):
        total, rows = fetch_page(page)
        if not rows:
            break
        all_rows.extend(rows)
        print("第 %d 页抓取 %d 条(总数 %d)" % (page, len(rows), total))
        if len(all_rows) >= total:
            break

    if not all_rows:
        print("未获取到数据,请检查接口是否变更")
        return

    # 打印前 5 条预览
    print("\n序号  代码     名称        最新   涨跌幅   成交量     振幅   最高   最低")
    for i, r in enumerate(all_rows[:5], start=1):
        print("%-4d %-8s %-10s %-6s %-8s %-9s %-6s %-6s %-6s"
              % (i, r[0], r[1], r[2], r[3], r[5], r[7], r[8], r[9]))

    try:
        save_to_mysql(all_rows)
        print("\n共写入 MySQL %d 条记录" % len(all_rows))
    except Exception as exc:            # MySQL 未启动时仍导出 CSV
        print("\n[MySQL 写入失败] %s" % exc)
        print("请先启动 MySQL 并执行 ../作业2/sql/create_tables.sql")
    save_to_csv(all_rows)


if __name__ == "__main__":
    main()

运行结果:5 页 × 100 条 = 500 条,写入 stock_quote 表,导出的 CSV 可用 Excel 直接打开。

第 1 页抓取 100 条(总数 5432)
第 2 页抓取 100 条(总数 5432)
...
序号  代码     名称        最新   涨跌幅   成交量     振幅   最高   最低
1    301348   蓝箭电子     21.66  20.00   37.55万   20.78  21.66  17.91

image

作业③:软科中国大学排名 2021 主榜

F12 抓包过程:打开 https://www.shanghairanking.cn/rankings/bcur/2021,Network 中可见
XHR 请求 https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021,
返回 JSON 的 data.rankings 即全部院校:ranking 排名、univNameCn 学校、province 省市、
univCategory 类型、score 总分。

# 作业2/3.py
# -*- coding: utf-8 -*-
"""作业二③:爬取软科中国大学排名 2021 主榜全部院校,并存入 MySQL。"""

from pathlib import Path

import pymysql
import requests

# ---------------------------------------------------------------- 配置
API_URL = "https://www.shanghairanking.cn/api/pub/v1/bcur"
PARAMS = {
    "bcur_type": "11",   # 11 = 主榜
    "year": "2021",
    "page": 1,
    "page_size": 100,
}

HEADERS = {
    "User-Agent": ("Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                   "AppleWebKit/537.36 (KHTML, like Gecko) "
                   "Chrome/120.0 Safari/537.36"),
    "Referer": "https://www.shanghairanking.cn/rankings/bcur/2021",
}

DB_CONFIG = {
    "host": "localhost",
    "port": 3306,
    "user": "root",
    "password": "123456",   # TODO: 改成自己的 MySQL 密码
    "database": "spider_homework",
    "charset": "utf8mb4",
}

DATA_DIR = Path(__file__).resolve().parent.parent / "数据"


def fetch_all() -> list:
    """分页拉取全部院校,返回 [(排名, 学校, 省市, 类型, 总分)]。"""
    rows, seen = [], set()
    page = 1
    while True:
        params = dict(PARAMS, page=page)
        resp = requests.get(API_URL, params=params, headers=HEADERS, timeout=15)
        resp.raise_for_status()
        payload = resp.json()

        if payload.get("code") != 200:
            raise RuntimeError("接口返回异常:%s" % payload.get("msg"))

        rankings = (payload.get("data") or {}).get("rankings") or []
        if not rankings:
            break

        new_count = 0
        for item in rankings:
            name = item.get("univNameCn", "")
            key = (item.get("ranking"), name)
            if key in seen:          # 接口不支持分页时避免重复
                continue
            seen.add(key)
            new_count += 1
            rows.append((
                item.get("ranking", ""),
                name,
                item.get("province", ""),
                item.get("univCategory", ""),
                item.get("score", ""),
            ))

        print("第 %d 页:%d 条,累计 %d 条" % (page, len(rankings), len(rows)))
        if new_count == 0:           # 翻页无效,说明一次已返回全部
            break
        page += 1
        if page > 20:                # 保险上限
            break

    # 按排名数值排序
    rows.sort(key=lambda r: int(r[0]) if str(r[0]).isdigit() else 10 ** 6)
    return rows


def save_to_mysql(rows: list) -> None:
    conn = pymysql.connect(**DB_CONFIG)
    try:
        with conn.cursor() as cur:
            cur.execute("TRUNCATE TABLE university_ranking")
            cur.executemany(
                "INSERT INTO university_ranking(rank_no, university, province, uni_type, score) "
                "VALUES (%s,%s,%s,%s,%s)",
                rows,
            )
        conn.commit()
    finally:
        conn.close()


def save_to_csv(rows: list) -> None:
    DATA_DIR.mkdir(parents=True, exist_ok=True)
    path = DATA_DIR / "university_ranking.csv"
    with open(path, "w", encoding="utf-8-sig", newline="") as fp:
        fp.write("排名,学校,省市,类型,总分\n")
        for row in rows:
            fp.write(",".join(str(x) for x in row) + "\n")
    print("CSV 已导出:%s" % path)


def main() -> None:
    rows = fetch_all()
    if not rows:
        print("未获取到数据")
        return

    print("\n排名  学校            省市    类型  总分")
    for r in rows[:10]:
        print("%-5s %-14s %-7s %-5s %s" % r)

    try:
        save_to_mysql(rows)
        print("\n共写入 MySQL %d 条记录" % len(rows))
    except Exception as exc:            # MySQL 未启动时仍导出 CSV
        print("\n[MySQL 写入失败] %s" % exc)
        print("请先启动 MySQL 并执行 sql/create_tables.sql")
    save_to_csv(rows)


if __name__ == "__main__":
    main()

运行结果:主榜共 582 所院校,全部入库。

排名  学校            省市    类型  总分
1    清华大学        北京    综合  969.2
2    北京大学        北京    综合  855.3
3    浙江大学        浙江    综合  768.7
...
CSV 已导出:...\数据\university_ranking.csv

image

image
image

二、作业心得

  1. 抓包是动态网站爬取的第一步。 天气网、软科这类页面的数据要么由服务端渲染、要么由接口返回,
    直接解析 HTML 往往会拿到空列表。通过 F12 的 Network 面板筛选 XHR,能快速找到真正的数据接口,
    再决定用 BeautifulSoup 还是 json 解析,效率比盲目试错高得多。
  2. 接口参数可以按需裁剪。 东方财富的 fields 支持只取需要的字段,既减少流量也让解析代码更直观;
    分页参数 pn/pz 则用来控制抓取量,避免给对方服务器造成压力。
  3. 写库要考虑幂等。 天气与股票采用“先删后插 / TRUNCATE 再插入”,软科用唯一键,
    这样重复运行不会产生重复数据,排查问题时也能放心多跑几次。
  4. 异常要兜底。 单个城市失败不影响其它城市、MySQL 未启动时仍然导出 CSV,
    让脚本在任何环境下都能给出可检查的结果。
posted @ 2026-11-19 23:48  deng'jie  阅读(2)  评论(0)    收藏  举报