第二次作业:天气、股票与大学排名数据采集

第二次作业:天气、股票与大学排名数据采集

环境是 Windows 11 + Anaconda 的 Python 3.9,用到了 requests、BeautifulSoup、lxml 和 sqlite3。代码放在 Gitee:

一、作业①:中国气象网 7 日天气预报

1. 代码与图片

题目要求抓 3~5 个城市的 7 天天气。中国气象网的天气页 URL 是按城市编码拼的,比如北京是:

http://www.weather.com.cn/weather/101010100.shtml

我选了北京、上海、广州、深圳、成都五个城市,编码如下:

城市 编码
北京 101010100
上海 101020100
广州 101280101
深圳 101280601
成都 101270101

城市编码是从对应城市页面的 URL 里拿到的。

核心代码:

class WeatherSpider:
    """中国气象网7日天气预报爬虫"""

    def \_\_init\_\_(self):
        # 城市编码,选了5个城市
        self.city\_code = {
            "北京": "101010100",
            "上海": "101020100",
            "广州": "101280101",
            "深圳": "101280601",
            "成都": "101270101",
        }
        self.headers = {
            "User-Agent": (
                "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
                "AppleWebKit/537.36 (KHTML, like Gecko) "
                "Chrome/120.0.0.0 Safari/537.36"
            )
        }
        self.session = requests.Session()
        self.db = WeatherDB()
        self.db.openDB()
        self.serial\_no = 1

    def forecast\_city(self, city):
        """抓一个城市的7天天气"""
        if city not in self.city\_code:
            print(f"\[错误] 没有找到「{city}」的编码")
            return

        code = self.city\_code\[city]
        url = f"http://www.weather.com.cn/weather/{code}.shtml"

        try:
            response = self.session.get(
                url, headers=self.headers, timeout=15, verify=False
            )
            response.encoding = "utf-8"
            response.raise\_for\_status()
        except requests.RequestException as exc:
            print(f"\[错误] 获取「{city}」天气失败:{exc}")
            return

        soup = BeautifulSoup(response.text, "lxml")
        weather\_list = soup.select("ul.t.clearfix li")

        for day in weather\_list:
            date = day.find("h1").get\_text(strip=True)
            weather = day.find("p", class\_="wea").get\_text(strip=True)

            tem\_p = day.find("p", class\_="tem")
            temp\_span = tem\_p.find("span")
            temp\_i = tem\_p.find("i")

            # 有的城市只有最高温,没有最低温
            if temp\_span:
                temp\_high = temp\_span.get\_text(strip=True).replace("℃", "°C")
                temp\_low = (
                    temp\_i.get\_text(strip=True).replace("℃", "°C")
                    if temp\_i
                    else ""
                )
                temperature = f"{temp\_high}/{temp\_low}"
            else:
                temperature = (
                    temp\_i.get\_text(strip=True).replace("℃", "°C")
                    if temp\_i
                    else "-"
                )

            self.db.insert(city, date, weather, temperature)

            print(f"{self.serial\_no:<6}{city:<6}{date:<14}"
                  f"{weather:<24}{temperature}")
            self.serial\_no += 1

weathers 表用“城市 + 日期”作为联合主键,这样同一个城市同一天不会重复插入:

CREATE TABLE weathers (
    wCity VARCHAR(16),
    wDate VARCHAR(16),
    wWeather VARCHAR(128),
    wTemp VARCHAR(32),
    CONSTRAINT pk\_weather PRIMARY KEY (wCity, wDate)
);

运行后数据库里是 5 个城市 × 7 天,共 35 条:

5 个城市 × 7 天 = 35 条记录

部分数据:

城市 日期 天气 温度
北京 19日(今天) 晴 -2°C
北京 20日(明天) 晴 8°C/-2°C
上海 19日(今天) 多云 6°C
广州 19日(今天) 小雨 12°C
深圳 19日(今天) 小雨 15°C
成都 19日(今天) 晴 6°C

结果

图1 五个城市 7 日天气预报运行结果

结果

图2 天气页面里日期、天气、温度对应的标签

完整代码和数据库:2.1 天气爬虫

2. 作业心得

不同城市的页面结构基本一样,但温度那里有时只有最高温,有时是“最高温/最低温”,所以 span 和 i 不能默认都存在,要分开判断。数据库用“城市 + 日期”做主键,重复运行也不会插重复数据。

二、作业②:新浪财经股票信息

1. 代码与图片

题目要求用 requests 和 json 解析抓股票数据。打开新浪财经股票页,按 F12,切到 Network,选 Fetch/XHR,刷新后能找到股票列表接口:

https://vip.stock.finance.sina.com.cn/quotes\_service/api/json\_v2.php/Market\_Center.getHQNodeData

请求参数:

参数 作用 我用的值
page 页码 1~3
num 每页数量 40
sort 排序字段 changepercent
asc 升序/降序 0
node 板块 sh_a
symbol 股票代码过滤 空

这个接口有个坑:返回的不是标准 JSON,键名没有双引号,直接 json.loads 会报错。比如:

\[{symbol:"sh600000",name:"浦发银行",trade:"10.00",...}]

所以先用正则给键名补上引号:

@staticmethod
def \_format\_json(raw\_str):
    """给新浪JSON的键名补双引号"""
    return re.sub(
        r'(\[{,])\\s\*(\[a-zA-Z\_]\\w\*)\\s\*:',
        r'\\1"\\2":',
        raw\_str,
    )


@staticmethod
def \_fmt\_amount(num):
    """成交量、成交金额转成万/亿"""
    try:
        num = float(num)
    except (ValueError, TypeError):
        return str(num)

    if num >= 1e8:
        return f"{num / 1e8:.2f}亿"
    if num >= 1e4:
        return f"{num / 1e4:.2f}万"
    return str(int(num))

分页请求和解析的主要代码:

def crawl(self, pages=3, num=40):
    """抓指定页数的股票列表"""
    for page in range(1, pages + 1):
        params = {
            "page": page,
            "num": num,
            "sort": "changepercent",
            "asc": 0,
            "node": "sh\_a",
            "symbol": "",
        }

        try:
            resp = self.session.get(
                self.api\_url,
                params=params,
                headers=self.headers,
                timeout=15,
            )
            raw = resp.text.strip()

            # 先处理非标准JSON
            raw = self.\_format\_json(raw)
            if raw in ("null", "\[]", ""):
                print(f"\[提示] 第 {page} 页没有数据")
                continue

            data = json.loads(raw)

            for item in data:
                symbol = item.get("symbol", "").upper()
                name = item.get("name", "-")
                trade = item.get("trade", "-")
                pricechange = item.get("pricechange", "-")
                changepercent = item.get("changepercent", "-")
                settlement = item.get("settlement", "-")
                volume = item.get("volume", "-")
                amount = item.get("amount", "-")
                high = item.get("high", "-")
                low = item.get("low", "-")
                open\_ = item.get("open", "-")

                price\_s = f"{float(trade):.2f}" if trade != "-" else "-"
                change\_amt\_s = (
                    f"{float(pricechange):.2f}" if pricechange != "-" else "-"
                )
                change\_pct\_s = (
                    f"{float(changepercent):.2f}%"
                    if changepercent != "-"
                    else "-"
                )
                high\_s = f"{float(high):.2f}" if high != "-" else "-"
                low\_s = f"{float(low):.2f}" if low != "-" else "-"
                open\_s = f"{float(open\_):.2f}" if open\_ != "-" else "-"
                pre\_s = (
                    f"{float(settlement):.2f}" if settlement != "-" else "-"
                )

                try:
                    amplitude = (
                        (float(high) - float(low)) / float(settlement) \* 100
                    )
                    amp\_s = f"{amplitude:.2f}%"
                except (ValueError, ZeroDivisionError, TypeError):
                    amp\_s = "-"

                vol\_s = self.\_fmt\_amount(volume)
                amount\_s = self.\_fmt\_amount(amount)

                self.db.insert(
                    symbol, name, price\_s, change\_pct\_s, change\_amt\_s,
                    vol\_s, amount\_s, amp\_s, high\_s, low\_s, open\_s, pre\_s,
                )
        except json.JSONDecodeError as exc:
            print(f"\[错误] 第 {page} 页 JSON 解析失败:{exc}")
        except requests.RequestException as exc:
            print(f"\[错误] 第 {page} 页请求失败:{exc}")

字段对应关系:

数据库字段 接口字段 含义
sCode symbol 股票代码
sName name 股票名称
sPrice trade 最新报价
sChangePct changepercent 涨跌幅
sChangeAmt pricechange 涨跌额
sVolume volume 成交量
sAmount amount 成交金额
sHigh high 最高价
sLow low 最低价
sOpen open 今开
sPreClose settlement 昨收

程序设置 pages=3、num=40,一共抓到 120 条。部分结果:

代码 名称 最新价 涨跌幅 成交量 成交金额
SH688004 博汇科技 37.25 20.01% 1196.21万 4.10亿
SH688517 金冠电气 21.18 20.00% 2283.05万 4.71亿
SH688156 路德科技 25.40 11.40% 1286.97万 3.23亿
SH688282 理工导航 55.97 11.29% 240.31万 1.31亿
SH600831 广电网络 3.91 10.14% 3977.90万 1.54亿

抓包API

图3 股票列表接口的 Request URL
response

图4 接口返回的股票数据

结果2.2

图5 股票爬取运行结果,共 120 条

完整代码和数据库:2.2 股票爬虫

2. 作业心得

作业②的难点主要在接口返回格式。浏览器里看 Response 是 JSON 的样子,但直接拿 resp.text 去 json.loads 会报错,因为键名没有引号。我一开始卡在这里,后来用正则把键名补上引号才解析成功。另外这个接口要带 Referer,不然可能被拒绝。

股票这个任务让我对 F12 的 Network 面板熟悉了不少:先过滤 Fetch/XHR,再看请求的 URL、参数和 Response,比直接猜接口地址可靠。代码里加了 timeout 和异常处理,单页失败不会让整个程序停掉。

三、作业③:2021 软科中国大学排名

1. 代码与图片

题目要求抓 2021 软科中国大学排名主榜的所有院校,存进数据库,并且要有 F12 抓包分析。

打开页面:

https://www.shanghairanking.cn/rankings/bcur/2021

按 F12,切到 Network,选 Fetch/XHR,刷新。

这里我卡了比较久:Network 里只有 collect、list、state.js 这些请求,找不到 bcur。后来看页面源码才发现,这个页面是 Nuxt 服务端渲染,首屏的排名数据已经写进 HTML 和 state.js 里了,所以首屏不会发排名接口。

页面不发请求,不代表接口不存在。排名接口可以直接访问:

https://www.shanghairanking.cn/api/pub/v1/bcur?bcur\_type=11\&year=2021

返回结构:

{
  "code": 200,
  "msg": "success",
  "data": {
    "rankings": \[
      {
        "ranking": "1",
        "univNameCn": "清华大学",
        "univNameEn": "Tsinghua University",
        "province": "北京",
        "univCategory": "综合",
        "score": 969.2
      }
    ]
  }
}

主要字段:

字段 含义
ranking 排名
univNameCn 学校中文名
univNameEn 学校英文名
province 省市
univCategory 类型,比如综合、理工、师范
score 总分

请求和解析代码:

API\_URL = "https://www.shanghairanking.cn/api/pub/v1/bcur?bcur\_type=11\&year=2021"
DB\_NAME = "shanghairanking\_2021.db"

HEADERS = {
    "User-Agent": (
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
        "AppleWebKit/537.36 (KHTML, like Gecko) "
        "Chrome/120.0.0.0 Safari/537.36"
    ),
    "Referer": "https://www.shanghairanking.cn/rankings/bcur/2021",
}


def fetch\_rankings():
    """请求排名接口,返回rankings列表"""
    response = requests.get(API\_URL, headers=HEADERS, timeout=30)
    response.raise\_for\_status()
    data = response.json()
    return data.get("data", {}).get("rankings", \[])


def parse\_rankings(rankings):
    """把接口数据转成入库用的元组"""
    records = \[]
    for item in rankings:
        name\_cn = (item.get("univNameCn") or "").strip()
        name\_en = (item.get("univNameEn") or "").strip()
        province = (item.get("province") or "").strip()
        category = (item.get("univCategory") or "").strip()

        try:
            rank = int(item.get("ranking") or 0)
            score = float(item.get("score") or 0)
        except (TypeError, ValueError):
            continue

        if name\_cn and rank > 0:
            records.append((rank, name\_cn, name\_en, province, category, score))

    return records

表结构:

CREATE TABLE university\_rank (
    id INTEGER PRIMARY KEY AUTOINCREMENT,
    ranking INTEGER,
    university\_name\_cn TEXT,
    university\_name\_en TEXT,
    province TEXT,
    univ\_category TEXT,
    total\_score REAL
);

原来的表没有“类型”列,这次我直接改了建表语句,并且每次运行前先 DROP TABLE,保证表结构和代码一致:

def save\_records(records):
    """重建表并写入全部院校"""
    conn = sqlite3.connect(DB\_NAME)
    cursor = conn.cursor()

    cursor.execute("DROP TABLE IF EXISTS university\_rank")
    cursor.execute("""
        CREATE TABLE university\_rank (
            id INTEGER PRIMARY KEY AUTOINCREMENT,
            ranking INTEGER,
            university\_name\_cn TEXT,
            university\_name\_en TEXT,
            province TEXT,
            univ\_category TEXT,
            total\_score REAL
        )
    """)
    cursor.executemany(
        """
        INSERT INTO university\_rank
            (ranking, university\_name\_cn, university\_name\_en,
             province, univ\_category, total\_score)
        VALUES (?, ?, ?, ?, ?, ?)
        """,
        records,
    )

    conn.commit()
    conn.close()

运行后一共 582 条,univ\_category 没有空值。前 10 名:

排名 学校 省市 类型 总分
1 清华大学 北京 综合 969.2
2 北京大学 北京 综合 855.3
3 浙江大学 浙江 综合 768.7
4 上海交通大学 上海 综合 723.4
5 南京大学 江苏 综合 654.8
6 复旦大学 上海 综合 649.7
7 中国科学技术大学 安徽 理工 577.0
8 华中科技大学 湖北 综合 574.3
9 武汉大学 湖北 综合 567.9
10 西安交通大学 陕西 综合 537.9

结果

图6 2021 软科中国大学排名运行结果

抓包

图7 Network 里的 bcur 请求

图7 的请求类型是 document,因为我是直接在地址栏打开 API 的;如果在 Console 里用 fetch 请求,类型会显示成 fetch,其实是同一个接口。

抓包API

图8 Headers 里的 Request URL

response

图9 Response 里的 data.rankings 和 univCategory

完整代码和数据库:2.3 大学排名爬虫

2. 作业心得

作业③最花时间的是抓包。按常规思路在 Fetch/XHR 里找 bcur,结果什么都没有,一开始还以为是自己操作错了。后来查页面源码,才知道是服务端渲染,数据直接在 state.js 里。这个点挺有意思:页面能看到数据,不代表它一定通过 XHR 拿数据。

知道原因后,我直接请求 bcur 接口,把 Headers 和 Response 截下来。解析时先取 data.rankings,再逐条拿 ranking、univNameCn、province、univCategory、score。其中“类型”对应的是 univCategory,不是办学类型,字段名要看清楚。

数据库这边,原来的表缺“类型”列,我这次直接改建表语句并重建表。对作业来说这样最省事,但真实项目里不能随便 DROP TABLE,应该写迁移脚本保留数据。

另外,接口里的 score 有时是数字、有时是字符串,ranking 也是字符串,学校英文名可能为空,所以代码里统一做了 or ""、int()、float() 和异常跳过。不处理这些,个别数据就会让程序中断。

posted @ 2026-11-19 23:56  王凯凤  阅读(5)  评论(0)    收藏  举报