数据采集与融合第二次作业

数据采集与融合技术 · 第二次作业

本次作业一共三个小题目:中国气象网天气、东方财富股票行情、软科中国大学排名。

运行环境:Python 3.12、requests、beautifulsoup4、lxml、sqlite3。数据库文件直接放在各自作业目录里,重新运行脚本会先清空旧表再写入,保证每次跑出来的都是最新数据。

仓库目录结构:

data-collection-and-fusion/
├── 作业1/
│   ├── 1.py
│   ├── weather.db
│   └── images/f12_weather.gif
├── 作业2/
│   ├── 2.py
│   ├── stock.db
│   └── images/f12_stock.png
├── 作业3/
│   ├── 3.py
│   ├── university.db
│   └── images/f12_rankings.gif
└── 实验报告.md

一、实验代码与抓包过程

1.1 作业①:中国气象网 3~5 个城市 7 日天气预报

1.1.1 先从页面里找到 7 天的数据

打开 http://www.weather.com.cn/weather/101010100.shtml,地址里的 101010100 就是北京的城市编码,换一个编码就是换一个城市,所以抓取时只要拼 URL 就行,不用点页面上的城市切换。本次选了 5 个城市:

城市 编码 城市 编码
北京 101010100 深圳 101280601
上海 101020100 成都 101270101
广州 101280101

按 F12 打开 Elements 面板,用 Ctrl+F 搜索 t clearfix,能直接定位到 7 天预报的容器 <ul class="t clearfix">,它下面正好 7 个 <li>,一个 li 就是一天。整个过程录成了 GIF:

f12_weather

定位到 ul.t.clearfix 之后,再逐个展开 li,结构很规整,四个字段分别在这几个位置:

  • 日期:<h1>6日(今天)</h1>
  • 天气:<p class="wea">晴转多云</p>
  • 气温:<p class="tem"><i>14</i>/<i>2</i>℃</p>
  • 风力:<p class="win"><em><span title="东南风"></span>…</em><i>&lt;3级</i></p>,风向写在 title 属性里

因为数据是直接写在 HTML 里的(服务端渲染),所以不需要找接口,requests 拿回来用 BeautifulSoup 解析就可以了。

1.1.2 代码

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""作业①:抓取中国气象网 7 日天气预报,保存到 SQLite 数据库。

思路:7 日预报页 http://www.weather.com.cn/weather/城市编码.shtml
把 7 天的数据直接写在 HTML 的 <ul class="t clearfix"> 里,
requests 拿到网页后,用 BeautifulSoup 找到每个 <li>,再取出日期、
天气、气温、风力,最后写进数据库。
运行:python 1.py
"""

import re
import sqlite3
from datetime import date, datetime

import requests
from bs4 import BeautifulSoup

# 要抓的城市,键是城市名,值是气象网的城市编码
cities = {
    "北京": "101010100",
    "上海": "101020100",
    "广州": "101280101",
    "深圳": "101280601",
    "成都": "101270101",
}

# 请求头里加上浏览器标识,避免被网站拦截
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
                  "(KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
}


def get_html(code):
    """根据城市编码下载 7 日预报页面,返回网页文本。"""
    url = "http://www.weather.com.cn/weather/" + code + ".shtml"
    response = requests.get(url, headers=headers, timeout=10)
    response.encoding = "utf-8"         # 页面是 UTF-8 编码,不设置会乱码
    return response.text


def get_date(text):
    """把“6日(今天)”这类文字换成完整日期,跨月时进位到下个月。"""
    day = int(re.findall(r"(\d+)日", text)[0])
    today = date.today()
    year = today.year
    month = today.month
    if day < today.day:                 # 比如今天 30 日,页面出现 2 日,说明到了下个月
        month = month + 1
        if month > 12:
            month = 1
            year = year + 1
    return "%d-%02d-%02d" % (year, month, day)


def parse_html(html, city, code):
    """解析网页,返回 [(城市, 编码, 日期, 天气, 最高温, 最低温, 风力), ...]。"""
    soup = BeautifulSoup(html, "lxml")
    ul = soup.find("ul", class_="t")    # 7 天预报就在这个 ul 里
    rows = []
    for li in ul.find_all("li"):
        # 日期,例如 6日(今天)
        day_text = li.find("h1").get_text(strip=True)
        day = get_date(day_text)

        # 天气现象,例如 晴转多云
        weather = li.find("p", class_="wea").get_text(strip=True)

        # 气温,例如 14/2℃,用正则取出两个数字
        temp_text = li.find("p", class_="tem").get_text(strip=True)
        temps = re.findall(r"-?\d+", temp_text)
        high = temps[0]
        low = temps[1] if len(temps) > 1 else "--"

        # 风力,例如 东南风转东北风 <3级
        wind_node = li.find("p", class_="win")
        directions = []
        for span in wind_node.find_all("span"):
            name = span.get("title")        # 风向写在 title 属性里
            if name not in directions:
                directions.append(name)
        level = wind_node.find("i").get_text(strip=True)
        wind = "转".join(directions) + " " + level

        rows.append((city, code, day, weather, high, low, wind))
    return rows


def save_to_db(rows):
    """把数据写入 weather.db,每次运行先清空旧数据再插入。"""
    conn = sqlite3.connect("weather.db")
    cursor = conn.cursor()
    cursor.execute("""CREATE TABLE IF NOT EXISTS weather (
        city      TEXT,
        code      TEXT,
        day       TEXT,
        weather   TEXT,
        high      TEXT,
        low       TEXT,
        wind      TEXT,
        save_time TEXT
    )""")
    cursor.execute("DELETE FROM weather")   # 清掉上一次抓的数据

    now = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
    for row in rows:
        cursor.execute(
            "INSERT INTO weather VALUES (?, ?, ?, ?, ?, ?, ?, ?)",
            row + (now,)
        )
    conn.commit()
    conn.close()


def main():
    """主函数:逐个城市抓取,打印结果,最后写库。"""
    all_rows = []
    for city in cities:
        code = cities[city]
        print("正在抓取 " + city + " ...")
        html = get_html(code)
        rows = parse_html(html, city, code)
        for row in rows:
            print(row[2], row[3], row[4] + "/" + row[5] + "℃", row[6])
        all_rows = all_rows + rows
        print()

    save_to_db(all_rows)
    print("共写入 %d 条预报,数据库文件 weather.db" % len(all_rows))


if __name__ == "__main__":
    main()

1.1.3 运行结果

正在抓取 北京 ...
2026-11-06 晴转多云 14/2℃ 东南风转东北风 <3级
2026-11-07 小雨转雨夹雪 5/0℃ 北风 <3级
2026-11-08 雨夹雪转晴 5/-3℃ 东北风转西北风 <3级
...
共写入 35 条预报,数据库文件 weather.db

5 个城市 × 7 天 = 35 条,weather 表里存了城市、编码、日期、天气、最高温、最低温、风力、保存时间共 8 列。查一下数据库确认:

city day weather high low wind
北京 2026-11-06 晴转多云 14 2 东南风转东北风 <3级
北京 2026-11-07 小雨转雨夹雪 5 0 北风 <3级
北京 2026-11-08 雨夹雪转晴 5 -3 东北风转西北风 <3级
SELECT COUNT(DISTINCT city), MIN(day), MAX(day) FROM weather;
-- 5 | 2026-11-06 | 2026-11-12

1.2 作业②:东方财富网股票信息

1.2.1 抓包找到行情接口

东方财富的行情页 https://quote.eastmoney.com/ 上的股票列表不是写在 HTML 里的,页面加载后由脚本再请求一次接口。F12 打开 Network 面板,按 Fetch/XHR 过滤,能看到一条请求:

https://push2.eastmoney.com/api/qt/clist/get?pn=1&pz=100&po=1&np=1&fltt=2&invt=2&fid=f3
&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23&fields=f12,f14,f2,f3,f4,f5,f6

返回的是一段 JSON,结构是 {"data": {"total": 5563, "diff": [ {...}, {...} ]}}。把参数一个个拆开看:

参数 含义
pn / pz 第几页 / 每页多少条,想多抓就把 pz 调大
po / fid 排序方向(1 降序) / 按哪个字段排(f3 涨跌幅)
fs 市场范围:深证主板、创业板、上证主板、科创板
fields 要哪些字段,不需要的可以不写,返回就少一大截

fields 里每个 f 开头的是字段编号,试出来对应关系是:f12 代码、f14 名称、f2 最新价、f3 涨跌幅、f4 涨跌额、f5 成交量、f6 成交额。按题目提示把不要的字段删掉,返回的 JSON 会小很多。

直接把接口地址粘到浏览器地址栏里,能看到完整的 JSON:

f12_stock

这里踩了一个坑:接口不做任何伪装直接用 curl 或 requests 请求,会直接被断开(curl 返回码 000)。必须带上浏览器的 User-Agent,另外再加一个 Referer: https://quote.eastmoney.com/,请求才能正常返回数据。

1.2.2 代码

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""作业②:用 requests 请求东方财富网的行情接口,解析 JSON 后存入 SQLite。

F12 抓包可以看到,东方财富行情列表页并不是把数据写在 HTML 里,
而是由页面里的脚本去请求  https://push2.eastmoney.com/api/qt/clist/get ,
返回的是一段 JSON。这里直接请求同一个接口,把字段取出来存库。
运行:python 2.py
"""

import json
import sqlite3
from datetime import datetime

import requests

# 行情列表接口
url = "https://push2.eastmoney.com/api/qt/clist/get"

# 请求参数说明:
# pn 第几页,pz 每页多少条,po=1 表示降序,fid=f3 表示按涨跌幅排序
# fs 是市场范围:深证主板、创业板、上证主板、科创板
# fields 是要返回的字段:f12 代码、f14 名称、f2 最新价、f3 涨跌幅、
#        f4 涨跌额、f5 成交量、f6 成交额
params = {
    "pn": 1,
    "pz": 100,
    "po": 1,
    "np": 1,
    "fltt": 2,
    "invt": 2,
    "fid": "f3",
    "fs": "m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23",
    "fields": "f12,f14,f2,f3,f4,f5,f6",
}

# 不加请求头接口会直接断开连接,这里伪装成浏览器
headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
                  "(KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
    "Referer": "https://quote.eastmoney.com/",
}


def get_stocks():
    """请求接口,返回股票数据列表。"""
    response = requests.get(url, params=params, headers=headers, timeout=10)
    text = response.text
    data = json.loads(text)          # 接口返回的就是 JSON 文本,直接解析
    stock_list = data["data"]["diff"]
    return stock_list


def change_to_num(value):
    """接口里停牌股票的价格会返回 '-',这里统一转成 None。"""
    if value == "-" or value is None:
        return None
    return value


def save_to_db(stocks):
    """把股票数据写入 stock.db。"""
    conn = sqlite3.connect("stock.db")
    cursor = conn.cursor()
    cursor.execute("""CREATE TABLE IF NOT EXISTS stock (
        code        TEXT,
        name        TEXT,
        price       REAL,
        change_pct  REAL,
        change_amt  REAL,
        volume      INTEGER,
        amount      INTEGER,
        save_time   TEXT
    )""")
    cursor.execute("DELETE FROM stock")      # 每次运行先清空旧数据

    now = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
    for item in stocks:
        cursor.execute(
            "INSERT INTO stock VALUES (?, ?, ?, ?, ?, ?, ?, ?)",
            (
                item["f12"],                       # 代码
                item["f14"],                       # 名称
                change_to_num(item["f2"]),         # 最新价
                change_to_num(item["f3"]),         # 涨跌幅
                change_to_num(item["f4"]),         # 涨跌额
                change_to_num(item["f5"]),         # 成交量
                change_to_num(item["f6"]),         # 成交额
                now,
            )
        )
    conn.commit()
    conn.close()


def main():
    """主函数:抓数据、打印几条、写数据库。"""
    stocks = get_stocks()
    print("接口返回 %d 条股票数据" % len(stocks))
    print()
    print("%-8s %-10s %8s %8s %10s" % ("代码", "名称", "最新价", "涨跌幅", "成交额"))
    for item in stocks[:10]:
        print("%-8s %-10s %8s %8s %10s" % (
            item["f12"], item["f14"], item["f2"], str(item["f3"]) + "%", item["f6"]
        ))

    save_to_db(stocks)
    print()
    print("已写入 stock.db,共 %d 条" % len(stocks))


if __name__ == "__main__":
    main()

1.2.3 运行结果

接口返回 100 条股票数据

代码       名称            最新价     涨跌幅      成交额
301697    贝特利           36.6     20.0%   600170551.66
300118    东方日升         10.69    19.98%  1329641878.51
300237    美晨科技          2.65    12.77%   69519506.83
...
已写入 stock.db,共 100 条

stock 表 8 列(代码、名称、最新价、涨跌幅、涨跌额、成交量、成交额、保存时间)。停牌股票接口会把价格返回成 -,代码里统一转成 NULL 再入库,避免写库时报错。

1.3 作业③:软科中国大学排名 2021 主榜

1.3.1 分析页面的发包情况

页面是 https://www.shanghairanking.cn/rankings/bcur/2021。F12 的 Network 面板里按 bcur 过滤,能看到的接口是:

https://www.shanghairanking.cn/api/pub/v1/bcur?bcur_type=11&year=2021

bcur_type=11 是主榜,换别的数字就是医药、财经这类单科榜;year 就是年份。接口一次返回全部名单,JSON 结构是 {"code": 200, "data": {"rankings": [ ... ]}},一所学校一条记录。

GIF 里演示的是:先在左侧看到接口返回的 JSON,再到 Network 面板里点开这条请求,切到 Response 标签,能看到每条记录里的 univNameCn(学校)、province(省市)、univCategory(类型)、score(总分)、ranking(排名),和题目要求的表格字段一一对应:

f12_rankings

顺带一提,这个页面首屏的数据其实也随 HTML 一起下发(Nuxt 的 payload),所以直接看 HTML 也能拿到第一页,但翻页、换年份时走的就是上面这个接口。抓接口更省事,一次就能把 582 所院校全部拿到。

1.3.2 代码

#!/usr/bin/env python3
# -*- coding: utf-8 -*-
"""作业③:抓取软科中国大学排名 2021 主榜全部院校,存入 SQLite。

F12 抓包可以看到,排名页 https://www.shanghairanking.cn/rankings/bcur/2021
的数据是通过接口 https://www.shanghairanking.cn/api/pub/v1/bcur 拿到的,
参数 bcur_type=11 表示主榜,year=2021 表示年份。
接口返回 JSON,全部 582 所院校都在这一个响应里。
运行:python 3.py
"""

import json
import sqlite3
from datetime import datetime

import requests

url = "https://www.shanghairanking.cn/api/pub/v1/bcur"

# bcur_type=11 是主榜,其它数字是医药、财经等单科榜单
params = {
    "bcur_type": 11,
    "year": 2021,
}

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 "
                  "(KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36",
}


def get_rankings():
    """请求接口,返回院校数据列表。"""
    response = requests.get(url, params=params, headers=headers, timeout=15)
    text = response.text
    data = json.loads(text)
    rankings = data["data"]["rankings"]     # 所有院校都在 data.rankings 里
    return rankings


def save_to_db(rankings):
    """把院校数据写入 university.db。"""
    conn = sqlite3.connect("university.db")
    cursor = conn.cursor()
    cursor.execute("""CREATE TABLE IF NOT EXISTS university (
        ranking   TEXT,
        name      TEXT,
        province  TEXT,
        category  TEXT,
        score     REAL,
        tags      TEXT,
        save_time TEXT
    )""")
    cursor.execute("DELETE FROM university")

    now = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
    for item in rankings:
        cursor.execute(
            "INSERT INTO university VALUES (?, ?, ?, ?, ?, ?, ?)",
            (
                item["ranking"],                          # 排名
                item["univNameCn"],                       # 学校
                item["province"],                         # 省市
                item["univCategory"],                     # 类型
                item["score"],                            # 总分
                ",".join(item["univTags"]),               # 标签,如 985,211
                now,
            )
        )
    conn.commit()
    conn.close()


def main():
    """主函数:抓数据、打印前几行、写数据库。"""
    rankings = get_rankings()
    print("接口返回 %d 所院校" % len(rankings))
    print()
    print("%-6s %-14s %-8s %-8s %8s" % ("排名", "学校", "省市", "类型", "总分"))
    for item in rankings[:10]:
        print("%-6s %-14s %-8s %-8s %8s" % (
            item["ranking"], item["univNameCn"], item["province"],
            item["univCategory"], item["score"]
        ))

    save_to_db(rankings)
    print()
    print("已写入 university.db,共 %d 条" % len(rankings))


if __name__ == "__main__":
    main()

1.3.3 运行结果

接口返回 582 所院校

排名   学校           省市     类型       总分
1      清华大学       北京     综合      969.2
2      北京大学       北京     综合      855.3
3      浙江大学       浙江     综合      768.7
...
582    太原学院       山西     综合       58.2

已写入 university.db,共 582 条

和题目给的示例(清华大学 969.2,北京,综合)对得上。university 表 7 列:排名、学校、省市、类型、总分、标签(985/211/双一流)、保存时间。

二、实验心得

2.1 作业①心得

这个题目让我第一次认真用 F12 的 Elements 面板去找数据,而不是靠肉眼在源码里翻。以前抓网页只知道 requests.get().text 然后正则,这次发现 Ctrl+F 直接在 DOM 树里搜类名,比在压缩过的 HTML 里找要快得多,还能顺手看到元素在页面上占的位置和尺寸,确认自己找的就是那块预报。

解析上也有几个小细节值得记一下:风向不是文本节点而是 span 的 title 属性;气温是 14/2℃ 这种合在一起的写法,要用正则拆;日期只有「6日(今天)」这样的短格式,跨月的时候要自己进位算年份月份,不然到了月末抓出来的日期是错的。这些都是文档里不会写、只能对着真实页面一点点试出来的东西。

2.2 作业②心得

第二个题目最大的收获是理解了「页面上的东西」和「页面背后的接口」是两回事。行情页里看到的表格,源码里一行数据都没有,真正的数据在 push2.eastmoney.com 这个接口后面。学会在 Network 面板里按 XHR 过滤,然后照着请求的 URL 和参数复现一遍,比解析 HTML 干净太多。

另外就是请求头这件事。第一次请求直接被断开,返回码 000,看日志完全不知道错在哪;后来把浏览器里那条请求的 Request Headers 照着抄过来(User-Agent 和 Referer),马上就有数据了。这让我意识到很多网站并不是靠验证码拦爬虫,而是看请求像不像浏览器发的。

参数也不是照抄就完事。fields 这一项把不需要的字段删掉之后,返回体积小了很多;pz 决定了每页多少条,想抓全量就得配合 pn 翻页。看懂参数再改,比盲抄 URL 有用。

2.3 作业③心得

软科这个站是前端框架渲染的,一开始我在 Network 里硬刷新,怎么都找不到接口,列表里只有一堆 payload.js、state.js。后来才想明白:首屏的数据是跟 HTML 一起下发的,接口只在切换年份、翻页这类交互时才被调用。所以抓包不能只看页面刚打开的那一瞬间,得在页面上做点操作,看它什么时候真的去请求数据。

也顺便体会到抓接口比抓页面省事。582 所院校如果按页面翻页去抓,要处理页码、拼 URL、还要防止漏页;换成接口,一个请求就全拿到了,字段也是规整的 JSON,不用再解析表格。当然前提是先把接口的参数(bcur_type、year)试明白。

最后是关于代码的写法。这次三个脚本都刻意写得比较朴素:一个函数做一件事,请求、解析、存库分开,变量名用城市名、股票代码这种看得懂的名字,关键的几行加上注释。写完回头看,几十行代码,但每一步都能对上抓包时看到的那个字段,改起来也方便。

posted @ 2026-11-20 08:47  山冇木兮木有枝  阅读(0)  评论(0)    收藏  举报