数据采集第三次作业

实验三的三个小题,刚好把“抓什么”和“怎么存”串了一遍:第一题是从一个站点里翻页抓图片,重点在翻页范围和下载数量;第二、三题是 Scrapy 的 Item、Pipeline 加 MySQL,重点在字段和入库。

我的学号是 052402111,末两位 11 作为页数上限,末三位 111 作为图片数量上限。


一、作业① 中国天气网:11 页、111 张图片,单线程和多线程

1.1 代码和运行结果

选中国天气网(http://www.weather.com.cn/)是因为实验二已经爬过它的城市天气页,知道这个站是服务端渲染,图片地址就在 HTML 里,不用去 F12 的 Network 里找接口。

但这次不是抓一个城市,而是从首页开始把站内的页面翻 11 页,把页面上的图片都收下来。先看首页:一共有 51 个 <img> 标签,不过重复很多,同一张广告图出现了四次,去重之后没有那么多。图片分布在 www、i、pic、pi 几个子域上,还有 i8tq.com 这种 CDN,所以不能只按 www.weather.com.cn 过滤图片。

image

限制直接写在文件顶部,换学号只改这两个常量:

# 学号 052402111:末 2 位 11 -> 11 页,末 3 位 111 -> 111 张
PAGE_LIMIT = 11
IMAGE_LIMIT = 111

页面发现用广度优先,只跟进 weather.com.cn 域名下的 HTML 链接,队列里累计到 11 页就停:

queue = deque([START_URL])
seen = {START_URL}
pages = []

while queue and len(pages) < PAGE_LIMIT:
    page_url = queue.popleft()
    resp = requests.get(page_url, headers=HEADERS, timeout=15)
    if "text/html" not in resp.headers.get("Content-Type", ""):
        continue

    resp.encoding = resp.apparent_encoding or "utf-8"
    pages.append((page_url, resp.text))
    print(f"[已抓页面 {len(pages):02d}/{PAGE_LIMIT}] {page_url}")

    for link in extract_page_links(resp.text, page_url):
        if link not in seen:
            seen.add(link)
            queue.append(link)

图片提取不能只看 src。现在的页面大量用懒加载,真实地址在 data-src、data-original 上,还有 srcset 和写在 style 里的背景图:

for img in soup.find_all("img"):
    for attr in ("src", "data-src", "data-original", "data-url", "data-lazy-src"):
        add(img.get(attr), page_url)
    for attr in ("srcset", "data-srcset"):
        for part in (img.get(attr) or "").split(","):
            add(part.strip().split(" ")[0], page_url)

for tag in soup.find_all(style=True):
    for match in re.findall(r"url\(([^)]+)\)", tag["style"]):
        add(match, page_url)

这里遇到一个数量上的坑:如果按“候选 111 个就直接下载”,最后只成功 109 张。原因是首页里有两张 2026-11-02 的气象图已经过期,返回 404。后来改成先收集约 3 倍候选,再以成功 111 张为准,失败的链接由后面的候选补上,文件名按成功顺序从 001 连续编号。

单线程就是顺序 for 循环;多线程用 ThreadPoolExecutor,但共享的计数器要加锁,而且不能简单地“提交 111 个任务”,否则失败的任务会让最终数量不足。我用的是 success + in_flight < 111 这个门槛:

with lock:
    if state["success"] + state["in_flight"] >= IMAGE_LIMIT:
        return None
    state["in_flight"] += 1

result = download_image(item, save_dir)

with lock:
    state["in_flight"] -= 1
    if result:
        state["success"] += 1
        save_as(result[0], result[1], item[0], state["success"], save_dir)

这样既保证并发,又不会超过 111 张;失败的任务释放名额,后面的候选继续补。

实测结果:

模式 页面数 成功图片 耗时 保存目录
单线程 11 111 约 44 秒 images/single/
多线程(8 线程) 11 111 约 16 秒 images/multi/

两批各 111 张、约 4.7 MB,用 Pillow 逐张 verify() 过一遍,222 张全部能正常打开。

image

image

image
image

Gitee 文件夹链接:https://gitee.com/Annabelle-lin/2026_crawl_project/tree/master/作业3/1-图片爬虫

1.2 心得

第一点,“爬这个网站的所有图片”不是“把首页的图下完”。首页只有几十个 <img>,去重后更少,如果不翻页,根本到不了 111 张。真正要做的是先把“站点”当成一张图,从首页出发按链接走,走到页数上限为止;图片是页面的附属产物,页面没走够,图片数量就上不去。

第二点,数量上限要按“成功”算,不能按“尝试”算。我第一版收集 111 个候选就直接下,结果有两张 404,最后只有 109 张。后来多收集候选、下满 111 张成功才停,才和题目要求对上。这件事也提醒我,爬虫里的“应该有”和“实际有”经常差几个,日志里必须把失败数单独打出来。

第三点,多线程不是把 for 换成线程池就完了。计数器、文件名、限额都要考虑并发:两个线程同时判断“还没到 111”就可能一起下第 111、112 张。我用锁把 success + in_flight 卡住,再用临时文件下载、成功后再 os.replace 成正式文件名,避免了半截文件和重名。

第四点,速度提升没有到 8 倍。8 个线程从约 44 秒降到约 16 秒,大约 2.8 倍,因为页面发现阶段还是串行的,而且图片大小不一,有的几十 KB、有的几 MB,线程之间并不完全均衡。不过对于“等网络”的活,多线程的效果已经很明显了。


二、作业② 东方财富:Scrapy + MySQL 抓股票

2.1 代码和运行结果

东方财富的行情列表页是 https://quote.eastmoney.com/center/gridlist.html。右键“查看网页源代码”,里面一个股票名字都搜不到,说明表格是 JS 渲染的。

题目要求里写了 XPath,但这里有个现实问题:数据不在 HTML 里,//table//tr 只能抓到一堆空壳,硬套 XPath 没有意义。所以这题的解析走接口返回的 JSON,XPath 放在第三题中国银行的静态表格里完整用了一遍——两个页面的渲染方式刚好形成对比。

按 F12 → Network → Fetch/XHR,再点一下“涨跌幅”表头,就能看到真正取数的接口:

https://push2.eastmoney.com/api/qt/clist/get
    ?pn=1&pz=20&po=1&np=1&fltt=2&invt=2&fid=f3
    &fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23
    &fields=f2,f3,f4,f5,f7,f12,f14,f15,f16,f17,f18

几个参数的含义:pn 是页码、pz 是每页条数、po=1 是降序、fid=f3 表示按涨跌幅排序、fs 限定沪深 A 股、fields 只请求需要的字段。返回的 data.diff 是一个数组,每个元素用 f 编号表示字段。

image

字段和作业表头的对应关系如下:

接口字段 含义 Item 字段 MySQL 列
f12 股票代码 code code
f14 股票名称 name name
f2 最新价 latest_price latest_price
f3 涨跌幅(%) change_pct change_pct
f4 涨跌额 change_amt change_amt
f5 成交量(手) volume volume
f7 振幅(%) amplitude amplitude
f15 最高 high_price high_price
f16 最低 low_price low_price
f17 今开 open_price open_price
f18 昨收 prev_close prev_close

Scrapy 这边按题目要求拆成 Item 和 Pipeline。Item 只负责字段定义:

class StockItem(scrapy.Item):
    code = scrapy.Field()          # 股票代码
    name = scrapy.Field()          # 股票名称
    latest_price = scrapy.Field()  # 最新报价
    change_pct = scrapy.Field()    # 涨跌幅(%)
    change_amt = scrapy.Field()    # 涨跌额
    volume = scrapy.Field()        # 成交量(手)
    amplitude = scrapy.Field()     # 振幅(%)
    high_price = scrapy.Field()    # 最高
    low_price = scrapy.Field()     # 最低
    open_price = scrapy.Field()    # 今开
    prev_close = scrapy.Field()    # 昨收
    crawl_time = scrapy.Field()    # 采集时间

Pipeline 串了三个:JsonWriterPipeline 写 output/stocks.json,CsvWriterPipeline 写 output/stocks.csv,MySQLPipeline 写库。前两个对应“Item、Pipeline 数据的序列化输出”,第三个对应 MySQL 存储:

ITEM_PIPELINES = {
    "stock_crawler.pipelines.JsonWriterPipeline": 100,
    "stock_crawler.pipelines.CsvWriterPipeline": 200,
    "stock_crawler.pipelines.MySQLPipeline": 300,
}

MySQL 这边没有让学生先手动建表,Pipeline 启动时会自动建库、建表,并清掉上一次的数据,保证截图里序号从 1 开始、不会越跑越多:

CREATE TABLE IF NOT EXISTS stock_info (
    id INT UNSIGNED NOT NULL AUTO_INCREMENT COMMENT '序号',
    code VARCHAR(10) NOT NULL COMMENT '股票代码',
    name VARCHAR(50) NOT NULL COMMENT '股票名称',
    latest_price DECIMAL(10, 2) COMMENT '最新报价',
    change_pct DECIMAL(8, 2) COMMENT '涨跌幅(%)',
    change_amt DECIMAL(10, 2) COMMENT '涨跌额',
    volume BIGINT COMMENT '成交量(手)',
    amplitude DECIMAL(8, 2) COMMENT '振幅(%)',
    high_price DECIMAL(10, 2) COMMENT '最高',
    low_price DECIMAL(10, 2) COMMENT '最低',
    open_price DECIMAL(10, 2) COMMENT '今开',
    prev_close DECIMAL(10, 2) COMMENT '昨收',
    crawl_time DATETIME COMMENT '采集时间',
    PRIMARY KEY (id)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

运行 scrapy crawl eastmoney,抓 3 页、每页 20 条,共 60 条;日志里能看到 MySQL 写入完成:60 条,同时 output/stocks.json 和 stocks.csv 也各 60 条。停牌的股票 f2 是 -,代码里直接跳过,不会因为 float('-') 报错。

python show_table.py 从 MySQL 读回来打印,前几行是这样:

序号 股票代码 股票名称 最新报价 涨跌幅 涨跌额 成交量 振幅 最高 最低 今开 昨收
1 688691 灿芯股份 63.77 20.00 10.63 166188 15.73 63.77 55.41 55.41 53.14
2 301348 蓝箭电子 21.66 20.00 3.61 347723 20.78 21.66 17.91 18.07 18.05
3 301030 *ST仕净 2.88 20.00 0.48 208381 19.58 2.88 2.41 2.41 2.40
4 301391 卡莱特 54.88 17.62 8.22 106934 10.14 54.88 50.15 50.90 46.66
5 688172 燕东微 39.32 16.75 5.64 286551 11.05 39.42 35.70 35.73 33.68

image

Gitee 文件夹链接:https://gitee.com/Annabelle-lin/2026_crawl_project/tree/master/作业3/2-股票信息爬虫

2.2 心得

第一点,页面上看得到的数据,不一定在 HTML 里。我一开始也想过用 //table//tr 去套,结果一行都取不到;F12 的 Network 里看到 clist/get 才明白,表格是前端拿 JSON 渲染的。所以这题我用 json.loads(response.text) 解析接口,XPath 留给了第三题中行的静态表格。硬套 XPath 只会抓到一堆空 <div>,这一点我觉得比“形式上用了 XPath”更重要。

第二点,字段编号要一个个核对,不能凭感觉。f3 是涨跌幅、f4 是涨跌额,f5 是成交量(手)、f6 是成交额(元),这两组特别容易混。成交量的单位是“手”,1 手 = 100 股,如果直接拿 f5 当股数,表格会差 100 倍。我把字段对照表直接写进了 README,下次换接口还能对着看。

第三点,入库前要先想清楚“这一批数据是什么”。股票行情是实时快照,每次运行都应该是“当前 60 条”,不是不断追加的历史。所以 MySQL Pipeline 在 open_spider 里先 DELETE FROM stock_info,再把自增 id 重置,截图里的序号才会稳定从 1 开始。如果不清理,跑三次就是 180 条,表头对得上但数据没法看。

第四点,本机的 MySQL 环境。我这台机器上没有装 MySQL 服务,联调时用的是 MariaDB 10.11(MySQL 协议兼容),代码里连的还是 3306 端口、用 PyMySQL,SQL 也按 MySQL 写。如果老师的机器是 MySQL 8,只需要改 MYSQL_USER / MYSQL_PASSWORD 环境变量,不用动代码。这一点我在 README 里也写了,避免换环境时找不到地方改。


三、作业③ 中国银行:XPath 解析 45 种外汇牌价

3.1 代码和运行结果

中国银行外汇牌价页 https://www.boc.cn/sourcedb/whpj/ 和前两个都不一样:它是服务端直接输出的静态表格,右键查看源码就能看到 阿联酋迪拉姆 198.58 ...,不需要找接口。这种页面才是 XPath 的主场。

F12 → Elements 里可以看到,所有牌价都在 <table id="priceTable"> 里,每个数据行有 8 个 <td>:

<tr>
  <td>阿联酋迪拉姆</td>
  <td>198.58</td>   <!-- 现汇买入价 -->
  <td>192.31</td>   <!-- 现钞买入价 -->
  <td>199.98</td>   <!-- 现汇卖出价 -->
  <td>206.59</td>   <!-- 现钞卖出价 -->
  <td>202.29</td>   <!-- 中行折算价 -->
  <td>2026/11/19</td>
  <td>11:27:14</td>
</tr>

【截图位置 3-1】 打开中行牌价页,F12 → Elements,选中 table#priceTable 展开一行,截取“页面表格 + 元素面板”。保存为 博客配图/3-1-boc-page.png。

图3-1 中国银行外汇牌价页面结构

XPath 三层就够:

rows = response.xpath('//table[@id="priceTable"]//tr[td]')  # 含 td 的行,自动跳过表头
cells = row.xpath("./td")
currency = cells[0].xpath("string(.)").get().strip()
tbp = cells[1].xpath("string(.)").get().strip()  # 现汇买入价

用 //tr[td] 而不是 //tr[position()>1],是因为表头行用的是 <th>,用“有 <td> 才算数据行”过滤,页面加一行说明也不会错位。取文本用 string(.) 而不是 text(),是因为有的单元格里还嵌了 <span>/<a>,text() 只拿得到第一个文本节点。

字段映射按题目给的缩写来:

页面列 作业字段 Item 字段 MySQL 列
货币名称 Currency currency currency
现汇买入价 TBP tbp tbp
现钞买入价 CBP cbp cbp
现汇卖出价 TSP tsp tsp
现钞卖出价 CSP csp csp
发布时间 Time price_time price_time

Item 和 Pipeline 的结构与股票那题一样,只是表名换成 forex_price,JSON/CSV 输出换成 forex.json/forex.csv。这里有个细节:欧元、文莱元这些币种没有现汇买入价/卖出价,单元格是空的。如果直接 float('') 会抛异常,所以统一走一个转换函数,空值返回 None,入库为 NULL,打印时显示 -:

@classmethod
def to_price(cls, cell):
    text = cls.clean(cell.xpath("string(.)").get())
    if text in ("", "-", "—"):
        return None
    try:
        return float(text)
    except ValueError:
        return None

运行 scrapy crawl boc,页面共 45 条牌价,全部写入 spider_db.forex_price,JSON/CSV 也各 45 条。python show_table.py 输出:

Currency TBP CBP TSP CSP Time
阿联酋迪拉姆 180.25 180.25 182.79 182.79 11:40:48
澳大利亚元 443.5 443.5 447.02 447.02 11:40:48
文莱元 - 475.3 - 557.96 11:40:48
巴西雷亚尔 - 107.75 - 120.1 11:40:48
加拿大元 462.94 462.94 466.58 466.58 11:40:48
瑞士法郎 786.66 786.66 792.74 792.74 11:40:48

image

Gitee 文件夹链接:https://gitee.com/Annabelle-lin/2026_crawl_project/tree/master/作业3/3-外汇牌价爬虫

3.2 心得

第一点,XPath 适合结构稳定的静态表格,不适合位置会变的东西。中行这张表 45 行、8 列,用 //table[@id="priceTable"]//tr[td] 定位,比按行号切片稳得多。我之前写过一个 rows[1:] 的版本,结果页面上面多了一个隐藏的空行,切完第一条就错位了;改成“有 td 才算数据行”之后,和行数彻底无关。

第二点,空单元格是正常的,不要当成错误。欧元、文莱元的现汇买入价/卖出价本来就是空的,如果代码里直接 float(),跑到这几行就崩。外汇牌价里“没有这个价”和“价格是 0”是两件事,所以数据库里存 NULL、页面输出 -,比填 0 更准确。

第三点,题目只要 6 列,页面给了 8 列。中行折算价和发布日期题目没要求,但我还是一起存了:折算价以后算套算汇率用得上,发布日期和时间分开存,Time 只取时分秒,和题目示例一致。多存两列不影响评分,少存了以后要重跑。

第四点,MySQL 建表时字段类型要按数据选。价格是 DECIMAL,时间拆成 DATE 和 TIME,币种是 VARCHAR,不要一股脑全用 TEXT。这样 SELECT 出来排序、比较都正常,show_table.py 里也不用手动转格式。


四、提交信息

posted @ 2026-11-19 12:55  Annabelle-Lin  阅读(2)  评论(0)    收藏  举报