数据采集第三次作业
实验三的三个小题,刚好把“抓什么”和“怎么存”串了一遍:第一题是从一个站点里翻页抓图片,重点在翻页范围和下载数量;第二、三题是 Scrapy 的 Item、Pipeline 加 MySQL,重点在字段和入库。
我的学号是 052402111,末两位 11 作为页数上限,末三位 111 作为图片数量上限。
一、作业① 中国天气网:11 页、111 张图片,单线程和多线程
1.1 代码和运行结果
选中国天气网(http://www.weather.com.cn/)是因为实验二已经爬过它的城市天气页,知道这个站是服务端渲染,图片地址就在 HTML 里,不用去 F12 的 Network 里找接口。
但这次不是抓一个城市,而是从首页开始把站内的页面翻 11 页,把页面上的图片都收下来。先看首页:一共有 51 个 <img> 标签,不过重复很多,同一张广告图出现了四次,去重之后没有那么多。图片分布在 www、i、pic、pi 几个子域上,还有 i8tq.com 这种 CDN,所以不能只按 www.weather.com.cn 过滤图片。

限制直接写在文件顶部,换学号只改这两个常量:
# 学号 052402111:末 2 位 11 -> 11 页,末 3 位 111 -> 111 张
PAGE_LIMIT = 11
IMAGE_LIMIT = 111
页面发现用广度优先,只跟进 weather.com.cn 域名下的 HTML 链接,队列里累计到 11 页就停:
queue = deque([START_URL])
seen = {START_URL}
pages = []
while queue and len(pages) < PAGE_LIMIT:
page_url = queue.popleft()
resp = requests.get(page_url, headers=HEADERS, timeout=15)
if "text/html" not in resp.headers.get("Content-Type", ""):
continue
resp.encoding = resp.apparent_encoding or "utf-8"
pages.append((page_url, resp.text))
print(f"[已抓页面 {len(pages):02d}/{PAGE_LIMIT}] {page_url}")
for link in extract_page_links(resp.text, page_url):
if link not in seen:
seen.add(link)
queue.append(link)
图片提取不能只看 src。现在的页面大量用懒加载,真实地址在 data-src、data-original 上,还有 srcset 和写在 style 里的背景图:
for img in soup.find_all("img"):
for attr in ("src", "data-src", "data-original", "data-url", "data-lazy-src"):
add(img.get(attr), page_url)
for attr in ("srcset", "data-srcset"):
for part in (img.get(attr) or "").split(","):
add(part.strip().split(" ")[0], page_url)
for tag in soup.find_all(style=True):
for match in re.findall(r"url\(([^)]+)\)", tag["style"]):
add(match, page_url)
这里遇到一个数量上的坑:如果按“候选 111 个就直接下载”,最后只成功 109 张。原因是首页里有两张 2026-11-02 的气象图已经过期,返回 404。后来改成先收集约 3 倍候选,再以成功 111 张为准,失败的链接由后面的候选补上,文件名按成功顺序从 001 连续编号。
单线程就是顺序 for 循环;多线程用 ThreadPoolExecutor,但共享的计数器要加锁,而且不能简单地“提交 111 个任务”,否则失败的任务会让最终数量不足。我用的是 success + in_flight < 111 这个门槛:
with lock:
if state["success"] + state["in_flight"] >= IMAGE_LIMIT:
return None
state["in_flight"] += 1
result = download_image(item, save_dir)
with lock:
state["in_flight"] -= 1
if result:
state["success"] += 1
save_as(result[0], result[1], item[0], state["success"], save_dir)
这样既保证并发,又不会超过 111 张;失败的任务释放名额,后面的候选继续补。
实测结果:
| 模式 | 页面数 | 成功图片 | 耗时 | 保存目录 |
|---|---|---|---|---|
| 单线程 | 11 | 111 | 约 44 秒 | images/single/ |
| 多线程(8 线程) | 11 | 111 | 约 16 秒 | images/multi/ |
两批各 111 张、约 4.7 MB,用 Pillow 逐张 verify() 过一遍,222 张全部能正常打开。




Gitee 文件夹链接:https://gitee.com/Annabelle-lin/2026_crawl_project/tree/master/作业3/1-图片爬虫
1.2 心得
第一点,“爬这个网站的所有图片”不是“把首页的图下完”。首页只有几十个 <img>,去重后更少,如果不翻页,根本到不了 111 张。真正要做的是先把“站点”当成一张图,从首页出发按链接走,走到页数上限为止;图片是页面的附属产物,页面没走够,图片数量就上不去。
第二点,数量上限要按“成功”算,不能按“尝试”算。我第一版收集 111 个候选就直接下,结果有两张 404,最后只有 109 张。后来多收集候选、下满 111 张成功才停,才和题目要求对上。这件事也提醒我,爬虫里的“应该有”和“实际有”经常差几个,日志里必须把失败数单独打出来。
第三点,多线程不是把 for 换成线程池就完了。计数器、文件名、限额都要考虑并发:两个线程同时判断“还没到 111”就可能一起下第 111、112 张。我用锁把 success + in_flight 卡住,再用临时文件下载、成功后再 os.replace 成正式文件名,避免了半截文件和重名。
第四点,速度提升没有到 8 倍。8 个线程从约 44 秒降到约 16 秒,大约 2.8 倍,因为页面发现阶段还是串行的,而且图片大小不一,有的几十 KB、有的几 MB,线程之间并不完全均衡。不过对于“等网络”的活,多线程的效果已经很明显了。
二、作业② 东方财富:Scrapy + MySQL 抓股票
2.1 代码和运行结果
东方财富的行情列表页是 https://quote.eastmoney.com/center/gridlist.html。右键“查看网页源代码”,里面一个股票名字都搜不到,说明表格是 JS 渲染的。
题目要求里写了 XPath,但这里有个现实问题:数据不在 HTML 里,//table//tr 只能抓到一堆空壳,硬套 XPath 没有意义。所以这题的解析走接口返回的 JSON,XPath 放在第三题中国银行的静态表格里完整用了一遍——两个页面的渲染方式刚好形成对比。
按 F12 → Network → Fetch/XHR,再点一下“涨跌幅”表头,就能看到真正取数的接口:
https://push2.eastmoney.com/api/qt/clist/get
?pn=1&pz=20&po=1&np=1&fltt=2&invt=2&fid=f3
&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23
&fields=f2,f3,f4,f5,f7,f12,f14,f15,f16,f17,f18
几个参数的含义:pn 是页码、pz 是每页条数、po=1 是降序、fid=f3 表示按涨跌幅排序、fs 限定沪深 A 股、fields 只请求需要的字段。返回的 data.diff 是一个数组,每个元素用 f 编号表示字段。

字段和作业表头的对应关系如下:
| 接口字段 | 含义 | Item 字段 | MySQL 列 |
|---|---|---|---|
| f12 | 股票代码 | code | code |
| f14 | 股票名称 | name | name |
| f2 | 最新价 | latest_price | latest_price |
| f3 | 涨跌幅(%) | change_pct | change_pct |
| f4 | 涨跌额 | change_amt | change_amt |
| f5 | 成交量(手) | volume | volume |
| f7 | 振幅(%) | amplitude | amplitude |
| f15 | 最高 | high_price | high_price |
| f16 | 最低 | low_price | low_price |
| f17 | 今开 | open_price | open_price |
| f18 | 昨收 | prev_close | prev_close |
Scrapy 这边按题目要求拆成 Item 和 Pipeline。Item 只负责字段定义:
class StockItem(scrapy.Item):
code = scrapy.Field() # 股票代码
name = scrapy.Field() # 股票名称
latest_price = scrapy.Field() # 最新报价
change_pct = scrapy.Field() # 涨跌幅(%)
change_amt = scrapy.Field() # 涨跌额
volume = scrapy.Field() # 成交量(手)
amplitude = scrapy.Field() # 振幅(%)
high_price = scrapy.Field() # 最高
low_price = scrapy.Field() # 最低
open_price = scrapy.Field() # 今开
prev_close = scrapy.Field() # 昨收
crawl_time = scrapy.Field() # 采集时间
Pipeline 串了三个:JsonWriterPipeline 写 output/stocks.json,CsvWriterPipeline 写 output/stocks.csv,MySQLPipeline 写库。前两个对应“Item、Pipeline 数据的序列化输出”,第三个对应 MySQL 存储:
ITEM_PIPELINES = {
"stock_crawler.pipelines.JsonWriterPipeline": 100,
"stock_crawler.pipelines.CsvWriterPipeline": 200,
"stock_crawler.pipelines.MySQLPipeline": 300,
}
MySQL 这边没有让学生先手动建表,Pipeline 启动时会自动建库、建表,并清掉上一次的数据,保证截图里序号从 1 开始、不会越跑越多:
CREATE TABLE IF NOT EXISTS stock_info (
id INT UNSIGNED NOT NULL AUTO_INCREMENT COMMENT '序号',
code VARCHAR(10) NOT NULL COMMENT '股票代码',
name VARCHAR(50) NOT NULL COMMENT '股票名称',
latest_price DECIMAL(10, 2) COMMENT '最新报价',
change_pct DECIMAL(8, 2) COMMENT '涨跌幅(%)',
change_amt DECIMAL(10, 2) COMMENT '涨跌额',
volume BIGINT COMMENT '成交量(手)',
amplitude DECIMAL(8, 2) COMMENT '振幅(%)',
high_price DECIMAL(10, 2) COMMENT '最高',
low_price DECIMAL(10, 2) COMMENT '最低',
open_price DECIMAL(10, 2) COMMENT '今开',
prev_close DECIMAL(10, 2) COMMENT '昨收',
crawl_time DATETIME COMMENT '采集时间',
PRIMARY KEY (id)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
运行 scrapy crawl eastmoney,抓 3 页、每页 20 条,共 60 条;日志里能看到 MySQL 写入完成:60 条,同时 output/stocks.json 和 stocks.csv 也各 60 条。停牌的股票 f2 是 -,代码里直接跳过,不会因为 float('-') 报错。
python show_table.py 从 MySQL 读回来打印,前几行是这样:
| 序号 | 股票代码 | 股票名称 | 最新报价 | 涨跌幅 | 涨跌额 | 成交量 | 振幅 | 最高 | 最低 | 今开 | 昨收 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 688691 | 灿芯股份 | 63.77 | 20.00 | 10.63 | 166188 | 15.73 | 63.77 | 55.41 | 55.41 | 53.14 |
| 2 | 301348 | 蓝箭电子 | 21.66 | 20.00 | 3.61 | 347723 | 20.78 | 21.66 | 17.91 | 18.07 | 18.05 |
| 3 | 301030 | *ST仕净 | 2.88 | 20.00 | 0.48 | 208381 | 19.58 | 2.88 | 2.41 | 2.41 | 2.40 |
| 4 | 301391 | 卡莱特 | 54.88 | 17.62 | 8.22 | 106934 | 10.14 | 54.88 | 50.15 | 50.90 | 46.66 |
| 5 | 688172 | 燕东微 | 39.32 | 16.75 | 5.64 | 286551 | 11.05 | 39.42 | 35.70 | 35.73 | 33.68 |

Gitee 文件夹链接:https://gitee.com/Annabelle-lin/2026_crawl_project/tree/master/作业3/2-股票信息爬虫
2.2 心得
第一点,页面上看得到的数据,不一定在 HTML 里。我一开始也想过用 //table//tr 去套,结果一行都取不到;F12 的 Network 里看到 clist/get 才明白,表格是前端拿 JSON 渲染的。所以这题我用 json.loads(response.text) 解析接口,XPath 留给了第三题中行的静态表格。硬套 XPath 只会抓到一堆空 <div>,这一点我觉得比“形式上用了 XPath”更重要。
第二点,字段编号要一个个核对,不能凭感觉。f3 是涨跌幅、f4 是涨跌额,f5 是成交量(手)、f6 是成交额(元),这两组特别容易混。成交量的单位是“手”,1 手 = 100 股,如果直接拿 f5 当股数,表格会差 100 倍。我把字段对照表直接写进了 README,下次换接口还能对着看。
第三点,入库前要先想清楚“这一批数据是什么”。股票行情是实时快照,每次运行都应该是“当前 60 条”,不是不断追加的历史。所以 MySQL Pipeline 在 open_spider 里先 DELETE FROM stock_info,再把自增 id 重置,截图里的序号才会稳定从 1 开始。如果不清理,跑三次就是 180 条,表头对得上但数据没法看。
第四点,本机的 MySQL 环境。我这台机器上没有装 MySQL 服务,联调时用的是 MariaDB 10.11(MySQL 协议兼容),代码里连的还是 3306 端口、用 PyMySQL,SQL 也按 MySQL 写。如果老师的机器是 MySQL 8,只需要改 MYSQL_USER / MYSQL_PASSWORD 环境变量,不用动代码。这一点我在 README 里也写了,避免换环境时找不到地方改。
三、作业③ 中国银行:XPath 解析 45 种外汇牌价
3.1 代码和运行结果
中国银行外汇牌价页 https://www.boc.cn/sourcedb/whpj/ 和前两个都不一样:它是服务端直接输出的静态表格,右键查看源码就能看到 阿联酋迪拉姆 198.58 ...,不需要找接口。这种页面才是 XPath 的主场。
F12 → Elements 里可以看到,所有牌价都在 <table id="priceTable"> 里,每个数据行有 8 个 <td>:
<tr>
<td>阿联酋迪拉姆</td>
<td>198.58</td> <!-- 现汇买入价 -->
<td>192.31</td> <!-- 现钞买入价 -->
<td>199.98</td> <!-- 现汇卖出价 -->
<td>206.59</td> <!-- 现钞卖出价 -->
<td>202.29</td> <!-- 中行折算价 -->
<td>2026/11/19</td>
<td>11:27:14</td>
</tr>
【截图位置 3-1】 打开中行牌价页,F12 → Elements,选中 table#priceTable 展开一行,截取“页面表格 + 元素面板”。保存为 博客配图/3-1-boc-page.png。

XPath 三层就够:
rows = response.xpath('//table[@id="priceTable"]//tr[td]') # 含 td 的行,自动跳过表头
cells = row.xpath("./td")
currency = cells[0].xpath("string(.)").get().strip()
tbp = cells[1].xpath("string(.)").get().strip() # 现汇买入价
用 //tr[td] 而不是 //tr[position()>1],是因为表头行用的是 <th>,用“有 <td> 才算数据行”过滤,页面加一行说明也不会错位。取文本用 string(.) 而不是 text(),是因为有的单元格里还嵌了 <span>/<a>,text() 只拿得到第一个文本节点。
字段映射按题目给的缩写来:
| 页面列 | 作业字段 | Item 字段 | MySQL 列 |
|---|---|---|---|
| 货币名称 | Currency | currency | currency |
| 现汇买入价 | TBP | tbp | tbp |
| 现钞买入价 | CBP | cbp | cbp |
| 现汇卖出价 | TSP | tsp | tsp |
| 现钞卖出价 | CSP | csp | csp |
| 发布时间 | Time | price_time | price_time |
Item 和 Pipeline 的结构与股票那题一样,只是表名换成 forex_price,JSON/CSV 输出换成 forex.json/forex.csv。这里有个细节:欧元、文莱元这些币种没有现汇买入价/卖出价,单元格是空的。如果直接 float('') 会抛异常,所以统一走一个转换函数,空值返回 None,入库为 NULL,打印时显示 -:
@classmethod
def to_price(cls, cell):
text = cls.clean(cell.xpath("string(.)").get())
if text in ("", "-", "—"):
return None
try:
return float(text)
except ValueError:
return None
运行 scrapy crawl boc,页面共 45 条牌价,全部写入 spider_db.forex_price,JSON/CSV 也各 45 条。python show_table.py 输出:
| Currency | TBP | CBP | TSP | CSP | Time |
|---|---|---|---|---|---|
| 阿联酋迪拉姆 | 180.25 | 180.25 | 182.79 | 182.79 | 11:40:48 |
| 澳大利亚元 | 443.5 | 443.5 | 447.02 | 447.02 | 11:40:48 |
| 文莱元 | - | 475.3 | - | 557.96 | 11:40:48 |
| 巴西雷亚尔 | - | 107.75 | - | 120.1 | 11:40:48 |
| 加拿大元 | 462.94 | 462.94 | 466.58 | 466.58 | 11:40:48 |
| 瑞士法郎 | 786.66 | 786.66 | 792.74 | 792.74 | 11:40:48 |

Gitee 文件夹链接:https://gitee.com/Annabelle-lin/2026_crawl_project/tree/master/作业3/3-外汇牌价爬虫
3.2 心得
第一点,XPath 适合结构稳定的静态表格,不适合位置会变的东西。中行这张表 45 行、8 列,用 //table[@id="priceTable"]//tr[td] 定位,比按行号切片稳得多。我之前写过一个 rows[1:] 的版本,结果页面上面多了一个隐藏的空行,切完第一条就错位了;改成“有 td 才算数据行”之后,和行数彻底无关。
第二点,空单元格是正常的,不要当成错误。欧元、文莱元的现汇买入价/卖出价本来就是空的,如果代码里直接 float(),跑到这几行就崩。外汇牌价里“没有这个价”和“价格是 0”是两件事,所以数据库里存 NULL、页面输出 -,比填 0 更准确。
第三点,题目只要 6 列,页面给了 8 列。中行折算价和发布日期题目没要求,但我还是一起存了:折算价以后算套算汇率用得上,发布日期和时间分开存,Time 只取时分秒,和题目示例一致。多存两列不影响评分,少存了以后要重跑。
第四点,MySQL 建表时字段类型要按数据选。价格是 DECIMAL,时间拆成 DATE 和 TIME,币种是 VARCHAR,不要一股脑全用 TEXT。这样 SELECT 出来排序、比较都正常,show_table.py 里也不用手动转格式。
四、提交信息
- Gitee 仓库:https://gitee.com/Annabelle-lin/2026_crawl_project
- 三个作业的文件夹链接:
- 环境:Python 3.9、requests、beautifulsoup4、Scrapy 2.13、PyMySQL、MySQL(本机联调用 MariaDB 10.11 兼容实例)
- 运行方式:每个文件夹下
pip install -r requirements.txt,图片爬虫用python image_spider.py --mode single/multi,两个 Scrapy 项目用scrapy crawl eastmoney/scrapy crawl boc,再用python show_table.py从 MySQL 读回表格 - 数据说明:股票和外汇是采集时点的快照,重新运行数字会变
浙公网安备 33010602011771号