数据采集第三次作业
第三次数据采集实验:图片爬取与行情数据入库
本次实验的完整代码见 Gitee 仓库:https://gitee.com/emmamone/crawl_project/tree/master/作业3
这次实验用 Scrapy 做了三件事:抓中国天气网的图片(单线程、多线程各一遍)、抓新浪沪深 A 股行情、抓中国银行外汇牌价。三份数据都用 Item 承载,由 Pipeline 统一清洗,最后落到 CSV、JSONL 和 MySQL。环境是 Windows + PowerShell、Python 3.14.2、Scrapy 2.20.0,依赖是 Scrapy、BeautifulSoup、lxml 和 pymysql。
一 任务过程与结果
1 作业代码和效果展示
1.1 中国天气网图片爬取
目标站点是中国天气网首页 https://www.weather.com.cn,数据直接从 HTML 里的 <img> 标签取,不走接口。要保留的字段是图片所在页面、图片绝对地址、保存文件名和爬取模式,四个字段都在 ImageItem 里固定下来。
两个爬虫的差别只写在 custom_settings 里,多线程版继承单线程版,不重复写解析逻辑。页数和张数做成参数,演示时用 1 页 10 张,不写死在代码里。
class ImageSingleSpider(scrapy.Spider):
name = "image_single"
start_url = "https://www.weather.com.cn"
max_pages = 3 # 默认 3 页,运行时用 --pages 覆盖
max_images = 50 # 默认 50 张,运行时用 --images 覆盖
custom_settings = {
"CONCURRENT_REQUESTS": 1, # 单线程:一次只发一个页面请求
"DOWNLOAD_DELAY": 1.0,
"IMAGE_THREAD_COUNT": 1, # 下载也一张一张来
}
class ImageMultiSpider(ImageSingleSpider):
name = "image_multi"
custom_settings = {
"CONCURRENT_REQUESTS": 8, # 多线程:页面并发 8
"DOWNLOAD_DELAY": 0.2,
"IMAGE_THREAD_COUNT": 8, # 图片各开一个线程下载
}
页面解析沿用原脚本的 BeautifulSoup 写法,只是把“下载”这一步挪出了 Spider。首页的 src 既有绝对地址也有相对地址,所以每一条都过一遍 urljoin,顺便跳过懒加载占位图和重复图。
def image_spider(self, response):
soup = BeautifulSoup(response.body, "lxml")
for image in soup.select("img"):
src = image.get("src")
if not src:
continue
image_url = urljoin(response.url, src) # 相对地址要补全才能下载
if image_url.startswith("data:") or image_url in self.seen_images:
continue # 占位图和重复图不要
self.seen_images.add(image_url)
self.image_count += 1
suffix = os.path.splitext(image_url.split("?")[0])[1] or ".jpg"
yield ImageItem(page_url=response.url, image_url=image_url,
image_name=f"{self.image_count}{suffix}",
spider_name=self.name, download_mode=self.download_mode)
下载放在 Pipeline 里,靠 IMAGE_THREAD_COUNT 决定是同步下载还是每张图开一个线程;close_spider 里再统一 join,保证进程退出前所有图片都写完。
def process_item(self, item, spider):
print(item["image_url"]) # 作业要求:URL 输出到控制台
if self.thread_count > 1:
thread = threading.Thread(target=self.download_image, args=(item,))
thread.start() # 每张图一个线程,互不阻塞
self.threads.append(thread)
else:
self.download_image(item) # 单线程模式,下载完才轮到下一张
return item
图片的元信息还要序列化一份,便于核对抓了哪些图,ImageSerializationPipeline 同时开 CSV 和 JSONL 两个文件,每处理一个 Item 写一行。
def process_item(self, item, spider):
row = {"page_url": item.get("page_url", ""),
"image_url": item.get("image_url", ""),
"image_name": item.get("image_name", ""),
"spider_name": item.get("spider_name", spider.name),
"download_mode": item.get("download_mode", "")}
self.writer.writerow(row)
self.json_file.write(json.dumps(row, ensure_ascii=False) + "\n")
self.count += 1
return item
实际运行时两个爬虫各抓了 10 张,都是 10 张成功、0 张失败;另外用自带的离线样本站点验证了一遍 6 张图的完整链路。单线程的下载顺序和页面里图片出现的顺序一致,多线程的 downloaded 行会交错,正好说明线程在并发跑。
抓到的并不只是网页图标:有全国降水量预报图这样的业务图片,也有新闻配图。下面三张是下载目录里原样保存的文件,没有做过任何裁剪。

图 1 中国天气网首页的 img 标签结构

图 2 单线程下载 10 张图片的控制台输出

图 3 多线程下载 10 张图片的控制台输出

图 4 天气网抓取到的图片示例(降水量预报图、稻田实拍、霜叶特写)

图 5 单线程一次抓到的 10 张图片缩略图总览
1.2 股票行情
作业给的候选站点里有东方财富网和新浪股票。东方财富首页的行情表是 JavaScript 渲染的,源码里只有空 <td>;改用它的 push2 行情接口后能拿到 JSON,但连续请求几次会被服务器直接断开连接。最后还是用新浪的沪深 A 股列表接口 Market_Center.getHQNodeData,按 node=sh_a、node=sz_a 两个市场分页,字段和作业表格能一一对应。
数量和地址都提成类属性,翻页时只改 page 参数,换市场只改 node。
class StockSpider(scrapy.Spider):
name = "stock"
nodes = ("sh_a", "sz_a") # 沪市、深市分别分页
page_size = 20 # 每页 20 只
max_pages = 1 # 默认每个市场 1 页,--pages 可调大
start_url = ("https://vip.stock.finance.sina.com.cn/quotes_service/"
"api/json_v2.php/Market_Center.getHQNodeData")
custom_settings = {
"CONCURRENT_REQUESTS": 2, # 两个市场各一条请求,不要打太急
"DOWNLOAD_DELAY": 0.5,
}
接口返回的是 GBK 编码的 JSON 数组,字段名是 trade、settlement 这种短名,所以解析时先算好涨跌额、涨跌幅和振幅,再交给 build_item 统一映射成作业要求的字段名。解析完如果还没到 max_pages,就把下一页排进调度队列。
def parse_api(self, response):
rows = json.loads(response.body.decode("gbk", errors="ignore")) # 接口是 GBK
for row in rows:
symbol = row.get("symbol", "")
if not symbol.startswith(("sh", "sz")):
continue # 混进来的北交所股票不要
pre = self._to_float(row.get("settlement"))
latest = self._to_float(row.get("trade"))
amplitude = self._to_float(row.get("high")) - self._to_float(row.get("low"))
self.item_index += 1
yield self.build_item(index=self.item_index, code=row.get("code") or symbol[2:],
name=row.get("name"), latest=latest,
percent=(latest - pre) / pre * 100 if pre else 0,
change=latest - pre,
volume=self._to_float(row.get("volume")) / 100, # 股→手
turnover=row.get("amount"),
amplitude=amplitude / pre * 100 if pre else 0,
high=row.get("high"), low=row.get("low"),
open_price=row.get("open"), pre_close=pre)
if response.meta["page"] < self.max_pages and rows:
yield self.api_request(response.meta["node"], response.meta["page"] + 1)
数值统一在组装阶段处理:价格保留两位小数,涨跌幅补 %,成交量过万换成“万手”,成交额按亿和万换算,和作业样例里的写法保持一致。
def build_item(self, index, code, name, latest, percent, change, volume,
turnover, amplitude, high, low, open_price, pre_close):
return StockItem(
id=str(index), bStockNo=self._text(code), bStockName=self._text(name),
bLatestPrice=self._number(latest), bChangePercent=self._percent(percent),
bChangeAmount=self._number(change), bVolume=self._volume(volume),
bTurnover=self._turnover(turnover), bAmplitude=self._number(amplitude),
bHigh=self._number(high), bLow=self._number(low),
bOpen=self._number(open_price), bPreClose=self._number(pre_close),
source=self.source, crawlTime=datetime.now().strftime("%Y-%m-%d %H:%M:%S"))
建表语句写在 Pipeline 的类属性里,字段名直接用作业表格的英文表头,换存储方式时不用再改 Spider。
CREATE TABLE IF NOT EXISTS `stocks` (
`id` INT PRIMARY KEY,
`bStockNo` VARCHAR(16),
`bStockName` VARCHAR(64),
`bLatestPrice` VARCHAR(16),
`bChangePercent` VARCHAR(16),
`bChangeAmount` VARCHAR(16),
`bVolume` VARCHAR(32),
`bTurnover` VARCHAR(32),
`bAmplitude` VARCHAR(16),
`bHigh` VARCHAR(16),
`bLow` VARCHAR(16),
`bOpen` VARCHAR(16),
`bPreClose` VARCHAR(16)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
写入用参数化占位符,列名来自 Pipeline 声明的 csv_headers,CSV 和 MySQL 共用同一份顺序,避免两边字段错位。
INSERT INTO `stocks`
(`id`, `bStockNo`, `bStockName`, `bLatestPrice`, `bChangePercent`,
`bChangeAmount`, `bVolume`, `bTurnover`, `bAmplitude`,
`bHigh`, `bLow`, `bOpen`, `bPreClose`)
VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s);
默认每个市场抓 1 页、每页 20 只,沪市 20 条加深市 20 条,共 40 条,--pages 3 就继续往下翻。这 40 条同时写进了 CSV 输出和 MySQL 的 stocks 表。

图 6 新浪行情接口返回的第一条记录及字段对应关系

图 7 股票行情输出的前 8 条记录

图 8 MySQL 中 stocks 表的查询结果
1.3 中国银行外汇
中国银行外汇牌价页面 https://www.boc.cn/sourcedb/whpj/ 是服务端渲染的表格,表格 id 是 priceTable,不需要接口。要取的是货币名称、现汇买入价、现钞买入价、现汇卖出价、现钞卖出价和发布时间,分别对应 Currency、TBP、CBP、TSP、CSP、Time。
XPath 这里踩过一个坑:写成 //tr[position()>1] 会丢掉第一条数据,因为 position() 是按父节点算的,thead 里的表头是第 1 个 tr,tbody 里的第一条数据也是第 1 个。改成排除 thead 之后就正常了。
| 页面列 | Item 字段 | 表字段 | 含义 |
|---|---|---|---|
| 货币名称 | currency | Currency | 货币名称 |
| 现汇买入价 | tbp | TBP | 现汇买入价 |
| 现钞买入价 | cbp | CBP | 现钞买入价 |
| 现汇卖出价 | tsp | TSP | 现汇卖出价 |
| 现钞卖出价 | csp | CSP | 现钞卖出价 |
| 发布时间 | time | Time | 发布时间 |
def parse(self, response):
# 不能用 //tr[position()>1]:tbody 第一条的 position() 也是 1,会被误删
rows = response.xpath("//table[@id='priceTable']//tr[not(parent::thead)]")
for row in rows:
cells = row.xpath("./td")
if len(cells) < 8:
continue # 结构不对的行直接跳过
currency = self._text(cells[0])
if not currency:
continue # 空行不算一条牌价
yield ForexItem(currency=currency,
tbp=self._text(cells[1]), cbp=self._text(cells[2]),
tsp=self._text(cells[3]), csp=self._text(cells[4]),
date=self._text(cells[6]), time=self._text(cells[7]))
forex 表的字段和页面列一一对应,主键用自增 id,避免同名货币重复时主键冲突;Time 用字符串存,保留页面上的 22:40:00 原样。
CREATE TABLE IF NOT EXISTS `forex` (
`id` INT AUTO_INCREMENT PRIMARY KEY,
`Currency` VARCHAR(64),
`TBP` VARCHAR(16),
`CBP` VARCHAR(16),
`TSP` VARCHAR(16),
`CSP` VARCHAR(16),
`Time` VARCHAR(32)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
写入时按 csv_headers 的顺序取六个业务字段,id 交给数据库自增,所以下面这条 INSERT 只列业务列。
INSERT INTO `forex`
(`Currency`, `TBP`, `CBP`, `TSP`, `CSP`, `Time`)
VALUES (%s, %s, %s, %s, %s, %s);
页面一次就把所有货币列完,不需要翻页,实测一次抓到 45 条,全部写进 CSV 输出和 MySQL 的 forex 表。表里捷克克朗的买入价是空的,那是中国银行页面本身就没有挂牌,不是解析丢字段。

图 9 中国银行外汇牌价页面的 priceTable 结构

图 10 外汇牌价输出的前 8 条记录

图 11 MySQL 中 forex 表的查询结果
2 实现思路和问题处理
三个任务的公共流程是一样的:Spider 只负责发请求和解析页面,解析结果装进 Item;Pipeline 按 process_item 的顺序拿到 Item,先写 CSV/JSONL,再判断 MySQL 是否可用并插入;结束阶段关文件、提交事务。这样换数据源只动 Spider,换存储只动 Pipeline,两边互不影响。
字段先定死,是后面所有代码能对上号的前提。三个 Item 分别对应三项作业,字段名就是作业要求的表头。
class StockItem(scrapy.Item):
id = scrapy.Field() # 序号
bStockNo = scrapy.Field() # 股票代码
bStockName = scrapy.Field() # 股票名称
bLatestPrice = scrapy.Field() # 最新报价
bChangePercent = scrapy.Field() # 涨跌幅
bChangeAmount = scrapy.Field() # 涨跌额
bVolume = scrapy.Field() # 成交量
bTurnover = scrapy.Field() # 成交额
bAmplitude = scrapy.Field() # 振幅
bHigh = scrapy.Field() # 最高
bLow = scrapy.Field() # 最低
bOpen = scrapy.Field() # 今开
bPreClose = scrapy.Field() # 昨收
通用 Pipeline 只写一次,股票和外汇各自继承并声明字段、表名、建表语句。CSV 和 MySQL 拿的是同一份 values,所以不会出现文件里对、库里错的情况。
def process_item(self, item, spider):
data = dict(item)
values = [data.get(f, "") if data.get(f) is not None else ""
for f in self.field_names]
self.writer.writerow(values)
self.json_file.write(json.dumps(data, ensure_ascii=False) + "\n")
if self.store:
self.store.insert(dict(zip(self.csv_headers, values)))
self.count += 1
return item
第一个问题是入口。Scrapy 2.20 启动时调的是 async def start(),不再自动执行旧式的 start_requests,第一次跑图片爬虫时页面一个没抓就显示 Closing spider (finished)。在三个爬虫里各补一段 async def start() 转调 start_requests() 之后才正常,这样旧写法也不用改。
第二个问题是 XPath。除了外汇首行被 position() 误删,股票离线表格还出现过涨跌幅变成 62.22%%,因为本地 HTML 里已经带了百分号,_percent 又补了一次;现在先判断结尾再拼接,价格也统一保留两位小数。
第三个问题是数据源稳定性。东方财富首页是 JS 渲染,push2 接口连续请求会 RemoteDisconnected,最后换成新浪接口;MySQL 这块则是本机 root 密码未知,所以把账号密码改成环境变量,连不上只打印提示、CSV 照常生成,再用一个 3307 端口的临时实例把入库流程完整验证了一遍。
二 作业总结与体会
1 作业心得
这次写完最大的感受是,Item 和 Pipeline 的价值不在于“分层好看”,而在于它把一次改动的影响范围圈住了。以前两个半成品脚本里,找图片、拼地址、下载、打印、保存挤在一个函数里,想加个 CSV 输出就得动下载逻辑,改完还得重新确认下载没坏。现在 Spider 只 yield Item,下载在 ImageDownloadPipeline,序列化在 ImageSerializationPipeline,我加 JSONL 的时候一行 Spider 代码都没碰。股票和外汇更明显,两个爬虫的解析逻辑完全不同,但存储部分是同一份代码,字段对不上的问题只可能出现在 build_item 那一处。
另一个认识上的变化是对“并发”的理解。我原来以为多线程就是把 threading.Thread 开起来,跑完 join 一下就完事。真正写下去才发现 Scrapy 本身就在事件循环里并发调度请求,CONCURRENT_REQUESTS=1 才是串行;而图片下载是我在 Pipeline 里额外开的线程,多线程模式其实是“Scrapy 异步 + 下载线程”两层叠在一起。第一次在 process_item 里 start() 完就返回,还担心线程没跑完进程就退了,后来在 close_spider 里统一 join() 才踏实。也正因为这一点,两个模式的耗时差别不能简单归因于线程数,页面请求的并发设置同样在起作用。
2 不足与改进方向
目前的短板挺明显。股票只抓了每个市场 1 页共 40 条,离“沪深所有股票”还有距离,虽然 --pages 能继续翻,但没有做增量更新,重复运行会把表清空重写。图片那边只按首页链接跟进,没有处理懒加载和分页,抓到的图里还混着广告位;判重只靠 URL,同一张图换个地址仍会重复下载。MySQL 部分也没有做异常重试和批量提交,记录一多逐条 execute 的效率会下去。
后面想改的方向是:股票改成按代码区间或全量翻页,加上“先查后插”的增量逻辑,避免每次清表;图片补上懒加载属性(data-src)的兜底,并按内容哈希去重;入库改成 executemany 分批提交,配合失败重试和写入条数校验。离线站点也可以再补几个异常页面,比如缺列、空表、编码不对,这样字段清洗的边界情况能在本地就跑出来。

浙公网安备 33010602011771号