数据采集第三次作业

第三次数据采集实验:图片爬取与行情数据入库

本次实验的完整代码见 Gitee 仓库:https://gitee.com/emmamone/crawl_project/tree/master/作业3

这次实验用 Scrapy 做了三件事:抓中国天气网的图片(单线程、多线程各一遍)、抓新浪沪深 A 股行情、抓中国银行外汇牌价。三份数据都用 Item 承载,由 Pipeline 统一清洗,最后落到 CSV、JSONL 和 MySQL。环境是 Windows + PowerShell、Python 3.14.2、Scrapy 2.20.0,依赖是 Scrapy、BeautifulSoup、lxml 和 pymysql。

一 任务过程与结果

1 作业代码和效果展示

1.1 中国天气网图片爬取

目标站点是中国天气网首页 https://www.weather.com.cn,数据直接从 HTML 里的 <img> 标签取,不走接口。要保留的字段是图片所在页面、图片绝对地址、保存文件名和爬取模式,四个字段都在 ImageItem 里固定下来。

两个爬虫的差别只写在 custom_settings 里,多线程版继承单线程版,不重复写解析逻辑。页数和张数做成参数,演示时用 1 页 10 张,不写死在代码里。

class ImageSingleSpider(scrapy.Spider):
    name = "image_single"
    start_url = "https://www.weather.com.cn"
    max_pages = 3                     # 默认 3 页,运行时用 --pages 覆盖
    max_images = 50                   # 默认 50 张,运行时用 --images 覆盖
    custom_settings = {
        "CONCURRENT_REQUESTS": 1,     # 单线程:一次只发一个页面请求
        "DOWNLOAD_DELAY": 1.0,
        "IMAGE_THREAD_COUNT": 1,      # 下载也一张一张来
    }

class ImageMultiSpider(ImageSingleSpider):
    name = "image_multi"
    custom_settings = {
        "CONCURRENT_REQUESTS": 8,     # 多线程:页面并发 8
        "DOWNLOAD_DELAY": 0.2,
        "IMAGE_THREAD_COUNT": 8,      # 图片各开一个线程下载
    }

页面解析沿用原脚本的 BeautifulSoup 写法,只是把“下载”这一步挪出了 Spider。首页的 src 既有绝对地址也有相对地址,所以每一条都过一遍 urljoin,顺便跳过懒加载占位图和重复图。

def image_spider(self, response):
    soup = BeautifulSoup(response.body, "lxml")
    for image in soup.select("img"):
        src = image.get("src")
        if not src:
            continue
        image_url = urljoin(response.url, src)   # 相对地址要补全才能下载
        if image_url.startswith("data:") or image_url in self.seen_images:
            continue                             # 占位图和重复图不要
        self.seen_images.add(image_url)
        self.image_count += 1
        suffix = os.path.splitext(image_url.split("?")[0])[1] or ".jpg"
        yield ImageItem(page_url=response.url, image_url=image_url,
                        image_name=f"{self.image_count}{suffix}",
                        spider_name=self.name, download_mode=self.download_mode)

下载放在 Pipeline 里,靠 IMAGE_THREAD_COUNT 决定是同步下载还是每张图开一个线程;close_spider 里再统一 join,保证进程退出前所有图片都写完。

def process_item(self, item, spider):
    print(item["image_url"])                  # 作业要求:URL 输出到控制台
    if self.thread_count > 1:
        thread = threading.Thread(target=self.download_image, args=(item,))
        thread.start()                        # 每张图一个线程,互不阻塞
        self.threads.append(thread)
    else:
        self.download_image(item)             # 单线程模式,下载完才轮到下一张
    return item

图片的元信息还要序列化一份,便于核对抓了哪些图,ImageSerializationPipeline 同时开 CSV 和 JSONL 两个文件,每处理一个 Item 写一行。

def process_item(self, item, spider):
    row = {"page_url": item.get("page_url", ""),
           "image_url": item.get("image_url", ""),
           "image_name": item.get("image_name", ""),
           "spider_name": item.get("spider_name", spider.name),
           "download_mode": item.get("download_mode", "")}
    self.writer.writerow(row)
    self.json_file.write(json.dumps(row, ensure_ascii=False) + "\n")
    self.count += 1
    return item

实际运行时两个爬虫各抓了 10 张,都是 10 张成功、0 张失败;另外用自带的离线样本站点验证了一遍 6 张图的完整链路。单线程的下载顺序和页面里图片出现的顺序一致,多线程的 downloaded 行会交错,正好说明线程在并发跑。

抓到的并不只是网页图标:有全国降水量预报图这样的业务图片,也有新闻配图。下面三张是下载目录里原样保存的文件,没有做过任何裁剪。

09_image_page

图 1 中国天气网首页的 img 标签结构

01_single_live

图 2 单线程下载 10 张图片的控制台输出

02_multi_live

图 3 多线程下载 10 张图片的控制台输出

14_images_collage

图 4 天气网抓取到的图片示例(降水量预报图、稻田实拍、霜叶特写)

15_images_grid

图 5 单线程一次抓到的 10 张图片缩略图总览

1.2 股票行情

作业给的候选站点里有东方财富网和新浪股票。东方财富首页的行情表是 JavaScript 渲染的,源码里只有空 <td>;改用它的 push2 行情接口后能拿到 JSON,但连续请求几次会被服务器直接断开连接。最后还是用新浪的沪深 A 股列表接口 Market_Center.getHQNodeData,按 node=sh_a、node=sz_a 两个市场分页,字段和作业表格能一一对应。

数量和地址都提成类属性,翻页时只改 page 参数,换市场只改 node。

class StockSpider(scrapy.Spider):
    name = "stock"
    nodes = ("sh_a", "sz_a")          # 沪市、深市分别分页
    page_size = 20                    # 每页 20 只
    max_pages = 1                     # 默认每个市场 1 页,--pages 可调大
    start_url = ("https://vip.stock.finance.sina.com.cn/quotes_service/"
                 "api/json_v2.php/Market_Center.getHQNodeData")
    custom_settings = {
        "CONCURRENT_REQUESTS": 2,     # 两个市场各一条请求,不要打太急
        "DOWNLOAD_DELAY": 0.5,
    }

接口返回的是 GBK 编码的 JSON 数组,字段名是 trade、settlement 这种短名,所以解析时先算好涨跌额、涨跌幅和振幅,再交给 build_item 统一映射成作业要求的字段名。解析完如果还没到 max_pages,就把下一页排进调度队列。

def parse_api(self, response):
    rows = json.loads(response.body.decode("gbk", errors="ignore"))  # 接口是 GBK
    for row in rows:
        symbol = row.get("symbol", "")
        if not symbol.startswith(("sh", "sz")):
            continue                                  # 混进来的北交所股票不要
        pre = self._to_float(row.get("settlement"))
        latest = self._to_float(row.get("trade"))
        amplitude = self._to_float(row.get("high")) - self._to_float(row.get("low"))
        self.item_index += 1
        yield self.build_item(index=self.item_index, code=row.get("code") or symbol[2:],
                              name=row.get("name"), latest=latest,
                              percent=(latest - pre) / pre * 100 if pre else 0,
                              change=latest - pre,
                              volume=self._to_float(row.get("volume")) / 100,  # 股→手
                              turnover=row.get("amount"),
                              amplitude=amplitude / pre * 100 if pre else 0,
                              high=row.get("high"), low=row.get("low"),
                              open_price=row.get("open"), pre_close=pre)
    if response.meta["page"] < self.max_pages and rows:
        yield self.api_request(response.meta["node"], response.meta["page"] + 1)

数值统一在组装阶段处理:价格保留两位小数,涨跌幅补 %,成交量过万换成“万手”,成交额按亿和万换算,和作业样例里的写法保持一致。

def build_item(self, index, code, name, latest, percent, change, volume,
               turnover, amplitude, high, low, open_price, pre_close):
    return StockItem(
        id=str(index), bStockNo=self._text(code), bStockName=self._text(name),
        bLatestPrice=self._number(latest), bChangePercent=self._percent(percent),
        bChangeAmount=self._number(change), bVolume=self._volume(volume),
        bTurnover=self._turnover(turnover), bAmplitude=self._number(amplitude),
        bHigh=self._number(high), bLow=self._number(low),
        bOpen=self._number(open_price), bPreClose=self._number(pre_close),
        source=self.source, crawlTime=datetime.now().strftime("%Y-%m-%d %H:%M:%S"))

建表语句写在 Pipeline 的类属性里,字段名直接用作业表格的英文表头,换存储方式时不用再改 Spider。

CREATE TABLE IF NOT EXISTS `stocks` (
    `id` INT PRIMARY KEY,
    `bStockNo` VARCHAR(16),
    `bStockName` VARCHAR(64),
    `bLatestPrice` VARCHAR(16),
    `bChangePercent` VARCHAR(16),
    `bChangeAmount` VARCHAR(16),
    `bVolume` VARCHAR(32),
    `bTurnover` VARCHAR(32),
    `bAmplitude` VARCHAR(16),
    `bHigh` VARCHAR(16),
    `bLow` VARCHAR(16),
    `bOpen` VARCHAR(16),
    `bPreClose` VARCHAR(16)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

写入用参数化占位符,列名来自 Pipeline 声明的 csv_headers,CSV 和 MySQL 共用同一份顺序,避免两边字段错位。

INSERT INTO `stocks`
    (`id`, `bStockNo`, `bStockName`, `bLatestPrice`, `bChangePercent`,
     `bChangeAmount`, `bVolume`, `bTurnover`, `bAmplitude`,
     `bHigh`, `bLow`, `bOpen`, `bPreClose`)
VALUES (%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s);

默认每个市场抓 1 页、每页 20 只,沪市 20 条加深市 20 条,共 40 条,--pages 3 就继续往下翻。这 40 条同时写进了 CSV 输出和 MySQL 的 stocks 表。

10_stock_api

图 6 新浪行情接口返回的第一条记录及字段对应关系

05_stocks

图 7 股票行情输出的前 8 条记录

11_stocks_table

图 8 MySQL 中 stocks 表的查询结果

1.3 中国银行外汇

中国银行外汇牌价页面 https://www.boc.cn/sourcedb/whpj/ 是服务端渲染的表格,表格 id 是 priceTable,不需要接口。要取的是货币名称、现汇买入价、现钞买入价、现汇卖出价、现钞卖出价和发布时间,分别对应 Currency、TBP、CBP、TSP、CSP、Time。

XPath 这里踩过一个坑:写成 //tr[position()>1] 会丢掉第一条数据,因为 position() 是按父节点算的,thead 里的表头是第 1 个 tr,tbody 里的第一条数据也是第 1 个。改成排除 thead 之后就正常了。

页面列 Item 字段 表字段 含义
货币名称 currency Currency 货币名称
现汇买入价 tbp TBP 现汇买入价
现钞买入价 cbp CBP 现钞买入价
现汇卖出价 tsp TSP 现汇卖出价
现钞卖出价 csp CSP 现钞卖出价
发布时间 time Time 发布时间
def parse(self, response):
    # 不能用 //tr[position()>1]:tbody 第一条的 position() 也是 1,会被误删
    rows = response.xpath("//table[@id='priceTable']//tr[not(parent::thead)]")
    for row in rows:
        cells = row.xpath("./td")
        if len(cells) < 8:
            continue                      # 结构不对的行直接跳过
        currency = self._text(cells[0])
        if not currency:
            continue                      # 空行不算一条牌价
        yield ForexItem(currency=currency,
                        tbp=self._text(cells[1]), cbp=self._text(cells[2]),
                        tsp=self._text(cells[3]), csp=self._text(cells[4]),
                        date=self._text(cells[6]), time=self._text(cells[7]))

forex 表的字段和页面列一一对应,主键用自增 id,避免同名货币重复时主键冲突;Time 用字符串存,保留页面上的 22:40:00 原样。

CREATE TABLE IF NOT EXISTS `forex` (
    `id` INT AUTO_INCREMENT PRIMARY KEY,
    `Currency` VARCHAR(64),
    `TBP` VARCHAR(16),
    `CBP` VARCHAR(16),
    `TSP` VARCHAR(16),
    `CSP` VARCHAR(16),
    `Time` VARCHAR(32)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

写入时按 csv_headers 的顺序取六个业务字段,id 交给数据库自增,所以下面这条 INSERT 只列业务列。

INSERT INTO `forex`
    (`Currency`, `TBP`, `CBP`, `TSP`, `CSP`, `Time`)
VALUES (%s, %s, %s, %s, %s, %s);

页面一次就把所有货币列完,不需要翻页,实测一次抓到 45 条,全部写进 CSV 输出和 MySQL 的 forex 表。表里捷克克朗的买入价是空的,那是中国银行页面本身就没有挂牌,不是解析丢字段。

12_forex_html

图 9 中国银行外汇牌价页面的 priceTable 结构

06_forex

图 10 外汇牌价输出的前 8 条记录

13_forex_table

图 11 MySQL 中 forex 表的查询结果

2 实现思路和问题处理

三个任务的公共流程是一样的:Spider 只负责发请求和解析页面,解析结果装进 Item;Pipeline 按 process_item 的顺序拿到 Item,先写 CSV/JSONL,再判断 MySQL 是否可用并插入;结束阶段关文件、提交事务。这样换数据源只动 Spider,换存储只动 Pipeline,两边互不影响。

字段先定死,是后面所有代码能对上号的前提。三个 Item 分别对应三项作业,字段名就是作业要求的表头。

class StockItem(scrapy.Item):
    id = scrapy.Field()              # 序号
    bStockNo = scrapy.Field()        # 股票代码
    bStockName = scrapy.Field()      # 股票名称
    bLatestPrice = scrapy.Field()    # 最新报价
    bChangePercent = scrapy.Field()  # 涨跌幅
    bChangeAmount = scrapy.Field()   # 涨跌额
    bVolume = scrapy.Field()         # 成交量
    bTurnover = scrapy.Field()       # 成交额
    bAmplitude = scrapy.Field()      # 振幅
    bHigh = scrapy.Field()           # 最高
    bLow = scrapy.Field()            # 最低
    bOpen = scrapy.Field()           # 今开
    bPreClose = scrapy.Field()       # 昨收

通用 Pipeline 只写一次,股票和外汇各自继承并声明字段、表名、建表语句。CSV 和 MySQL 拿的是同一份 values,所以不会出现文件里对、库里错的情况。

def process_item(self, item, spider):
    data = dict(item)
    values = [data.get(f, "") if data.get(f) is not None else ""
              for f in self.field_names]
    self.writer.writerow(values)
    self.json_file.write(json.dumps(data, ensure_ascii=False) + "\n")
    if self.store:
        self.store.insert(dict(zip(self.csv_headers, values)))
    self.count += 1
    return item

第一个问题是入口。Scrapy 2.20 启动时调的是 async def start(),不再自动执行旧式的 start_requests,第一次跑图片爬虫时页面一个没抓就显示 Closing spider (finished)。在三个爬虫里各补一段 async def start() 转调 start_requests() 之后才正常,这样旧写法也不用改。

第二个问题是 XPath。除了外汇首行被 position() 误删,股票离线表格还出现过涨跌幅变成 62.22%%,因为本地 HTML 里已经带了百分号,_percent 又补了一次;现在先判断结尾再拼接,价格也统一保留两位小数。

第三个问题是数据源稳定性。东方财富首页是 JS 渲染,push2 接口连续请求会 RemoteDisconnected,最后换成新浪接口;MySQL 这块则是本机 root 密码未知,所以把账号密码改成环境变量,连不上只打印提示、CSV 照常生成,再用一个 3307 端口的临时实例把入库流程完整验证了一遍。

二 作业总结与体会

1 作业心得

这次写完最大的感受是,Item 和 Pipeline 的价值不在于“分层好看”,而在于它把一次改动的影响范围圈住了。以前两个半成品脚本里,找图片、拼地址、下载、打印、保存挤在一个函数里,想加个 CSV 输出就得动下载逻辑,改完还得重新确认下载没坏。现在 Spider 只 yield Item,下载在 ImageDownloadPipeline,序列化在 ImageSerializationPipeline,我加 JSONL 的时候一行 Spider 代码都没碰。股票和外汇更明显,两个爬虫的解析逻辑完全不同,但存储部分是同一份代码,字段对不上的问题只可能出现在 build_item 那一处。

另一个认识上的变化是对“并发”的理解。我原来以为多线程就是把 threading.Thread 开起来,跑完 join 一下就完事。真正写下去才发现 Scrapy 本身就在事件循环里并发调度请求,CONCURRENT_REQUESTS=1 才是串行;而图片下载是我在 Pipeline 里额外开的线程,多线程模式其实是“Scrapy 异步 + 下载线程”两层叠在一起。第一次在 process_item 里 start() 完就返回,还担心线程没跑完进程就退了,后来在 close_spider 里统一 join() 才踏实。也正因为这一点,两个模式的耗时差别不能简单归因于线程数,页面请求的并发设置同样在起作用。

2 不足与改进方向

目前的短板挺明显。股票只抓了每个市场 1 页共 40 条,离“沪深所有股票”还有距离,虽然 --pages 能继续翻,但没有做增量更新,重复运行会把表清空重写。图片那边只按首页链接跟进,没有处理懒加载和分页,抓到的图里还混着广告位;判重只靠 URL,同一张图换个地址仍会重复下载。MySQL 部分也没有做异常重试和批量提交,记录一多逐条 execute 的效率会下去。

后面想改的方向是:股票改成按代码区间或全量翻页,加上“先查后插”的增量逻辑,避免每次清表;图片补上懒加载属性(data-src)的兜底,并按内容哈希去重;入库改成 executemany 分批提交,配合失败重试和写入条数校验。离线站点也可以再补几个异常页面,比如缺列、空表、编码不对,这样字段清洗的边界情况能在本地就跑出来。

posted @ 2026-11-17 09:54  Emmamone  阅读(4)  评论(0)    收藏  举报