数据采集实践第三次作业

数据采集实践第三次作业

项目 内容
学号 102402107
姓名 陈瑀涵
码云仓库 2026data-collection-practice

这次作业有三个任务:下载图片、爬股票行情、爬外汇牌价。图片那个要交单线程和多线程两版,另外两个都用 Scrapy 配 XPath,最后把数据写进 MySQL。

环境是 Windows + Python 3.11,建库和查结果都在 MySQL Workbench 里做。跑完的数字是这样的:图片单线程、多线程各成功 77 张,股票入库 50 条,外汇入库 44 条。下面按任务把代码和过程写一遍。

一 图片数据采集

1 作业代码与运行结果

任务与实现

起始网址我选了中国气象网 http://www.weather.com.cn/。学号 102402107,尾两位 07、尾三位 107,所以 MAX_PAGES 定成 7,MAX_IMAGES 定成 107。这两个只是上限,不等于一定能访问满 7 页,也不等于一定凑够 107 张。

代码在 task1_images/image_crawler.py。思路不复杂:拿一个列表当待访问队列,每次从队头 pop 出一个页面,抓完把页面里的链接再塞到队尾,所以是广度优先地往外走。有一处我一开始写错了——visited.add() 得放在真正发请求之前,不然请求一失败就会反复去试同一页,卡在那儿出不来。现在失败也算用掉一次页数额度。

图片收够了就直接跳出循环。下面是这段循环和取图片地址的部分,建队列、建集合的那几行省掉了:

        while pending and len(visited) < MAX_PAGES and len(images) < MAX_IMAGES:
            page_url = pending.pop(0)
            if page_url in visited:
                continue
            # 请求前就计入页数,因此失败的页面也占用访问额度。
            visited.add(page_url)
            try:
                tree = self._get_tree(page_url)
            except requests.RequestException as exc:
                print(f"[页面失败] {page_url}:{exc}")
                continue

            # 同时兼容 src、data-src 和常见的懒加载属性。
            src_values = tree.xpath(
                "//img/@src | //img/@data-src | //img/@data-original"
            )
            for src in src_values:
                # 空地址会被补全为当前网页,先跳过以免把网页误当成图片。
                if not src.strip():
                    continue
                # 把相对路径及 // 开头的地址补全,才可以直接发起下载请求。
                image_url = urljoin(page_url, src.strip())
                if image_url.startswith(("http://", "https://")) and image_url not in image_seen:
                    image_seen.add(image_url)
                    images.append(image_url)
                    if len(images) >= MAX_IMAGES:
                        break

图片地址是把 src、data-src、data-original 三个属性一起取的。现在不少站点的图是懒加载,src 里要么是空的,要么放个占位图,只取 src 会漏一大半。取出来之后用 urljoin 补成完整地址,再滤掉不是 HTTP/HTTPS 的,最后按 URL 去重。页面链接我限制在跟起始页同一个 netloc 里,但图片地址没加这个限制——网页引用了站外图床的图,也应该能下下来。

下载那段设了 20 秒超时,请求头里带了 Referer。响应回来不是马上写文件,先看三样:HTTP 状态码、内容是不是空的、Content-Type 有没有以 image/ 开头。这三样都过了,再去核开头几个字节对不对得上 JPEG、PNG、GIF、WebP、BMP 的文件头。后缀是从文件头反推的,不从 URL 后缀猜,也没有 .jpg 兜底。文件名用「序号 + URL 的 MD5 前 8 位 + 后缀」,同一张图重复出现也不会互相覆盖。

下面是下载方法里从检查响应到定后缀的一段:

response = self.session.get(url, timeout=20, headers={"Referer": self.start_url})
response.raise_for_status()
if not response.content:
    raise ValueError("响应内容为空")
# 网站可能返回 HTML 页面,即使状态为 200 也不能当成图片保存。
content_type = response.headers.get("Content-Type", "").split(";", 1)[0].strip().lower()
if not content_type.startswith("image/"):
    raise ValueError(f"非图片响应(Content-Type: {content_type or '未提供'}),已跳过")
# 再核对常见图片格式的文件头,避免仅凭扩展名或响应头判断。
data = response.content
if data.startswith(b"\xff\xd8\xff"):
    suffix = ".jpg"
elif data.startswith(b"\x89PNG\r\n\x1a\n"):
    suffix = ".png"
elif data.startswith((b"GIF87a", b"GIF89a")):
    suffix = ".gif"
elif data.startswith(b"RIFF") and data[8:12] == b"WEBP":
    suffix = ".webp"
elif data.startswith(b"BM"):
    suffix = ".bmp"
else:
    raise ValueError("文件头不是支持的图片格式(JPEG/PNG/GIF/WebP/BMP),已跳过")

这些检查挡掉了不少脏数据,比如状态 200 但其实是个 HTML 错误页的情况。不过话说回来,它只看开头几个字节,不等于图片真能完整解码,这俩是两件事。

两种模式的采集和下载方法完全共用,区别只在怎么调度:

    def run_single(self, urls: list[str]) -> int:
        """单线程按顺序下载。"""
        self.output_dir.mkdir(parents=True, exist_ok=True)
        return sum(self.download_one(i, url) for i, url in enumerate(urls, 1))

    def run_multi(self, urls: list[str]) -> int:
        """线程池并发下载,控制线程数,避免给目标站点造成压力。"""
        self.output_dir.mkdir(parents=True, exist_ok=True)
        success = 0
        with ThreadPoolExecutor(max_workers=self.workers) as pool:
            futures = [pool.submit(self.download_one, i, url) for i, url in enumerate(urls, 1)]
            for future in as_completed(futures):
                # 按任务完成顺序统计,True/False 分别按 1/0 计入成功数。
                success += int(future.result())
        return success

run_single 就是 for 循环一个个下,边下边把成功数加起来。run_multi 把任务都 submit 给线程池,再用 as_completed 按完成顺序收结果,True 记 1、False 记 0。默认 8 个线程,main 里把传进来的数卡在 1~16 之间。多线程打印会串行输出,所以控制台打印加了把锁。

运行方式与结果位置

命令都在「作业3」目录下执行:

py -3.11 task1_images/image_crawler.py --mode single
py -3.11 task1_images/image_crawler.py --mode multi --workers 8

两个模式各存一个目录,跑完对着看方便。

两次跑都是访问了 7 个页面、抓到 79 个候选链接,成功 77 张,剩下的 2 个链接是 404。图片链接会变的,过几天再跑数字可能就不一样,以当次日志为准。

图1 单线程启动与 URL 输出

11

图2 单线程完成统计:77/79

12

图3 多线程启动与 URL 输出

13

图4 多线程完成统计:77/79

14

图5 single 文件夹中的下载结果

15

图6 multi 文件夹中的下载结果

16

码云文件夹链接:https://gitee.com/ccchen-yuhuan/2026data-collection-practice/tree/master/作业3/task1_images

2 作业心得

图片这块最大的收获,是终于把「找到地址」和「下载文件」当成两件事来看。collect_image_urls 只管收集 URL,download_one 才真的去发图片请求。107 卡的是收集到的地址条数,某一张下失败了就是失败了,程序不会回头再找一张补上。所以光看文件夹里有多少个文件不够,得把采集数和成功数一起看。

取地址这件事比我预想的麻烦。网页里的图片有的写相对路径,有的藏在 data-src 这类属性里,src 是空的。三个属性一起取,再拿当前页面地址补全,才勉强够用。去重只按 URL 做,文件名里的 MD5 也是 URL 算出来的,所以同一个地址只会存一份;但两个不同地址如果指向同一张图,还是会存成两个文件。这个边界挺重要,不然核对数量的时候容易想不明白。

单线程和多线程的区别,代码上看就是网络等待的时候能不能顺手干别的。线程池确实适合这种下载活。但有个事我得说清楚:程序没记耗时,而且两条命令是各跑各的采集,网页内容一旦有变化,两次拿到的 URL 列表未必一样。所以我现在只能讲这两版写法差在哪,不能写成「多线程快了多少倍」。真要比较,得先把同一批 URL 存下来,两种模式都拿它跑,再记时间、成功数和失败数,那样说线程数合不合适才有依据。

容错留了几个口子:页面挂了跳过去,单张图失败返回 False,后面的任务接着跑。真出问题的时候,先从控制台找到那条 URL 和异常,再判断到底是请求没成、响应是空的,还是文件写不进去。这次还修了一个坑——有的 img 的 src 是空字符串,urljoin 之后会变成当前网页的地址,等于把网页当图片存了下来。修完加了响应类型和文件头两道检查,结果文件夹也重新生成了一遍,免得旧文件混在里面让数字看着好看。

二 股票行情采集

1 作业代码与运行结果

任务与实现

项目在 stock_scrapy/,用 Scrapy 加 XPath 采东方财富的股票数据,最后写进 MySQL。先请求行情接口的第 1 页,参数 pn=1、pz=50;拿到 JSON 之后,用里面 f12 的股票代码和 f13 的市场标识拼出个股页面地址,再去访问那个 HTML 页面。名称和代码是从网页标题里用 XPath 取出来、再用正则拆开的,行情数值直接用 JSON 里的。列表页的下一页我没做,所以这次实际处理的就是这 50 条。

items.py 管字段定义,Spider 负责提取和打包,pipelines.py 接 Item 往库里写。数据和字段的对应关系是:

Item / 数据库字段 数据来源 含义与处理
stock_no 网页标题 XPath+正则 与接口 f12 核对一致后保存,表中设唯一约束
stock_name 网页标题 XPath+正则 从标题中拆分股票名称
latest_price f2 最新报价
change_percent f3 涨跌幅,有值时加 %
change_amount f4 涨跌额
volume f5 成交量,保留接口返回值
turnover f6 成交额,保留接口返回值
amplitude f7 振幅,有值时加 %
highest / lowest f15 / f16 最高价 / 最低价
open_price / previous_close f17 / f18 今开 / 昨收

序号 id 是 MySQL 自增的,不用 Spider 管。

下面这段是请求个股页面、解析标题的方法,Item 的字段封装省掉了:

def parse(self, response):
    # 行情接口返回 JSON,直接解析;JSON 选择器不支持 XPath。
    data = response.json()
    # data 或 diff 缺失时按空列表处理,不产生 Item。
    rows = (data.get("data") or {}).get("diff") or []
    for row in rows:
        code = str(row.get("f12", ""))
        market = str(row.get("f13", ""))
        if not re.fullmatch(r"\d{6}", code) or market not in ("0", "1"):
            self.logger.warning("跳过代码或市场标识不完整的记录")
            continue
        # f13 为交易市场:1 上海、0 深圳。访问真实 HTML 页面提取名称和代码。
        prefix = "sh" if market == "1" else "sz"
        yield scrapy.Request(
            f"https://quote.eastmoney.com/{prefix}{code}.html",
            callback=self.parse_stock_page,
            cb_kwargs={"row": row},
        )

def parse_stock_page(self, response, row):
    # 页面标题形如“浦发银行(600000)_最新价格_行情_走势图—东方财富网”。
    # XPath 用于真实网页字段,行情 JSON 则交给 JSON 解析,避免类型混用。
    title = response.xpath("normalize-space(//title)").get() or ""
    match = re.match(r"^(.+?)[((](\d{6})[))]", title)
    if not match or match.group(2) != str(row["f12"]):
        self.logger.error("网页标题未匹配股票代码,跳过:%s,标题:%s", response.url, title)
        return
    self.crawler.stats.inc_value("stock/xpath_verified_count")
    yield self.make_item(row, match.group(2), match.group(1).strip())

response.json() 直接把接口响应当 Python 数据用,JSON 选择器是不能走 XPath 的,这点我踩过,后面细说。个股页面是 HTML,标题形如「浦发银行(600000)_最新价格_行情_走势图—东方财富网」,用 normalize-space(//title) 取到整串,再用正则把名称和六位代码拆出来。拆出来的代码要跟接口的 f12 对上才往下走,对不上就跳过,免得名称和代码错配。f13 是 1 就拼 sh,是 0 就拼 sz。另外加了个统计项 stock/xpath_verified_count,记一下有多少条是真从网页上核对过的。

make_item 把网页来的名称、代码和接口来的行情数值装进同一个 Item。show 里缺失值统一显示成 -,涨跌幅和振幅有值才补 %,成交量成交额没做「万」「亿」的换算,接口给什么就是什么。

Pipeline 打开时就连 data_collection 库,顺手把 stock_quotes 表建出来。库本身得自己先建。行情字段都用 VARCHAR 存,跟 Spider 输出的字符串对得上,省得类型转换上再出问题。

写库那段:

        values = [item.get(name, "-") for name in columns]
        # 股票代码重复时更新其余字段,保留当前行情,不累积同一股票的历史快照。
        updates = ",".join(f"{name}=VALUES({name})" for name in columns[1:])
        sql = f"INSERT INTO stock_quotes ({','.join(columns)}) VALUES ({','.join(['%s'] * len(columns))}) ON DUPLICATE KEY UPDATE {updates}"
        self.cursor.execute(sql, values)
        # 每个 Item 单独提交;参数值交给驱动处理,不直接拼入 SQL。
        self.conn.commit()
        return item

columns 是按数据库字段排好的固定列表,INSERT 里的值全用 %s 占位交给 PyMySQL,不把数据直接拼进 SQL。每个 Item 走一次 execute 加一次 commit,是逐条提交,不是攒一批再写。ON DUPLICATE KEY UPDATE 是给股票代码重复准备的:同一个代码再来一次就更新行情字段,不新增一行。所以这张表里一只股票只有一行,是最近一次写入的行情,不留历史快照。

运行方式与结果位置

先照 代码使用说明.md 装依赖、建库,再核对 stock_scrapy/stock_scrapy/settings.py 里的连接配置。命令在「作业3」目录下跑:

Push-Location stock_scrapy
py -3.11 -m scrapy crawl stock
Pop-Location

查库:

SELECT COUNT(*) AS total FROM data_collection.stock_quotes;
SELECT * FROM data_collection.stock_quotes
ORDER BY updated_at DESC LIMIT 20;

这次跑完,日志里 stock/xpath_verified_count 和 item_scraped_count 都是 50,MySQL 查 COUNT(*) 也是 50,三个数对得上,心里才踏实一点。重复跑的话是按代码更新,字段值没变 updated_at 可能还是老时间;碰上股票名单调整,累计条数也可能变。

图7 股票爬虫最终统计:XPath 核对与 Item 数量均为 50

21

图8 MySQL 股票数据查询结果

22

图9 股票记录总数量:50

23

码云文件夹链接:https://gitee.com/ccchen-yuhuan/2026data-collection-practice/tree/master/作业3/stock_scrapy

2 作业心得

股票这个任务最花时间的是对字段编号。f3 是涨跌幅、f4 是涨跌额、f7 是振幅,数值看起来都差不多,对错一个整列数据就废了,而且从库里看根本看不出来。所以我是拿几个熟悉的股票,把接口返回和页面上的数字一个个比过去的。放进名称明确的 Item 之后,再回头查列和值的对应关系就容易多了。show 顺手把空值处理掉了,不至于拼出 None% 这种内容。

把 parse 和 process_item 对着看了一遍,读取和保存这两段才算分清楚:response.json() 把 JSON 响应解析成 Python 数据,是反序列化;然后请求个股 HTML,用 XPath 从标题里抠名称和代码,核对完打包成 Item 交给 Pipeline 写库。提交方式看调用位置就知道,commit 写在处理单条 Item 的方法里,是逐条提交,没有批量。

唯一键这件事影响挺大。按股票代码做唯一键,重复采集就是覆盖,看当前行情挺方便;但如果想看某只股票不同时间的变化,这张表就不行了。表里虽然有个 updated_at,它不能当历史记录用。要加历史行情得另外设计,这次没动。

调试里印象最深的一个报错是 Cannot use xpath on a Selector of type json。原因就是把 JSON 响应当成 HTML 去用 XPath 了。改完之后按响应类型分开处理:接口只取数值,个股网页只取名称和代码,各管各的。最后两项计数都是 50,又跟数据库数量对了一遍——这件事让我明白「爬虫正常结束」和「数据真的提对存进去了」是两码事,得分别确认。

三 外汇牌价采集

1 作业代码与运行结果

任务与实现

项目在 forex_scrapy/,起始地址是中国银行外汇牌价页 https://www.boc.cn/sourcedb/whpj/。Spider 用 XPath 把表格行取出来,每个单元格把里面的文本全拼起来再 strip() 掉首尾空白,列数少于 7 的、货币名为空的行直接跳过。

字段是按代码里预期的列顺序取的:

Item / 数据库字段 单元格下标 含义
currency 0 货币名称
tbp 1 现汇买入价
cbp 2 现钞买入价
tsp 3 现汇卖出价
csp 4 现钞卖出价
publish_time 6 发布时间,保留整列文本

下标 5 是中行折算价,Item 里没存这一列。四类牌价为空的时候存 '-',不写 0——没有报价和报价是 0 是两回事。发布时间整列存,没再拆成日期和时分秒。解析和翻页的代码如下:

    def parse(self, response):
        # 在 BOC_main 下选取各表格除首行外的数据行,跳过表头。
        for row in response.xpath("//div[contains(@class,'BOC_main')]//table//tr[position()>1]"):
            # 合并单元格中嵌套标签的文本,并去掉首尾空白。
            cells = ["".join(x.xpath(".//text()").getall()).strip() for x in row.xpath("./td")]
            # 列数不足或没有货币名称的行不提交给 Pipeline。
            if len(cells) < 7 or not cells[0]:
                continue
            # 官网列顺序:货币、现汇买入、现钞买入、现汇卖出、现钞卖出、中行折算、发布时间。
            yield ForexItem(
                currency=cells[0], tbp=cells[1] or "-", cbp=cells[2] or "-",
                tsp=cells[3] or "-", csp=cells[4] or "-",
                publish_time=cells[6] if len(cells) > 6 else "-",
            )

        # 只有页面提供文字含“下一页”的链接时才继续请求,不自行拼接页码。
        next_href = response.xpath("(//a[contains(normalize-space(.),'下一页')]/@href)[1]").get()
        if next_href:
            yield response.follow(next_href, callback=self.parse)

翻页全靠页面上有没有文字带「下一页」的链接。有就 response.follow 跟过去,没有就结束。这一步只能说明「这一页没有下一页了」,不代表历史页都抓完了,这两句话差别挺大。

MySQLPipeline 建 forex_rates 表,联合唯一键是 (currency, publish_time)。写入逻辑:

    def process_item(self, item, spider):
        # 命中联合唯一键时只更新四类牌价,避免重复保存同一时刻的记录。
        sql = """INSERT INTO forex_rates
            (currency,tbp,cbp,tsp,csp,publish_time) VALUES (%s,%s,%s,%s,%s,%s)
            ON DUPLICATE KEY UPDATE tbp=VALUES(tbp),cbp=VALUES(cbp),
            tsp=VALUES(tsp),csp=VALUES(csp)"""
        # 用占位符传入数据,顺序与 INSERT 中列名保持一致。
        self.cursor.execute(sql, (
            item["currency"], item["tbp"], item["cbp"],
            item["tsp"], item["csp"], item["publish_time"],
        ))
        # 每条记录写入后提交,并将 Item 交回 Scrapy。
        self.conn.commit()
        return item

同一种货币、同一个发布时间再来一次,就只更新四类牌价;换成新的发布时间就是新的一行。表里的 created_at 是入库时间,publish_time 是网页给的发布时间,两者不是一回事,看数据的时候别混。

运行方式与结果位置

先核对 forex_scrapy/forex_scrapy/settings.py 的库配置。跟股票项目一样,库要自己先建,表是 Pipeline 建的。命令:

Push-Location forex_scrapy
py -3.11 -m scrapy crawl forex
Pop-Location

查库:

SELECT COUNT(*) AS total FROM data_collection.forex_rates;
SELECT currency, tbp, cbp, tsp, csp, publish_time
FROM data_collection.forex_rates ORDER BY id DESC LIMIT 20;

这次跑成功处理 44 条,MySQL 查 COUNT(*) 也是 44。截图里能看到货币名、四种牌价和网页发布时间,这次抓到的发布时间是 2026/11/19 22:15:50。空牌价显示的是 -,没填成 0。

图10 外汇爬虫运行统计:44 条

31

图11 MySQL 外汇牌价查询结果

32

图12 外汇记录总数量:44

33

码云文件夹链接:https://gitee.com/ccchen-yuhuan/2026data-collection-practice/tree/master/作业3/forex_scrapy

2 作业心得

外汇页和股票接口完全不一样。这里没有 f2、f3 这种带名字的编号,只能靠单元格位置。cells[6] 才是发布时间,前面还有一列中行折算价没进 Item。对的时候得把网页上的列、列表下标和 Item 字段三样摆在一起看,不然数据能成功入库,含义却是错的——这种错最麻烦,因为程序不会报错。

单元格文本的处理也有讲究。'.//text()' 是为了把嵌套标签里的文字也拿出来,拼完再 strip() 去掉首尾空白;列数检查能跳过合并单元格或者残缺的行。但它只数得出个数,数不出列的顺序有没有被网站调过。页面结构一换,还是得重新对一遍字段,不能因为没报错就放着。

空牌价我留了 '-',没写 0。现在的用途是展示,这样比写 0 更贴近真实情况。不过库里的牌价都是字符串,以后真想算价差,得先把空值挑出来再转数字,直接拿字符串做减法是不行的。写到这儿我自己也清楚了一点:这套代码做的是采集和保存,还谈不上分析。

股票和外汇都用了重复键更新,但留下的东西不一样。股票按代码覆盖,一只股票一行;外汇按「货币 + 发布时间」,同一货币不同时刻能留多行。以后核对去重效果得分开看这两种情况。还有一点,这次日志显示只拿到 1 个响应页面、处理了 44 条记录。翻页代码只是去找「下一页」链接,所以这 44 条就是那一页的牌价,不能说成把历史数据都抓了。

四 总体心得

把三个程序并排看一遍,流程就清楚多了。图片那个把页面访问、URL 收集、文件下载拆成几步;两个 Scrapy 项目把字段定义、响应解析、入库分别放在 Item、Spider、Pipeline 里。按这些边界去读代码,比盯着最后那个输出数字找问题快得多。

另一个体会是「参数」和「结果」得分开看。图片上限控制的是最多收集多少地址,最后成功几张要看下载的返回值;股票接口的 pz=50 只是个请求参数,实际收到多少条得看响应;数据到底进没进库,只能查表。这几步各有各的检查办法,程序一启动就以为大功告成,是最容易翻车的地方。

截图我留了两种图片模式的控制台和结果文件夹,股票、外汇的字段和条数也用 MySQL Workbench 查过。下一步如果要比单、多线程速度,得用同一批地址、把耗时记下来;想看重复入库的效果,就盯着唯一键。股票按代码更新、外汇按「货币 + 发布时间」区分,这两种设计对应的是不同的保存目的,不是我随手定的。

posted @ 2026-11-19 23:22  陈瑀涵  阅读(6)  评论(0)    收藏  举报