102402116蔡靖熹-数据采集-第三次博客作业

第三次博客作业:Python 图片爬虫、多线程下载与 Scrapy + MySQL 数据采集

课程: 数据采集与融合技术
学号末三位: 116
实验环境: macOS、Python、Conda bd、Scrapy、MySQL
github仓库: https://github.com/TCHHPK/FZU-DataCollection-2026/tree/main/blog03

一、作业内容

本次博客作业主要完成三个网络数据采集任务:

  1. 使用 Python 实现单线程和多线程图片爬虫,比较下载效率。
  2. 使用 Scrapy + XPath + MySQL 采集东方财富股票信息。
  3. 使用 Scrapy + XPath + MySQL 采集中国银行外汇牌价。

三个实验分别建立独立的代码、数据和截图目录,以方便调试、验证和提交。

二、作业①:单线程与多线程图片爬虫

2.1 实验要求

根据学号末三位 116,设置:

参数 数值
爬取页数 16 页
下载图片数量 116 张
爬取方式 单线程、多线程
图片保存目录 images 子文件夹

选择专门用于网络爬虫练习的 Books to Scrape 网站:

https://books.toscrape.com/

2.2 单线程爬虫

单线程版本使用 Requests 和 BeautifulSoup 实现。

程序首先访问网站的 16 个分页,通过 CSS 选择器提取图片 URL,随后进行去重和下载。

每张图片下载成功后,在控制台输出图片 URL,并将对应图片编号、来源页码及文件名记录到 CSV 文件。

为了提高程序稳定性,还加入了请求超时、有限重试和异常处理机制。

2.3 多线程爬虫

多线程版本使用 ThreadPoolExecutor 线程池,设置 8 个工作线程。

程序首先完成图片链接收集,再将图片下载任务分配给多个线程并发执行。

由于下载属于网络 I/O 密集型任务,多线程可以在部分线程等待网络响应时执行其他下载任务。

最终将图片按照编号排序,并保存下载记录。

2.4 结果与性能比较

两种方式均按照作业要求扫描 16 页,并下载 116 张图片。

对比项目 单线程 多线程
扫描页数 16 16
图片数量 116 116
线程数 1 8
总耗时 【填写实际秒数】 【填写实际秒数】

加速比 = 单线程耗时 ÷ 多线程耗时。

本次比较包括网页扫描及图片下载的总耗时,因此最终性能结论应根据实际日志判断。

实验截图:
01

02

03

04

05

06

Gitee 文件夹链接:【填写作业①链接】

三、作业②:东方财富股票信息采集

3.1 实验要求

使用 Scrapy 框架,结合 XPath、Item、Pipeline 和 MySQL,完成股票信息的采集、处理及数据库存储。

目标网站:

https://www.eastmoney.com/

主要采集字段包括股票代码、股票名称、最新价以及页面实际提供的涨跌幅等指标。

3.2 程序结构

采用 Scrapy 标准项目结构:

  • Spider:负责请求网页并通过 XPath 提取数据。
  • Item:定义股票信息的数据结构。
  • Pipeline:负责将数据写入 MySQL。
  • Settings:负责配置请求策略、并发数及数据导出。

数据库名称为 blog03_stocks,数据表为 stocks。

使用股票代码作为唯一标识,防止重复爬取时产生重复记录。

3.3 实验过程及问题解决

实验初期曾尝试直接访问东方财富行情接口,但程序返回 0 条数据。

检查 Scrapy 日志发现,请求受到网站 robots.txt 限制。

进一步验证后确认该接口设置:

User-agent: *
Disallow: /

因此调整方案,改为抓取东方财富首页的 HTML 内容,并保留遵守 robots 访问规则的配置。

通过 XPath 筛选包含股票代码、名称和价格的有效表格行,再将结果封装为 Item,交由 Pipeline 存入 MySQL。

对于网页没有提供的行情字段,保留数据库空值,避免填入不准确的数据。

3.4 实验结果

完成股票数据采集及 MySQL 数据检查,导出了 stocks.csv。

实际股票记录数:【填写数据库查询结果】条。

实验截图:
截屏2026-11-14 14.30

截屏2026-11-14 14.30

截屏2026-11-14 14.30

四、作业③:中国银行外汇牌价采集

4.1 实验要求

目标网站:

https://www.boc.cn/sourcedb/whpj/

使用 Scrapy + XPath 提取外汇牌价信息,并通过 Pipeline 写入 MySQL。

要求采集六个字段:

字段 含义
Currency 货币名称
TBP 现汇买入价
CBP 现钞买入价
TSP 现汇卖出价
CSP 现钞卖出价
Time 报价时间

4.2 实现过程

程序访问中国银行外汇牌价页面,通过 XPath 定位包含货币名称和价格信息的 HTML 表格。

逐行读取货币名称、现汇及现钞买卖价格,并将银行公布的日期与时间转换为标准时间格式。

价格数据使用 Decimal 类型转换,以保证存储精度。对于页面中不存在的报价,使用 NULL 表示。

4.3 数据库存储

创建 MySQL 数据库 blog03_forex,在 forex_rates 表中存储外汇记录。

以货币名称和报价时间建立复合唯一约束,避免同一币种在相同报价时间重复插入。

同时将采集结果导出为 forex.csv,便于查看及后续分析。

4.4 实验结果

已完成外汇牌价采集、数据处理和数据库查询验证。

实际外汇记录数:【填写数据库查询结果】条。

实验截图:

截屏2026-11-14 14.31

截屏2026-11-14 14.31

截屏2026-11-14 14.31

五、实验总结

通过本次博客作业,我进一步掌握了 Python 网络爬虫的开发流程。

首先,在图片爬取实验中,实现了单线程与多线程两种下载方式,对线程池的使用、网络请求和并发任务管理有了更深入的理解。

其次,在股票爬虫实验中,熟悉了 Scrapy 框架中 Spider、Item 和 Pipeline 的协作关系,并通过实际遇到的访问限制问题,认识到爬虫程序必须遵守网站规则,不能单纯通过绕过限制来获取数据。

最后,在外汇数据采集实验中,完成了从 HTML 表格解析、字段转换、缺失值处理到 MySQL 存储及 CSV 导出的完整流程。

本次实验不仅提高了网络数据采集能力,也加深了我对结构化数据处理、数据库设计和程序调试的理解。


posted @ 2026-11-14 14:39  tchhpk  阅读(7)  评论(0)    收藏  举报