102402116蔡靖熹-数据采集-第三次博客作业
第三次博客作业:Python 图片爬虫、多线程下载与 Scrapy + MySQL 数据采集
课程: 数据采集与融合技术
学号末三位: 116
实验环境: macOS、Python、Conda bd、Scrapy、MySQL
github仓库: https://github.com/TCHHPK/FZU-DataCollection-2026/tree/main/blog03
一、作业内容
本次博客作业主要完成三个网络数据采集任务:
- 使用 Python 实现单线程和多线程图片爬虫,比较下载效率。
- 使用 Scrapy + XPath + MySQL 采集东方财富股票信息。
- 使用 Scrapy + XPath + MySQL 采集中国银行外汇牌价。
三个实验分别建立独立的代码、数据和截图目录,以方便调试、验证和提交。
二、作业①:单线程与多线程图片爬虫
2.1 实验要求
根据学号末三位 116,设置:
| 参数 | 数值 |
|---|---|
| 爬取页数 | 16 页 |
| 下载图片数量 | 116 张 |
| 爬取方式 | 单线程、多线程 |
| 图片保存目录 | images 子文件夹 |
选择专门用于网络爬虫练习的 Books to Scrape 网站:
2.2 单线程爬虫
单线程版本使用 Requests 和 BeautifulSoup 实现。
程序首先访问网站的 16 个分页,通过 CSS 选择器提取图片 URL,随后进行去重和下载。
每张图片下载成功后,在控制台输出图片 URL,并将对应图片编号、来源页码及文件名记录到 CSV 文件。
为了提高程序稳定性,还加入了请求超时、有限重试和异常处理机制。
2.3 多线程爬虫
多线程版本使用 ThreadPoolExecutor 线程池,设置 8 个工作线程。
程序首先完成图片链接收集,再将图片下载任务分配给多个线程并发执行。
由于下载属于网络 I/O 密集型任务,多线程可以在部分线程等待网络响应时执行其他下载任务。
最终将图片按照编号排序,并保存下载记录。
2.4 结果与性能比较
两种方式均按照作业要求扫描 16 页,并下载 116 张图片。
| 对比项目 | 单线程 | 多线程 |
|---|---|---|
| 扫描页数 | 16 | 16 |
| 图片数量 | 116 | 116 |
| 线程数 | 1 | 8 |
| 总耗时 | 【填写实际秒数】 | 【填写实际秒数】 |
加速比 = 单线程耗时 ÷ 多线程耗时。
本次比较包括网页扫描及图片下载的总耗时,因此最终性能结论应根据实际日志判断。
实验截图:






Gitee 文件夹链接:【填写作业①链接】
三、作业②:东方财富股票信息采集
3.1 实验要求
使用 Scrapy 框架,结合 XPath、Item、Pipeline 和 MySQL,完成股票信息的采集、处理及数据库存储。
目标网站:
主要采集字段包括股票代码、股票名称、最新价以及页面实际提供的涨跌幅等指标。
3.2 程序结构
采用 Scrapy 标准项目结构:
- Spider:负责请求网页并通过 XPath 提取数据。
- Item:定义股票信息的数据结构。
- Pipeline:负责将数据写入 MySQL。
- Settings:负责配置请求策略、并发数及数据导出。
数据库名称为 blog03_stocks,数据表为 stocks。
使用股票代码作为唯一标识,防止重复爬取时产生重复记录。
3.3 实验过程及问题解决
实验初期曾尝试直接访问东方财富行情接口,但程序返回 0 条数据。
检查 Scrapy 日志发现,请求受到网站 robots.txt 限制。
进一步验证后确认该接口设置:
User-agent: *
Disallow: /
因此调整方案,改为抓取东方财富首页的 HTML 内容,并保留遵守 robots 访问规则的配置。
通过 XPath 筛选包含股票代码、名称和价格的有效表格行,再将结果封装为 Item,交由 Pipeline 存入 MySQL。
对于网页没有提供的行情字段,保留数据库空值,避免填入不准确的数据。
3.4 实验结果
完成股票数据采集及 MySQL 数据检查,导出了 stocks.csv。
实际股票记录数:【填写数据库查询结果】条。
实验截图:



四、作业③:中国银行外汇牌价采集
4.1 实验要求
目标网站:
https://www.boc.cn/sourcedb/whpj/
使用 Scrapy + XPath 提取外汇牌价信息,并通过 Pipeline 写入 MySQL。
要求采集六个字段:
| 字段 | 含义 |
|---|---|
| Currency | 货币名称 |
| TBP | 现汇买入价 |
| CBP | 现钞买入价 |
| TSP | 现汇卖出价 |
| CSP | 现钞卖出价 |
| Time | 报价时间 |
4.2 实现过程
程序访问中国银行外汇牌价页面,通过 XPath 定位包含货币名称和价格信息的 HTML 表格。
逐行读取货币名称、现汇及现钞买卖价格,并将银行公布的日期与时间转换为标准时间格式。
价格数据使用 Decimal 类型转换,以保证存储精度。对于页面中不存在的报价,使用 NULL 表示。
4.3 数据库存储
创建 MySQL 数据库 blog03_forex,在 forex_rates 表中存储外汇记录。
以货币名称和报价时间建立复合唯一约束,避免同一币种在相同报价时间重复插入。
同时将采集结果导出为 forex.csv,便于查看及后续分析。
4.4 实验结果
已完成外汇牌价采集、数据处理和数据库查询验证。
实际外汇记录数:【填写数据库查询结果】条。
实验截图:



五、实验总结
通过本次博客作业,我进一步掌握了 Python 网络爬虫的开发流程。
首先,在图片爬取实验中,实现了单线程与多线程两种下载方式,对线程池的使用、网络请求和并发任务管理有了更深入的理解。
其次,在股票爬虫实验中,熟悉了 Scrapy 框架中 Spider、Item 和 Pipeline 的协作关系,并通过实际遇到的访问限制问题,认识到爬虫程序必须遵守网站规则,不能单纯通过绕过限制来获取数据。
最后,在外汇数据采集实验中,完成了从 HTML 表格解析、字段转换、缺失值处理到 MySQL 存储及 CSV 导出的完整流程。
本次实验不仅提高了网络数据采集能力,也加深了我对结构化数据处理、数据库设计和程序调试的理解。
浙公网安备 33010602011771号