第三次作业
数据采集与融合技术 第三次作业
学号:102402148 姓名:周凯 完成时间:2026-11-19
本作业共三题:图片爬虫(单线程/多线程)、东方财富股票行情、中国银行外汇牌价。后两题均使用 Scrapy 框架 + MySQL 存储。
一、作业要求与完成情况
| 题目 | 作业要求 | 实际交付 |
|---|---|---|
| 作业① | 指定一个网站爬取全部图片;单线程 + 多线程;总页数 = 学号后 2 位(48 页);图片数 = 学号后 3 位(148 张) | 当当网商品图,48 页上限 / 148 张原图;单线程 71.14 s,10 线程 3.97 s |
| 作业② | Scrapy + XPath + MySQL 爬股票信息,表头自定义 | 东方财富 A 股 148 只,12 个字段入库 stock_info |
| 作业③ | Scrapy + XPath + MySQL 爬外汇数据 | 中国银行外汇牌价 45 个币种入库 boc_forex |
作业① 的图片保存在 code/images/images/ 子目录,控制台逐条输出每张图的 URL 与字节数。
二、环境与依赖
| 项目 | 版本 / 说明 |
|---|---|
| Python | 3.13 |
| Scrapy | 2.19.0 |
| MySQL | 8.0.28(绿色解压版,端口 3306,root / 123456,库 spider_db) |
| 其他依赖 | requests、pymysql、playwright(channel=msedge)、pygments、Pillow |
MySQL 位置:本机装在
E:/mysql8。不能放在中文路径下——mysqld 按系统 ANSI 编码解析路径,中文目录会被解成乱码,报Can't find error-message file与Permission denied。启动方式见启动MySQL.bat,或手动执行:E:\mysql8\mysql-8.0.28-winx64\bin\mysqld.exe --defaults-file=E:\mysql8\my.ini --console管道里已写
CREATE DATABASE IF NOT EXISTS和CREATE TABLE IF NOT EXISTS,首次运行会自动建库建表。
三、作业① 图片爬虫
3.1 为什么目标站点不是中国气象网
作业举例是中国气象网,实测后放弃,原因如下:
| 站点 | 实测结果 |
|---|---|
p.weather.com.cn(中国天气网图片频道) |
/photo/、/tuji/、/index_1.shtml 全部重定向到 404 页;全站只有首页 14 篇图集 |
www.cma.gov.cn(中国气象局图片新闻) |
17 条新闻一页列完,无分页 |
pic.people.com.cn(人民网图片) |
栏目页仅 15 KB 空壳,列表由 JS 加载 |
| 中新网 / 新华网图片频道 | 本机网络不可达 |
这些站点都凑不出 48 页。最终选择当当网搜索结果页:page_index 参数可直接翻页、每页固定 60 件商品、服务端渲染,能同时满足"页数"和"图片数"两个限制。
3.2 实现要点
- 学号推导上限:
MAX_PAGES = int(STU_ID[-2:])→ 48,MAX_IMAGES = int(STU_ID[-3:])→ 148,写在文件顶部,改学号即可复用。 - 图片地址提取:商品图现在是
src='//img3m9.ddimg.cn/...-1_b_....jpg'直出外链(不再是早先的data-original懒加载),正则同时兼容src与data-original两种写法、单双引号都收。 - 取原图:把
-1_b_(200px 中图)替换为-1_u_(原图),单张从约 16 KB 提升到 120~320 KB。 - 去重与截断:用
set记录已见地址,累计到 148 张立即break,第 3 页即收满。 - 两种下载实现:
- 单线程:
for循环顺序下载; - 多线程:
queue.Queue装任务 → N 个threading.Thread跑同一 worker →get_nowait()+queue.Empty退出 → 结果按下标写回字典(不能用append,否则顺序乱)。
- 单线程:
3.3 运行
cd code/images
python dd_image_crawler.py --mode single # 仅单线程
python dd_image_crawler.py --mode multi --threads 10 # 仅多线程
python dd_image_crawler.py --mode both --threads 10 # 两种都跑,输出对比
3.4 实测结果
| 指标 | 数值 |
|---|---|
| 翻页数 | 3 页(第 3 页达 148 张上限) |
| 去重后图片地址 | 148 个 |
| 单线程 | 148/148 张,25.30 MB,71.14 s |
| 10 线程 | 148/148 张,25.30 MB,3.97 s |
| 加速比 | 17.92 倍 |
加速比远大于线程数(17.92 > 10),说明单线程的时间几乎全耗在网络等待上;但继续增加线程会遇到 CDN 对单 IP 的并发节制,收益递减。
四、作业② 股票行情(东方财富)
4.1 接口拦截与绕行
东方财富的行情页 quote.eastmoney.com/center/gridlist.html 已改为纯前端渲染,HTML 里只有骨架、没有一行数据;数据由 push2.eastmoney.com 异步推送。该接口对普通 requests 请求一律直接断连(RemoteDisconnected),push2、1.push2、82.push2、push2delay 四个节点均试过;而同一个地址在浏览器上下文里 fetch 返回 200——拦截发生在连接层,不是参数或 UA 写错。
用无头浏览器直接打开行情页也渲染不出表格(页面依赖的外部资源在本地被拦断),所以取数拆成两步:
fetch_stock_data.py:Playwright 打开东财页面 → 在页面上下文page.evaluate里fetch接口 → 取两页(每页 100 条)→ 截断到 148 条 → 写入data/stock_raw.json;scrapy crawl stock:Spider 读 JSON,逐条产出StockItem→ Pipeline 写 MySQL。
接口字段与作业表头的对应关系:
| 作业表头 | 接口字段 | 数据库列 |
|---|---|---|
| 股票代码 | f12 |
stock_code |
| 股票名称 | f14 |
stock_name |
| 最新报价 | f2 |
latest_price |
| 涨跌幅 | f3 |
change_percent |
| 涨跌额 | f4 |
change_amount |
| 成交量 | f5 |
volume |
| 振幅 | f7 |
amplitude |
| 最高 | f15 |
high_price |
| 最低 | f16 |
low_price |
| 今开 | f17 |
open_price |
| 昨收 | f18 |
prev_close |
4.2 Scrapy 侧实现
items.py:StockItem定义 12 个字段;pipelines.py:open_spider建库建表,process_item用ON DUPLICATE KEY UPDATE按stock_code去重;spiders/stock_spider.py:Scrapy 2.13 以后不再调用start_requests(),改用async start()直接产出 Item,Item 仍正常流经ITEM_PIPELINES。
4.3 运行与结果
cd code/stock
python fetch_stock_data.py # 取数,落 data/stock_raw.json
scrapy crawl stock # Item -> Pipeline -> MySQL
入库 148 条,与学号后三位一致。前几条样例:
| seq | 代码 | 名称 | 最新价 | 涨跌幅 | 成交量 | 振幅 | 最高 | 最低 | 今开 | 昨收 |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 | 301348 | 蓝箭电子 | 21.660 | 20.000 | 375545 | 20.780 | 21.660 | 17.910 | 18.070 | 18.050 |
| 2 | 301030 | *ST仕净 | 2.880 | 20.000 | 211105 | 19.580 | 2.880 | 2.410 | 2.410 | 2.400 |
| 3 | 301391 | 卡莱特 | 55.980 | 19.970 | 153827 | 12.520 | 55.990 | 50.150 | 50.900 | 46.660 |
五、作业③ 外汇牌价(中国银行)
5.1 XPath 解析
https://www.boc.cn/sourcedb/whpj/ 是服务端渲染的 HTML 表格,XPath 才有对象可解析。页面结构:
<table>
<tr><td colspan=...>【点击进入历史牌价检索】...</td></tr> ← 导航行,跳过
<tr><th>货币名称</th><th>现汇买入价</th><th>现钞买入价</th>...</tr> ← 表头,跳过
<tr><td>阿联酋迪拉姆</td><td>180.90</td><td>180.90</td>...</tr> ← 数据行
</table>
遍历 //table//tr,用两条规则跳过非数据行:单元格数 < 7 的跳过、首列等于"货币名称"的跳过。比写死行下标稳健,页面增删 banner 行也不会错位。
字段映射:货币名称 → currency、现汇买入价 → tbp、现钞买入价 → cbp、现汇卖出价 → tsp、现钞卖出价 → csp、中行折算价 → boccp、发布日期 → quote_time。
5.2 运行与结果
cd code/forex
scrapy crawl forex
入库 45 条(页面全部币种)。部分币种只有现钞价、现汇价为空(如文莱元、巴西雷亚尔),入库时保留为 NULL 而不是 0,避免混淆"没有报价"和"报价为 0"。
六、数据库设计
库名 spider_db,UTF8MB4,两张表。
stock_info(A 股行情)
| 列 | 类型 | 说明 |
|---|---|---|
| id | INT AUTO_INCREMENT | 主键 |
| seq | INT | 序号 |
| stock_code | VARCHAR(10) | 股票代码,唯一键 |
| stock_name | VARCHAR(32) | 名称 |
| latest_price | DECIMAL(12,3) | 最新价 |
| change_percent | DECIMAL(10,3) | 涨跌幅 % |
| change_amount | DECIMAL(10,3) | 涨跌额 |
| volume | BIGINT | 成交量(手) |
| amplitude | DECIMAL(10,3) | 振幅 % |
| high_price / low_price | DECIMAL(12,3) | 最高 / 最低 |
| open_price / prev_close | DECIMAL(12,3) | 今开 / 昨收 |
| crawl_time | DATETIME | 采集时间 |
boc_forex(外汇牌价)
| 列 | 类型 | 说明 |
|---|---|---|
| id | INT AUTO_INCREMENT | 主键 |
| currency | VARCHAR(32) | 货币名称 |
| tbp / cbp / tsp / csp | DECIMAL(12,4) | 现汇买入/现钞买入/现汇卖出/现钞卖出 |
| boccp | DECIMAL(12,4) | 中行折算价 |
| quote_time | VARCHAR(24) | 牌价发布时间 |
| crawl_time | DATETIME | 采集时间 |
唯一键 (currency, quote_time),配合 ON DUPLICATE KEY UPDATE,重复运行不会产生重复行。
价格字段用
DECIMAL而非FLOAT:浮点存金额会出现21.659999847这类尾数。
七、踩坑记录
- mysqld 不接受中文路径。解压在
C:\Users\周凯\WorkBuddy\数据采集与融合\...下初始化时报Can't find error-message file ...share\errmsg.sys,实为路径被按 ANSI 解码成乱码,所有文件都"找不到"。挪到E:/mysql8一次通过。另外 8.0 的errmsg.sys在share/english/,需复制到share/根目录。 skip-name-resolve会让root@localhost连不上127.0.0.1,报1130 Host is not allowed。去掉该参数,或另建root@'127.0.0.1'用户。- Pygments 行号:
HtmlFormatter(nowrap=True, linenos="inline")行号无效——nowrap会忽略行号设置。正确写法是linenos="inline"且不加nowrap,再截.highlight元素。 - 截图宽度会循环放大:若按元素宽度设视口、而元素又撑满视口(
min-width:100%或截的是外层div),每张图宽度会递增(实测一路涨到 1800 px)。代码块要display:inline-block且不设min-width,截pre而非外层容器。 - 当当商品图结构变过:早先真实地址在
data-original(src是url_none.png占位图),现在是src直出-1_b_外链。照抄旧代码会全拿到占位图。 - 同花顺
q.10jqka.com.cn有头浏览器可渲染(20 行/页),但默认列缺成交量、最高、最低、今开、昨收,字段不全,未采用。
八、目录结构
第三次作业/
├── code/
│ ├── images/ 作业① 图片爬虫
│ │ ├── dd_image_crawler.py 单线程 / 多线程两种实现
│ │ └── images/ 148 张下载的原图
│ ├── stock/ 作业② Scrapy 工程
│ │ ├── fetch_stock_data.py 浏览器上下文取数
│ │ ├── scrapy.cfg
│ │ └── stock/
│ │ ├── items.py StockItem
│ │ ├── pipelines.py MySQL 管道
│ │ └── spiders/stock_spider.py
│ └── forex/ 作业③ Scrapy 工程
│ ├── scrapy.cfg
│ └── forex/
│ ├── items.py ForexItem
│ ├── pipelines.py MySQL 管道
│ └── spiders/forex_spider.py XPath 解析表格
├── data/ 运行日志与原始 JSON
├── shots/ 博客与文档用截图(含学号水印)
├── 102402148 周凯 第三次作业-博客.md 博客园投稿正文
├── 博客预览.html 博客排版预览
├── make_shots.py 截图生成脚本
├── build_blog.py 博客生成脚本
├── 启动MySQL.bat 数据库启动脚本
└── README.md 本文件
九、博客
按作业要求写成两个大标题、每个大标题下两个小标题(第一个小标题放代码与截图,第二个写心得):
102402148 周凯 第三次作业-博客.md—— 博客园投稿正文,代码以代码块形式嵌入博客预览.html—— 渲染后的排版预览
投稿到博客园时,Markdown 中的图片为本地相对路径
shots/xxx.png,需在编辑器里重新上传这 33 张截图。

浙公网安备 33010602011771号