数据采集第三次作业
第三次作业
作业一:单线程与多线程图片爬虫
分析过程
本次选择福州大学新闻网“影像福大”栏目作为目标网站:
https://news.fzu.edu.cn/yxfd.htm
打开页面后,通过 F12 的 Elements 面板可以观察到图片主要写在 <img> 标签中。部分图片地址使用相对路径,例如:

<img src="images/logo.png">
因此在编写爬虫时,不能直接把 src 当作完整 URL,需要使用 urljoin() 将其转换为绝对地址。部分页面还会使用:data-src,data-original,等延迟加载属性,因此程序同时检查这些属性。
根据学号 102402111 设置限制:
MAX_PAGES = 11
MAX_IMAGES = 111
- 最多访问 11 页;
- 最多下载 111 张图片。
该栏目实际只有 7 页,所以程序访问了 7 页,并对图片 URL 去重后下载了 66 张图片。
核心代码
图片 URL 收集:
def collect_image_urls(html, page_url):
soup = BeautifulSoup(html, "lxml")
urls = []
seen = set()
def add_url(value):
if not value:
return
value = value.strip()
if value.startswith(("data:", "javascript:", "#")):
return
absolute_url = urljoin(page_url, value)
if absolute_url not in seen:
seen.add(absolute_url)
urls.append(absolute_url)
for image in soup.find_all("img"):
for attribute in ("src", "data-src", "data-original"):
add_url(image.get(attribute))
for tag in soup.find_all(style=True):
for value in re.findall(r"url\(['\"]?(.*?)['\"]?\)", tag["style"]):
add_url(value)
return urls
单线程下载:
def download_single_thread(urls, save_dir):
success = 0
for index, url in enumerate(urls, 1):
if download_one(url, index, save_dir):
success += 1
return success
多线程下载:
def download_multi_thread(urls, save_dir, workers=8):
success = 0
with ThreadPoolExecutor(max_workers=workers) as executor:
tasks = {
executor.submit(download_one, url, index, save_dir): url
for index, url in enumerate(urls, 1)
}
for future in as_completed(tasks):
if future.result():
success += 1
return success
完整代码 Gitee 链接:https://gitee.com/oqst/2026_crawl_project/blob/master/第三次作业/作业1/image_crawler.py
运行结果



心得体会
这次图片爬虫让我理解了单线程和多线程的区别。单线程按顺序下载图片,代码容易理解,但网络等待时间较长;多线程通过线程池同时下载多张图片,可以明显减少总等待时间。
不过多线程并不是线程数越多越好。线程数过多会给目标网站造成压力,也可能导致请求失败。因此程序同时设置了页面上限和图片数量上限,并在下载前对 URL 去重。通过这次实验,我认识到爬虫不仅要把图片下载下来,还要控制访问规模和保存数量。
作业二:Scrapy + Item + Pipeline + MySQL 爬取股票
分析过程
打开东方财富行情页面:
https://quote.eastmoney.com/center/gridlist.html#hs_a_board
按 F12,进入 Network,选择 Fetch/XHR,刷新页面并搜索:

找到接口:
https://push2.eastmoney.com/api/qt/clist/get
接口主要参数:
| 参数 | 含义 |
|---|---|
pn |
页码 |
pz |
每页数量 |
po |
排序方向 |
fid |
排序字段 |
fs |
市场板块 |
fields |
返回字段 |
接口返回的数据位于:
data.diff
主要字段:
| 字段 | 含义 |
|---|---|
f12 |
股票代码 |
f14 |
股票名称 |
f2 |
最新报价 |
f3 |
涨跌幅 |
f4 |
涨跌额 |
f5 |
成交量 |
f6 |
成交额 |
f7 |
振幅 |
f15 |
最高 |
f16 |
最低 |
f17 |
今开 |
f18 |
昨收 |
因为接口返回的是 JSON,所以 Spider 中使用 response.json() 解析数据。Scrapy 的 Item 负责定义字段,Pipeline 负责将数据写入 MySQL。
核心代码
Item 定义:
class StockItem(scrapy.Item):
stock_code = scrapy.Field()
stock_name = scrapy.Field()
latest_price = scrapy.Field()
change_percent = scrapy.Field()
change_amount = scrapy.Field()
volume = scrapy.Field()
amount = scrapy.Field()
amplitude = scrapy.Field()
high_price = scrapy.Field()
low_price = scrapy.Field()
open_price = scrapy.Field()
previous_close = scrapy.Field()
Spider 解析接口 JSON:
def parse(self, response):
payload = response.json()
stock_list = (payload.get("data") or {}).get("diff") or []
for item in stock_list:
yield StockItem(
stock_code=str(item.get("f12") or ""),
stock_name=item.get("f14") or "",
latest_price=self.number_or_none(item.get("f2")),
change_percent=self.number_or_none(item.get("f3")),
change_amount=self.number_or_none(item.get("f4")),
volume=self.number_or_none(item.get("f5")),
amount=self.number_or_none(item.get("f6")),
amplitude=self.number_or_none(item.get("f7")),
high_price=self.number_or_none(item.get("f15")),
low_price=self.number_or_none(item.get("f16")),
open_price=self.number_or_none(item.get("f17")),
previous_close=self.number_or_none(item.get("f18")),
)
完整代码 Gitee 链接:https://gitee.com/oqst/2026_crawl_project/tree/master/第三次作业/作业2_Scrapy股票
运行结果


心得体会
股票爬虫让我理解了 Scrapy 中不同组件的分工:Spider 负责请求和解析,Item 负责定义数据结构,Pipeline 负责把数据保存到数据库。
东方财富接口中的字段名比较短,例如 f12、f14、f2,需要结合页面显示内容判断含义。通过 F12 分析请求参数和返回结构,我认识到爬虫不能只复制一个 URL,而要理解每个参数控制什么数据。MySQL Pipeline 使用唯一键和 ON DUPLICATE KEY UPDATE,可以避免同一只股票重复插入。
作业三:Scrapy + XPath + MySQL 爬取中国银行外汇
分析过程
打开中国银行外汇牌价页面:
https://www.boc.cn/sourcedb/whpj/
按 F12,进入 Elements,点击外汇牌价表,可以看到表格:
<table id="priceTable">

每一行都是一个 tr:
<tr data-currency="美元">
每一行中的 8 个 td 分别对应:
货币名称
现汇买入价
现钞买入价
现汇卖出价
现钞卖出价
中行折算价
发布日期
发布时间
因此可以使用 XPath 定位表格:
//table[@id="priceTable"]//tr[position()>1]
其中 position()>1 表示跳过第一行表头。
在 Console 中可以看到:

核心代码
外汇 Item:
class ForexItem(scrapy.Item):
currency = scrapy.Field()
tbp = scrapy.Field()
cbp = scrapy.Field()
tsp = scrapy.Field()
csp = scrapy.Field()
conversion = scrapy.Field()
publish_date = scrapy.Field()
time = scrapy.Field()
XPath 解析:
def parse(self, response):
rows = response.xpath(
'//table[@id="priceTable"]//tr[position() > 1]'
)
for row in rows:
cells = [
cell.xpath("normalize-space(string(.))").get(default="").strip()
for cell in row.xpath("./td")
]
if len(cells) < 8 or not cells[0]:
continue
yield ForexItem(
currency=cells[0],
tbp=cells[1],
cbp=cells[2],
tsp=cells[3],
csp=cells[4],
conversion=cells[5],
publish_date=cells[6],
time=cells[7],
)
完整代码 Gitee 链接:https://gitee.com/oqst/2026_crawl_project/tree/master/第三次作业/作业3_Scrapy外汇
运行结果

心得体会
外汇作业让我熟悉了 XPath 的使用。和股票接口返回 JSON 不同,中国银行外汇数据直接写在 HTML 表格中,因此需要先定位 table#priceTable,再提取每一行中的 td。
通过 F12 的 Elements 面板,我能够清楚地看到 <tr data-currency="..."> 和各个价格单元格,这比直接猜测网页结构更加可靠。使用 normalize-space(string(.)) 可以清理单元格中的空白字符,避免数据库中出现多余空格。
此外,外汇牌价会随时间变化,不同运行时间可能产生不同批次的数据。这让我理解了数据库唯一键和历史数据保存之间的关系。
总结
通过第三次作业,我完整练习了图片爬虫、Scrapy 项目结构、Item、Pipeline、XPath 和 MySQL 数据库存储。
图片爬虫让我理解了单线程和多线程的差异,股票项目让我理解了 JSON 接口和 Scrapy Pipeline,外汇项目让我掌握了 HTML 表格的 XPath 解析。通过这三个任务,我认识到不同网站需要使用不同的数据获取方式,不能机械地套用同一种方法。
数据库使用 MySQL,通过 Item 和 Pipeline 将抓取结果保存到表中。配置密码时使用 .env 文件,并将 .env 加入 .gitignore。
这次作业还让我意识到,爬虫开发不仅是写选择器,还包括分析请求参数、处理页面结构变化、设计数据库字段、控制抓取数量以及保护数据库账号。今后遇到新的网站时,我会先通过 F12 分析数据来源,再决定使用 HTML 解析、JSON 接口还是 XPath,最后编写稳定的抓取和入库流程。

浙公网安备 33010602011771号