数据采集第三次作业

第三次作业

作业一:单线程与多线程图片爬虫

分析过程

本次选择福州大学新闻网“影像福大”栏目作为目标网站:

https://news.fzu.edu.cn/yxfd.htm

打开页面后,通过 F12 的 Elements 面板可以观察到图片主要写在 <img> 标签中。部分图片地址使用相对路径,例如:
image

<img src="images/logo.png">

因此在编写爬虫时,不能直接把 src 当作完整 URL,需要使用 urljoin() 将其转换为绝对地址。部分页面还会使用:data-src,data-original,等延迟加载属性,因此程序同时检查这些属性。

根据学号 102402111 设置限制:

MAX_PAGES = 11
MAX_IMAGES = 111
  • 最多访问 11 页;
  • 最多下载 111 张图片。

该栏目实际只有 7 页,所以程序访问了 7 页,并对图片 URL 去重后下载了 66 张图片。

核心代码

图片 URL 收集:

def collect_image_urls(html, page_url):
    soup = BeautifulSoup(html, "lxml")
    urls = []
    seen = set()

    def add_url(value):
        if not value:
            return
        value = value.strip()
        if value.startswith(("data:", "javascript:", "#")):
            return

        absolute_url = urljoin(page_url, value)
        if absolute_url not in seen:
            seen.add(absolute_url)
            urls.append(absolute_url)

    for image in soup.find_all("img"):
        for attribute in ("src", "data-src", "data-original"):
            add_url(image.get(attribute))

    for tag in soup.find_all(style=True):
        for value in re.findall(r"url\(['\"]?(.*?)['\"]?\)", tag["style"]):
            add_url(value)

    return urls

单线程下载:

def download_single_thread(urls, save_dir):
    success = 0

    for index, url in enumerate(urls, 1):
        if download_one(url, index, save_dir):
            success += 1

    return success

多线程下载:

def download_multi_thread(urls, save_dir, workers=8):
    success = 0

    with ThreadPoolExecutor(max_workers=workers) as executor:
        tasks = {
            executor.submit(download_one, url, index, save_dir): url
            for index, url in enumerate(urls, 1)
        }

        for future in as_completed(tasks):
            if future.result():
                success += 1

    return success

完整代码 Gitee 链接:https://gitee.com/oqst/2026_crawl_project/blob/master/第三次作业/作业1/image_crawler.py

运行结果

image
image

cf90c1aa-792f-467b-9974-15e5ba630dc8

心得体会

这次图片爬虫让我理解了单线程和多线程的区别。单线程按顺序下载图片,代码容易理解,但网络等待时间较长;多线程通过线程池同时下载多张图片,可以明显减少总等待时间。

不过多线程并不是线程数越多越好。线程数过多会给目标网站造成压力,也可能导致请求失败。因此程序同时设置了页面上限和图片数量上限,并在下载前对 URL 去重。通过这次实验,我认识到爬虫不仅要把图片下载下来,还要控制访问规模和保存数量。


作业二:Scrapy + Item + Pipeline + MySQL 爬取股票

分析过程

打开东方财富行情页面:

https://quote.eastmoney.com/center/gridlist.html#hs_a_board

按 F12,进入 Network,选择 Fetch/XHR,刷新页面并搜索:
image

找到接口:

https://push2.eastmoney.com/api/qt/clist/get

接口主要参数:

参数 含义
pn 页码
pz 每页数量
po 排序方向
fid 排序字段
fs 市场板块
fields 返回字段

接口返回的数据位于:

data.diff

主要字段:

字段 含义
f12 股票代码
f14 股票名称
f2 最新报价
f3 涨跌幅
f4 涨跌额
f5 成交量
f6 成交额
f7 振幅
f15 最高
f16 最低
f17 今开
f18 昨收

因为接口返回的是 JSON,所以 Spider 中使用 response.json() 解析数据。Scrapy 的 Item 负责定义字段,Pipeline 负责将数据写入 MySQL。

核心代码

Item 定义:

class StockItem(scrapy.Item):
    stock_code = scrapy.Field()
    stock_name = scrapy.Field()
    latest_price = scrapy.Field()
    change_percent = scrapy.Field()
    change_amount = scrapy.Field()
    volume = scrapy.Field()
    amount = scrapy.Field()
    amplitude = scrapy.Field()
    high_price = scrapy.Field()
    low_price = scrapy.Field()
    open_price = scrapy.Field()
    previous_close = scrapy.Field()

Spider 解析接口 JSON:

def parse(self, response):
    payload = response.json()
    stock_list = (payload.get("data") or {}).get("diff") or []

    for item in stock_list:
        yield StockItem(
            stock_code=str(item.get("f12") or ""),
            stock_name=item.get("f14") or "",
            latest_price=self.number_or_none(item.get("f2")),
            change_percent=self.number_or_none(item.get("f3")),
            change_amount=self.number_or_none(item.get("f4")),
            volume=self.number_or_none(item.get("f5")),
            amount=self.number_or_none(item.get("f6")),
            amplitude=self.number_or_none(item.get("f7")),
            high_price=self.number_or_none(item.get("f15")),
            low_price=self.number_or_none(item.get("f16")),
            open_price=self.number_or_none(item.get("f17")),
            previous_close=self.number_or_none(item.get("f18")),
        )

完整代码 Gitee 链接:https://gitee.com/oqst/2026_crawl_project/tree/master/第三次作业/作业2_Scrapy股票

运行结果

2b8ae291-2f39-4cb5-91f4-3a5fa97659d4
0dff9edcf43ed22d14a3deb6d2efc024

心得体会

股票爬虫让我理解了 Scrapy 中不同组件的分工:Spider 负责请求和解析,Item 负责定义数据结构,Pipeline 负责把数据保存到数据库。

东方财富接口中的字段名比较短,例如 f12、f14、f2,需要结合页面显示内容判断含义。通过 F12 分析请求参数和返回结构,我认识到爬虫不能只复制一个 URL,而要理解每个参数控制什么数据。MySQL Pipeline 使用唯一键和 ON DUPLICATE KEY UPDATE,可以避免同一只股票重复插入。


作业三:Scrapy + XPath + MySQL 爬取中国银行外汇

分析过程

打开中国银行外汇牌价页面:

https://www.boc.cn/sourcedb/whpj/

按 F12,进入 Elements,点击外汇牌价表,可以看到表格:

<table id="priceTable">

f4a5dbc8-8264-423c-819a-68797baf1b1e

每一行都是一个 tr:

<tr data-currency="美元">

每一行中的 8 个 td 分别对应:

货币名称
现汇买入价
现钞买入价
现汇卖出价
现钞卖出价
中行折算价
发布日期
发布时间

因此可以使用 XPath 定位表格:

//table[@id="priceTable"]//tr[position()>1]

其中 position()>1 表示跳过第一行表头。

在 Console 中可以看到:
12ad043f-1e18-433f-b500-f3c8d2641d4c

核心代码

外汇 Item:

class ForexItem(scrapy.Item):
    currency = scrapy.Field()
    tbp = scrapy.Field()
    cbp = scrapy.Field()
    tsp = scrapy.Field()
    csp = scrapy.Field()
    conversion = scrapy.Field()
    publish_date = scrapy.Field()
    time = scrapy.Field()

XPath 解析:

def parse(self, response):
    rows = response.xpath(
        '//table[@id="priceTable"]//tr[position() > 1]'
    )

    for row in rows:
        cells = [
            cell.xpath("normalize-space(string(.))").get(default="").strip()
            for cell in row.xpath("./td")
        ]

        if len(cells) < 8 or not cells[0]:
            continue

        yield ForexItem(
            currency=cells[0],
            tbp=cells[1],
            cbp=cells[2],
            tsp=cells[3],
            csp=cells[4],
            conversion=cells[5],
            publish_date=cells[6],
            time=cells[7],
        )

完整代码 Gitee 链接:https://gitee.com/oqst/2026_crawl_project/tree/master/第三次作业/作业3_Scrapy外汇

运行结果

f765545a1f60c54039a313b68a9aff93

心得体会

外汇作业让我熟悉了 XPath 的使用。和股票接口返回 JSON 不同,中国银行外汇数据直接写在 HTML 表格中,因此需要先定位 table#priceTable,再提取每一行中的 td。

通过 F12 的 Elements 面板,我能够清楚地看到 <tr data-currency="..."> 和各个价格单元格,这比直接猜测网页结构更加可靠。使用 normalize-space(string(.)) 可以清理单元格中的空白字符,避免数据库中出现多余空格。

此外,外汇牌价会随时间变化,不同运行时间可能产生不同批次的数据。这让我理解了数据库唯一键和历史数据保存之间的关系。


总结

通过第三次作业,我完整练习了图片爬虫、Scrapy 项目结构、Item、Pipeline、XPath 和 MySQL 数据库存储。

图片爬虫让我理解了单线程和多线程的差异,股票项目让我理解了 JSON 接口和 Scrapy Pipeline,外汇项目让我掌握了 HTML 表格的 XPath 解析。通过这三个任务,我认识到不同网站需要使用不同的数据获取方式,不能机械地套用同一种方法。

数据库使用 MySQL,通过 Item 和 Pipeline 将抓取结果保存到表中。配置密码时使用 .env 文件,并将 .env 加入 .gitignore。

这次作业还让我意识到,爬虫开发不仅是写选择器,还包括分析请求参数、处理页面结构变化、设计数据库字段、控制抓取数量以及保护数据库账号。今后遇到新的网站时,我会先通过 F12 分析数据来源,再决定使用 HTML 解析、JSON 接口还是 XPath,最后编写稳定的抓取和入库流程。

posted @ 2026-11-18 23:56  oqst  阅读(0)  评论(0)    收藏  举报