数据采集第三次作业

数据采集第三次作业

姓名:徐张睿 学号:102402139

运行环境:Windows 10/11 + Python 3.12 + Scrapy 2.11.2 + MySQL 8.0

Gitee仓库:https://gitee.com/V1oletQAQ/violet-qaq/tree/master/作业三

一、实验代码与运行截图

1.1 作业①:指定网站图片下载(单线程 + 多线程)

需求

指定一个网站,爬取页面图片,分别用单线程和多线程下载;控制总页数和图片数量:

  • 学号 102402139 后两位是 39,所以页数上限设为 39;
  • 学号后三位是 139,所以图片数量上限设为 139。

选站与页面分析

我选的是当当网“书包”搜索页:

https://search.dangdang.com/?key=书包&act=input&page_index=1

搜索结果在 ul.bigimg 下的 li 中,图片地址在 li//img/@src。图片 URL 以 // 开头,需要补成 https:;每页 60 张,抓 3 页就超过 139 张,所以代码在达到 139 张时立即停止。

F12 分析过程

先按 F12 打开开发者工具:

  • Elements:点左上角选择元素箭头,点一个书包图片,确认结构是 ul.bigimg > li > a.pic > img,图片地址在 img/@src;
  • Network:切到 Img 过滤并刷新,确认图片请求和 Request URL。

对应过程截图:

11_图片F12_Elements
12_图片F12_Network

代码做了几件事:

  1. 用 requests.Session 请求搜索页,lxml 的 XPath 提取图片 URL;
  2. 用集合 seen 去重;
  3. 图片文件名用“序号 + URL 的 MD5 前 8 位”,避免重名;
  4. 单线程用 for 循环下载,多线程用 ThreadPoolExecutor;
  5. 把 URL 列表写入 image_urls_*.txt,方便核对。

完整代码

点击查看 3_1_images/image_spider.py 完整代码
"""作业3-1:使用 requests 单线程/多线程下载商城图片。

学号 102402139:
    总页数上限 = 学号后两位 = 39
    图片数量上限 = 学号后三位 = 139

运行:
    python image_spider.py --mode single --output-dir images_single
    python image_spider.py --mode multi  --output-dir images
"""

from __future__ import annotations

import argparse
import hashlib
import time
from concurrent.futures import ThreadPoolExecutor, as_completed
from pathlib import Path
from urllib.parse import urljoin

import requests
from lxml import html

BASE_DIR = Path(__file__).resolve().parent
STUDENT_ID = "102402139"
MAX_PAGES = int(STUDENT_ID[-2:])      # 39
MAX_IMAGES = int(STUDENT_ID[-3:])     # 139
KEYWORD = "书包"
SEARCH_URL = "https://search.dangdang.com/?key={keyword}&act=input&page_index={page}"

HEADERS = {
    "User-Agent": (
        "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
        "AppleWebKit/537.36 (KHTML, like Gecko) "
        "Chrome/131.0.0.0 Safari/537.36"
    ),
    "Referer": "https://search.dangdang.com/",
}


def build_session() -> requests.Session:
    """创建 requests 会话。"""
    session = requests.Session()
    session.headers.update(HEADERS)
    session.trust_env = False  # 直接连接,避免本机失效代理影响
    return session


def collect_image_urls(session: requests.Session) -> list[str]:
    """遍历搜索页,收集图片 URL,最多 MAX_PAGES 页、MAX_IMAGES 张。"""
    urls: list[str] = []
    seen: set[str] = set()

    for page in range(1, MAX_PAGES + 1):
        if len(urls) >= MAX_IMAGES:
            break
        url = SEARCH_URL.format(keyword=KEYWORD, page=page)
        try:
            response = session.get(url, timeout=20)
            response.raise_for_status()
            response.encoding = "gbk"
            doc = html.fromstring(response.text)
            image_urls = doc.xpath('//ul[contains(@class,"bigimg")]/li//img/@src')
            print("第 %s 页找到 %s 张图片" % (page, len(image_urls)))
            for src in image_urls:
                if len(urls) >= MAX_IMAGES:
                    break
                src = "https:" + src if src.startswith("//") else urljoin(url, src)
                if src not in seen:
                    seen.add(src)
                    urls.append(src)
                    print("[%s/%s] %s" % (len(urls), MAX_IMAGES, src))
        except Exception as err:
            print("第 %s 页抓取失败:%s" % (page, err))
        time.sleep(0.2)

    return urls


def download_one(session: requests.Session, url: str, index: int, output_dir: Path) -> str:
    """下载一张图片,返回保存路径。"""
    try:
        response = session.get(url, timeout=30)
        response.raise_for_status()
        suffix = Path(url.split("?")[0]).suffix or ".jpg"
        if suffix.lower() not in {".jpg", ".jpeg", ".png", ".gif", ".webp"}:
            suffix = ".jpg"
        name = "%04d_%s%s" % (index, hashlib.md5(url.encode("utf-8")).hexdigest()[:8], suffix)
        path = output_dir / name
        path.write_bytes(response.content)
        return str(path)
    except Exception as err:
        return "FAILED %s %s" % (url, err)


def main() -> None:
    parser = argparse.ArgumentParser(description="当当网图片下载(单线程/多线程)")
    parser.add_argument("--mode", choices=["single", "multi"], default="single")
    parser.add_argument("--output-dir", default="images")
    parser.add_argument("--workers", type=int, default=8)
    args = parser.parse_args()

    output_dir = BASE_DIR / args.output_dir
    output_dir.mkdir(parents=True, exist_ok=True)

    session = build_session()
    print("模式:%s;关键词:%s;页数上限:%s;图片上限:%s" % (
        args.mode, KEYWORD, MAX_PAGES, MAX_IMAGES
    ))
    urls = collect_image_urls(session)
    print("共收集到图片 URL:%s 张" % len(urls))
    (BASE_DIR / ("image_urls_%s.txt" % args.mode)).write_text("\n".join(urls), encoding="utf-8")

    start = time.time()
    results: list[str] = []
    if args.mode == "single":
        for index, url in enumerate(urls, start=1):
            result = download_one(session, url, index, output_dir)
            results.append(result)
            print("下载 [%s/%s] %s" % (index, len(urls), result))
    else:
        with ThreadPoolExecutor(max_workers=args.workers) as executor:
            futures = {
                executor.submit(download_one, session, url, index, output_dir): (index, url)
                for index, url in enumerate(urls, start=1)
            }
            for future in as_completed(futures):
                index, url = futures[future]
                result = future.result()
                results.append(result)
                print("下载 [%s/%s] %s" % (index, len(urls), result))

    success = [item for item in results if not item.startswith("FAILED")]
    failed = [item for item in results if item.startswith("FAILED")]
    print("完成:成功 %s 张,失败 %s 张,耗时 %.1f 秒" % (
        len(success), len(failed), time.time() - start
    ))
    print("保存目录:%s" % output_dir)
    for item in failed:
        print(item)


if __name__ == "__main__":
    main()

代码截图

01_图片爬虫代码

运行结果

单线程:

python image_spider.py --mode single --output-dir images_single
模式:single;关键词:书包;页数上限:39;图片上限:139
...
共收集到图片 URL:139 张
完成:成功 139 张,失败 0 张,耗时 7.3 秒

多线程:

python image_spider.py --mode multi --output-dir images --workers 8
完成:成功 139 张,失败 0 张,耗时 1.3 秒
保存目录:...\images

终端运行截图

02_图片单线程终端
03_图片多线程终端

下载的图片(前 12 张缩略图):

image_grid

同样 139 张图片,单线程约 7.3 秒,多线程 8 个线程约 1.3 秒。这里的加速主要来自网络 I/O 等待被并发重叠,而不是 CPU 计算。

这一题的关键点

  • 图片 URL 经常是 // 开头的协议相对地址,要补 https:;
  • 下载前先去重,避免同一张图被不同页重复抓取;
  • 多线程不能把所有任务一次性全部提交后不管,as_completed 可以边完成边处理;
  • 文件名用哈希而不是原文件名,避免特殊字符和重名。

1.2 作业②:Scrapy + Item + Pipeline + MySQL 股票

需求

使用 Scrapy 的 Item、Pipeline,把东方财富网的股票数据存入 MySQL。字段包括:股票代码、股票名称、最新报价、涨跌幅、涨跌额、成交量、振幅、最高、最低、今开、昨收。

接口分析

东方财富行情列表页面本身是前端渲染的,数据来自下面的 JSON 接口:

https://push2.eastmoney.com/api/qt/clist/get

F12 分析过程

按 F12 → Network → Fetch/XHR → 刷新页面,找到 clist/get 请求,点开 Response,能看到 data.diff 里的 f12、f14、f2 等字段。对应过程截图:

13_股票F12_Network

关键参数:

  • pn:页码;
  • pz:每页条数;
  • fid=f12:按股票代码排序;
  • fs:沪深 A 股市场;
  • fields:需要的字段编号;
  • fltt=2:价格按小数返回。

字段对应:f12 代码、f14 名称、f2 最新价、f3 涨跌幅、f4 涨跌额、f5 成交量、f7 振幅、f15 最高、f16 最低、f17 今开、f18 昨收。

东方财富这个列表页是 JSON 接口,所以这里用 json 解析;作业③的中国银行外汇页面是服务端 HTML 表格,用的是 XPath。两种解析方式分别对应两种页面。

MySQL 表结构

表名 stock_spot:

字段 含义
stock_code 股票代码
stock_name 股票名称
latest_price 最新报价
change_percent 涨跌幅
change_amount 涨跌额
volume 成交量
amplitude 振幅
high / low 最高 / 最低
open 今开
prev_close 昨收
crawl_time 入库时间

Pipeline 在 open_spider() 中建表,在 process_item() 中用 ON DUPLICATE KEY UPDATE 写入,close_spider() 提交事务并关闭连接。

Spider 与 Pipeline 代码

点击查看 items.py、stock.py、pipelines.py、settings.py
import scrapy

class StockItem(scrapy.Item):
    stock_code = scrapy.Field()
    stock_name = scrapy.Field()
    latest_price = scrapy.Field()
    change_percent = scrapy.Field()
    change_amount = scrapy.Field()
    volume = scrapy.Field()
    amplitude = scrapy.Field()
    high = scrapy.Field()
    low = scrapy.Field()
    open = scrapy.Field()
    prev_close = scrapy.Field()
import json

import scrapy

from ..items import StockItem


class StockSpider(scrapy.Spider):
    name = "stock"
    allowed_domains = ["push2.eastmoney.com"]

    fields = "f12,f14,f2,f3,f4,f5,f7,f15,f16,f17,f18"
    start_urls = [
        "https://push2.eastmoney.com/api/qt/clist/get"
        "?pn=1&pz=100&po=0&np=1&fltt=2&invt=2&fid=f12"
        "&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23"
        "&fields=" + fields
    ]

    def parse(self, response):
        payload = json.loads(response.text)
        data = payload.get("data") or {}
        for row in data.get("diff") or []:
            item = StockItem()
            item["stock_code"] = row.get("f12")
            item["stock_name"] = row.get("f14")
            item["latest_price"] = row.get("f2")
            item["change_percent"] = row.get("f3")
            item["change_amount"] = row.get("f4")
            item["volume"] = row.get("f5")
            item["amplitude"] = row.get("f7")
            item["high"] = row.get("f15")
            item["low"] = row.get("f16")
            item["open"] = row.get("f17")
            item["prev_close"] = row.get("f18")
            yield item
import pymysql


class MySQLPipeline:
    """把 Scrapy Item 写入 MySQL。"""

    create_sql = """
    CREATE TABLE IF NOT EXISTS stock_spot (
        id INT AUTO_INCREMENT PRIMARY KEY,
        stock_code VARCHAR(16) NOT NULL UNIQUE,
        stock_name VARCHAR(64),
        latest_price DECIMAL(12, 3),
        change_percent DECIMAL(12, 3),
        change_amount DECIMAL(12, 3),
        volume BIGINT,
        amplitude DECIMAL(12, 3),
        high DECIMAL(12, 3),
        low DECIMAL(12, 3),
        open DECIMAL(12, 3),
        prev_close DECIMAL(12, 3),
        crawl_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
    """

    insert_sql = """
    INSERT INTO stock_spot (
        stock_code, stock_name, latest_price, change_percent, change_amount,
        volume, amplitude, high, low, open, prev_close
    ) VALUES (
        %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s
    )
    ON DUPLICATE KEY UPDATE
        stock_name = VALUES(stock_name),
        latest_price = VALUES(latest_price),
        change_percent = VALUES(change_percent),
        change_amount = VALUES(change_amount),
        volume = VALUES(volume),
        amplitude = VALUES(amplitude),
        high = VALUES(high),
        low = VALUES(low),
        open = VALUES(open),
        prev_close = VALUES(prev_close),
        crawl_time = CURRENT_TIMESTAMP
    """

    def open_spider(self, spider):
        settings = spider.crawler.settings
        self.conn = pymysql.connect(
            host=settings.get("MYSQL_HOST"),
            port=settings.getint("MYSQL_PORT"),
            user=settings.get("MYSQL_USER"),
            password=settings.get("MYSQL_PASSWORD"),
            database=settings.get("MYSQL_DATABASE"),
            charset="utf8mb4",
            autocommit=False,
        )
        self.cursor = self.conn.cursor()
        self.cursor.execute(self.create_sql)
        self.conn.commit()
        self.count = 0

    def process_item(self, item, spider):
        self.cursor.execute(
            self.insert_sql,
            (
                item.get("stock_code"),
                item.get("stock_name"),
                item.get("latest_price"),
                item.get("change_percent"),
                item.get("change_amount"),
                item.get("volume"),
                item.get("amplitude"),
                item.get("high"),
                item.get("low"),
                item.get("open"),
                item.get("prev_close"),
            ),
        )
        self.count += 1
        return item

    def close_spider(self, spider):
        self.conn.commit()
        print("MySQL股票记录数:%s" % self.count)
        self.cursor.close()
        self.conn.close()
import os

BOT_NAME = "stock_crawl"
SPIDER_MODULES = ["stock_crawl.spiders"]
NEWSPIDER_MODULE = "stock_crawl.spiders"

ROBOTSTXT_OBEY = False

ITEM_PIPELINES = {
    "stock_crawl.pipelines.MySQLPipeline": 300,
}

MYSQL_HOST = os.getenv("MYSQL_HOST", "127.0.0.1")
MYSQL_PORT = int(os.getenv("MYSQL_PORT", "3306"))
MYSQL_USER = os.getenv("MYSQL_USER", "root")
MYSQL_PASSWORD = os.getenv("MYSQL_PASSWORD", "")
MYSQL_DATABASE = os.getenv("MYSQL_DATABASE", "homework3")

代码截图

05_股票代码

运行结果

cd 3_2_stock\stock_crawl
$env:MYSQL_PORT="3307"
python run.py
MySQL股票记录数:79

06_股票终端

MySQL 查询结果(前 10 条):

09_MySQL股票表

这一题的关键点

  1. Scrapy 的 Item 只负责定义字段,真正入库放在 Pipeline;
  2. open_spider / close_spider 适合管理数据库连接;
  3. 使用唯一键 + UPSERT,重复运行不会产生重复股票;
  4. 接口里的 "-" 要在入库前转成 None,不能直接写 DECIMAL。

1.3 作业③:Scrapy XPath + MySQL 外汇

需求

用 Scrapy 爬取中国银行外汇牌价页面,并用 MySQL 存储。字段:Currency、TBP、CBP、TSP、CSP、Time。

页面分析

地址:

https://www.boc.cn/sourcedb/whpj/

页面第一个表格就是牌价表,表头为:

货币名称 | 现汇买入价 | 现钞买入价 | 现汇卖出价 | 现钞卖出价 | 中行折算价 | 发布日期 | 发布时间

F12 分析过程

按 F12 → Elements → Ctrl+F 搜 货币名称,展开第一个 <table> 下的 <tr>,确认每行有 8 个 <td>,所以 XPath 用 //table[1]//tr[position()>1] 跳过表头。对应过程截图:

14_外汇F12_Elements

字段对应:

  • Currency = 货币名称;
  • TBP = 现汇买入价;
  • CBP = 现钞买入价;
  • TSP = 现汇卖出价;
  • CSP = 现钞卖出价;
  • Time = 发布时间。

XPath 使用 //table[1]//tr[position()>1] 跳过表头,再取每个 tr 的 td 文本。这里遇到一个编码坑:页面 meta 写 UTF-8,但用 Scrapy 的 Selector(text=...) 时 lxml 会报 unknown encoding: 'b'utf8'',所以改成用 lxml.html.fromstring(response.body) 直接解析原始字节。

完整代码

点击查看 items.py、forex.py、pipelines.py、settings.py
import scrapy

class ForexItem(scrapy.Item):
    currency = scrapy.Field()
    tbp = scrapy.Field()
    cbp = scrapy.Field()
    tsp = scrapy.Field()
    csp = scrapy.Field()
    quote_time = scrapy.Field()
import scrapy
from lxml import html

from ..items import ForexItem


class ForexSpider(scrapy.Spider):
    name = "forex"
    allowed_domains = ["www.boc.cn"]
    start_urls = ["https://www.boc.cn/sourcedb/whpj/"]

    def parse(self, response):
        # 用 lxml 直接解析原始字节,避开页面 meta 编码声明导致的 Selector 编码问题
        doc = html.fromstring(response.body)

        # 第一个表格为外汇牌价表,第一行是表头
        rows = doc.xpath("//table[1]//tr[position()>1]")
        for row in rows:
            cells = ["".join(td.itertext()).strip() for td in row.xpath("./td")]
            if len(cells) < 8 or not cells[0]:
                continue
            item = ForexItem()
            item["currency"] = cells[0]
            item["tbp"] = cells[1]
            item["cbp"] = cells[2]
            item["tsp"] = cells[3]
            item["csp"] = cells[4]
            item["quote_time"] = cells[7]
            yield item
import pymysql


class MySQLPipeline:
    """把中国银行外汇牌价写入 MySQL。"""

    create_sql = """
    CREATE TABLE IF NOT EXISTS forex (
        id INT AUTO_INCREMENT PRIMARY KEY,
        currency VARCHAR(64) NOT NULL,
        tbp DECIMAL(12, 4),
        cbp DECIMAL(12, 4),
        tsp DECIMAL(12, 4),
        csp DECIMAL(12, 4),
        quote_time VARCHAR(32),
        crawl_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
        UNIQUE KEY uk_currency (currency)
    ) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
    """

    insert_sql = """
    INSERT INTO forex (currency, tbp, cbp, tsp, csp, quote_time)
    VALUES (%s, %s, %s, %s, %s, %s)
    ON DUPLICATE KEY UPDATE
        tbp = VALUES(tbp),
        cbp = VALUES(cbp),
        tsp = VALUES(tsp),
        csp = VALUES(csp),
        quote_time = VALUES(quote_time),
        crawl_time = CURRENT_TIMESTAMP
    """

    def open_spider(self, spider):
        settings = spider.crawler.settings
        self.conn = pymysql.connect(
            host=settings.get("MYSQL_HOST"),
            port=settings.getint("MYSQL_PORT"),
            user=settings.get("MYSQL_USER"),
            password=settings.get("MYSQL_PASSWORD"),
            database=settings.get("MYSQL_DATABASE"),
            charset="utf8mb4",
            autocommit=False,
        )
        self.cursor = self.conn.cursor()
        self.cursor.execute(self.create_sql)
        self.conn.commit()
        self.count = 0

    def process_item(self, item, spider):
        self.cursor.execute(
            self.insert_sql,
            (
                item.get("currency"),
                item.get("tbp"),
                item.get("cbp"),
                item.get("tsp"),
                item.get("csp"),
                item.get("quote_time"),
            ),
        )
        self.count += 1
        return item

    def close_spider(self, spider):
        self.conn.commit()
        print("MySQL外汇记录数:%s" % self.count)
        self.cursor.close()
        self.conn.close()
import os

BOT_NAME = "forex_crawl"
SPIDER_MODULES = ["forex_crawl.spiders"]
NEWSPIDER_MODULE = "forex_crawl.spiders"

ROBOTSTXT_OBEY = False

ITEM_PIPELINES = {
    "forex_crawl.pipelines.MySQLPipeline": 300,
}

MYSQL_HOST = os.getenv("MYSQL_HOST", "127.0.0.1")
MYSQL_PORT = int(os.getenv("MYSQL_PORT", "3306"))
MYSQL_USER = os.getenv("MYSQL_USER", "root")
MYSQL_PASSWORD = os.getenv("MYSQL_PASSWORD", "")
MYSQL_DATABASE = os.getenv("MYSQL_DATABASE", "homework3")

代码截图

07_外汇代码

运行结果

cd 3_3_forex\forex_crawl
$env:MYSQL_PORT="3307"
python run.py
MySQL外汇记录数:27

08_外汇终端

MySQL 查询结果(前 10 条):

10_MySQL外汇表

这一题的关键点

  • 中国银行牌价是服务端 HTML 表格,适合 XPath;
  • 表头要跳过,空行要过滤;
  • 外汇页面编码声明有坑,直接用 lxml.html.fromstring(response.body) 更稳;
  • 唯一键用 currency,重复抓取时更新牌价和时间。

二、心得体会

2.1 多线程下载的收益来自 I/O 等待

单线程下载 139 张图片用了约 7.3 秒,多线程 8 个工作线程只用了约 1.3 秒。这个差距不是因为多线程“算得更快”,而是因为每张图片的下载大部分时间都在等网络。线程可以在一个请求等待响应时去处理另一个请求。

不过线程也不是越多越好:线程太多会增加切换和服务器压力,还可能触发反爬。8 个线程对 139 张图片已经足够。

2.2 Scrapy 的分层让代码更清楚

以前写爬虫喜欢把“请求、解析、入库”全塞在一个文件里。这次用 Scrapy 后,Spider 只负责发请求和解析,Item 定义字段,Pipeline 负责数据库,settings.py 负责装配。这样换数据库、改表结构时,不用动 Spider。

Pipeline 的 open_spider() 和 close_spider() 也很适合管理连接:开始爬取时建表、结束时统一提交,不会每条数据都开关一次数据库。

2.3 JSON 和 XPath 要按页面实际情况选择

作业②的东方财富列表是 JSON 接口,用 json 解析最直接;作业③的中国银行牌价是服务端 HTML 表格,用 XPath 更合适。一开始我想在股票页面找 XPath 表格,但页面是前端渲染的,HTML 里只有 - 占位,最后还是回到 JSON 接口。

这让我更清楚地认识到:不要为了用某个技术而用某个技术,先看数据到底在哪里。

2.4 编码、反爬和数据库配置是三个常见坑

  • 编码:中国银行页面的 meta 编码声明会让 lxml 的 Selector 报错,最后改用 lxml.html.fromstring(response.body);
  • 反爬:图片站和股票接口都要加 User-Agent,股票接口的 Referer 也要带;图片下载控制线程数;
  • 数据库:MySQL 的 host、port、user、password 不能写死,我改成从环境变量读取,交作业时只改环境变量即可。

2.5 不足与改进

  1. 图片下载只取了搜索页结果图,没有进入每个商品详情页抓更多图;
  2. 股票只取了第一页 100 条以内的数据,没有做全量翻页;
  3. MySQL 连接没有做连接池,数据量大时可以引入 DBUtils;
  4. 博客中的 MySQL 结果图是用查询结果整理的表格图,运行截图需要本机 MySQL 环境复现。
posted @ 2026-11-16 15:09  VioletQAQ  阅读(13)  评论(0)    收藏  举报