数据采集与融合第三次作业

第三次作业:气象网图片、东方财富股票与中国银行外汇

一、作业一:中国气象网图片爬虫

1.1 代码与运行结果

目标站点是 http://www.weather.com.cn/,从首页和新闻频道两个种子页出发,只跟随 weather.com.cn 的子域。程序同时提供单线程和多线程两种模式,两个上限写在常量里:

MAX_PAGES = 27
MAX_IMAGES = 127

WeatherImageCrawler.__init__ 里还会再 clamp 一次,命令行传 999 也不会突破:

self.max_pages = max(1, min(int(max_pages), MAX_PAGES))
self.max_images = max(1, min(int(max_images), MAX_IMAGES))

单线程用 BFS 逐页抓。多线程按层把页面交给 ThreadPoolExecutor,每一批最多 page_workers 页,抓满 27 页立即停止。这样比“先把所有链接收完再下载”更容易控制页数,也不会因为队列太长提前超限。

while queue and page_no < self.max_pages:
    if self.mode == "single":
        url = queue.popleft()
        ...
        result, images, links = self._fetch_page(page_no, url)
    else:
        batch_urls = []
        while queue and len(batch_urls) < self.page_workers:
            candidate = queue.popleft()
            ...
            if page_no + len(batch_urls) >= self.max_pages:
                break
        with ThreadPoolExecutor(max_workers=self.page_workers) as executor:
            futures = {
                executor.submit(self._fetch_page, page_no + index + 1, url): url
                for index, url in enumerate(batch_urls)
            }
            batch = [future.result() for future in as_completed(futures)]

图片地址从 img 标签的 src、data-src、data-original、data-lazy-src 和 srcset 里取。气象网不少图片是懒加载的,只读 src 会漏掉一大半。取到后用 urljoin 补全相对路径,再用 urldefrag 去掉锚点去重。

下载前检查 HTTP 状态和 Content-Type,只保存 image/* 的响应。文件名用 img_序号_URL哈希.ext,序号从 001 排到 127。单线程顺序写 manifest.csv,多线程先写 img_000_* 临时文件,等下载完成再按成功顺序改名,避免多个线程同时抢编号。

运行命令:

python 1.py --mode single --pages 27 --images 127 --out images
python 1.py --mode multi --pages 27 --images 127 --workers 8 --page-workers 4 --out images

单线程跑完 27 页,127 张图全部下载成功,失败 2 次,7.75 MB,耗时 18.2 秒。多线程用 4 个页面线程和 8 个下载线程,同样 127 张,耗时 8.4 秒。失败的两条是已经过期的 pi.weather.com.cn 产品图,服务器返回 404 和 text/html,被 Content-Type 过滤掉了。

01_single_thread

02_multi_thread

02b_multi_thread_pages

03_images_dir

04_image_wall

05_website

06_browser_devtools

1.2 心得

图片爬虫的难点不在 requests.get,在“怎么不超量”和“怎么不重复”。页数限制放在 BFS 的循环条件里,图片限制放在下载计数器里,两个计数器都比事后切片可靠。多线程版本如果先把链接全抓完再下载,27 页的限制就形同虚设。

懒加载属性也值得单独处理。气象网有些页面源码里 src 是占位图,真正的地址在 data-src 或 data-original 里。只写 soup.find_all("img") 会得到一堆空白图。

多线程比单线程快了 2.2 倍,但没有到 8 倍。页面抓取和图片下载都受服务器响应时间限制,线程加到一定程度,收益主要来自重叠等待,不来自 CPU。8 个下载线程已经够用,再往上加,失败重试和日志反而更难读。

二、作业二:东方财富股票行情

2.1 代码与运行结果

东方财富的行情列表页 https://quote.eastmoney.com/center/gridlist.html 是单页应用。直接请求这个地址,服务器返回的 HTML 只有 20961 字节,tbody 里一行数据都没有,用 XPath //tbody/tr 取到 0 行。行情是页面加载后由 JavaScript 请求接口再渲染的。

按常规思路用 Selenium 或 Playwright 渲染,页面会弹出登录框,里面嵌着 https://i.eastmoney.com/websitecaptcha/slidervalid 的滑块验证。headless、--headless=new、Xvfb 非 headless 三种方式都试过,DOM 里始终没有「贵州茅台」或「600519」,tbody 只有 1 行空壳。滑块没有继续硬碰,换去看页面自己发了哪些请求。

页面请求的 push2.eastmoney.com/api/qt/ulist.np/get 能返回 200 和真实 diff,而列表接口 clist/get 在本机用 curl、Scrapy、浏览器 fetch 都被重置,返回 Empty reply from server。另外 https://searchapi.eastmoney.com/api/suggest/get 可以直连,按代码前缀返回股票代码、名称和 QuoteID,例如 1.600000。

最终路线是搜索接口取股票清单,ulist.np 按 secids 批量取行情。列表页仍然请求一次,用 XPath 检查表头结构:

headers = response.xpath(
    '//table[contains(@class, "default-table")]//th//text()'
).getall()
rows = response.xpath(
    '//table[contains(@class, "default-table")]//tbody/tr'
)
self.logger.info(
    "列表页 XPath 检查:表头 %s,行情行 %d 行",
    " / ".join(item.strip() for item in headers if item.strip()),
    len(rows),
)

如果以后挂上渲染中间件,parse_page 里也保留了按 12 列取值的 XPath,列顺序是序号、代码、名称、最新价、涨跌幅、涨跌额、成交量、振幅、最高、最低、今开、昨收。

行情接口的字段映射写在 parse_quotes 里:

StockItem(
    stock_no=row.get("f12"),
    stock_name=row.get("f14"),
    latest_price=row.get("f2"),
    change_pct=row.get("f3"),
    change_amt=row.get("f4"),
    volume=row.get("f5"),
    amplitude=row.get("f7"),
    high_price=row.get("f15"),
    low_price=row.get("f16"),
    open_price=row.get("f17"),
    prev_close=row.get("f18"),
)

f2、f15、f16、f17、f18 任意一个是 - 就跳过。09:13 试跑时只有昨收有值,最新价、最高、最低、今开全是 -,这种行入库没有意义,也会让博客里的表看起来像坏了。

MySQL 表叫 stock_quote,stock_no 建唯一键,重复运行用 ON DUPLICATE KEY UPDATE 更新,不会产生重复股票:

CREATE TABLE stock_quote (
    id INT UNSIGNED NOT NULL AUTO_INCREMENT COMMENT '序号',
    stock_no VARCHAR(10) NOT NULL COMMENT '股票代码',
    stock_name VARCHAR(32) NOT NULL DEFAULT '' COMMENT '股票名称',
    latest_price DECIMAL(10,2) NULL COMMENT '最新报价',
    change_pct DECIMAL(8,2) NULL COMMENT '涨跌幅(%)',
    change_amt DECIMAL(10,2) NULL COMMENT '涨跌额',
    volume BIGINT NULL COMMENT '成交量(手)',
    amplitude DECIMAL(8,2) NULL COMMENT '振幅(%)',
    high_price DECIMAL(10,2) NULL COMMENT '最高',
    low_price DECIMAL(10,2) NULL COMMENT '最低',
    open_price DECIMAL(10,2) NULL COMMENT '今开',
    prev_close DECIMAL(10,2) NULL COMMENT '昨收',
    crawled_at TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
    PRIMARY KEY (id),
    UNIQUE KEY uk_stock (stock_no)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

运行命令:

cd 第三次作业/作业2
../../.venv/bin/scrapy crawl stock -a per_prefix=25 -a limit=60

运行时间是 2026-11-20 10:07:06,参数 per_prefix=25、limit=60,最终入库 60 条。日志里的 item_scraped_count 是 60,MySQL Pipeline 打印的写入数是 60。取前 8 条:

序号 代码 名称 最新价 涨跌幅 涨跌额 成交量 振幅 最高 最低 今开 昨收
1 600000 浦发银行 10.71 0.09 0.01 183039 1.50 10.76 10.60 10.68 10.70
2 600004 白云机场 8.12 -1.34 -0.11 34948 0.97 8.19 8.11 8.19 8.23
3 600006 东风股份 4.59 -2.96 -0.14 56575 2.96 4.69 4.55 4.68 4.73
4 600007 中国国贸 21.75 -1.32 -0.29 5423 2.09 22.18 21.72 22.04 22.04
5 600008 首创环保 2.72 -1.81 -0.05 289968 1.81 2.77 2.72 2.76 2.77
6 600009 上海机场 24.43 -1.61 -0.40 30788 1.49 24.76 24.39 24.61 24.83
7 600010 包钢股份 1.85 -3.14 -0.06 1545568 2.62 1.89 1.84 1.88 1.91
8 600011 华能国际 7.81 -0.26 -0.02 205871 1.40 7.86 7.75 7.76 7.83

完整结果在 作业2/output/stock.csv 和 MySQL 表 stock_quote 里。截图:

01_scrapy_terminal

02_mysql

03_csv

04_browser_table

05_browser_network

2.2 心得

这次最直接的经验是,反爬不一定表现为验证码。clist/get 没有任何提示,连接直接被重置;列表页的滑块倒是很显眼。真正能用的入口藏在页面自己的 Network 面板里,push2 的 ulist 接口和搜索接口都能正常返回。与其和滑块较劲,不如先弄清楚页面渲染时用了什么数据源。

XPath 在这个作业里退到了结构校验的位置。作业要求的是 Scrapy + XPath + MySQL,我保留了列表页的表头检查,也保留了渲染后 DOM 的 12 列解析逻辑,但当前能稳定拿到数据的路径是 JSON 接口。这个取舍需要在代码和博客里都写清楚,不然看起来像绕开了 XPath。真要把行情表渲染出来再解析,就得先过登录和滑块,成本和稳定性都不划算。

行情数据还有时间属性。09:13 跑出来的 15 条记录,最新价、最高、最低、今开全是空的,只有昨收有值。同一段代码在 10:07 再跑,字段才齐。做股票采集要把交易时段写进说明,否则读者会以为爬虫漏字段。

工程上踩了两个小坑。一个是 Decimal 不能直接 json.dumps,在 validation 阶段统一转 float 才解决 TypeError: Object of type Decimal is not JSON serializable。另一个是 Scrapy 2.19 不再默认调用 start_requests,spider 只写 start_requests 会一个请求都不发,必须实现 async def start(self)。这两个错误都不会在语法检查时报出来,只能跑起来看日志。

三、作业三:中国银行外汇牌价

3.1 代码与运行结果

中国银行外汇牌价页 https://www.boc.cn/sourcedb/whpj/ 是静态页面,目标表格的 id 是 priceTable,第一行表头,后面 45 个币种。每行 8 个 td,依次是货币名称、现汇买入价、现钞买入价、现汇卖出价、现钞卖出价、中行折算价、发布日期、发布时间。

XPath 直接定位这张表,再按 td 下标取值:

rows = response.xpath('//table[@id="priceTable"]//tr')
for row in rows:
    cells = row.xpath("./td")
    if len(cells) < 8:
        continue

    def cell_text(index: int) -> str:
        return (cells[index].xpath("string(.)").get() or "").strip()

    currency = cell_text(0)
    publish_datetime = cell_text(6)
    publish_date = publish_datetime.split(" ")[0] if publish_datetime else ""
    yield ForexItem(
        Currency=currency,
        TBP=cell_text(1),
        CBP=cell_text(2),
        TSP=cell_text(3),
        CSP=cell_text(4),
        PublishDate=publish_date,
        Time=cell_text(7),
    )

这里踩过一个坑。Scrapy 2.19 的 xpath() 返回 SelectorList,直接 "".join(cells[index].xpath(".//text()").getall()) 没问题,但把 Selector 当字符串拼会报:

TypeError: sequence item 0: expected str instance, Selector found

改成 cells[index].xpath("string(.)").get() 之后稳定了。另一个坑是发布日期单元格实际内容为 2026/11/20 10:05:53,作业要求的字段只到日期,所以入库前 split(" ")[0]。

Item 定义七个字段:

class ForexItem(scrapy.Item):
    Currency = scrapy.Field()
    TBP = scrapy.Field()
    CBP = scrapy.Field()
    TSP = scrapy.Field()
    CSP = scrapy.Field()
    PublishDate = scrapy.Field()
    Time = scrapy.Field()

Pipeline 分四层,校验、JSONL、CSV、MySQL。MySQL 表 forex_price 用 Currency 做唯一键,重复运行走 ON DUPLICATE KEY UPDATE,不会越跑越多。

CREATE TABLE forex_price (
    id INT UNSIGNED NOT NULL AUTO_INCREMENT COMMENT '序号',
    Currency VARCHAR(64) NOT NULL COMMENT '货币名称',
    TBP VARCHAR(32) DEFAULT '' COMMENT '现汇买入价',
    CBP VARCHAR(32) DEFAULT '' COMMENT '现钞买入价',
    TSP VARCHAR(32) DEFAULT '' COMMENT '现汇卖出价',
    CSP VARCHAR(32) DEFAULT '' COMMENT '现钞卖出价',
    PublishDate VARCHAR(32) DEFAULT '' COMMENT '发布日期',
    Time VARCHAR(32) DEFAULT '' COMMENT '发布时间',
    CrawledAt TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
    PRIMARY KEY (id),
    UNIQUE KEY uk_currency (Currency)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

运行:

cd 第三次作业/作业3
../../.venv/bin/scrapy crawl forex

日志显示 item_scraped_count: 45,CSV 45 行加表头,JSONL 45 行,MySQL 也是 45 条。用 Docker 里的 mysql 客户端查前 10 条:

docker exec wp-lab-db mysql -uroot -proot \
  --default-character-set=utf8mb4 --table \
  -e "SELECT id,Currency,TBP,CBP,TSP,CSP,Time FROM data_collection.forex_price LIMIT 10;"

01_scrapy_terminal

02_mysql

03_csv

04_browser_elements

05_browser_console

3.2 心得

外汇页面的表格看起来规整,实际有空值。文莱元的现汇买入价和现汇卖出价是空的,如果按“所有非空 td”顺序取值,后面的列会整体错位。按固定下标取,空字符串就让它空着,反而更接近页面原样。

MySQL 这边,币种名称是中文,库和表都用了 utf8mb4,连接时也显式加了 --default-character-set=utf8mb4,否则终端里容易看到问号。Pipeline 里的 CrawledAt 用 CURRENT_TIMESTAMP,每次更新会刷新,方便判断数据是哪次抓的。

Scrapy 2.19 对 Pipeline 方法签名的弃用警告也花了一点时间。process_item(self, item, spider) 要改成带默认值的 spider=None,MySQL 连接从 from_crawler 里拿 self.crawler,再从 self.crawler.settings 读配置。改完之后日志干净了,爬虫退出时也能正常关连接。

仓库地址

posted @ 2026-11-20 10:37  山冇木兮木有枝  阅读(4)  评论(0)    收藏  举报