第三次数据采集作业

目录

一、图书封面采集

采集代码与结果

Books to Scrape 的目录每页列出 20 本书。第一本《A Light in the Attic》的封面地址以 ../media/ 开头,代码用 urljoin 把它和当前页地址拼成完整网址。下一页的链接也用同样的方法处理。按学号尾数,最多访问 43 个目录页、下载 143 张不同的图片。前七页收集了 140 个地址,到第八页再取三个就够了。

两种下载方式共用同一个 download 函数。单线程按目录顺序逐张下载,多线程把同一批地址交给四个工作线程。每次保存成功,控制台都会打印来源网址和本地文件名。为了在一张图里对照两次运行,先把数量设成 6;按默认数量运行时,拾取地址的规则相同。

"""按目录页顺序采集 Books to Scrape 的图片。"""
import argparse
from concurrent.futures import ThreadPoolExecutor
from hashlib import sha256
from pathlib import Path
from urllib.parse import urljoin

from bs4 import BeautifulSoup
import requests

ROOT = Path(__file__).resolve().parent
START = "https://books.toscrape.com/catalogue/page-1.html"


def collect_urls(page_limit, image_limit):
    """按出现顺序去重,两种下载方式使用相同的选图规则。"""
    url = START
    images = {}
    for page in range(1, page_limit + 1):
        response = requests.get(url, timeout=30)
        response.raise_for_status()
        soup = BeautifulSoup(response.content, "html.parser")
        for img in soup.select("img[src]"):
            images[urljoin(url, img["src"])] = None
            if len(images) >= image_limit:
                break
        print(f"Page {page}: {url} ({len(images)} images)", flush=True)
        next_page = soup.select_one("li.next a")
        if len(images) >= image_limit or next_page is None:
            break
        url = urljoin(url, next_page["href"])
    return list(images)


def download(url):
    """文件名取自 URL,重跑同一批图片时覆盖同名文件。"""
    response = requests.get(url, timeout=30)
    response.raise_for_status()
    if not response.headers.get("Content-Type", "").startswith("image/"):
        raise ValueError(f"响应不是图片:{url}")
    file = ROOT / "images" / Path(url).name
    file.write_bytes(response.content)
    print(f"{url} -> images/{file.name}", flush=True)
    return sha256(response.content).hexdigest()


if __name__ == "__main__":
    parser = argparse.ArgumentParser(description=__doc__)
    parser.add_argument("mode", choices=["single", "multi"])
    parser.add_argument("--pages", type=int, default=43)
    parser.add_argument("--images", type=int, default=143)
    args = parser.parse_args()
    if not (1 <= args.pages <= 43 and 1 <= args.images <= 143):
        parser.error("页数须在 1 至 43 之间,图片数须在 1 至 143 之间")
    urls = collect_urls(args.pages, args.images)
    (ROOT / "images").mkdir(exist_ok=True)
    if args.mode == "single":
        hashes = list(map(download, urls))
    else:
        with ThreadPoolExecutor(max_workers=4) as pool:
            hashes = list(pool.map(download, urls))
    print(f"{args.mode}: {len(hashes)} images, batch SHA256:",
          sha256("".join(hashes).encode()).hexdigest())

单线程与多线程各下载六张封面的终端记录

单线程与多线程各下载六张封面的终端记录

两次运行都下载了 6 张封面。多线程先打印了第三本书的图片地址,但两次汇总的 SHA256 完全相同。

默认参数下从第一页到第八页的采集记录

默认参数下从第一页到第八页的采集记录

第 7 页累计 140 张,第 8 页只取了 3 张。最后一行显示 multi: 143 images,与学号末三位对应。

与原网站核对

在目录第一页打开《A Light in the Attic》的封面,浏览器地址末尾的 2cdad67c44b002e7ead0cc35693c0e8b.jpg 与单线程日志里的第一条文件名一致。右侧 Finder 中选中了下载到 1/images 的文件,预览里也能看到相同的书名和封面插画。图书目录第一页

浏览器中的原图与 Finder 中的本地封面预览

浏览器中的原图与 Finder 中的本地封面预览

图片采集作业文件夹

作业心得

多线程下载时,第二本书有可能比第一本先写完,只看控制台的打印顺序很难判断两次下载是否一致。我让每次下载返回文件内容的摘要,再按原目录顺序合并。两条汇总记录的 SHA256 相同,说明这六张封面的内容和排列都能对上。

 

二、股票日行情

接口分析、代码与结果

打开搜狐证券的个股页,股票名称和代码可以直接从链接里读到,行情数字需要另外请求。以平安银行为例,XPath 取到链接文字“平安银行”,链接路径中对应的代码是 000001。接着用这个代码请求日行情接口。返回的 hq 数组里,一行代表一个交易日,代码按日期取最新一行,所以结果表也保留了交易日期。

同一行里,开盘、收盘、涨跌额和涨跌幅是四个不同的值。代码先把这一行整理成一个 Stock Item,成交量保留接口的单位“手”。等三只股票都返回后,Pipeline 核对代码是否齐全,再把这一批记录写入 MySQL。

"""从搜狐证券的个股页面及日行情接口采集最近一个交易日。"""
from decimal import Decimal


import scrapy
from storage import MysqlPipeline


class Stock(scrapy.Item):
    id = scrapy.Field()
    code = scrapy.Field()
    name = scrapy.Field()
    price = scrapy.Field()
    change_pct = scrapy.Field()
    change_amt = scrapy.Field()
    volume = scrapy.Field()
    amplitude = scrapy.Field()
    high = scrapy.Field()
    low = scrapy.Field()
    opening = scrapy.Field()
    previous = scrapy.Field()
    trade_date = scrapy.Field()


class Stocks(scrapy.Spider):
    name = "stocks"
    codes = ["600519", "000001", "601318"]
    start_urls = [f"https://q.stock.sohu.com/cn/{c}/index.shtml" for c in codes]
    custom_settings = {"DOWNLOAD_DELAY": 0.5, "RETRY_TIMES": 5, "ITEM_PIPELINES": {MysqlPipeline: 300}}
    table = "stock_quotes"
    columns = ("id", "code", "name", "price", "change_pct", "change_amt",
               "volume", "amplitude", "high", "low", "opening", "previous", "trade_date")
    schema = """CREATE TABLE IF NOT EXISTS stock_quotes (
        id INT PRIMARY KEY, code CHAR(6) UNIQUE, name VARCHAR(40),
        price DECIMAL(12,2), change_pct DECIMAL(10,2), change_amt DECIMAL(12,2),
        volume BIGINT, amplitude DECIMAL(10,2), high DECIMAL(12,2),
        low DECIMAL(12,2), opening DECIMAL(12,2), previous DECIMAL(12,2),
        trade_date DATE) ENGINE=InnoDB"""

    def parse(self, response):
        # 名称在 HTML 中,行情数字由网页另外请求。
        link = response.xpath('//li[@class="name"]/a')[0]
        code = link.attrib["href"].split("/")[-2]
        url = f"https://q.stock.sohu.com/hisHq?code=cn_{code}&stat=1&order=D&period=d&rt=json"
        name = link.xpath("normalize-space(.)").get()
        yield scrapy.Request(url, callback=self.quote, cb_kwargs={"code": code, "name": name})

    def quote(self, response, code, name):
        row = max(response.json()[0]["hq"], key=lambda day: day[0])
        price, change = Decimal(row[2]), Decimal(row[3])
        previous = price - change
        low, high = Decimal(row[5]), Decimal(row[6])
        yield Stock(id=self.codes.index(code) + 1, code=code, name=name,
                    trade_date=row[0], opening=row[1], price=price, change_amt=change,
                    change_pct=row[4].rstrip("%"), low=low, high=high, volume=int(row[7]),
                    previous=previous, amplitude=round((high-low)*100/previous, 2))

    def complete(self, rows):
        return sorted(r["code"] for r in rows) == sorted(self.codes)

股票和下一题的外汇牌价共用下面的 Pipeline。两张表各自定义字段顺序,写入时按这个顺序取值。

"""在一次事务中用完整的本次采集替换上一批结果。"""
import os

import pymysql
from scrapy import signals


class MysqlPipeline:
    @classmethod
    def from_crawler(cls, crawler):
        pipeline = cls()
        pipeline.rows = []
        crawler.signals.connect(pipeline.save, signal=signals.spider_closed)
        return pipeline

    def process_item(self, item):
        self.rows.append(dict(item))
        return item

    def save(self, spider, reason):
        if reason != "finished" or not spider.complete(self.rows):
            raise ValueError("记录不完整,保留原表数据")
        db = pymysql.connect(
            host=os.getenv("MYSQL_HOST", "127.0.0.1"),
            port=int(os.getenv("MYSQL_PORT", "3306")),
            user=os.getenv("MYSQL_USER", "root"),
            password=os.getenv("MYSQL_PASSWORD", ""),
            database=os.getenv("MYSQL_DATABASE", "work3"), charset="utf8mb4",
        )
        try:
            with db.cursor() as cursor:
                cursor.execute(spider.schema)
                cursor.execute(f"DELETE FROM {spider.table}")
                columns = ", ".join(f"`{key}`" for key in spider.columns)
                params = ", ".join(["%s"] * len(spider.columns))
                rows = sorted(self.rows, key=lambda r: r[spider.columns[0]])
                values = [tuple(r[key] for key in spider.columns) for r in rows]
                cursor.executemany(
                    f"INSERT INTO {spider.table} ({columns}) VALUES ({params})", values)
            db.commit()
            print(f"{spider.table}: {len(rows)} rows committed")
        finally:
            db.close()

设置查表函数并确认当前数据库为 work3

设置查表函数并确认当前数据库为 work3

运行爬虫后,终端显示 stock_quotes: 3 rows committed。按代码查询平安银行,竖排结果最后一行显示 trade_date: 2026-11-11。

三只股票入库结果与平安银行的完整记录

三只股票入库结果与平安银行的完整记录

与原网站核对

搜狐个股页显示的是 11 月 12 日 15:00 的行情,页面上的“昨收 11.71”对应数据库里 11 月 11 日的收盘价。

平安银行 11 月 12 日个股页上的昨收价

平安银行 11 月 12 日个股页上的昨收价

要逐项核对 11 月 11 日的开盘价和成交量,可以打开日行情接口,按 ⌘F 搜索日期 2026-11-11。trade_date 是 MySQL 的列名,接口把日期放在 hq 每条记录的第一个位置。开盘价是 11.83 元,收盘价是 11.71 元,涨跌额是 −0.15 元,成交量是 1057038 手。数据库截图第二行的 opening、price、change_amt 和 volume 分别对应这四个值。平安银行个股页 · 日行情接口

搜狐日行情接口中高亮的交易日期及开盘价、收盘价

搜狐日行情接口中高亮的交易日期及开盘价、收盘价

图中左上角黄色高亮的是交易日期 2026-11-11,紧接着红框里的 11.83 和 11.71 分别对应数据库中的开盘价和收盘价。

股票作业文件夹

作业心得

振幅和涨跌幅都用百分数表示,数值却不一样。平安银行这一天从 11.86 元跌到 11.71 元,涨跌幅是 −1.26%。算振幅要看当天最高价和最低价,两者相差 0.16 元,除以昨收 11.86 元,约为 1.35%。手算这一行,就能分别核对数据库里的两个百分数。

 

三、中国银行外汇牌价

采集代码与结果

中国银行的牌价表把现汇买入、现钞买入、现汇卖出、现钞卖出列在一起。有些币种只有现钞报价,例如以色列谢克尔的第一、第三个报价格都是空的。为了让价格和表头一一对应,XPath 先找到带有“货币名称”表头的表格,再逐行遍历 td。即使某个格子没有文字,它在这一行的位置仍然保留。

每种货币生成一个 Rate Item,四个价格依次写入 TBP、CBP、TSP、CSP。写入时把空字符串转成 NULL,另外保存发布日期和发布时间。这次表里共有 45 种货币,结果图先用 COUNT(*) 核对总数,再单独查询加拿大元和以色列谢克尔。

"""采集中国银行当前牌价表,空白报价保留为 NULL。"""
import scrapy
from storage import MysqlPipeline


class Rate(scrapy.Item):
    Currency = scrapy.Field()
    TBP = scrapy.Field()
    CBP = scrapy.Field()
    TSP = scrapy.Field()
    CSP = scrapy.Field()
    Time = scrapy.Field()
    publish_date = scrapy.Field()


class Forex(scrapy.Spider):
    name = "forex"
    start_urls = ["https://www.boc.cn/sourcedb/whpj/"]
    custom_settings = {"ITEM_PIPELINES": {MysqlPipeline: 300}}
    table = "exchange_rates"
    columns = ("Currency", "TBP", "CBP", "TSP", "CSP", "Time", "publish_date")
    schema = """CREATE TABLE IF NOT EXISTS exchange_rates (
        Currency VARCHAR(40) PRIMARY KEY, TBP DECIMAL(14,4), CBP DECIMAL(14,4),
        TSP DECIMAL(14,4), CSP DECIMAL(14,4), Time TIME, publish_date DATE
    ) ENGINE=InnoDB"""
    expected = 0

    def parse(self, response):
        rows = response.xpath('//table[.//th[normalize-space()="货币名称"]]//tr[td]')
        self.expected = len(rows)
        for row in rows:
            cells = [td.xpath("normalize-space(.)").get() for td in row.xpath("./td")]
            currency, tbp, cbp, tsp, csp, _, date, time = cells
            yield Rate(Currency=currency, TBP=tbp or None, CBP=cbp or None,
                       TSP=tsp or None, CSP=csp or None, Time=time,
                       publish_date=date.split()[0].replace(".", "-").replace("/", "-"))

    def complete(self, rows):
        return len(rows) == self.expected > 0

外汇爬虫入库记录、币种总数及两种货币的查询结果

外汇爬虫入库记录、币种总数及两种货币的查询结果

与原网站核对

网页和数据库中这两种货币的发布时间都是 2026 年 11 月 12 日 16:30:09。先看加拿大元,现汇和现钞买入价都是 466.29,现汇和现钞卖出价都是 469.95。数据库按相同顺序显示 466.2900、466.2900、469.9500、469.9500。中国银行外汇牌价

中国银行牌价表头及加拿大元的四项报价

中国银行牌价表头及加拿大元的四项报价

再看以色列谢克尔,网页上的两个现汇格为空,现钞买入价为 188.78,现钞卖出价为 230.74。查询结果中 TBP 和 TSP 都是 NULL,两个现钞价格分别落在 CBP 和 CSP 列。

同一发布时间的以色列谢克尔报价

同一发布时间的以色列谢克尔报价

外汇作业文件夹

作业心得

如果直接提取一整行的文本,空格子会消失,188.78 就容易被当成第一列的现汇买入价。按单元格取值后,数据库里保留下来的两个 NULL 反而最容易用来检查列有没有错位。核对价格时还得看发布时间,这次用同一时刻的两行报价逐格对照,就能确认空格后面的价格也存对了位置。

posted @ 2026-11-16 20:22  102402143越长智  阅读(6)  评论(0)    收藏  举报