第三次数据采集作业
目录
一、图书封面采集
采集代码与结果
Books to Scrape 的目录每页列出 20 本书。第一本《A Light in the Attic》的封面地址以 ../media/ 开头,代码用 urljoin 把它和当前页地址拼成完整网址。下一页的链接也用同样的方法处理。按学号尾数,最多访问 43 个目录页、下载 143 张不同的图片。前七页收集了 140 个地址,到第八页再取三个就够了。
两种下载方式共用同一个 download 函数。单线程按目录顺序逐张下载,多线程把同一批地址交给四个工作线程。每次保存成功,控制台都会打印来源网址和本地文件名。为了在一张图里对照两次运行,先把数量设成 6;按默认数量运行时,拾取地址的规则相同。
"""按目录页顺序采集 Books to Scrape 的图片。"""
import argparse
from concurrent.futures import ThreadPoolExecutor
from hashlib import sha256
from pathlib import Path
from urllib.parse import urljoin
from bs4 import BeautifulSoup
import requests
ROOT = Path(__file__).resolve().parent
START = "https://books.toscrape.com/catalogue/page-1.html"
def collect_urls(page_limit, image_limit):
"""按出现顺序去重,两种下载方式使用相同的选图规则。"""
url = START
images = {}
for page in range(1, page_limit + 1):
response = requests.get(url, timeout=30)
response.raise_for_status()
soup = BeautifulSoup(response.content, "html.parser")
for img in soup.select("img[src]"):
images[urljoin(url, img["src"])] = None
if len(images) >= image_limit:
break
print(f"Page {page}: {url} ({len(images)} images)", flush=True)
next_page = soup.select_one("li.next a")
if len(images) >= image_limit or next_page is None:
break
url = urljoin(url, next_page["href"])
return list(images)
def download(url):
"""文件名取自 URL,重跑同一批图片时覆盖同名文件。"""
response = requests.get(url, timeout=30)
response.raise_for_status()
if not response.headers.get("Content-Type", "").startswith("image/"):
raise ValueError(f"响应不是图片:{url}")
file = ROOT / "images" / Path(url).name
file.write_bytes(response.content)
print(f"{url} -> images/{file.name}", flush=True)
return sha256(response.content).hexdigest()
if __name__ == "__main__":
parser = argparse.ArgumentParser(description=__doc__)
parser.add_argument("mode", choices=["single", "multi"])
parser.add_argument("--pages", type=int, default=43)
parser.add_argument("--images", type=int, default=143)
args = parser.parse_args()
if not (1 <= args.pages <= 43 and 1 <= args.images <= 143):
parser.error("页数须在 1 至 43 之间,图片数须在 1 至 143 之间")
urls = collect_urls(args.pages, args.images)
(ROOT / "images").mkdir(exist_ok=True)
if args.mode == "single":
hashes = list(map(download, urls))
else:
with ThreadPoolExecutor(max_workers=4) as pool:
hashes = list(pool.map(download, urls))
print(f"{args.mode}: {len(hashes)} images, batch SHA256:",
sha256("".join(hashes).encode()).hexdigest())

单线程与多线程各下载六张封面的终端记录
两次运行都下载了 6 张封面。多线程先打印了第三本书的图片地址,但两次汇总的 SHA256 完全相同。

默认参数下从第一页到第八页的采集记录
第 7 页累计 140 张,第 8 页只取了 3 张。最后一行显示 multi: 143 images,与学号末三位对应。
与原网站核对
在目录第一页打开《A Light in the Attic》的封面,浏览器地址末尾的 2cdad67c44b002e7ead0cc35693c0e8b.jpg 与单线程日志里的第一条文件名一致。右侧 Finder 中选中了下载到 1/images 的文件,预览里也能看到相同的书名和封面插画。图书目录第一页

浏览器中的原图与 Finder 中的本地封面预览
作业心得
多线程下载时,第二本书有可能比第一本先写完,只看控制台的打印顺序很难判断两次下载是否一致。我让每次下载返回文件内容的摘要,再按原目录顺序合并。两条汇总记录的 SHA256 相同,说明这六张封面的内容和排列都能对上。
二、股票日行情
接口分析、代码与结果
打开搜狐证券的个股页,股票名称和代码可以直接从链接里读到,行情数字需要另外请求。以平安银行为例,XPath 取到链接文字“平安银行”,链接路径中对应的代码是 000001。接着用这个代码请求日行情接口。返回的 hq 数组里,一行代表一个交易日,代码按日期取最新一行,所以结果表也保留了交易日期。
同一行里,开盘、收盘、涨跌额和涨跌幅是四个不同的值。代码先把这一行整理成一个 Stock Item,成交量保留接口的单位“手”。等三只股票都返回后,Pipeline 核对代码是否齐全,再把这一批记录写入 MySQL。
"""从搜狐证券的个股页面及日行情接口采集最近一个交易日。"""
from decimal import Decimal
import scrapy
from storage import MysqlPipeline
class Stock(scrapy.Item):
id = scrapy.Field()
code = scrapy.Field()
name = scrapy.Field()
price = scrapy.Field()
change_pct = scrapy.Field()
change_amt = scrapy.Field()
volume = scrapy.Field()
amplitude = scrapy.Field()
high = scrapy.Field()
low = scrapy.Field()
opening = scrapy.Field()
previous = scrapy.Field()
trade_date = scrapy.Field()
class Stocks(scrapy.Spider):
name = "stocks"
codes = ["600519", "000001", "601318"]
start_urls = [f"https://q.stock.sohu.com/cn/{c}/index.shtml" for c in codes]
custom_settings = {"DOWNLOAD_DELAY": 0.5, "RETRY_TIMES": 5, "ITEM_PIPELINES": {MysqlPipeline: 300}}
table = "stock_quotes"
columns = ("id", "code", "name", "price", "change_pct", "change_amt",
"volume", "amplitude", "high", "low", "opening", "previous", "trade_date")
schema = """CREATE TABLE IF NOT EXISTS stock_quotes (
id INT PRIMARY KEY, code CHAR(6) UNIQUE, name VARCHAR(40),
price DECIMAL(12,2), change_pct DECIMAL(10,2), change_amt DECIMAL(12,2),
volume BIGINT, amplitude DECIMAL(10,2), high DECIMAL(12,2),
low DECIMAL(12,2), opening DECIMAL(12,2), previous DECIMAL(12,2),
trade_date DATE) ENGINE=InnoDB"""
def parse(self, response):
# 名称在 HTML 中,行情数字由网页另外请求。
link = response.xpath('//li[@class="name"]/a')[0]
code = link.attrib["href"].split("/")[-2]
url = f"https://q.stock.sohu.com/hisHq?code=cn_{code}&stat=1&order=D&period=d&rt=json"
name = link.xpath("normalize-space(.)").get()
yield scrapy.Request(url, callback=self.quote, cb_kwargs={"code": code, "name": name})
def quote(self, response, code, name):
row = max(response.json()[0]["hq"], key=lambda day: day[0])
price, change = Decimal(row[2]), Decimal(row[3])
previous = price - change
low, high = Decimal(row[5]), Decimal(row[6])
yield Stock(id=self.codes.index(code) + 1, code=code, name=name,
trade_date=row[0], opening=row[1], price=price, change_amt=change,
change_pct=row[4].rstrip("%"), low=low, high=high, volume=int(row[7]),
previous=previous, amplitude=round((high-low)*100/previous, 2))
def complete(self, rows):
return sorted(r["code"] for r in rows) == sorted(self.codes)
股票和下一题的外汇牌价共用下面的 Pipeline。两张表各自定义字段顺序,写入时按这个顺序取值。
"""在一次事务中用完整的本次采集替换上一批结果。"""
import os
import pymysql
from scrapy import signals
class MysqlPipeline:
@classmethod
def from_crawler(cls, crawler):
pipeline = cls()
pipeline.rows = []
crawler.signals.connect(pipeline.save, signal=signals.spider_closed)
return pipeline
def process_item(self, item):
self.rows.append(dict(item))
return item
def save(self, spider, reason):
if reason != "finished" or not spider.complete(self.rows):
raise ValueError("记录不完整,保留原表数据")
db = pymysql.connect(
host=os.getenv("MYSQL_HOST", "127.0.0.1"),
port=int(os.getenv("MYSQL_PORT", "3306")),
user=os.getenv("MYSQL_USER", "root"),
password=os.getenv("MYSQL_PASSWORD", ""),
database=os.getenv("MYSQL_DATABASE", "work3"), charset="utf8mb4",
)
try:
with db.cursor() as cursor:
cursor.execute(spider.schema)
cursor.execute(f"DELETE FROM {spider.table}")
columns = ", ".join(f"`{key}`" for key in spider.columns)
params = ", ".join(["%s"] * len(spider.columns))
rows = sorted(self.rows, key=lambda r: r[spider.columns[0]])
values = [tuple(r[key] for key in spider.columns) for r in rows]
cursor.executemany(
f"INSERT INTO {spider.table} ({columns}) VALUES ({params})", values)
db.commit()
print(f"{spider.table}: {len(rows)} rows committed")
finally:
db.close()

设置查表函数并确认当前数据库为 work3
运行爬虫后,终端显示 stock_quotes: 3 rows committed。按代码查询平安银行,竖排结果最后一行显示 trade_date: 2026-11-11。

三只股票入库结果与平安银行的完整记录
与原网站核对
搜狐个股页显示的是 11 月 12 日 15:00 的行情,页面上的“昨收 11.71”对应数据库里 11 月 11 日的收盘价。

平安银行 11 月 12 日个股页上的昨收价
要逐项核对 11 月 11 日的开盘价和成交量,可以打开日行情接口,按 ⌘F 搜索日期 2026-11-11。trade_date 是 MySQL 的列名,接口把日期放在 hq 每条记录的第一个位置。开盘价是 11.83 元,收盘价是 11.71 元,涨跌额是 −0.15 元,成交量是 1057038 手。数据库截图第二行的 opening、price、change_amt 和 volume 分别对应这四个值。平安银行个股页 · 日行情接口

搜狐日行情接口中高亮的交易日期及开盘价、收盘价
图中左上角黄色高亮的是交易日期 2026-11-11,紧接着红框里的 11.83 和 11.71 分别对应数据库中的开盘价和收盘价。
作业心得
振幅和涨跌幅都用百分数表示,数值却不一样。平安银行这一天从 11.86 元跌到 11.71 元,涨跌幅是 −1.26%。算振幅要看当天最高价和最低价,两者相差 0.16 元,除以昨收 11.86 元,约为 1.35%。手算这一行,就能分别核对数据库里的两个百分数。
三、中国银行外汇牌价
采集代码与结果
中国银行的牌价表把现汇买入、现钞买入、现汇卖出、现钞卖出列在一起。有些币种只有现钞报价,例如以色列谢克尔的第一、第三个报价格都是空的。为了让价格和表头一一对应,XPath 先找到带有“货币名称”表头的表格,再逐行遍历 td。即使某个格子没有文字,它在这一行的位置仍然保留。
每种货币生成一个 Rate Item,四个价格依次写入 TBP、CBP、TSP、CSP。写入时把空字符串转成 NULL,另外保存发布日期和发布时间。这次表里共有 45 种货币,结果图先用 COUNT(*) 核对总数,再单独查询加拿大元和以色列谢克尔。
"""采集中国银行当前牌价表,空白报价保留为 NULL。"""
import scrapy
from storage import MysqlPipeline
class Rate(scrapy.Item):
Currency = scrapy.Field()
TBP = scrapy.Field()
CBP = scrapy.Field()
TSP = scrapy.Field()
CSP = scrapy.Field()
Time = scrapy.Field()
publish_date = scrapy.Field()
class Forex(scrapy.Spider):
name = "forex"
start_urls = ["https://www.boc.cn/sourcedb/whpj/"]
custom_settings = {"ITEM_PIPELINES": {MysqlPipeline: 300}}
table = "exchange_rates"
columns = ("Currency", "TBP", "CBP", "TSP", "CSP", "Time", "publish_date")
schema = """CREATE TABLE IF NOT EXISTS exchange_rates (
Currency VARCHAR(40) PRIMARY KEY, TBP DECIMAL(14,4), CBP DECIMAL(14,4),
TSP DECIMAL(14,4), CSP DECIMAL(14,4), Time TIME, publish_date DATE
) ENGINE=InnoDB"""
expected = 0
def parse(self, response):
rows = response.xpath('//table[.//th[normalize-space()="货币名称"]]//tr[td]')
self.expected = len(rows)
for row in rows:
cells = [td.xpath("normalize-space(.)").get() for td in row.xpath("./td")]
currency, tbp, cbp, tsp, csp, _, date, time = cells
yield Rate(Currency=currency, TBP=tbp or None, CBP=cbp or None,
TSP=tsp or None, CSP=csp or None, Time=time,
publish_date=date.split()[0].replace(".", "-").replace("/", "-"))
def complete(self, rows):
return len(rows) == self.expected > 0

外汇爬虫入库记录、币种总数及两种货币的查询结果
与原网站核对
网页和数据库中这两种货币的发布时间都是 2026 年 11 月 12 日 16:30:09。先看加拿大元,现汇和现钞买入价都是 466.29,现汇和现钞卖出价都是 469.95。数据库按相同顺序显示 466.2900、466.2900、469.9500、469.9500。中国银行外汇牌价

中国银行牌价表头及加拿大元的四项报价
再看以色列谢克尔,网页上的两个现汇格为空,现钞买入价为 188.78,现钞卖出价为 230.74。查询结果中 TBP 和 TSP 都是 NULL,两个现钞价格分别落在 CBP 和 CSP 列。

同一发布时间的以色列谢克尔报价
作业心得
如果直接提取一整行的文本,空格子会消失,188.78 就容易被当成第一列的现汇买入价。按单元格取值后,数据库里保留下来的两个 NULL 反而最容易用来检查列有没有错位。核对价格时还得看发布时间,这次用同一时刻的两行报价逐格对照,就能确认空格后面的价格也存对了位置。
浙公网安备 33010602011771号