数据采集第三次作业
数据采集第三次作业
姓名:徐张睿 学号:102402139
运行环境:Windows 10/11 + Python 3.12 + Scrapy 2.11.2 + MySQL 8.0
Gitee仓库:https://gitee.com/V1oletQAQ/violet-qaq/tree/master/作业三
一、实验代码与运行截图
1.1 作业①:指定网站图片下载(单线程 + 多线程)
需求
指定一个网站,爬取页面图片,分别用单线程和多线程下载;控制总页数和图片数量:
- 学号
102402139后两位是39,所以页数上限设为 39; - 学号后三位是
139,所以图片数量上限设为 139。
选站与页面分析
我选的是当当网“书包”搜索页:
https://search.dangdang.com/?key=书包&act=input&page_index=1
搜索结果在 ul.bigimg 下的 li 中,图片地址在 li//img/@src。图片 URL 以 // 开头,需要补成 https:;每页 60 张,抓 3 页就超过 139 张,所以代码在达到 139 张时立即停止。
F12 分析过程
先按 F12 打开开发者工具:
- Elements:点左上角选择元素箭头,点一个书包图片,确认结构是
ul.bigimg > li > a.pic > img,图片地址在img/@src; - Network:切到
Img过滤并刷新,确认图片请求和 Request URL。
对应过程截图:


代码做了几件事:
- 用
requests.Session请求搜索页,lxml的 XPath 提取图片 URL; - 用集合
seen去重; - 图片文件名用“序号 + URL 的 MD5 前 8 位”,避免重名;
- 单线程用
for循环下载,多线程用ThreadPoolExecutor; - 把 URL 列表写入
image_urls_*.txt,方便核对。
完整代码
点击查看 3_1_images/image_spider.py 完整代码
"""作业3-1:使用 requests 单线程/多线程下载商城图片。
学号 102402139:
总页数上限 = 学号后两位 = 39
图片数量上限 = 学号后三位 = 139
运行:
python image_spider.py --mode single --output-dir images_single
python image_spider.py --mode multi --output-dir images
"""
from __future__ import annotations
import argparse
import hashlib
import time
from concurrent.futures import ThreadPoolExecutor, as_completed
from pathlib import Path
from urllib.parse import urljoin
import requests
from lxml import html
BASE_DIR = Path(__file__).resolve().parent
STUDENT_ID = "102402139"
MAX_PAGES = int(STUDENT_ID[-2:]) # 39
MAX_IMAGES = int(STUDENT_ID[-3:]) # 139
KEYWORD = "书包"
SEARCH_URL = "https://search.dangdang.com/?key={keyword}&act=input&page_index={page}"
HEADERS = {
"User-Agent": (
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/131.0.0.0 Safari/537.36"
),
"Referer": "https://search.dangdang.com/",
}
def build_session() -> requests.Session:
"""创建 requests 会话。"""
session = requests.Session()
session.headers.update(HEADERS)
session.trust_env = False # 直接连接,避免本机失效代理影响
return session
def collect_image_urls(session: requests.Session) -> list[str]:
"""遍历搜索页,收集图片 URL,最多 MAX_PAGES 页、MAX_IMAGES 张。"""
urls: list[str] = []
seen: set[str] = set()
for page in range(1, MAX_PAGES + 1):
if len(urls) >= MAX_IMAGES:
break
url = SEARCH_URL.format(keyword=KEYWORD, page=page)
try:
response = session.get(url, timeout=20)
response.raise_for_status()
response.encoding = "gbk"
doc = html.fromstring(response.text)
image_urls = doc.xpath('//ul[contains(@class,"bigimg")]/li//img/@src')
print("第 %s 页找到 %s 张图片" % (page, len(image_urls)))
for src in image_urls:
if len(urls) >= MAX_IMAGES:
break
src = "https:" + src if src.startswith("//") else urljoin(url, src)
if src not in seen:
seen.add(src)
urls.append(src)
print("[%s/%s] %s" % (len(urls), MAX_IMAGES, src))
except Exception as err:
print("第 %s 页抓取失败:%s" % (page, err))
time.sleep(0.2)
return urls
def download_one(session: requests.Session, url: str, index: int, output_dir: Path) -> str:
"""下载一张图片,返回保存路径。"""
try:
response = session.get(url, timeout=30)
response.raise_for_status()
suffix = Path(url.split("?")[0]).suffix or ".jpg"
if suffix.lower() not in {".jpg", ".jpeg", ".png", ".gif", ".webp"}:
suffix = ".jpg"
name = "%04d_%s%s" % (index, hashlib.md5(url.encode("utf-8")).hexdigest()[:8], suffix)
path = output_dir / name
path.write_bytes(response.content)
return str(path)
except Exception as err:
return "FAILED %s %s" % (url, err)
def main() -> None:
parser = argparse.ArgumentParser(description="当当网图片下载(单线程/多线程)")
parser.add_argument("--mode", choices=["single", "multi"], default="single")
parser.add_argument("--output-dir", default="images")
parser.add_argument("--workers", type=int, default=8)
args = parser.parse_args()
output_dir = BASE_DIR / args.output_dir
output_dir.mkdir(parents=True, exist_ok=True)
session = build_session()
print("模式:%s;关键词:%s;页数上限:%s;图片上限:%s" % (
args.mode, KEYWORD, MAX_PAGES, MAX_IMAGES
))
urls = collect_image_urls(session)
print("共收集到图片 URL:%s 张" % len(urls))
(BASE_DIR / ("image_urls_%s.txt" % args.mode)).write_text("\n".join(urls), encoding="utf-8")
start = time.time()
results: list[str] = []
if args.mode == "single":
for index, url in enumerate(urls, start=1):
result = download_one(session, url, index, output_dir)
results.append(result)
print("下载 [%s/%s] %s" % (index, len(urls), result))
else:
with ThreadPoolExecutor(max_workers=args.workers) as executor:
futures = {
executor.submit(download_one, session, url, index, output_dir): (index, url)
for index, url in enumerate(urls, start=1)
}
for future in as_completed(futures):
index, url = futures[future]
result = future.result()
results.append(result)
print("下载 [%s/%s] %s" % (index, len(urls), result))
success = [item for item in results if not item.startswith("FAILED")]
failed = [item for item in results if item.startswith("FAILED")]
print("完成:成功 %s 张,失败 %s 张,耗时 %.1f 秒" % (
len(success), len(failed), time.time() - start
))
print("保存目录:%s" % output_dir)
for item in failed:
print(item)
if __name__ == "__main__":
main()
代码截图

运行结果
单线程:
python image_spider.py --mode single --output-dir images_single
模式:single;关键词:书包;页数上限:39;图片上限:139
...
共收集到图片 URL:139 张
完成:成功 139 张,失败 0 张,耗时 7.3 秒
多线程:
python image_spider.py --mode multi --output-dir images --workers 8
完成:成功 139 张,失败 0 张,耗时 1.3 秒
保存目录:...\images
终端运行截图


下载的图片(前 12 张缩略图):

同样 139 张图片,单线程约 7.3 秒,多线程 8 个线程约 1.3 秒。这里的加速主要来自网络 I/O 等待被并发重叠,而不是 CPU 计算。
这一题的关键点
- 图片 URL 经常是
//开头的协议相对地址,要补https:; - 下载前先去重,避免同一张图被不同页重复抓取;
- 多线程不能把所有任务一次性全部提交后不管,
as_completed可以边完成边处理; - 文件名用哈希而不是原文件名,避免特殊字符和重名。
1.2 作业②:Scrapy + Item + Pipeline + MySQL 股票
需求
使用 Scrapy 的 Item、Pipeline,把东方财富网的股票数据存入 MySQL。字段包括:股票代码、股票名称、最新报价、涨跌幅、涨跌额、成交量、振幅、最高、最低、今开、昨收。
接口分析
东方财富行情列表页面本身是前端渲染的,数据来自下面的 JSON 接口:
https://push2.eastmoney.com/api/qt/clist/get
F12 分析过程
按 F12 → Network → Fetch/XHR → 刷新页面,找到 clist/get 请求,点开 Response,能看到 data.diff 里的 f12、f14、f2 等字段。对应过程截图:

关键参数:
pn:页码;pz:每页条数;fid=f12:按股票代码排序;fs:沪深 A 股市场;fields:需要的字段编号;fltt=2:价格按小数返回。
字段对应:f12 代码、f14 名称、f2 最新价、f3 涨跌幅、f4 涨跌额、f5 成交量、f7 振幅、f15 最高、f16 最低、f17 今开、f18 昨收。
东方财富这个列表页是 JSON 接口,所以这里用
json解析;作业③的中国银行外汇页面是服务端 HTML 表格,用的是 XPath。两种解析方式分别对应两种页面。
MySQL 表结构
表名 stock_spot:
| 字段 | 含义 |
|---|---|
| stock_code | 股票代码 |
| stock_name | 股票名称 |
| latest_price | 最新报价 |
| change_percent | 涨跌幅 |
| change_amount | 涨跌额 |
| volume | 成交量 |
| amplitude | 振幅 |
| high / low | 最高 / 最低 |
| open | 今开 |
| prev_close | 昨收 |
| crawl_time | 入库时间 |
Pipeline 在 open_spider() 中建表,在 process_item() 中用 ON DUPLICATE KEY UPDATE 写入,close_spider() 提交事务并关闭连接。
Spider 与 Pipeline 代码
点击查看 items.py、stock.py、pipelines.py、settings.py
import scrapy
class StockItem(scrapy.Item):
stock_code = scrapy.Field()
stock_name = scrapy.Field()
latest_price = scrapy.Field()
change_percent = scrapy.Field()
change_amount = scrapy.Field()
volume = scrapy.Field()
amplitude = scrapy.Field()
high = scrapy.Field()
low = scrapy.Field()
open = scrapy.Field()
prev_close = scrapy.Field()
import json
import scrapy
from ..items import StockItem
class StockSpider(scrapy.Spider):
name = "stock"
allowed_domains = ["push2.eastmoney.com"]
fields = "f12,f14,f2,f3,f4,f5,f7,f15,f16,f17,f18"
start_urls = [
"https://push2.eastmoney.com/api/qt/clist/get"
"?pn=1&pz=100&po=0&np=1&fltt=2&invt=2&fid=f12"
"&fs=m:0+t:6,m:0+t:80,m:1+t:2,m:1+t:23"
"&fields=" + fields
]
def parse(self, response):
payload = json.loads(response.text)
data = payload.get("data") or {}
for row in data.get("diff") or []:
item = StockItem()
item["stock_code"] = row.get("f12")
item["stock_name"] = row.get("f14")
item["latest_price"] = row.get("f2")
item["change_percent"] = row.get("f3")
item["change_amount"] = row.get("f4")
item["volume"] = row.get("f5")
item["amplitude"] = row.get("f7")
item["high"] = row.get("f15")
item["low"] = row.get("f16")
item["open"] = row.get("f17")
item["prev_close"] = row.get("f18")
yield item
import pymysql
class MySQLPipeline:
"""把 Scrapy Item 写入 MySQL。"""
create_sql = """
CREATE TABLE IF NOT EXISTS stock_spot (
id INT AUTO_INCREMENT PRIMARY KEY,
stock_code VARCHAR(16) NOT NULL UNIQUE,
stock_name VARCHAR(64),
latest_price DECIMAL(12, 3),
change_percent DECIMAL(12, 3),
change_amount DECIMAL(12, 3),
volume BIGINT,
amplitude DECIMAL(12, 3),
high DECIMAL(12, 3),
low DECIMAL(12, 3),
open DECIMAL(12, 3),
prev_close DECIMAL(12, 3),
crawl_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
"""
insert_sql = """
INSERT INTO stock_spot (
stock_code, stock_name, latest_price, change_percent, change_amount,
volume, amplitude, high, low, open, prev_close
) VALUES (
%s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s
)
ON DUPLICATE KEY UPDATE
stock_name = VALUES(stock_name),
latest_price = VALUES(latest_price),
change_percent = VALUES(change_percent),
change_amount = VALUES(change_amount),
volume = VALUES(volume),
amplitude = VALUES(amplitude),
high = VALUES(high),
low = VALUES(low),
open = VALUES(open),
prev_close = VALUES(prev_close),
crawl_time = CURRENT_TIMESTAMP
"""
def open_spider(self, spider):
settings = spider.crawler.settings
self.conn = pymysql.connect(
host=settings.get("MYSQL_HOST"),
port=settings.getint("MYSQL_PORT"),
user=settings.get("MYSQL_USER"),
password=settings.get("MYSQL_PASSWORD"),
database=settings.get("MYSQL_DATABASE"),
charset="utf8mb4",
autocommit=False,
)
self.cursor = self.conn.cursor()
self.cursor.execute(self.create_sql)
self.conn.commit()
self.count = 0
def process_item(self, item, spider):
self.cursor.execute(
self.insert_sql,
(
item.get("stock_code"),
item.get("stock_name"),
item.get("latest_price"),
item.get("change_percent"),
item.get("change_amount"),
item.get("volume"),
item.get("amplitude"),
item.get("high"),
item.get("low"),
item.get("open"),
item.get("prev_close"),
),
)
self.count += 1
return item
def close_spider(self, spider):
self.conn.commit()
print("MySQL股票记录数:%s" % self.count)
self.cursor.close()
self.conn.close()
import os
BOT_NAME = "stock_crawl"
SPIDER_MODULES = ["stock_crawl.spiders"]
NEWSPIDER_MODULE = "stock_crawl.spiders"
ROBOTSTXT_OBEY = False
ITEM_PIPELINES = {
"stock_crawl.pipelines.MySQLPipeline": 300,
}
MYSQL_HOST = os.getenv("MYSQL_HOST", "127.0.0.1")
MYSQL_PORT = int(os.getenv("MYSQL_PORT", "3306"))
MYSQL_USER = os.getenv("MYSQL_USER", "root")
MYSQL_PASSWORD = os.getenv("MYSQL_PASSWORD", "")
MYSQL_DATABASE = os.getenv("MYSQL_DATABASE", "homework3")
代码截图

运行结果
cd 3_2_stock\stock_crawl
$env:MYSQL_PORT="3307"
python run.py
MySQL股票记录数:79

MySQL 查询结果(前 10 条):

这一题的关键点
- Scrapy 的 Item 只负责定义字段,真正入库放在 Pipeline;
open_spider/close_spider适合管理数据库连接;- 使用唯一键 + UPSERT,重复运行不会产生重复股票;
- 接口里的
"-"要在入库前转成None,不能直接写DECIMAL。
1.3 作业③:Scrapy XPath + MySQL 外汇
需求
用 Scrapy 爬取中国银行外汇牌价页面,并用 MySQL 存储。字段:Currency、TBP、CBP、TSP、CSP、Time。
页面分析
地址:
https://www.boc.cn/sourcedb/whpj/
页面第一个表格就是牌价表,表头为:
货币名称 | 现汇买入价 | 现钞买入价 | 现汇卖出价 | 现钞卖出价 | 中行折算价 | 发布日期 | 发布时间
F12 分析过程
按 F12 → Elements → Ctrl+F 搜 货币名称,展开第一个 <table> 下的 <tr>,确认每行有 8 个 <td>,所以 XPath 用 //table[1]//tr[position()>1] 跳过表头。对应过程截图:

字段对应:
- Currency = 货币名称;
- TBP = 现汇买入价;
- CBP = 现钞买入价;
- TSP = 现汇卖出价;
- CSP = 现钞卖出价;
- Time = 发布时间。
XPath 使用 //table[1]//tr[position()>1] 跳过表头,再取每个 tr 的 td 文本。这里遇到一个编码坑:页面 meta 写 UTF-8,但用 Scrapy 的 Selector(text=...) 时 lxml 会报 unknown encoding: 'b'utf8'',所以改成用 lxml.html.fromstring(response.body) 直接解析原始字节。
完整代码
点击查看 items.py、forex.py、pipelines.py、settings.py
import scrapy
class ForexItem(scrapy.Item):
currency = scrapy.Field()
tbp = scrapy.Field()
cbp = scrapy.Field()
tsp = scrapy.Field()
csp = scrapy.Field()
quote_time = scrapy.Field()
import scrapy
from lxml import html
from ..items import ForexItem
class ForexSpider(scrapy.Spider):
name = "forex"
allowed_domains = ["www.boc.cn"]
start_urls = ["https://www.boc.cn/sourcedb/whpj/"]
def parse(self, response):
# 用 lxml 直接解析原始字节,避开页面 meta 编码声明导致的 Selector 编码问题
doc = html.fromstring(response.body)
# 第一个表格为外汇牌价表,第一行是表头
rows = doc.xpath("//table[1]//tr[position()>1]")
for row in rows:
cells = ["".join(td.itertext()).strip() for td in row.xpath("./td")]
if len(cells) < 8 or not cells[0]:
continue
item = ForexItem()
item["currency"] = cells[0]
item["tbp"] = cells[1]
item["cbp"] = cells[2]
item["tsp"] = cells[3]
item["csp"] = cells[4]
item["quote_time"] = cells[7]
yield item
import pymysql
class MySQLPipeline:
"""把中国银行外汇牌价写入 MySQL。"""
create_sql = """
CREATE TABLE IF NOT EXISTS forex (
id INT AUTO_INCREMENT PRIMARY KEY,
currency VARCHAR(64) NOT NULL,
tbp DECIMAL(12, 4),
cbp DECIMAL(12, 4),
tsp DECIMAL(12, 4),
csp DECIMAL(12, 4),
quote_time VARCHAR(32),
crawl_time TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
UNIQUE KEY uk_currency (currency)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
"""
insert_sql = """
INSERT INTO forex (currency, tbp, cbp, tsp, csp, quote_time)
VALUES (%s, %s, %s, %s, %s, %s)
ON DUPLICATE KEY UPDATE
tbp = VALUES(tbp),
cbp = VALUES(cbp),
tsp = VALUES(tsp),
csp = VALUES(csp),
quote_time = VALUES(quote_time),
crawl_time = CURRENT_TIMESTAMP
"""
def open_spider(self, spider):
settings = spider.crawler.settings
self.conn = pymysql.connect(
host=settings.get("MYSQL_HOST"),
port=settings.getint("MYSQL_PORT"),
user=settings.get("MYSQL_USER"),
password=settings.get("MYSQL_PASSWORD"),
database=settings.get("MYSQL_DATABASE"),
charset="utf8mb4",
autocommit=False,
)
self.cursor = self.conn.cursor()
self.cursor.execute(self.create_sql)
self.conn.commit()
self.count = 0
def process_item(self, item, spider):
self.cursor.execute(
self.insert_sql,
(
item.get("currency"),
item.get("tbp"),
item.get("cbp"),
item.get("tsp"),
item.get("csp"),
item.get("quote_time"),
),
)
self.count += 1
return item
def close_spider(self, spider):
self.conn.commit()
print("MySQL外汇记录数:%s" % self.count)
self.cursor.close()
self.conn.close()
import os
BOT_NAME = "forex_crawl"
SPIDER_MODULES = ["forex_crawl.spiders"]
NEWSPIDER_MODULE = "forex_crawl.spiders"
ROBOTSTXT_OBEY = False
ITEM_PIPELINES = {
"forex_crawl.pipelines.MySQLPipeline": 300,
}
MYSQL_HOST = os.getenv("MYSQL_HOST", "127.0.0.1")
MYSQL_PORT = int(os.getenv("MYSQL_PORT", "3306"))
MYSQL_USER = os.getenv("MYSQL_USER", "root")
MYSQL_PASSWORD = os.getenv("MYSQL_PASSWORD", "")
MYSQL_DATABASE = os.getenv("MYSQL_DATABASE", "homework3")
代码截图

运行结果
cd 3_3_forex\forex_crawl
$env:MYSQL_PORT="3307"
python run.py
MySQL外汇记录数:27

MySQL 查询结果(前 10 条):

这一题的关键点
- 中国银行牌价是服务端 HTML 表格,适合 XPath;
- 表头要跳过,空行要过滤;
- 外汇页面编码声明有坑,直接用
lxml.html.fromstring(response.body)更稳; - 唯一键用
currency,重复抓取时更新牌价和时间。
二、心得体会
2.1 多线程下载的收益来自 I/O 等待
单线程下载 139 张图片用了约 7.3 秒,多线程 8 个工作线程只用了约 1.3 秒。这个差距不是因为多线程“算得更快”,而是因为每张图片的下载大部分时间都在等网络。线程可以在一个请求等待响应时去处理另一个请求。
不过线程也不是越多越好:线程太多会增加切换和服务器压力,还可能触发反爬。8 个线程对 139 张图片已经足够。
2.2 Scrapy 的分层让代码更清楚
以前写爬虫喜欢把“请求、解析、入库”全塞在一个文件里。这次用 Scrapy 后,Spider 只负责发请求和解析,Item 定义字段,Pipeline 负责数据库,settings.py 负责装配。这样换数据库、改表结构时,不用动 Spider。
Pipeline 的 open_spider() 和 close_spider() 也很适合管理连接:开始爬取时建表、结束时统一提交,不会每条数据都开关一次数据库。
2.3 JSON 和 XPath 要按页面实际情况选择
作业②的东方财富列表是 JSON 接口,用 json 解析最直接;作业③的中国银行牌价是服务端 HTML 表格,用 XPath 更合适。一开始我想在股票页面找 XPath 表格,但页面是前端渲染的,HTML 里只有 - 占位,最后还是回到 JSON 接口。
这让我更清楚地认识到:不要为了用某个技术而用某个技术,先看数据到底在哪里。
2.4 编码、反爬和数据库配置是三个常见坑
- 编码:中国银行页面的 meta 编码声明会让 lxml 的
Selector报错,最后改用lxml.html.fromstring(response.body); - 反爬:图片站和股票接口都要加
User-Agent,股票接口的Referer也要带;图片下载控制线程数; - 数据库:MySQL 的 host、port、user、password 不能写死,我改成从环境变量读取,交作业时只改环境变量即可。
2.5 不足与改进
- 图片下载只取了搜索页结果图,没有进入每个商品详情页抓更多图;
- 股票只取了第一页 100 条以内的数据,没有做全量翻页;
- MySQL 连接没有做连接池,数据量大时可以引入
DBUtils; - 博客中的 MySQL 结果图是用查询结果整理的表格图,运行截图需要本机 MySQL 环境复现。
浙公网安备 33010602011771号