第三次作业:图片爬虫与 Scrapy 数据采集
第三次作业:图片爬虫与 Scrapy 数据采集
环境是 Windows 11 + Anaconda 的 Python 3.9,用到了 requests、BeautifulSoup、Scrapy、XPath 和 MySQL。
代码仓库:
- 仓库:https://gitee.com/king2328/shujucaiji
- 第三次作业:https://gitee.com/king2328/shujucaiji/tree/master/第三次作业
学号限制:后两位 08,后三位 108。因此 3.1 最多抓 8 页、108 张图片。
一、作业①:中国气象网图片爬虫
1. 代码与图片
题目要求指定一个网站,爬取网站里的图片,并分别用单线程和多线程实现。我选的是中国气象网:
http://www.weather.com.cn/
限制写在 common.py 里:
MAX\_PAGES = 8 # 学号后两位 08
MAX\_IMAGES = 108 # 学号后三位 108
MAX\_WORKERS = 8
页面抓取从首页开始做 BFS,只访问 www.weather.com.cn 域名下的 HTML 页面,最多 8 页。图片地址从 img 的 src、data-src、data-original、srcset,以及 style 里的 background-image 中提取:
def extract\_image\_urls(html, base\_url):
"""从 img、srcset、style、meta 等位置提取图片 URL"""
soup = BeautifulSoup(html, "lxml")
candidates = \[]
for img in soup.find\_all("img"):
for attr in ("src", "data-src", "data-original", "data-lazy-src"):
if img.get(attr):
candidates.append(img\[attr])
if img.get("srcset"):
candidates.extend(\_clean\_srcset(img\["srcset"]))
for tag in soup.find\_all(style=True):
for match in re.findall(r"url\\((\['\\"]?)(.\*?)\\1\\)", tag\["style"]):
candidates.append(match\[1])
images = \[]
seen = set()
for raw in candidates:
url = normalize\_url(base\_url, raw)
if url and url not in seen:
seen.add(url)
images.append(url)
return images
单线程就是按顺序访问页面、按顺序下载:
pages, image\_urls = collect\_pages(max\_pages=8)
downloaded = 0
for image\_url in image\_urls:
if downloaded >= MAX\_IMAGES:
break
print(f"\[下载 {downloaded + 1}/{MAX\_IMAGES}] {image\_url}")
if download\_image(image\_url, folder, downloaded + 1):
downloaded += 1
多线程用 ThreadPoolExecutor 下载图片。为了不超过 108 张,我没有直接提交 108 个任务,而是用了“预留名额”的方式:失败的任务把名额还回去,后面的任务再补上。
lock = threading.Lock()
reserved = 0
def download\_with\_limit(url, index):
nonlocal reserved
with lock:
if reserved >= MAX\_IMAGES:
return None
reserved += 1
saved = download\_image(url, folder, index)
if not saved:
with lock:
reserved -= 1
return saved
with ThreadPoolExecutor(max\_workers=8) as executor:
futures = \[
executor.submit(download\_with\_limit, url, index)
for index, url in enumerate(image\_urls, start=1)
]
运行结果:
单线程:访问 8 页,下载 108 张,耗时约 14.32 秒
多线程:访问 8 页,下载 108 张,耗时约 4.26 秒
两个目录各 108 张,大小约 5.65 MB:

图1 单线程运行结果

图2 多线程运行结果
图片文件截图:

完整代码:3.1 图片爬虫
2. 作业心得
这次图片爬虫最麻烦的不是下载,而是限制。题目要求总页数按学号后两位、总图片数按后三位,所以代码里不能写成“抓到没有为止”。我把 MAX\_PAGES=8 和 MAX\_IMAGES=108 单独放在 common.py,页面 BFS 和图片下载都围绕这两个数字停。
多线程版本一开始只提交了前 108 个链接,结果有 3 个链接是 404 或非图片,最后只下载了 105 张。后来改成“预留名额”:先占一个名额,失败再还回去,这样既不会超过 108,也能在失败时继续补。这个细节比单纯开线程池更麻烦,但也更符合题目里的数量限制。
另外,图片地址不完全都在 src 里,有些在 data-src、srcset 和 CSS 的 background-image 里,所以提取函数要多种来源一起看。下载时还要用 Content-Type 判断是不是图片,不能只看后缀,否则会把 HTML 错误页也存下来。
二、作业②:股票数据采集
1. 代码与图片
股票部分用 Scrapy 建了一个项目:
3.2/stock\_scraper/
├─ scrapy.cfg
├─ config.py
├─ schema.sql
└─ stock\_scraper/
├─ items.py
├─ middlewares.py
├─ pipelines.py
├─ settings.py
└─ spiders/eastmoney.py
Item 字段按作业表格设计:
class StockItem(scrapy.Item):
bStockNo = scrapy.Field() # 股票代码
bStockName = scrapy.Field() # 股票名称
bLatestPrice = scrapy.Field() # 最新报价
bChangePercent = scrapy.Field() # 涨跌幅
bChangeAmount = scrapy.Field() # 涨跌额
bVolume = scrapy.Field() # 成交量
bAmount = scrapy.Field() # 成交额
bAmplitude = scrapy.Field() # 振幅
bHigh = scrapy.Field() # 最高
bLow = scrapy.Field() # 最低
bOpen = scrapy.Field() # 今开
bPreClose = scrapy.Field() # 昨收
东方财富接口返回 JSON,不是 HTML。所以爬虫先用 XPath 把文本节点取出来,再交给 json.loads:
raw = "".join(response.xpath("//text()").getall()).strip()
payload = json.loads(raw)
data = payload.get("data") or {}
rows = data.get("diff") or \[]
字段映射:
f12 代码,f14 名称,f2 最新价,f3 涨跌幅,f4 涨跌额,
f5 成交量,f6 成交额,f7 振幅,f15 最高,f16 最低,
f17 今开,f18 昨收。
Pipeline 分三步:校验字段、输出 JSON、写入 MySQL。MySQL 表结构:
CREATE TABLE IF NOT EXISTS stocks (
id INT AUTO\_INCREMENT PRIMARY KEY,
bStockNo VARCHAR(10) NOT NULL,
bStockName VARCHAR(64),
bLatestPrice DECIMAL(12, 3),
bChangePercent DECIMAL(10, 3),
bChangeAmount DECIMAL(12, 3),
bVolume VARCHAR(32),
bAmount VARCHAR(32),
bAmplitude DECIMAL(10, 3),
bHigh DECIMAL(12, 3),
bLow DECIMAL(12, 3),
bOpen DECIMAL(12, 3),
bPreClose DECIMAL(12, 3),
created\_at TIMESTAMP DEFAULT CURRENT\_TIMESTAMP,
UNIQUE KEY uk\_stock\_no (bStockNo)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
本次抓取第 1 页,共 100 条。本机运行截图:

图3 本机运行 Scrapy 股票爬虫,最后 item\_scraped\_count 为 100
MySQL语句检查入库结果:
SELECT COUNT(\*) FROM stocks;
SELECT \* FROM stocks ORDER BY id LIMIT 10;

图4 stocks 表的 SELECT 结果
东方财富接口在部分网络下会主动断开连接,所以代码里加了 requests 兜底中间件;如果仍然失败,spider 会切换新浪股票列表接口,字段映射保持一致。output/stocks.json 里是这次实际抓到的 100 条。
完整代码:3.2 股票爬虫
2. 作业心得
这次作业让我第一次完整地用 Scrapy 写项目。以前用 requests + BeautifulSoup 时,所有逻辑都写在一个文件里;这次拆成了 Item、Spider、Pipeline 和 settings,结构清楚很多,但也更容易在路径和配置上出错。
股票接口的坑在于它返回的是 JSON,而作业要求里写了 XPath。我一开始觉得 XPath 用不上,后来发现 Scrapy 的 TextResponse 对纯文本也能用 //text() 取出内容,再用 json.loads 解析,这样既保留了 XPath 的使用,也能处理 JSON。
MySQL 部分把建表、连接和插入分开:schema.sql 负责建库建表,pipelines.py 负责连接和写入。这样换数据库或改表结构时不用动 Spider。代码里也做了异常处理,数据库连不上时只记录日志,JSON 仍然会输出,方便先检查抓取结果。
东方财富接口在宿舍网络里会主动断开连接,一开始我以为是代码写错了,后来加了一个 requests 兜底中间件,还是不行,最后改成“东方财富为主、新浪备用”的方式。虽然多写了一点,但至少能稳定拿到 100 条数据。
三、作业③:中国银行外汇牌价
1. 代码与图片
这个任务抓的是中国银行外汇牌价:
https://www.boc.cn/sourcedb/whpj/
页面是表格,直接用 XPath:
rows = selector.xpath("//table//tr")
for row in rows:
cells = \[
" ".join(text.split())
for text in row.xpath("./td//text()").getall()
]
if len(cells) < 8:
continue
item = ForexItem()
item\["currency"] = cells\[0]
item\["tbp"] = cells\[1]
item\["cbp"] = cells\[2]
item\["tsp"] = cells\[3]
item\["csp"] = cells\[4]
item\["quoteDate"] = cells\[6].split()\[0].replace("/", "-")
item\["quoteTime"] = cells\[7]
yield item
Item 字段:
class ForexItem(scrapy.Item):
currency = scrapy.Field() # 货币名称
tbp = scrapy.Field() # 现汇买入价
cbp = scrapy.Field() # 现钞买入价
tsp = scrapy.Field() # 现汇卖出价
csp = scrapy.Field() # 现钞卖出价
quoteDate = scrapy.Field() # 发布日期
quoteTime = scrapy.Field() # 发布时间
MySQL 表结构:
CREATE TABLE IF NOT EXISTS forex (
id INT AUTO\_INCREMENT PRIMARY KEY,
currency VARCHAR(32) NOT NULL,
tbp DECIMAL(12, 4),
cbp DECIMAL(12, 4),
tsp DECIMAL(12, 4),
csp DECIMAL(12, 4),
quote\_date DATE,
quote\_time TIME,
created\_at TIMESTAMP DEFAULT CURRENT\_TIMESTAMP,
UNIQUE KEY uk\_currency\_datetime (currency, quote\_date, quote\_time)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
本次抓到 28 种货币。本机运行截图:

图5 本机运行 Scrapy 外汇爬虫,最后 item\_scraped\_count 为 28
MySQL语句检查入库结果:
SELECT COUNT(\*) FROM forex;
SELECT \* FROM forex ORDER BY id LIMIT 10;

图6 forex 表的 SELECT 结果
完整代码:3.3 外汇爬虫
2. 作业心得
外汇页面看起来比股票简单,但编码是一个坑。中国银行页面响应头没有声明正确的编码,直接解析会乱码,所以先把 response.body 按 UTF-8 解码,再交给 Selector 做 XPath。
表格列也要对应清楚:货币名称、现汇买入价、现钞买入价、现汇卖出价、现钞卖出价、中行折算价、发布日期、发布时间。作业只要前四个价格和 Time,所以我取了 cells\[1] 到 cells\[4],时间取 cells\[7],日期取 cells\[6] 的日期部分。写入 MySQL 时,quote\_date 用 DATE,quote\_time 用 TIME,不能都塞成一个字符串。
外汇表用 (currency, quote\_date, quote\_time) 做唯一键,这样同一天同一时间重复运行不会插入重复记录。股票和外汇两个 Spider 的页面结构完全不同,但 Item 和 Pipeline 的思路可以复用,这也是 Scrapy 项目比单文件脚本清楚的地方。
浙公网安备 33010602011771号