第一次数据采集作业
目录
一、软科 2020 中国大学排名
采集代码与结果

清华大学一行中高亮的“北京”对应第三个 td
在 Elements 面板里选中清华大学的“北京”,右侧高亮的是这一行的第三个 td。顺着同一行往后看,学校类型是“综合”,总分是 852.5,最后的 38.2 属于“办学层次”。代码据此按列取值。校名单元格里还放了英文名和“双一流/985/211”等标签,所以单独读取 .name-cn。页面标出的 567 所是主榜总数,程序打印的是首页 HTML 里能读到的学校。
import requests
from bs4 import BeautifulSoup
def get_rankings():
"""读取软科 2020 主榜网页中展示的学校。"""
url = "https://www.shanghairanking.cn/rankings/bcur/2020"
response = requests.get(url, timeout=20)
response.raise_for_status()
page = BeautifulSoup(response.content, "html.parser", from_encoding="utf-8")
rows = []
for row in page.select("tbody tr"):
name = row.select_one(".name-cn")
if name:
cells = row.find_all("td", recursive=False)
# 学校一栏还有英文名和标签,只取中文校名。
rank, province, category, score = (
cells[i].get_text(strip=True) for i in (0, 2, 3, 4)
)
rows.append((rank, name.get_text(strip=True), province, category, score))
if not rows:
raise ValueError("网页中没有找到排名记录")
return rows
if __name__ == "__main__":
print("排名", "学校名称", "省市", "学校类型", "总分", sep="\t")
for school in get_rankings():
print(*school, sep="\t")
本次运行输出了首页的 30 所学校。前三名依次是清华大学(852.5 分)、北京大学(746.7 分)和浙江大学(649.2 分),与上方网页截图逐行对应。

软科 2020 主榜首页的 30 条排名记录
作业心得
读排名时,最好从一所学校的一整行入手。以题目给出的清华大学为例,核对时可以沿着第一行看过去,确认北京、综合和 852.5 分别落在省市、学校类型和总分三列。这样也能发现误取英文校名或把后面的指标当成总分的问题。
二、当当商城书包比价
采集代码与结果

当当搜索结果中第一款书包的价格节点
在当当搜索“书包”,用元素选择器点第一款书包的 ¥89.99,右侧选中的是 span.price_n。沿着节点向上看,价格和商品标题都在同一个带 ddt-pit 属性的 li 里。代码先用正则划出每件商品的范围,再从里面取现价和标题链接的 title,这样一行里的名称和价格就能对应起来。搜索词按 GBK 编码,返回页面按 GB18030 解码。最后用 Decimal 按金额升序排列,方便比较首页商品。
from decimal import Decimal
from html import unescape
import re
import requests
def get_prices(keyword):
"""读取当当搜索结果首页,按售价从低到高返回商品。"""
response = requests.get("https://search.dangdang.com/",
params={"key": keyword.encode("gbk")}, timeout=20)
response.raise_for_status()
page = response.content.decode("gb18030")
products = []
for card in re.findall(r'<li\b[^>]*\bddt-pit="\d+"[^>]*>(.*?)</li>', page, re.S):
# 在同一张卡片内配对商品标题和现价,避免和旁边商品错位。
title = re.search(r'<a\b(?=[^>]*name="itemlist-title")[^>]*?\btitle="([^"]+)"', card)
price = re.search(r'class="(?:price_n|search_now_price)">\s*(?:¥|¥|¥)?\s*([\d.]+)', card)
if title and price:
products.append((Decimal(price[1]), unescape(title[1]).strip()))
if not products:
raise ValueError("没有读到带售价的商品,请检查当当搜索结果页")
return sorted(products, key=lambda item: item[0])
if __name__ == "__main__":
print("序号", "价格", "商品名", sep="\t")
for number, (price, name) in enumerate(get_prices("书包"), 1):
print(number, f"{price:.2f}", name, sep="\t")
网页截图中售价 89.99 元的双肩包,按价格升序排列后出现在第 27 行。排在最前面的三条都是 26.50 元的《仙逆》图书,商品名里有“随书包含”几个字,也命中了“书包”。因此,这里的最低价指当当返回的搜索结果,不能直接当作书包的最低售价。

当当搜索结果按售价升序输出
作业心得
搜索页会给商品名里的“书包”加上高亮标签。读取链接的 title 属性就能拿到连续的商品名。价格排序也有个容易忽略的问题:如果保留为字符串,100.00 会排在 65.00 前面,所以应该先按数字排序,最后再统一显示两位小数。
三、下载影像福大栏目页图片
采集代码与结果

影像福大第一张封面的文章链接与图片地址
选中《迈向世界的东南强校》的封面,右侧可以看到两个地址:外层链接的 href 指向文章,里面的 img.src 才指向以 .jpg 结尾的封面。这个图片路径从站点根目录开始,代码用 urljoin 补上域名。题目要求下载给定网页里的所有 JPG、JPEG 和 PNG,所以遍历整页的 img[src],符合格式的图标也会保存。相同地址只下载一次,写入文件前再检查图片的文件头。
from pathlib import Path
from urllib.parse import urldefrag, urljoin, urlsplit
import requests
from bs4 import BeautifulSoup
def get_image_urls(page):
"""从影像福大栏目页收集图片地址,按出现顺序去重。"""
soup = BeautifulSoup(page.content, "html.parser")
urls = []
for image in soup.select("img[src]"):
url = urldefrag(urljoin(page.url, image["src"])).url
if urlsplit(url).path.lower().endswith((".jpg", ".jpeg", ".png")) and url not in urls:
urls.append(url)
return urls
def main():
folder = Path(__file__).with_name("images")
folder.mkdir(exist_ok=True)
with requests.Session() as session:
page = session.get("https://news.fzu.edu.cn/yxfd.htm", timeout=20)
page.raise_for_status()
urls = get_image_urls(page)
if not urls:
raise ValueError("页面中没有找到指定格式的图片")
saved = 0
for number, url in enumerate(urls, 1):
try:
response = session.get(url, timeout=20)
response.raise_for_status()
data = response.content
if not data.startswith((b"\xff\xd8\xff", b"\x89PNG\r\n\x1a\n")):
raise ValueError("响应内容不是 JPEG 或 PNG 图片")
# 加上序号,避免不同目录下的同名图片互相覆盖。
path = folder / f"{number:03d}_{Path(urlsplit(url).path).name}"
path.write_bytes(data)
saved += 1
print(path.name)
except (requests.RequestException, ValueError) as error:
print(f"下载失败:{url}({error})")
print(f"本次保存 {saved}/{len(urls)} 张图片,目录:{folder}")
if __name__ == "__main__":
main()
终端显示本次成功保存了 19/19 张图片。打开文件夹,前几个文件是搜索图标、站点标志等页面素材,第 008 张就是上方开发者工具中选中的宣传片封面。

终端列出下载文件并显示成功保存 19 张

访达中查看下载后的站点图标与栏目封面
作业心得
这一题要区分网页地址和本地文件名。例如 images/logo.png 是相对于栏目页的地址,直接作为请求网址会缺少站点信息。另一个细节是,下载请求即使成功,也可能收到一段 HTML。检查 JPEG 和 PNG 的文件头,可以避免把提示页面保存成打不开的图片。
浙公网安备 33010602011771号