第一次数据采集作业

目录

一、软科 2020 中国大学排名

采集代码与结果

清华大学一行中高亮的“北京”对应第三个 td

清华大学一行中高亮的“北京”对应第三个 td

在 Elements 面板里选中清华大学的“北京”,右侧高亮的是这一行的第三个 td。顺着同一行往后看,学校类型是“综合”,总分是 852.5,最后的 38.2 属于“办学层次”。代码据此按列取值。校名单元格里还放了英文名和“双一流/985/211”等标签,所以单独读取 .name-cn。页面标出的 567 所是主榜总数,程序打印的是首页 HTML 里能读到的学校。

import requests
from bs4 import BeautifulSoup


def get_rankings():
    """读取软科 2020 主榜网页中展示的学校。"""
    url = "https://www.shanghairanking.cn/rankings/bcur/2020"
    response = requests.get(url, timeout=20)
    response.raise_for_status()
    page = BeautifulSoup(response.content, "html.parser", from_encoding="utf-8")
    rows = []
    for row in page.select("tbody tr"):
        name = row.select_one(".name-cn")
        if name:
            cells = row.find_all("td", recursive=False)
            # 学校一栏还有英文名和标签,只取中文校名。
            rank, province, category, score = (
                cells[i].get_text(strip=True) for i in (0, 2, 3, 4)
            )
            rows.append((rank, name.get_text(strip=True), province, category, score))
    if not rows:
        raise ValueError("网页中没有找到排名记录")
    return rows


if __name__ == "__main__":
    print("排名", "学校名称", "省市", "学校类型", "总分", sep="\t")
    for school in get_rankings():
        print(*school, sep="\t")

本次运行输出了首页的 30 所学校。前三名依次是清华大学(852.5 分)、北京大学(746.7 分)和浙江大学(649.2 分),与上方网页截图逐行对应。

软科 2020 主榜首页的 30 条排名记录

软科 2020 主榜首页的 30 条排名记录

作业心得

读排名时,最好从一所学校的一整行入手。以题目给出的清华大学为例,核对时可以沿着第一行看过去,确认北京、综合和 852.5 分别落在省市、学校类型和总分三列。这样也能发现误取英文校名或把后面的指标当成总分的问题。

 

二、当当商城书包比价

采集代码与结果

当当搜索结果中第一款书包的价格节点

当当搜索结果中第一款书包的价格节点

在当当搜索“书包”,用元素选择器点第一款书包的 ¥89.99,右侧选中的是 span.price_n。沿着节点向上看,价格和商品标题都在同一个带 ddt-pit 属性的 li 里。代码先用正则划出每件商品的范围,再从里面取现价和标题链接的 title,这样一行里的名称和价格就能对应起来。搜索词按 GBK 编码,返回页面按 GB18030 解码。最后用 Decimal 按金额升序排列,方便比较首页商品。

from decimal import Decimal
from html import unescape
import re

import requests


def get_prices(keyword):
    """读取当当搜索结果首页,按售价从低到高返回商品。"""
    response = requests.get("https://search.dangdang.com/",
                            params={"key": keyword.encode("gbk")}, timeout=20)
    response.raise_for_status()
    page = response.content.decode("gb18030")
    products = []
    for card in re.findall(r'<li\b[^>]*\bddt-pit="\d+"[^>]*>(.*?)</li>', page, re.S):
        # 在同一张卡片内配对商品标题和现价,避免和旁边商品错位。
        title = re.search(r'<a\b(?=[^>]*name="itemlist-title")[^>]*?\btitle="([^"]+)"', card)
        price = re.search(r'class="(?:price_n|search_now_price)">\s*(?:&yen;|¥|¥)?\s*([\d.]+)', card)
        if title and price:
            products.append((Decimal(price[1]), unescape(title[1]).strip()))
    if not products:
        raise ValueError("没有读到带售价的商品,请检查当当搜索结果页")
    return sorted(products, key=lambda item: item[0])


if __name__ == "__main__":
    print("序号", "价格", "商品名", sep="\t")
    for number, (price, name) in enumerate(get_prices("书包"), 1):
        print(number, f"{price:.2f}", name, sep="\t")

网页截图中售价 89.99 元的双肩包,按价格升序排列后出现在第 27 行。排在最前面的三条都是 26.50 元的《仙逆》图书,商品名里有“随书包含”几个字,也命中了“书包”。因此,这里的最低价指当当返回的搜索结果,不能直接当作书包的最低售价。

当当搜索结果按售价升序输出

当当搜索结果按售价升序输出

作业心得

搜索页会给商品名里的“书包”加上高亮标签。读取链接的 title 属性就能拿到连续的商品名。价格排序也有个容易忽略的问题:如果保留为字符串,100.00 会排在 65.00 前面,所以应该先按数字排序,最后再统一显示两位小数。

 

三、下载影像福大栏目页图片

采集代码与结果

影像福大第一张封面的文章链接与图片地址

影像福大第一张封面的文章链接与图片地址

选中《迈向世界的东南强校》的封面,右侧可以看到两个地址:外层链接的 href 指向文章,里面的 img.src 才指向以 .jpg 结尾的封面。这个图片路径从站点根目录开始,代码用 urljoin 补上域名。题目要求下载给定网页里的所有 JPG、JPEG 和 PNG,所以遍历整页的 img[src],符合格式的图标也会保存。相同地址只下载一次,写入文件前再检查图片的文件头。

from pathlib import Path
from urllib.parse import urldefrag, urljoin, urlsplit

import requests
from bs4 import BeautifulSoup


def get_image_urls(page):
    """从影像福大栏目页收集图片地址,按出现顺序去重。"""
    soup = BeautifulSoup(page.content, "html.parser")
    urls = []
    for image in soup.select("img[src]"):
        url = urldefrag(urljoin(page.url, image["src"])).url
        if urlsplit(url).path.lower().endswith((".jpg", ".jpeg", ".png")) and url not in urls:
            urls.append(url)
    return urls


def main():
    folder = Path(__file__).with_name("images")
    folder.mkdir(exist_ok=True)
    with requests.Session() as session:
        page = session.get("https://news.fzu.edu.cn/yxfd.htm", timeout=20)
        page.raise_for_status()
        urls = get_image_urls(page)
        if not urls:
            raise ValueError("页面中没有找到指定格式的图片")
        saved = 0
        for number, url in enumerate(urls, 1):
            try:
                response = session.get(url, timeout=20)
                response.raise_for_status()
                data = response.content
                if not data.startswith((b"\xff\xd8\xff", b"\x89PNG\r\n\x1a\n")):
                    raise ValueError("响应内容不是 JPEG 或 PNG 图片")
                # 加上序号,避免不同目录下的同名图片互相覆盖。
                path = folder / f"{number:03d}_{Path(urlsplit(url).path).name}"
                path.write_bytes(data)
                saved += 1
                print(path.name)
            except (requests.RequestException, ValueError) as error:
                print(f"下载失败:{url}({error})")
        print(f"本次保存 {saved}/{len(urls)} 张图片,目录:{folder}")


if __name__ == "__main__":
    main()

终端显示本次成功保存了 19/19 张图片。打开文件夹,前几个文件是搜索图标、站点标志等页面素材,第 008 张就是上方开发者工具中选中的宣传片封面。

终端列出下载文件并显示成功保存 19 张

终端列出下载文件并显示成功保存 19 张

访达中查看下载后的站点图标与栏目封面

访达中查看下载后的站点图标与栏目封面

作业心得

这一题要区分网页地址和本地文件名。例如 images/logo.png 是相对于栏目页的地址,直接作为请求网址会缺少站点信息。另一个细节是,下载请求即使成功,也可能收到一段 HTML。检查 JPEG 和 PNG 的文件头,可以避免把提示页面保存成打不开的图片。

posted @ 2026-11-16 20:12  102402143越长智  阅读(8)  评论(0)    收藏  举报