数据采集第一次作业

Python网络爬虫实验作业博客

一、作业①:定向爬取大学排名信息

1.1 作业代码与运行结果

代码实现:

# -*- coding: utf-8 -*-
"""
作业①:使用requests和BeautifulSoup定向爬取上海软科大学排名数据
目标网址:http://www.shanghairanking.cn/rankings/bcur/2020
"""

import requests
from bs4 import BeautifulSoup

def get_html(url):
    """
    获取网页HTML内容
    :param url: 目标网址
    :return: 网页文本内容
    """
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                      'AppleWebKit/537.36 (KHTML, like Gecko) '
                      'Chrome/120.0.0.0 Safari/537.36'
    }
    try:
        response = requests.get(url, headers=headers, timeout=10)
        response.raise_for_status()
        response.encoding = response.apparent_encoding
        return response.text
    except requests.RequestException as e:
        print(f"网页获取失败:{e}")
        return None

def parse_html(html):
    """
    解析HTML,提取大学排名信息
    :param html: 网页文本
    :return: 排名信息列表
    """
    soup = BeautifulSoup(html, 'html.parser')
    # 定位排名表格主体
    table = soup.find('table', class_='rk-table')
    if not table:
        print("未找到排名表格")
        return []

    results = []
    # 遍历表格的每一行(跳过表头)
    rows = table.find('tbody').find_all('tr')
    for row in rows:
        cols = row.find_all('td')
        if len(cols) < 5:
            continue

        # 排名
        rank = cols[0].get_text(strip=True)
        # 学校名称
        school = cols[1].get_text(strip=True)
        # 省市
        province = cols[2].get_text(strip=True)
        # 学校类型
        school_type = cols[3].get_text(strip=True)
        # 总分
        score = cols[4].get_text(strip=True)

        results.append({
            'rank': rank,
            'school': school,
            'province': province,
            'type': school_type,
            'score': score
        })
    return results

def print_result(results):
    """
    格式化打印爬取结果
    :param results: 排名信息列表
    """
    print(f"{'排名':<6}{'学校名称':<20}{'省市':<10}{'学校类型':<10}{'总分':<10}")
    print("-" * 60)
    for item in results:
        print(f"{item['rank']:<6}{item['school']:<20}"
              f"{item['province']:<10}{item['type']:<10}{item['score']:<10}")

def main():
    """主函数:调度爬虫流程"""
    url = 'http://www.shanghairanking.cn/rankings/bcur/2020'
    html = get_html(url)
    if html:
        results = parse_html(html)
        print_result(results)

if __name__ == '__main__':
    main()

运行结果截图:

数据采集实践作业1task1

1.2 作业心得

爬取软科排名时,一开始直接使用 requests.get() 拿页面,结果解析不出任何表格数据,原因是没带 User-Agent,被服务器当成脚本拦截了,加上请求头后才正常返回。拿到 HTML 后又卡在定位表格上,find('table') 取到的内容是空的。对照开发者工具才发现表头和数据行结构是分离的,单元格里还嵌套了 a 标签和 span 标签。试了几次选择器失败后,改成先定位 class='rk-table' 的表格,再从 tbody 逐行取 td 按索引取值,五列数据才正确提取出来。

最大的体会是:动手前先用开发者工具把页面结构看清楚,凭感觉写选择器只会反复失败;另外加上 timeout 和 try-except 后,请求出错程序不会直接崩掉,健壮性明显提升。


二、作业②:商城商品比价定向爬虫

2.1 作业代码与运行结果

代码实现(以当当网搜索页为例):

# -*- coding: utf-8 -*-
"""
work1_task2:用 requests 和 re 爬取当当网"书包"搜索结果
爬取内容:商品名称、商品价格
输出格式:序号  价格  商品名
"""

import re
import requests


def fetch_page(keyword, page_index=1):
    # 当当网搜索 URL
    url = "http://search.dangdang.com/"

    # 请求参数
    params = {
        "key": keyword,
        "act": "input",
        "page": page_index
    }

    # 请求头:模拟浏览器,避免被识别为爬虫
    headers = {
        "User-Agent": (
            "Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
            "AppleWebKit/537.36 (KHTML, like Gecko) "
            "Chrome/120.0.0.0 Safari/537.36"
        ),
        "Referer": "https://www.dangdang.com/",
        "Accept-Language": "zh-CN,zh;q=0.9",
    }

    # 发送 GET 请求
    resp = requests.get(url, params=params, headers=headers, timeout=15)

    # 当当网页面编码为 gbk,需手动指定
    resp.encoding = "gbk"

    return resp.text


def parse_products(html):
    # 匹配每个商品区块:li 标签且带有 ddt-pit 属性
    item_blocks = re.findall(
        r'<li[^>]*\bddt-pit="\d+"[^>]*>(.*?)</li>',
        html,
        re.S
    )

    products = []

    for block in item_blocks:
        # 商品名称
        name_match = re.search(
            r'name="title"[^>]*>\s*<a[^>]*title="([^"]+)"',
            block,
            re.S
        )

        # 商品价格
        price_match = re.search(
            r'<span class="price_n">[^0-9]*([0-9]+(?:\.[0-9]+)?)</span>',
            block,
            re.S
        )

        if name_match and price_match:
            name = name_match.group(1).strip()
            price = price_match.group(1).strip()
            products.append((price, name))

    return products


def print_table(products, top_n=20):
    # 按"序号 价格 商品名"格式打印结果
    print(f"{'序号':<6}{'价格':<10}{'商品名'}")
    print("-" * 70)

    for i, (price, name) in enumerate(products[:top_n], 1):
        # 商品名太长时截断,保持表格整齐
        short_name = name if len(name) <= 40 else name[:40] + "..."
        print(f"{i:<6}{price:<10}{short_name}")

    print("-" * 70)
    print(f"共抓取到 {len(products)} 件相关商品"
          f"(仅显示前 {min(top_n, len(products))} 件)。")


def main():
    keyword = "书包"

    # 1. 请求页面
    html = fetch_page(keyword)

    # 调试信息:HTML 长度
    print(f"页面 HTML 长度:{len(html)}\n")

    # 2. 正则解析商品
    products = parse_products(html)

    if not products:
        print("未匹配到任何商品,可能是页面结构变化或被反爬拦截。")
        print("HTML 前 300 字符:", html[:300])
        return

    # 3. 打印结果
    print_table(products)


if __name__ == "__main__":
    main()

运行结果截图:

数据采集实践作业1task2

2.2 作业心得

起初选用的商城页面为动态渲染,直接请求获取的源码中不含商品数据,无法正则匹配,于是改用商品信息直接写在源码中的当当网。

换站后遇到两个问题:一是页面编码为 GBK,如果不设置响应编码,中文商品名会出现乱码,手动指定编码后解决;二是商品列表项标签嵌套较深,用常规闭合标签截断易出错,改以商品的特定属性定位区块,才准确提取名称与价格。

体会是:爬取前应先确认目标页面是静态还是动态渲染;正则适合提取静态页面中的结构化字段,但页面改版后规则易失效,实际项目中使用 BeautifulSoup 或 lxml 配合 CSS 选择器更稳定。


三、作业③:网页图片批量爬取与保存

3.1 作业代码与运行结果

代码实现:

# -*- coding: utf-8 -*-
"""
work1_task3:爬取指定网页中所有 JPEG/JPG/PNG 格式图片并保存到本地文件夹
爬取网址:https://news.fzu.edu.cn/yxfd.htm
"""

import os
import requests
from bs4 import BeautifulSoup
from urllib.parse import urljoin


def download_images(url, save_dir='images'):
    """
    爬取指定网页内的所有 JPEG/JPG/PNG 图片并保存到本地

    参数:
        url:      目标网页地址
        save_dir: 图片保存目录
    """
    # 如果保存目录不存在则创建
    if not os.path.exists(save_dir):
        os.makedirs(save_dir)

    headers = {
        'User-Agent': ('Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
                       'AppleWebKit/537.36 (KHTML, like Gecko) '
                       'Chrome/120.0.0.0 Safari/537.36')
    }

    # 请求网页
    response = requests.get(url, headers=headers, timeout=10)
    response.encoding = 'utf-8'
    soup = BeautifulSoup(response.text, 'html.parser')

    # 找出所有 img 标签
    img_tags = soup.find_all('img')
    count = 0  # 成功下载计数

    for img in img_tags:
        # 获取图片地址
        img_url = img.get('src') or img.get('data-src')
        if not img_url:
            continue

        # 拼接为绝对 URL
        img_url = urljoin(url, img_url)

        # 判断是否为 JPEG/JPG/PNG 格式
        if not img_url.lower().split('?')[0].endswith(('.jpg', '.jpeg', '.png')):
            continue

        try:
            img_data = requests.get(img_url, headers=headers, timeout=10).content
            # 生成文件名,避免重名
            filename = os.path.join(save_dir, f'img_{count:03d}'
                                              + os.path.splitext(img_url)[1].split('?')[0])
            with open(filename, 'wb') as f:
                f.write(img_data)
            print(f'已保存:{filename}')
            count += 1
        except Exception as e:
            print(f'下载失败 {img_url}:{e}')

    print(f'\n共成功下载 {count} 张图片,保存在 {save_dir}/ 目录下。')


if __name__ == '__main__':
    target_url = 'https://news.fzu.edu.cn/yxfd.htm'
    download_images(target_url, save_dir='fzu_images')

运行结果截图:

数据采集实践作业1task3

数据采集实践作业1task32

3.2 作业心得

本作业综合运用了 requests 下载 + BeautifulSoup 解析 + os 文件操作。与作业①、②不同,这里我用 BeautifulSoup 遍历所有 <img> 标签,比正则更稳健地提取 src 和 data-src 属性(兼容懒加载图片)。

关键点有三:一是用 urljoin 处理相对路径(如 /__local/xxx.jpg)补全为绝对 URL,避免下载失败;二是用 img_url.lower().split('?')[0].endswith(('.jpg', '.jpeg', '.png')) 判断格式,先去掉查询参数再判断后缀,防止 xxx.jpg?v=1 这类链接被漏掉;三是用 resp.content 以二进制模式写入文件,保证图片不被破坏。

实践中发现新闻网图片多为相对路径,且部分图片带有 data-src 属性(懒加载),因此代码中做了 img.get('src') or img.get('data-src') 的兼容处理。文件名采用 img_{count:03d} 三位补零命名,既避免重名覆盖,又便于排序查看。通过本作业我掌握了“提取链接→补全 URL→格式过滤→批量下载→落盘保存”的完整图片爬取闭环,也体会到 os.makedirs 目录判断与异常处理对脚本稳定性的重要性。


posted @ 2026-11-16 23:13  Moliar-  阅读(3)  评论(0)    收藏  举报