3-5图像分类数据集

图像分类数据集

%matplotlib inline
import torch
import torchvision
from torch.utils import data
from torchvision import transforms
from d2l import torch as d2l

d2l.use_svg_display()

1.读取数据集

我们可以通过框架中的内置函数将Fashion‐MNIST数据集下载并读取到内存中

# 通过ToTensor实例将图像数据从PIL类型变换成32位浮点数格式
# 并除以255使得所有像素的数值均在0-1之间
trans = transforms.ToTensor()
mnist_train = torchvision.datasets.FashionMNIST(root="./data",train=True,transform=trans,download=True)
mnist_test = torchvision.datasets.FashionMNIST(root="./data",train=False,transform=trans,download=True)

len(mnist_train),len(mnist_test)  #查看训练集和数据集个数

(60000, 10000)

mnist_train[0][0].shape  # 查看图片的形状

torch.Size([1, 28, 28])

Fashion‐MNIST中包含的10个类别，分别为t‐shirt（T恤）、 trouser（裤子）、 pullover（套衫）、 dress（连衣
裙）、 coat（外套）、 sandal（凉鞋）、 shirt（衬衫）、 sneaker（运动鞋）、 bag（包）和ankle boot（短靴）。以
下函数用于在数字标签索引及其文本名称之间进行转换。

def get_fashion_mnist_labels(labels):
    '''返回Fashion-MNIST数据集的文本标签'''
    text_labels = ['t-shirt', 'trouser', 'pullover', 'dress','coat',
                    'sandal', 'shirt', 'sneaker', 'bag', 'ankle boot']
    return [text_labels[int(i)] for i in labels]

创建函数可视化样本

函数参数

1. imgs:
   • 一个包含图像的列表。图像可以是 PyTorch 张量（torch.Tensor）或 PIL 图像对象。
2. num_rows:
   • 要显示的图像行数。
3. num_cols:
   • 要显示的图像列数。
4. titles (可选):
   • 一个包含图像标题的列表。如果提供，每个图像上方将显示对应的标题。
5. scale (可选):
   • 图像的缩放因子，默认值为 1.5。用于调整图像的显示大小。

函数逻辑

1. 计算图像大小:
   • 根据 num_cols 和 num_rows，以及缩放因子 scale，计算整个图像布局的大小。
2. 创建子图:
   • 使用 matplotlib 的 subplots 创建一个网格布局的子图，子图的数量由 num_rows 和 num_cols 决定。
3. 绘制图像:
   • 遍历图像列表 imgs，将每张图像绘制到对应的子图中。
   • 如果图像是 PyTorch 张量，将其转换为 NumPy 数组后绘制。
   • 如果图像是 PIL 图像对象，直接绘制。
4. 隐藏坐标轴:
   • 隐藏每个子图的坐标轴，使图像更清晰。
5. 添加标题:
   • 如果提供了 titles 列表，将每个标题添加到对应的子图上方。
6. 返回子图对象:
   • 返回所有子图对象的列表，方便后续操作（例如调整布局或保存图像）。

def show_images(imgs, num_rows, num_cols, titles = None, scale=1.5):
    '''绘制图像列表'''
    figsize = (num_cols * scale, num_rows * scale)  # 计算整个图像布局的大小
    _, axes = d2l.plt.subplots(num_rows, num_cols, figsize = figsize)   # 创建一个 num_rows x num_cols 的子图网格
    axes = axes.flatten() # 将子图网格展平为一维数组，方便后续操作
    
    for i,(ax,img) in enumerate(zip(axes,imgs)):   # 遍历图像列表和子图网格
        if torch.is_tensor(img):
            # 图片张量
            ax.imshow(img.numpy())  # 注意：PyTorch 张量的维度顺序通常是 (C, H, W)，需要调整为 (H, W, C) 才能绘制
        else:
            # PIL图片
            ax.imshow(img)
        # 隐藏子图的 x 轴和 y 轴
        ax.axes.get_xaxis().set_visible(False)
        ax.axes.get_yaxis().set_visible(False)
        if titles:
            ax.set_title(titles[i])
    return axes   # 返回所有子图对象的列表，方便后续操作（例如调整布局或保存图像）

# 输出前几个样本图像及其对应标签
x, y = next(iter(data.DataLoader(mnist_train, batch_size=18)))
show_images(x.reshape(18,28,28), 2, 9, titles=get_fashion_mnist_labels(y));

2.读取小批量

batch_size = 256 #数据集大小

def get_dataloader_workers():
    '''使用4个进程来读取数据'''
    return 4

train_iter = data.DataLoader(mnist_train, batch_size, shuffle=True, num_workers=get_dataloader_workers())

# 查看训练数据所需时间
timer = d2l.Timer()
for x,y in train_iter:
    continue
print(f'{timer.stop():.2f} sec')

6.67 sec

3.整合所有组件

现在我们定义load_data_fashion_mnist函数，用于获取和读取Fashion‐MNIST数据集。这个函数返回训练集和验证集的数据迭代器。此外，这个函数还接受一个可选参数resize，用来将图像大小调整为另一种形状。

def load_data_fashion_mnist(batch_size, resize=None):
    """
    下载 Fashion-MNIST 数据集，然后将其加载到内存中
    参数:
    - batch_size: 每个批次的大小
    - resize: 是否对图像进行缩放，指定为一个整数或 None
    返回:
    - train_iter: 训练数据的 DataLoader
    - test_iter: 测试数据的 DataLoader
    """
    trans = [transforms.ToTensor()]  # 将图像转换为 PyTorch 张量
    if resize:
        trans.insert(0, transforms.Resize(resize))
    trans = transforms.Compose(trans)  # 将所有预处理操作组合成一个管道
    mnist_train = torchvision.datasets.FashionMNIST(root = './data',train=True, transform = trans, download=True)
    mnist_test = torchvision.datasets.FashionMNIST(root = './data',train=False, transform = trans, download=True)


    # 返回训练和测试数据的 DataLoader
    return (data.DataLoader(mnist_train,batch_size, shuffle=True,
                            num_workers=get_dataloader_workers()),  
            data.DataLoader(mnist_train,batch_size, shuffle=False,
                            num_workers=get_dataloader_workers()))  # shuffle：是否打乱数据   
                                                                    # num_workers=d2l.get_dataloader_workers()  使用的线程数

# 我们通过指定resize参数来测试load_data_fashion_mnist函数的图像大小调整功能

train_iter, test_iter = load_data_fashion_mnist(32,resize=64)
for x,y in train_iter:
    print(x.shape, x.dtype, y.shape, y.dtype)
    break

torch.Size([32, 1, 64, 64]) torch.float32 torch.Size([32]) torch.int64