python学习打卡day40 - 实践

DAY 40训练和测试的规范写法

知识点回顾：

1. 彩色和灰度图片测试和训练的规范写法：封装在函数中
2. 展平操控：除第一个维度batchsize外全部展平
3. dropout操作：训练阶段随机丢弃神经元，测试阶段eval模式关闭dropout

作业：仔细学习下测试和训练代码的逻辑，这是基础，这个代码框架后续会一直沿用，后续的重点慢慢就是转向模型定义阶段了。

1.彩色和灰度图片测试和训练的规范写法：封装在函数中

# 先继续之前的代码
import torch
importtorch.nnas nn
importtorch.optimas optim
fromtorch.utils.dataimportDataLoader , Dataset# DataLoader 是 PyTorch 中用于加载数据的器具
fromtorchvisionimportdatasets, transforms# torchvision 是一个用于计算机视觉的库，datasets 和 transforms 是其中的模块
importmatplotlib.pyplotas plt
importwarnings
# 忽略警告信息
warnings.filterwarnings("ignore")
# 设置随机种子，确保结果可复现
torch.manual_seed(42)
device = torch.device("cuda" iftorch.cuda.is_available()else "cpu")
print(f"应用设备:{device}")

灰度图像的规范写法：

# 1. 数据预处理
transform = transforms.Compose([
transforms.ToTensor(),# 转换为张量并归一化到[0,1]
transforms.Normalize((0.1307,), (0.3081,)) # MNIST材料集的均值和标准差
])
 
# 2. 加载MNIST数据集
train_dataset = datasets.MNIST(
 root='./data',
train=True,
download=True,
transform=transform
)
 
test_dataset = datasets.MNIST(
 root='./data',
train=False,
transform=transform
)
 
 
#3. 创建数据加载器
train_loader = DataLoader(
train_dataset,
batch_size=64, # 每个批次64张图片,一般是2的幂次方，这与GPU的计算效率有关
shuffle=True # 随机打乱数据
)
 
test_loader = DataLoader(
test_dataset,
batch_size=1000 # 每个批次1000张图片
 # shuffle=False # 测试时不需要打乱数据
)
# 4. 定义模型、损失函数和优化器
class MLP(nn.Module):
 def __init__(self):
 super(MLP, self).__init__()
self.flatten = nn.Flatten()# 将28x28的图像展平为784维向量
self.layer1 = nn.Linear(784, 128) # 第一层：784个输入，128个神经元
self.relu = nn.ReLU()# 激活函数
self.layer2 = nn.Linear(128, 10) # 第二层：128个输入，10个输出（对应10个数字类别）
 
 def forward(self, x):
x = self.flatten(x)# 展平图像
x = self.layer1(x)# 第一层线性变换
x = self.relu(x)# 应用ReLU激活函数
x = self.layer2(x)# 第二层线性变换，输出logits
 return x
 
# 初始化模型
model = MLP()
model = model.to(device)可用）就是# 将模型移至GPU（若
 
# from torchsummary import summary # 导入torchsummary库
# print("\n模型结构信息：")
# summary(model, input_size=(1, 28, 28)) # 输入尺寸为MNIST图像尺寸
 
criterion = nn.CrossEntropyLoss()# 交叉熵损失函数，适用于多分类挑战
optimizer = optim.Adam(model.parameters(), lr=0.001) # Adam优化器

彩色图像的规范写法：

# 设置中文字体支持
plt.rcParams["font.family"] = ["SimHei"]
plt.rcParams['axes.unicode_minus'] = False # 解决负号显示难题
 
# 1. 数据预处理
transform = transforms.Compose([
transforms.ToTensor(),# 转换为张量
transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) # 标准化处理
])
 
# 2. 加载CIFAR-10资料集
train_dataset = datasets.CIFAR10(
 root='./data',
train=True,
download=True,
transform=transform
)
 
test_dataset = datasets.CIFAR10(
 root='./data',
train=False,
transform=transform
)
 
# 3. 创建材料加载器
batch_size =64
train_loader = DataLoader(train_dataset, batch_size=batch_size, shuffle=True)
test_loader = DataLoader(test_dataset, batch_size=batch_size, shuffle=False)
 
# 4. 定义MLP模型（适应CIFAR-10的输入尺寸）
class MLP(nn.Module):
 def __init__(self):
 super(MLP, self).__init__()
self.flatten = nn.Flatten()# 将3x32x32的图像展平为3072维向量
self.layer1 = nn.Linear(3072, 512) # 第一层：3072个输入，512个神经元
self.relu1 = nn.ReLU()
self.dropout1 = nn.Dropout(0.2) # 添加Dropout防止过拟合
self.layer2 = nn.Linear(512, 256) # 第二层：512个输入，256个神经元
self.relu2 = nn.ReLU()
self.dropout2 = nn.Dropout(0.2)
self.layer3 = nn.Linear(256, 10) # 输出层：10个类别
 
 def forward(self, x):
 # 第一步：将输入图像展平为一维向量
x = self.flatten(x)# 输入尺寸: [batch_size, 3, 32, 32] → [batch_size, 3072]
 
 # 第一层全连接 + 激活 + Dropout
x = self.layer1(x)# 线性变换: [batch_size, 3072] → [batch_size, 512]
x = self.relu1(x)# 应用ReLU激活函数
x = self.dropout1(x)# 训练时随机丢弃部分神经元输出
 
 # 第二层全连接 + 激活 + Dropout
x = self.layer2(x)# 线性变换: [batch_size, 512] → [batch_size, 256]
x = self.relu2(x)# 应用ReLU激活函数
x = self.dropout2(x)# 训练时随机丢弃部分神经元输出
 
 # 第三层（输出层）全连接
x = self.layer3(x)# 线性变换: [batch_size, 256] → [batch_size, 10]
 
 return x # 返回未经过Softmax的logits
 
否可用就是# 检查GPU
device = torch.device("cuda" iftorch.cuda.is_available()else "cpu")
 
# 初始化模型
model = MLP()
model = model.to(device)# 将模型移至GPU（如果可用）
 
criterion = nn.CrossEntropyLoss()# 交叉熵损失函数
optimizer = optim.Adam(model.parameters(), lr=0.001) # Adam优化器

训练模型：

# 5. 训练模型（记录每个 iteration 的损失）
def train(model, train_loader, test_loader, criterion, optimizer, device, epochs):
model.train()# 设置为训练模式
 
 # 记录每个 iteration 的损失
all_iter_losses = []# 存储所有 batch 的损失
iter_indices = []# 存储 iteration 序号
 
 for epoch in range(epochs):
running_loss =0.0
correct =0
total =0
 
 forbatch_idx, (data, target)in enumerate(train_loader):
data, target = data.to(device), target.to(device)# 移至GPU
 
optimizer.zero_grad()# 梯度清零
output = model(data)# 前向传播
loss = criterion(output, target)# 计算损失
loss.backward()# 反向传播
optimizer.step()# 更新参数
 
 # 记录当前 iteration 的损失
iter_loss = loss.item()
all_iter_losses.append(iter_loss)
iter_indices.append(epoch *len(train_loader) + batch_idx +1)
 
 # 统计准确率和损失
running_loss += iter_loss
_, predicted = output.max(1)
total += target.size(0)
correct += predicted.eq(target).sum().item()
 
 # 每100个批次打印一次训练信息
 if(batch_idx +1) % 100 == 0:
 print(f'Epoch:{epoch+1}/{epochs}| Batch:{batch_idx+1}/{len(train_loader)} '
 f'| 单Batch损失:{iter_loss:.4f}| 累计平均损失:{running_loss/(batch_idx+1):.4f}')

模型测试

# 计算当前epoch的平均训练损失和准确率
epoch_train_loss = running_loss /len(train_loader)
epoch_train_acc =100.* correct / total
 
 # 测试阶段
model.eval() # 设置为评估模式
test_loss =0
correct_test =0
total_test =0
 
 withtorch.no_grad():
 fordata, targetintest_loader:
data, target = data.to(device), target.to(device)
output = model(data)
test_loss += criterion(output, target).item()
_, predicted = output.max(1)
total_test += target.size(0)
correct_test += predicted.eq(target).sum().item()
 
epoch_test_loss = test_loss /len(test_loader)
epoch_test_acc =100.* correct_test / total_test
 
 print(f'Epoch{epoch+1}/{epochs}完成 | 训练准确率:{epoch_train_acc:.2f}% | 测试准确率:{epoch_test_acc:.2f}%')
 
 # 绘制所有 iteration 的损失曲线
plot_iter_losses(all_iter_losses, iter_indices)
 
 returnepoch_test_acc# 返回最终测试准确率

绘制损失曲线

# 6. 绘制每个 iteration 的损失曲线
def plot_iter_losses(losses, indices):
plt.figure(figsize=(10, 4))
plt.plot(indices, losses,'b-', alpha=0.7, label='Iteration Loss')
plt.xlabel('Iteration（Batch序号）')
plt.ylabel('损失值')
plt.title('每个 Iteration 的训练损失')
plt.legend()
plt.grid(True)
plt.tight_layout()
plt.show()

执行训练和测试：

# 7. 执行训练和测试
epochs =20 # 增加训练轮次以获得更好效果
print("开始训练模型...")
final_accuracy = train(model, train_loader, test_loader, criterion, optimizer, device, epochs)
print(f"训练完成！最终测试准确率:{final_accuracy:.2f}%")

@浙大疏锦行