day47 TensorBoard学习 - 详解
目录
一、TensorBoard简介
1.1 发展历程
TensorBoard是TensorFlow生态中的官方可视化工具，同时也支持PyTorch等其他深度学习框架。它最初于2015年随TensorFlow框架一起发布，旨在满足深度学习研究者对复杂模型训练过程的可视化需求。此后，TensorBoard不断更新和完善，新增了图像/音频可视化、直方图、多运行对比等功能，并在2019年后与PyTorch实现了兼容。如今，TensorBoard已经成为深度学习领域不可或缺的可视化工具之一。
1.2 核心原理
TensorBoard的核心原理非常简单：在训练过程中，将训练数据（如损失值、准确率、权重分布等）写入日志文件（.tfevents文件），然后通过启动本地网页服务读取日志文件并将其可视化为图表、图像等形式。这种方式不仅避免了手动打印数据和绘制图表的繁琐过程，还能实时监控训练过程中的数据变化，方便我们根据可视化结果动态调整训练策略。
二、TensorBoard的基本操作
2.1 安装与启动
在使用TensorBoard之前，我们需要先安装它。通过以下命令可以快速完成安装：
pip install tensorboard -i https://pypi.tuna.tsinghua.edu.cn/simple安装完成后，我们可以在项目根目录下运行以下命令启动TensorBoard服务：
tensorboard --logdir=runs其中，--logdir参数指定了日志文件的存储目录。启动服务后，TensorBoard会生成一个本地访问链接（通常是http://localhost:6006），我们可以通过浏览器访问该链接查看可视化结果。
2.2 日志目录管理
为了避免日志文件的重复覆盖，TensorBoard提供了自动管理日志目录的功能。在代码中，我们可以通过以下方式创建独立的日志目录：
log_dir = 'runs/cifar10_mlp_experiment'if os.path.exists(log_dir): i = 1 while os.path.exists(f"{log_dir}_{i}"): i += 1 log_dir = f"{log_dir}_{i}"writer = SummaryWriter(log_dir)这样，每次运行代码时都会生成一个新的日志目录，方便我们对比不同训练任务的结果。
2.3 记录标量数据
标量数据（如损失值、准确率、学习率等）是训练过程中最常用的数据类型。我们可以通过add_scalar方法将标量数据写入日志文件：
writer.add_scalar('Train/Batch_Loss', batch_loss, global_step)writer.add_scalar('Train/Batch_Accuracy', batch_acc, global_step)在TensorBoard的SCALARS选项卡中，我们可以查看这些标量数据的变化曲线，并支持多运行对比。
2.4 可视化模型结构
TensorBoard还支持可视化模型结构，这有助于我们直观地了解模型的层次结构和数据流向。我们可以通过以下代码将模型结构写入日志文件：
dataiter = iter(train_loader)images, labels = next(dataiter)images = images.to(device)writer.add_graph(model, images)在TensorBoard的GRAPHS选项卡中，我们可以查看模型的计算图结构。
2.5 可视化图像数据
对于图像数据，TensorBoard提供了强大的可视化功能。我们可以将训练图像、错误预测样本等可视化为图像网格：
img_grid = torchvision.utils.make_grid(images[:8].cpu())writer.add_image('原始训练图像', img_grid)在TensorBoard的IMAGES选项卡中，我们可以查看这些图像数据。
2.6 记录权重和梯度直方图
为了监控模型参数的变化，我们可以记录权重和梯度的分布直方图：
for name, param in model.named_parameters(): writer.add_histogram(f'weights/{name}', param, global_step) if param.grad is not None: writer.add_histogram(f'grads/{name}', param.grad, global_step)在TensorBoard的HISTOGRAMS选项卡中，我们可以查看权重和梯度的分布变化，从而诊断训练过程中的问题（如梯度消失或爆炸）。
三、TensorBoard实战案例
3.1 CIFAR-10 MLP实战
为了展示TensorBoard的实际应用，我们以CIFAR-10数据集为例，训练一个多层感知机（MLP）模型，并通过TensorBoard记录训练过程中的各种信息。
数据预处理与加载
transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5))]) train_dataset = datasets.CIFAR10( root='./data', train=True, download=True, transform=transform) test_dataset = datasets.CIFAR10( root='./data', train=False, transform=transform) train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False)定义MLP模型
class MLP(nn.Module): def __init__(self): super(MLP, self).__init__() self.flatten = nn.Flatten() self.layer1 = nn.Linear(3072, 512) self.relu1 = nn.ReLU() self.dropout1 = nn.Dropout(0.2) self.layer2 = nn.Linear(512, 256) self.relu2 = nn.ReLU() self.dropout2 = nn.Dropout(0.2) self.layer3 = nn.Linear(256, 10) def forward(self, x): x = self.flatten(x) x = self.layer1(x) x = self.relu1(x) x = self.dropout1(x) x = self.layer2(x) x = self.relu2(x) x = self.dropout2(x) x = self.layer3(x) return x训练与TensorBoard记录
def train(model, train_loader, test_loader, criterion, optimizer, device, epochs, writer): model.train() global_step = 0 dataiter = iter(train_loader) images, labels = next(dataiter) images = images.to(device) writer.add_graph(model, images) img_grid = torchvision.utils.make_grid(images[:8].cpu()) writer.add_image('原始训练图像', img_grid, global_step=0) for epoch in range(epochs): running_loss = 0.0 correct = 0 total = 0 for batch_idx, (data, target) in enumerate(train_loader): data, target = data.to(device), target.to(device) optimizer.zero_grad() output = model(data) loss = criterion(output, target) loss.backward() optimizer.step() running_loss += loss.item() _, predicted = output.max(1) total += target.size(0) correct += predicted.eq(target).sum().item() batch_acc = 100. * correct / total writer.add_scalar('Train/Batch Loss', loss.item(), global_step) writer.add_scalar('Train/Batch Accuracy', batch_acc, global_step) writer.add_scalar('Train/Learning Rate', optimizer.param_groups[0]['lr'], global_step) if (batch_idx + 1) % 200 == 0: for name, param in model.named_parameters(): writer.add_histogram(f'Weights/{name}', param, global_step) if param.grad is not None: writer.add_histogram(f'Gradients/{name}', param.grad, global_step) global_step += 1 epoch_train_loss = running_loss / len(train_loader) epoch_train_acc = 100. * correct / total writer.add_scalar('Train/Epoch Loss', epoch_train_loss, epoch) writer.add_scalar('Train/Epoch Accuracy', epoch_train_acc, epoch) model.eval() test_loss = 0 correct_test = 0 total_test = 0 wrong_images = [] wrong_labels = [] wrong_preds = [] with torch.no_grad(): for data, target in test_loader: data, target = data.to(device), target.to(device) output = model(data) test_loss += criterion(output, target).item() _, predicted = output.max(1) total_test += target.size(0) correct_test += predicted.eq(target).sum().item() wrong_mask = (predicted != target) if wrong_mask.sum() > 0: wrong_batch_images = data[wrong_mask][:8].cpu() wrong_batch_labels = target[wrong_mask][:8].cpu() wrong_batch_preds = predicted[wrong_mask][:8].cpu() wrong_images.extend(wrong_batch_images) wrong_labels.extend(wrong_batch_labels) wrong_preds.extend(wrong_batch_preds) epoch_test_loss = test_loss / len(test_loader) epoch_test_acc = 100. * correct_test / total_test writer.add_scalar('Test/Epoch Loss', epoch_test_loss, epoch) writer.add_scalar('Test/Epoch Accuracy', epoch_test_acc, epoch) if wrong_images: wrong_img_grid = torchvision.utils.make_grid(wrong_images) writer.add_image('错误预测样本', wrong_img_grid, epoch) wrong_text = [f"真实: {classes[wl]}, 预测: {classes[wp]}" for wl, wp in zip(wrong_labels, wrong_preds)] writer.add_text('错误预测标签', '\n'.join(wrong_text), epoch) print(f'Epoch {epoch+1}/{epochs} 完成 | 测试准确率: {epoch_test_acc:.2f}%') writer.close() return epoch_test_acc3.2 CIFAR-10 CNN实战
除了MLP模型，我们还可以使用卷积神经网络（CNN）来训练CIFAR-10数据集，并通过TensorBoard记录训练过程中的信息。CNN模型的定义和训练过程与MLP类似，只是模型结构和数据预处理略有不同。
数据预处理与加载
train_transform = transforms.Compose([ transforms.RandomCrop(32, padding=4), transforms.RandomHorizontalFlip(), transforms.ColorJitter(brightness=0.2, contrast=0.2, saturation=0.2, hue=0.1), transforms.RandomRotation(15), transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010))]) test_transform = transforms.Compose([ transforms.ToTensor(), transforms.Normalize((0.4914, 0.4822, 0.4465), (0.2023, 0.1994, 0.2010))]) train_dataset = datasets.CIFAR10( root='./data', train=True, download=True, transform=train_transform) test_dataset = datasets.CIFAR10( root='./data', train=False, transform=test_transform) train_loader = DataLoader(train_dataset, batch_size=64, shuffle=True)test_loader = DataLoader(test_dataset, batch_size=64, shuffle=False)定义CNN模型
class CNN(nn.Module): def __init__(self): super(CNN, self).__init__() self.conv1 = nn.Conv2d(3, 32, kernel_size=3, padding=1) self.bn1 = nn.BatchNorm2d(32) self.relu1 = nn.ReLU() self.pool1 = nn.MaxPool2d(kernel_size=2, stride=2) self.conv2 = nn.Conv2d(32, 64, kernel_size=3, padding=1) self.bn2 = nn.BatchNorm2d(64) self.relu2 = nn.ReLU() self.pool2 = nn.MaxPool2d(kernel_size=2) self.conv3 = nn.Conv2d(64, 128, kernel_size=3, padding=1) self.bn3 = nn.BatchNorm2d(128) self.relu3 = nn.ReLU() self.pool3 = nn.MaxPool2d(kernel_size=2) self.fc1 = nn.Linear(128 * 4 * 4, 512) self.dropout = nn.Dropout(p=0.5) self.fc2 = nn.Linear(512, 10) def forward(self, x): x = self.conv1(x) x = self.bn1(x) x = self.relu1(x) x = self.pool1(x) x = self.conv2(x) x = self.bn2(x) x = self.relu2(x) x = self.pool2(x) x = self.conv3(x) x = self.bn3(x) x = self.relu3(x) x = self.pool3(x) x = x.view(-1, 128 * 4 * 4) x = self.fc1(x) x = self.relu3(x) x = self.dropout(x) x = self.fc2(x) return x训练与TensorBoard记录
CNN模型的训练过程与MLP类似，只是模型结构和数据预处理略有不同。我们仍然可以通过TensorBoard记录训练过程中的各种信息，如损失值、准确率、模型结构、权重分布等。
四、TensorBoard的可视化结果
通过TensorBoard，我们可以直观地查看训练过程中的各种信息。例如：
SCALARS选项卡：展示损失值、准确率、学习率等标量数据的变化曲线。
IMAGES选项卡：展示原始训练图像、错误预测样本等图像数据。
GRAPHS选项卡：展示模型的计算图结构。
HISTOGRAMS选项卡：展示权重和梯度的分布直方图。
这些可视化结果不仅帮助我们更好地理解模型的训练过程，还能及时发现训练中的问题并进行调整。
计划-45day内容
浙公网安备 33010602011771号