Pytorch框架学习---(5)调整学习率、可视化操作

本节简单总结Pytorch中用于学习率调整的函数,如何使用tensorboard可视化曲线、梯度、权重、特征图、卷积核,以及如何使用torchvision.utils.make_grid()制作网格图。【文中思维导图采用MindMaster软件

1.学习率的调整

  Pytorch中封装了调整LR的函数,如下:

  它们都继承父类class _LRScheduler,需要复写函数def get_lr(self),该函数用于计算学习率并返回:

class _LRScheduler(object):
    def __init__(self, optimizer, last_epoch=-1):
    ······
    def get_lr(self):
        raise NotImplementedError

  参数:

  • optimizer:优化器类实例

  • last_epoch:记录epoch数

  • base_lrs:记录初始学习率,该参数用于后续的学习率计算

  方法:

  • step():更新下一个epoch的学习率

  • get_lr():虚函数,计算下一个epoch学习率

节省精力, 由于网上已经有人对这六个函数总结的很好,故在此引用,不再复写。

2.tensorboard可视化工具

(1)流程

(2)如何记录可视化的数据?

  调用SummaryWriter类,代码如下:

'''SummaryWriter类'''
class SummaryWriter(object):
    def __init__(self, log_dir=None, comment='', purge_step=None, max_queue=10,
                 flush_secs=120, filename_suffix=''):

# 参数如下:
      # log_dir:eventfile输出文件夹地址
      # comment:当不指定log_dir时,该参数为文件夹的后缀
      # filename_suffix:eventfile文件名的后缀

'''实际运用时'''
from torch.utils.tensorboard import SummaryWriter
writer = SummaryWriter(log_dir='./a',comment="handw_exp",filename_suffix="test1")

若不指定log_dir,则直接该项目下创建runs文件夹,可对照下图进行理解:

各种记录数据的方法如下:

①scalar绘制曲线(单条、多条)

'''一张图中,只能单条曲线'''
def add_scalar(self, tag, scalar_value, global_step=None, walltime=None):

# 参数:
      # tag:图像的标签名
      # scalar_value:要记录的标量,例如loss
      # global_step:x轴

'''一张图中,可以多条曲线'''
def add_scalars(self, main_tag, tag_scalar_dict, global_step=None, walltime=None):

# 参数:
      # main_tag:总的标签名,用于曲线索引放置
      # tag_scalar_dict:要记录的标量,例如loss
      # global_step:x轴

实战中,以 def add_scalars 为例

iter_count = 0
for epoch in range(Max_Epoch):
    ······
    for i, (inputs, labels) in enumerate(train_loader):
        iter_count += 1
        ······
        writer.add_scalars(main_tag="Loss", tag_scalar_dict={"Train": loss.item()}, global_step=iter_count)
        writer.add_scalars("Accuracy", {"Train": correct/total}, global_step=iter_count)

    if (epoch+1) % print_info_valid == 0:
        ······
        with torch.no_grad():
            for j,(inputs_valid,labels_valid) in enumerate(test_loader):
            ······
            writer.add_scalars("Loss", {"Valid": loss_info_valid/len(test_loader)}, iter_count)
            writer.add_scalars("Accuracy", {"Valid": correct_valid / total_valid}, iter_count)
            writer.flush()  # 及时刷新,否则无法同时观看到训练和验证
writer.close()

 此时通过pycharm终端,输入 tensorboard --logdir=./a(event的地址),就会得到tensorboard的可视化网址,打开可以得到如下图:

②histogram直方图,查看权重、梯度,判断是否梯度消失或发散

def add_histogram(self, tag, values, global_step=None, bins='tensorflow', walltime=None, max_bins=None):

# 参数:
      # tag:图像的标签名
      # values:要统计的参数
      # global_step:y轴!!!!!!!!!!!!!(结合下图理解)

实战中,代码参考如下:

    # 每一个epoch,记录各层权重、梯度
    for name, param in net.named_parameters():  # 返回网络的
        writer.add_histogram(name + '_grad', param.grad, epoch)
        writer.add_histogram(name + '_data', param, epoch)

貌似横轴是大小,高度代表该数值下的个数???:

③记录图像(利用torchvision.utils中make_grid制作网格)

torchvision.utils.make_grid()函数定义:

def make_grid(tensor, nrow=8, padding=2,
              normalize=False, range=None, scale_each=False, pad_value=0):

# 参数:
      # tensor:必须是B*C*H*W形式
      # nrow:指定行数
      # padding:图像与图像之间的间隔多少个像素单位pad_value
      # normalize:是否将像素值标准化到(0~255)
      # range:指定标准化范围,先将像素值规范到该range,然后再进行(0~255)转换
      # scale_each:是否对单张图像进行range
      # pad_value:指定padding的大小(黑色0、白色255等等)

实战中,代码参考如下:

'''调用torchvision中make_grid 网格可视化图像'''
import torchvision.utils as vutils
img_batch,label_batch = next(iter(train_loader))  # 调用一个批次的图片
img_grid = vutils.make_grid(img_batch, nrow=10,normalize=True)  # 变为 C*H*W 

writer.add_image("make_grid",img_grid, global_step=0)
writer.flush()

'''当然也可以直接调用add_image或add_images'''
    def add_image(self, tag, img_tensor, global_step=None, walltime=None, dataformats='CHW'):
# 参数:
      # 非常不方便,只能查看一个图像!!!!
      # 当像素值为【0,1】,则乘以255,缩放回【0,255】;若像素值不在【0,1】之间,默认是0~255范围内。
      # tag:图像的标签名
      # img_tensor:注意shape,可以是3HW、HW3、HW、1HW,但不能是四维的,即有batch!!!!!!!(可以通过add_images解决或torchvision.utils.make_grid())
      # global_step:x轴

    def add_images(self, tag, img_tensor, global_step=None, walltime=None, dataformats='NCHW'):  
# 参数:
      # 无法指定行数!!!!!
      # tag:图像的标签名
      # img_tensor:注意shape,可以是NCHW or NHWC,但是,这里Channel在后续处理的时候只能为1或者3!!!!!
      # global_step:x轴

④利用make_grid可视化特征图

(每次都要调出对应层,一个个输入,一个个输出,有点麻烦,即便调用for循环,代码也有点冗余性,下一节介绍的hook函数就可以在网络运行过程中,直接保存特征图)

vlaid_img,_ = next(iter(test_loader))
conv1 = net.cpu().feature[0]
fmap1 = conv1(vlaid_img)  # 100*16*72*72
fmap1_first = fmap1[0,:,:,:]
fmap1_first.unsqueeze_(0).transpose_(0,1)  # 16*1*72*72

fmap1_grid = vutils.make_grid(fmap1_first,4,normalize=True)
writer.add_image("fmap", fmap1,global_step=0)

从下面的特征图可以看出: 经过卷积核操作后,得到的各种特征图(提取边缘后、锐化后等等)。

⑤graph可视化模型计算图

    def add_graph(self, model, input_to_model=None, verbose=False):
# 参数:
      # model:模型,必须是继承torch.nn.Module
      # input_to_model:模型的输入
      # verbose:是否打印计算图结构信息

'''可视化模型计算图'''
input_v = torch.rand((1,3,75,75))
writer.add_graph(net, input_v)
writer.flush()
posted @ 2020-07-17 10:13  steven_zhao1001  阅读(1123)  评论(0编辑  收藏  举报