摘要：
学生模型以较少的参数学习老师的分布，在老师的知道下获得性能提升，可以作为模型压缩的一种思路，示例代码如下： """ Function：knowledge distillation """ import math import torch import torch.nn as nn import to 阅读全文
posted @ 2020-02-29 17:23
今夜无风
阅读(1291)
评论(6)
推荐(1)
摘要：
储备： \r 表示将光标移动到当前行的首位 print（，end=‘’）：打印时不换行 代码： print('\rTrain epoch: {} {}/{} [{}]{}%'.format(epoch, trained_samples, len(train_loader.dataset), '-'* 阅读全文
posted @ 2020-02-29 15:16
今夜无风
阅读(250)
评论(0)
推荐(0)
摘要：
知乎大牛：https://zhuanlan.zhihu.com/p/53927068 背景 在PyTroch框架中，如果要自定义一个Net(网络，或者model，在本文中，model和Net拥有同样的意思)，通常需要继承自nn.Module然后实现自己的layer。比如，在下面的示例中，gemfie 阅读全文
posted @ 2020-02-29 13:21
今夜无风
阅读(2598)
评论(0)
推荐(0)
摘要：
softmax(x) 函数：输入一个实数向量并返回一个概率分布 log_softmax(x) 函数：对经过softmax的函数经过一次对数运算 NLLLoss 损失：负对数似然损失，negative log likelihood loss，若𝑥𝑖=[𝑞1,𝑞2,...,𝑞𝑁]xi=[q1 阅读全文
posted @ 2020-02-29 10:19
今夜无风
阅读(3677)
评论(0)
推荐(0)
浙公网安备 33010602011771号