随笔分类 - Pytorch
摘要：PyTorch 可复现设置 参考链接： https://www.jianshu.com/p/b95ec7351603 影响模型可复现性有以下几个因素： 1 随机种子 2 Dataloader 3 不确定性的算法 具体的看上面的链接，简单来说，加上下面这两段就ok了： def set_seed(see
阅读全文
摘要：Pytorch 求导机制 参考链接： https://zhuanlan.zhihu.com/p/38475183（报错解决，情况1） https://blog.csdn.net/m0_38129460/article/details/90405086（Inplace operation） https
阅读全文
摘要：TorchViz 使用记录 1、按照 github 上的教程，报错了。。。 2、查了下，发现是只安装了 graphviz 的包，没安装软件，难怪 github 上给出的安装 graphviz 的命令那么奇怪。。。 3、https://graphviz.org/download/ 4、pip unin
阅读全文
摘要：损失函数： https://zhuanlan.zhihu.com/p/77686118 这篇文章概括的很好了。。。总结下： 1 Loss Function vs Cost Function vs Objective Function 适用 损失函数 Loss Function 针对单个训练样本而言
阅读全文
摘要：transforms.RandomResizedCrop() 参考链接： https://zhuanlan.zhihu.com/p/53367135 https://blog.csdn.net/thequitesunshine007/article/details/118703054 https:/
阅读全文
摘要：cv2.EMD() 简单解读 参考链接： 函数解读： https://samvankooten.net/2018/09/25/earth-movers-distance-in-python/ https://gist.github.com/svank/6f3c2d776eea882fd271bba1
阅读全文
摘要：新建torch常用命令 source activate base conda create -n <env_name> python=3.6 conda activte <env_name> conda install pytorch torchvision torchaudio cudatoolk
阅读全文
摘要：Tensorboard 简单使用 参考链接： https://pytorch.org/docs/stable/tensorboard.html https://zhuanlan.zhihu.com/p/103630393 最近发现tensorboard可以直接省去画图的时间，挺好用，记录下： 1、安
阅读全文
摘要：Torch下的常用函数： Function 作用 torch.zeros(sizes, out=None) 生成尺寸为 size 的 0 填充向量 torch.ones(sizes, out=None) 生成尺寸为 size 的 1 填充向量 torch.eyes(n, m=None, out=No
阅读全文
摘要：Python Ipdb Debug简单使用 参考链接： https://xmfbit.github.io/2017/08/21/debugging-with-ipdb/ https://blog.csdn.net/u014015972/article/details/51705292 https:/
阅读全文
摘要：SoftMax函数： 参考链接：https://zhuanlan.zhihu.com/p/105722023 1 定义： Softmax 的核心在于 soft，而 soft 有软的含义，与之相对的是 hard 硬。很多场景中需要我们找出数组所有元素中值最大的元素，实质上都是求的 hardmax 。下
阅读全文
摘要：激活函数简单原理及使用： 参考链接： https://zhuanlan.zhihu.com/p/172254089 https://zhuanlan.zhihu.com/p/122267172 目前用到的几个激活函数的发展及简单使用： 1 Sigmoid： Sigmoid 的函数图像如上所示，从图像
阅读全文
摘要：Torch 中 view() & size() 在阅读论文源码过程中，经常会看到如下的命令： x = x.view(x.size(0), -1) # 改变 tensor 的形态 下面，本文简单介绍一下 view() 和 size() 函数的作用： view() import torch # 用法一
阅读全文
摘要：GPU & Nvidia Driver & Cuda & Cudatoolkit & Cudnn & Torch & Torchvision（简洁介绍） 先放一个比较完整的介绍：https://zhuanlan.zhihu.com/p/91334380 GPU： 就是显卡，用于深度学习计算的显卡基本
阅读全文
摘要：Tensor.squeeze & Tensor.unsqueeze 1 Tensor的维度 张量的的定义：一个 n 维的张量就是一维数组中的所有元素都是 n - 1 维的张量。 举例说明： import torch a = torch.rand(3) b = torch.rand(2, 3) c =
阅读全文
摘要：训练集 & 验证集 & 测试集 划分比例一般为 6：2：2 训练集： 用来拟合模型，通过设置模型内部的参数，训练模型。 验证集： 作用是当通过训练集训练出多个模型后，为了能找出效果最佳的模型，使用各个模型对验证集数据进行预测，并记录模型准确率。选出效果最佳的模型所对应的参数，即用来调整模型参数。 测
阅读全文
摘要：Torch中的梯度计算 torch中训练顺序大致如下： 1、optimizer.zero_grad() # 将模型的参数梯度初始化为0 2、outputs=model（inputs） # 前向传播计算预测值 3、loss = cost(outputs, y_train) # 计算当前损失 4、los
阅读全文
摘要：终止Torch程序 1、应使用 Ctrl + C 在训练中直接终止进程，Ctrl + Z 只是挂起而已！ 2、若是多卡训练时终止程序，有时会出现子进程仍占用显存，可通过以下操作释放显存： nvidia-smi # 查看GPU占用情况 ps ax # 查看GPU上进程情况 sudo kill -9 N
阅读全文
摘要：Multi-GPU原理 torch单机多卡基本原理：使用多张卡的GPU单元来加速运算（实例如下）： 假设我们一次性读入一个batch的数据, 其大小为[16, 10, 5]，我们有四张卡可以使用。那么计算过程遵循以下步骤： 1、pytorch先把初始模型同步放到4个GPU中 2、将数据分为4份，按照
阅读全文
摘要：nn.Conv2d() & nn.Max_pool2d() & nn.BatchNorm2d()& nn.Dropout2d() nn.Conv2d(): 一个二维卷积层的输入张量为（\(N, C_{in}, H, W\)）,输出为 (\(N, C_{out}, H, W\))，分别为：批数据量、通
阅读全文
浙公网安备 33010602011771号