随笔分类 - pytorch
摘要：模型剪枝是用在模型的一种优化技术，旨在减少神经网络中不必要的参数，从而降低模型的复杂性和计算负载，进一步提高模型的效率。 模型剪枝的流程：约束训练（constained training）、剪枝（prune）、回调训练（finetune) 本篇主要记录自己YOLOv8模型剪枝的全过程，主要参考：YO
阅读全文
摘要：一，剪枝分类 所谓模型剪枝，其实是一种从神经网络中移除"不必要"权重或偏差（weigths/bias）的模型压缩技术。关于什么参数才是“不必要的”，这是一个目前依然在研究的领域。 1.1，非结构化剪枝 非结构化剪枝（Unstructured Puning）是指修剪参数的单个元素，比如全连接层中的单个
阅读全文
摘要：import torch from torch.autograd import Function import torch.onnx # Step 1: Define custom PyTorch operator class MyCustomOp(Function): @staticmethod
阅读全文
摘要：问题描述：git上的一个官方项目，图像预处理操作，使用torch进行处理，包含Resize,ToTensor,Nomalize,处理后的结果输入到trt-fp16精度的模型中，可以正常输出。我对图像预处理进行了修改，使用opencv进行resize，numpy进行totensor，nomalize操
阅读全文
摘要：1、图片转Tensor from PIL import Image import os import numpy as np import torch from torchvision import transforms pic_location = 'dataset/1.png' img = Im
阅读全文
摘要：问题描述: 有一个git源码是使用pillow读取图像，然后转为tensor后进行resize操作，但是我现在接收到的图像数据是opencv格式的，最简单的操作是我直接将opencv的格式转为pil格式，然后继续下一步就行。但是这样就多了一个数据转换，所以不想这么干，简介的步骤就是将opencv的n
阅读全文
摘要：引导 1. 显存都用在哪儿了？ 2. 技巧 1：使用就地操作 3. 技巧 2：避免中间变量 4. 技巧 3：优化网络模型 5. 技巧 4：减小 BATCH_SIZE 6. 技巧 5：拆分 BATCH 7. 技巧 6：降低 PATCH_SIZE 8. 技巧 7：优化损失求和 9. 技巧 8：调整训练精
阅读全文
摘要：该错误消息表示您正在尝试索引其中只有一项的数组。例如， In [10]: aten = torch.tensor(2) In [11]: aten Out[11]: tensor(2) In [12]: aten[0] IndexError Traceback (most recent call l
阅读全文
摘要：多卡训练的主要思想是将训练数据分成多个批次或样本，在每个GPU上分别处理这些数据，然后将各个GPU计算得到的梯度进行聚合，最终更新模型参数。这样可以显著加快训练过程，特别是对于大规模的深度学习模型。 多卡训练需要考虑到数据划分、梯度聚合和模型参数同步等问题，以确保各个GPU上的计算结果能够正确地协同
阅读全文
摘要：前言 因为课题组发的卡还没有下来，先向导师问了实验室的两张卡借用。之前都是单卡训练模型，正好在这个机会实践以下单机多卡训练模型的方法。关于 DDP 网上有很多资料，但都比较零碎（有些博客的代码甚至没办法 run），Pytorch 给出的官方文档看起来也比较吃力。因此这篇文章的主要目的是梳理一下笔者学
阅读全文
摘要：1.索引的数据类型必须是int，bool，有时候会出现使用float类型去索引，这个时候会报错提示数据格式不对，这个时候需要检查自己的数据类型 2.加入有个a =tensor([1,2,3]), 当a>1,会取索引tensor([1,2]) ，当a<2,会取索引tensor(0),此时的区别就是：当
阅读全文
摘要：torch.tensor([])和torch.tensor([1,2]),如何拼接成torch.tensor([[1,2]]) import torch # 创建两个张量 tensor1 = torch.tensor([]) tensor2 = torch.tensor([1, 2]) # 在第一个
阅读全文
摘要：已知两个tensor，[x1,y1,z1],[x2,y2,z2],求对应位置的最大值，即比较x1和x2，y1和y2,z1和z2，最后得出tensor import torch # 创建两个包含三个元素的张量 tensor1 = torch.tensor([x1, y1, z1]) tensor2 =
阅读全文
摘要：一定要记得 a = torch.Tensor(1,2,3) 表示创建一个尺寸为1,2,3的张量，取值为随机 如果要创建特定元素，要使用torch.tensor(1)，注意是tensor全小写 比如，a = torch.Tensor([1,2,3]),打印后表示tensor([1,2,3]) ****
阅读全文
摘要：在 PyTorch 中，要从一个 Tensor 中移除一个元素，您需要使用索引操作来选择保留的元素，然后重新创建一个新的 Tensor。由于 PyTorch 的 Tensor 是不可变的，所以无法直接在原 Tensor 上移除元素。 下面是一个示例，展示了如何从一个 PyTorch Tensor 中
阅读全文
摘要：因为在 PyTorch 中进行切片操作时，不支持使用 `[:][:2]` 的方式进行多次切片。正确的方式是将两次切片操作合并成一次。在你的代码中，你可能想要对所有的 boxes 进行操作，对每个 box 的前两个元素进行减法操作。 以下是正确的代码示例： ```python import torch
阅读全文
摘要：要将一个大小为(2, 2)的PyTorch张量和一个大小为(1, 2)的张量拼接在一起，以形成一个新的大小为(3, 2)的张量，你可以使用PyTorch库中的torch.cat()函数。以下是一个示例代码： import torch # 假设你有一个大小为(2, 2)的张量 tensor1 和一个大
阅读全文
摘要：torch.all() 其中的所有项都为True，返回True，反之，返回False >>> import torch >>> a = torch.tensor([[1, 2], [3, 4]]) >>> b = torch.tensor([[1, 2], [3, 4]]) >>> a OUT: t
阅读全文
摘要：`masks.flatten(0, -3)` 是一个张量的操作，用于将张量 `masks` 进行展平（flatten），并指定展平操作的维度范围。让我们解释一下这个表达式的含义： - `masks`: 这是一个 PyTorch 张量，包含了要展平的数据。 - `masks.flatten(0, -3
阅读全文
浙公网安备 33010602011771号