04 2025 档案
摘要：在 PyTorch 训练中，torch.cuda.empty_cache() 的正确使用需要结合具体场景。以下是 5 种典型使用场景和最佳实践建议： 1. 训练循环中显存碎片化严重时 适用场景 • 当出现 CUDA out of memory 但计算显存需求理论上足够时 • 使用动态计算图或频繁创建
阅读全文
摘要：PyTorch 中四种并行策略的详细对比说明，包含工作原理、适用场景和配置示例： 1. DP (DataParallel) - 数据并行 工作原理 # 内部实现伪代码 def forward(inputs): split_inputs = chunk(inputs, num_gpus) # 数据切分
阅读全文
摘要：一、什么是Sphinx注释？ Sphinx注释是Python文档字符串(docstring)的一种标准格式，主要用于： 生成专业级API文档（通过Sphinx工具） 提供IDE智能提示支持 作为代码内联文档 与普通注释(#)不同，Sphinx注释使用三重引号"""包裹，具有特定语法规则。 二、基本语
阅读全文
摘要：在 PyTorch 中，grad_fn 属性记录了创建当前张量的函数。这个属性对于理解张量的来源和计算图的结构非常有用。 在 PyTorch 中，grad_fn 属性用来记录变量是怎么来的，方便计算梯度。当你对一个张量执行操作时，PyTorch 会创建一个新的张量，并将其 grad_fn 属性设置为
阅读全文
摘要：在模型训练过程中，确实主要是对叶子张量（Leaf Tensors）求梯度。叶子张量通常指的是模型的参数（例如权重和偏置），这些是模型训练过程中需要优化的变量。非叶子张量（Non-Leaf Tensors）是那些通过计算得到的中间变量，它们是由叶子张量经过一系列操作（例如加法、乘法等）派生出来的。 为
阅读全文
摘要：autograd是pytorch构建神经网络的核心。 在 PyTorch 中，结合以下代码例子，当你对一个张量 x 设置 requires_grad=True 时，你实际上是告诉 PyTorch 需要跟踪所有对这个张量的操作以便未来可以计算梯度。当你调用 out.backward() 时，PyTor
阅读全文
摘要：requires_grad的三种写法以及区分 第一种： x = torch.ones(2,2, requires_grad=True) 第二种： x = torch.ones(2,2) x.requires_grad_=True 第三种： x = torch.ones(2,2) x.requires
阅读全文
摘要：在 PyTorch 中，叶子张量（Leaf Tensor）和非叶子张量（Non-Leaf Tensor）是计算图中的两个重要概念： 叶子张量（Leaf Tensor） 叶子张量是计算图中的起始点，它们通常是用户直接创建的张量，并且没有其他张量作为它们的输入。换句话说，叶子张量是那些不需要通过任何计算
阅读全文
摘要：下面是一个使用 torchviz 可视化 PyTorch 计算图的示例代码。这个例子中，将创建一个简单的神经网络层，并通过 torchviz 将其计算图可视化。 前提条件： 本地安装graphviz软件： 安装 Graphviz 包：首先，你需要在你的系统上安装 Graphviz 包，而不仅仅是 P
阅读全文
摘要：在Windows系统上进行STM32开发，需要以下条件和工具： 硬件条件 开发板：例如NUCLEO-L476RG开发板。 USB线：用于连接开发板与电脑，通常为USB Type-A到Mini-B线。 软件条件 操作系统：Windows 7（或更高版本）。 Java环境：STM32CubeIDE需要J
阅读全文
浙公网安备 33010602011771号