摘要：
在 FX 图中，每个节点代表一个操作。这些操作可以是函数调用、方法调用、模块实例调用，也可以是 torch.nn.Module 实例的调用。每个节点都对应一个调用站点，如运算符、方法和模块。 一.节点操作 下面是一些节点可能代表的操作： 1. 函数调用 例如，torch.add(x, y)会被表示为
阅读全文
posted @ 2024-01-14 23:58
扫地升
阅读(14)
推荐(0)
编辑
摘要：
一.PyTorch 中的 AOTAutograd 在 PyTorch 中，AOTAutograd 是一个先进的功能，它是 Ahead-Of-Time (AOT) Autograd 的缩写。这是一种新的自动微分方法，它在编译时而不是运行时计算梯度。这使得它可以更有效地处理大型计算图。以下是一些关于 A
阅读全文
posted @ 2024-01-14 23:58
扫地升
阅读(67)
推荐(0)
编辑
摘要：
一.FX 图介绍 FX 图是 PyTorch 中的一个主要数据结构，用于在 FX 中间表示（Intermediate Representation，IR）中表示程序。FX 图由一系列节点组成，每个节点代表调用站点（比如运算符、方法和模块）。 FX 图的主要目标是提供一种方式来转换和优化 PyTorc
阅读全文
posted @ 2024-01-14 23:58
扫地升
阅读(44)
推荐(0)
编辑
摘要：
TorchDynamo 是一个设计用于加速未修改的 PyTorch 程序的 Python 级即时（JIT）编译器。它通过 Python Frame Evaluation Hooks（Python 框架评估钩子）来实现这一目标，以便在运行时动态地生成和优化代码。这使得 TorchDynamo 可以有效
阅读全文
posted @ 2024-01-14 23:57
扫地升
阅读(85)
推荐(0)
编辑
摘要：
在 PyTorch 中，"Eager Execution"（即即时执行模式）是指一种动态图计算模式，其中每个操作都立即被执行，而不是被先放入计算图中。这与静态图计算框架（如 TensorFlow 的早期版本）的工作方式不同。在即时执行模式中，你可以像使用 NumPy 一样进行操作，逐步构建计算图，方
阅读全文
posted @ 2024-01-14 23:56
扫地升
阅读(90)
推荐(0)
编辑
摘要：
一.nn.LeakyReLU()函数 在 PyTorch 中，nn.LeakyReLU() 是一个激活函数，用于引入非线性性到神经网络中。Leaky ReLU 是修正线性单元（ReLU）的一种变体，它在输入为负数时不是完全置零，而是引入一个小的负斜率。nn.LeakyReLU() 的初始化参数如下：
阅读全文
posted @ 2024-01-14 23:38
扫地升
阅读(87)
推荐(0)
编辑
摘要：
在 Hugging Face 的 transformers 库中，GPT（Generative Pre-trained Transformer）类的模型有两个常用的生成文本的方法：generate 和 chat。这两个方法在使用上有一些区别。通常公司发布的 LLM 模型会有一个基础版本，还会有一个
阅读全文
posted @ 2024-01-14 23:38
扫地升
阅读(242)
推荐(0)
编辑
2024年2月4日
